为帮助您运行概念验证 (POC) AI/机器学习工作负载,本页面简要介绍了 AI Hypercomputer 教程,其中描述了在 Google Cloud 产品上部署常见 AI 模型的完整流程。
这些教程专为机器学习 (ML) 工程师、研究人员、平台管理员和运维人员,以及数据和 AI 专家设计。为了有效地使用这些教程,您应该对机器学习概念有基本的了解,并熟练掌握 Google Cloud 服务。如果您有部署和管理 AI 模型的经验,也有助于理解本内容。
教程类别
AI 工作负载教程分为以下几类:
在 GKE 上使用 vLLM 运行推理
这些教程介绍了如何使用 Google Kubernetes Engine (GKE) 上的 vLLM 服务框架部署大语言模型 (LLM) 并将其用于推理。您将学习如何使用 GKE 的容器编排功能来高效运行推理工作负载。这些教程涵盖了以下内容:使用 Hugging Face 访问模型、设置 GKE 集群(例如,在 Autopilot 模式下)、处理凭据,以及部署 vLLM 容器以与 Gemma 3、Llama 4 和 Qwen3 等 LLM 进行交互。
运行微调
这些教程介绍了如何针对各种Google Cloud 集群类型(包括 GKE 和 Slurm)中的特定任务对 LLM 进行微调。例如,您可以在多节点和多 GPU GKE 集群(例如,使用配备 NVIDIA B200 GPU 的 A4 虚拟机实例)和 Slurm 集群上对 Gemma 3 进行微调。您将创建自定义虚拟机映像、配置 RDMA 网络,并使用 Hugging Face Accelerate 和 FSDP 等库执行分布式微调作业。部分教程还介绍了如何使用 Ray 等框架来完成与视觉相关的任务。
运行训练
这些教程介绍了如何在高���能集群上训练���预训练 LLM。例如,您将学习如何在多节点、多 GPU Slurm 集群上使用 A4 虚拟机预训练 Qwen2 等模型。您可以使用 Google Cloud Cluster Toolkit 部署 Slurm 集群、创建自定义虚拟机映像、配置共享 Filestore 实例、配置高速 RDMA 网络,以及使用 Hugging Face Accelerate 运行分布式预训练作业。
后续步骤
探索 AI Hypercomputer 教程: