Vertex AI 筆記本教學課程

透過集合功能整理內容 你可以依據偏好儲存及分類內容。

教學課程步驟

• 建立 Vertex AI 模型訓練工作。
• 訓練 AutoML 表格型模型。
• 將模型資源部署至服務端點資源。
• 傳送資料以進行預測。
• 取消部署模型資源。

教學課程步驟

• 建立 Vertex 資料集資源。
• 訓練模型。
• 查看模型評估結果。
• 進行批次預測。

教學課程步驟

• 建立 Vertex Dataset 資源。
• 訓練模型。
• 查看模型評估結果。
• 將 Model 資源部署至服務 Endpoint 資源。
• 進行預測。
• 取消部署 Model。

教學課程步驟

• 建立 Vertex 資料集資源。
• 訓練模型。
• 將邊緣模型從模型資源匯出至 Cloud Storage。
• 在本機下載模型。
• 進行本機預測。

教學課程步驟

• 建立 Vertex AI 資料集資源。
• 訓練模型。
• 查看模型評估結果。
• 將模型資源部署至服務端點資源。
• 進行預測。
• 取消部署模型。

教學課程步驟

• 建立訓練管道，縮減預設搜尋空間，以節省時間。
• 建立訓練管道，重複使用先前管道的架構搜尋結果，以節省時間。

教學課程步驟

• 訓練圖片模型
• 將圖像模型匯出為 Edge 模型
• 訓練表格模型
• 將表格模型匯出為雲端模型
• 訓練文字模型
• 訓練影片模型

教學課程步驟

• 建立 Vertex AI TimeSeriesDataset 資源。
• 訓練模型。
• 查看模型評估結果。
• 進行批次預測。

教學課程步驟

• 建立 Vertex 資料集資源。
• 訓練模型。
• 查看模型評估結果。
• 進行批次預測。

教學課程步驟

• 建立 Vertex AI 資料集資源。
• 訓練 AutoML 表格型預測模型資源。
• 取得模型資源的評估指標。
• 進行批次預測。

教學課程步驟

• 建立 Vertex AI 資料集資源。
• 訓練 AutoML 表格型迴歸模型資源。
• 取得模型資源的評估指標。
• 進行批次預測。

教學課程步驟

• 建立 Vertex 資料集資源。
• 訓練模型。
• 查看模型評估結果。
• 將模型資源部署至服務端點資源。
• 進行預測。
• 取消部署模型。

教學課程步驟

• 建立 Vertex AI 資料集資源。
• 訓練模型。
• 查看模型評估結果。
• 進行批次預測。

教學課程步驟

• 建立 Vertex 資料集資源。
• 訓練模型。
• 查看模型評估結果。
• 進行批次預測。

教學課程步驟

• 建立 Vertex 資料集資源。
• 訓練模型。
• 查看模型評估結果。
• 進行批次預測。

教學課程步驟

• 在專案中建立本機 BigQuery 資料表
• 訓練 BigQuery ML 模型
• ���估 BigQuery ML 模型
• 將 BigQuery ML 模型匯出為雲端模型
• 將匯出的模型上傳為 Vertex AI 模型資源
• 使用 Vertex AI Vizier 為 BigQuery ML 模型進行超參數微調
• 自動將 BigQuery ML 模型註冊至 Vertex AI Model Registry

教學課程步驟

• 訓練模型，以花卉的測量資料做為輸入內容，預測鳶尾花類別。
• 儲存模型及其序列化前置處理器。
• 建構 FastAPI 伺服器，以便處理預測和健康檢查。
• 使用模型構件建構自訂容器。
• 將自訂容器上傳並部署至 Vertex AI 端點。

教學課程步驟

• 建立 Vertex AI 自訂 TrainingPipeline，用於訓練模型。
• 訓練 TensorFlow 模型。
• 將 Model 資源部署至服務 Endpoint 資源。
• 進行預測。
• 取消部署 Model 資源。

教學課程步驟

• 建立 Vertex AI 自訂工作，用於訓練模型。
• 使用自訂容器訓練及註冊 TensorFlow 模型。
• 在 Vertex AI Model Registry 中列出已註冊的模型。

教學課程步驟

• 設定服務帳戶和 Cloud Storage 值區
• 建立 Vertex AI TensorBoard 執行個體
• 建立及執行自訂訓練工作
• 查看 Cloud Profiler 資訊主頁

教學課程步驟

• 使用 Python 套件進行訓練。
• 在超參數調整時回報準確度。
• 使用 Cloud Storage Fuse 將模型構件儲存至 Cloud Storage。
• 建立 Vertex AI 模型資源。

教學課程步驟

• 上傳預先訓練的圖片分類模型做為 Model 資源 (模型 A)。
• 上傳預先訓練的文字句子編碼器模型，做為 Model 資源 (模型 B)。
• 建立共用 VM 部署資源集區。
• 列出共用 VM 部署資源集區。
• 建立兩個 Endpoint 資源。
• 使用部署資源池，將第一個模型 (模型 A) 部署至第一個 Endpoint 資源。
• 使用部署資源集區，將第二個模型 (模型 B) 部署至第二個 Endpoint 資源。
• 使用第一個已部署的模型 (模型 A) 提出預測要求。
• 使用第二個已部署的模型 (模型 B) 提出預測要求。

教學課程步驟

• 建立 Vertex AI 自訂工作，用於訓練 TensorFlow 模型。
• 將經過訓練的模型構件上傳為模型資源。
• 進行批次預測。

教學課程步驟

• 建立 Vertex AI 自訂工作，用於訓練 TensorFlow 模型。
• 將經過訓練的模型構件上傳至 Model 資源。
• 建立放送 Endpoint 資源。
• 將 Model 資源部署至服務 Endpoint 資源。
• 進行預測。
• 取消部署 Model 資源。

教學課程步驟

• 從 BigQuery 表格建立 Vertex AI 資料集資源，以便進行 AutoML 訓練。
• 將資料集的副本從 BigQuery 擷取至 Cloud Storage 中的 CSV 檔案，以便與 AutoML 或自訂訓練相容。
• 從 BigQuery 資料集中選取資料列，並將其放入 pandas 資料框架中，以便進行自訂訓練。
• 從 BigQuery 資料集選取資料列，將其轉換為 tf.data.Dataset 以便自訂訓練 TensorFlow 模型。
• 從擷取的 CSV 檔案中選取資料列，並將其放入 tf.data.Dataset 中，以便用於自訂訓練 TensorFlow 模型。
• 使用 CSV 檔案建立 BigQuery 資料集。
• 將 BigQuery 資料表中的資料擷取至 DMatrix，以便為 XGBoost 模型自訂訓練。

教學課程步驟

• 執行用於預先處理資料的模組
• 建立資料集構件
• 記錄參數
• 執行訓練模型的模組
• 記錄參數
• 建立模型構件
• 將追蹤歷程指派給資料集、模型和參數

教學課程步驟

• 記錄模型參數
• 將每個訓練週期的損失和指標記錄到 Vertex AI TensorBoard
• 記錄評估指標

教學課程步驟

• 正式化訓練元件
• 建立訓練管道
• 執行多個管道工作並記錄結果
• 比較不同的管道工作

教學課程步驟

• 如何使用預先定義的鍵/值標籤組合刪除 TB 實驗
• 如何刪除 create_time 之前建立的 TB 實驗
• 如何刪除 update_time 之前建立的 TB 實驗

教學課程步驟

• 在指令碼中正式執行模型實驗
• 在 Vertex AI Training 上使用本機指令碼執行模型訓練
• 在 Vertex AI Experiments 中查看機器學習實驗參數和指標

教學課程步驟

• 本機 (筆記本) 訓練
• 建立實驗。
• 在實驗中建立第一次執行作業。
• 記錄參數和指標。
• 建立構件沿革。
• 以視覺化方式呈現實驗結果。
• 執行第二次執行作業。
• 比較���驗中的兩次執行作業。
• Cloud (Vertex AI) 訓練
• 在訓練指令碼中

教學課程步驟

• 在 Vertex AI SDK 中啟用自動記錄功能。
• 訓練 scikitlearn 模型，並查看產生的實驗執行作業 (會自動記錄指標和參數至 Vertex AI 實驗)，無須自行設定。
• 使用 aiplatform.start_run() 和 aiplatform.end_run() 手動設定實驗執行作業，訓練 TensorFlow 模型，並查看 Vertex AI Experiments 自動記錄的指標和參數。
• 停用 Vertex AI SDK 中的自動記錄功能，訓練 PyTorch 模型，並確認系統�����記錄���何參數或指標。

教學課程步驟

• 建立 Vertex AI 代管資料集資源。
• 訓練 AutoML 表格型二元分類模型。
• 查看已訓練模型的模型評估指標。
• 提出可解釋的批次預測要求。

教學課程步驟

• 建立 Vertex AI 資料集資源。
• 訓練 AutoML 表格型二元分類模型。
• 查看已訓練模型的模型評估指標。
• 建立放送端點資源。
• 將模型資源部署至服務端點資源。
• 提出具備可解釋性的線上預測要求。
• 取消部署模型資源。

教學課程步驟

• 建立 Vertex AI 自訂工作，用於訓練 TensorFlow 模型。
• 查看已訓練模型的模型評估結果。
• 設定模型部署時的說明參數。
• 將經過訓練的模型構件和說明參數上傳為 Model 資源。
• 進行批次預測並提供解釋。

教學課程步驟

• 建立 Vertex AI 自訂工作，用於訓練 TensorFlow 模型。
• 查看已訓練模型的模型評估結果。
• 設定模型部署時的說明參數。
• 將經過訓練的模型構件和說明上傳為模型資源。
• 建立放送端點資源。
• 將模型資源部署至服務端點資源。
• 進行附有解釋的預測。
• 取消部署模型資源。

教學課程步驟

• 建立 Vertex AI 自訂工作，用於訓練 TensorFlow 模型。
• 查看已訓練模型的模型評估結果。
• 設定模型的說明參數。
• 將經過訓練的模型構件上傳為模型資源。
• 進行批次預測並提供解釋。

教學課程步驟

• 建立 Vertex AI 自訂工作，用於訓練 TensorFlow 模型。
• 查看已訓練模型的模型評估結果。
• 設定模型部署時的說明參數。
• 將經過訓練的模型構件和說明上傳為模型資源。
• 建立放送端點資源。
• 將模型資源部署至服務端點資源。
• 進行附有解釋的預測。
• 取消部署模型資源。

教學課程步驟

• 建立 Vertex AI 自訂工作，用於訓練 TensorFLow 模型。
• 訓練 TensorFlow 模型。
• 擷取及載入模型構件。
• 查看已訓練模型的模型評估結果。
• 設定說明參數。
• 將模型上傳為 Vertex AI 模型資源。
• 將模型資源部署至服務端點資源。
• 進行附有解釋的預測。
• 取消部署模型資源。

教學課程步驟

• 從 TensorFlow Hub 下載預先訓練模型
• 上傳模型以供部署
• 部署模型以進行線上預測
• 進行線上預測並提供說明
• 進行批次預測並附上解釋

教學課程步驟

• 建構及訓練 TensorFlow 文字分類模型
• 上傳模型以供部署
• 部署模型以進行線上預測
• 進行線上預測並提供說明

教學課程步驟

• 佈建線上特徵儲存庫執行個體，以便代管及提供資料。
• 將 BigQuery 檢視表註冊至線上特徵儲存庫執行個體，並設定同步作業。
• 使用線上伺服器擷取線上預測所需的特徵值。

教學課程步驟

• 設定線上特徵儲存庫執行個體，以便使用公開或私人端點搭配最佳化線上服務功能，代管及提供資料。
• 將 BigQuery 檢視表註冊至線上特徵儲存庫執行個體，並設定同步作業。
• 使用線上伺服器擷取線上預測所需的特徵值。

教學課程步驟

• 佈建線上特徵儲存庫執行個體，以便代管及提供資料。
• 建立線上特徵資料儲存庫執行個體，以便提供 BigQuery 資料表。
• 使用線上伺服器搜尋最近鄰。

教學課程步驟

• 佈建線上特徵儲存庫執行個體，以便代管及提供資料。
• 建立線上特徵資料儲存庫執行個體，以便提供 BigQuery 資料表。
• 使用線上伺服器搜尋最近鄰。

教學課程步驟

• 建立設定為使用專用服務帳戶的功能檢視畫面。
• 系統會為每個地圖檢視畫面建立服務帳戶。這類服務帳戶用於同步 BigQuery 中的資料。
• Get/List feature view API 會傳回自動建立的服務帳戶。使用者必須呼叫 bq addiampolicybinding 指令，將 roles/bigquery.dataViewer 授予服務帳戶。

教學課程步驟

• 建立特徵儲存庫。
• 為 featurestore 建立新的實體類型。
• 將 Pandas DataFrame 中的特徵值匯入 featurestore 中的實體類型。

教學課程步驟

• 建立 Featurestore、EntityType 和 Feature 資源。
• 將 Pandas DataFrame 中的特徵值匯入實體類型。
• 將實體特徵值從線上特徵儲存庫讀取至 Pandas DataFrame。
• 將特徵值從特徵資料庫批次供應至 Pandas DataFrame。
• 線上服務，使用更新後的特徵值。
• 擷取訓練用特徵值的正確時間點。

教學課程步驟

• 建立 Featurestore、EntityType 和 Feature 資源。
• 將地圖資料匯入 Featurestore 資源。
• 使用匯入的特徵提供線上預測要求。
• 在離線工作 (例如訓練工作) 中存取匯入的功能。
• 使用串流匯入功能匯入少量資料。

教學課程步驟

• 使用預先定義的範本建立 Vertex AI 管道工作，以便進行大量推論。
• 使用 Vertex AI Pipelines 執行管道。
• 針對特定資料集產生模型的預測結果。

教學課程步驟

• 取得 Vertex AI 大型語言模型。
• 提取模型(這會自動建立 Vertex AI 端點，並將模型部署至該端點)。
• 使用 Vertex AI 大型語言模型進行預測。

教學課程步驟

• 設定模型調整步驟數。
• 使用預先定義的調整範本建立 Vertex AI Pipeline 工作。
• 使用 Vertex AI Pipelines 執行管道。
• 從調整過的模型取得預測結果。

教學課程步驟

• 安裝和匯入
• 建立嵌入資料集
• 建立索引
• 查詢索引

教學課程步驟

• 安裝和匯入
• 生成嵌入項目

教學課程步驟

教學課程步驟

• 取得 Vertex AI 大型語言模型。
• 調整模型。
• 系統會自動建立 Vertex AI 端點，並將模型部署至該端點。
• 使用 Vertex AI 大型語言模型進行預測。
• 使用 Vertex AI Prediction 進行預測。

教學課程步驟

教學課程步驟

• 使用 Vertex AI PaLM API 的預測端點，接收訊息的生成式 AI 回覆。
• 使用文字嵌入端點，接收訊息的向量表示法。
• 根據輸入/輸出訓練資料，對 LLM 進行提示調整。

教學課程步驟

• 訓練 AutoML 圖片分類模型。
• 進行批次預測。
• 將模型部署至端點
• 進行線上預測

教學課程步驟

• 訓練 AutoML 物件偵測模型。
• 進行批次預測。
• 將模型部署至端點
• 進行線上預測

教學課程步驟

• 訓練 AutoML 影片物件追蹤模型。
• 進行批次預測。

教學課程步驟

• 建立 Vertex AI 資料集資源。
• 訓練模型。
• 查看模型評估結果。
• 將模型資源部署至服務端點資源。
• 進行預測。
• 取消部署模型

教學課程步驟

• 訓練 AutoML 影片分類模型。
• 進行批次預測。

教學課程步驟

• 將訓練程式碼封裝至 Python 應用程式。
• 使用 Cloud Build 和 Artifact Registry 將訓練應用程式容器化。
• 在 Vertex AI 中建立自訂容器訓練工作並執行。
• 評估訓練作業產生的模型。
• 在 Vertex AI Model Registry 中為已訓練的模型建立模型資源。
• 執行 Vertex AI 批次預測工作。
• 將模型資源部署至 Vertex AI 端點。
• 在模型資源上執行線上預測工作。
• 清除建立的資源。

教學課程步驟

• 將訓練程式碼封裝至 Python 應用程式。
• 使用 Cloud Build 和 Artifact Registry 將訓練應用程式容器化。
• 在 Vertex AI 中建立自訂容器訓練工作並執行。
• 評估訓練作業產生的模型。
• 在 Vertex AI Model Registry 中為已訓練的模型建立模型資源。
• 執行 Vertex AI 批次預測工作。
• 將模型資源部署至 Vertex AI 端點。
• 在模型資源上執行線上預測工作。
• 清除建立的資源。

教學課程步驟

• 建立 Vertex AI 自訂工作，訓練 scikitlearn 模型。
• 將經過訓練的模型構件上傳為模型資源。
• 產生批次預測結果。
• 將模型資源部署至服務端點資源。
• 產生線上預測結果。
• 取消部署模型資源。

教學課程步驟

• 建立 Vertex AI 自訂工作，訓練 xgboost 模型。
• 將經過訓練的模型構件上傳為模型資源。
• 產生批次預測結果。
• 將模型資源部署至服務端點資源。
• 產生線上預測結果。
• 取消部署模型資源。

教學課程步驟

• 建立 Vertex AI 超參數調整工作，以便訓練 TensorFlow 模型。

教學課程步驟

• 建立私人 Docker 存放區。
• 標記專屬於私人 Docker 存放區的容器映像檔。
• 將容器映像檔推送至私人 Docker 存放區。
• 從私人 Docker 存放區提取容器映像檔。
• 刪除私人 Docker 存放區。

教學課程步驟

• 追蹤自訂訓練工作的訓練參數和預測指標。
• 針對實驗中的所有參數和指標，擷取並執行分析。

教學課程步驟

• 追蹤在本機訓練的模型參數和指標。
• 擷取實驗中的所有參數和指標，並執行分析。

教學課程步驟

• 使用 Kubeflow Pipelines SDK 建構在 Vertex AI 上執行的機器學習管道。
• 管道會建立資料集、訓練 scikitlearn 模型，並將模型部署至端點。
• 撰寫可產生構件和中繼資料的自訂管道元件。
• 在 Google Cloud 控制台和程式碼中比較 Vertex AI Pipeline 執行作業。
• 追蹤管道產生的���件���程。
• 查詢管道執行作業的中繼資料。

教學課程步驟

• 建立 Vertex AI Dataset。
• 在 Dataset 資源上訓練 AutoML 表格型分類模型。
• 將已訓練的 AutoML model resource 匯入管道。
• 執行 Batch Prediction 工作。
• 使用 Classification Evaluation component 評估 AutoML 模型。
• 將分類指標匯入 AutoML 模型資源。

教學課程步驟

• 建立 Vertex AI 資料集。
• 設定 AutoMLTabularTrainingJob 類別。
• 執行會傳回模型的 AutoMLTabularTrainingJob。
• 將預先訓練的 AutoML model resource 匯入管道。
• 在管道中執行 batch prediction 工作。
• 使用 regression evaluation component 評估 AutoML 模型。
• 將產生的迴歸指標匯入 AutoML 模型資源。

教學課程步驟

• 建立 Vertex AI 資料集。
• 使用 Vertex AI 資料集資源訓練 AutoML 影片分類模型。
• 將經過訓練的 AutoML Vertex AI 模型資源匯入管道。
• 在管道中執行批次預測工作。
• 使用分類評估元件評估 AutoML 模型。
• 將分類指標匯入 AutoML Vertex AI 模型資源。

教學課程步驟

• 從公開來源擷取資料集。
• 在本機預先處理資料，並將測試資料儲存在 BigQuery 中。
• 使用 scikitlearn Python 套件，在本機訓練 RandomForest 分類模型。
• 在 Artifact Registry 中建立自訂容器，用於預測。
• 在 Vertex AI Model Registry 中上傳模型。
• 建立及執行 Vertex AI Pipeline，以便

教學課程步驟

• 建立 Vertex AI 自訂訓練工作，以便訓練 TensorFlow 模型。
• 執行自訂訓練工作。
• 擷取及載入模型構件。
• 查看模型評估結果。
• 將模型上傳為 Vertex AI 模型資源。
• 將預先訓練的 Vertex AI 模型資源匯入管道。
• 在管道中執行批次預測工作。
• 使用迴歸評估元件評估模型。
• 將迴歸指標匯入 Vertex AI 模型資源。

教學課程步驟

• 建立包含預測結果和人類偏好資料的評估資料集。
• 在本機預先處理資料，並儲存在 Cloud Storage 中。
• 建立並執行 Vertex AI AutoSxS 管道，產生判斷結果，並使用產生的判斷結果產生一組 AutoSxS 指標。
• 列印判斷和 AutoSxS 指標。
• 清除在本筆記本中建立的資源。

教學課程步驟

• 從公開來源擷取資料集。
• 在本機預先處理資料，並將測試資料儲存在 Cloud Storage 中。
• 建立並執行 Vertex AI AutoSxS Pipeline，產生判斷結果，並使用產生的判斷結果評估兩個候選模型。
• 列印判定結果和評估指標。
• 清除在本筆記本中建立的資源。

教學課程步驟

• 將預先訓練的模型上傳為 Vertex AI 模型資源。
• 產生批次預測要求。
• 解讀模型監控功能回報的統計資料、圖表和其他資料。

教學課程步驟

• 訓練 AutoML 模型。
• 將模型資源部署至 Vertex AI 端點資源。
• 設定用於模型監控的端點資源。
• 產生偏差的合成預測要求。
• 產生偏移的合成預測要求。
• 等待電子郵件快訊通知。

教學課程步驟

• 1. 訓練 AutoML 圖片分類模型。
• 2. 建立端點。
• 3. 將模型部署至端點，並設定模型監控功能。
• 4. 提交包含分布圖像和非分布圖像的線上預測。
• 5. 使用模型監控功能，計算每張圖片的異常分數。
• 6. 找出線上預測要求中未發布的圖片。

教學課程步驟

• 下載預先訓練的自訂資料表模型。
• 將預先訓練的模型上傳至 Vertex AI Model Registry。
• 將模型資源部署至 Vertex AI 端點資源。
• 設定用於模型監控的端點資源。
• 產生合成預測要求，模擬偏差。
• 等待電子郵件快訊通知。
• 產生合成預測要求，模擬偏移。
• 等待電子郵件快訊通知。

教學課程步驟

• 下載預先訓練的自訂資料表模型。
• 將預先訓練的模型上傳為模型資源。
• 使用「TensorFlow Serving」服務二進位檔，將模型資源部署至端點資源。
• 設定用於模型監控的端點資源。
• 產生偏差的合成預測要求。
• 等待電子郵件快訊通知。
• 產生偏移的合成預測要求。
• 等待電子郵件快訊通知。

教學課程步驟

• 下載預先訓練的自訂資料表模型。
• 將預先訓練的模型上傳為模型資源。
• 將模型資源部署至端點資源。
• 設定用於模型監控的端點資源。
• 偵測特徵輸入的偏差和偏移。
• 偵測特徵歸因的偏差和偏移。
• 傳送 1000 個預測要求，自動產生輸入結構定義。
• 列出、暫停、繼續及刪除監控工作。
• 使用預先定義的輸入結構定義重新啟動監控工作。
• 查看記錄的監控資料。

教學課程步驟

• 下載預先訓練的 XGBoost 模型。
• 將預先訓練的模型上傳至 Vertex AI Model Registry。
• 將模型資源部署至 Vertex AI 端點資源。
• 設定模型監控的端點資源

教學課程步驟

• 將預先訓練的模型上傳為 Vertex AI 模型資源。
• 建立 Vertex AI 端點資源。
• 將模型資源部署至端點資源。
• 設定用於模型監控的端點資源。
• 初始化模型監控的基準分布。
• 產生合成預測要求。
• 瞭解如何解讀模型監控功能所回報的統計資料、圖表和其他資料。

教學課程步驟

教學課程步驟

教學課程步驟

• 建立並註冊模型的第一個版本至 Vertex AI Model Registry。
• 建立並註冊模型的第二個版本至 Vertex AI Model Registry。
• 更新預設的模型版本。
• 刪除模型版本。
• 重新訓練下一個模型版本。

教學課程步驟

• 建立用於建立 Vertex AI 資料集的 KFP 管道。
• 在訓練 AutoML 表格型分類模型資源的管道中新增元件。
• 新增可建立 Vertex AI 端點資源的元件。
• 新增可將模型資源部署至端點資源的元件。
• 編譯 KFP 管道。
• 使用 Vertex AI Pipelines 執行 KFP 管道。

教學課程步驟

• 將預先訓練 (已獲認可) 的模型匯入 Vertex AI Model Registry。
• 將合成模型評估指標匯入對應的 (已獲認可) 模型。
• 建立 Vertex AI 端點資源
• 將獲准的模型部署至端點資源。
• 建立執行下列步驟的 Vertex AI 管道

教學課程步驟

• 使用控制流程元件建立 KFP 管道
• 編譯 KFP 管道
• 使用 Vertex AI Pipelines 執行 KFP 管道

教學課程步驟

• 建立 KFP 管道

教學課程步驟

• 在 BigQuery 中建立資料集。
• 將部分資料從來源資料集中分離出來，用於批次預測。
• 為訓練應用程式建立自訂 Python 套件。
• 將 Python 套件上傳至 Cloud Storage。
• 建立 Vertex AI Pipeline，

教學課程步驟

• 建構

教學課程步驟

• 使用自給自足的訓練工作建立自訂元件。
• 使用機器資源的元件層級設定執行管道
• 將獨立訓練元件轉換為 Vertex AI CustomJob。
• 使用機器資源的自訂工作等級設定執行管道

教學課程步驟

• 建立 KFP 管道

教學課程步驟

• 建立可建立 Dataset 資源的 KFP 管道。
• 在訓練 AutoML 表格迴歸 Model 資源的管道中新增元件。
• 新增可建立 Endpoint 資源的元件。
• 新增可將 Model 資源部署至 Endpoint 資源的元件。
• 編譯 KFP 管道。
• 使用 Vertex AI Pipelines 執行 KFP 管道。

教學課程步驟

• 建立 KFP 管道

教學課程步驟

• 建立 Dataflow 工作元件，將資料擷取至 BigQuery。
• 建立元件，用於在 BigQuery 中對資料執行預處理步驟。
• 建立元件，以便使用 BigQuery ML 訓練邏輯迴歸模型。
• 使用所有已建立的元件，建構及設定 Kubeflow DSL 管道。
• 在 Vertex AI Pipelines 中編譯及執行管道。

教學課程步驟

• 建立 KFP 管道

教學課程步驟

• 建立 KFP 管道

教學課程步驟

• 建構以 Python 函式為基礎的 KFP 元件。
• 建構 KFP 管道。
• 在元件之間傳遞成果和參數，並使用路徑參照和值。
• 使用 kfp.dsl.importer 方法。
• 編譯 KFP 管道。
• 使用 Vertex AI Pipelines 執行 KFP 管道

教學課程步驟

• 建立 KFP 元件

教學課程步驟

• 將預先訓練 (冠軍) 模型匯入 Vertex AI Model Registry。
• 將合成模型訓練評估指標匯入對應的 (冠軍) 模型。
• 建立 Vertex AI 端點資源。
• 將最佳模型部署至端點資源。
• 匯入已部署模型的其他 (候選) 版本。
• 將合成模型訓練評估指標匯入對應的 (候選) 模型。
• 建立執行下列步驟的 Vertex AI 管道

教學課程步驟

• 定義及編譯 Vertex AI 管道。
• 指定要用於管道執行作業的服務帳戶。
• 使用 Python 適用的 Vertex AI SDK 和 REST API 執行管道。

教學課程步驟

• 建立 BigQuery 和 Vertex AI 訓練資料集。
• 訓練 BigQuery ML 和 AutoML 模型。
• 從 BigQuery ML 和 AutoML 模型中擷取評估指標。
• 選取最佳訓練模型。
• 部署最佳訓練模型。
• 測試已部署的模型基礎架構。

教學課程步驟

• 建立 Vertex AI 自訂 TrainingPipeline，用於訓練模型。
• 訓練 TensorFlow 模型。
• 傳送批次預測工作。

教學課程步驟

• 從 TensorFlow Hub 下載模型構件。
• 為模型建立 Triton 服務設定檔。
• 建構自訂容器，並搭配 Triton 服務映像檔，用於模型部署。
• 將模型上傳為 Vertex AI 模型資源。
• 將 Vertex AI 模型資源部署至 Vertex AI 端點資源。
• 提出預測要求。
• 取消部署模型資源，然後刪除端點。

教學課程步驟

• 下載 TensorFlow 1.x 估計器的預先訓練表格分類模型構件。
• 將 TensorFlow 估計器模型上傳為 Vertex AI Model 資源。
• 建立 Endpoint 資源。
• 將 Model 資源部署至 Endpoint 資源。
• 對部署至 Endpoint 資源的 Model 資源執行個體進行線上原始預測。

教學課程步驟

教學課程步驟

• 建立 Private Endpoint 資源。
• 設定 VPC 對等互連連線。
• 設定 Model 資源的服務二進位檔，以便部署至 Private Endpoint 資源。
• 將 Model 資源部署至 Private Endpoint 資源。
• 將預測要求傳送至 Private Endpoint

教學課程步驟

• 載入預先訓練的文字產生模型。
• 進行非串流預測
• 載入支援串流的預先訓練文字生成模型。
• 進行串流預測
• 載入預先訓練的即時通訊模型。
• 進行本機互動式聊天工作階段。
• 使用文字產生模型執行批次預測。
• 使用文字嵌入模型執行批次預測。

教學課程步驟

• 從 PyTorch 下載預先訓練的圖像模型
• 建立自訂模型處理常式
• 在模型封存檔案中封裝模型構件
• 上傳模型以供部署
• 部署預測模型
• 進行線上預測
• 進行批次預測

教學課程步驟

• 將訓練應用程式封裝至 Python 來源發行版本
• 在預先建構的容器中設定及執行訓練工作
• 在模型封存檔案中封裝模型構件
• 上傳模型以供部署
• 使用預先建構的容器部署模型，以便執行預測
• 進行線上預測

教學課程步驟

• 準備訓練指令碼
• 使用 Ray Jobs API 提交 Ray 工作
• 從 PyTorch 下載經過訓練的圖像模型
• 建立自訂模型處理常式
• 在模型封存檔案中封裝模型構件
• 在 Vertex AI Model Registry 中註冊模型
• 在 Vertex AI 端點中部署模型
• 進行線上預測

教學課程步驟

• 建立叢集。
• 列出現有叢集。
• 取得叢集。
• 手動擴充叢集，然後縮減叢集。
• 自動調度叢集資源。
• 刪除現有叢集��

教學課程步驟

• 建立自訂的 Ray on Vertex AI 容器映像檔
• 使用自訂容器映像檔在 Vertex AI 上建立 Ray 叢集
• 使用 RayDP 在叢集中以互動方式執行 Spark
• 透過 Ray Job API 在叢集中執行 Spark 應用程式
• 在 Spark 應用程式中讀取 Google Cloud Storage 中的檔案
• 在 Ray on Vertex AI 上，Spark 應用程式中的 Pandas UDF
• 刪除 Vertex AI 上的 Ray 叢集

教學課程步驟

• 建立 PyTorch 分散式訓練應用程式
• 使用預先建立的容器封裝訓練應用程式
• 使用縮減伺服器在 Vertex AI 上建立自訂工作
• 提交及監控工作

教學課程步驟

• 設定工作名稱和 Cloud Storage 前置字串
• 複製 AutoML 影片示範訓練資料，以便建立受管理的資料集
• 在 Vertex AI 中建立資料集。
• 設定訓練工作
• 在 Vertex AI 上啟動訓練工作並建立模型
• 複製 AutoML 影片示範預測資料，以便建立批次預測工作
• 在模型上執行批次預測工作

教學課程步驟

• 建立公用函式，下載資料並準備 CSV 檔案，以便建立 Vertex AI 代管資料集
• 下載資料
• 準備 CSV 檔案以建立受管理的資料集
• 建立自訂訓練 Python 套件
• 建立 TensorFlow Serving 容器
• 使用代管文字資料集執行自訂 Python 套件訓練
• 在 Vertex AI 上部署模型並建立端點
• 在端點上進行預測
• 在模型上建立批次預測工作

教學課程步驟

• 設定專案。
• 下載預先訓練模型在 Syn2 資料上的預測資料。
• 根據遮罩輸出結果，以圖像化方式呈現並瞭解特徵重要性。
• 清除本教學課程建立的資源。

教學課程步驟

• 訓練 BigQuery ML ARIMA_PLUS 模型。
• 查看 BigQuery ML 模型評估結果。
• 使用 BigQuery ML 模型進行批次預測。

教學課程步驟

• 1. 訓練 Prophet 模型。
• 1. 查看評估指標。
• 1. 使用 Prophet 模型執行批次預測。

教學課程步驟

• 建立 TabNet CustomJob。如果您知道要用於訓練的超參數，這會是最佳選項。
• 建立 TabNet 超參數調整工作。這樣一來，您就能為資料集取得最佳的超參數組合。

教學課程步驟

• 建立廣度和深度自訂工作。如果您知道要用於訓練的超參數，這會是最佳選項。
• 建立 Wide & Deep HyperparameterTuningJob。這樣一來，您就能為資料集取得最佳的超參數組合。

教學課程步驟

• 建立 Docker 存放區和設定。
• 使用自訂訓練程式碼建立自訂容器映像檔。
• 設定服務帳戶和 Google Cloud Storage 值區。
• 使用自訂容器建立及啟動自訂訓練工作。

教學課程步驟

• 設定服務帳戶和 Cloud Storage 值區。
• 編寫自訂訓練程式碼。
• 封裝訓練程式碼並上傳至 Cloud Storage。
• 啟用 Vertex AI TensorBoard，建立及啟動自訂訓練工作，以便近乎即時監控。

教學課程步驟

• 調整 TensorFlow 執行作業，以記錄超參數和指標。
• 開始執行，並將所有執行記錄記錄在一個上層目錄下。
• 在 Vertex AI TensorBoard 的 HParams 資訊主頁中以視覺化方式呈現結果。

教學課程步驟

• 設定服務帳戶和 Cloud Storage 值區
• 建立 Vertex AI TensorBoard 執行個體
• 建立及執行可啟用 Profiler 的自訂訓練工作
• 查看 Profiler 資訊主頁，對模型訓練效能進行偵錯

教學課程步驟

• 準備自訂訓練程式碼，並將訓練程式碼以 Python 套件形式載入至預先建立的容器
• 建立及執行可啟用 Profiler 的自訂訓練工作
• 查看 Profiler 資訊主頁，對模型訓練效能進行偵錯

教學課程步驟

• 設定服務帳戶和 Google Cloud Storage 值區。
• 使用自訂訓練程式碼建構 KFP 管道。
• 在 Vertex AI Pipelines 中編譯及執行 KFP pipeline，並啟用 Vertex AI TensorBoard 進行近乎即時監控。

教學課程步驟

• 使用 Python 套件進行訓練。
• 在超參數調整時回報準確度。
• 使用 Cloud Storage Fuse 將模型構件儲存至 Cloud Storage。

教學課程步驟

• 使用 Python 套件進行訓練。
• 使用 Cloud Storage Fuse 將模型構件儲存至 Cloud Storage。
• 建構 FastAPI 預測伺服器。
• 為伺服器建構 Dockerfile 部署映像檔。
• 在本機測試部署映像檔 (選用，Colab 使用者不適用)。
• 建立 Vertex AI 模型資源。
• 執行批次預測工作。
• 將模型部署至端點，並傳送線上預測要求。
• 清除已建立的資源。

教學課程步驟

教學課程步驟

• 修改訓練應用程式程式碼，以便自動調整超參數。
• 將訓練應用程式程式碼裝載到容器中。
• 使用 Vertex AI Python SDK 設定及啟動超參數調整工作。

教學課程步驟

• 使用 Python 訓練應用程式套件進行訓練。
• 在超參數調整期間回報準確度。
• 使用 Cloud Storage Fuse 將模型構件儲存至 Cloud Storage。
• 列出最佳模型。

教學課程步驟

• 設定 Google Cloud 專案

教學課程步驟

• 使用 Artifact Registry 和 Docker 建構自訂容器。
• 建立 Vertex AI TensorBoard 執行個體，以便儲存 Vertex AI 實驗。
• 使用 Python 適用的 Vertex AI SDK 執行 Vertex AI 訓練工作。

教學課程步驟

• 建立文字分類模型的訓練套件。
• 在 Vertex AI 上使用自訂訓練訓練模型。
• 檢查已建立的模型構件。
• 建立用於預測的自訂容器。
• 使用自訂容器，將經過訓練的模型部署至 Vertex AI 端點，以便進行預測。
• 傳送線上預測要求給已部署的模型，並進行驗證。
• 清除在本筆記本中建立的資源。

教學課程步驟

• 編寫自訂訓練指令碼，建立訓練和測試資料集並訓練模型。
• 使用 Python 適用的 Vertex AI SDK 執行 CustomTrainingJob。

教學課程步驟

• 建立 Shell 指令碼，在主節點上啟動 ETCD 叢集
• 使用 PyTorch Elastic 的 GitHub 存放區程式碼建立訓練指令碼
• 建立可下載資料的容器，並在主機上啟動 ETCD 叢集
• 使用多個含有 GPU 的節點訓練模型

教學課程步驟

• 為 Google Cloud 專案設定 PROJECT_ID 和 LOCATION 變數。
• 建立 Cloud Storage 值區來儲存模型構件。
• 建構可代管訓練程式的自訂 Docker 容器，並將容器映像檔推送至 Artifact Registry。
• 執行 Vertex AI SDK CustomContainerTrainingJob

教學課程步驟

• 將圖片資料集轉換為嵌入項目。
• 建立索引。
• 將嵌入資料上傳至索引。
• 建立索引端點。
• 將索引部署至索引端點。
• 執行線上查詢。

教學課程步驟

• 建立 ANN 索引。
• 使用 VPC 網路建立索引端點。
• 部署 ANN 索引。
• 執行線上查詢。

教學課程步驟

• 將 BigQuery 資料集轉換為嵌入資料。
• 建立索引。
• 將嵌入資料上傳至索引。
• 建立索引端點。
• 將索引部署至索引端點。
• 執行線上查詢。

教學課程步驟

• 建立 ANN 索引和暴力搜尋索引。
• 使用 VPC 網路建立 IndexEndpoint。
• 部署 ANN 索引和暴力破解索引。
• 執行線上查詢。
• 計算回憶。

教學課程步驟

教學課程步驟

• 使用隨機演算法進行超參數調整。
• 使用 Vertex AI Vizier (Bayesian) 演算法調整超參數。
• 為 Vertex AI Vizier 研究建議試驗並更新結果

教學課程步驟

• 從 BigQuery 擷取必要資料
• 預先處理資料
• 訓練 TensorFlow (2.4 以上版本) 分類模型
• 評估已訓練模型的損失
• 使用執行程式功能自動執行筆記本
• 將模型儲存至 Cloud Storage 路徑
• 清除已建立的資源

教學課程步驟

• 使用「Notebook 中的 BigQuery」載入資料集。
• 對資料集執行探索性資料分析。
• 特徵選取和預先處理。
• 使用 scikit-learn 建構線性迴歸模型。
• 為 Vertex Explainable AI 設定模型。
• 將模型部署至 Vertex AI。
• 測試已部署的模型。
• 清除所用資源。

教學課程步驟

• 探索資料
• 使用 BigQuery 和 ARIMA 模型建立模型
• 評估模型
• 使用 BigQuery ML 評估模型結果 (訓練資料)
• 評估模型結果：MAE、MAPE、MSE、RMSE (使用測試資料)
• 使用執行者功能

教學課程步驟

• 使用 Python 和 SQL 在 BigQuery 中查詢公開資料
• 使用 BigQuery INFORMATION_SCHEMA 探索資料集
• 建立互動式元素，協助探索資料中的有趣部分
• 進行一些探索性關聯和時間序列分析
• 在筆記本中建立靜態和互動式輸出內容 (資料表和圖表)
• 將部分輸出內容儲存至 Cloud Storage

教學課程步驟

• 安裝必要的程式庫
• 從 Cloud Storage 值區讀取資料集
• 對資料集執行探索性分析
• 預先處理資料集
• 使用 scikit-learn 訓練隨機森林模型
• 將模型儲存至 Cloud Storage 值區
• 建立 Vertex AI 模型資源並部署至端點
• 在測試資料上執行 What-If 工具
• 取消部署模型並清理模型資源

教學課程步驟

• 在 BigQuery 中探索從 Google Analytics 4 匯出的資料。
• 使用客層資料、行為資料和標籤 (流失/未流失) 準備訓練資料。
• 使用 BigQuery ML 訓練 XGBoost 模型。
• 使用 BigQuery ML 評估模型。
• 使用 BigQuery ML 預測哪些使用者可能流失。

教學課程步驟

• 從 Cloud Storage 值區載入必要的資料集。
• 分析資料集中的欄位。
• 選取預測維護模型所需的資料。
• 訓練 XGBoost 迴歸模型，以便預測剩餘的使用壽命。
• 評估模型。
• 使用執行緒，將筆記本做為訓練工作來執行。
• 在 Vertex AI 上部署模型。
• 清除所用資源。

教學課程步驟

• 從 Cloud Storage 值區載入必要的資料集。
• 分析資料集中的欄位。
• 處理資料以建構模型。
• 根據已處理的資料建立 BigQuery ML 預測模型。
• 從 BigQuery ML 模型取得預測值。
• 解讀預測結果，找出最佳價格。
• 清除所用資源。

教學課程步驟

• 載入必要資料。
• 預先處理資料。
• 選取模型所需的資料。
• 將資料集載入 Vertex AI 管理的資料集。
• 使用 AutoML Text 訓練情緒模型。
• 評估模型。
• 在 Vertex AI 上部署模型。
• 取得預測結果。
• 清除所用資源。

教學課程步驟

• 設定 Google Cloud 專案和 Dataproc 叢集。
• 設定 SparkBigQueryConnector。
• 將資料從 BigQuery 擷取至 Spark DataFrame。
• 預先處理已攝入的資料。
• 查詢單語存放區中最常用的程式設計語言。
• 查詢 monoglot 存放區中各語言程式碼的平均大小 (MB)。
• 查詢多語言存放區中最常一起出現的語言檔案。
• 將查詢結果寫回 BigQuery。
• 刪除為本筆記本教學課程建立的資源。

教學課程步驟

• 設定 Google Cloud 專案和 Dataproc 叢集。
• 建立 Cloud Storage bucket 和 BigQuery 資料集。
• 設定 sparkbigqueryconnector。
• 將 BigQuery 資料擷取至 Spark DataFrame。
• 執行探索性資料分析 (EDA)。
• 以樣本資料呈現資料。
• 清理資料。
• 選取地圖項目。
• 訓練模型。
• 輸出結果。
• 將模型儲存至 Cloud Storage 值區。
• 刪除為教學課程建立的資源。