AI モデルと ML モデルをトレーニングする

Google Cloud Data Agent Kit で AI モデルと ML モデルをトレーニングする方法について説明します。

このクイックスタートでは、セッション テンプレートとサンプル Jupyter ノートブックを使用して、ニューヨーク市のタクシーのチップ額を予測します。PySpark でリモート Jupyter カーネルを使用して、線形回帰、ランダム フォレスト、XGBoost などのさまざまなモデルを試します。このプロセスでは、分散トレーニングと推論を実行できます。このチュートリアルでは、Spark ML と XGBoost ライブラリを使用して複数のマシンにわたってスケーラビリティを実現する方法を示します。

このクイックスタートでは説明しませんが、Google Cloud Data Agent Kit を使用して AI モデルと ML モデルをトレーニングする方法は複数あります。

  • トレーニング データセットが大きい場合や、Apache Spark が提供する分散トレーニング機能が必要な場合は、リモート カーネルで Spark ノートブックを使用できます。
  • データセットが BigQuery にあり、BigQuery ML がユースケースをサポートしている場合は、BigQuery DataFrames ノートブックを使用できます。
  • データセットが小さく、モデルをローカルでトレーニングする場合は、Python ノートブックを使用できます。

始める前に

始める前に、次のことを行います。

  1. 拡張機能をインストールします。
  2. 拡張機能の設定を構成します。
  3. データを見つけて探索するのガイダンスを確認します。

Spark ランタイム テンプレートを作成する

サーバーレス Spark ランタイム テンプレートを使用すると、指定された構成セットで Apache Spark セッションを開始できます。新しいサーバーレス ランタイム テンプレートを作成する手順は次のとおりです。

  1. IDE のアクティビティ バーで、Google Cloud Data Agent Kit アイコンをクリックします。
  2. Google Cloud Data Agent Kit メニューで、[Apache Spark] を開きます。
  3. [サーバーレス] を展開し、[+ サーバーレス ランタイムを作成] をクリックします。サーバーレス ランタイムの作成フォームが表示されます。
  4. [表示名] フィールドに「ai-ml-tutorial」と入力します。
  5. [Auto Scaling] セクションに移動します。
  6. プルダウン リストで spark.dynamicAllocation.enabled を false に設定します。この設定は、XGBoost が Apache Spark と連携するために必要です。
  7. 他のフィールドはすべてデフォルトのままにします。
  8. [送信] をクリックします。

新しいノートブックを作成する

次に、新しい Spark ノートブックを作成します。

  1. [Google Cloud Data Agent Kit] タブの [Apache Spark] で、[+ 新しい Spark ノートブック] をクリックします。
  2. カーネルタイプとして [リモート カーネル] を選択します。
  3. [サンプル ノートブックから始める] をクリックします。
  4. サンプルの一覧で、[Data Science with PySpark and Distributed XGBoost] を選択します。無題の Jupyter ノートブックが表示されます。

モデルのトレーニング

  1. ノートブックのタブで [すべて実行] をクリックします。カーネル ピッカーで、ノートブックの実行に使用するカーネルを選択するよう求められます。
  2. [別のカーネルを選択] をクリックします。
  3. [リモート Spark カーネル] をクリックします。
  4. 前に作成したランタイム テンプレートである [ai-ml-tutorial on Serverless Spark] を選択します。

システムがサーバーレス Spark セッションを作成している間、次の通知が表示されます。Connecting to kernel: ai-ml-tutorial on Serverless Sparkノートブックがリモート PySpark カーネルに接続すると、最初のセルから実行が開始されます。このプロセスには 2 ～ 3 分ほどかかります。

Spark セッションを検査する

  1. [Google Cloud Data Agent Kit] タブの [Apache Spark] で、[ai-ml-tutorial] ランタイム テンプレートを開きます。IDE に、このランタイム テンプレートで作成したインタラクティブ セッションのリストが表示されます。
  2. リストの上部に、ノートブックを実行してシステムが作成したセッションが表示されます。セッションをクリックすると詳細が表示されます。セッション構成と、ノートブックの実行に使用されたリソースを確認できます。

クリーンアップ

ノートブックが正常に実行されたら、次のクリーンアップ手順を行います。

  1. [Google Cloud Data Agent Kit] タブの [Apache Spark] で、[Serverless] を右クリックし、[List Serverless Runtimes] を選択します。サーバーレス ランタイムのリストが表示されます。
  2. ai-ml-tutorial の [アクション] メニューをクリックして、テンプレートからシステムが作成したすべてのインタラクティブ セッションを一覧表示します。
  3. [アクション] で [削除] をクリックします。
  4. [サーバーレス ランタイム] ウィンドウに戻ります。
  5. ai-ml-tutorial の [アクション] で、[削除] をクリックします。
  6. [確認] をクリックして、このチュートリアル用に作成したテンプレートを削除します。

次のステップ