モデルジェネレーターヘルプ

Model Generator Help

モデルジェネレーターヘルプ

はじめに

announcement 警告

モデルジェネレーターは、2024年2月1日以降、非推奨のサービスとなりました。2024年2月1日のMAGELLAN BLOCKSのリリース以降、このモデルの作成はできません。DataEditorサービスへ移行してください。

これは、モデルジェネレーターおよびそのトレーニングに関する各画面について解説しているヘルプドキュメントです。各画面に「ヘルプ」と書かれたリンクがあり、そのリンク先がこのドキュメントです。

モデルジェネレーターとは何か

モデルジェネレーターは、機械学習を誰にでも簡単に扱えるようにするMAGELLAN BLOCKSのサービスです。

BLOCKSの機械学習は、「学習」と「予測」の2つのステップからなります。

  1. 学習ステップで過去のデータから学習を行います。

  2. 予測ステップで学習結果を使って未来のデータから予測(分類や回帰)を行います。

モデルジェネレーターは、この機械学習における1の学習ステップをサポートするサービスです。2の予測ステップは、「フローデザイナー」の「モデルジェネレーター予測(オンライン)」ブロックや「モデルジェネレーター予測(バッチ)」ブロックでサポートします。

モデルジェネレーターの概念図

モデルジェネレーターでは、この学習のステップを「トレーニング」と呼びます。トレーニングでは、訓練データと検証データを使って学習し、最適な学習結果(トレーニング結果)を導き出します。

訓練データと検証データは、トレーニング用に用意する過去のデータを適切に分けたものです。

モデルジェネレーターの種類

モデルジェネレーターは、用途別に種類が分かれています。ここでは、モデルジェネレーターの種類とその用途について紹介します。

数値分類タイプ

数値分類タイプは、特徴的なデータから以下のような分類ができます。

  • キャンペーンなどの実施により「会員登録する(0) /会員登録しない(1)」に分類
  • ウェブサイトで表示される広告を「クリックしない(0) /クリックする(1)」に分類
  • ユーザーの趣向性を数値化して「地域特性など数パターン(0からn)」に分類
  • クレジットカードやATMの利用特性から「正当利用(0) /不正利用(1)」に分類

数値回帰タイプ

数値回帰タイプは、何らかの事象(天候や曜日など)から以下のような数値予測ができます。

  • 来場者数を予測
  • 販売数を予測
  • 交通機関の利用者数を予測

画像分類タイプ

画像分類タイプは、画像から以下のようにその画像が何であるかの識別(分類)ができます。

  • 犬の画像から、ブルドッグ・プードル・ダックスフンドなどへ分類
  • 猫の画像から、ペルシャ・シャム・アビシニアンなどへ分類
  • 寿司の画像から、トロ・いくら・サーモンなどへ分類

対応する画像形式は、JPEG・PNG・GIF・BMPのみです。

announcement 警告

透過あり(RGBA)画像には、対応していません。RGBA画像は、RGB(透過なし)画像に変換後、利用願います。
変換したRGB画像の各画素の色がトレーニングや予測に及ぼす影響を統一させるため、統一した方法(同一ツール同一オプション)で変換処理することを推奨します。

画像物体検出タイプ[手動設定]

画像物体検出タイプ[手動設定]は、画像からその画像のどこに何があるかの識別(検出)ができます。複数物体の検出も一度にできます。

画像物体検出の例

手動設定タイプは、自動設定タイプとは違い、自身で用意した画像データを使ってトレーニングし、任意の物体検出が可能です。

画像物体検出タイプ[自動設定]

画像物体検出タイプ[自動設定]は、画像からその画像のどこに何があるかの識別(検出)ができます。複数物体の検出も一度にできます。

自動設定タイプは、手動設定タイプとは違い、COCO (Common Objects in Context)open_in_newのデータセットを使ってトレーニングした結果(モデル)を提供します(トレーニング不要)。

このモデルで、検出可能な物体(ラベル/キャプション)は以下のとおりです。

ID 検出可能な物体(ラベル/キャプション)
1 person
2 bicycle
3 car
4 motorcycle
5 airplane
6 bus
7 train
8 truck
9 boat
10 traffic light
11 fire hydrant
13 stop sign
14 parking meter
15 bench
16 bird
17 cat
18 dog
19 horse
20 sheep
21 cow
22 elephant
23 bear
24 zebra
25 giraffe
27 backpack
28 umbrella
31 handbag
32 tie
33 suitcase
34 frisbee
35 skis
36 snowboard
37 sports ball
38 kite
39 baseball bat
40 baseball glove
41 skateboard
42 surfboard
43 tennis racket
44 bottle
46 wine glass
47 cup
48 fork
49 knife
50 spoon
51 bowl
52 banana
53 apple
54 sandwich
55 orange
56 broccoli
57 carrot
58 hot dog
59 pizza
60 donut
61 cake
62 chair
63 couch
64 potted plant
65 bed
67 dining table
70 toilet
72 tv
73 laptop
74 mouse
75 remote
76 keyboard
77 cell phone
78 microwave
79 oven
80 toaster
81 sink
82 refrigerator
84 book
85 clock
86 vase
87 scissors
88 teddy bear
89 hair drier
90 toothbrush

フローデザイナーの[モデルジェネレーター予測(バッチ)]ブロックの出力結果では、ラベルではなくIDが出力されます([モデルジェネレーター予測(オンライン)]ブロックの場合はラベル)。

ダウンロード 説明
cloud_download
coco_labels.csv

IDとラベルの一覧(上表)のCSVファイルです。

必要な方は、左のリンクをクリックしてダウンロードしてください。

トレーニング詳細

この画面では、以下のことができます。

トレーニング詳細

トレーニングを開始する

トレーニング開始]ボタンをクリックするとトレーニング開始画面が表示されます。

トレーニング開始画面で、トレーニングに必要な情報を設定し、トレーニングを開始します。

トレーニングを一覧する

トレーニングが1つ以上あるとトレーニングが一覧表示されます。

info 参考

APIをチェックする]リンクをクリックすると、トレーニングや予測に必要なGoogle APIのチェックができます。有効化されていないGoogle APIが検出された場合は、当該Google APIを有効化してください。

トレーニングの一覧では、トレーニングごとに以下の情報が確認できます。

情報 説明
トレーニング名 トレーニング開始」で設定したトレーニング名です。トレーニング名をクリックすると、トレーニングの詳細が確認できます。
トレーニング開始日時-終了日時

トレーニングを開始した日時と、トレーニングが終了した日時です。

info 参考

トレーニングの前処理が終了すると、推定の終了日時が表示されます。この時間はあくまでも目安です。実際のトレーニング終了時間は前後します。

ステータス トレーニングの状況です。トレーニングの状況に応じて、準備中/トレーニング中/中断済み/成功/失敗のいずれかが表示されます。
正確率/誤差 トレーニングの評価結果です。分類の場合は正確率、数値回帰の場合は誤差で表します。
アクション

トレーニングの中断とトレーニング結果の適用ができます。

トレーニング結果を適用すると、フローデザイナーの[モデルジェネレーター予測(オンライン)]や[モデルジェネレーター予測(バッチ)]ブロックを使った予測ができるようになります。

トレーニング結果の適用は、[本番用]と[検証用]の2種類から選択できます。[本番用]は、業務の本番運用に、[検証用]は本番運用前の検証用にと使い分けることができます。

適用は、[本番用]と[検証用]で、それぞれ1つのみ可能です。また、[本番用]と[検証用]の適用は相互に変更可能です([本番用]から[検証用]へ、[検証用]から[本番用]へと適用を変更可能)。

more_vert

各トレーニング右端のmore_vertをクリックするとメニューが表示されます。

トレーニング一覧でのメニュー表示

各メニューをクリックすることで、以下のことができます。

  • 同じ設定で新規トレーニングを開始:当該トレニーング開始時の各種設定を引き継いで新しいトレーニングの開始ができます(引き継がれた設定内容は変更可能)。
  • トレーニングの情報をテキストコピー:当該トレーニングの情報をクリップボードにテキスト形式でコピーします。
  • トレーニングを削除:当該トレーニングを削除します。

トレーニングの詳細を確認する

トレーニング名をクリックすると、そのトレーニングの詳細な情報が確認できます。

項目 説明
トレーニング結果

トレーニングの開始日時・終了日時・ステータス・正確率もしくは誤差が確認できます。

画像分類の場合は、[分類に失敗した画像]が表示されることがあります。

画像分類では、画像フォルダーのデータをおよそ8:2の割合で訓練用のデータと検証用のデータに自動的に仕分けして、トレーニングを行います。

トレーニングでは、訓練用のデータで学習を行い、その学習の成果を検証用のデータで検証します。この検証で、分類結果が想定と異なっていると[分類に失敗した画像]が表示されます。

分類に失敗した画像]が表示された場合は提示された各画像を確認してください。画像に誤りがあったときは、適切なフォルダーに配置しなおすか、削除してから再度トレーニングを行ってください(画像に誤りがなければ、その画像はそのままで構いません)。

設定内容

トレーニングデータ開始」で設定した内容とランタイムバージョンが確認できます。ランタイムバージョンには、有効期限があります。詳しくは、基本操作ガイドの「制限事項」を参照願います。

エラーログ トレーニング失敗時のエラーメッセージが確認できます。失敗の原因を調べる際の参考にしてください。

モデルジェネレーターの情報を確認する

「設定内容」の項目でモデルジェネレーターの情報が確認できます。

項目 説明
名前

モデルジェネレーター作成」で設定したモデルジェネレーターの名前です。

名前を変更する]をクリックすることで、名前の変更ができます。

タイプ モデルジェネレーター作成」で設定したモデルジェネレーターのタイプです。
GCPプロジェクトID モデルジェネレーターが使用するGCPプロジェクトIDです。
GCPサービスアカウント モデルジェネレーターが使用するGCPサービスアカウントです。
モデル名 トレーニングのモデル名(トレーニング結果)です。
トレーニングデータ設定

トレーニングデータ設定」で設定した内容です。

CSVフォーマット(GCS用)]をクリックすると、トレーニングデータのサンプルファイル(CSV形式)がダウンロードできます(数値分類タイプ・数値回帰タイプのみ)。トレーニングデータ作成時の参考にしてください。

以下は、サンプルファイルの例です。

sepal_length,sepal_width,petal_length,petal_width,result
15.86,47.13,23.59,88.76,Iris-versicolor
  • 1行目:ヘッダー行(データ項目名)
  • 2行目:データ項目ごとのサンプルデータ

モデルジェネレーターを削除する

サービス削除」項目の「削除」をクリックするとモデルジェネレーターが削除できます。

トレーニング開始

この画面では、トレーニングに必要な項目を設定して、トレーニングを開始します。

info 参考

トレーニング開始時に、トレーニングや予測に必要なGoogle APIが有効化されているかをチェックします。有効化されていないGoogle APIが検出された場合は、当該Google APIを有効化して、トレーニングを再度開始してください。

数値分類タイプ・数値回帰タイプ

トレーニング開始画面

設定項目は以下のとおりです。

設定項目 説明
トレーニング名 トレーニングに名前をつけます。
トレーニングデータ
アップロード

トレーニングデータのアップロード先に使用するGoogle Cloud Storage (GCS)の場所が「gs://バケット名」の形式で表示されます。

リンクをクリックすると、ウェブブラウザーの別タブでGoogle Cloud Consoleが開き、このGCSにアクセスできます(プロジェクト設定のGCPアクセスで登録したGoogleアカウントによるログインが必要)。

info 参考

フルサービスプランのときのみ表示されます。

トレーニングデータの
アップロード方法

トレーニングデータをどのように指定するかを指定します。

  • 1つのファイルから訓練データと検証データとを自動分割する:トレーニングデータとして、1つのCSVファイルもしくはDataEditorでデータを準備した場合は、こちらを選択します。この場合は、BLOCKS内部で自動的に訓練データと検証データに分割してトレーニングを実施します。分割時の訓練データと検証データの比率は、おおよそ8:2です。
  • 訓練データと検証データとをそれぞれ1ファイルずつ準備する:トレーニングデータとして、訓練データと検証データの2つのCSVファイルを準備した場合は、こちらを選択します。
トレーニングデータ

トレーニングデータをGCS上のCSVファイルで与えるか、DataEditorのデータで与えるかを指示します。

訓練データ/
トレーニングデータURL

GCS上の訓練データもしくはトレーニングデータファイルのパス(gs://バケット名/ファイル名.csvのようなURL)を指定します。

folderアイコンをクリックして表示されるGCSファイルセレクターを使ってファイルを選択すると、この形式でパスが展開されます。

info 参考

パスに指定できる文字は、英数字・アンダースコア(_)・ハイフン(-)・スラッシュ(/)などのアスキー(ASCII)文字のみです。

検証データURL

GCS上の検証データファイルのパス(gs://バケット名/ファイル名.csvのようなURL)を指定します。

folderアイコンをクリックして表示されるGCSファイルセレクターを使ってファイルを選択すると、この形式でパスが展開されます。

info 参考

パスに指定できる文字は、英数字・アンダースコア(_)・ハイフン(-)・スラッシュ(/)などのアスキー(ASCII)文字のみです。

トレーニングデータ テーブル

トレーニングデータをDataEditorで作成したデータから選択します。

選択したデータに、keyという列名が存在する場合は、その列を除外してトレーニングデータとして利用します。

CSVデータの
読み飛ばすヘッダー行

トレーニングで使用するCSVファイル中のヘッダー行を無視する機能です。CSVファイル中にヘッダー行がある場合は、ヘッダー行の行数を指定します。ヘッダーがない場合は0を指定します。

トレーニングの経過制限時間(分)

トレーニングを何分かけて行うかを30分以上の分単位で指定します(内部的に行われる前処理や後処理などの時間を除く)。

マシンタイプ

トレーニングに使用するマシンの種類を選択します。

  • 単一ノード:標準的なマシンでCPUを使ってトレーニングします。
  • 単一ノード(GPU):GPU (Graphic Processing Unit)を使ってトレーニングします。GCPの料金が[単一ノード]に比べて3倍ほどかかりますが、[単一ノード]に比べて高速なトレーニングが望めます。ただし、トレーニングデータの内容によっては、思ったほど高速にならないことや[単一ノード]より遅くなることもあります。
  • 分散ノード:複数のマシンを使ってトレーニングを並列実行します。
トレーニングの説明

トレーニングの説明を記入します。

トレーニングデータをDataEditorのデータで与えた場合は、名前・データセットID・テーブルIDの情報が自動追記されます。

画像分類タイプ

画像分類タイプのトレーニング開始画面

設定項目は以下のとおりです。

設定項目 説明
トレーニング名 トレーニングに名前をつけます。
トレーニングデータ
アップロード

トレーニングデータのアップロード先に使用するGoogle Cloud Storage (GCS)の場所が「gs://バケット名」の形式で表示されます。

リンクをクリックすると、ウェブブラウザーの別タブでGoogle Cloud Consoleが開き、このGCSにアクセスできます(プロジェクト設定のGCPアクセスで登録したGoogleアカウントによるログインが必要)。

info 参考

フルサービスプランのときのみ表示されます。

画像フォルダー

トレーニングに使用するGCS上の画像フォルダーへのパス(gs://バケット名/フォルダー/のようなURL)を指定します。パスの末尾は必ず/とします。

folderアイコンをクリックして表示されるGCSファイルセレクターを使ってフォルダーを選択すると、この形式でパスが展開されます。

画像フォルダーの仕様は、以下のとおりです。

画像フォルダーの形式
  • トレーニング用画像ファイルをまとめるためのフォルダーをGCS上に用意します。これを画像フォルダーと呼びます。
  • 画像フォルダーの直下に、分類する種類ごとのフォルダーを用意します。このフォルダー名が分類名として扱われます。
  • 画像ファイルは、分類ごとのフォルダー内に配置します。
  • 対応する画像ファイルの形式は、トレーニングタイプによって異なります。
    • スピード優先:JPEGのみ
    • 精度優先:JPEG・PNG・GIF・BMP

    announcement 警告

    透過あり(RGBA)画像には、対応していません。RGBA画像は、RGB(透過なし)画像に変換後、利用願います。
    変換したRGB画像の各画素の色がトレーニングや予測に及ぼす影響を統一させるため、統一した方法(同一ツール同一オプション)で変換処理することを推奨します。

  • 極端な縦横比の画像は、正しく分類できない可能性があります。
  • 分類ごとのフォルダー内には、画像ファイルのみを配置します(更にフォルダーを作って整理しないでください)。

たとえば、犬と猫の画像を分類する場合は、犬用のフォルダーと猫用のフォルダーを分けてそれぞれに犬と猫の画像ファイルを配置します。

トレーニングタイプ

トレーニングの種類を選択します。

  • スピード優先学習

    「精度優先学習」との比較において、トレーニングの時間が短い代わりに、予測精度が低くなる傾向にあります。

  • 精度優先学習

    「スピード優先学習」との比較において、トレーニングの時間が長い代わりに、予測精度が高くなる傾向にあります。

トレーニングの経過制限時間(分)

トレーニングを何分かけて行うかを30分以上の分単位で指定します(内部的に行われる前処理や後処理などの時間を除く)。

トレーニングの最大試行回数

トレーニングの試行回数を1回か10回で指定します。

info 参考

「トレーニングの経過制限時間 × トレーニングの最大試行回数」が、トレーニングにかかるおおよその時間です。実際には、付加的・間接的な処理による時間もあるため、もう少し時間がかかる可能性もあります。

早期打ち切り判定を利用する

早期打ち切り判定を[利用する]か[利用しない]かを選択します。

早期打ち切り判定とは、トレーニング中にこれ以上の精度向上が見込めないと判断した場合に、トレーニングの経過制限時間に達していなくてもトレーニングを打ち切る機能です。ただし、精度向上の見込み判断の正確性を保証するのものではありません。ご利用は、ご自身の判断でお願いします。

info 参考

このオプションは、[トレーニングタイプ]で[精度優先学習]を選択したときのみ表示されます。

マシンタイプ

トレーニングに使用するマシンの種類を選択します。

  • 単一ノード:標準的なマシンでCPUを使ってトレーニングします。
  • 単一ノード(GPU):単一のマシンでGPU(Graphic Processing Unit)を使ってトレーニングします。
  • 分散ノード(GPU):複数のマシンでGPUを使ってトレーニングします。[単一ノード(GPU)]のマシンタイプに比べてGCPの料金が割高になりますが、[単一ノード(GPU)]に比べて高速なトレーニングが望めます。

info 参考

分散ノード(GPU)]は、[トレーニングタイプ]で[精度優先学習]選択したときのみ表示されます。

トレーニングの説明 トレーニングの説明を記入します。

画像物体検出タイプ[手動設定]

画像物体検出タイプのトレーニング開始画面

設定項目は以下のとおりです。

設定項目 説明
トレーニング名 トレーニングに名前をつけます。
アノテーション

画像アノテーションツールで作成したアノテーションを設定します。

トレーニングの説明 トレーニングの説明を記入します。

GCPサービスの利用料金

モデルジェネレーターは、お客さまのGCPプロジェクトに各種GCPサービスを利用した環境を構築します。

このため、MAGELLAN BLOCKSの料金とは別にGCPの料金が発生します。適用される料金は、サービスごとに異なります。詳しくは、モデルジェネレーターで使用する各サービスごとの料金ページを参照してください。

この情報は役に立ちましたか?