はじめに
物体検出サービスを利用すると、指定された画像内にある複数のオブジェクトの検出ができます。
物体検出では、おおまかに以下の機能を提供します。
-
指定された画像内にある複数のオブジェクトを検出し、各オブジェクトごとの種類（事前に定義したラベル）と矩形領域の位置と大きさを示します。これらの情報は、BigQuery テーブルに格納します。
-
ポジティブサンプル画像とネガティブサンプル画像を使ったトレーニングにより、より精度の高いオブジェクトの検出が可能です。
- ポジティブサンプル画像：アノテーション付きの画像
- ネガティブサンプル画像：アノテーションなしの画像で、ポジティブサンプル画像でアノテーションされたオブジェクトが写っていない画像
-
高解像度の画像から大小さまざまなオブジェクトを適切に検出するために、トレーニングの前後に以下の処理を行う機能を持ちます。
- 前処理 1：固定サイズ（300 ピクセル）で画像を分割（小さなオブジェクトの検出が可能）
- 前処理 2：分割前の画像を縮小（縮小しても潰れない大きなオブジェクトの検出が可能）
- 後処理：前処理 1・2 の画像群をトレーニングした結果を統合して 1 枚の画像の検出結果としてまとめる（大小さまざまなオブジェクトの検出が可能）
info_outline 一般的に画像検出のトレーニングや予測においては、低解像度の画像しか扱えないため、高解像度の画像はトレーニング時に自動的に縮小して利用されています。このため、縮小すると潰れてしまうようなオブジェクトは、検出できなくなります。本機能により、この問題を解決しています。
-
トレーニングで生成したモデルを使って、アノテーションなしの画像からアノテーション情報の自動生成も可能です。
- 扱える画像は、JPEG 形式のみです。
はじめ方
物体検出は、BLOCKS にログイン後、以下の操作で使い始めます。
- menu をクリック
- ［物体検出］をクリック
- ［追加］ボタンをクリック
- ［物体検出タイプ［自動アノテーション可］］ボタンをクリック
- 名前を入力
- GCP サービスアカウントを選択
エラーメッセージが表示される場合は、「GCP サービスアカウント選択時のエラー対応」の解説を参照願います。 - 本サービスで使用する GCS 上のフォルダーを指定
- 画像アノテーションツールで作成済みのラベルセットを選択
- ［作成］ボタンをクリック
- ［戻る］ボタンをクリック
- 使用する物体検出の名前をクリック
この画面から、物体検出の各機能にアクセスできます。
GCP サービスアカウント選択時のエラー対応
GCP サービスアカウント指定時に、以下のようにエラー表示となる場合があります。
この場合は、以下の手順で操作してください。
- リンクをクリック
別タブに上記画面が表示されます。
- ［続行］ボタンをクリック
この画面が表示されたら画面（タブ）を閉じて、BLOCKS の画面に戻ります。
機能紹介
物体検出には、以下の機能があります。ここでは、これらについて解説します。
トレーニング
トレーニングタブでは、トレーニングの実行やトレーニング一覧の確認ができます。トレーニングの実行に成功するとモデルが作成されます。
トレーニング実行の手順は、以下のとおりです。
- ［トレーニング開始］ボタンをクリック
- 名前を入力
- 作成済みのアノテーションを選択
複数選択が可能です。画像アノテーションツールで作成したアノテーションはもちろんのこと、本サービスで自動生成したアノテーションも加えてのトレーニングが可能です。
- 必要に応じて、［詳細設定］をクリックし、適宜以下の設定・変更を行う
- 画像を分割するときのオーバーラップ幅をピクセル単位の値で変更
画像の分割は分割領域が重なり合うように分割します。その重なり合った部分をオーバーラップ幅と呼びます（下図は 4 分割の例）。
- 分割後の画像に含まれるアノテーション矩形領域が元の何割以上のときだけ残すかのしきい値を変更
- 画像を縮小するスケール率を変更（0 から 1 の範囲で 0.1 刻み）
複数選択が可能です。これにより、通常サイズ（スケール率 1）と縮小サイズ（スケール率 1 以外）の画像を使ったトレーニングが行えます。
- 分割後の画像に含まれるアノテーション矩形領域がなくなった場合、アノテーション矩形領域を含む画像の枚数に対して何枚まで残すかの比率を変更
- ネガティブサンプル画像を含む GCS 上のフォルダーを指定
- 画像を分割するときのオーバーラップ幅をピクセル単位の値で変更
- ［開始］ボタンをクリック
- ［閉じる］ボタンをクリック
トレーニング一覧では、トレーニングの詳細情報の確認や実行中のトレーニングのキャンセルができます。
- more_vert をクリック
- ［詳細］をクリック：トレーニングの詳細情報の確認
［キャンセル］をクリック：実行中のトレーニングをキャンセル
トレーニングの詳細情報は、トレーニングの名前をクリックすることでも確認できます。
モデル
モデルタブでは、トレーニングで生成されたモデルの一覧の確認ができます。
info_outline モデルのダウンロードを希望される場合は、「お問い合わせ」のページより問い合わせをお願いします。なお、モデルのダウンロードに関しては、別途料金が発生します。
モデルの一覧では、モデルの削除ができます。
- more_vert をクリック
- ［削除］をクリック
モデルのダウンロードが可能となっている場合は、以下の手順でモデルのダウンロードが可能です。
- more_vert をクリック
- ［モデルダウンロード］をクリック
しばらくすると、ダウンロード先を指定する画面が表示されます。ダウンロード先を指定して PC 上にダウンロードしてください（ファイルは ZIP 形式で圧縮されています）。
アノテーション
アノテーションタブでは、トレーニングで生成されたモデルを使って、指定した画像のアノテーション情報の自動生成と生成したアノテーションの一覧が確認できます。
アノテーションの生成手順は、以下のとおりです。
- ［アノテーション情報生成］をクリック
- 名前を入力
- モデルを選択
- アノテーション情報を自動生成したい画像を含むフォルダーを指定
- アノテーション情報を出力する空のフォルダーを指定
- 生成するアノテーションに付ける名前を入力
- 必要に応じて［詳細設定］をクリックし、適宜以下の変更を行う
- 画像を分割するときのオーバーラップ幅をピクセル単位の値で変更
画像の分割は分割領域が重なり合うように分割します。その重なり合った部分をオーバーラップ幅と呼びます（下図は 4 分割の例）。
- 結果を残すオブジェクト検出スコアのしきい値を変更
- 画像を縮小するスケール率を変更（0 から 1 の範囲で 0.1 刻み）
複数選択が可能です。これにより、通常サイズ（スケール率 1）と縮小サイズ（スケール率 1 以外）の画像を使ったトレーニングが行えます。
- 画像を分割するときのオーバーラップ幅をピクセル単位の値で変更
- ［開始］ボタンをクリック
- ［閉じる］ボタンをクリック
アノテーション一覧では、アノテーションの詳細情報の確認や実行中のアノテーション生成のキャンセルができます。
- more_vert をクリック
- ［詳細］をクリック：アノテーションの詳細情報の確認
［キャンセル］をクリック：実行中のアノテーション生成をキャンセル
アノテーションの詳細情報は、アノテーションの名前をクリックすることでも確認できます。
予測
予測タブでは、トレーニングで生成されたモデルを使った指定画像内のオブジェクトの検出（予測）と予測結果の一覧が確認できます。予測結果は、BigQuery テーブルに出力します。
予測の手順は、以下のとおりです。
- ［予測開始］ボタンをクリック
- 名前を入力
- モデルを選択
- オブジェクトを検出したい画像を含む GCS 上のフォルダーを指定
- オブジェクト検出結果を格納する BigQuery データセットを指定
- オブジェクト検出結果を格納する BigQuery テーブルを指定
- 必要に応じて［詳細設定］をクリック
- 画像を分割するときのオーバーラップ幅をピクセル単位の値で変更
画像の分割は分割領域が重なり合うように分割します。その重なり合った部分をオーバーラップ幅と呼びます（下図は 4 分割の例）。
- 結果を残すオブジェクト検出スコアのしきい値を変更
- 画像を縮小するスケール率を変更（0 から 1 の範囲で 0.1 刻み）
複数選択が可能です。これにより、通常サイズ（スケール率 1）と縮小サイズ（スケール率 1 以外）の画像を使った検出が行えます。
- 画像を分割するときのオーバーラップ幅をピクセル単位の値で変更
- ［開始］ボタンをクリック
- ［閉じる］ボタンをクリック
予測結果の一覧では、予測の詳細情報の確認や実行中の予測のキャンセルができます。
- more_vert をクリック
- ［詳細］をクリック：予測の詳細情報の確認
［キャンセル］をクリック：実行中の予測をキャンセル
予測の詳細情報は、予測の名前をクリックすることでも確認できます。
BigQuery テール部の予測結果のスキーマ情報は、以下のとおりです。
| カラム名 | 型 | 説明 |
|---|---|---|
| image | STRING | 画像の GCS URL |
| width | INTEGER | 画像の幅（ピクセル） |
| height | INTEGER | 画像の高さ（ピクセル） |
| objects | RECORD（REPEATED） | オブジェクト情報 |
| objects.label_id | INTEGER | ラベルの ID |
| objects.label_name | STRING | ラベルの名称 |
| objects.xmin | FLOAT | オブジェクト矩形領域の左上の X 座標（画像の左上原点） |
| objects.ymin | FLOAT | オブジェクト矩形領域の左上の Y 座標（画像の左上原点） |
| objects.xmax | FLOAT | オブジェクト矩形領域の右下の X 座標（画像の左上原点） |
| objects.ymax | FLOAT | オブジェクト矩形領域の右下の Y 座標（画像の左上原点） |
| objects.score | FLOAT | 検出したオブジェクトのスコア（確からしさ） |
設定
設定タブでは、本物体検出を作成した時の設定情報の確認と削除ができます。
削除は、以下の手順でできます。ただし、トレーニングを実行中・アノテーション情報を生成中・予測を実行中の場合、削除操作は行えません。
info_outline モデルのダウンロードを可能にしている場合も削除操作は行えません。
- ［削除する］をクリック
- ［削除］ボタンをクリック