ブロックリファレンス

BLOCKS Reference

BigQuery

変数からテーブルへロード

概要

このブロックは、変数内のデータを BigQuery のテーブルに格納します。

変数からテーブルへロードブロックの概念図

変数内のデータ形式は、以下いずれかのフォーマットでなければなりません。

フォーマット 説明
CSV CSV 形式のデータです。
NEWLINE_DELIMITED_JSON 改行区切りの JSON 形式データです。JSON Lines と同形式です。
DATASTORE_BACKUP Google Datastore マネージドインポートおよびエクスポートサービスを使って作成された Datastore エクスポートデータです。

通常、JSON 形式のデータを変数に格納するブロックと組み合わせて使用します。以下は、モデルジェネレーター予測（オンライン）ブロックの出力結果（JOSN 形式データ）を BigQuery テーブルに格納する例です。

変数からテーブルへロードブロックの使用例

プロパティ

プロパティ名 説明
ブロック名

編集パネルに配置した当該ブロックの表示名が変更できます。

ブロックリストパネル中のブロック名は変更されません。

GCP サービスアカウント このブロックで使用する GCP サービスアカウントを選択します。
投入データの変数 BigQuery のテーブルに格納するデータを持つ変数を指定します。
投入先のデータセット

データを格納する BigQuery テーブルが属するデータセット ID を指定します。

［変数展開の指定が可能］［% 形式の文字列書式の指定が可能］
投入先のテーブル

データを格納する BigQuery のテーブル ID を指定します。

［変数展開の指定が可能］［% 形式の文字列書式の指定が可能］
スキーマ設定

BigQuery テーブルのスキーマ （テーブルの構造）を指定します。JSON 形式のデータから読み込む場合は、省略可能です。

※［JSON で編集］リンクをクリックすると、JSON 形式の文字列を直接指定できます。

画面上には表示されませんが、description キーが自動で追加されます。［JSON で編集］の場合は、description キーは表示され編集も可能です。

スキーマの指定が複数ある場合は、以下の優先順位でスキーマが決定します。

  1. スキーマ定義ファイルプロパティ
  2. スキーマ設定プロパティ

info_outline 使い方は、基本操作ガイドの「スキーマ設定プロパティの使い方」を参照願います。

スキーマ定義ファイル

Google Cloud Storage（GCS）上の JSON 形式のスキーマ定義ファイルを使ってスキーマを定義します。

このプロパティには、スキーマ定義ファイルへの GCS URL を指定します。

JSON 形式のスキーマ定義ファイルの内容については、Google のドキュメント を参照願います。

スキーマの指定が複数ある場合は、以下の優先順位でスキーマが決定します。

  1. スキーマ定義ファイルプロパティ
  2. スキーマ設定プロパティ
［変数展開の指定が可能］［% 形式の文字列書式の指定が可能］
空でないテーブルが存在したとき

データ格納先のテーブルが存在したときの動作を選択します。

  • 追加: データを追加で読み込みます。
  • 上書き: テーブルを空にしてから読み込みます。
  • エラー: テーブルが空でなければ失敗となります。
ブロックメモ このブロックに関するメモが記載できます。このブロックの処理に影響しません。
ファイル形式

変数内のデータ形式を選択します。選択できるフォーマットは次のいずれかです。

  • CSV
  • NEWLINE_DELIMITED_JSON
  • DATASTORE_BACKUP
CSV の区切り文字

［ファイル形式］プロパティ値が CSV の場合の区切り文字を選択もしくは指定します。選択できる区切り文字は以下のいずれかです。

  • カンマ
  • タブ
  • パイプ
  • その他

［その他］を選択した場合は、［その他］の入力フィールドに、区切り文字を 1 文字で指定します。

読み飛ばし行数 ［ファイル形式］プロパティ値が CSV の場合、先頭何行を読み飛ばすかの行数を指定します。
フィールド数が足りない行を許容する ［ファイル形式］プロパティ値が CSV の場合、フィールド数が足りない行を許容するかしないかを選択します。
クオート記号を指定 ［ファイル形式］プロパティ値が CSV の場合のクオート記号を指定します。
クオートされた文字列に改行を含む ［ファイル形式］プロパティ値が CSV の場合、クオートされた文字列に改行が含まれることを許容するかしないかを指定します。
不正な行の許容数 不正なレコードの許容数を指定します。このレコード数を超える不正なレコードがあると投入失敗となります。
余分なフィールドを無視する 余分なフィールドを無視するかしないかを指定します。

この情報は役に立ちましたか？