まず、数値回帰のトレーニングと予測に必要なデータを準備します。データは、コンマ区切りの CSV ファイル（BOM なし・UTF-8）で用意します。

トレーニング用データは、東京都の日毎の気象情報および日中時間と電力使用量を使用します。

• 最高気温
• 最低気温
• 日照時間
• 平均湿度
• 日中時間
• 電力使用量

トレーニングでは、気象情報および日中時間と電力使用量の間にどのような因果関係があるのかを学習させます。

ここでは、因果関係の原因となる項目（最高気温・最低気温・日照時間・平均湿度・日中時間）のことを「因子」と呼び、因果関係の結果となる項目（電力使用量）のことを「結果となる値」と呼びます。

予測では、モデルを使って未学習の因子から結果となる値を予測します。

予測用データは、「キー項目」と「因子」を使用します。キー項目は、ひとまとまりの予測用データ（1 行分のデータ）を特定するための値です。キー項目は、予測用データ全体でユニークな値でなければなりません。今回は、年月日をキー項目として用います。

これらのデータは、気象庁・国立天文台・東京電力パワーグリッドの各ホームページから入手できます。

• 最高気温・最低気温・日照時間・平均湿度：気象庁 open_in_new
• 日中時間：国立天文台 open_in_new
• 電力使用量：東京電力パワーグリッド open_in_new

info_outline 日中時間は、国立天文台が提供する日の入りと日の出の時間から算出します。時間の単位は分とします。

このチュートリアルでは、2016 年 1 月 1 日から 2018 年 12 月 31 日までの 3 年間のデータを準備し、トレーニング用データと予測用データに分けて使用します。

データの種類	データ量（期間）
トレーニング用データ	2016 年 1 月 1 日から 2018 年 11 月 30 日までの 2 年 11 か月分
予測用データ	2018 年 12 月 1 日から 2018 年 12 月 31 日までの 1 か月分

info_outline 予測用データは、実運用では未来のデータを使用します。このチュートリアルでは、実運用前の検証段階を想定しています。このため予測用データは、トレーニング結果の確からしさをテストするため、トレーニングには使用していない過去のデータを用います。

因子については、まとめたデータを用意しました。

データ	説明
cloud_download サンプル気象データ（weather_daytimeminutes.csv）	気象庁と国立天文台が提供するデータから東京都の気象情報と日中時間をひとつにまとめたコンマ区切りの CSV ファイルです。このファイルには、2016 年 1 月 1 日から 2018 年 12 月 31 日までの以下のデータが含まれています。 年月日 最高気温 最低気温 日照時間 平均湿度 日中時間 左の欄のリンクをマウスの右ボタンでクリックしてください。表示されるメニューからリンク先を保存する旨の項目をクリックするとダウンロードできます。 warning このデータを利用した一切の行為について気象庁および国立天文台は何ら責任を負いません。

結果となる値の電力使用量は、2 次配布が許可されていないため、東京電力パワーグリッドのダウンロードページ open_in_newから直接ダウンロードします。

ダウンロードは、2016 年・2017 年・2018 年のリンク（❶）をそれぞれマウスの右ボタンでクリックしてください。表示されるメニューからリンク先を保存する旨の項目をクリックするとダウンロードできます。いずれもコンマ区切りの CSV ファイルです。ファイル名は、それぞれ juyo-2016.csv・juyo-2017.csv・juyo-2018.csv です。

これで、データがすべて揃いました。これから、これらのデータを BLOCKS で扱えるデータ形式に加工していきます。

データの加工方法は色々ありますが、このチュートリアルでは、Excel で因子と結果となる値をひとつにまとめます。その後、BLOCKS の DataEditor というサービスで不正データの除去（クレンジング）と、トレーニング用データと予測用データへの分割を行います。

それでは、Excel で因子データと結果となる値をひとつにまとめていきます。形式は以下のように、因子→結果となる値の順に並べます。表の見出しは英数字とアンダースコア（_）で構成します（括弧内の表記が実際の見出し）。

（図をクリックすると拡大表示されます。）

info_outline 年月日は因子データではありませんが、電力使用量をまとめたり、トレーニング用データと予測用データへ分割する際に必要です。また、予測用データのキー項目としても使います。その際、キー項目は key という名称でなければなならないため、key という表見出しにしています。

先にダウンロードした weather_daytimeminutes.csv ファイルを Excel で開きます。

このファイル（ブック）の新しいワークシートに、3 つの電力使用量のデータファイルを取り込んでいきます。

［データ］（❶）→［外部データの取り込み］（❷）→［テキストファイル］（❸）の順にクリックします。

info_outline 画面の解像度によっては、リボン部分の表示は異なります。いずれにしても、［データ］タブの［外部データの取り込み］内の［テキストファイル］をクリックしてください。

juyo-2016.csv ファイル（❶）→［インポート］ボタン（❷）の順にクリックします。

3 行分のヘッダを読み飛ばすため、［取り込み開始行］（❶）を 4 に変更し、［次へ］ボタン（❷）をクリックします。

読み込むファイルはコンマ（カンマ）区切りの CSV ファイルのため、区切り文字の［カンマ］のチェックボックス（❶）にチェックを入れて、［完了］ボタン（❷）をクリックします。

電力使用量のデータファイルは、新しいワークシートに取り込みます。このため、データを返す先として［新規ワークシート］（❶）をクリックし、更に［OK］ボタン（❷）をクリックします。

2 つ目のファイル juyo-2017.csv を取り込む準備として、アクティブなセルの位置を最終行の次行（A6601 のセル）に移動させます。キーボード操作で、Ctrl + ↓ の後に、↓ を 1 回押します。これで、A6601 のセルがアクティブになります。

先ほどと同じ手順（［データ］→［外部データの取り込み］→［テキストファイル］）で、juyo-2017.csv を取り込みます。

ただし、データを返す先の指定では、［既存のワークシート］が選択され、=$A$6601 （❶）となっていることを確認し、［OK］ボタン（❷）をクリックします（異なる場合はこれに合わせます）。

3 つ目のファイル juyo-2018.csv を取り込む準備として、アクティブなセルの位置を最終行の次行（A15361 のセル）に移動させます。キーボード操作で、Ctrl + ↓ の後に、↓ を 1 回押します。これで、A15361 のセルがアクティブになります。

先ほどと同じ手順（［データ］→［外部データの取り込み］→［テキストファイル］）で、juyo-2018.csv を取り込みます。

ただし、データを返す先の指定では、［既存のワークシート］が選択され、=$A$15361 （❶）となっていることを確認し、［OK］ボタン（❷）をクリックします（異なる場合はこれに合わせます）。

これで、3 つの電力使用量のデータファイルがワークシート Sheet1 に取り込めました。データは、日・時・電力使用量の順で並んでいます。

取り込んだ電力使用量のデータを見ると、1 時間毎の電力使用量が記録されています。これに対して、今回のトレーニングデータは、気象情報および日中時間を日毎のデータでまとめています。このため、取り込んだこのデータはそのままでは使えず、電力使用量を日毎のデータに再集計する必要があります。

それでは、ワークシート Sheet1 の電力使用量を日毎のデータにまとめて、ワークシート weather_daytimeminutes に記録する手順を紹介します。

ワークシートを weather_daytimeminutes（❶）に切り替えて、セル G1（❷）をクリックし、electricity_usage と電力使用量の見出しを入力します。

セル G2（❶）をクリックし、=SUMIF(Sheet1!$A:$A,A2,Sheet1!$C:$C) と日毎の電力使用量を求める計算式を入力します。

これで、2016 年 4 月 1 日分の電力使用量が計算されて G2 に入力されました。後は、G3 以降のセルに同様の式を展開するだけです。

手順は簡単です。上記動画のように G2 セルをクリックし、G2 セル右下隅の矩形部分をダブルクリックするだけです。

これで、3 年分の気象情報・日中時間・電力使用量のデータがひとつにまとまりました。

この後は DataEditor で不正データの除去（クレンジング）と、トレーニング用データ・予測用データへの分割を行います。

DataEditor では、コンマ区切りの CSV ファイルが取り込めるので、Excel で加工中のデータをコンマ区切りの CSV ファイルへ出力します。

Excel 上で F12 キーを押します。

［ファイルの種類］から［CSV (コンマ区切り) (*.csv)］（❶）をクリックし、［ファイル名］を predict_electricity_demand.csv（❷）に変更し、［保存］ボタン（❸）をクリックします。

［OK］ボタン（❶）をクリックします。

［いいえ］ボタン（❶）をクリックします。

これで、コンマ区切りの CSV ファイルの出力は完了です。Excel は、このまま保存せずに閉じても構いませんし、ブックとして保存しても構いません。このチュートリアルでは、以降この Excel のデータは使用しません。

それでは、BLOCKS の DataEditor で不正データの除去（クレンジング）と、トレーニング用データと予測用データへの分割を行います。

まず、ウェブブラウザーで、BLOCKS にログインしてください。

以下は、BLOCKS にログイン後の操作解説です。

1. グローバルナビゲーション左端のメニューアイコン（menu）をクリック
2. ［DataEditor］をクリック

作成した CSV ファイルを DataEditor にインポートします。

［インポート］ボタンをクリックします。

1. インポート元から［Upload］をクリック
2. GCS URL で -data で終わる項目をクリック
3. ファイル欄に、predict_electricity_demand.csv ファイルをドラッグ・アンド・ドロップ
4. データセット ID の［＋］ボタンをクリックし、tutorial と入力
   既に tutorial がある場合はそれを選択
5. 名前欄に、電力の需要予測の基礎データと入力
6. ［インポート］ボタンをクリック

info_outline DataEditor は、BigQuery 上のデータを視覚的に操作できるツールです。BigQuery に関する知識は必要ありませんが、BigQuery 上の重要な要素であるデータセットとテーブルは指定する必要があります。Microsoft Excel に例えると、データセットはブックで、テーブルはシートに対応する概念です。

［開く］ボタン（❶）をクリックします。

不正データ（欠損値）がある列には、欠損値に関する情報が赤字で表示されます。今回のデータでは、sunlight_hours の列と average_humidity の列に欠損値が見つかります。

不正データを含む行は、使い物にならないため、行ごと削除します。

1. ［テーブル］タブをクリック
2. sunlight_hours 列の［列の編集］をクリック
3. ［欠損値］をクリック
4. ［行の削除］をクリック

同様に、average_humidity の列でも同じ操作を繰り返します。

［変更内容］（❶）をクリックし、表示される内容（❷）を確認します。以下の内容が表示されていれば問題ありません（順不同）。

• sunlight_hours 列の欠損値の変更
• average_humidity 列の欠損値の変更

info_outline 各項目の右端に表示されている［×］をクリックすると、その変更内容を取り消せます。

変更した内容を保存します。

1. more_horiz をクリック
2. ［上書き保存］をクリック

不正データの除去ができたので、基礎データからトレーニング用データと予測用データに分割したデータを作ります。

［テーブルの操作］（❶）をクリックし、表示されるメニューから［テーブル分割］（❷）をクリックします。

1. 分割方法から［カスタム］をクリック
2. 分割条件から［key］をクリック
3. 同じく分割条件からアイコンをクリック
4. スライダーを左にスライドさせ、日付が 2018-11-30 となるように調整
5. 列名が key のチェックを外す
   （トレーニング用データに必要ない年月日を取り除く）
6. 列名が electricity_usage のチェックを外す
   （予測用データに必要のない結果となる値を取り除く）
7. ［分割］ボタンをクリック

［OK］ボタン（❶）をクリックします。

これで、データの分割が完了し、数値回帰のトレーニングと予測に必要なデータの準備ができました。

先ほど準備したトレーニングデータを使い DataEditor でトレーニングを行います。

1. ［電力の需要予測の基礎データ_train］をクリック

1. ［モデル作成］タブをクリック
2. ［数値回帰］をクリック
3. Google Cloud Storage（ストレージ）のバケットを選択（初回のみ）
   バケット名の例：-us-central1-data で終わるバケット
4. フォルダーの作成もしくは選択（初回のみ）
   フォルダー名の例：blocks_ml
5. ［モデル作成］ボタンをクリック

1. ［閉じる］ボタンをクリック

これで、トレーニングが始まります。トレーニングの所要時間は、4 〜 5 時間ほどです（時間はサーバー側の状況により前後）。しばらくお待ちください。

トレーニングの状況は、モデル一覧画面およびモデルの詳細画面で確認できます。

1. ［<］をクリック

1. ［モデル］タブをクリック

このモデル一覧画面で、各モデルのトレーニング状況が［誤差 / 正確率］欄で確認できます。

モデル名（❶）をクリックすると、そのモデルの更に詳細な情報が確認できます。❷のアイコンをクリックすると、［誤差 / 正確率］のトレーニング状況が更新できます。

トレーニングが成功で終わると、［誤差 / 正確率］の欄に誤差の数値が表示され、以降フローデザイナーを使っての予測が可能です。

ここでは、フローデザイナーを使った予測方法を紹介します。

DataEditor では、リアルタイムな予測が可能ですが、予測のバッチ処理や予測の定期的な実行はできません。このチュートリアルでは、予測のバッチ処理や予測の定期的な実行が可能な、フローデザイナーによる予測方法を紹介します。

DataEditor による予測方法については、「DataEditor によるモデルの作成と予測」を参照願います。

フローデザイナーを準備しよう

予測は、フローデザイナーで行います。フローデザイナーのフローテンプレート作成機能を活用すると、簡単に画像分類を予測するためのフローが作成できます。このチュートリアルでは、このフローテンプレートを使った方法を解説します。

1. グローバルナビゲーション左端のメニューアイコン（menu）をクリック
2. ［フローデザイナー］をクリック

［利用開始］ボタン（❶）をクリックします。

info_outline 既にフローデザイナーを作成している場合は、「フローデザイナーとは」の画面は表示されません。後で述べるフローデザイナーの一覧画面が表示されます。その場合は、既存のフローデザイナーの名前をクリックして、以降の作業を進めてください。もし無料トライアル以外をお使いで、新たにフローデザイナーを作成できるライセンス枠がある場合は、フローデザイナー一覧画面の左上にある［追加］ボタンをクリックしてください。

info_outline ライセンス不足の場合は、その旨のメッセージが表示されます（管理者の場合は、ライセンス購入画面を表示）。メッセージが表示された場合は、組織の管理者に問い合わせてください（管理者の場合は、ラインセンスを購入してください）。

1. フローデザイナーの名前を入力（例：チュートリアル）
2. ［作成］ボタンをクリック

フローデザイナーの一覧画面から、［チュートリアルopen_in_new］（❶）の部分をクリックします。

予測フローを作成しよう

新しいタブでフローデザイナーが開きます。引き続き、フローテンプレート作成機能を使って、数値回帰の予測を行うフローを作成します。

フローデザイナーのヘッダーから［フローテンプレート作成］ボタン（❶）をクリックします。

作成するフローの種類を設定します。

1. ［数値回帰予測］をクリック
2. ［次へ］ボタンをクリック

作成するフローのフロー名を設定します。

1. 電力の需要予測 と入力
2. ［次へ］ボタンをクリック

ここでは、フローで使用する予測ブロックの設定を行います。

1. モデル選択で［電力の需要予測の基礎データ_train_model（数値回帰タイプ）］をクリック
2. 予測形式選択で［オンライン予測］をクリック
3. ［次へ］ボタンをクリック

ここでは、DataEditor で準備した予測用データを設定します。

1. ストレージの選択で［DataEditor］をクリック
2. データの名前で［電力の需要予測の基礎データ_test］をクリック
3. ［次へ］をクリック

ここでは、予測結果をどこに出力するかを設定します。今回は、もっとも手軽に結果の確認ができる DataEditor を出力先とします。

1. 保存先で［DataEditor］をクリック
2. ［次へ］ボタンをクリック

これで予測結果は、DataEditor の「電力の需要予測の基礎データ_test_result」に出力されます。

最後に、フローを配置する場所を指定します。初期設定値の［現在のタブに表示する］を採用するため、そのまま［配置］ボタン（❶）をクリックします。

作成されたフローが下図の赤枠部分に配置されます。

ここで、一旦［保存］ボタン（❶）をクリックして、フローを保存しておきます。

予測フローを実行して予測をしよう

これで、予測の準備ができました。早速、予測を試してみます。

フロー先頭の「電力の需要予測」ブロック右端の more_vert アイコン（❶）をクリックします。表示されるメニュー中程の［フローの実行］（❷）をクリックします。これで、電力の需要予測が実行されます。

予測の実行状況を確認するために、フローの実行ログを確認します。表示中のメニューから［ログを見る］（❶）をクリックします。

画面下部に、ログパネルが表示されます。ログパネル左側のログリストのステータスでフローの実行状況が確認できます。フローの実行には、少々時間がかかるので、［実行中］（❶）の表示になっているはずです。実行が終わるまで、しばらく待ちます。

フローの実行が正常に終了すると、ログリストのステータスが［成功］（❶）に変わります。これで予測は完了です。

予測結果は、DataEditor のデータとして出力しているので、DataEditor で確認します。別タブにある BLOCKS の画面（フローデザイナーの一覧画面）に切り替えます。

1. グローバルナビゲーション左端のメニューアイコン（menu）をクリック
2. ［DataEditor］をクリック

1. 名前が［電力の需要予測の基礎データ_test_result］をクリック

1. ［テーブル］タブをクリック
2. ［データを表示］をクリック

各列のそれぞれの意味は、以下のとおりです。

名前	説明
key	予測用データで指定したキー項目です。 今回の例では、2018 年 12 月 1 日から 2018 年 12 月 31 日までの各日付がキーです。
output	キーに対応した因子を元に予測した結果です。 今回の例では、各日付に対応した電力使用量が結果です。

予測結果が確認できたところで、予測値と実績値を比較してみます。

2018 年 12 月分の実績値は、DataEditor へ最初にインポートした「電力の需要予測の基礎データ」の中にあります。この実績値を予測結果にまとめた後で、予測値と実測値をグラフ化して比較します。

まず、予測値と実測値をまとめる準備として、key 列の型を STRING から DATE へ変換します（「電力の需要予測の基礎データ」の key 列の型と合わせる）。

1. key 列の［列の編集］をクリック
2. ［列の型変更］をクリック

1. 型で［DATE］をクリック
2. 日付や時刻の形式で［YYYY-MM-DD］をクリック
3. ［OK］ボタンをクリック

変更した内容を保存します。

1. more_horiz をクリック
2. ［上書き保存］をクリック

実績値をまとめるために、テーブル結合という機能を使います。

1. ［テーブルの操作］をクリック
2. ［テーブル結合］をクリック

まとめたい実績値を含む「電力の需要予測の基礎データ」を指定します。

1. ［結合するテーブルを選択］ボタンをクリック
2. ［電力の需要予測の基礎データ］をクリック

予測値と実績値のそれぞれの日付が一致するデータをまとめる指定をします。

1. すべての列を選択するため、欄外のチェックボックスをクリック
2. 列 electricity_usage のチェックボックスをクリック
3. ［追加］ボタンをクリック
4. key をクリック
5. key をクリック
6. ［結合］ボタンをクリック

まとめたデータを格納する先を指定します。

1. 名前に電力の需要予測の予実比較と入力
2. データセット ID で tutorial をクリック
3. テーブル ID に predict_electricity_demand_compare と入力
4. ［OK］ボタンをクリック

［OK］ボタンをクリックします。これで予実績をグラフで確認する準備が整いました。

名前が「電力の需要予測の予実比較」をクリックします。

［データ分析］をクリックします。

グラフ化に必要なデータを指定します。

1. 列から key をクリック
2. 行から output 内の output (合計) をクリック
3. 行から electricity_usage 内の electricity_usage (合計) をクリック

画面中央のボタンをクリックします。

表示を線グラフに切り替えます。

1. ［テーブル］をクリック
2. ［線グラフ］をクリック

これでグラフが表示されました。予測値と実績値は、概ね似たような値を取っていることがわかります。

問題は、この予測精度は良いのか悪いのかという点です。これは、この電力の需要予測の利用シーンによって異なってくるでしょう。残念ながらこのチュートリアルでは、明確な利用シーンを想定していないため、なんとも言えないところです。

info_outline 数値回帰の評価について詳しくは、弊社ブログ記事「精度の評価と評価指標について（回帰編）」を参考にしてください。

以上で、BLOCKS の数値回帰のサービスをひととおり試したことになります。いかがだったでしょうか。意外と簡単だったのではないでしょうか。