グーグルのGCPクラウドプラットフォームで、機械学習やデータ分析を解説.
GCPサービスのコンセプトや考え方を
実践的な使用例で完全理解!!
・機械学習のデータ処理や学習や推論をスケーラブルにできる
・GCPがUIを統合しているためチームで作業できる
・たくさんあるGCPプロダクトの使い分け・活用例を知ることができる
--
『機械学習、TnsorFlow 2.0、ETL、Apache Beam、Cloud Dataflow、BigQuery、BigQuery ML、MLOps、AutoML Tables を知る』
【この本の解説している内容】
・GCP上でスケーラブルな機械学習環境を構築するための各サービスの解説
・GCPに特化した、GCPの機械学習サービスのコンセプトや考え方を理解できる
・機械学習に不可欠なGCPによる、DWH構築の実践例がわかる
・GCPで機械学習システムを作る時のGCPサービスの活かし方
序章
環境の準備
準備
Google Cloud SDKについて
Windowsへのインストール
Macへのインストール
Cloud SDKの使い方
Cloud Shell
Chapter 1 専門知識不要で使えるサービス
1.1 AutoML
1.1.1 AutoMLとは
1.1.2 AutoML Tablesとは
1.1.3 AutoML Tablesの位置づけ
1.1.4 Cloud AutoML Tablesのモデルを構築する流れ
1.1.5 本書のサンプルで必要な環境
1.1.6 AutoML Tablesを使って予測
1.1.7 番外編 ? 前処理+AutoML ?
1.2 BigQuery ML
1.2.1 BigQuery MLとは
1.2.2 BigQuery MLの特徴
1.2.3 BigQueryでできること
1.2.4 BigQuery ML、AutoML、Tensorflowの位置づけ
1.2.5 Biqueryの操作方法
1.2.6 BigQuery MLでモデルを構築する流れ
1.2.7 BigQuery MLを使って予測
Chapter 2 TensorFlow
2.1 TensorFlowとは
2.2 TensorFlowと計算グラフ
2.2.1 計算グラフとは
2.3 TensorFlow v2における変更
2.3.1 Eager Execution
2.3.2 AutoGraph
2.4 TensorFlowの高レベルAPI
2.4.1 TensorFlowとKerasの歴史
2.4.2 tf.kerasの使用例
2.4.3 途中経過の保存
2.4.4 学習の途中再開
2.5 まとめ
Chapter 3 計算リソースとしてのGCP
3.1 Googleの計算リソースに対する考え方
3.2 Google Compute Engine
3.2.1 インスタンスの作成画面
3.2.2 課金について
3.2.3 等価なgcloudコマンドの生成
3.2.4 gcloudコマンドによるインスタンスの作成
3.2.5 使い終わったインスタンスを削除する
3.3 一連の処理の自動化
3.3.1 Startupスクリプト
3.3.2 Container-Optimized OS
3.4 AI Platform
3.4.1 AI Platformの使用例
3.4.2 AI Platformのその他の機能
3.5 Preemptible VMの活用
3.5.1 Preemptible VM
3.5.2 Preemptible VMを自動で再起動する方法
3.5.3 TensorFlowで学習を途中から再開させる方法
3.5.4 学習後にインスタンスを落とす方法
3.5.5 最終的な構成とコードの例
3.6 後片付け
3.7 まとめ
Chapter 4 データの処理
4.1 データストレージ
4.1.1 Cloud Storage
4.1.2 BigQuery (Storage)
4.2 データ処理パイプライン
4.3 BigQueryによるデータ処理
4.3.1 BigQueryによるデータ繋ぎ込み
4.3.2 BigQueryによるデータ加工・特徴量生成
4.3.3 Window関数
4.3.4 BigQueryでの構造化データの扱い方
4.3.5 配列の値の処理
4.3.6 配列の作り方
4.3.7 構造体
4.4 Cloud Dataflowによるデータ処理
4.4.1 Apache Beamについて
4.4.2 Apache Beamプログラミングモデル(Batch基本編)
4.4.3 Apache Beamプログラミングモデル(Streaming編)
4.4.4 Cloud Dataflow Template
4.4.5 Dataflowによるデータ繋ぎ込み
4.4.6 Dataflowによる機械学習の予測処理
Chapter 5 プロダクションのための機械学習
5.1 再現性
5.1.1 Dockerで環境を固定する
5.1.2 シード値を固定する
5.2 汎化性能
5.2.1 前処理
5.2.2 交差検証(CV)
5.2.3 DataAugumentation(DA)
5.3 チームでモデル改善
5.3.1 実験の成果物に誰でもアクセスできるようにする
5.3.2 チームで実験を共有する
5.4 MLOps
5.4.1 バージョン管理と精度の監視
5.4.2 大規模タスクの実行