• 2016年07月25日(月) 10:30 ～ 17:30

第１部　ディープラーニングとTensorFlow

Neural Network(ニューラルネットワーク)

１. AI技術を構成する複数の流れ
　(1)． 機械学習
　(2)． パーソナル・アシスタンス
　(3)． ディープ・ラーニング 他

２．ニューラル・ネットワークとその表現-１
　(1)． 脳とニューロン
　 　　a.ヘッブの法則　
　(2)． 一つのニューロンの動きを考える
　 　　a．ニューロンはいつ発火するのか
　 　　b. 一つのニューロンの内部の状態の表現
　(3)． 複数のニューロンの動きを考える

３．ニューラル・ネットワークとその表現-２
　(1) ．活性化関数
　　　a. sigmoid 関数
　　　b. tanh 関数
　　　c. softmax　関数
　　　　　　　　　　　　　　他
　(2)．softmax関数の機能
　　　a．softmax関数の性質
　　　b.One-Hot-Vector
　(3)． ニューラル・ネットワークのパラメータの最適化
　　　a. ニューラル・ネットワークで数値予測（線形回帰）
　　　b. 損失関数 Loss Function
　　　c. 勾配降下法 Gradient Descent
　　　d. クラス分けの場合の損失関数 クロス・エントロピー

4. Convolutional Neural Network(畳み込みニューラル・ネットワーク)
　(1)． Convolutional Neural Networkとは
　　　a. Convolutio Layer
　　　b. Pooling Layer
　　　c. 疎な結合 (Sparce Connectivity)
　　　d. 重み行列の共有 (Shared Weights)
　　　e. 特徴マップ (Feature Map)
　　　f. 畳み込み演算 (The Convolution Operator)

　(2)． 空間フィルタリング処理
　　　a. 空間フィルタリング処理の手法
　　　b. 平滑化フィルタ
　　　c. メディアンフィルタ
　　　d. 特徴抽出フィルタ

5. TensorFlow Servingの概要
　(1)．TensorFlow　Servingとは
　(2)．TensorFlow　Servingのセットアップ
　(3)．実行モデル作成
　(4)．TensorFlow　Servingを用いた実行

TensorFlow

６. TensorFlowの特長
　(1)． スケーラビリティ
　(2)． 簡易/柔軟な記述方式
　(3)． 多数のプログラミング言語からの利用
　(4)． 可視化機能

７. TensorFlowの基本的なコード記述
　 (1)． 計算処理の表現(グラフ表現)
　　　a．データ構造のNode
　　　b．データ構造のEdge
　 (2)． 計算処理の実行
　　　a. Constructionフェイズ
　　　b. Executionフェイズ

８. TensorFlowの運用環境構築
　　　：GoogleのIaaSクラウド（Compute Engine）上に作成する手順
　　(1)． Compute　Engineの設定
　　　　ａ．Google　Developpers　ConsoleでCompute　Engine有効化
　　　　ｂ．Compute　Engineのインスタンス設定と生成
　　(2)． モジュール設定
　　　　ａ．pipインストール
　　　　ｂ．Numerical　Pythonインストール他
　　(3)． TensorFlowをインストール
　　(4)． 最初のプログラミング
　　　　a. サンプル１(Hello Worldその1)
　　　　b. サンプル２(Hello Worldその2)　
　　　　c. サンプル３(演算処理1)
　 　　 d. サンプル４(演算処理2)

９．TensorFlowでディープラーニング
　　　：線形回帰等を使用したTensorFlowのディープラーニングを実現するコード記述スタイル
　　（１）．TensorFlowの計算方式
　　　　ａ．モデルを作成
　　　　ｂ．誤差の計算
　　　　ｃ．最適化（誤差最小点を探す）
　　　　ｄ．予測式と学習済パラメータで予測実行
　　（２）．TensorFlowでの実装
　　　　a. ライブラリをロード
　　　　b. 予測式（モデル）を記述
　　　　c. 誤差関数と最適化手法を記述
　　　　d. 訓練データを作成（または読み込み）し学習実行
　　　　e. 予測
　　　　f. 後かたずけ　
　

１０．サンプルを実行
　　(1)． サンプル５　　回帰分析の初歩
　　(2)． サンプル６　　誤差関数と最適化手法
　　(3)． サンプル７　　識別問題（ロジステック回帰）
　　(4)． サンプル８　　CNN 手書き文字認識:初心者用(MNISTデータ)　
　　(5)． サンプル９　　CNN 手書き文字認識:上級者用(MNISTデータ)

１１．TensorFlowその他の機能
　　（１）．TensorBoardでグラフの視覚化
　　　　a. TensorBoardの起動
　　　　b. Name scoping（名前空間のスコープ）とノード
　　　　c. テンソル形状 (shape) 情報

　　（２）．Distributed TensorFlowを用いた分散学習
　　　　a. Distributed TensorFlowのメリット
　　　　b．モデル並列とデータ並列
　　　　c．Distributed TensorFlowの実行手順

　　（３）．更に進んだモデルの構築
　　　　a．再帰的ニューラルネットワーク(RNN)の構築
　　　　b．共有重みを用いたネットワーク構築
　　　　c. サンプル１０　CNN 画像の分類(cifar10)

第２部　TensorFlowの実装のポイント

１．TensorFlowその他の機能
　　（１）．TensorBoardを用いた学習効果の確認
　　　　ａ．イベント
　　　　ｂ．イメージ
　　　　ｃ．グラフ
　　　　ｄ．ヒストグラム
　　（２）．Distributed　TensorFlowを用いた分散学習
　　　　ａ．並列計算について
　　　　ｂ．複数のマシン間での分散のデモ
　　　　ｃ．分散処理の際の注意点

２．TensorFlowを実装する際のテクニック
　　（１）．データセット構築
　　　　ａ．TensorFlowを用いた独自データの構築
　　　　ｂ．データセット構築デモ
　　（２）．複雑なモデル構築
　　　　ａ．再帰的ニューラルネットワークの構築
　　　　ｂ．共有重みを用いたネットワーク構築

３．Ｃ＋＋を用いたTensorFlow
　　（１）．独自オペレーションの作成
　　　　ａ．オペレーションの定義
　　　　ｂ．カーネルの実装
　　　　ｃ．勾配の定義
　　　　ｄ．Pythonからの使用
　　（２）．TensorFlow　Serving
　　　　ａ．TensorFlow　Servingとは
　　　　ｂ．TensorFlow　Servingのセットアップ
　　　　ｃ．実行モデル作成
　　　　ｄ．TensorFlow　Servingを用いた実行

日本テクノセンター研修室