• 2020年02月20日(木) 10:30 ~ 17:30

１．ニューラルネット

　まず人工知能の問題を、ニューラルネットを使って解く枠組みを説明します。人工知能の多くの問題は関数推定の問題と見なせます。関数推定では推定すべき関数をいくつかのパラメータを持った関数として表現し、入出力データからパラメータを推定することで行います。そしてニューラルネットもいくつかのパラメータを持った関数と見なせることを説明します。

　　（１）．人工知能と関数推定

　　（２）．パラメトリックモデル

　　（３）．ニューラルネットは関数

　　（４）．ニューラルネットのパラメータ

２．最急降下法と誤差逆伝播法

　ニューラルネットは訓練データから関数を推定する回帰のモデルです。その推定方法が最急降下法になります。ニューラルネットの関数のモデルはネットワークなので、この最急降下法がいわゆる誤差逆伝播法と呼ばれるものであることを示します。

　　（１）．ニューラルネットにおける学習

　　（２）．目的関数

　　（３）．最急降下法

３．Define－by－run と自動微分

　Deep Learning の学習も関数を推定する回帰の問題であり、最急降下法が使われます。最急降下法では勾配を求める部分がポイントです。勾配を求めるために計算グラフが利用されます。この計算グラフを動的に構築する仕組みが Define－by－run です。PyTorch は Define－by－run を採用しているために、学習モデルを構築するのが容易になっています。PyTorch の自動微分を使って、この点を確認してみます。

　　（１）．合成関数と計算グラフ

　　（２）．計算グラフを利用した勾配計算

　　（３）．自動微分

４．numpy と tensor

ディープラーニングで扱うデータは配列です。Python では配列の演算に numpy を利用しますが、PyTorch では tensor を利用します。ここでは tensor データの作り方や、tensor に関する演算や関数を示します。また numpy との相互の変換が重要です。

　　（１）．tensor と numpy

　　（２）．tensor の作成

　　（３）．tensor どうしの演算

　　（４）．tensor を扱う関数

　　（５）．tensor と自動微分

５．PyTorch の学習プログラムの基本手順

PyTorch における学習プログラムの基本構成要素は、モデルの設定、最適化関数の設定、誤差の算出、勾配の算出、パラメータの更新からなります。最後の3つを繰り返すことでパラメータが推定され、モデルが完成します。ここでは最初にプログラム全体のひな形を示し、簡単な問題を通して、各手順を解説します。

　　（１）．プログラム全体のひな形

　　（２）．モデルの設定

　　（３）．最適化関数の設定

　　（４）．誤差の算出

　　（５）．勾配の算出

　　（６）．パラメータの更新

６．多層 NN による分類

NN を多層にするテクニックの一つに dropout があります。ここでは dropout を解説し、それを利用して画像認識のための NN を構築してみます。データとして PyTorch 用に準備されているデータセットの使い方も説明します。

　　（１）．データセットの利用

　　（２）．3層の NN

日本テクノセンター研修室