• 2022年05月16日(月) 10:30 ~ 17:30

１．Transfomer周辺で起きている新たな自然言語処理
　　（１）．Transfomerとは　
　　　　ａ．全体のネットワーク構造
　　　　ｂ．翻訳モデルを意識した入力と出力
　　　　ｃ．深層学習におけるベクトル化を利用したＥｎｃｏｄｅｒとＤｅｃｏｄｅｒモデル
　　　　ｄ．従来法からの数多くの改良点（ＬＳＴＭより学習が早く長距離依存関係が捉えられる）
　　　　ｅ．文内の言葉同士の関係を取り出す機構
　　　　ｆ．実用例として翻訳システム
　　（２）．Transfomerから派生したモデル
　　　　ａ．全体の相関関係
　　　　ｂ．ＢＥＲＴについて（Ｅｎｃｏｄｅｒ部分の利用）
　　　　ｃ．ＢＥＲＴの利点（文をトークンに分解して文脈を考慮してベクトル化できる）
　　　　ｄ．ＢＥＲＴの事前学習 (Ｍａｓｋｅｄ　Ｌａｎｇｕａｇｅ　Ｍｏｄｅｌｉｎｇにより言語の知識を大規模テキストデータのみから獲得することができる）
　　　　ｅ．ＢＥＲＴの有効性 （教師あり学習のタスクで精度向上）
　　　　ｆ．ＧＰＴ-３について（Ｄｅｃｏｄｅｒ部分の利用）
　　　　ｇ．ＧＰＴ-３の利点（文生成を利用してクラス分類や検索，会話など１度事前学習しただけで、すべてのタスクを少ない事例で解く枠組を提供）
　　　　ｈ．ＧＰＴ-３の特徴（文を生成する際に１つ１つ出力ａｕｔｏ－ｒｅｇｒｅｓｓｉｖｅ）
　　　　ｉ．ＧＰＴ-３の期待される機能（新たなタスクに対する回答を出力（Ｆｅｗ－ｓｈｏｔ　ｌｅａｒｎｉｎｇ））
　　（３）．まとめ
　　（４）．質疑応答

２．Transfomerの構造の理解
　　（１）．全体構成（翻訳タスクを主眼に置いた構造）
　　　　ａ．Ｅｎｃｏｄｅｒ部分とＤｅｃｏｄｅｒ部分の機能と役割
　　　　ｂ．翻訳の際の処理の流れ
　　（２）．トークン化（Tｏｋｅｎｉｚａｔｉｏｎ）
　　　　ａ．ＷｏｒｄＰｉｅｃｅ、Ｓｅｎｔｅｎｃｅｐｉｅｃｅ、ＭｅＣａｂ　Ｐｉｅｃｅ
　　　　ｂ．データ入力の際のマスク作成などの構造化
　　（３）．位置情報の獲得（Ｐｏｓｉｔｉｏｎ　ｅｎｃｏｄｉｎｇ）
　　　　ａ．周期を利用した位置情報
　　　　ｂ．回転行列とaｔｔｅｎｔｉｏｎでの相対化
　　（４）．文内の要素同士の関係抽出（Ａｔｔｅｎｔｉｏｎ機構の利用）
　　　　ａ．Ａｔｔｅｎｔｉｏｎ機構による共起情報の獲得機能
　　　　ｂ．Ｍｕｌｔｉ－ｈｅａｄ　aｔｔｅｎｔｉｏｎ機構
　　（５）．深層学習における構造 （Ｒｅｓｉｄｕａｌ　ｎｅｔｗｏｒｋ、Ｌａｙｅｒ　ｎｏｒｍａｌｉｚａｔｉｏｎ）
　　　　ａ．ＥｎｃｏｄｅｒとＤｅｃｏｄｅｒの基本構成要素
　　　　ｂ．ＤｅｃｏｄｅｒにおけるＡｔｔｅｎｔｉｏｎ機構
　　　　ｃ．Ｒｅｓｉｄｕａｌ　ｎｅｔｗｏｒｋ、Ｌａｙｅｒ　ｎｏｒｍａｌｉｚａｔｉｏｎの機能
　　（６）．質疑応答

３．ＧＰＴ-２およびＧＰＴ-３： Ｄｅｃｏｄｅｒを利用した新たな言語処理
　　（１）．Ｄｅｃｏｄｅｒ部分の利用
　　　　ａ．言語を生成する機構（Ａｕｔｏｒｅｇｒｅｓｓｉｖｅモデル）
　　　　ｂ．言語生成機構を利用した少数事例による学習（Ｆｅｗ－ｓｈｏｔ　ｌｅａｒｎｉｎｇ）
　　（２）．ＧＰＴ-２におけるネットワーク構造
　　　　ａ．ネットワーク構造と各要素の説明
　　　　ｂ．言語生成のモデルとの対応（ＧＰＴ-２の論文から）
　　（３）．ＧＰＴ-２およびＧＰＴ-３の学習方法
　　（４）．ＧＰＴ-２実装と実行例
　　　　ａ．ＧＰＴ-２実行環境の構築
　　　　ｂ．英語および日本語を利用したデモ　　　　
　　（５）．ＧＰＴ-３の利用方法と実行例
　　　　ａ．ＧＰＴ-３の全体の説明
　　　　ｂ．用意されている各モデルとタスクの説明
　　　　ｃ．Ｐｌａｙｇｒｏｕｎｄの利用（Ｃｏｍｐｌｅｔｉｏｎを利用した言語生成のデモ、またＣｏｄｅｘを利用した言葉の指示によるプログラム作成)
　　　　ｄ．Ｐｙｔｈｏｎでの環境の構築（ローカルのＬｉｎｕｘマシンからアクセスするための設定)
　　　　ｅ．Ｐｙｔｈｏｎを利用したローカルＬｉｎｕｘマシンからの利用例
　　（６）．まとめ： ＧＰＴ-２およびＧＰＴ-３における利点と欠点
　　　　ａ．ＧＰＴ-２およびGPT-３でのプロンプト入力の考察
　　　　ｂ．ＧＰＴ-３における利用制限など他
　　（７）．質疑応答

４．ＢＥＲＴを利用した自然言語処理への応用
　　（１）．Ｅｎｃｏｄｅｒ部分を利用した文ベクトル化モデル
　　　　ａ．ＢＥＲＴの利用で精度が向上した例
　　　　ｂ．ＧＰＴと相違点
　　（２）．ＢＥＲＴのネットワーク構（ＧＰＴ-２と比較)
　　（３）．Ｍａｓｋｅｄ　Ｌａｎｇｕａｇｅ　Ｍｏｄｅｌ（ＭＬＭ）による学習
　　　　ａ．繰り返しトークンを隠しながら学習
　　　　ｂ．大規模データを利用した事前学習の注意点
　　（４）．ＢＥＲＴの利用
　　　　ａ．ＢＥＲＴは基本的にＦｉｎｅ－ｔｕｎｉｎｇによる正解データを使った学習が必須
　　　　ｂ．Ｆｉｎｅ－ｔｕｎｉｎｇを成功させるポイント
　　（５）．利用可能なＢＥＲＴの学習済みモデルと実行例
　　　　ａ．英語の学習済みモデル
　　　　ｂ．日本語の学習済みモデル
　　　　ｃ．実装上のポイント（ＴｅｎｓｏｒｆｌｏｗとＰｙｔｏｒｃｈにおける違い)
　　（６）．まとめ（ＢＥＲＴの利点と欠点)
　　（７）．質疑応答

５．全体のまとめ

６．質疑応答

・講義では、深層学習の理論的な側面では無く、応用可能性を中心に、どの部分の機構がどういう働きがあるかの理解に努めます。どんなデータをどのぐらい学習として使うとどういうことができているのか、また、新たに開発された利用可能なモデルで現在どのぐらいの処理が出来ているのか、デモを通して理解していただきます。プログラミングを深く理解している方は講義中に疑問に思ったところを質問していただくことでより深くお答えすることができます

オンラインセミナー