• 2023年06月02日(金) 10:30 ~ 17:30

１．Transformer周辺で起きている新たな自然言語処理
　　（１）．Transformerとは　
　　　　ａ．全体のネットワーク構造
　　　　ｂ．翻訳モデルを意識した入力と出力
　　　　ｃ．深層学習におけるベクトル化を利用したEncoderとDecoderモデル
　　　　ｄ．従来法からの数多くの改良点 (LSTMより学習が早く長距離依存関係が捉えられる)
　　　　ｅ．文内の言葉同士の関係を取り出す機構
　　　　ｆ．実用例として翻訳システム
　　（２）．Transformerから派生したモデルの活躍
　　　　ａ．全体の相関関係(BERT、 RoBERTa、 GPT-２、GPT-３、GPT-４、T５、PaLM、Reformer、 Conformer、 Deformer)
　　　　ｂ．BERTについて (Encoder部分の利用)
　　　　ｃ．BERTの利点 (文をトークンに分解して文脈を考慮してベクトル化できる)
　　　　ｄ．BERTの事前学習 (Masked Language Modelingにより言語の知識を大規模テキストデータのみから獲得することができる)
　　　　ｅ．BERTの有効性：(教師あり学習のタスクで精度向上)
　　　　ｆ．GPT-３について (Decoder部分の利用)
　　　　ｇ．GPT-３の利点 (文生成を利用してクラス分類や検索、会話など１度事前学習しただけで、すべてのタスクを少ない事例で解く枠組を提供)
　　　　ｈ．GPT-３の特徴 (文を生成する際に１つ１つ出力auto-regressive)
　　　　ｉ．GPT-３の期待される機能 (新たなタスクに対する回答を出力 (Few-shot learning))

　　　　
　　（３）．まとめ
　　（４）．質疑応答

２．Transformerの構造の理解
　　（１）．全体構成 (翻訳タスクを主眼に置いた構造)
　　　　ａ．Encoder部分とDecoder部分の機能と役割
　　　　ｂ．翻訳の際の処理の流れ
　　（２）．トークン化 (Tokenization)
　　　　ａ．WordPiece、Sentencepiece、MeCab Piece
　　　　ｂ．データ入力の際のマスク作成などの構造化
　　（３）．位置情報の獲得 (Position encoding)
　　　　ａ．周期を利用した位置情報
　　　　ｂ．回転行列とattentionでの相対化
　　（４）．文内の要素同士の関係抽出 (Attention機構の利用)
　　　　ａ．Attention機構による共起情報の獲得機能
　　　　ｂ．Multi-head attention機構
　　（５）．深層学習における構造 (Residual network、Layer normalization)
　　　　ａ．EncoderとDecoderの基本構成要素
　　　　ｂ．DecoderにおけるAttention機構
　　　　ｃ．Residual network、Layer normalizationの機能
　　（６）．質疑応答

３．Transformerの発展
　　（１）．Reformer
　　　　ａ．長い文を処理する際のTransformerの弱点
　　　　ｂ．LSH (locality-sensitive hashing)を適用して簡素化
　　　　ｃ．Attentionの計算にLSHを取り込んでメモリの効率化
　　　　ｄ．Reversible Residual Networkの適用によるメモリの削減
　　　　ｅ．長い文書に対する処理スピードの向上
　　（２）．Conformer
　　　　ａ．TransformerのAttentionの弱点：局所情報の獲得
　　　　ｂ．Transformerブロックの中にCNN (Convolutional Neural Network)を利用
　　　　ｃ．音声認識における精度の向上
　　（３）．Deformer
　　　　ａ．BERT (encoder側)で行う質問応答(QA)におけるメモリの削減と高速化
　　　　ｂ．低レイヤー層のAttentionの分割
　　　　ｃ．質問応答タスクで高速かつメモリ削減に成功
　　（４）．まとめ：Transformerの発展

４．jaxによる自動微分とGPUの利用
　　（１）．jaxの特徴
　　　　ａ．jaxが必要となる背景とjaxの利点
　　　　ｂ．numpyのAPIを利用可能
　　　　ｃ．自動微分とGPUデバイスに対する並列計算処理
　　　　ｄ．複数のデータ取り込みに対するtensorflow datasets の利用
　　（２）．jaxを利用するモデルとその関連
　　　　ａ．深層学習モデル (Flax Haiku)
　　　　ｂ．確率的プログラミングモデル (Tensorflow probability、PyMC３、 NumPyro)
　　　　ｃ．タンパク質立体構造予測 (AlphaFold２)
　　　　ｄ．numpyの代わりとして利用
　　（３）．まとめ：jaxの価値
　　（４）．質疑応答

５．GPT-２、GPT-３からPaLMまで：Decoderを利用した新たな言語処理
　　（１）．Decoder部分の利用
　　　　ａ．言語を生成する機構 (Autoregressiveモデル)
　　　　ｂ．言語生成機構を利用した少数事例による学習 (Few-shot learning)
　　（２）．GPT-２におけるネットワーク構造
　　　　ａ．ネットワーク構造と各要素の説明
　　　　ｂ．言語生成のモデルとの対応(GPT-２の論文から)
　　（３）．GPT-２およびGPT-３の学習方法
　　（４）．GPT-２実装と実行例
　　　　ａ．GPT-２実行環境の構築
　　　　ｂ．英語および日本語を利用したデモ　　　　
　　（５）．GPT-３の利用方法と実行例
　　　　ａ．GPT-３の全体の説明
　　　　ｂ．用意されている各モデルとタスクの説明
　　　　ｃ．Playgroundの利用 (Completionを利用した言語生成のデモ、またCodexを利用した言葉
　　　　の指示によるプログラム作成)
　　　　ｄ．Pythonでの環境の構築 (ローカルのLinuxマシンからアクセスするための設定)
　　　　ｅ．Pythonを利用したローカルLinuxマシンからの利用例
　　（６）．GPT-３以降のDecoderモデル：PaLM他
　　　　ａ．PaLMの特徴
　　　　ｂ．PaLM構築における学習の工夫
　　　　ｃ．PaLMによる新たな結果
　　（７）．まとめ：Decoderベースの手法における利点と欠点
　　　　ａ．Decoderモデルにおけるプロンプト入力の考察
　　　　ｂ．GPT-２、GPT-３における利用制限など他
　　（８）．質疑応答

６．BERTを利用した自然言語処理
　　（１）．Encoder部分を利用した文ベクトル化モデル
　　　　ａ．BERTの利用で精度が向上した例
　　　　ｂ．GPTと相違点
　　（２）．BERTのネットワーク構造 (GPT-２と比較)
　　（３）．Masked Language Model (MLM)による学習
　　　　ａ．繰り返しトークンを隠しながら学習
　　　　ｂ．大規模データを利用した事前学習の注意点
　　（４）．BERTの利用
　　　　ａ．BERTは基本的にFine-tuningによる正解データを使った学習が必須
　　　　ｂ．Fine-tuningを成功させるポイント
　　（５）．利用可能なBERTの学習済みモデルと実行例
　　　　ａ．英語の学習済みモデル
　　　　ｂ．日本語の学習済みモデル
　　　　ｃ．BERTからXLNetまでの発展
　　（６）．まとめ (BERT の利点と欠点)
　　（７）．質疑応答

７．全体のまとめ

８．質疑応答

オンラインセミナー