• 2023年12月25日(月) 10:30 ~ 17:30

１．GPTを含むTransformerによる自然言語処理
　　（１）．Transformerとは　
　　　　ａ．全体のネットワーク構造 (GPTはDecoder側)
　　　　ｂ．翻訳モデルを意識した入力と出力
　　　　ｃ．深層学習におけるベクトル化を利用したEncoderとDecoderモデル
　　　　ｄ．従来法からの数多くの改良点 (LSTMより学習が早く長距離依存関係が捉えられる)
　　　　ｅ．文内の言葉同士の関係を取り出す機構
　　　　ｆ．実用例として翻訳システム
　　（２）．Transformerから派生したモデルの活躍
　　　　ａ．全体の相関関係(BERT、RoBERTa、GPT-２、GPT-３、T５、PaLM、Reformer、
　　　　onformer、Deformer)
　　　　ｂ．BERTについて (Encoder部分の利用)
　　　　ｃ．BERTの利点 (文をトークンに分解して文脈を考慮してベクトル化できる)
　　　　ｄ．BERTの事前学習 (Masked Language Modelingにより言語の知識を大規模テキストデータ
　　　　みから獲得することができる)
　　　　ｅ．BERTの有効性: (教師あり学習のタスクで精度向上)
　　　　ｆ．GPT-Xについて (Decoder部分の利用)
　　　　ｇ．GPT-Xの利点 (文生成を利用してクラス分類や検索、会話など数後の事例を学習しただ
　　　　で幅広いタスクで問題を解く)
　　　　ｈ．GPT-Xの特徴 (文を生成する際に１つ１つトークンを出力するauto-regressive)
　　　　ｉ．GPT-Xの期待される機能 (言葉だけでなく記号やプログラム扱える幅広いタスクでの利用)
　　　　ｋ．PaLM について
　　　　ｌ．PaLM の機能
　　　　ｍ．T５について
　　（３）．まとめ
　　（４）．質疑応答

２．ChatGPTを中心とした生成系言語モデルの爆発的展開
　　（１）．ChatGPTについて
　　　　ａ．ChatGPTの概要
　　　　ｂ．ChatGPTの仕組み (ネットワーク構造)
　　　　ｃ．ChatGPTの学習 (データからの学習とトレーナーによる強化学習)
　　　　ｄ．ChatGPTの使用例
　　（２）．ChatGPTおよびGPTを利用したプロンプト利用の発展
　　　　ａ．Chain-of-Thouhts (CoT) 補足説明を入れて回答の精度を高める
　　　　ｂ．プログラムを利用して回答の精度を高める
　　　　ｃ．ReACT (LangChain) 検索エンジンを利用して最新の情報を取り出す
　　（３）．LLaMAなどダウンロードして使える言語モデル
　　　　ａ．LLaMA： 公開された言語モデルの利用
　　　　ｂ．AlpacaやVicuna など他の利用可能モデル
　　　　ｃ．LoRA： 言語モデルに自分のデータを学習させる
　　（４）．まとめ
　　（５）．質疑応答

３．Transformerの構造の理解
　　（１）．全体構成 (翻訳タスクを主眼に置いた構造)
　　　　ａ．Encoder部分とDecoder部分の機能と役割
　　　　ｂ．翻訳の際の処理の流れ
　　（２）．トークン化 (Tokenization)
　　　　ａ．WordPiece、Sentencepiece、MeCab Piece
　　　　ｂ．データ入力の際のマスク作成などの構造化
　　（３）．位置情報の獲得 (Position encoding)
　　　　ａ．周期を利用した位置情報
　　　　ｂ．回転行列とattentionでの相対化
　　（４）．文内の要素同士の関係抽出 (Attention機構の利用)
　　　　ａ．Attention機構による共起情報の獲得機能
　　　　ｂ．Multi-head attention機構
　　（５）．深層学習における構造 (Residual network、Layer normalization)
　　　　ａ．EncoderとDecoderの基本構成要素
　　　　ｂ．DecoderにおけるAttention機構
　　　　ｃ．Residual network、Layer normalizationの機能
　　（６）．質疑応答

４．GPT-XおよびChatGPTの利用：Decoderを利用した新たな言語処理 (コード例を含む)
　　（１）．Decoder部分の利用
　　　　ａ．GPT-Xを用いたプロンプトによる質問応答 (Few-shot learning)
　　　　ｂ．GPT-Xを利用したAPIを通したfine-tuning (事例による学習)
　　　　ｃ．GPT-Xを利用したLoRAによるfine-tuning
　　（２）．GPT-Xにおけるプロンプトの利用
　　　　ａ．GPT-Xの実行環境の構築(Linux)
　　　　ｂ．GPT-２およびGPT-３ (LLaMA)を用いた質問応答の実装　　　　
　　　　ｃ．GPT-３のOpenAIのAPIを利用したfine-tuningの実装
　　　　ｄ．日本語のGPT (GPT-NEOX他)に対する日本語質問応答
　　（３）．GPT-X(またはLLaMA他)オープンソースの言語モデルに対するLoRA適用によるオリジナルタスクの実行
　　　　ａ．LoRAのしくみと利点
　　　　ｂ．GPT-NEOX他に対するLoRA学習によるオリジナルデータ適用の実装例
　　　　ｃ．GPT-NEOX他に対するLoRA学習によるローカルタスク(クラス分類)の実装例
　　（４）．まとめ: Decoderを利用した新たなローカルタスクの適用
　　（５）．質疑応答

５．BERTを利用した自然言語処理
　　（１）．Encoder部分を利用した文ベクトル化モデル
　　　　ａ．BERTの利用で精度が向上した例
　　　　ｂ．GPTと相違点
　　（２）．BERTのネットワーク構造 (GPT-２と比較)
　　（３）．Masked Language Model (MLM)による学習
　　　　ａ．繰り返しトークンを隠しながら学習
　　　　ｂ．大規模データを利用した事前学習の注意点
　　（４）．BERTの利用
　　　　ａ．BERTは基本的にFine-tuningによる正解データを使った学習が必須
　　　　ｂ．Fine-tuningを成功させるポイント
　　（５）．利用可能なBERTの学習済みモデルと実行例
　　　　ａ．英語の学習済みモデル
　　　　ｂ．日本語の学習済みモデル
　　　　ｃ．BERTからXLNetまでの発展
　　（６）．まとめ (BERT の利点と欠点)
　　（７）．質疑応答

６．全体のまとめ

７．質疑応答

オンラインセミナー