自然言語処理モデルと実装プログラミング：Transformer、BERT、ＧＰＴ-３、ＰａＬＭとその応用　～デモ付～　＜オンラインセミナー＞

～ Transformerの構造の理解、GPT‐３の利用方法、PaLM構築における学習の工夫、BERTの実装上のポイント～

・脅威的な性能を持つＰａＬＭなどの最新モデルを先取りし、高性能なシステム開発へ応用するための講座

・人間の能力を超え始めた最新の大規模自然言語処理モデルを修得し、効率的に言語処理システムの開発へ応用しよう！

・ＷＥＢ会議システムの使い方がご不明の方は弊社でご説明いたしますのでお気軽にご相談ください。

講師の言葉

　近年、Transformerを利用した派生モデルが数多く出現して、自然言語処理を中心に従来モデルの精度を超えるだけでなく、ほとんど学習データがない場合でもある程度、質問に回答できる新たな処理方法が提案されています。
　本講義では、翻訳で利用されているTransformerを中心に、どのような応用法が展開されているかを俯瞰するとともに、その中心的な機構についてどのような役割を果たしているかを説明します。これにより、Transformerだけでなく、共通の機構をもつ、GPT-２やGPT-３、BERTなどの理解を深めるとともに、具体的な結果を見ていただくことでどの程度の処理ができるのかを体験していただきます。
　講義では、LinuxとPythonを利用したデモを行いますが、特に深い知識は必要ありません。GPT-3ではブラウザベースの環境で利用していただく予定です。この講義を通してTransformer関連のモデルの発展の理解を深めることで皆様がお持ちになる課題の解決の一助となることを願っています。

セミナー詳細

開催日時	2022年12月14日(水) 10:30 ~ 17:30
開催場所	オンラインセミナー
カテゴリー	オンラインセミナー、ソフト・データ・画像・デザイン
受講対象者	・自然言語処理に興味がある方・Transformerに興味のある方・自然言語処理が必要になった技術者の方・言語処理まわりの課題を既にお持ちになっていて、処理手法の選択肢を広げたい方・Transformerの一部であるGPT‐3やBERTを利用して言語処理モデルを利用したい方・文書をベクトル化して深層学習に適用する手法を具体的に学びたい方・システム、ソフト、データ解析ほか関連部門の方
予備知識	・深層学習に関連した具体的なプログラムを利用した経験があるとより具体的な部分の理解が深くなります
修得知識	・自然言語処理においてtransformerを利用したモデルの相関関係が理解できます。OpenAIで作成されているGPT‐3を利用した言語処理の複数の手法（例えばプログラミングコードの補完やクラス分類）についての実装方法が習得できます。またBERTなど文をベクトル化する手法について理解し、どのような拡張可能性があるかを理解することができます。
プログラム	１．自然言語処理とTransformerの派生モデル　　（１）．Transformerとは　　　　　ａ．全体のネットワーク構造　　　　ｂ．翻訳モデルを意識した入力と出力　　　　ｃ．深層学習におけるベクトル化を利用したEncoderとDecoderモデル　　　　ｄ．従来法からの数多くの改良点（LSTMより学習が早く長距離依存関係が捉えられる）　　　　ｅ．文内の言葉同士の関係を取り出す機構　　　　ｆ．実用例として翻訳システム　　（２）．Transformerから派生したモデルの活躍　　　　ａ．全体の相関関係（BERT、RoBERTa、GPT‐２、GPT‐３、T５、PaLM、他）　　　　ｂ．BERTについて（Encoder部分の利用）　　　　ｃ．BERTの利点（文をトークンに分解して文脈を考慮してベクトル化できる）　　　　ｄ．BERTの事前学習　　　　　（Masked Language Modelingにより言語の知識を大規模テキストデータのみから獲得することができる）　　　　ｅ．BERTの有効性：（教師あり学習のタスクで精度向上）　　　　ｆ．GPT‐３について（Decoder部分の利用）　　　　ｇ．GPT‐３の利点　　　　　（文生成を利用してクラス分類や検索、会話など１度事前学習しただけで、すべてのタスクを少ない事例で解く枠組を提供）　　　　ｈ．GPT‐３の特徴（文を生成する際に1つ1つ出力auto‐regressive）　　　　ｉ．GPT‐３の期待される機能（新たなタスクに対する回答を出力（Few‐shot learning）　　（３）．まとめ　　（４）．質疑応答２．Transformerの構造の理解　　（１）．全体構成（翻訳タスクを主眼に置いた構造）　　　　ａ．Encoder部分とDecoder部分の機能と役割　　　　ｂ．翻訳の際の処理の流れ　　（２）．トークン化（Tokenization）　　　　ａ．WordPiece、Sentencepiece、MeCab Piece 　　　　ｂ．データ入力の際のマスク作成などの構造化　　（３）．位置情報の獲得（Position encoding）　　　　ａ．周期を利用した位置情報　　　　ｂ．回転行列とattentionでの相対化　　（４）．文内の要素同士の関係抽出（Attention機構の利用）　　　　ａ．Attention機構による共起情報の獲得機能　　　　ｂ．Multi‐head attention機構　　（５）．深層学習における構造（Residual network、Layer normalization）　　　　ａ．EncoderとDecoderの基本構成要素　　　　ｂ．DecoderにおけるAttention機構　　　　ｃ．Residual network、Layer normalizationの機能　　（６）．質疑応答３．GPT‐２、GPT‐３からPaLMの活用法とプログラミング　　（１）．Decoder部分の利用　　　　ａ．言語を生成する機構（Autoregressiveモデル）　　　　ｂ．言語生成機構を利用した少数事例による学習（Few‐shot learning）　　（２）．GPT-２におけるネットワーク構造　　　　ａ．ネットワーク構造と各要素の説明　　　　ｂ．言語生成のモデルとの対応（GPT‐２の論文から）　　（３）．GPT‐２およびGPT‐３の学習方法　　（４）．GPT‐２実装と実行例　　　　ａ．GPT‐２実行環境の構築　　　　ｂ．英語および日本語を利用したデモ　　　　　　（５）．GPT‐３の利用方法と実行例　　　　ａ．GPT‐３の全体の説明　　　　ｂ．用意されている各モデルとタスクの説明　　　　ｃ．Playgroundの利用　　　　　（Completionを利用した言語生成のデモ、またCodexを利用した言葉の指示によるプログラム作成）　　　　ｄ．Pythonでの環境の構築（ローカルのLinuxマシンからアクセスするための設定）　　　　ｅ．Pythonを利用したローカルLinuxマシンからの利用例　　（６）．GPT‐３以降のDecoderモデル：PaLM他　　　　ａ．PaLMの特徴　　　　ｂ．PaLM構築における学習の工夫　　　　ｃ．PaLMによる新たな結果　　（７）．まとめ：Decoderベースの手法における利点と欠点　　　　ａ．Decoderモデルにおけるプロンプト入力の考察　　　　ｂ．GPT‐２、GPT‐３における利用制限など他　　（８）．質疑応答４．BERTを利用した自然言語処理　　（１）．Encoder部分を利用した文ベクトル化モデル　　　　ａ．BERTの利用で精度が向上した例　　　　ｂ．GPTと相違点　　（２）．BERTのネットワーク構造（GPT‐２と比較）　　（３）．Masked Language Model（MLM）による学習　　　　ａ．繰り返しトークンを隠しながら学習　　　　ｂ．大規模データを利用した事前学習の注意点　　（４）．BERTの利用　　　　ａ．BERTは基本的にFine‐tuningによる正解データを使った学習が必須　　　　ｂ．Fine‐tuningを成功させるポイント　　（５）．利用可能なBERTの学習済みモデルと実行例　　　　ａ．英語の学習済みモデル　　　　ｂ．日本語の学習済みモデル　　　　ｃ．実装上のポイント（TensorflowとPytorchにおける違い）　　（６）．まとめ（BERTの利点と欠点）　　（７）．質疑応答５．全体のまとめ６．質疑応答
キーワード	自然言語処理　翻訳モデル　LSTM　 BERT　RoBERTa　GPT‐２　GPT‐３　T５　PaLM　トークン化　関係抽出　共起情報　Decoderモデル　MLM
タグ	AI・機械学習、コンテンツ、ソフト管理、ソフト教育、データ解析、ITサービス
受講料	一般 (1名)：49,500円(税込) 同時複数申込の場合(1名)：44,000円(税込)
会場	オンラインセミナー本セミナーは、Web会議システムを使用したオンラインセミナーとして開催します。

自然言語処理モデルと実装プログラミング：Transformer、BERT、ＧＰＴ-３、ＰａＬＭとその応用 ～デモ付～ ＜オンラインセミナー＞

講師の言葉

セミナー詳細

オンラインセミナー

こちらのセミナーは受付を終了しました。