~ Transformerの構造の理解、GPT‐3の利用方法、PaLM構築における学習の工夫、BERTの実装上のポイント ~
・脅威的な性能を持つPaLMなどの最新モデルを先取りし、高性能なシステム開発へ応用するための講座
・人間の能力を超え始めた最新の大規模自然言語処理モデルを修得し、効率的に言語処理システムの開発へ応用しよう!
・WEB会議システムの使い方がご不明の方は弊社でご説明いたしますのでお気軽にご相談ください。
~ Transformerの構造の理解、GPT‐3の利用方法、PaLM構築における学習の工夫、BERTの実装上のポイント ~
・脅威的な性能を持つPaLMなどの最新モデルを先取りし、高性能なシステム開発へ応用するための講座
・人間の能力を超え始めた最新の大規模自然言語処理モデルを修得し、効率的に言語処理システムの開発へ応用しよう!
・WEB会議システムの使い方がご不明の方は弊社でご説明いたしますのでお気軽にご相談ください。
近年、Transformerを利用した派生モデルが数多く出現して、自然言語処理を中心に従来モデルの精度を超えるだけでなく、ほとんど学習データがない場合でもある程度、質問に回答できる新たな処理方法が提案されています。
本講義では、翻訳で利用されているTransformerを中心に、どのような応用法が展開されているかを俯瞰するとともに、その中心的な機構についてどのような役割を果たしているかを説明します。これにより、Transformerだけでなく、共通の機構をもつ、GPT-2やGPT-3、BERTなどの理解を深めるとともに、具体的な結果を見ていただくことでどの程度の処理ができるのかを体験していただきます。
講義では、LinuxとPythonを利用したデモを行いますが、特に深い知識は必要ありません。GPT-3ではブラウザベースの環境で利用していただく予定です。この講義を通してTransformer関連のモデルの発展の理解を深めることで皆様がお持ちになる課題の解決の一助となることを願っています。
開催日時 |
|
---|---|
開催場所 | オンラインセミナー |
カテゴリー | オンラインセミナー、ソフト・データ・画像・デザイン |
受講対象者 |
・自然言語処理に興味がある方 ・Transformerに興味のある方 ・自然言語処理が必要になった技術者の方 ・言語処理まわりの課題を既にお持ちになっていて、処理手法の選択肢を広げたい方 ・Transformerの一部であるGPT‐3やBERTを利用して言語処理モデルを利用したい方 ・文書をベクトル化して深層学習に適用する手法を具体的に学びたい方 ・システム、ソフト、データ解析ほか関連部門の方 |
予備知識 |
・深層学習に関連した具体的なプログラムを利用した経験があるとより具体的な部分の理解が深くなります |
修得知識 |
・自然言語処理においてtransformerを利用したモデルの相関関係が理解できます。OpenAIで作成されているGPT‐3を利用した言語処理の複数の手法(例えばプログラミングコードの補完やクラス分類)についての実装方法が習得できます。またBERTなど文をベクトル化する手法について理解し、どのような拡張可能性があるかを理解することができます。 |
プログラム |
1.自然言語処理とTransformerの派生モデル 2.Transformerの構造の理解 3.GPT‐2、GPT‐3からPaLMの活用法とプログラミング 4.BERTを利用した自然言語処理 5.全体のまとめ 6.質疑応答
|
キーワード |
自然言語処理 翻訳モデル LSTM BERT RoBERTa GPT‐2 GPT‐3 T5 PaLM トークン化 関係抽出 共起情報 Decoderモデル MLM |
タグ | AI・機械学習、コンテンツ、ソフト管理、ソフト教育、データ解析、ITサービス |
受講料 |
一般 (1名):49,500円(税込)
同時複数申込の場合(1名):44,000円(税込) |
会場 |
オンラインセミナー本セミナーは、Web会議システムを使用したオンラインセミナーとして開催します。 |
こちらのセミナーは受付を終了しました。
次回開催のお知らせや、類似セミナーに関する情報を希望される方は、以下よりお問合せ下さい。
営業時間 月~金:9:00~17:00 / 定休日:土日・祝日