～ ChatGPTおよびGPT、Bard／Geminｉを利用したプロンプト利用と学習、日本語を含む生成系言語モデル(rinna、opencalm、Llama２、ELYZA、Swallow 他)、BERTを利用した実装技術 ～
※本セミナーは日程が変更になりました。
申込みにつきましては、下記リンク先にて受け付けております。
https://www.j-techno.co.jp/seminar/seminar-62947/
・ＧＰＴから最新のLoRA、Gemini、Llama２などの最新大規模言語モデルの特徴と活用のポイントを修得し、システム開発に活かすための講座
・エキスパートの方からＧＰＴモデルの基礎からGeminiやLlama２など最新の言語モデルの実装法に至るまで体系的に修得し、開発実務に活かせる特別セミナー！
・ＷＥＢ会議システムの使い方がご不明の方は弊社でご説明いたしますのでお気軽にご相談ください
近年、TransformerのDecoder部分で事前学習を適用したGPTおよびChatGPTが各言語で、自然な応答返したり、試験に解答したり、会話やプログラムを生成することが話題になりました。さらに画像に対する質問、オリジナルのChatGPTの作成、Gemini (Bard)の出現など、生成言語モデル関連は日々更新されています。本講義では、GPTの基礎モデルであるTransformerを中心に、GPTを利用した応用法が展開されているかを俯瞰するとともに、その中心的な機構の解説と実装について具体的に説明します。Downloadして利用可能な言語モデルであるLLaMAが公開されてから、手持ちのデータを大規模言語モデルに適用できる道が開けるようになりました。その一つの方法がLoRAであり、GPUのメモリが限られている状況でも手持ちのデータで大規模言語モデルをfine-tuneできることから、応用の可能性がさらに広がりました。講義では、LinuxとPythonを利用したデモを行いますが、特に深い知識は必要ありません。この講義を通してGPTやLLaMAモデルの発展の理解を深めることで皆様がお持ちになる課題の解決の一助となることを願っています。
本講座は、日程が７月１日（月）に変更になりました
| 開催日時 |
|
|---|---|
| 開催場所 | オンラインセミナー |
| カテゴリー | オンラインセミナー、ソフト・データ・画像・デザイン |
| 受講対象者 |
・自然言語処理に興味がある方 ・GPTの応用に興味のある方 ・自然言語処理が必要になった技術者の方 ・言語処理まわりの課題を既にお持ちになっていて、処理手法の選択肢を広げたい方 ・Transformerの一部であるGPTを学習してオリジナルのデータに対して処理を行いたい方 ・文書をベクトル化して深層学習に適用する手法を具体的に学びたい方 ・システム、ソフト、データ分析ほか関連企業の方 |
| 予備知識 |
・システム開発における基礎知識 ・講義では、深層学習の理論的な側面では無く、応用可能性を中心に、どの部分の機構がどういう働きがあるかの理解に努めます。どのようなデータをどのぐらい学習として使うとどういうことができているのか、また、新たに開発された利用可能なモデルで現在どれぐらいの処理が出来ているのか、デモを通して体験していただきます。プログラミングを深く理解している方は講義中に疑問に思ったところを質問していただくことでより深くお答えすることができます。 |
| 修得知識 |
・自然言語処理においてGPTおよびChatGPTの機構、および応用の範囲を俯瞰的に理解することができます ・またTransformerを中心としたモデルの発展の歴史が理解できます ・GPTを利用してオリジナルデータに対する質問応答を作成する方法やBardを利用した質問応答について実装方法が習得できます。 ・Llama２などダウンロード可能な言語モデルにたいしてRoLAやRAGを利用してオリジナルデータに対する質問応答や分類タスクなどの処理を作成する手法について理解し、どのような拡張可能性があるかを理解することができます。 |
| プログラム |
１．GPTを含むTransformerによる自然言語処理
（１）．Transformerとは
ａ．全体のネットワーク構造 (GPTはDecoder側)
ｂ．翻訳モデルを基にした入力と出力
ｃ．深層学習におけるベクトル化を利用したEncoderとDecoderモデル
ｄ．従来法からの数多くの改良点 (長距離依存関係が捉えられるAttention機構)
ｅ．文内の言葉同士の関係を取り出す機構
ｆ．実用例として翻訳システム
（２）．Transformerから派生したモデルの活躍
ａ．全体の相関関係(BERT、 GPT-X、 T５、PaLM、Bard／Gemini、Llama、Vision Transformer)
ｂ．T５について
ｃ．GPT-Xについて (Decoder部分の利用)
ｄ．GPT-Xの利点 (文生成を利用してクラス分類や検索，会話など数後の事例を学習しただけで幅広いタスクで問題を解く)
ｅ．GPT-Xの特徴 (文を生成する際に１つ１つトークンを出力するauto-regressive)
ｆ．GPT-Xの期待される機能 (言葉だけでなく記号やプログラム扱える幅広いタスクでの利用)
ｇ．BERTについて (Encoder部分の利用)
ｈ．BERTの利点 (文をトークンに分解して文脈を考慮してベクトル化できる)
ｉ．BERTの事前学習 (Masked Language Modelingにより言語の知識を大規模テキストデータのみから獲得することができる)
ｊ．BERTの有効性：(教師あり学習のタスクで精度向上)
（３）．まとめ
（４）．質疑応答
２．ChatGPTを中心とした大規模言語モデルの爆発的展開
（１）．ChatGPTについて
ａ．ChatGPTの概要
ｂ．ChatGPTの仕組み (ネットワーク構造と大規模化の効果)
ｃ．ChatGPTの学習 (データからの学習とトレーナーによるhuman alignment)
ｄ．ChatGPTの使用例
（２）．ChatGPTおよびGPTを利用したプロンプト利用と学習
ａ．Chain-of-Thouhts (CoT) 補足説明を入れて回答の精度を高める
ｂ．プログラムを利用して回答の精度を高める
ｃ．ReACT (LangChain) 検索エンジンを利用して最新の情報を取り出す
ｄ．RAG: Retrieval-Augmented Generation を利用したオリジナルデータに対する質問応答
ｅ．GPTs: 数分でオリジナルデータに対するChatGPTが作成可能
ｆ．GPT-４v (ChatGPT) を利用した画像処理 (文字認識など)
（３）．Bard／Geminiを利用したプロンプト利用と学習
ａ．Bard／Geminiの特徴と利用 (無料(２０２４／１現在)、最新の情報に対応、APIの利用、画像入力)
ｂ．Bardに対するAPIの利用 (画像とテキスト)
ｃ．Google WorkspaceでBardを利用 (言葉でGmail他を検索)
（４）．Llama２などダウンロードして使える言語モデルの利用と学習
ａ．Llama２：公開された言語モデルの利用
ｂ．AlpacaやVicuna など他の利用可能モデル
ｃ．日本語を含む生成系言語モデル(rinna、opencalm、Llama２、ELYZA、Swallow 他)
ｄ．LoRA：Llama２などの言語モデルにオリジナルデータを学習(fine-tuning)させてオリジナルのChatをローカルのパソコン上に作成 (言語モデルのサイズと必要なGPUメモリ量など)ｅ．LoRAによるオリジナルデータを学習とRAGによるオリジナルデータの取り込み、GPTsの比較 (パソコン環境や費用など)
（５）．まとめ
（６）．質疑応答
３．Transformerの構造の理解
（１）．全体構成 (翻訳タスクを主眼に置いた構造)
ａ．Encoder部分とDecoder部分の機能と役割
ｂ．翻訳の際の処理の流れ
（２）．トークン化 (Tokenization)
ａ．WordPiece、Sentencepiece、MeCab Piece
ｂ．データ入力の際のマスク作成などの構造化
（３）．位置情報の獲得 (Position encoding)
ａ．周期を利用した位置情報
ｂ．回転行列とattentionでの相対化
（４）．文内の要素同士の関係抽出 (Attention機構の利用)
ａ．Attention機構による共起情報の獲得機能
ｂ．Multi-head attention機構
（５）．深層学習における構造 (Residual network、Layer normalization)
ａ．EncoderとDecoderの基本構成要素
ｂ．DecoderにおけるAttention機構
ｃ．Residual network、Layer normalizationの機能
（６）．質疑応答
４．GPT-XおよびLlama他の利用とオリジナルデータに対する学習 (コード例を含む)
（１）．GPT-xおよびChatGPTやLlamaの利用
ａ．GPT-Xを用いたプロンプトによる質問応答 (pythonからAPI経由で利用)
ｂ．RAGを利用したオリジナルデータに対する質問応答するChatGPTの利用 (python)
ｃ．Llama２など大規模言語モデルをCPUのみで動かす方法
（２）．GPT-xおよびChatGPTに対してAPIを利用した学習
ａ．GPT-Xを用いたプロンプトによる質問応答 (Few-shot learning)
ｂ．GPT-Xに対してAPIを通したオリジナルデータの学習(fine-tuning)
ｃ．RAGを利用したオリジナルデータに対する質問応答するChatGPTの作成
（３）．Llamaなどダウンロード可能な言語モデルに対するLoRA適用によるオリジナルタスクの学習と実行
ａ．LoRAを利用した大規模言語モデル学習のしくみと利点
ｂ．日本語を学習した言語モデル(opencalm２他)に対するLoRA学習による実装例
ｃ．Opencalm２他に対するLoRA学習によるローカルタスク(クラス分類)の実装例
（４）．まとめ：Decoderを利用した新たなローカルタスクの適用
（５）．質疑応答
５．BERTを利用した自然言語処理技術
（１）．Encoder部分を利用した文ベクトル化モデル
ａ．BERTの利用で精度が向上した例
ｂ．GPTと相違点
（２）．BERTのネットワーク構造 (GPT-２と比較)
（３）．Masked Language Model (MLM)による学習
ａ．繰り返しトークンを隠しながら学習
ｂ．大規模データを利用した事前学習の注意点
（４）．BERTの利用
ａ．BERTは基本的にFine-tuningによる正解データを使った学習が必須
ｂ．Fine-tuningを成功させるポイント
（５）．利用可能なBERTの学習済みモデルと実行例
ａ．英語の学習済みモデル
ｂ．日本語の学習済みモデル
ｃ．BERTからXLNetまでの発展
（６）．まとめ (BERT の利点と欠点)
（７）．質疑応答
６．全体のまとめ
７．質疑応答
|
| キーワード |
GPT Transformer BERT T５ PaLM Bard／Gemini Llama Vision Transformer プロンプト ReACT LangChain GPTs ReACT Alpaca Vicuna Llama２ トークン化 Attention機構 RAG |
| タグ | AI・機械学習、ソフト管理、ソフト教育、ソフト知的財産、データ解析、ITサービス、OS・言語 |
| 受講料 |
一般 (1名)：49,500円(税込)
同時複数申込の場合(1名)：44,000円(税込) |
| 会場 |
オンラインセミナー本セミナーは、Web会議システムを使用したオンラインセミナーとして開催します。 |
こちらのセミナーは現在募集を締め切っております。
次回開催のお知らせや、類似セミナーに関する情報を希望される方は、以下よりお問合せ下さい。
営業時間 月~金：9:00～17:00 / 定休日：土日・祝日
