ＧＰＴを含む大規模言語モデルの基礎と最新技術および実装フレームワーク (RAG、LoRA)の活用ポイント　～デモ付～　＜オンラインセミナー＞

～ RAGを利用した独自データに対するシステムの実装、Transformerの構造の理解、GPT、BERTを利用した独自データの文書識別、マルチモーダルの仕組みと利用～

・ＧＰＴやＢＥＲＴを利用して独自のデータを学習させ実装する方法を修得し、システム開発へ応用するための講座
・ＧＰＴからマルチモーダルの最新技術まで急速に進化しているＬＬＭ（大規模言語モデル）を俯瞰的に理解し、生成ＡＩを活用したシステム開発へ応用しよう！
・ＧＰＵのメモリが限られている状況でも手持ちのデータで大規模言語モデルをファインチューニングできるＬｏＲＡやローカルな言語モデルとＲＡＧを利用した質問応答システムの実装方法についても解説いたします

オンラインセミナーの詳細はこちら：

・ＷＥＢ会議システムの使い方がご不明の方は弊社でご説明いたしますのでお気軽にご相談ください。

講師の言葉

　近年、TransformerのDecoder部分で事前学習を適用したGPTおよびChatGPTが各言語で、自然な応答返したり、試験に解答したり、会話やプログラムを生成することが話題になり、自然言語処理研究者だけでなく、多くの実務に関係する人々の興味を集めています。本講義では、ChatGPTをはじめとしたAPIによる大規模言語モデルの利用例について説明した後、その中心的な機構の解説と実装について具体的に説明します。さらに、Downloadして利用可能な言語モデルであるLLaMAが公開されてから、手持ちのデータを大規模言語モデルに適用できる道が開けるようになりました。大規模言語モデルに独自データを一時的に読み込ませて回答するRAGも利用可能となり、本講義ではRAGの実装例について説明します。また、ローカル言語を学習させる方法としてLoRAが開発されたことから、GPUのメモリが限られている状況でも手持ちのデータで大規模言語モデルをfine-tuneできるようになりました。本講義ではLoRAの実装例、およびどの程度のGPU環境が必要かなど明らかにしたいと思います。また、マルチモーダルが発展しており、最新の内容を解説する予定です。講義では、LinuxとPythonを利用したデモを行いますが、特に深い知識は必要ありません。この講義を通してGPTモデルの発展の理解を深めることで皆様がお持ちになる課題の解決の一助となることを願っています。

セミナー詳細

開催日時	2024年12月24日(火) 10:30 ~ 17:30
開催場所	オンラインセミナー
カテゴリー	オンラインセミナー、ソフト・データ・画像・デザイン
受講対象者	・自然言語処理に興味がある方・GPTの応用に興味のある方・自然言語処理が必要になった技術者の方・言語処理まわりの課題を既にお持ちになっていて、処理手法の選択肢を広げたい方・RAGの実装例や質問応答をうまく作成するポイントを知りたい方・GPTやBERTを利用して独自のデータを学習させたい方・画像になっている文書を大規模言語モデルに適用する手法を学びたい方
予備知識	・予備知識は特に仮定しませんが、深層学習に関連した具体的なプログラムをパソコン上で利用した経験があるとより具体的な部分の理解が深くなると思います
修得知識	・自然言語処理においてGPTおよびChatGPTの機構、および応用の範囲を俯瞰的に理解することができます・またローカルな言語モデルとRAGを利用した質問応答システムの実装方法が習得できます・GPTに対して学習するLoRAの実装やBERTにおけるfine-tuningなどを用いて文をベクトル化する手法について理解し、どのような拡張可能性があるかを理解することができます
プログラム	１．GPTなど大規模言語モデルによる自然言語処理　　（１）．GPTはTransformerのDecoder部分　　　　ａ．大規模言語モデルはTransformerによる翻訳モデルの一部　　　　ｂ．Transformerのネットワーク構造　　　　ｃ．文書をGPTに入れるための変換　　（２）．ChatGPTなどAPIを利用した言語モデルの能力　　　　ａ．GPTを利用した利用および評価例 (文書訂正、感情、試験など) 　　　　ｂ．プロンプトの工夫(Chain-Of-Thought他) 　　　　ｃ．APIベースのGPTの学習 (GPT-３.５) 　　　　ｄ．GPTを利用したサービス(GPTs、検索も利用する Gemini (Gmail検索)、Perplexity AI、Bing他) 　　　　ｅ．マルチモーダルの利用例 (API) (画像要約、OCR、文書(pdf)要約、表の読み込み他) 　　　　ｆ．RAG (Retrieval-Augmented Generation) の利用と注意点　　　　ｇ．ReACT (GPTが複数回検索を実行・評価して質問に回答) 　　（３）．まとめ　　（４）．質疑応答２．ローカルな生成系言語モデルの爆発的展開とRAG (コード例を含む) 　　（１）．Downloadして利用するローカルな言語モデル　　　　ａ．利用可能な日本語大規模言語モデルの現状　　　　ｂ．ローカル言語モデルの開発組織　　　　ｃ．ローカル言語モデルの利用環境　　　　ｄ．ローカル言語モデルの学習コスト(事前およびfine-tuning) 　　（２）．RAGを利用した独自データに対する質問応答システムの実装例　　　　ａ．ローカル言語モデルとRAGを組み合わせる利点　　　　ｂ．LlamaIndexと利用可能な日本語言語モデルを利用したRAGの実装例　　　　ｃ．RAGを利用した質問応答システムの評価と問題点の整理　　（３）．まとめ　　（４）．質疑応答３．Transformerの構造の理解　　（１）．全体構成 (翻訳タスクを主眼に置いた構造) 　　　　ａ．Encoder部分とDecoder部分の機能と役割　　　　ｂ．翻訳の際の処理の流れ　　（２）．トークン化 (Tokenization) 　　　　ａ．WordPieceおよびByte Pair Encoding (BPE) 　　　　ｂ．データ入力の際のマスク作成やpaddingなどの構造化　　（３）．位置情報の獲得 (Position encoding) 　　　　ａ．周期を利用した位置情報　　　　ｂ．回転行列とattentionでの相対化　　（４）．文内の要素同士の関係抽出 (Attention機構の利用) 　　　　ａ．Attention機構による共起情報の獲得機能　　　　ｂ．Multi-head attention機構　　（５）．深層学習における構造 (Residual network、Layer normalization) 　　　　ａ．EncoderとDecoderの基本構成要素　　　　ｂ．DecoderにおけるAttention機構　　　　ｃ．Residual network、Layer normalizationの機能　　（６）．質疑応答４．事前学習済みモデル　　（１）．大規模言語モデルは言葉の意味をどのように学習しているか　　　　ａ．自己符号化で人手の正解データがなくても学習できるようになった　　　　ｂ．分布仮説とword２vecで単語の意味を埋め込むことができた　　　　ｃ．EncoderやDecoderで文書を学習させると文の意味を埋め込むことができた　　（２）．事前学習の例　　　　ａ．BERT (Encoderモデル) によるMASKを利用した事前学習　　　　ｂ．GPT (Decoderモデル) による事前学習　　　　ｃ．GPT における人の指示に対するtuning 　　　　ｄ．日本語の言語モデルで利用される追加事前学習　　（３）．GPT内部の構造解析 (GPT内にどのような情報が獲得されているか) 　　（４）．まとめ　　（５）．質疑応答５．GPTを利用した独自データの文書識別 (コード例を含む) 　　（１）．GPTを利用した文書識別モデルの実装　　　　ａ．文書識別の課題　　　　ｂ．GPTの文ベクトルを利用した文書識別モデルの構築　　（２）．LoRAによるGPTメモリの消費を抑えたfine-tuning 　　（３）．識別結果の確認　　（４）．GPTのサイズによるGPUメモリの消費量　　（５）．まとめ　　（６）．質疑応答６．BERTを利用した独自データの文書識別 (コード例を含む) 　　（１）．BERTを利用した文書識別モデルの実装　　　　ａ．文書識別の課題　　　　ｂ．BERTの[CLS]のベクトルを利用した文書識別モデルの構築　　　　ｃ．最終層から複数の層を利用したfine-tuningの適用　　　　ｄ．識別結果の確認　　（２）．fine-tuningを成功させるポイント　　（３）．Encoderを利用した学習とGPTを利用した学習の違い　　（４）．利用可能なBERTの学習済みモデル　　（５）．BERTを利用した対照学習とRAG 　　（６）．まとめ　　（７）．質疑応答７．マルチモーダル (Vision & Language) の仕組みと利用　　（１）．マルチモーダルの大規模言語モデル (MM-LLM) 　　　　ａ．画像から言語および言語から画像など　　　　ｂ．音声や動画も含めたマルチモーダル大規模言語モデルの構造　　（２）．Vision & Language (V & L) (画像言語)モデル　　　　ａ．Vision & Languageの基本的な枠組み　　　　ｂ．OpenAIのCLIPによる画期的な画像分類モデル　　　　ｃ．BLIPによる画像に対する文書生成　　　　ｄ．その他 Vision & Language周辺のモデル　　（３）．まとめ　　（４）．質疑応答８．全体のまとめ９．質疑応答
キーワード	GPT　大規模言語モデル　自然言語処理　Transformer　プロンプト　Gemini　マルチモーダル　RAG　 ReACT　 LlamaIndex　トークン化　自己符号化　分布仮説　BERT　MASK　 MM-LLM　 Vision & Language　 CLIP　 BLIP
タグ	AI・機械学習、クラウドコンピューティング、ソフト管理、ソフト教育、ソフト知的財産、データ解析、ITサービス、OS・言語
受講料	一般 (1名)：49,500円(税込) 同時複数申込の場合(1名)：44,000円(税込)
会場	オンラインセミナー本セミナーは、Web会議システムを使用したオンラインセミナーとして開催します。

ＧＰＴを含む大規模言語モデルの基礎と最新技術および実装フレームワーク (RAG、LoRA)の活用ポイント ～デモ付～ ＜オンラインセミナー＞

講師の言葉

セミナー詳細

オンラインセミナー

こちらのセミナーは受付を終了しました。