LLMアプリケーション開発の基礎とRAGの構築・実装および最新技術:独自データの学習・活用とローカルLLMの利用法 ~デモ付~ <オンラインセミナー>
~ Devinによるプログラムの自動作成と検証、RAGを利用した独自データに対する質問応答システムの実装、ローカルなNeo4jを利用したGraph RAGの構築、マルチモーダルの大規模言語モデル (MM-LLM) ~
・マルチモーダル化と業務利用が急速に進んでいるLLMシステムの構築のポイントを修得し、実務で応用するための講座
・GPTやBERTを利用した独自データの学習・活用法を修得し、情報漏洩の心配のない、ローカルなLLMシステムの構築に活かそう!
・どのようなデータをどのぐらい学習として使うとどういうことができているのか、また、新たに開発された利用可能なモデルで現在どのぐらいの処理が出来ているのか、デモを通して理解できる講座です
オンラインセミナーの詳細はこちら:
・WEB会議システムの使い方がご不明の方は弊社でご説明いたしますのでお気軽にご相談ください。
講師の言葉
近年、ChatGPTをはじめとしたLLMが社会に定着して、より発展した形での利用が進んでおり、自然言語処理研究者だけでなく、多くの実務に関係する人々の興味を集めています。本講義では、ChatGPTをはじめとしたAPIによる大規模言語モデルの発展について説明した後、Downloadして利用可能なローカル言語モデルに焦点をあてて、LLMを利用したアプリケーションを開発します。特に、独自データを一時的に読み込ませて回答するRAGは 有効であることから、本講義ではLangChainを利用してローカルな言語モデルを使ったRAG(グラフRAGを含む)の構築に例について説明します。
また、ローカル言語を学習させる方法としてLoRAが開発されたことから、GPUのメモリが限られている状況でも手持ちのデータで大規模言語モデルをfine-tuneできるようになりました。本講義ではLoRAの実装例、およびどの程度のGPU環境が必要かなど明らかにしたいと思います。また、マルチモーダルが発展しており、最新の内容を解説する予定です。
講義では、LinuxとPythonを利用したデモを行いますが、特に深い知識は必要ありません。この講義を通してGPTモデルの発展の理解を深めることで皆様がお持ちになる課題の解決の一助となることを願っています。
セミナー詳細
開催日時 |
- 2025年12月22日(月) 10:30 ~ 17:30
|
開催場所 |
オンラインセミナー |
カテゴリー |
オンラインセミナー、ソフト・データ・画像・デザイン |
受講対象者 |
・自然言語処理、GPTの応用に興味がある方
・自然言語処理が必要になった技術者の方
・言語処理まわりの課題を既にお持ちになっていて、処理手法の選択肢を広げたい方
・RAGの実装例や質問応答をうまく作成するポイントを知りたい方
・ローカルな言語モデルでRAGを構築したい方
・Graph RAGに興味がある方
・GPTやBERTを利用して独自のデータを学習させたい方 |
予備知識 |
・予備知識は特に仮定しませんが、深層学習に関連した具体的なプログラムをパソコン上で利用した経験があるとより具体的な部分の理解が深くなると思います。
・講義では、深層学習の理論的な側面では無く、応用可能性を中心に、どの部分の機構がどういう働きがあるかの理解に努めます。プログラミングを深く理解している方は講義中に疑問に思ったところを質問していただくことでより深くお答えすることができます
|
修得知識 |
・ローカルな言語モデルを利用する方法、および、LangChain、OllamaやDifyを利用してRAGを構築する方法が獲得することができます
・グラフ構造を利用したRAGの実装方法について具体的に学習できます
・GPTに対して学習するLoRAの実装やBERTにおけるfine-tuningなどを用いて文をベクトル化する手法について理解し、どのような拡張可能性があるかを理解することができます
|
プログラム |
1.大規模言語モデル (LLM) による言語処理を中心とした発展
(1).大規模言語モデルはTransformerのDecoder部分
a.大規模言語モデルはTransformerによる翻訳モデルの一部
b.Transformerのネットワーク構造
c.GPTの言語生成機構と入出力
d.マルチモーダル言語モデルの構造
e.ChatGPTなどのクローズド言語モデルとダウンロードして使うローカル言語モデル
(2).LLMを利用したアプリケーションの発展
a.ChatGPTなどAPIを利用したクローズド言語モデルの能力とサービス
b.LLMを利用したサービス(Gemini (Gmail検索)、Claude、 Perplexity AI、Bing他)
c.LLMの学習 (継続事前学習)
d. RAG (Retrieval-Augmented Generation) の利用 (文書(pdf)や表の処理など)
e. MCP (GPTをエージェント化: 複数回検索を実行・評価して質問に回答)
f. マルチモーダルの利用例 (API) (画像の説明、OCR、音声会話)
g.画像や動画生成、編集の発展 (Stable Diffusion、Runway、Sora 他)
h.Devinによるプログラムの自動作成と検証および修正
i. LLMによる爆発的な利用を支える構造
(3).まとめ
(4).質疑応答
2.ローカルなLLMを利用したRAGの構築 (LangChain、Ollama、Neo4jの利用)
(1).Downloadして利用するローカルな言語モデル
a.利用可能な日本語大規模言語モデルの現状
b.ローカル言語モデルの開発組織
c.ローカル言語モデルの利用環境
d.ローカル言語モデルの学習コスト(事前およびfine-tuning)
(2).RAGを利用した独自データに対する質問応答システムの実装例
a.ローカル言語モデルとRAGを組み合わせる(表示にGradio、Difyなどを利用)
b.RAGの構成 (LLMの選択、DBの構築方法、表や画像、PDFの処理)
c.ナレッジの構築 1)表を含むwordファイルからの情報抽出 (Markdownの利用)
d.ナレッジの構築 2)表を含む図が貼り付けられたwordからの情報抽出 (OCRの適用)
(3).ローカルなNeo4jを利用したGraph RAGの構築
a.Graphを利用したRAGの構築方法とLLMによる回答生成の流れ
b.Neo4jによるグラフデータの作成と表示
c.テキストデータからLLMを利用してグラフを作成
d.テキストデータによる検索とグラフを利用した検索の利用
e.グラフ構造を利用した質問応答
(4).まとめ
(5).質疑応答
3.GPTを利用した独自データの学習 (コード例を含む)
(1).GPTを利用した文書識別モデルの実装
a.文書識別の課題
b.GPTの文ベクトルを利用した文書識別モデルの構築
(2).LoRAによるGPTメモリの消費を抑えたfine-tuning
(3).識別結果の確認
(4).GPTのサイズによるGPUメモリの消費量
(5).まとめ
(6).質疑応答
4.BERTを利用した独自データの文書識別 (コード例を含む)
(1).BERTを利用した文書識別モデルの実装
a.文書識別の課題
b.BERTの[CLS]のベクトルを利用した文書識別モデルの構築
c.最終層から複数の層を利用したfine-tuningの適用
d.識別結果の確認
(2).fine-tuningを成功させるポイント
(3).Encoderを利用した学習とGPTを利用した学習の違い
(4).利用可能なBERTの学習済みモデル
(5).BERTを利用した対照学習とRAG
(6).まとめ
(7).質疑応答
5.マルチモーダル (Vision & Language) の仕組みと利用
(1).マルチモーダルの大規模言語モデル (MM-LLM)
a.画像から言語および言語から画像などアダプターの利用
b.音声や動画も含めたマルチモーダル大規模言語モデルの構造
(2).Vision & Language (V & L) (画像言語)モデル
a.Vision & Languageの基本的な枠組み
b.OpenAIのCLIPによる言語と画像のベクトル空間の共有
c.BLIPによる画像に対する文書生成
d.VILAなどCLIPの言語っぽい画像ベクトルを利用した画像質問応答
(3).まとめ
(4).質疑応答
6.全体のまとめ
7.質疑応答
|
キーワード |
大規模言語モデル LLM Transformer GPT マルチモーダル言語 RAG MCP Devin LangChain Ollama Neo4j Graph RAG LoRA BERT Vision & Language (V & L) (画像言語)モデル CLIP BLIP 画像ベクトル |
タグ |
AI・機械学習、ソフト管理、ソフト品質、ソフト教育、データ解析、ITサービス、OS・言語 |
受講料 |
一般 (1名):49,500円(税込)
同時複数申込の場合(1名):44,000円(税込)
|
会場 |
オンラインセミナー
本セミナーは、Web会議システムを使用したオンラインセミナーとして開催します。
|