LLMアプリケーション開発技術と実装のポイント:ローカルLLMを利用したRAG、MCPの実装とVLAモデル ~デモ付~ <オンラインセミナー>
~ RAGを利用した独自データに対する質問応答システムの実装、ローカル言語モデルを利用したMCP実装、GPTを利用した独自データの学習、VLAモデルを利用した自律的なロボットの構築 ~
・マルチモーダル化やロボットへの応用が急速に進んでいる最新のLLM技術を修得し、応用システムの開発に活かすための講座
・漏洩の心配のないローカルLLMの構築法や今後ロボット応用が期待されるVLAモデルを先取りし、高性能なシステム開発に応用しよう!
オンラインセミナーの詳細はこちら:
・WEB会議システムの使い方がご不明の方は弊社でご説明いたしますのでお気軽にご相談ください。
講師の言葉
近年、ChatGPTをはじめとしたLLMが社会に定着して、より発展した形での利用が進んでおり、自然言語処理研究者だけでなく、多くの実務に関係する人々の興味を集めています。
本講義では、ChatGPTをはじめとしたAPIによる大規模言語モデルの発展ついて説明した後、Downloadして利用可能なローカル言語モデルに焦点をあてて、LLMを利用したアプリケーションを開発します。特に、独自データを一時的に読み込ませて回答するRAGは有効であることから、本講義ではDifyを利用してローカルな言語モデルを使ったRAG(グラフRAGを含む)の構築に例について説明します。Neo4jを利用したGraphRAG、LLMが自律的に情報を収集するMCPの実装まで解説します。また、ローカル言語を学習させる方法としてLoRAが開発されたことから、GPUのメモリが限られている状況でも手持ちのデータで大規模言語モデルをfine-tuneできるようになりました。
本講義ではLoRAの実装例、およびどの程度のGPU環境が必要かなど明らかにしたいと思います。また、マルチモーダルが発展しており、最新の内容を解説する予定です。講義では、LinuxとPythonを利用したデモを行いますが、特に深い知識は必要ありません。この講義を通してGPTモデルの発展の理解を深めることで皆様がお持ちになる課題の解決の一助となることを願っています。
セミナー詳細
| 開催日時 |
- 2026年06月09日(火) 10:00 ~ 17:00
|
| 開催場所 |
オンラインセミナー |
| カテゴリー |
オンラインセミナー、ソフト・データ・画像・デザイン |
| 受講対象者 |
・自然言語処理に興味がある方、必要になった技術者の方
・GPTの応用に興味のある方
・言語処理まわりの課題を既にお持ちになっていて、処理手法の選択肢を広げたい方
・RAGの実装例や質問応答をうまく作成するポイントを知りたい方
・ローカルな言語モデルでRAGを構築したい方
・Graph RAG、MCPに興味がある方
・GPTやBERTを利用して独自のデータを学習させたい方
・システム、ソフト、ロボットほか関連企業の方 |
| 予備知識 |
・予備知識は特に仮定しませんが、深層学習に関連した具体的なプログラムをパソコン上で利用した経験があるとより具体的な部分の理解が深くなります
・プログラミングを深く理解している方は講義中に疑問に思ったところを質問していただくことでより深くお答えすることができます |
| 修得知識 |
・ローカルな言語モデルを利用する方法、および、LangChain、OllamaやDify、Neo4j、MCPを利用してRAGを構築する方法
・グラフ構造を利用したRAGの具体的な実装方法
・GPTに対して学習するLoRAの実装やBERTにおけるfine-tuningなどを用いて文をベクトル化する手法について理解し、どのような拡張可能性があるかを理解することができます |
| プログラム |
1.大規模言語モデル(LLM)を中心とした最近の技術と発展
(1).大規模言語モデルの機構と種類
a.Transformerによる大規模言語モデルのネットワーク構造
b.GPTはTransformerのデコーダ部分
c.ChatGPTなどのAPIベースの言語モデルとダウンロードして使うローカル言語モデル
d.マルチモーダル言語モデルの構造
e.Diffusion型の画像生成モデルと大規模言語モデル
(2).LLMを利用したサービスの発展(言語・構造・画像・動画などの生成)
a.ChatGPTなどAPIを利用したclosed言語モデルの能力とサービス
b.LLMを利用したサービス
・Gmail検索
・Vibeコーディング
・NotebookLM
・NanoBanna 他
c.LLMの学習
・継続事前学習による組織内の文書・画像の学習
d.RAG(Retrieval-Augmented Generation)の利用
・文書(pdf)や表の処理など
e.MCP
・GPTをエージェント化:複数回検索を実行・評価して質問に回答
f.マルチモーダルの利用例(API)
・画像の説明
・OCR
・音声会話
g.画像や動画生成、編集の発展
・Stable Diffusion
・Runway
・Sora 他
h.DevinやAntigravityによるプログラムの自動作成と検証および修正
i. ロボットなど行動を生成するモデルの進展
j.生成AIに対する批判
(3).まとめ
(4).質疑応答
2.ローカルなLLMを利用したRAGの構築(LangChain、Ollama、Neo4j、MCPの利用)
(1).Downloadして利用するローカルな言語モデル
a.利用可能な日本語大規模言語モデルの現状
b.ローカル言語モデルの開発組織
c.ローカル言語モデルの利用環境
d.ローカル言語モデルの学習コスト(事前およびfine-tuning)
(2).RAGを利用した独自データに対する質問応答システムの実装例
a.ローカル言語モデルとRAGを組み合わせる
・表示にGradio、Difyなどを利用
b.Dify、Neo4jのインストール
・Proxy環境の場合でも入れる設定について
c.RAGの構成
・LLMの選択、DBの構築方法、表や画像、PDFの処理
d.ナレッジの構築 1)
・表を含むwordファイルからの情報抽出 (Markdownの利用)
e.ナレッジの構築 2)
・表を含む図が貼り付けられたwordからの情報抽出(OCRの適用)
(3).ローカルなNeo4jを利用したGraph RAGの構築
a.Graphを利用したRAGの構築方法とLLMによる回答生成の流れ
b.Neo4jによるグラフデータの作成と表示
c.テキストデータからLLMを利用してグラフを作成
d.テキストデータによる検索とグラフを利用した検索の利用
e.グラフ構造を利用した質問応答
(4).FastMCP+Ollamaを利用したローカル言語モデルを利用したMCP実装
a.stdio、SSE、streamable-http 接続の例について
b.インスペクターを利用したMCPの基本理解
c.FastMCP+Ollamaを利用した複数のサーバにLLMがアクセスするMCPの実装例
(5).上記のRAG関連の実装の利点・欠点のまとめ
(6).質疑応答
3.GPTを利用した独自データの学習 (コード例を含む)
(1).GPTを利用した文書識別モデルの実装
a.文書識別の課題
b.GPTの文ベクトルを利用した文書識別モデルの構築
(2).LoRAによるGPTメモリの消費を抑えたfine-tuning
(3).識別結果の確認
(4).GPTのサイズによるGPUメモリの消費量
(5).まとめ
(6).質疑応答
4.BERTを利用した独自データの文書識別(コード例を含む)
(1).BERTを利用した文書識別モデルの実装
a.文書識別の課題
b.BERTの[CLS]のベクトルを利用した文書識別モデルの構築
c.最終層から複数の層を利用したfine-tuningの適用
d.識別結果の確認
(2).fine-tuningを成功させるポイント
(3).Encoderを利用した学習とGPTを利用した学習の違い
(4).利用可能なBERTの学習済みモデル
(5).BERTを利用した対照学習とRAG
(6).まとめ
(7).質疑応答
5.マルチモーダル(Vision-Language-Action)の仕組みと利用
(1).マルチモーダルの大規模言語モデル(MM-LLM)
a.画像から言語および言語から画像などアダプターの利用
b.音声や動画も含めたマルチモーダル大規模言語モデルの構造
(2).Vision&Language(視覚言語)モデル(VLM)
a.Vision&Language modelの基本的な枠組み
b.OpenAIのCLIPによる言語と画像のベクトル空間の共有
(3).Vision-Langauge-Action(VLA)モデル
a.視覚言語行動モデル(VLAモデル)を利用して言葉で指示できる自律的なロボットを構築
b.Google RT-1から始まった開発
c.VLAモデルと学習データの構築
(4).まとめ
(5).質疑応答
6.全体のまとめ
7.質疑応答
|
| キーワード |
大規模言語モデル LLM Transformer GPT マルチモーダル言語 RAG MCP LangChain Ollama Neo4j Graph RAG LoRA BERT 学習データ Vision-Langauge-Action(VLA)モデル |
| タグ |
AI・機械学習、ソフト管理、ソフト外注管理、ソフト品質、ソフト教育、ソフト知的財産、データ分析、ITサービス |
| 受講料 |
一般 (1名):49,500円(税込)
同時複数申込の場合(1名):44,000円(税込)
|
| 会場 |
オンラインセミナー
本セミナーは、Web会議システムを使用したオンラインセミナーとして開催します。
|