フィジカルAIの基礎と最新技術および実装のポイント ~デモ付~ <オンラインセミナー>
~ 物理世界で動くAI、 World Modelの最新技術、ロボット用AIモデル LeRobot/SmolVLAの仕組みとコード解説、PushT、ALOHA simによるロボットシミュレーション、VLAの学習と実装のポイント ~
・フィジカルAI、VLAモデル、World Modelの基本的な仕組みと実装のポイントを修得し、AIロボットの開発に応用するための講座
・現実世界の理解、予測、生成、行動をまとめて扱えるフィジカルAI向けの世界モデル「NVIDIA Cosmos3」を先取りし、高性能な自律ロボット開発に応用しよう!
オンラインセミナーの詳細はこちら:
・WEB会議システムの使い方がご不明の方は弊社でご説明いたしますのでお気軽にご相談ください。
講師の言葉
2026年に入り、自然言語の指示でロボットを動かすVision-Language-Action(VLA)モデルや、行動の結果を事前に予測するWorld Modelなど、「フィジカルAI」と呼ばれる技術への注目が急速に高まっています。本講義では、まず生成AIとフィジカルAIの違いを整理したうえで、VLAモデルの最新動向(Google、NVIDIA、オープンソースのLeRobot等)を紹介し、2026年5月末に公開されたばかりのWorld Model「NVIDIA Cosmos 3」を講師のGPUサーバ上で実際に動かすデモも行います。午後は、ロボットシミュレーション(PushT、ALOHA sim)を配布コードとともに実演しながらVLAモデルの仕組みを解説します。最後に、LLM/VLMのfine-tuningの経験がVLAにどう応用できるかにも触れ、理論だけでなく持ち帰って試せる実装イメージを持っていただくことを重視した構成です。
セミナー詳細
| 開催日時 |
- 2026年12月22日(火) 10:00 ~ 17:00
|
| 開催場所 |
オンラインセミナー |
| カテゴリー |
オンラインセミナー、電気・機械・メカトロ・設備、ソフト・データ・画像・デザイン |
| 受講対象者 |
・自然言語処理・LLMに興味がある方
・GPTやVLMの応用に興味のある方
・フィジカルAI・ロボットに言葉で指示を与える技術(VLA)やWorld Modelに関心がある方
・自社の業務にロボットや自動化技術の導入を検討している方
・LLM/VLMのfine-tuningの経験があり、その知見をロボット分野に応用したい方 |
| 予備知識 |
・予備知識は特に仮定しませんが、深層学習に関連した具体的なプログラムをパソコン上で利用した経験があるとより具体的な部分の理解が深くなります
・デモはすべて講師のGPUサーバ上で実行し画面を共有する形式のため、受講者側で特別な環境構築は不要です(配布コードを用いて後日各自の環境で再現することも可能です) |
| 修得知識 |
・フィジカルAI/VLAモデル/World Modelの基本的な仕組みと最新技術動向
・NVIDIA Cosmos 3による世界予測のデモ、およびLeRobot・SmolVLAを用いてロボット(シミュレーション)に自然言語で指示を与えて動かす実装の流れを実演を通じて把握できます
・実機ロボットアームやSim2Realの現実的な導入ハードル、LLM/VLMのfine-tuningの経験をVLAへ応用する際の考え方も修得できます
|
| プログラム |
1.「情報を生成するAI」から「物理世界で動くAI」へ
(1).近年のLLM関連トピックの概観
a.エージェント型AI、マルチモーダル生成など、直近のトピックを簡潔に紹介
(2).「情報を生成するAI」から「物理世界で動くAI」への導入
a.言葉や画像を生成するAIからフィジカルAIへの橋渡し
b.構成要素: TransformerとDiffusion PolicyとFlow Matching
2.フィジカルAIの基礎と最新技術
(1).生成AI(言語・画像)と物理AI(行動生成)の違い
a.「情報空間で完結する生成」と「物理法則が支配する現実世界での生成」の違い
(出力の取り返しがつかない、という物理AI特有の困難)
(2).VLM → VLA → World Model という技術の流れ
a.「見て理解する」→「見て動く」→「見て、先を予測してから動く」という進化
(3).VLAモデルの主要プレイヤーと2026年時点の動向
a.Google:RT-1 → RT-2 → Gemini Robotics
b.NVIDIA:Isaac GR00T(N1→N1.7→N2)
c.Physical Intelligence:π0
d.Figure AI:Helix
e.オープンソースの動き:Hugging Face LeRobot、OpenVLA、SmolVLA
(4).World Modelの最新技術:
a.World Modelとは何か:行動する前に「次にどうなるか」を予測する仕組み
b.Cosmos 3の概要
:推論(Reasoner)と生成(Generator)を統合したオープンなフィジカルAI基盤モデル
c.GPUサーバ上でCosmos 3を実行し、テキスト・画像から「この先の物理的な変化」を映像として生成する様子を実演。条件を変えると異なる未来を生成
d.ALOHA の概要
:Stanfordが作成したベンチマークタスク、双腕ロボット(実機)、シミュレーション環境
e.ALOHA SIMの概要:DeepMind が提供するMuJoCoベースのシミュレーション環境
f.Mobile ALOHAの概要:Stanfordの双腕ロボットを台車に乗せたモデルのデータ (実機)
(5).Physical AI(ロボット)の現実的なハードル
a.データ収集コストの高さ(実機での行動データはネット上に存在せず自分で集める必要がある)
b.シミュレーション(MuJoCo/Isaac Sim)によるシミュレーション環境の発展
:実環境との差をどう解消するかが問題 (Sim2Real)
3.ロボット用AIモデル LeRobot/SmolVLAの仕組みとコード解説
(1).VLAモデルの入出力構造
a.カメラ画像+指示文 → ロボットの動作、という入出力の形
(2).シミュレーション内での「画像入力」の作られ方
a.仮想カメラによるレンダリングの仕組み、実カメラとの違い
(3).配布コードの解説
a.講師のGPUサーバ上で実行し、画面共有で解説
b.コードは受講者に配布し、各自の環境で後日再現可能な形にする
4.PushTによるロボットシミュレーションとデモ
(1).シンプルな2Dタスクのデモ
a.指示文から動作が生成される様子をオンラインで実演(ライブ実行+録画を併用し安定運用)
(2).配布コードの説明
a.コードの構成、実行に必要な環境の解説
5.ALOHA simによるロボットシミュレーションとデモ
(1).腕型ロボットによる把持・移動タスクとデモ
a.フィジカルAIらしさが伝わる、より応用的な動作のデモ
(2).PushTとの違い
a.3D空間・複数カメラ視点による違いの解説
(3).World Modelとの対比
a. Cosmos 3デモ(先を予測する)と、VLAのデモ(見て動く)の違いを振り返り、両者の関係を整理
6.自分のタスクに合わせて動かす際の実機を使う場合の注意点
(1).少量データでのSmolVLA fine-tuningの流れ
a.デモデータの収集からfine-tuningまでの流れをコードとともに紹介
b.安価な実機移動+ロボットアーム (XLeRobot)の紹介
(2).実機ロボットアーム
a.安価な実機ロボットアーム(SO-100/SO-101、1台数万円)の紹介
(3).実機を使う場合の注意点
a.データ収集・Sim2Realギャップへの対処
7.VLAの学習と実装のポイント
(1).学習の枠組み
a.ロボットのシミュレーション環境を利用したPolicy (意志決定)を学習するループ
b. Policyを生成するモデルとしてVLA
c.多様な学習枠組み
(2).Policyの学習
a.VLAから生成されるPolicyが違っていた場合の学習方法
b.LLM/VLMとの相違点: LLMは言葉(離散的トークン)との相違点
:出力するが、VLAは関節角度など連続値の動作を出力するため、損失関数や出力ヘッドの構造が異なる
c.学習の相違点:テキストデータは大量に存在するが、ロボットの行動データは少ないため、模倣学習が強い。一方、強化学習は限定的
(3).実機に対する調整
a.シミュレーションと実機とのずれの解消 / 人による介入
b.複数の介入方法
8.まとめ・質疑応答
|
| キーワード |
フィジカルAI Diffusionモデル VLM VLA World Model ALOHA 双腕ロボット LeRobot SmolVLA PushT ALOHA sim Cosmos 3 fine-tuning Policy 離散的トークン 模倣学習
|
| タグ |
AI・機械学習、ソフト管理、ソフト外注管理、ソフト品質、ソフト教育、ソフト知的財産、データ解析、デバイスドライバ、組み込みソフト、ロボット、機械、工作機、自動車・輸送機 |
| 受講料 |
一般 (1名):49,500円(税込)
同時複数申込の場合(1名):44,000円(税込)
|
| 会場 |
オンラインセミナー
本セミナーは、Web会議システムを使用したオンラインセミナーとして開催します。
|