１．概論：生成AIとVLM

　　（１）．生成AIのインパクト

　　　　ａ．生成AIとは、基盤モデルとは

　　　　b．大規模言語モデル（LLM）が拓いたAI研究の新時代

　　　　c．生成AIの将来展望：マルチモダリティ対応、AIエージェント

　　　　d．生成AIをめぐる国内外の近年の動向（研究、活用事例、課題感）

　　（２）．いま、なぜ大規模視覚言語モデル（VLM）なのか

　　　　ａ．VLMの特徴、LLMとの違い

　　　　b．VLMで今後何ができるようになるのか（研究、活用事例）

　　　　c．VLMの現状の課題感

　　　　d．VLMを使いこなすために必要な知識・スキル、本講義の趣旨

　　（３）．本講義の構成と進め方について

２．VLMによる視覚・言語処理の基礎

　　（１）．VLMの基本的な仕組み

　　　　ａ．VLMは画像とテキストをどのように処理するか

　　　　b．エンコーダ型VLMとデコーダ型VLM

　　（２）．エンコーダ型VLM: CLIP

　　　　ａ．推論方法

　　　　b．学習方法

　　　　c．エンコーダ型VLMの特徴・課題

　　（３）．デコーダ型VLM: LLaVA, Qwen2-VL

　　　　ａ．推論方法

　　　　b．学習方法

　　　　c．デコーダ型VLMの特徴・課題

　　（４）．エンコーダVLM、デコーダVLMの使いどころ

　　　　ａ．様々な制約条件（リソース、コスト、ライセンスなど）下でどのモデルを使うべきか

　　　　b．プロプライエタリな最高性能VLM：GPT-4o, Gemini

　　　　c．高性能なオープンVLM

　　　　d．日本語を扱えるVLM

　　（５）．オープンVLM性能を引き出すための工夫

　　　　a．テキストプロンプトの工夫： In-context learning (few-shot learning, Chain-of-thought)

　　　　b．視覚プロンプトの工夫： Visual prompting

　　　　c．Visual Instruction Tuningデータセットによる事後学習

３．VLMの性能評価手法と実践のポイント―独自ベンチマーク作成

　　（１）．VLMベンチマークの基礎

　　　　ａ．なぜ独自のVLMベンチマークを作るべきなのか

　　　　b．VLMの基本的な評価・分析方法と注意点

　　（２）．演習（デモ）

　　　　a．VLMベンチマークデータセット作成の実践

　　　　b．VLMの定性分析・定量分析

４．追加の学習を行なわずにVLMの性能を改善する方法とそのポイント

　　（１）．評価と改善のループをどのように回すか

　　（２）．演習（デモ）

　　　　ａ．テキストプロンプトの工夫： In-context learning (few-shot learning, Chain-of-thought)

　　　　b．Visual prompting

５．追加の学習によってVLMの性能を改善するための実践ノウハウ

　　（１）．どのような状況で学習あり戦略を検討するべきか

　　（２）．手を出す前に：タスクの難易度を見極める

　　　　ａ．プロプライエタリな最高性能VLM（例：GPT-4o）でどれくらいできる？

　　　　b．学習なし戦略の効果は？

　　（３）．Visual Instruction Tuningのデータをどのように作成するか

　　　　ａ．学習に必要なリソース、コスト感

　　　　b．演習：人手によるデータ作成

　　　　c．人手によるデータ作成の注意点・難しさ

　　　　d．発展：データ合成戦略の検討

６．まとめ：持ち帰っていただきたいポイント

　　（１）．VLMの実利用で問題になりやすいと思われるポイント

　　（２）．今後想定される国内外の動きの中で何から始めるか