• 2015年11月26日(木) 10:30 ～ 17:30

１．３Ｄセンサの開発動向
　　（１）．ストラクチャ光照明方式(Kinect V１、 Carmine,、Intel RealSense Fー２０ ０、Rー２００）
　　（２）．ToF(Time of Flight)方式(Kinect V２、Senz３D他)
　　（３）．InfraredDepth方式(Microsoft、SIGGRAPH２０１４）
　　（４）．Stereoカメラ方式
　　（５）．Leap Motion(魚眼レンズステレオカメラ＋赤外線照明)
　　（６） ．PTAM方式(単眼カメラ)
　　（７）．Make３D方式(単眼カメラ)Stanford大学

２．Kinect for Windows V２イントロダクション
　 　ー公開情報に基づく機能概要紹介とデモー
　　（１）．推奨ハードウェア条件
　　（２）．ハードウェア編
　　　　　a．本体形状、USB３．０ I／F、コネクタ変換ボックスと電源
　　　　　b．RGBカメラ
　　　　　c．赤外線カメラ
　　　　　d．赤外線ブラスター
　　　　　e．軸直交加速度センサ
　　　　　f．マイクロフォン・アレイ
　　（３）．ソフトウェア (SDK２．０ アップデート１４０９版)
　　　　　a．ColorFrame　 カラー画像データ
　　　　　b．DepthFrame ToF(Time of Flight)方式デプス画像データ
　　　　　c．BodyIndexFrame 人物のいる領域を示す画像データ
　　　　　d．InfraredFrame アクティブ赤外線画像データ
　　　　　e．BodyFrame 骨格トラッキングデータ(追加された指関節、手のグー、チョキ 、パー検出)
　　　　　f．AudioFrame 音声データ (音源方向検出とビームフォーミング、音声認識)
　　　　　ｇ．Face ５つの特徴点の３次元座標と数種類の表情や状態を検出
　　　　　h．HD Face ２０００点の顔モデルと多数の特徴点のキャプチャー
　　　　　i．Kinect Fusion ３Dスキャナ
　　（４）．独自実装機能
　　　　　a．残像表示
　　　　　b．ARセンシング
　　　　　c．非接触加速度センシング
　　　　　d．円運動の推定
　　　　　e．長時間露光アクティブ赤外線
　　　　　f．長時間露光デプス
　　　　　g．３Ｄレリーフ表示(凹凸がわかりやすいデプス表示)
　　　　　h．RGBや赤外線画像からの非接触心拍測定
　　　　　i．デプスからの非接触呼吸・心拍測定
　　（５）．Appendix A 　グラフィックス関連の基礎知識
　　　　　a．ポリゴンの頂点座標リストとインデックスリスト
　　　　　b．ポリゴンの描画(シェーディングとテクスチャーマッピング)
　　　　　c．透視変換
　　　　　d．光源計算(環境光、拡散反射光、鏡面反射光)
　　　　　e ．ボーン
　　　　　f．物理エンジン
　　（６）．Appendix B　 Kinect V１ イントロダクション
　　　　　a．Kinect for Windows V1の概要説明とデモ
　　　　　b．(Kinectが変えるセンシングの世界)
　　（７）．B.１推奨ハードウェア条件
　　（８）．B.２Kinect V1ハードウェア編
　　　ーKinect for Windows V1の概略構造ー
　　　　　a．本体形状、USB２．０ I／Fと電源
　　　　　b ．RGBカメラ
　　　　　c ．赤外線プロジェクタ
　　　　　d．赤外線カメラ
　　　　　e．３軸直交加速度センサ
　　　　　f．仰角制御モーター
　　　　　g．４つのマイクロフォン
　　（９）．B.３　Kinect V1ソフトウェア編
　　　ーKinect for Windows SDK Ver１．８の基本機能紹介とデモ-
　　　　　a．カラー画像キャプチャ
　　　　　b．デプスイメージ(グレースケールとカラールックアップテーブル)
　　　　　c．赤外線カメラ
　　　　　d．骨格追尾
　　　　　e．人物切り出し
　　　　　f．３軸加速度センサ
　　　　　g．仰角制御
　　　　　h．関節残像表示（骨格追尾）
　　　　　i．関節円運動推定でジェスチャー判定
　　　　　j．音声認識と音声合成
　　　　　k．音源方向検出とビームフォーミング
　　　　　ｌ．アバターアニメーション
　　　　　ｎ．顔と表情の追尾
　　　　　o．手の状態検出(手のGrab/Pan検出)　　　　
　　　　　p．Kinect Fusion(デプスイメージとの違い)

３．アプリケーション事例紹介
　　ー広範な応用分野とデモー
　　（１）．バーチャル楽器演奏システム
　　（２）．ジェスチャーや音声認識で動画や家電制御
　　（３）．拡張現実（AR）センシング（照度、超音波）　　　
　　（４）．全身加速度モニタ
　　（５）．赤外線近接NUI
　　（６）．知覚コンバータ（Cyber Eye）
　　（７）．非接触生体モニタ（赤外線脈波と呼吸）

４．Kinect V１　ストラクチャ系デプスカメラ動作原理とアルゴリズム編
　　ーKinect for WindowsのLight Coding方式ー
　　（１）．レーザーポインタを用いた光切断法による測距（デモ含む）
　　（２）．インレーザーを用いた光切断法による測距多重化（デモ含む）
　　（３）．Light Codingとは
　　　・ランダム・ドット・パターンの自己相関特性による個別ドットの識別方法
　　（４）． デプスカメラの動作原理
　　　-デプスカメラを１から作り、機能を再現する-
　　　ー乱、数パターンの相互相関で距離を演算-
　　　　　　a．イスラエルのPrime Sense社の米国特許出願内容
　　　　　　b．乱数投影パターンの数学的性質と相互相関
　　　　　　c．可視光プロジェクタとWebカメラ
　　　　　　d ．pre-convoluted pattern法(高速アルゴリズム)
　　　　　　e． デプスカメラ原理まとめ

５．Kinect V２ ToF方式デプスカメラ動作原理とアルゴリズム編
　　ーKinect for Windows Ver.２．０のTime of Flight方式ー
　　（１）．Microsoft社の米国特許出願内容とその動作原理
　　（２）．アクティブ赤外線補正について

６．Infrared Depth方式：普通のWebカメラを学習でデプスカメラとして機能させる方法
　　（１）．Inverse Square法
　　（２）．拡散反射光補正法

７．非接触バイタル・センシングの基礎知識
　　（１）．センシングの原理
　　　　a．赤外線方式
　　　　ｂ．高精度デプス方式
　　　　ｃ．マーカー方式
　　　　ｄ．スポット光方式
　　（２） ．心拍・呼吸センシング原理
　　　　a．心電図と心拍
　　　　b ．心電計の動作原理と構造、及び
　　　　c．呼吸と血液中の酸素濃度
　　　　d ．赤外線脈波センサの動作原理と構造、及びデモ
　　　　e ．呼吸メカニズムと心拍揺らぎの関係

８．Kinectソフトウェア開発環境
　ーソフト開発環境は無償ー
　　（１）．Kinect for Windows V１の場合
　　　　　a．Kinect for Windows V１ SDK １．８
　　　　　b．Visual Studio Express ２０１３ for Windows Desktop
　　（２）．Kinect for Windows V２ SDK ２．０の場合
　　　　　・Visual Studio Express ２０１３for Windows Desktop

９．KinectV２基本プログラミング
　　ーVisual C#　基本プログラミングー
　　　　・基本的な使い方
　　（１）．Visual C#でWindows Form アプリケーションを作成
　　（２） ．Formデザイン
　　（３）． コーディング（宣言部分）
　　（４）．コーディング（初期化処理と終了処理）
　　（５）．マルチ・ソース・フレーム
　　（６）．表示例

１０．動作原理とアルゴリズム
　　（１）．FIFOアルゴリズム
　　　　　a．FIFO
　　　　　b．高速移動平均
　　　　　c．矩形波相関法
　　（２）．基底遷移アルゴリズム
　　　　　a ．交流ノイズとオフセットの除去
　　　　　b．３軸加速度検出 と ノイズ除去
　　　　　c ．画素の輝度分布⇒放物面の中心座標
　　　　　d．２次元点集合⇒円の中心座標
　　　　　e．３次元点集合⇒球の中心座標
　　（３）．製作物
　　　　　a．デプスカメラの製作
　　　　　b．Apacheのインストール手順
　　　　　　　・（HTML５+JavaScriptをスタンドアローンで使う方法）
　　　　　ｃ．３Dスキャナの製作
　　　　　d．回転角度の検出
　　　　　e．深度の検出
　　　　　f ．瞳孔トラッキング
　　　　　g．WebSocketでブラウザでKinectを利用する
　　　　　h．舌の非侵襲トラッキング
　　　　　i．Leap Motionの動作原理
　　　　　ｊ．Structure Sensor方式

１１．まとめと質疑応答

日本テクノセンター研修室