• 2016年09月01日(木) 10:30 ～ 17:30

１．３Ｄセンサの開発動向
　　（１）．ストラクチャ光照明方式（Kinect V1、Carmine,Intel RealSense F-200 /R-200）

　　（２）．ToF（Time of Flight）方式（Kinect V2、Senz3D他）
　　（３）．InfraredDepth方式（SIGGRAPH2014：Microsoft）
　　（４）．Stereoカメラ方式
　　（５）．Leap Motion（魚眼レンズステレオカメラ＋赤外線照明）
　　（６）．PTAM方式（単眼カメラ）
　　（７）．Make３D方式（単眼カメラ）Cornelｌ大学
　　（８）．３Ｄセンサの現状
　　（９）．日本の３Ｄセンサの開発動向

２．Kinect V2イントロダクション
　　（１）．推奨ハードウェア条件とPCの適合性診断方法
　　　　・ハードウェア編
　　　　　a．接続構成と接続台数の制約
　　　　　b．フルHDカラーカメラ
　　　　　c．赤外線カメラ
　　　　　d．赤外線レーザー
　　　　　e．軸直交加速度センサ
　　　　　f．マイクロフォン・アレイ
　　　　・ソフトウェア編（SDK２、０ Build1409版）
　　　　　a．Color フルHDカラーカメラのキャプチャ
　　　　　b．Depth ToF(Time of Flight)方式デプスデータの画像化
　　　　　c．BodyIndex 人検出（人物のいる領域を示すデータ）
　　　　　d．Infrared アクティブ赤外線画像データ
　　　　　e．Body骨格トラッキング（関節３次元座標、手のグー、チョキ、パー検出）
　　　　　f．Audio　音声データ (音源方向検出とビームフォーミング、音声認識）
　　　　　g．Face ５つ（両眼、鼻、口角）の特徴点の３次元座標と数種類の表情や状態検出
　　　　　h．HD Face 2000点の顔モデルと多数の特徴点のキャプチャー
　　　　　i．Kinect Fusion ３Dスキャナ ２３１０ 補足事項

　　（２）．Appendix A（RealSense F-200 / R-200イントロダクション）
　　　　　a．推奨ハードウェア条件とPCの適合性診断方法
　　　　　ｂ．ハードウェア編
　　　　　　・F-２００　（後継機はSR-３００）
　　　　　　・ R-２００
　　　　　ｃ．ソフトウェア編
　　　　　　・Color
　　　　　　・Depth
　　　　　　・Infrared
　　　　　　・Hand Tracking
　　　　　　・Face Tracking
　　　　　　・３Dスキャン
　　　　　　・補足事項
　　（３）．Kinect V1 イントロダクション
　　　　-　Kinect for Windows V１の概略構造　-
　　　　　a．拡張現実とは？
　　　　　b．拡張現実関連の時代の流れ
　　　　　c．Kinectとは？
　　　　　d．Kinectの差異
　　　　　e．推奨ハードウェア条件(本体形状、USB２、０I/Fと電源、スティックPC動作)
　　　　　ｆ．Kinectの概略構成
　　　　　　・RGBカメラ　・赤外線プロジェクタ　・赤外線カメラ　・３軸直交加速度センサ

　　　　　　・仰角制御モーター　・４つのマイクロフォン
　　　　　ｇ．Kinectの内部構造
　　　　　ｈ．Kinectの赤外線プロジェクタ
　　　　　i．デプスカメラ
　　　　　j．Kinectの機能概要
　　　　　k．Kinect V1ソフトウェア編
　　 　-Kinect for Windows SDK Ver、１、８の基本機能紹介とデモ-
　　　　　l．カラー画像キャプチャ
　　　　　m．デプスイメージ　（カラールックアップテーブル方式を例示）
　　　　　n．赤外線カメラ
　　　　　o．骨格トラッキング
　　　　　p．人物検出
　　　　　q．カメラ位置補正の方法
　　　　　r．軸加速度センサと仰角制御
　　　　　s．オーディオ
　　　　　　　・音声認識と音声合成
　　　　　　　・音源方向検出とビームフォーミング
　　　　　t．アバターアニメーション
　　　　　u．顔トラッキング
　　　　　v．手の状態検出(手のGrab/Pan検出)
　　　　　w．Kinect Fusion 　　
　　　　　ｘ．動画作成フリーウェアMikuMikuDance
　　（４）．Leap Motion
　　（５）．Hololens

３．点群データと３次元グラフィックスの基礎知識
　　（１）．３Ｄ−ＣＧモデル
　　（２）．ポリゴン描画
　　　　・グローシェーディングやテクスチャーマッピング
　　（３）．座標回転
　　（４）．透視変換
　　（５）．光源計算
　　　　　a．内積と外積
　　　　　b．環境光（Ambient）
　　　　　c．拡散反射（Diffuse）
　　　　　d．鏡面反射（Specular）
　　　　　e．自己発光（Emissive）
　　　　　f．デプスからの法線ベクトル演算

　　　　　g．ボクセルとKinect Fusion
　　　　　h．光源計算
　　　　　i．Bone
　　　　　j．Boneと物理演算

４．ToF方式デプスカメラの動作原理
　　ーKinect for Windows V２のTime of Flight方式-
　　（１）．ToF方式デプスカメラのジッターノイズ
　　（２）．ジッターノイズの大きくなる条件
　　　　・ビーム指向性、赤外線吸光度、法線ベクトル、距離減衰（距離の２乗に反比例）
　　（３）．ToF方式デプスカメラの基本動作原理
　　（４）．ToF方式デプスカメラの測定ステップ
　　（５）．ToF方式デプスカメラの演算動作
　　　　　・環境光オフセット除去、アクティブ赤外線、デプス値の演算
　　（６）．Microsoft社の米国特許出願内容
　　（７）．C.E.Shannonのチャンネル容量の法則
　　（８）．フレーム移動平均処理（チャンネル容量の法則）
　　（９）．法線ベクトルセンシング
　　（１０）．Depth Fusion
　　　　　・光源計算（Lighting）による陰影付け（Shading）
　　（１１）．床面法線ベクトル学習によるポイント・クラウドの活用
　　　　　a．見守りシステム（病院、介護施設、在宅）
　　　　　b．浴室見守り
　　（１２）．非接触バイタルセンシングへの応用
　　　　　a．矩形領域内加算平均処理と時間履歴データの
　　　　　b．最小二乗法放物線補間処理（チャンネル容量の法則）
　　　　　c．呼吸・心拍センシング
　　（１３）．補足説明
　　（１４）．Appendix E（Light Coding方式の動作原理）
　　　　　a．デプスカメラの動作原理
　　　　　　・デプスカメラを１から作り、機能を再現する
　　　　　　・乱数パターンの相互相関で距離を演算
　　　　　b．光切断法による測距(レーザーポインタ)
　　　　　c．光切断法による測距の多重化（ラインレーザー）
　　　　　d． Light Codingとは
　　　　　　・ランダム・ドット・パターンの自己相関特性による個別ドットの識別方法
　　　　　e．スラエルのPrime Sense社の米国特許出願内容
　　　　　f．乱数投影パターンの数学的性質と相互相関
　　　　　g．可視光プロジェクタとWebカメラによる検証
　　　　　h．pre-convoluted patter法(高速アルゴリズム)
　　　　　i．ランダムドットプロジェクタ
　　（１５）．Infrared Depth方式の動作原理
　　　　　-学習で普通のWebカメラをデプスカメラにしてしまう-
　　　　　　a．Microsoft社のSIGGRAPH20１４発表内容
　　　　　　b．Webカメラを赤外線カメラに改造 ７、３ InverseSquare法とは
　　　　　　c．InverseSquare法の検証結果
　　　　　　d．InverseSquare法の問題点
　　　　　　e．InverseSquare法の改善策
　　　　　　f．NeoTechLabのオリジナル・アルゴリズム

５．アプリケーション事例紹介
　　（１）．基本技術
　　　　　・骨格トラッキングにより取得した関節３次元座標の時間履歴をFIFOメモリを用いて残像表示
　　（２）．拡張現実センシング（点群データ＋１個のセンサの計測データ）
　　　　　・センサ１個で物理量の空間分布状態を可視化する
　　（３）．非接触加速度センシング
　　　　　・骨格トラッキングで取得した関節３次元座標の時間履歴である点群データからの速度、加速度の取得在宅介護の転倒検出、運動量分析
　　（４）．平衡感覚の衰えをセンシング
　　　　　・骨格トラッキングで取得した関節３次元座標の時間履歴である点群データで人体のバランス．を計測
　　（５）．手の円運動推定
　　　　　・映像エフェクト
　　（６）．Cyber Eye
　　　　　・点群データを音に変換して聴覚で視覚を代替する知覚コンバータ
　　（７）．顔検出

６．非接触バイタル・センシングの基礎知識
　　（１）．心拍・呼吸に関する基礎知識
　　　　　a．心臓の構造と心電図
　　　　　b．呼吸動作と酸素供給の関係
　　　　　c．呼吸と心拍揺らぎの関係
　　　　　d．入浴中の心拍揺らぎと年齢
　　（２）．心拍・呼吸センシングの原理
　　　　　a．カラー画像または赤外線画像からの心拍センシング
　　　　　b．デプスデータからの呼吸・心拍センシング
　　　　　c．KinectV1での非接触呼吸・心拍センシング
　　　　　ｄ．スポット光方式
　　　　　e．反射光強度分布を放物面関数で近似して精密測距
　　　　　ｆ．マーカー方式
　　　　　ｇ．濃度分布関数または円形マーカーを用いた精密測距

７．アルゴリズムの原理
　　（１）． FIFOアルゴリズム
　　　　　a．FIFO
　　　　　b．高速移動平均
　　　　　ｃ．矩形波相関法
　　（２）．基底遷移アルゴりズム
　　　　　a．放物線補間と３軸加速度検出や ノイズ除去
　　　　　b．放物面補間（輝度分布中心の推定）
　　　　　c．線スペクトルとDCオフセットノイズ除去
　　　　　d．適応フィルタ
　　　　　e．デコンボリューション（逆畳み込み演算）
　　　　　ｆ．２次元ポイントクラウド⇒円の中心座標⇒半径
　　　　　ｇ．３次元ポイントクラウド⇒円の中心座標⇒半径
　　　　　ｈ．３次元ポイントクラウド⇒球の中心座標⇒半径
　　（３）．最小二乗法
　　　　　　　・放物線補間と３軸加速度検出 や ノイズ除去

８．Kinect/RealSenseソフトウェア開発環境

９．基本プログラミング
　　-基本的な使い方-
　　（１）．Kinect V２編
　　　　　a．Visual C#でWindows Form アプリケーションを作成
　　　　　b．Formデザイン
　　　　　c．コーディング（宣言部分）
　　　　　d．コーディング（初期化処理と終了処理）
　　　　　e．マルチ・ソース・フレーム
　　　　　f．表示例
　　　　　g．RealSense R-２００編
　　　　　h．．Visual C#でWindows Form アプリケーションを作成
　　　　　i．Formデザイン
　　　　　ｊ．コーディング（宣言部分）
　　　　　ｋ．コーディング（初期化処理と終了処理）
　　　　　l．コーディング(キャプチャー処理部分)
　　　　　m．表示例

１０．その他（応用例）
　　（１）．赤外線ハンドモーションセンサ
　　（２）． カメラで回転角度を検出する方法　　
　　（３）．Webカメラで心拍センシング

１１．まとめと質疑応答

日本テクノセンター研修室