KinectV2によるセンシングシステム開発 と応用〜デモ付〜

〜3Dセンサの開発動向とセンサの特徴、Kinect for WindorsV2の基本と骨格トラッキング、指5関節の動き取得、音源推定、音声認識システムへの応用、非接触生体センシングの動作原理とアプリケーション・例〜

 距離画像センサをベースにしたセンシングシステム開発のための講座    

Kinectが持つ新たな入力デバイスとしての可能性と事例から修得し、新たな画像システム、センシングシステムへの応用開発に活かそう!

講師の言葉

Microsoft社のKinect for Windowsは、同社ゲーム機XBOX360のモーション・キャプチャ・センサとして開発したKinectを、2012年2月にWindows7以降のパソコンに接続することを前提として発売された商業利用可能なモデルである。
 本講座ではKinectの開発元であるイスラエルのPrime Sense社の『Light Coding技術』と呼ばれる距離画像センサ(デプスカメラ)、次世代Kinect (K4W v2)で採用されるTime of Flight (TOF)方式カメラの基本動作原理について解説を行う。
 講義では、3Dセンサの開発動向と各種センサの特徴、ストラクチャ系、ToFカメラ系、次世代学習型Infrared Depth方式のデプスカメラの動作原理説明をデモを行いながら説明します。代表的なKinect for Windows V2に関しては基本機能のデモを行います。
 距離画像センサを用いたセンシングシステムの応用事例として、呼吸や心拍などの非接触生体情報センシングをはじめとする幾つかのシステムについて動作原理の解説とデモ を行います。

セミナー詳細

開催日時
  • 2015年01月28日(水) 10:30 ~ 17:30
開催場所 日本テクノセンター研修室
カテゴリー 電気・機械・メカトロ・設備ソフト・データ・画像・デザイン研究開発・商品開発・ ビジネススキル
受講対象者 ・商用利用が可能なKinct for windowsセンサー(商用モデル)の応用について、興味をお持ちの方 ・骨格がトラッキングができることから、様々な映像技術に応用を考えている開発担当者 ・低価格で高品質な距離画像センサの開発を考えている開発担当者 ・製造業(ラインでの外観検査)、医療検査(側弯症検査システム、手術サポート用途等)、ヘルスケア関連部門 ・非接触センシングの生体計測(呼吸や心拍をセンシング)の機器応用をお考えの方    ・画像機器、(ゲーム機(3D体感ゲーム)、教材(リハビリ用ゲーム)、住宅関連(宅内家電、設備等への操作管理システム)、広告(人の動きや音で操作出来る展示用ディスプレイ)、カメラ(普通のWebカメラをデプスカメラとして利用可)について、Kinec機能の適用や活用をお考えの方
予備知識 ・特に必要としません、基礎からわかりやすく、解説します
修得知識 ・Kinect for Windowsの基本機能と概要、応用について  ・商用仕様:次世代Kinect for Windoows Ver.2.0のPreliminary情報  ・KinectのLight Coding方式デプス・カメラの動作原理  ・赤外線ランダム・ドット・パターン投影を行うLight Coding方式  ・赤外線パルスの飛行時間を測定するTime Of Flight(TOF)方式  ・Kinectを使った具体的なアプリケーションとシステム事例とその動作原理  ・非接触センシングの生体計測(呼吸や心拍をセンシングする方法の動作原理と構造)
プログラム

1.3Dセンサの開発動向
  (1).ストラクチャ光照明方式(Kinect V1, Carmine, Intel RealSense)
  (2).ToF(Time of Flight)方式(Kinect V2, Senz3D他)
  (3).nfraredDepth方式(Microsoft, SIGGRAPH2014)
  (4). Stereoカメラ方式
  (5).Leap Motion(魚眼レンズステレオカメラ+赤外線照明)
  (6).PTAM方式(単眼カメラ)
  (7) .Make3D方式(単眼カメラ)Stanford大学

2.Kinect for Windows V2(Open Beta版)イントロダクション
    ーKinect for Windows V2 (Open Beta版)ー
     ・SDK2.0 (2014年9月に公開されたアップデート1409)
     ・公開情報に基づく機能概要紹介とデモ
  (1).推奨ハードウェア条件
  (2).ハードウェア編(Preview版)
      a.本体形状、USB3.0 I/F、コネクタ変換ボックスと電源
      b.RGBカメラ
      c.赤外線カメラ
      d.赤外線ブラスター
      e.3軸直交加速度センサ
      f.マイクロフォン・アレイ
  (3).ソフトウェア編(SDK2.0 アップデート1409版)
      a .ColorFrame  カラー画像データ
      b.ToF(Time of Flight)方式デプス画像データ
      c.BodyIndexFrame 人物のいる領域を示す画像データ
      d.InfraredFrame アクティブ赤外線画像データ
      e.BodyFrame 骨格トラッキングデータ
       ・追加された指関節、手のグー、チョキ、パー検出
      f.AudioFrame 音声データ
       ・音源方向検出とビームフォーミング、音声認識
      g. Face 5つの特徴点の3次元座標と数種類の表情や状態を検出
      h.HD Face 2,000点の顔モデルと多数の特徴点のキャプチャー
      i.Kinect Fusion 3Dスキャナ

  (4).Appendix A.「グラフィックス関連の基礎知識磁化」
  (5).Appendix B.「Kinect V1 イントロダクション」
      a.Kinect for Windows V1の概要説明とデモ
      b.Kinectが変えるセンシングの世界)
  (4).推奨ハードウェア条件
  (5).Kinect V1ハードウェア編
     ーKinect for Windows [V1]の概略構造ー
       a.本体形状、USB2.0 I/Fと電源
       b. RGBカメラ
       c.赤外線プロジェクタ
       d.赤外線カメラ
       e.軸直交加速度センサ
       f.仰角制御モーター
       g.4つのマイクロフォン  
  (6).Kinect V1ソフトウェア編
     ーKinect for Windows SDK Ver.1.8の基本機能紹介とデモー
      a.カラー画像キャプチャ
      b.デプスイメージ(グレースケールとカラールックアップテーブル)
      c.赤外線カメラ
      d.骨格追尾
      e.人物切り出し
      f.3軸加速度センサ
      g.仰角制御
      h.関節残像表示(骨格追尾)
      i.関節円運動推定でジェスチャー判定
      j.音声認識と音声合成
      k.音源方向検出とビームフォーミング
      l.アバターアニメーション
      m .顔と表情の追尾
      n.手の状態検出(手のGrab/Pan検出)
      o.Kinect Fusion(デプスイメージとの違い)

3.アプリケーション事例紹介
  ー広範な応用分野とデモー
  (1).バーチャル楽器演奏システム
  (2).ジェスチャーや音声認識で動画や家電制御
  (3).拡張現実(AR)センシング(照度、超音波)
  (4).全身加速度モニタ
  (5) .赤外線近接NUI
  (6).知覚コンバータ(Cyber Eye)
  (7).非接触生体モニタ(赤外線脈波と呼吸)

4.Kinect V1.「ストラクチャ系デプスカメラ動作原理とアルゴリズム編 」
   ーKinect for WindowsのLight Coding方式ー
  (1). レーザーポインタを用いた光切断法による測距(デモ含む)ー
  (2).ラインレーザーを用いた光切断法による測距多重化(デモ含む)
  (3). Light Codingとは
    ーランダム・ドット・パターンの自己相関特性による個別ドットの識別方法ー
  (4).デプスカメラの動作原理
    ・デプスカメラを1から作り、機能を再現する
    ・乱数パターンの相互相関で距離を演算
     a .イスラエルのPrime Sense社の米国特許出願内容
     b .乱数投影パターンの数学的性質と相互相関
     c.可視光プロジェクタとWebカメラ
     d.pre-convoluted pattern法(高速アルゴリズム)
     e.デプスカメラ原理まとめ

5.Kinect V2.「ToF方式デプスカメラ動作原理とアルゴリズム編」
   ーKinect for Windows Ver.2.0のTime of Flight方式ー
  (1).Microsoft社の米国特許出願内容とその動作原理
  (2).アクティブ赤外線補正について

6.Infrared Depth方式:「普通のWebカメラを学習でデプスカメラに」
  (1).Inverse Square法
  (2).拡散反射光補正法

7.非接触バイタル・センシングの基礎知識
  (1).センシングの原理
     a.赤外線方式
     b.高精度デプス方式
     c.マーカー方式
     d.スポット光方式
  (2).心拍・呼吸センシング原理
     a.心電図と心拍
     b.心電計の動作原理と構造、及びデモ
     c.呼吸と血液中の酸素濃度
     d.赤外線脈波センサの動作原理と構造、及びデモ
     e.呼吸メカニズムと心拍揺らぎの関係

8.Kinectソフトウェア開発環境
   ーソフト開発環境は無償ー
  (1).Kinect for Windows V1の場合
     a. Kinect for Windows V1 SDK 1.8
     b.Visual Studio Express 2013 for Windows Desktop
  (2).Kinect for Windows V2 SDK 2.0の場合
     ・Visual Studio Express 2013 for Windows Desktop

9.KinectV2基本プログラミング
   ーVisual C# 基本プログラミングー基本的な使い方ー
  (1).Visual C#でWindows Form アプリケーションを作成
  (2). Formデザイン
  (3). コーディング(宣言部分)
  (4).コーディング(初期化処理と終了処理)
  (5).マルチ・ソース・フレーム
  (6).表示例

10.動作原理とアルゴリズム
  (1).FIFOアルゴリズム
  (2).基底遷移アルゴリズム
     
11.製作物
  (1).デプスカメラの製作
  (2).Apacheのインストール手順
     ・(HTML5+JavaScriptをスタンドアローンで使う方法)
  (3).3Dスキャナの製作
  (4).瞳孔トラッキング
  (5).WebSocketでブラウザでKinectを利用する
  (6).舌の非侵襲トラッキング
  (7).Leap Motionの動作原理
  (8).Structure Sensor方式

キーワード センシング 非接触センシング デブスカメラ 基底推理アルゴリズム 生体信号処理 骨格追尾 音源推定
タグ コンテンツカメラ位置情報音声処理画像認識
受講料 一般 (1名):49,500円(税込)
同時複数申込の場合(1名):44,000円(税込)
会場
日本テクノセンター研修室
〒 163-0722 東京都新宿区西新宿2-7-1 新宿第一生命ビルディング(22階)
- JR「新宿駅」西口から徒歩10分
- 東京メトロ丸ノ内線「西新宿駅」から徒歩8分
- 都営大江戸線「都庁前駅」から徒歩5分
電話番号 : 03-5322-5888
FAX : 03-5322-5666
こちらのセミナーは受付を終了しました。
次回開催のお知らせや、類似セミナーに関する情報を希望される方は、以下よりお問合せ下さい。
contact us contact us
各種お問い合わせは、お電話でも受け付けております。
03-5322-5888

営業時間 月~金:9:00~17:00 / 定休日:土日・祝日