技術セミナー・研修・出版・書籍・通信教育・eラーニング・講師派遣の テックセミナー ジェーピー

3Dセンシング技術の基礎と点群データ処理の活用および非接触生体センシング

3Dセンシング技術の基礎と点群データ処理の活用および非接触生体センシング

~Microsoft Kinect V2, Intel RealSense SR-300など~
東京都 開催 会場 開催

概要

本セミナーでは、3Dセンシング技術、点群データ処理、Kinectの基礎から解説し、非接触バイタルセンシングの測定原理から人間センシングまでを詳解いたします。

開催日

  • 2016年7月14日(木) 10時00分 17時00分

受講対象者

  • Kinectの活用が期待できる関連部門の担当者、管理者
    • 製造業
    • 医療
    • ヘルスケア
    • エンターテイメント
    • 画像機器
    • 教育、教材関連
    • 広告
    • 研究機関 等
  • Kinect for Windows V2センサに興味をお持ちの方
  • 骨格トラッキングの様々な映像技術への応用を考えている開発担当者
  • 距離画像センサ (ToFカメラやストラクチャ系カメラ) の開発を検討している開発担当者
  • Kinectの応用等で課題を抱えている方

修得知識

  • Kinect for WindowsV1, V2の基本機能、概要、応用と動作原理について
  • 赤外線パルスの飛行時間を測定するTime of Flight (ToF) 方式
  • 普通のWebカメラをデプスカメラに変えるMicrosoft社の次世代学習型Infrared Depth方式
  • KinectのLight Coding方式デプデプス・カメラの動作原理
  • Kinectを使った具体的なアプリケーションとシステム事例とその動作原理
  • 非接触生体情報センシング技術 (呼吸や心拍等の検出原理)

プログラム

 デプス・センシング・アルゴリズム (Light Coding技術[V1] / Time of Flight技術[V2] / Infrared Depth [次世代]) の理解から、点群データ処理を活用した非接触生体センシングの動作原理、ヒューマン・ヘルスケア関連アプリケーションへの展開、及び次世代デバイスHololensまで解説

  1. 第1章 3Dセンサの開発動向
    1. ストラクチャ光照明方式 (Kinect V1, Carmine, Intel RealSense SR-300 / R-200)
    2. ToF (Time of Flight) 方式 (Kinect V2, Senz3D他)
    3. InfraredDepth方式 (SIGGRAPH2014:Microsoft)
    4. Stereoカメラ方式
    5. Leap Motion (魚眼レンズステレオカメラ+赤外線照明)
    6. PTAM方式 (単眼カメラ)
    7. Make3D方式 (単眼カメラ) Cornell大学
    8. 3Dセンサの現状
    9. 日本の3Dセンサの開発動向
  2. 第2章 Kinect V2イントロダクション
    …Microsoft社Kinect V2の実機デモによる概要説明 (Kinect for Windows SDK 2.0の基本機能) を行います。
    1. 推奨ハードウェア条件とPCの適合性診断方法
    2. ハードウェア編
      1. 接続構成と接続台数の制約
      2. フルHDカラーカメラ
      3. 赤外線カメラ
      4. 赤外線レーザー
      5. 3軸直交加速
      6. マイクロフォン・アレイ
    3. ソフトウェア編 (SDK2.0 Build1409版)
      1. Color…フルHDカラーカメラのキャプチャ
      2. Depth…ToF (Time of Flight) 方式デプスデータの画像化
      3. BodyIndex…人検出 (人物のいる領域を示すデータ)
      4. Infrared…アクティブ赤外線画像データ
      5. Body…骨格トラッキング (25点の関節3次元座標、手のグー、チョキ、パー検出)
      6. Audio…音声データ (音源方向検出とビームフォーミング、音声認識)
      7. Face…5つ (両眼、鼻、口角) の特徴点の3次元座標と数種類の表情や状態を検出
      8. HD Face…2,000点の顔モデルと多数の特徴点のキャプチャ
      9. Kinect Fusion 3Dスキャナ
      10. 補足事項
  3. Appendix A 3次元グラフィックスの基礎知識
    1. 3D-CGモデル
    2. ポリゴン描画
    3. 透視変換と光源計算
    4. Kinect Fusionと光源計算
    5. 光源計算
    6. Bone
    7. Boneと物理演算センサ
  4. 第3章 RealSense SR-300 / R-200イントロダクション
    …Intel社RealSense SR-300 / R-200の実機デモによる概要説明 (RealSense SDKの基本機能) を行います。
    1. 推奨ハードウェア条件とPCの適合性診断方法
    2. ハードウェア編
      1. SR-300 (F-200の後継機)
      2. R-200
    3. ソフトウェア編
      1. Color
      2. Depth
      3. Infrared
      4. Hand Tracking
      5. Face Tracking
      6. 3Dスキャン
      7. 補足事項
  5. Appendix B Kinect V1イントロダクション~Kinect for Windows [V1]の概略構造~
    1. 拡張現実とは?
    2. 拡張現実関連の時代の流れ
    3. Kinectとは?
    4. Kinectの差異
    5. 推奨ハードウェア条件
      • 本体形状
      • USB2.0 I/Fと電源
      • スティックPCでも動作
    6. Kinectの概略構成
      • RGBカメラ
      • 赤外線プロジェクタ
      • 赤外線カメラ
      • 3軸直交加速度センサ
      • 仰角制御モーター
      • 4つのマイクロフォン
    7. Kinectの内部構造
    8. Kinectの赤外線プロジェクタ
    9. デプスカメラ
    10. Kinectの機能概要
    11. Kinect V1ソフトウェア編~Kinect for Windows SDK Ver.1.8の基本機能紹介とデモ~
      1. カラー画像キャプチャ
      2. デプスイメージ (カラールックアップテーブル方式を例示)
      3. 赤外線カメラ
      4. 骨格トラッキング
      5. 人物検出
      6. カメラ位置補正の方法
      7. 3軸加速度センサと仰角制御
      8. オーディオ
        • 音声認識と音声合成
        • 音源方向検出とビームフォーミング
      9. アバターアニメーション
      10. 顔トラッキング
      11. 手の状態検出 (手のGrab/Pan検出)
      12. Kinect Fusion
      13. 動画作成フリーウェアMikuMikuDance
  6. Appendix C LeapMotion
  7. Appendix D Hololens
  8. 第4章 アプリケーション事例紹介
    1. 基本技術…骨格トラッキングにより取得した関節3次元座標の時間履歴をFIFOメモリを用いて残像表示。
    2. 拡張現実センシング…センサ1個で物理量の分布状態を可視化する
    3. 非接触加速度センシング
    4. 平衡感覚の衰えをセンシング
    5. ハンド・モーション判定
    6. 円運動推定
    7. ハンドジェスチャーによる家電制御
    8. エア楽器
    9. Cyber Eye…聴覚で視覚を代替する知覚コンバータ
    10. 赤外線近接NUIによる指先トラッキング
    11. ロボット視線トラッキング
    12. 非接触バイタルセンシング…在宅介護見守りシステムなど
  9. 第5章 ToF方式デプスカメラの動作原理~Kinect for Windows V2のTime of Flight方式~
    1. ToF方式デプスカメラのジッターノイズ
    2. ジッターノイズの大きくなる条件
      • ビーム指向性、赤外線吸光度、法線ベクトル、距離減衰 (距離の2乗に反比例)
    3. ToF方式デプスカメラの基本動作原理
    4. ToF方式デプスカメラの測定ステップ
    5. ToF方式デプスカメラの演算動作
      • 環境光オフセット除去、アクティブ赤外線、デプス値の演算
    6. Microsoft社の米国特許出願内容
    7. C.E.Shannonのチャンネル容量の法則
    8. フレーム移動平均処理 (チャンネル容量の法則)
    9. 法線ベクトルセンシング
    10. Depth Fusion
      • 光源計算 (Lighting) による陰影付け (Shading)
    11. 床面法線ベクトル学習によるポイントクラウドの活用
      1. 見守りシステム (病院、介護施設、在宅)
      2. 浴室見守り
    12. 非接触バイタルセンシングへの応用
      • 矩形領域内加算平均処理と時間履歴データの最小2乗法放物線補間処理 (チャンネル容量の法則) 呼吸・心拍センシング
    13. 補足説明
  10. 第6章 Light Coding方式の動作原理、デプスカメラの動作原理
    ~デプスカメラを1から作り、機能を再現する~~乱数パターンの相互相関で距離を演算~
    1. 光切断法による測距 (レーザーポインタ)
    2. 光切断法による測距の多重化 (ラインレーザー)
    3. Light Codingとは
      • ランダム・ドット・パターンの自己相関特性による個別ドットの識別方法
    4. イスラエルのPrime Sense社の米国特許出願内容
    5. 乱数投影パターンの数学的性質と相互相関
    6. 可視光プロジェクタとWebカメラによる検証
    7. pre-convoluted patter法 (高速アルゴリズム)
    8. ランダムドットプロジェクタ
      • Appendix E Stereo Ir_Cam + Projector
  11. 第7章 InfraredDepth方式の動作原理~学習で普通のWebカメラをデプスカメラにしてしまう~
    1. Microsoft社のSIGGRAPH2014発表内容
    2. Webカメラを赤外線カメラに改造
    3. InverseSquare法とは
    4. InverseSquare法の検証結果
    5. InverseSquare法の問題点
    6. InverseSquare法の改善策
    7. NeoTechLabのオリジナル・アルゴリズム
  12. 第8章 非接触バイタルセンシングの基礎知識
    1. 心拍・呼吸に関する基礎知識
      1. 心臓の構造と心電図
      2. 呼吸動作と酸素供給の関係
      3. 呼吸と心拍揺らぎの関係
      4. 入浴中の心拍揺らぎと年齢
    2. 心拍・呼吸センシングの原理
      1. カラー画像または赤外線画像からの心拍センシング
      2. デプスデータからの呼吸・心拍センシング
      3. KinectV1での非接触呼吸・心拍センシング
      4. スポット光方式
        • 反射光強度分布を放物面関数で近似して精密測距
      5. マーカー方式
        • 濃度分布関数または円形マーカーを用いた精密測距
  13. 第9章 アルゴリズムの原理
    1. FIFOアルゴリズム
      1. FIFO
      2. 高速移動平均
      3. 矩形波相関法
    2. 基底遷移アルゴリズム
      1. 放物線補間と3軸加速度検出やノイズ除去
      2. 放物面補間 (輝度分布中心の推定)
      3. 線スペクトルとDCオフセットノイズ除去
      4. 適応フィルタ
      5. デコンボリューション (逆畳み込み演算)
      6. 2次元ポイントクラウド⇒円の中心座標⇒半径
      7. 3次元ポイントクラウド⇒円の中心座標⇒半径
      8. 3次元ポイントクラウド⇒球の中心座標⇒半径
    3. 最小2乗法
      1. 放物線補間
      2. 放物面補間
  14. 第10章 Kinect/RealSenseソフトウェア開発環境
  15. 第11章 基本プログラミング編~基本的な使い方~
    1. Kinect V2編
      1. Visual C#でWindows Form アプリケーションを作成
      2. Formデザイン
      3. コーディング (宣言部分)
      4. コーディング (初期化処理と終了処理)
      5. マルチ・ソース・フレーム
      6. 表示例
    2. RealSense SR-300編
      1. Visual C#でWindows Form アプリケーションを作成
      2. Formデザイン
      3. コーディング (宣言部分)
      4. コーディング (初期化処理と終了処理)
      5. コーディング (キャプチャ処理部分)
      6. 表示例
  16. 第12章 付録
    • 付録1 赤外線ハンドモーションセンサ
    • 付録2 カメラで回転角度を検出する方法
    • 付録3 Webカメラで心拍センシング
  17. まとめ

講師

  • 上田 智章
    株式会社フォスメガ
    代表取締役社長

会場

株式会社オーム社 オームセミナー室
東京都 千代田区 神田錦町3-1
株式会社オーム社 オームセミナー室の地図

主催

お支払い方法、キャンセルの可否は、必ずお申し込み前にご確認をお願いいたします。

お問い合わせ

本セミナーに関するお問い合わせは tech-seminar.jpのお問い合わせからお願いいたします。
(主催者への直接のお問い合わせはご遠慮くださいませ。)

受講料

1名様
: 47,000円 (税別) / 50,760円 (税込)
1口
: 57,000円 (税別) / 61,560円 (税込) (3名まで受講可)
本セミナーは終了いたしました。

これから開催される関連セミナー

開始日時 会場 開催方法
2024/4/12 機械学習/Deep Learningの画像データ前処理に活用できる画像フィルタリングの基本と最新動向 オンライン
2024/4/16 嗅覚センサによるニオイの計測およびその評価と解析方法 オンライン
2024/4/17 ルールベースと機械学習ベースの画像認識技術 オンライン
2024/4/19 車載半導体の最新技術と今後の動向 オンライン
2024/4/19 自然言語処理の基礎と生成AI・大規模言語モデルの研究開発への活用 オンライン
2024/4/19 人間中心製品開発のための生理測定方法と評価・実験プロセス オンライン
2024/4/22 ダイヤモンドNV量子センサの基本原理と応用・最新動向 オンライン
2024/4/22 3Dセンサの測距原理とその応用 (1) 東京都 会場
2024/4/26 ダイヤモンドNV量子センサの基本原理と応用・最新動向 オンライン
2024/4/26 VSLAMの概要とAR Foundationを用いた実装演習 オンライン
2024/5/2 自然言語処理の基礎と生成AI・大規模言語モデルの研究開発への活用 オンライン
2024/5/8 においセンサの開発動向と高感度化、応用事例 オンライン
2024/5/9 ウェアラブル生体情報センシングと感覚フィードバックを組み合わせたサービス展開 オンライン
2024/5/14 人間-機械 (自動車) インターフェイス製品の人間工学の考え方とその評価 オンライン
2024/5/15 ソフトウェア開発への生成AI・ChatGPT導入と活用 オンライン
2024/5/20 3Dセンサの測距原理とその応用 (2) 東京都 会場
2024/5/21 基礎からわかる生体信号の計測と情報解析・データマイニングのコツ オンライン
2024/5/23 3次元モデリング/自由視点画像生成のための「NeRF」の基礎 オンライン
2024/5/24 画像認識のためのディープラーニングとモデルの軽量化 オンライン
2024/5/31 車載半導体の最新技術と今後の動向 オンライン