技術セミナー・研修・出版・書籍・通信教育・eラーニング・講師派遣の テックセミナー ジェーピー

3Dセンシング技術の基礎と非接触生体センシング

3Dセンシング技術の基礎と非接触生体センシング

~ToF, LiDAR, Structured Light, Infrared Depthから次世代技術まで~
東京都 開催 会場 開催

概要

本セミナーでは、デプス・センシング・アルゴリズムの基礎から、それを用いた非接触生体センシングの動作原理、ヒューマン・ヘルスケア関連アプリケーションへの展開、及び次世代デバイスHololensのデモまで解説いたします。

開催日

  • 2018年3月13日(火) 10時00分 17時00分

受講対象者

  • デプスカメラの活用が期待できる関連部門の担当者、管理者
    • 製造業
    • 医療
    • ヘルスケア
    • エンターテイメント
    • 画像機器
    • 教育、教材関連
    • 広告
    • 研究機関 等
  • Kinect for Windows V2センサに興味をお持ちの方
  • 骨格トラッキングの様々な映像技術への応用を考えている開発担当者
  • 距離画像センサ (ToFカメラやストラクチャ系カメラ) の開発を検討している開発担当者
  • Kinectの応用等で課題を抱えている方

修得知識

  • デプスカメラを開発する際の必要な基礎知識と各方式の問題点
  • デプスカメラのアプリケーション分野の把握
  • デプスカメラの開発動向
  • デプスカメラを使いこなす上で必要な数学知識

プログラム

  • 3Dセンサの基本機能と主な応用事例と市場について概要説明を行います。
  • 各種センサ方式の動作原理について説明を行います。
  • デプス・センシング・アルゴリズムとして、Time of Flight (ToF) 方式、LiDAR方式、Structured Light方式、Infrared Depth方式などの動作原理説明を行います。
  • Microsoft社のKinect V2や、Structured Light方式自作機のデモを中心に実演しながら、センサ動作原理と機能の特徴紹介を行います。
  • 次世代技術の可能性を示すため、JPEG圧縮された画像データからの圧縮ノイズに埋もれた生体情報の抽出技術についてデモを行いながら説明を行います。
  • 点群データ処理による高感度化の手法と情報の抽出方法について説明します。
  • 非接触バイタルセンシング (加速度・呼吸・心拍・平衡バランス等) の動作原理説明とデモについても行います。
  • 生体計測の基礎知識や高齢者在宅見守り (転倒、うずくまり、横たわり、浴槽沈水等) に関しても説明を行います。

はじめに

  • 2017年8月末、Intel社がSR – 300, R – 200の生産を終了。
  • 2017年10月25日、Microsoft社がKinectの生産を終了。
  • ASUS Xtion2 (ToF方式) 640×480画素
  • D415、D435 (Structured Light方式) 1280×720画素
  1. 第1章 3Dセンサに要求される機能概要
    • ☆基本機能
      1. Color … フルHDカラーカメラのキャプチャ
      2. Depth … ToF (Time of Flight) 方式デプスデータの画像化
      3. BodyIndex … 人検出 (人物のいる領域を示すデータ)
      4. Infrared … アクティブ赤外線画像データ
      5. Body … 骨格トラッキング (25点の関節3次元座標、手のグー、チョキ、パー検出)
      6. Audio … 音声データ (音源方向検出とビームフォーミング、音声認識)
      7. Face … 5つ (両眼、鼻、口角) の特徴点の3次元座標と数種類の表情や状態を検出
      8. HD Face … 2,000点の顔モデルと多数の特徴点のキャプチャー
      9. Kinect Fusion … 3Dスキャナ
      10. ☆拡張機能
      11. PC間通信
      12. WebSocket … サーバー⇔クライアント
      13. UDP … 一方的送信
        • FIFO利用 (ノイズ抑制、残像等)
      14. DepthFIFO … フレームFIFOを用いた時系列方向の移動平均
      15. InfraredFIFO … フレームFIFOを用いた時系列方向の移動平均
      16. AfterImage … 骨格トラッキングされた関節の軌跡 (残像)
      17. Gesture (Circle) 軌跡 (点群データ) から円の中心座標を推定
      18. 法線ベクトル推定
      19. DepthFusion … デプスの放物曲面推定で法線ベクトルを推定し、光源計算 (Lighting) により立体感のある表示法
      20. 非接触バイタルセンシング
      21. Acceleration … 骨格トラッキングで加速度検出 (速度も可)
      22. FaceHeartBeat … 顔の観測 (Color or Infrared) で心拍を観測
      23. Breathing … 胸部観測 (Depth) で呼吸・心拍を観測
      24. PointCloud … 点群データの活用により観察方向を任意変更 沈水、転倒、うずくまり、横たわり
      25. BodyBalance … 平衡感覚の老化測定
      26. 応用
      27. HandGesture … NUI (Natural User Interface)
      28. AR Sensing … 1チャンネルのセンサで空間に分布状態を可視化
      29. CyberEye … 距離を音に変換する視覚障碍者向けデバイス 聴覚で視覚を代替する知覚コンバータ
      30. EyeTracking … 瞳孔輪郭を検出し、視線ベクトルを算出
      31. RobotEyeContact … 前に立った人を見つめるロボット制御
      32. VirtualMusicalInstrument … 仮想楽器
      33. HomeControl … 家電制御
      34. ToFデプス精度の検証
      35. DepthPrecision デプスのノイズ原因の検証用
      36. ☆その他のアプリケーション
      37. 残像表示 … 骨格トラッキングにより取得した関節3次元座標の時間履歴をFIFOメモリ保持
      38. 非接触加速度センシング
      39. 平衡感覚の衰えをセンシング
      40. ハンド・モーション判定
      41. 円運動推定
      42. ハンドジェスチャーによる家電制御
      43. エア楽器
      44. 赤外線近接NUIによる指先トラッキング
      45. ロボット視線トラッキング
      46. 非接触バイタルセンシング … 在宅介護見守りシステムなど
  2. 第2章 3Dセンサの概要
    1. 光源と観測位置の座標の違いを利用する (光三角法)
      1. 光切断法
      2. モアレ法
      3. Structured Light法
        1. 固定パターン法
          • ランダムドットパターンを用いた相関方法 (iPhone X, KinectV1, Carmine, RealSense D415,D435)
          • 高速高分解能カメラで各ドットを追尾するHyper Depth
          • 時分割パターン法 (RealSense F – 200, SR – 300)
    2. 光パルスの往復時間または位相遅れを利用する (Time of Flight)
      1. ToFカメラ
      2. LiDAR (Light Detection and Ranging、Laser Imaging Detection and Ranging)
    3. カメラ位置の違いから特徴点/テクスチャのマッチングを利用
      1. PTAM (Point Tracking and Mapping)
      2. ステレオ・マッチング
      3. SLAM (Simultaneous Localization and Mapping) … 自己位置推定と環境地図作成を同時に行う
      4. マルチカメラ
      5. 自己位置推定用シートマーカーを用いる方法 (Qlone)
    4. 機械学習から静止画から3D顔モデルを再構成する
    5. 拡散反射光の性質を利用する (Infrared Depth)
    6. 拡散反射光を仮定して法線ベクトルを求めデプスを推定する
    7. Make3D (視覚処理の模倣)
    8. カラー開口フィルタ (東芝)
  3. 第3章 ToF方式デプスカメラの動作原理~Kinect for Windows V2のTime of Flight方式~
    1. ToF方式デプスカメラのジッターノイズ
    2. ジッターノイズの大きくなる条件
      • ビーム指向性
      • 赤外線吸光度
      • 法線ベクトル
      • 距離減衰 (距離の2乗に反比例)
    3. ToF方式デプスカメラの基本動作原理
    4. ToF方式デプスカメラの測定ステップ
    5. ToF方式デプスカメラの演算動作
      • 環境光オフセット除去
      • アクティブ赤外線
      • デプス値の演算
    6. Microsoft社の米国特許出願内容
    7. C.E.Shannonのチャンネル容量の法則
    8. フレーム移動平均処理 (チャンネル容量の法則)
    9. 法線ベクトルセンシング
    10. Depth Fusion
      • 光源計算 (Lighting) による陰影付け (Shading)
    11. 床面法線ベクトル学習によるポイント・クラウドの活用
      1. 見守りシステム (病院、介護施設、在宅)
      2. 浴室見守り
    12. 非接触バイタルセンシングへの応用
      • 矩形領域内加算平均処理と時間履歴データの最小二乗法放物線補間処理 (チャンネル容量の法則)
      • 呼吸・心拍センシング
    13. 補足説明
  4. 第4章 Light Coding方式の動作原理…デプスカメラの動作原理
    ~デプスカメラを1から作り、機能を再現する~
    ~乱数パターンの相互相関で距離を演算~
    1. 光切断法による測距 (レーザーポインタ)
    2. 光切断法による測距の多重化 (ラインレーザー)
    3. Light Codingとは
      • ランダム・ドット・パターンの自己相関特性による個別ドットの識別方法
    4. イスラエルのPrime Sense社の米国特許出願内容
    5. 乱数投影パターンの数学的性質と相互相関
    6. 可視光プロジェクタとWebカメラによる検証
    7. pre – convoluted patter法 (高速アルゴリズム)
    8. ランダムドットプロジェクタの製作方法
      • レーザーダイオード+コリメートレンズ+回折格子
  5. 第5章 InfraredDepth方式の動作原理
    ~学習で普通のWebカメラをデプスカメラにしてしまう~
    1. Microsoft社のSIGGRAPH2014発表内容
    2. Webカメラを赤外線カメラに改造
    3. InverseSquare法とは
    4. InverseSquare法の検証結果
    5. InverseSquare法の問題点
    6. InverseSquare法の改善策
    7. NeoTechLabのオリジナル・アルゴリズム
  6. 第6章 次世代情報濃縮アルゴリズム
    ~圧縮ノイズや量子化ノイズに埋もれた情報を抽出する技術~
    1. JPEG圧縮された画像データからの血管分布や表面凹凸を抽出
    2. アルゴリズム
      1. 周囲画素を使った空間フィルタで高解像度化
      2. 観測波長の差異で深さ別に情報抽出
    3. 将来の可能性
  7. 第7章 非接触生体センシングの基礎知識
    • ☆心拍・呼吸に関する基礎知識
      1. 心臓の構造と心電図
      2. 呼吸動作と酸素供給の関係
      3. 呼吸と心拍揺らぎの関係
      4. 入浴中の心拍揺らぎと年齢
      5. ☆心拍・呼吸センシングの原理
      6. カラー画像または赤外線画像からの心拍センシング
      7. デプスデータからの呼吸・心拍センシング
      8. KinectV1での非接触呼吸・心拍センシング
      9. スポット光方式
      10. 反射光強度分布を放物面関数で近似して精密測距
      11. マーカー方式
      12. 濃度分布関数または円形マーカーを用いた精密測距
  8. 第8章 アルゴリズムの原理
    1. FIFOアルゴリズム
      1. FIFO
      2. 高速移動平均
      3. 矩形波相関法
    2. 基底遷移アルゴリズム
      1. 放物線補間と3軸加速度検出やノイズ除去
      2. 放物面補間 (輝度分布中心の推定)
      3. 線スペクトルとDCオフセットノイズ除去
      4. 適応フィルタ
      5. デコンボリューション (逆畳み込み演算)
      6. 2次元ポイントクラウド⇒円の中心座標⇒半径
      7. 3次元ポイントクラウド⇒円の中心座標⇒半径
      8. 3次元ポイントクラウド⇒球の中心座標⇒半径
    3. 最小2乗法
      1. 放物線補間
      2. 放物面補間
    4. ジェスチャ
      1. Air Tap
      2. Bloom
  9. まとめ

Appendix A 3Dセンサの動向

  1. ストラクチャ光照明方式
    1. 固定パターン投影型
      • Kinect V1, Carmine
    2. 時分割パターン投影型
      • Intel RealSense F – 200, SR – 300 / R – 200 / D415, D435
  2. ToF (Time of Flight) 方式
    • Kinect V2, Senz3D, Xtion2
  3. InfraredDepth方式 (SIGGRAPH2014:Microsoft)
  4. Stereoカメラ方式
  5. Leap Motion (魚眼レンズステレオカメラ+赤外線照明)
  6. PTAM方式 (単眼カメラ)
  7. Make3D方式 (単眼カメラ) Cornell大学
  8. 3Dセンサの現状
  9. 日本の3Dセンサの開発動向

Appendix B Kinect V2

~Microsoft社Kinect V2の実機デモによる概要説明 (Kinect for Windows SDK 2.0の基本機能) を行います。

  1. 推奨ハードウェア条件とPCの適合性診断方法
  2. ハードウェア編
    1. 接続構成と接続台数の制約
    2. フルHDカラーカメラ
    3. 赤外線カメラ
    4. 赤外線レーザー
    5. 3軸直交加速度
    6. マイクロフォン・アレイ
  3. ソフトウェア編 (SDK2.0 Build1409版)
    1. Color … フルHDカラーカメラのキャプチャ
    2. Depth … ToF (Time of Flight) 方式デプスデータの画像化
    3. BodyIndex … 人検出 (人物のいる領域を示すデータ)
    4. Infrared … アクティブ赤外線画像データ
    5. Body … 骨格トラッキング (25点の関節3次元座標、手のグー、チョキ、パー検出)
    6. Audio … 音声データ (音源方向検出とビームフォーミング、音声認識)
    7. Face … 5つ (両眼、鼻、口角) の特徴点の3元座標と数種類の表情や状態を検出
    8. HD Face … 2,000点の顔モデルと多数の特徴点のキャプチャ
    9. Kinect Fusion … 3Dスキャナ
    10. 補足事項

Appendix C 3次元グラフィックスの基礎知識

  1. 3D – CGモデル
  2. ポリゴン描画
  3. 透視変換と光源計算
  4. Kinect Fusionと光源計算
  5. 光源計算
  6. Bone
  7. Boneと物理演算センサ

Appendix D RealSense SR – 300 / R – 200イントロダクション

~Intel社RealSense SR – 300 / R – 200の実機デモによる概要説明 (RealSense SDKの基本機能) を行います。

  1. 推奨ハードウェア条件とPCの適合性診断方法
  2. ハードウェア編
    1. SR – 300 (F – 200の後継機)
    2. R – 200
  3. ソフトウェア編
    1. Color
    2. Depth
    3. Infrared
    4. Hand Tracking
    5. Face Tracking
    6. 3Dスキャン
    7. 補足事項

Appendix E Kinect V1イントロダクション~Kinect for Windows [V1]の概略構造~

  1. 拡張現実とは?
  2. 拡張現実関連の時代の流れ
  3. Kinectとは?
  4. Kinectの差異
  5. 推奨ハードウェア条件
    • 本体形状、USB2.0 I/Fと電源、スティックPCでも動作
  6. Kinectの概略構成
    • RGBカメラ
    • 赤外線プロジェクタ
    • 赤外線カメラ
    • 3軸直交加速度センサ
    • 仰角制御モーター
    • 4つのマイクロフォン
  7. Kinectの内部構造
  8. Kinectの赤外線プロジェクタ
  9. デプスカメラ
  10. Kinectの機能概要
  11. Kinect V1ソフトウェア編~Kinect for Windows SDK Ver.1.8の基本機能紹介とデモ~
    1. カラー画像キャプチャ
    2. デプスイメージ (カラールックアップテーブル方式を例示)
    3. 赤外線カメラ
    4. 骨格トラッキング
    5. 人物検出
    6. カメラ位置補正の方法
    7. 3軸加速度センサと仰角制御
    8. オーディオ
      • 音声認識と音声合成
      • 音源方向検出とビームフォーミング
    9. アバターアニメーション
    10. 顔トラッキング
    11. 手の状態検出 (手のGrab/Pan検出)
    12. Kinect Fusion
    13. 動画作成フリーウェアMikuMikuDance

Appendix F LeapMotion

Appendix G See – Through HMD

  • Hololens, DAQRI, Meta2

Appendix H Mixed Reality Immersive HMD

Appendix I その他の付録

  1. 赤外線ハンドモーションセンサ
  2. カメラで回転角度を検出する方法
  3. Webカメラで心拍センシング

講師

  • 上田 智章
    株式会社フォスメガ
    代表取締役社長

会場

株式会社オーム社 オームセミナー室
東京都 千代田区 神田錦町3-1
株式会社オーム社 オームセミナー室の地図

主催

お支払い方法、キャンセルの可否は、必ずお申し込み前にご確認をお願いいたします。

お問い合わせ

本セミナーに関するお問い合わせは tech-seminar.jpのお問い合わせからお願いいたします。
(主催者への直接のお問い合わせはご遠慮くださいませ。)

受講料

1名様
: 47,000円 (税別) / 50,760円 (税込)
1口
: 59,000円 (税別) / 63,720円 (税込) (3名まで受講可)
本セミナーは終了いたしました。

これから開催される関連セミナー

開始日時 会場 開催方法
2024/4/12 機械学習/Deep Learningの画像データ前処理に活用できる画像フィルタリングの基本と最新動向 オンライン
2024/4/16 嗅覚センサによるニオイの計測およびその評価と解析方法 オンライン
2024/4/17 ルールベースと機械学習ベースの画像認識技術 オンライン
2024/4/19 車載半導体の最新技術と今後の動向 オンライン
2024/4/19 自然言語処理の基礎と生成AI・大規模言語モデルの研究開発への活用 オンライン
2024/4/22 ダイヤモンドNV量子センサの基本原理と応用・最新動向 オンライン
2024/4/22 3Dセンサの測距原理とその応用 (1) 東京都 会場
2024/4/26 ダイヤモンドNV量子センサの基本原理と応用・最新動向 オンライン
2024/4/26 VSLAMの概要とAR Foundationを用いた実装演習 オンライン
2024/5/2 自然言語処理の基礎と生成AI・大規模言語モデルの研究開発への活用 オンライン
2024/5/8 においセンサの開発動向と高感度化、応用事例 オンライン
2024/5/9 ウェアラブル生体情報センシングと感覚フィードバックを組み合わせたサービス展開 オンライン
2024/5/20 3Dセンサの測距原理とその応用 (2) 東京都 会場
2024/5/21 基礎からわかる生体信号の計測と情報解析・データマイニングのコツ オンライン
2024/5/23 3次元モデリング/自由視点画像生成のための「NeRF」の基礎 オンライン
2024/5/24 画像認識のためのディープラーニングとモデルの軽量化 オンライン
2024/5/24 IT/車載やAR/VR/MR向けなどの新しいディスプレイの材料・技術の動向 オンライン
2024/5/31 車載半導体の最新技術と今後の動向 オンライン
2024/7/22 画像認識技術入門 オンライン

関連する出版物

発行年月
2023/6/30 生産プロセスにおけるIoT、ローカル5Gの活用
2022/12/21 メタバースを支えるディスプレイおよび部材の動向
2022/4/6 Society 5.0 時代を切り開くデバイス・部材・製造装置
2021/6/30 VR/AR技術における感覚の提示、拡張技術と最新応用事例
2020/10/21 AR/VR/MRマイクロディスプレイ世界の最新業界レポート
2020/7/31 生体情報センシングと人の状態推定への応用
2020/4/30 生体情報計測による感情の可視化技術
2019/1/31 センサフュージョン技術の開発と応用事例
2018/5/31 最先端医療機器の病院への普及展望と今後の製品開発
2017/6/30 生体情報センシングとヘルスケアへの最新応用
2016/1/20 画像ワーピング技術とその応用
2015/8/17 防犯・監視カメラ〔2015年版〕 技術開発実態分析調査報告書 (CD-ROM版)
2015/8/17 防犯・監視カメラ〔2015年版〕 技術開発実態分析調査報告書
2014/6/30 マイクロセンサ 技術開発実態分析調査報告書(CD-ROM版)
2014/3/7 画像処理・画像符号化・画像評価法
2013/10/29 高効率動画像符号化方式:H.265/HEVC (High Efficiency Video Coding)
2013/9/15 カプセル内視鏡 技術開発実態分析調査報告書 (CD-ROM版)
2013/9/15 カプセル内視鏡 技術開発実態分析調査報告書
2013/8/2 HLAC特徴を用いた学習型汎用認識
2013/6/21 機械学習によるパターン識別と画像認識への応用