技術セミナー・研修・出版・書籍・通信教育・eラーニング・講師派遣の テックセミナー ジェーピー

3Dセンシング技術の基礎と非接触生体センシング

3Dセンシング技術の基礎と非接触生体センシング

～ToF、LiDAR、Structured Light、Infrared Depthから、JPEG画像から信号処理で情報を絞り出す 次世代技術RGB Color Depthまで～
東京都 開催
関連するセミナー・出版物
セミナーに申し込む

概要

本セミナーでは、デプス・センシング・アルゴリズムの基礎から、それを用いた非接触生体センシングの動作原理、ヒューマン・ヘルスケア関連アプリケーションへの展開について、次世代デバイスHololensのデモを交えて解説いたします。

開催日

  • 2018年12月5日(水) 10時00分 ～ 17時00分

受講対象者

  • デプスカメラの動作原理について興味をお持ちの方
  • デプスカメラを用いたアプリ開発について興味をお持ちの方
  • デプスカメラあるいは3Dスキャナーを開発されようとお考えの方
  • 非接触バイタルセンシングについて興味をお持ちの方

修得知識

  • デプスカメラを開発する際の必要な基礎知識と各方式の問題点
  • デプスカメラのアプリケーション分野の把握
  • デプスカメラの開発動向
  • デプスカメラを使いこなす上で必要な数学知識

プログラム

  • 3Dセンサの基本機能と主な応用事例と市場について概要説明を行います。
  • 各種センサ方式の動作原理について説明を行います。
  • デプス・センシング・アルゴリズムとして、Time of Flight (ToF) 方式、LiDAR方式、Structured Light方式、Infrared Depth方式などの動作原理説明を行います。
  • Microsoft社のKinect V2や、Structured Light方式自作機のデモを中心に実演しながら、センサ動作原理と機能の特徴紹介を行います。
  • 次世代技術の可能性を示すため、JPEG圧縮された画像データからの圧縮ノイズに埋もれた生体情報の抽出技術についてデモを行いながら説明を行います。
  • 点群データ処理による高感度化の手法と情報の抽出方法について説明します。
  • 非接触バイタルセンシング (加速度・呼吸・心拍・平衡バランス等) の動作原理説明とデモについても行います。
  • 生体計測の基礎知識や高齢者在宅見守り (転倒、うずくまり、横たわり、浴槽沈水等) に関しても説明を行います。

イントロダクション編

  • 3Dセンサとは? / KinectV2販売終了を受けて / 拡大するデプスカメラ市場 デプスカメラの技術マップ

第1章 3Dセンサの機能

デモを行いながら、3Dセンサに要求される機能について説明を行います。

  1. 【基本機能】
    1. Color … フルHDカラーカメラのキャプチャ
    2. Depth … ToF (Time of Flight) 方式デプスデータの画像化
    3. BodyIndex … 人検出 (人物のいる領域を示すデータ)
    4. Infrared … アクティブ赤外線画像データ
    5. Body … 骨格トラッキング (25点の関節3次元座標、手のグー、チョキ、パー検出)
    6. Audio … 音声データ (音源方向検出とビームフォーミング、音声認識)
    7. Face … 5つ (両眼、鼻、口角) の特徴点の3次元座標と数種類の表情や状態を検出
    8. HD Face … 2,000点の顔モデルと多数の特徴点のキャプチャ
    9. Kinect Fusion 3Dスキャナ
  2. 【拡張機能】
    • PC間通信
      1. WebSocket … サーバー⇔クライアント
      2. UDP … 一方的送信
      3. FIFO利用 (ノイズ抑制、残像等)
      4. DepthFIFO … フレームFIFOを用いた時系列方向の移動平均
      5. InfraredFIFO … フレームFIFOを用いた時系列方向の移動平均
      6. AfterImage … 骨格トラッキングされた関節の軌跡 (残像)
      7. Gesture (Circle) 軌跡 (点群データ) から円の中心座標を推定
      8. 法線ベクトル推定
      9. DepthFusion … デプスの放物曲面推定で法線ベクトルを推定し、光源計算 (Lighting) により立体感のある表示法
      10. 非接触バイタル・センシング
      11. Acceleration … 骨格トラッキングで加速度検出 (速度も可)
      12. FaceHeartBeat … 顔の観測 (Color or Infrared) で心拍を観測
      13. Breathing … 胸部観測 (Depth) で呼吸・心拍を観測
      14. PointCloud … 点群データの活用により観察方向を任意変更、沈水、転倒、うずくまり、横たわり
      15. BodyBalance … 平衡感覚の老化測定
  3. 【応用】
    1. HandGesture … NUI (Natural User Interface)
    2. AR Sensing … 1チャンネルのセンサで空間に分布状態を可視化
    3. CyberEye … 距離を音に変換する視覚障碍者向けデバイス
    4. EyeTracking … 瞳孔輪郭を検出し、視線ベクトルを算出
    5. RobotEyeContact … 前に立った人を見つめるロボット制御
    6. VirtualMusicalInstrument … 仮想楽器
    7. HomeControl … 家電制御
  4. ToFデプス精度の検証
    1. DepthPrecision … デプスのノイズ原因の検証用

第2章 3Dセンサの概要

  1. 【Structured Light法】
    1. 光源と観測位置の座標の違いを利用する (光三角法)
      1. 光切断法
      2. モアレ法
      3. Structured Light法
        1. Structured Light固定パターン投影法
          • ランダムドットパターンを用いた相関方法 (KinectV1, Carmine)
          • 高速高分解能カメラで各ドットを追尾するHyper Depth
        2. Structured Light時分割パターン法
  2. 【Time of Flight法】
    1. 光パルスの往復時間または位相遅れを利用する (Time of Flight)
      1. ToFカメラ
      2. LiDAR (Light Detection and Ranging) [Laser Imaging Detection and Ranging]
  3. 【Infrared Depth法】
    1. 拡散反射光の性質を利用する (Infrared Depth)
  4. 【その他のデプスアルゴリズム】
    1. カメラ位置の違いから特徴点/テクスチャのマッチングを利用
      1. PTAM (Parallel Tracking and Mapping)
      2. SLAM (Simultaneous Localization and Mapping) … 自己位置推定と環境地図作成を同時に行う
      3. マルチカメラ
      4. 自己位置推定用シートマーカーを用いる方法 (Qlone)
    2. ステレオ・マッチング
    3. 機械学習から静止画から3D顔モデルを再構成する … cvl – demos.cs.nott.ac.uk/vrn/
    4. Make3D (視覚処理の模倣)
    5. カラー開口フィルタ (東芝)
  5. 【Appendix】
    • Hyper Depth … Structured Light法とToF法の比較により、ToFカメラの欠点を説明

第3章 RGB Color Depth方式の動作原理

特殊なカメラを使用せずに、デプスセンシングと非接触生体センシングを行う方式の提案 (CQ出版インターフェース誌5月号記事に関連)

  1. CMOSイメージセンサについて
  2. C.E.Shannonのチャンネル容量の法則 … メガ級センサ・アレイで、超高感度を実現する
  3. チャンネル容量の法則の適用例 … JPEG圧縮に伴うブロックノイズやモスキートノイズも抑制する。高感度化アルゴリズムとその結果
  4. 波長による透過深度 (表皮深さ) の違いを利用する … 通常のカメラをルチスペクトルカメラととらえ、波長間の僅かな違いを可視化する抽出アルゴリズムと事例紹介
  5. 色ベクトルとメラニン色素
  6. 単眼3Dセンシング
  7. 単眼3Dセンシングの問題点
  8. ステレオ3Dセンシング
  9. まとめ

第4章 非接触バイタル・センシング

  1. 【心拍・呼吸に関する基礎知識】
    1. 心臓の構造と心電図
    2. 呼吸動作と酸素供給の関係
    3. 呼吸と心拍揺らぎの関係
    4. 入浴中の心拍揺らぎと年齢
  2. 【心拍・呼吸センシングの原理】
    1. カラー画像または赤外線画像からの心拍センシング
    2. デプスデータからの呼吸・心拍センシング
    3. KinectV1での非接触呼吸・心拍センシング
    4. スポット光方式 … 反射光強度分布を放物面関数で近似して精密測距
    5. マーカー方式 … 濃度分布関数または円形マーカーを用いた精密測距

第5章 アルゴリズムの原理

  1. FIFOアルゴリズム
    1. FIFO
    2. 高速移動平均
    3. 矩形波相関法
  2. 基底遷移アルゴリズム
    1. 放物線補間と3軸加速度検出やノイズ除去
    2. 放物面補間 (輝度分布中心の推定)
    3. 線スペクトルとDCオフセットノイズ除去
    4. 適応フィルタ
    5. デコンボリューション (逆畳み込み演算)
    6. 2次元ポイントクラウド⇒円の中心座標⇒半径
    7. 3次元ポイントクラウド⇒円の中心座標⇒半径
    8. 3次元ポイントクラウド⇒球の中心座標⇒半径
  3. 最小2乗法
    1. 放物線補間
    2. 放物面補間

第6章 Kinect/RealSenseソフトウェア開発環境

第7章 基本プログラミング～基本的な使い方～

  1. Kinect V2編
    1. Visual C#でWindows Form アプリケーションを作成
    2. Formデザイン
    3. コーディング (宣言部分)
    4. コーディング (初期化処理と終了処理)
    5. マルチ・ソース・フレーム
    6. 表示例
  2. RealSense R – 200編
    1. Visual C#でWindows Form アプリケーションを作成
    2. Formデザイン
    3. コーディング (宣言部分)
    4. コーディング (初期化処理と終了処理)
    5. コーディング (キャプチャ処理部分)
    6. 表示例

以下はテキストに含まれますが時間の関係で割愛します。

第8章 付録

  • 【付録1】 赤外線ハンドモーションセンサ
  • 【付録2】 カメラで回転角度を検出する方法
  • 【付録3】 Webカメラで心拍センシング
  • 【Appendix A】 3次元グラフィックスの基礎知識
    1. 3D-CGモデル
    2. ポリゴン描画
    3. 透視変換と光源計算
    4. Kinect Fusionと光源計算
    5. 光源計算
    6. Bone
    7. Boneと物理演算
  • 【Appendix B】 Hololens
  • 【Unityプログラミング基礎】
ページのトップヘ

講師

  • 上田 智章 氏
    株式会社フォスメガ
    代表取締役社長
ページのトップヘ

会場

オームビル
東京都 千代田区 神田錦町3-1
オームビルの地図
ページのトップヘ

主催

株式会社 トリケップス
お支払い方法、キャンセルの可否は、必ずお申し込み前にご確認をお願いいたします。

お問い合わせ

本セミナーに関するお問い合わせは tech-seminar.jpのお問い合わせからお願いいたします。
(主催者への直接のお問い合わせはご遠慮くださいませ。)

受講料

1名様
: 47,000円 (税別) / 50,760円 (税込)
1口
: 59,000円 (税別) / 63,720円 (税込) (3名まで受講可)
セミナーに申し込む
ページのトップヘ

これから開催される関連セミナー

開始日時
2018/11/22 画像の対応付けの基礎とその高精度化 東京都
2018/11/26 SVM (サポートベクターマシン) とDeep Learningを中心とした機械学習の画像認識への応用 東京都
2018/11/27 Pythonによる画像認識・画像解析の入門と実装 東京都
2018/11/29 CMOSイメージングシステム最新動向、機能進化とAI Vision 東京都
2018/11/29 バイオセンサ、バイオデバイスの最新動向と製品開発への応用 東京都
2018/12/3 パターン認識・画像認識の基礎と応用 東京都
2018/12/4 機械学習とウェアラブルセンサを用いたココロの可視化 東京都
2018/12/5 触覚フィードバック技術の開発とディスプレイへの応用 東京都
2018/12/5 IMU (慣性装置) の基礎と応用 東京都
2018/12/10 ARにおける視覚情報の認知、処理のメカニズムと現実空間との整合性 東京都
2018/12/11 フレキシブルセンサ向け材料の開発と柔軟・伸縮性の向上 東京都
2018/12/13 遠赤外線カメラ (ナイトビジョンカメラ) の基礎とディープラーニングを組合わせた人検知技術 東京都
2018/12/13 医用・ヘルスケア用センサ、デバイスの最新開発状況と今後 東京都
2018/12/14 Visual SLAM : 応用編 東京都
2018/12/17 ヘッドマウントディスプレイ (HMD) の基礎、研究開発動向と今後の展望 東京都
2018/12/20 Pythonによる画像認識の入門と実装 東京都
2018/12/21 3D、立体ディスプレイの表示技術、奥行き知覚と応用技術 東京都
2019/1/16 触覚フィードバック技術 東京都
2019/1/17 嗅覚センサの開発動向、高感度センシング技術とその応用 東京都
2019/1/17 ディープラーニングの基礎とニューラルネットワークの学習および画像認識活用事例 東京都
ページのトップヘ

関連する出版物

発行年月
2018/5/31 最先端医療機器の病院への普及展望と今後の製品開発
2017/6/30 生体情報センシングとヘルスケアへの最新応用
2015/8/17 防犯・監視カメラ〔2015年版〕 技術開発実態分析調査報告書
2015/8/17 防犯・監視カメラ〔2015年版〕 技術開発実態分析調査報告書 (CD-ROM版)
2014/6/30 マイクロセンサ 技術開発実態分析調査報告書(CD-ROM版)
2014/3/7 画像処理・画像符号化・画像評価法
2013/9/15 カプセル内視鏡 技術開発実態分析調査報告書 (CD-ROM版)
2013/9/15 カプセル内視鏡 技術開発実態分析調査報告書
2013/8/2 HLAC特徴を用いた学習型汎用認識
2013/6/21 機械学習によるパターン識別と画像認識への応用
2013/6/1 画像診断機器(磁気共鳴) 技術開発実態分析調査報告書 (CD-ROM版)
2013/6/1 画像診断機器(磁気共鳴) 技術開発実態分析調査報告書
2013/3/29 3次元物体認識手法とその応用 (カラー版)
2013/1/30 圧力センサ 技術開発実態分析調査報告書
2013/1/30 圧力センサ 技術開発実態分析調査報告書 (CD-ROM版)
2012/10/25 電子写真装置の定着技術 技術開発実態分析調査報告書 (CD-ROM版)
2012/10/25 電子写真装置の定着技術 技術開発実態分析調査報告書
2012/6/20 画像復元・超解像技術の基礎と応用
2012/4/20 デジカメ主要8社の静止画信号処理技術 技術開発実態分析調査報告書 (CD-ROM版)
2012/4/20 デジカメ主要8社の静止画信号処理技術 技術開発実態分析調査報告書
ページのトップヘ