技術セミナー・研修・出版・書籍・通信教育・eラーニング・講師派遣の テックセミナー ジェーピー

3Dセンシング技術の基礎と非接触生体センシング

3Dセンシング技術の基礎と非接触生体センシング

~ToF、LiDAR、Structured Light、Infrared Depthから、JPEG画像から信号処理で情報を絞り出す 次世代技術RGB Color Depthまで~
東京都 開催 会場 開催

概要

  • 3Dセンサの基本機能と主な応用事例と市場について概要説明を行います。
  • 各種センサ方式の動作原理について説明を行います。
  • デプス・センシング・アルゴリズムとして、Time of Flight (ToF) 方式、LiDAR方式、Structured Light方式、Infrared Depth方式などの動作原理説明を行います。
  • Microsoft社のKinect V2や、Structured Light方式自作機のデモを中心に実演しながら、センサ動作原理と機能の特徴紹介を行います。
  • 次世代技術の可能性を示すため、JPEG圧縮された画像データからの圧縮ノイズに埋もれた生体情報の抽出技術についてデモを行いながら説明を行います。
  • 点群データ処理による高感度化の手法と情報の抽出方法について説明します。
  • 非接触バイタルセンシング (加速度・呼吸・心拍・平衡バランス等) の動作原理説明とデモについても行います。
  • 生体計測の基礎知識や高齢者在宅見守り (転倒、うずくまり、横たわり、浴槽沈水等) に関しても説明を行います。

開催日

  • 2018年8月29日(水) 10時00分 17時00分

受講対象者

  • デプスカメラの動作原理について興味をお持ちの方
  • デプスカメラを用いたアプリ開発について興味をお持ちの方
  • デプスカメラあるいは3Dスキャナーを開発されようとお考えの方
  • 非接触バイタルセンシングについて興味をお持ちの方

修得知識

  • デプスカメラを開発する際の必要な基礎知識と各方式の問題点
  • デプスカメラのアプリケーション分野の把握
  • デプスカメラの開発動向
  • デプスカメラを使いこなす上で必要な数学知識

プログラム

  1. イントロダクション編
    • 3Dセンサとは? / KinectV2販売終了を受けて / 拡大するデプスカメラ市場 デプスカメラの技術マップ
  2. 第1章 3Dセンサの機能
    • デモを行いながら、3Dセンサに要求される機能について説明を行います。
    • 【基本機能】
      1. Color … フルHDカラーカメラのキャプチャ
      2. Depth … ToF (Time of Flight) 方式デプスデータの画像化
      3. BodyIndex … 人検出 (人物のいる領域を示すデータ)
      4. Infrared … アクティブ赤外線画像データ
      5. Body … 骨格トラッキング (25点の関節3次元座標、手のグー、チョキ、パー検出)
      6. Audio … 音声データ (音源方向検出とビームフォーミング、音声認識)
      7. Face … 5つ (両眼、鼻、口角) の特徴点の3次元座標と数種類の表情や状態を検出
      8. HD Face … 2,000点の顔モデルと多数の特徴点のキャプチャ
      9. Kinect Fusion 3Dスキャナ
      10. 【拡張機能】
        • PC間通信
      11. WebSocket … サーバー⇔クライアント
      12. UDP … 一方的送信
        • FIFO利用 (ノイズ抑制、残像等)
      13. DepthFIFO … フレームFIFOを用いた時系列方向の移動平均
      14. InfraredFIFO … フレームFIFOを用いた時系列方向の移動平均
      15. AfterImage … 骨格トラッキングされた関節の軌跡 (残像)
      16. Gesture (Circle) 軌跡 (点群データ) から円の中心座標を推定
        • 法線ベクトル推定
      17. DepthFusion … デプスの放物曲面推定で法線ベクトルを推定し、光源計算 (Lighting) により立体感のある表示法
        • 非接触バイタル・センシング
      18. Acceleration … 骨格トラッキングで加速度検出 (速度も可)
      19. FaceHeartBeat … 顔の観測 (Color or Infrared) で心拍を観測
      20. Breathing … 胸部観測 (Depth) で呼吸・心拍を観測
      21. PointCloud … 点群データの活用により観察方向を任意変更、沈水、転倒、うずくまり、横たわり
      22. BodyBalance … 平衡感覚の老化測定
      23. 【応用】
      24. HandGesture … NUI (Natural User Interface)
      25. AR Sensing … 1チャンネルのセンサで空間に分布状態を可視化
      26. CyberEye … 距離を音に変換する視覚障碍者向けデバイス
      27. EyeTracking … 瞳孔輪郭を検出し、視線ベクトルを算出
      28. RobotEyeContact … 前に立った人を見つめるロボット制御
      29. VirtualMusicalInstrument … 仮想楽器
      30. HomeControl … 家電制御
      31. ToFデプス精度の検証
      32. DepthPrecision … デプスのノイズ原因の検証用
  3. 第2章 3Dセンサの概要
    • 【Structured Light法】
      1. 光源と観測位置の座標の違いを利用する (光三角法)
        1. 光切断法
        2. モアレ法
        3. Structured Light法
          1. Structured Light固定パターン投影法
            • ランダムドットパターンを用いた相関方法 (KinectV1, Carmine)
            • 高速高分解能カメラで各ドットを追尾するHyper Depth
            • Structured Light時分割パターン法
      2. 【Time of Flight法】
      3. 光パルスの往復時間または位相遅れを利用する (Time of Flight)
        1. ToFカメラ
        2. LiDAR (Light Detection and Ranging) [Laser Imaging Detection and Ranging]
      4. 【Infrared Depth法】
      5. 拡散反射光の性質を利用する (Infrared Depth)
      6. 【その他のデプスアルゴリズム】
      7. カメラ位置の違いから特徴点/テクスチャのマッチングを利用
        1. PTAM (Parallel Tracking and Mapping)
        2. SLAM (Simultaneous Localization and Mapping) … 自己位置推定と環境地図作成を同時に行う
        3. マルチカメラ
        4. 自己位置推定用シートマーカーを用いる方法 (Qlone)
      8. ステレオ・マッチング
      9. 機械学習から静止画から3D顔モデルを再構成する … cvl – demos.cs.nott.ac.uk/vrn/
      10. Make3D (視覚処理の模倣)
      11. カラー開口フィルタ (東芝)
      12. 【Appendix】
        • Hyper Depth … Structured Light法とToF法の比較により、ToFカメラの欠点を説明
  4. 第3章 RGB Color Depth方式の動作原理
    • 特殊なカメラを使用せずに、デプスセンシングと非接触生体センシングを行う方式の提案 (CQ出版インターフェース誌5月号記事に関連)
      1. CMOSイメージセンサについて
      2. C.E.Shannonのチャンネル容量の法則 … メガ級センサ・アレイで、超高感度を実現する
      3. チャンネル容量の法則の適用例 … JPEG圧縮に伴うブロックノイズやモスキートノイズも抑制する。高感度化アルゴリズムとその結果
      4. 波長による透過深度 (表皮深さ) の違いを利用する … 通常のカメラをルチスペクトルカメラととらえ、波長間の僅かな違いを可視化する抽出アルゴリズムと事例紹介
      5. 色ベクトルとメラニン色素
      6. 単眼3Dセンシング
      7. 単眼3Dセンシングの問題点
      8. ステレオ3Dセンシング
      9. まとめ
  5. 第4章 非接触バイタル・センシング
    • 【心拍・呼吸に関する基礎知識】
      1. 心臓の構造と心電図
      2. 呼吸動作と酸素供給の関係
      3. 呼吸と心拍揺らぎの関係
      4. 入浴中の心拍揺らぎと年齢
      5. 【心拍・呼吸センシングの原理】
      6. カラー画像または赤外線画像からの心拍センシング
      7. デプスデータからの呼吸・心拍センシング
      8. KinectV1での非接触呼吸・心拍センシング
      9. スポット光方式 … 反射光強度分布を放物面関数で近似して精密測距
      10. マーカー方式 … 濃度分布関数または円形マーカーを用いた精密測距
  6. 第5章 アルゴリズムの原理
    1. FIFOアルゴリズム
      1. FIFO
      2. 高速移動平均
      3. 矩形波相関法
    2. 基底遷移アルゴリズム
      1. 放物線補間と3軸加速度検出やノイズ除去
      2. 放物面補間 (輝度分布中心の推定)
      3. 線スペクトルとDCオフセットノイズ除去
      4. 適応フィルタ
      5. デコンボリューション (逆畳み込み演算)
      6. 2次元ポイントクラウド⇒円の中心座標⇒半径
      7. 3次元ポイントクラウド⇒円の中心座標⇒半径
      8. 3次元ポイントクラウド⇒球の中心座標⇒半径
    3. 最小2乗法
      1. 放物線補間
      2. 放物面補間
  7. 第6章 Kinect/RealSenseソフトウェア開発環境
  8. 第7章 基本プログラミング~基本的な使い方~
    1. Kinect V2編
      1. Visual C#でWindows Form アプリケーションを作成
      2. Formデザイン
      3. コーディング (宣言部分)
      4. コーディング (初期化処理と終了処理)
      5. マルチ・ソース・フレーム
      6. 表示例
    2. RealSense R – 200編
      1. Visual C#でWindows Form アプリケーションを作成
      2. Formデザイン
      3. コーディング (宣言部分)
      4. コーディング (初期化処理と終了処理)
      5. コーディング (キャプチャ処理部分)
      6. 表示例
      • ★以下はテキストに含まれますが時間の関係で割愛します。
  9. 第8章 付録
    • 【付録1】 赤外線ハンドモーションセンサ
    • 【付録2】 カメラで回転角度を検出する方法
    • 【付録3】 Webカメラで心拍センシング
    • 【Appendix A】 3次元グラフィックスの基礎知識
    • 【Appendix B】 Hololens
    • 【Unityプログラミング基礎】
    • 3D – CGモデル
    • ポリゴン描画
    • 透視変換と光源計算
    • Kinect Fusionと光源計算
    • 光源計算
    • Bone
    • Boneと物理演算

講師

  • 上田 智章
    株式会社フォスメガ
    代表取締役社長

会場

株式会社オーム社 オームセミナー室
東京都 千代田区 神田錦町3-1
株式会社オーム社 オームセミナー室の地図

主催

お支払い方法、キャンセルの可否は、必ずお申し込み前にご確認をお願いいたします。

お問い合わせ

本セミナーに関するお問い合わせは tech-seminar.jpのお問い合わせからお願いいたします。
(主催者への直接のお問い合わせはご遠慮くださいませ。)

受講料

1名様
: 47,000円 (税別) / 50,760円 (税込)
1口
: 59,000円 (税別) / 63,720円 (税込) (3名まで受講可)
本セミナーは終了いたしました。

これから開催される関連セミナー

開始日時 会場 開催方法
2022/7/11 ディープラーニングの推論パフォーマンスを改善するモデル軽量化技術の基礎と最新動向 オンライン
2022/7/11 CMOSイメージセンサーの基礎とイメージング技術の最新動向 オンライン
2022/7/14 小規模データに対する機械学習の効果的適用法 オンライン
2022/7/19 1日で分かるVisual SLAMの基礎 オンライン
2022/7/19 最新ディスプレイ (OLED/QNED/ミニLED/マイクロLED) の課題・市場動向・技術トレンド オンライン
2022/7/20 車載用遠赤外線カメラシステムの効果と課題、及び遠赤外線カメラの将来性について オンライン
2022/7/21 自動運転用センサフュージョン技術と動向 オンライン
2022/7/21 Pythonで始めるコンピュータビジョン (CV) 技術の超入門 オンライン
2022/7/22 テラヘルツ波の基礎と産業への応用 オンライン
2022/7/22 畳み込みニューラルネットワークとVision Transformerの基礎と画像認識への応用 オンライン
2022/7/27 グラフニューラルネットワーク (GNN) 入門 オンライン
2022/7/27 外観検査自動化に向けた画像処理・AI技術活用の課題と導入のポイント オンライン
2022/7/28 画像認識技術およびディープラーニングの基礎・入門と応用展開 オンライン
2022/7/28 自動車の自動運転におけるセンシング技術と移動物追跡技術 オンライン
2022/7/28 車載インテリアセンサーのグローバル市場動向とビジネスチャンス - 台頭する統合型アプローチ オンライン
2022/8/2 自己位置推定・マッピングの最新技術動向 (カメラ, IMU, 無線) オンライン
2022/8/9 便利で豊かな社会づくりを支える生体・ヒューマンセンシングおよび情報処理技術とその市場展開・展望 (バイオ・フレキシブル・ストレス) オンライン
2022/8/25 詳解 Transformer オンライン
2022/8/29 Deep Learningに基づく画像認識の基礎から最近の発展まで オンライン
2022/8/31 磁気センサの技術開発と設計手法 オンライン

関連する出版物

発行年月
2021/6/30 VR/AR技術における感覚の提示、拡張技術と最新応用事例
2020/10/21 AR/VR/MRマイクロディスプレイ世界の最新業界レポート
2020/7/31 生体情報センシングと人の状態推定への応用
2020/4/30 生体情報計測による感情の可視化技術
2019/1/31 センサフュージョン技術の開発と応用事例
2018/5/31 最先端医療機器の病院への普及展望と今後の製品開発
2017/6/30 生体情報センシングとヘルスケアへの最新応用
2016/1/20 画像ワーピング技術とその応用
2015/8/17 防犯・監視カメラ〔2015年版〕 技術開発実態分析調査報告書
2015/8/17 防犯・監視カメラ〔2015年版〕 技術開発実態分析調査報告書 (CD-ROM版)
2014/6/30 マイクロセンサ 技術開発実態分析調査報告書(CD-ROM版)
2014/3/7 画像処理・画像符号化・画像評価法
2013/10/29 高効率動画像符号化方式:H.265/HEVC (High Efficiency Video Coding)
2013/9/15 カプセル内視鏡 技術開発実態分析調査報告書 (CD-ROM版)
2013/9/15 カプセル内視鏡 技術開発実態分析調査報告書
2013/8/2 HLAC特徴を用いた学習型汎用認識
2013/6/21 機械学習によるパターン識別と画像認識への応用
2013/6/1 画像診断機器(磁気共鳴) 技術開発実態分析調査報告書
2013/6/1 画像診断機器(磁気共鳴) 技術開発実態分析調査報告書 (CD-ROM版)
2013/3/29 3次元物体認識手法とその応用 (カラー版)