技術セミナー・研修・出版・書籍・通信教育・eラーニング・講師派遣の テックセミナー ジェーピー

3Dセンシング技術の基礎と非接触生体センシング

3Dセンシング技術の基礎と非接触生体センシング

～ToF、LiDAR、Structured Light、Infrared Depthから、JPEG画像から信号処理で情報を絞り出す 次世代技術RGB Color Depthまで～
東京都 開催 会場 開催
関連するセミナー・出版物
本セミナーは終了いたしました。
セミナーの再開催を依頼する 関連するセミナー・出版物を探す

概要

  • 3Dセンサの基本機能と主な応用事例と市場について概要説明を行います。
  • 各種センサ方式の動作原理について説明を行います。
  • デプス・センシング・アルゴリズムとして、Time of Flight (ToF) 方式、LiDAR方式、Structured Light方式、Infrared Depth方式などの動作原理説明を行います。
  • Microsoft社のKinect V2や、Structured Light方式自作機のデモを中心に実演しながら、センサ動作原理と機能の特徴紹介を行います。
  • 次世代技術の可能性を示すため、JPEG圧縮された画像データからの圧縮ノイズに埋もれた生体情報の抽出技術についてデモを行いながら説明を行います。
  • 点群データ処理による高感度化の手法と情報の抽出方法について説明します。
  • 非接触バイタルセンシング (加速度・呼吸・心拍・平衡バランス等) の動作原理説明とデモについても行います。
  • 生体計測の基礎知識や高齢者在宅見守り (転倒、うずくまり、横たわり、浴槽沈水等) に関しても説明を行います。

開催日

  • 2018年8月29日(水) 10時00分 ～ 17時00分

受講対象者

  • デプスカメラの動作原理について興味をお持ちの方
  • デプスカメラを用いたアプリ開発について興味をお持ちの方
  • デプスカメラあるいは3Dスキャナーを開発されようとお考えの方
  • 非接触バイタルセンシングについて興味をお持ちの方

修得知識

  • デプスカメラを開発する際の必要な基礎知識と各方式の問題点
  • デプスカメラのアプリケーション分野の把握
  • デプスカメラの開発動向
  • デプスカメラを使いこなす上で必要な数学知識

プログラム

  1. イントロダクション編
    • 3Dセンサとは? / KinectV2販売終了を受けて / 拡大するデプスカメラ市場 デプスカメラの技術マップ
  2. 第1章 3Dセンサの機能
    • デモを行いながら、3Dセンサに要求される機能について説明を行います。
    • 【基本機能】
      1. Color … フルHDカラーカメラのキャプチャ
      2. Depth … ToF (Time of Flight) 方式デプスデータの画像化
      3. BodyIndex … 人検出 (人物のいる領域を示すデータ)
      4. Infrared … アクティブ赤外線画像データ
      5. Body … 骨格トラッキング (25点の関節3次元座標、手のグー、チョキ、パー検出)
      6. Audio … 音声データ (音源方向検出とビームフォーミング、音声認識)
      7. Face … 5つ (両眼、鼻、口角) の特徴点の3次元座標と数種類の表情や状態を検出
      8. HD Face … 2,000点の顔モデルと多数の特徴点のキャプチャ
      9. Kinect Fusion 3Dスキャナ
      10. 【拡張機能】
        • PC間通信
      11. WebSocket … サーバー⇔クライアント
      12. UDP … 一方的送信
        • FIFO利用 (ノイズ抑制、残像等)
      13. DepthFIFO … フレームFIFOを用いた時系列方向の移動平均
      14. InfraredFIFO … フレームFIFOを用いた時系列方向の移動平均
      15. AfterImage … 骨格トラッキングされた関節の軌跡 (残像)
      16. Gesture (Circle) 軌跡 (点群データ) から円の中心座標を推定
        • 法線ベクトル推定
      17. DepthFusion … デプスの放物曲面推定で法線ベクトルを推定し、光源計算 (Lighting) により立体感のある表示法
        • 非接触バイタル・センシング
      18. Acceleration … 骨格トラッキングで加速度検出 (速度も可)
      19. FaceHeartBeat … 顔の観測 (Color or Infrared) で心拍を観測
      20. Breathing … 胸部観測 (Depth) で呼吸・心拍を観測
      21. PointCloud … 点群データの活用により観察方向を任意変更、沈水、転倒、うずくまり、横たわり
      22. BodyBalance … 平衡感覚の老化測定
      23. 【応用】
      24. HandGesture … NUI (Natural User Interface)
      25. AR Sensing … 1チャンネルのセンサで空間に分布状態を可視化
      26. CyberEye … 距離を音に変換する視覚障碍者向けデバイス
      27. EyeTracking … 瞳孔輪郭を検出し、視線ベクトルを算出
      28. RobotEyeContact … 前に立った人を見つめるロボット制御
      29. VirtualMusicalInstrument … 仮想楽器
      30. HomeControl … 家電制御
      31. ToFデプス精度の検証
      32. DepthPrecision … デプスのノイズ原因の検証用
  3. 第2章 3Dセンサの概要
    • 【Structured Light法】
      1. 光源と観測位置の座標の違いを利用する (光三角法)
        1. 光切断法
        2. モアレ法
        3. Structured Light法
          1. Structured Light固定パターン投影法
            • ランダムドットパターンを用いた相関方法 (KinectV1, Carmine)
            • 高速高分解能カメラで各ドットを追尾するHyper Depth
            • Structured Light時分割パターン法
      2. 【Time of Flight法】
      3. 光パルスの往復時間または位相遅れを利用する (Time of Flight)
        1. ToFカメラ
        2. LiDAR (Light Detection and Ranging) [Laser Imaging Detection and Ranging]
      4. 【Infrared Depth法】
      5. 拡散反射光の性質を利用する (Infrared Depth)
      6. 【その他のデプスアルゴリズム】
      7. カメラ位置の違いから特徴点/テクスチャのマッチングを利用
        1. PTAM (Parallel Tracking and Mapping)
        2. SLAM (Simultaneous Localization and Mapping) … 自己位置推定と環境地図作成を同時に行う
        3. マルチカメラ
        4. 自己位置推定用シートマーカーを用いる方法 (Qlone)
      8. ステレオ・マッチング
      9. 機械学習から静止画から3D顔モデルを再構成する … cvl – demos.cs.nott.ac.uk/vrn/
      10. Make3D (視覚処理の模倣)
      11. カラー開口フィルタ (東芝)
      12. 【Appendix】
        • Hyper Depth … Structured Light法とToF法の比較により、ToFカメラの欠点を説明
  4. 第3章 RGB Color Depth方式の動作原理
    • 特殊なカメラを使用せずに、デプスセンシングと非接触生体センシングを行う方式の提案 (CQ出版インターフェース誌5月号記事に関連)
      1. CMOSイメージセンサについて
      2. C.E.Shannonのチャンネル容量の法則 … メガ級センサ・アレイで、超高感度を実現する
      3. チャンネル容量の法則の適用例 … JPEG圧縮に伴うブロックノイズやモスキートノイズも抑制する。高感度化アルゴリズムとその結果
      4. 波長による透過深度 (表皮深さ) の違いを利用する … 通常のカメラをルチスペクトルカメラととらえ、波長間の僅かな違いを可視化する抽出アルゴリズムと事例紹介
      5. 色ベクトルとメラニン色素
      6. 単眼3Dセンシング
      7. 単眼3Dセンシングの問題点
      8. ステレオ3Dセンシング
      9. まとめ
  5. 第4章 非接触バイタル・センシング
    • 【心拍・呼吸に関する基礎知識】
      1. 心臓の構造と心電図
      2. 呼吸動作と酸素供給の関係
      3. 呼吸と心拍揺らぎの関係
      4. 入浴中の心拍揺らぎと年齢
      5. 【心拍・呼吸センシングの原理】
      6. カラー画像または赤外線画像からの心拍センシング
      7. デプスデータからの呼吸・心拍センシング
      8. KinectV1での非接触呼吸・心拍センシング
      9. スポット光方式 … 反射光強度分布を放物面関数で近似して精密測距
      10. マーカー方式 … 濃度分布関数または円形マーカーを用いた精密測距
  6. 第5章 アルゴリズムの原理
    1. FIFOアルゴリズム
      1. FIFO
      2. 高速移動平均
      3. 矩形波相関法
    2. 基底遷移アルゴリズム
      1. 放物線補間と3軸加速度検出やノイズ除去
      2. 放物面補間 (輝度分布中心の推定)
      3. 線スペクトルとDCオフセットノイズ除去
      4. 適応フィルタ
      5. デコンボリューション (逆畳み込み演算)
      6. 2次元ポイントクラウド⇒円の中心座標⇒半径
      7. 3次元ポイントクラウド⇒円の中心座標⇒半径
      8. 3次元ポイントクラウド⇒球の中心座標⇒半径
    3. 最小2乗法
      1. 放物線補間
      2. 放物面補間
  7. 第6章 Kinect/RealSenseソフトウェア開発環境
  8. 第7章 基本プログラミング～基本的な使い方～
    1. Kinect V2編
      1. Visual C#でWindows Form アプリケーションを作成
      2. Formデザイン
      3. コーディング (宣言部分)
      4. コーディング (初期化処理と終了処理)
      5. マルチ・ソース・フレーム
      6. 表示例
    2. RealSense R – 200編
      1. Visual C#でWindows Form アプリケーションを作成
      2. Formデザイン
      3. コーディング (宣言部分)
      4. コーディング (初期化処理と終了処理)
      5. コーディング (キャプチャ処理部分)
      6. 表示例
      • ★以下はテキストに含まれますが時間の関係で割愛します。
  9. 第8章 付録
    • 【付録1】 赤外線ハンドモーションセンサ
    • 【付録2】 カメラで回転角度を検出する方法
    • 【付録3】 Webカメラで心拍センシング
    • 【Appendix A】 3次元グラフィックスの基礎知識
    • 【Appendix B】 Hololens
    • 【Unityプログラミング基礎】
    • 3D – CGモデル
    • ポリゴン描画
    • 透視変換と光源計算
    • Kinect Fusionと光源計算
    • 光源計算
    • Bone
    • Boneと物理演算
ページのトップヘ

講師

  • 上田 智章 氏
    株式会社フォスメガ
    代表取締役社長
ページのトップヘ

会場

株式会社オーム社 オームセミナー室
東京都 千代田区 神田錦町3-1
株式会社オーム社 オームセミナー室の地図
ページのトップヘ

主催

株式会社 トリケップス
お支払い方法、キャンセルの可否は、必ずお申し込み前にご確認をお願いいたします。

お問い合わせ

本セミナーに関するお問い合わせは tech-seminar.jpのお問い合わせからお願いいたします。
(主催者への直接のお問い合わせはご遠慮くださいませ。)

受講料

1名様
: 47,000円 (税別) / 50,760円 (税込)
1口
: 59,000円 (税別) / 63,720円 (税込) (3名まで受講可)
本セミナーは終了いたしました。
セミナーの再開催を依頼する
ページのトップヘ

これから開催される関連セミナー

開始日時 会場 開催方法
2025/2/14 CMOSイメージセンサの基礎講座 オンライン
2025/2/14 次世代バイオデバイス技術の最新動向 オンライン
2025/2/17 テラヘルツ波デバイスの基礎と産業応用への新展開 オンライン
2025/2/19 ヒューマンセンシングの基礎と製品・サービスへの活用法 オンライン
2025/2/19 IT/車載やAR/VR/MR向けなどの新しいディスプレイの材料・技術の動向 オンライン
2025/2/21 ニューラルネットワークを用いた三次元モデリング/自由視点画像生成 オンライン
2025/2/21 CMOSイメージセンサの基礎講座 オンライン
2025/2/25 ヒューマンセンシングの基礎と製品・サービスへの活用法 オンライン
2025/2/26 Vision Transformerの仕組みとBEV Perception オンライン
2025/2/27 最新XR (VR/MR・AR) 機器の搭載ディスプレイ・光学系の動向と技術解析 オンライン
2025/2/28 ライトフィールドカメラ/ライトフィールドディスプレイの基礎と最新技術動向 オンライン
2025/3/5 生体情報センシングの基礎とデータ処理・活用および応用展開 オンライン
2025/3/5 Pythonプログラムにおける高速化と大容量データの扱い オンライン
2025/3/7 自己位置推定・環境地図作成のためのコンピュータビジョン・画像処理 オンライン
2025/3/7 自動運転用各センサの特徴・役割とセンサフュージョンの最新動向 オンライン
2025/3/7 スペクトル・イメージデータへの機械学習の応用 オンライン
2025/3/10 外観検査の自動化における画像認識の基礎と生成AI活用の課題と可能性 オンライン
2025/3/11 Pythonプログラムにおける高速化と大容量データの扱い オンライン
2025/3/12 生体情報センシングの基礎とデータ処理・活用および応用展開 オンライン
2025/3/12 匂いセンシング技術の基礎知識と匂いバイオセンサの研究開発 オンライン
ページのトップヘ