技術セミナー・研修・出版・書籍・通信教育・eラーニング・講師派遣の テックセミナー ジェーピー

距離画像センサの測距原理と3Dセンサの応用

距離画像センサの測距原理と3Dセンサの応用

~Structured Light, Time of Flight, LiDAR, Photogrametry等の測距原理から非接触生体センシングの原理とその応用まで~
オンライン 開催

概要

本セミナーでは、デプス・センシング・アルゴリズムの基礎から、それを用いた非接触生体センシングの動作原理、ヒューマン・ヘルスケア関連アプリケーションへの展開について、次世代デバイスHololensのデモを交えて解説いたします。

開催日

  • 2021年5月26日(水) 10時00分 17時00分

受講対象者

  • デプスカメラの動作原理について興味をお持ちの方
  • デプスカメラを用いたアプリ開発について興味をお持ちの方
  • デプスカメラあるいは3Dスキャナーを開発されようとお考えの方
  • 非接触バイタルセンシングについて興味をお持ちの方

修得知識

  • デプスカメラを開発する際の必要な基礎知識と各方式の問題点
  • デプスカメラのアプリケーション分野の把握
  • デプスカメラの開発動向
  • デプスカメラを使いこなす上で必要な数学知識

プログラム

 画素単位にmm単位の測距が可能で、モーションキャプチャも行えるイメージングデバイス (Kinect for Windows) が、低価格で利用することが可能になってから9年が経過した。この間に様々な測距方式の低価格3Dセンサが多数市場に登場し、3D顔認証用の3Dセンサがスマートフォンに実装されるほど普及してきている。
 自動車分野でも、自動運転化を実現するための探索センサ、搭乗者の健康状態モニタ、ユーザーインターフェースとして、距離画像センサを組み込んだ3Dセンサに関心が集まっている。
 また、世界的な先進国少子高齢化を踏まえ、2025年開催予定の大阪万博のテーマは『健康と医療』に決まり、見守り・看取りシステムに対する関心も高い。更に、世界的な新型コロナウィルス禍の影響を受け、非接触センシングの需要も高まっている。
 本セミナーでは距離画像センサとカラーカメラを組み込んだ3Dセンサの基本機能、ソフトウェアで実現できる応用事例をデモを通して紹介するとともに、方式別に測距原理の説明を行い、非接触生体センシングを中心とする応用とその原理について解説を行う。また、Shannonのチャンネル容量の法則を利用した増感処理やマッチング処理の原理や応用についても触れる。

  • 第0章 イントロダクション編
    • 3Dセンサとは?
    • 拡大するデプスカメラ市場
    • デプスカメラの技術マップ
  1. 第1章 3Dセンサの機能
    • デモを行いながら、3Dセンサに要求される機能について説明を行います。
      1. 3Dセンサの基本機能
        1. Color…カラー映像を撮影するカメラ
        2. Depth…画素単位にデプス (奥行き距離) を取得するカメラ、距離はmm単位整数で出力するものが多い。
          • 0:モノクロ (256階調) 表示
          • 1:カラーLUT表示
          • 2:光計算 (Lighting) による反射光表示
            • デプス⇒法線ベクトル⇒反射光画像
          • 3:ポイントクラウド
          • 4:ポリゴン表示
        3. BodyIndex
          • 人検出 (人物のいる領域) を取得する機能
        4. Infrared
          • 環境オフセットを除去し、照明による反射画像を取得する機能 (アクティブ赤外線)
        5. Body
          • 骨格トラッキング (人体の姿勢を25点の関節3次元座標で取得、手のグー、チョキ、パー検出)
        6. Audio
          • 音声データ (音源方向検出とビームフォーミング、音声認識に利用)
      2. 3Dセンサの拡張機能
        1. Face
          • 5つ (両眼、鼻、口角) の特徴点の3次元座標と数種類の表情や状態を検出
        2. HD Face
          • 2,000点の顔モデルと多数の特徴点のキャプチャ
        3. Kinect Fusion
          • 3Dスキャナ
      3. ソフトウェアで実現可能な拡張機能
        1. AfterImage
          • 骨格トラッキングされた関節の軌跡 (残像)
        2. BodyBalance
          • 平衡感覚の老化測定を行う
        3. AR Sensing
          • 1チャンネルのセンサで空間に分布状態を可視化
        4. Acceleration
          • 非接触3軸加速度センシング、関節3次元座標{ x (t) , y (t) , z (t) }を要素ごとに放物線近似。O (t) = a*t*t + b*t + c とすれば、時刻t=0の加速度は2a, 速度はb
        5. PointCloud
          • 床法線ベクトルの検出。点群データの活用により観察方向を任意変更。沈水、転倒、うずくまり、横たわり。
        6. Face3D
          • 3次元顔認証 (顔の3次元形状の切り出し)
        7. Body3D
          • 実測デプス値に基づいて3D Bodyポリゴンモデルをフィッティング。体重参照があれば非接触体脂肪率測定が行える。
        8. HandGesture
          • NUI (Natural User Interface) 。Air Tap, Bloom
        9. Cyber Eye
          • 距離を音に変換する視覚障碍者向けデバイス
      4. 非接触バイタルセンシング…第1世代
        1. FaceHeartBeat
          • 顔の観測 (Color or Infrared) で心拍を観測
        2. Breathing
          • 胸部観測 (Depth) で呼吸・心拍を観測
      5. HyperSenseによる機能…第2世代 チャンネル容量の法則を利用して高感度化。カラーカメラ画像をマルチスペクトルカメラとして取り扱う。
        1. ColorVector
          • 色をベクトルとして精密分析
        2. ColorMap
          • ヘモグロビン、メラニン色素、ビリルビン、ウロビリノーゲン等の色変化を観測
        3. VesselVisualizer
          • 血管の可視化 (BとGから真皮層の毛細血管分布を、GとRから皮下組織内の血管を可視化)
        4. Hyper_HeartBeat
          • 脈波の2次元観測 (血流等も)
        5. BumpVisualizer
          • 指紋・掌紋の可視化
      6. 3Dセンサ応用
        1. EyeTracking
          • 瞳孔輪郭を検出し、視線ベクトルを算出
        2. RobotEyeContact
          • 前に立った人を見つめるロボット制御
        3. VirtualMusicalInstrument
          • 仮想楽器
        4. HomeControl
          • 家電制御
      7. 付録…PC間通信、ToFセンサの特性
        1. WebSocket
          • サーバー⇔クライアント
        2. UDP
          • 一方的送信
        3. DepthPrecision
          • ToFデプス精度の検証
  2. 第2章 3Dセンサの動作原理
    1. Structured Light法
      1. 光源と観測位置の座標の違いを利用する (光三角法)
        1. 光切断法
        2. モアレ法
        3. Structured Light法
          1. Structured Light固定パターン投影法
            • ランダムドットパターンを用いた相関方法 (KinectV1, Carmine)
            • 高速高分解能カメラで各ドットを追尾するHyper Depth
            • Structured Light時分割パターン法
    2. Time of Flight法
      1. 光パルスの往復時間または位相遅れを利用する (Time of Flight)
        1. 地球から月面までの距離を精密測定するのに使われたLiDAR (カウンタ方式)
        2. ToF方式 (位相遅れを測定する)
          1. 単純2値の位相差を用いる方式
          2. 3パターン測定法 (照明指向性、吸光度、法線ベクトルの影響を補正する方法)
          3. 距離によって、照明強度とフェーズを変更する方式
          4. マルチフェーズで高精度補正を行う方式
        3. LiDAR (Light Detection and Ranging) [Laser Imaging Detection and Ranging]
          1. メカニカルスキャン法
          2. メカニカルスキャン法の欠点
          3. 高速・低価格な非メカニカルスキャン法 Multi-beams LiDAR
    3. Infrared Depth法
      1. 拡散反射光の性質を利用する (Infrared Depth)
    4. その他のデプスアルゴリズム
      1. カメラ位置の違いから特徴点/テクスチャのマッチングを利用
        1. PTAM (Parallel Tracking and Mapping)
        2. SLAM (Simultaneous Localization and Mapping) 自己位置推定と環境地図作成を同時に行う
        3. マルチカメラ (Photogrametry)
        4. 自己位置推定用シートマーカーを用いる方法 (Qlone)
      2. ステレオ・マッチング
      3. 機械学習から静止画から3D顔モデルを再構成する cvl – demos.cs.nott.ac.uk/vrn/
      4. Make3D (視覚処理の模倣)
      5. カラー開口フィルタ (東芝)
    5. Appendix
      1. Hyper Depth
        • Structured Light法とToF法の比較により、ToFカメラの欠点を説明
  3. 第3章 HyperSense方式の動作原理
    • 特殊なカメラを使用せずに、デプスセンシングと非接触生体センシングを行う方式の提案 (CQ出版インターフェース誌5月号記事に関連)
      1. CMOSイメージセンサについて
      2. C.E.Shannonのチャンネル容量の法則
        • メガ級センサ・アレイで、超高感度を実現する
      3. チャンネル容量の法則の適用例
        • JPEG圧縮に伴うブロックノイズやモスキートノイズも抑制する。高感度化アルゴリズムとその結果。
      4. 波長による透過深度 (表皮深さ) の違いを利用する
        • 通常のカメラをマルチスペクトルカメラととらえ、波長間の僅かな違いを可視化する抽出アルゴリズムと事例紹介
      5. 色ベクトルとメラニン色素
      6. 単眼3Dセンシング
      7. 単眼3Dセンシングの問題点
      8. ステレオ3Dセンシング
      9. まとめ
  4. 第4章 非接触バイタルセンシング
    1. 心拍・呼吸に関する基礎知識
      1. 心臓の構造と心電図
      2. 呼吸動作と酸素供給の関係
      3. 呼吸と心拍揺らぎの関係
      4. 入浴中の心拍揺らぎと年齢
      5. 脈波から何がわかるのか
        1. 加速度脈波と血管年齢 (動脈硬化)
        2. 大動脈脈波伝搬速度
        3. 2波長観測でSpO2 (動脈血中のヘモグロビンの酸素濃度)
        4. 脈波伝搬遅延と血圧
    2. 心拍・呼吸センシングの原理
      1. カラー画像または赤外線画像からの心拍センシング
      2. デプスデータからの呼吸・心拍センシング
      3. KinectV1での非接触呼吸・心拍センシング
      4. スポット光方式
        • 反射光強度分布を放物面関数で近似して精密測距
      5. マーカー方式
        • 濃度分布関数または円形マーカーを用いた精密測距
    3. リモートセンシングの事例
      1. サッカー選手のリモート・バイタル・センシング
        • 観客席から普通の一眼レフカメラで撮影したサッカー試合中のJPEG画像からColor Vectorを用いて選手の血中溶存酸素濃度変化の試合中の変化を観測した事例の紹介 (関西学院大学との共同研究)
  5. 第5章 アルゴリズムの原理
    1. FIFOアルゴリズム
      1. FIFO
      2. 高速移動平均
      3. 矩形波相関法
    2. 基底遷移アルゴリズム
      1. 放物線補間と3軸加速度検出やノイズ除去
      2. 放物面補間 (輝度分布中心の推定)
      3. 線スペクトルとDCオフセットノイズ除去
      4. 適応フィルタ
      5. デコンボリューション (逆畳み込み演算)
      6. 2次元ポイントクラウド⇒円の中心座標⇒半径
      7. 3次元ポイントクラウド⇒円の中心座標⇒半径
      8. 3次元ポイントクラウド⇒球の中心座標⇒半径
    3. 最小2乗法
      1. 放物線補間
      2. 放物面補間
      3. 2Dデータのマッチング
      4. 1Dデータのマッチング
  6. 第6章 3次元グラフィックスの基礎知識
    1. 3D-CGモデル
    2. ポリゴン描画
    3. 透視変換と光源計算
    4. Kinect Fusionと光源計算
    5. 光源計算
    6. Bone
    7. Boneと物理演算
  7. 付録
    • 付録1: 赤外線ハンドモーションセンサ
    • 付録2: カメラで回転角度を検出する方法
    • 付録3: Webカメラで心拍センシング
    • Appendix D 『Mixed RealityとHololens』
    • Appendix E 『Leap Motion』

留意事項

  • 第5章以降はテキストに含まれますが時間の関係で割愛いたします。

講師

  • 上田 智章
    株式会社フォスメガ
    代表取締役社長

主催

お支払い方法、キャンセルの可否は、必ずお申し込み前にご確認をお願いいたします。

お問い合わせ

本セミナーに関するお問い合わせは tech-seminar.jpのお問い合わせからお願いいたします。
(主催者への直接のお問い合わせはご遠慮くださいませ。)

受講料

1名様
: 47,000円 (税別) / 51,700円 (税込)
1口
: 59,000円 (税別) / 64,900円 (税込) (3名まで受講可)

ライブ配信セミナーについて

  • 本セミナーは「Zoom」を使ったライブ配信セミナーとなります。
  • お申し込み前に、 視聴環境テストミーティングへの参加手順 をご確認いただき、 テストミーティング にて動作確認をお願いいたします。
  • 開催日前に、接続先URL、ミーティングID​、パスワードを別途ご連絡いたします。
  • セミナー開催日時に、視聴サイトにログインしていただき、ご視聴ください。
  • ご自宅への書類送付を希望の方は、通信欄にご住所・宛先などをご記入ください。
  • タブレットやスマートフォンでも受講可能ですが、機能が制限される場合があります。
  • ご視聴は、お申込み者様ご自身での視聴のみに限らせていただきます。不特定多数でご覧いただくことはご遠慮下さい。
  • 講義の録音、録画などの行為や、権利者の許可なくテキスト資料、講演データの複製、転用、販売などの二次利用することを固く禁じます。
  • Zoomのグループにパスワードを設定しています。お申込者以外の参加を防ぐため、パスワードを外部に漏洩しないでください。
    万が一、部外者が侵入した場合は管理者側で部外者の退出あるいはセミナーを終了いたします。
本セミナーは終了いたしました。

これから開催される関連セミナー

開始日時 会場 開催方法
2021/6/22 AI画像認識システムの基礎と応用 オンライン
2021/6/24 自動車の自動運転におけるLiDARを用いた移動物体認識技術とその応用 オンライン
2021/6/25 スマートテキスタイルの要素技術と国内外の最新動向・今後の展望 オンライン
2021/6/29 画像認識技術およびディープラーニングの基礎と外観検査への応用 オンライン
2021/6/29 撮像新時代CMOSディジタルイメージング、その機能進化の最新技術動向 オンライン
2021/6/30 産業用ロボットの最新技術と市場・規格動向及び導入におけるポイント オンライン
2021/7/6 深層学習による画像認識とその判断根拠の可視化 (視覚的説明) オンライン
2021/7/6 外観検査の自動化技術と運用ノウハウ オンライン
2021/7/7 ディジタル信号による統計的信号処理の基本原理の理解と応用 オンライン
2021/7/7 生体信号計測、生体センサ技術の基礎と応用 オンライン
2021/7/12 距離画像センサの測距原理と3Dセンサの応用 オンライン
2021/7/15 ウイルスセンサの最新開発事例 オンライン
2021/7/16 Transformerの基礎と最新応用動向 オンライン
2021/7/19 1日で分かるVisual SLAMの基礎 オンライン
2021/7/20 Pythonで始めるコンピュータビジョン (CV) 技術の超入門 オンライン
2021/7/27 産業界におけるAI技術を用いた制御・診断手法と応用事例解説 オンライン
2021/7/28 生体データ活用製品・サービス開発のための生体計測・信号処理と生体情報解析・データマイニングのコツ オンライン
2021/7/28 グラフニューラルネットワーク入門 オンライン
2021/7/29 医師が必要とした生活習慣 (Life Style) ・生体情報データとモニタリングデバイス オンライン
2021/8/2 自己位置推定・マッピングの最新技術動向 (カメラ, IMU, 無線) オンライン

関連する出版物

発行年月
2020/10/21 AR/VR/MRマイクロディスプレイ世界の最新業界レポート
2019/1/31 センサフュージョン技術の開発と応用事例
2018/5/31 最先端医療機器の病院への普及展望と今後の製品開発
2017/6/30 生体情報センシングとヘルスケアへの最新応用
2015/8/17 防犯・監視カメラ〔2015年版〕 技術開発実態分析調査報告書 (CD-ROM版)
2015/8/17 防犯・監視カメラ〔2015年版〕 技術開発実態分析調査報告書
2014/6/30 マイクロセンサ 技術開発実態分析調査報告書(CD-ROM版)
2014/3/7 画像処理・画像符号化・画像評価法
2013/9/15 カプセル内視鏡 技術開発実態分析調査報告書
2013/9/15 カプセル内視鏡 技術開発実態分析調査報告書 (CD-ROM版)
2013/8/2 HLAC特徴を用いた学習型汎用認識
2013/6/21 機械学習によるパターン識別と画像認識への応用
2013/6/1 画像診断機器(磁気共鳴) 技術開発実態分析調査報告書 (CD-ROM版)
2013/6/1 画像診断機器(磁気共鳴) 技術開発実態分析調査報告書
2013/3/29 3次元物体認識手法とその応用 (カラー版)
2013/1/30 圧力センサ 技術開発実態分析調査報告書 (CD-ROM版)
2013/1/30 圧力センサ 技術開発実態分析調査報告書
2012/10/25 電子写真装置の定着技術 技術開発実態分析調査報告書
2012/10/25 電子写真装置の定着技術 技術開発実態分析調査報告書 (CD-ROM版)
2012/6/20 画像復元・超解像技術の基礎と応用