各種3Dセンサの動作原理、構成要素の役割、測定制約条件、応用に適した用途などをデモを行いながら説明を行うとともに、応用事例についても紹介を行う。更に周囲画素の相関性を用いて情報を抽出するHyper Sense手法とその応用、特に生体計測関連について説明を行う。

1. 3Dセンサとは? (イントロダクション編)
   1. 画素単位に測距を行う機能を有するイメージデバイス
      1. RGB画像, 赤外線画像, サーマル画像, デプス画像の例
      2. 各画像と撮像波長
      3. 太陽光スペクトル
      4. 黒体輻射スペクトル
      5. デプス画像の種類
         • モノクロ
         • C-LUT
         • 点群
         • 3Dメッシュ
      6. 2Dデプスデータと3Dデータの違いとデプス値の定義
   2. デプスカメラの応用分野
   3. 主な低価格市販デプスカメラ
   4. 3Dセンサの応用事例
2. 各種3Dセンサの測距原理 (測距原理編)
   1. マルチビーム方式LiDAR (iPhone LiDAR)
      1. LiDARの基本動作原理 (ToF: Time of Flight)
      2. indirect ToF方式
      3. direct ToF方式
      4. メカニカルスキャン方式LiDARとその弱点
      5. マルチビーム方式LiDAR
      6. VCSELアレイ (Lumentum社)
         1. EELとVCSELの違い
         2. 分布ブラッグ反射器
         3. ヒトの視細胞にもある分布ブラッグ反射器
         4. 通常のレーザーダイオードとVCSELの特性の違い
         5. Lumentum社のVCSEL構造
         6. 酸化膜の孔径と電流制限抵抗 (並列駆動の仕組み)
         7. Lumentum社VCSEL arrayの4相駆動
         8. チップ底面のカソード実装方法
         9. 並列定電流駆動回路
      7. VCSELアレイマルチビーム用短焦点組レンズ
         1. レーザーダイオードと短焦点レンズ
         2. 組レンズによるマルチビーム化
      8. 回折格子 (DoE)
      9. SPADイメージセンサ
         1. ヒトの視覚
         2. イメージセンサのデバイス構造の変遷
         3. SPADとは (アバランシェ・ダイオードによるフォトンカウントモード)
         4. SPADイメージセンサのデバイス構造
      10. 次世代光学フィルタ (MEMS光学フィルタ)
      11. iPhone LiDARの構造
   2. Time of Flight (Indirect ToF)
      1. 光パルスの往復時間または位相遅れを利用する (Time of Flight)
      2. i-ToF方式アルゴリズム
   3. Stereo Matching
      1. ステレオ・マッチング
      2. 特徴点検出で視差を求める
      3. 三角形の相似で測距を行う
   4. Structured Light
      1. 光源と観測位置の座標の違いを利用する (光三角法)
         1. 光切断法
         2. モアレ法
         3. Structured Light固定パターン投影法 (KinectV1, Carmine, iPhone Face ID)
            • ランダムドットパターンの生成
            • 部分相関処理
            • ランダムドットパターンを用いた相関方法 / 高速高分解能カメラで各ドットを追尾するHyper Depth
            • Structured Light時分割パターン法
   5. Infrared Depth
      1. 拡散反射光の性質を利用した測距アルゴリズム (Infrared Depth)
      2. 環境光、拡散反射、鏡面反射
      3. 光源指向性、距離減衰、吸光度、拡散反射
      4. 吸光度はToFで機械学習
      5. 吸光度をRGB画像から実測する方法
   6. マルチカメラによるPhotogrametry
   7. 単カメラによる自己位置推定による3D化
      …自己位置推定と環境地図作成を同時に行う
      1. カメラ位置の違いから特徴点/テクスチャのマッチングを利用
      2. PTAM (Parallel Tracking and Mapping)
      3. SLAM (Simultaneous Localization and Mapping)
      4. 自己位置推定用シートマーカーを用いる方法 (Qlone)
      5. 慣性測定ユニット (IMU) を用いたPhotogrametry
   8. カラー開口フィルタ (東芝⇒JDI)
      1. カラー開口フィルタ
      2. 透過液晶パネルを用いる方法
   9. 機械学習により静止画から3D顔モデルを再構成する
   10. Make3D (視覚処理の模倣)
3. Hyper Sense…数学モデルの未知数をLSMで推定する方法
   • 特殊なカメラを使用せずに、デプスセンシングと非接触生体センシングを行う方式の提案 (CQ出版インターフェース誌5月号記事に関連)
   1. CMOSイメージセンサについて
   2. C.E.Shannonのチャンネル容量の法則
   3. 1増感処理〜近接画素情報を活用してノイズ除去〜
   4. 2マッチング処理〜波長別浸透深度の違いを可視化〜
   5. 色ベクトルとカラーマップ
   6. 色ベクトルとメラニン色素
   7. 血中溶存酸素濃度
   8. ビリルビンと黄疸症状
   9. ウロビリノーゲン
   10. 血糖値
   11. 単眼3Dセンシング
   12. サッカー選手のリモートバイタルセンシング (スポーツ応用)
   13. 単眼3Dセンシングの問題点
   14. ステレオ3Dセンシング
   15. まとめ
4. 心拍・呼吸に関する基礎知識
   1. 心臓の構造と心電図
   2. 呼吸動作と酸素供給の関係
   3. 呼吸と心拍揺らぎの関係
   4. 入浴中の心拍揺らぎと年齢
   5. 心拍・呼吸センシングの原理
   6. カラー画像または赤外線画像からの心拍センシング
   7. デプスデータからの呼吸・心拍センシング
   8. KinectV1での非接触呼吸・心拍センシング
   9. スポット光方式
      • 反射光強度分布を放物面関数で近似して精密測距
   10. マーカー方式
       • 濃度分布関数または円形マーカーを用いた精密測距