各種3Dセンサの動作原理、構成要素の役割、測定制約条件、応用に適した用途などをデモを行いながら、説明を行うとともに、応用事例についても紹介を行う。更に周囲画素の相関性を用いて情報を抽出するHyper Sense手法とその応用、特に生体計測関連について説明を行う。

1. 3Dセンサとは? 【イントロダクション編】
   1. 可視光RGB画像、赤外線IR画像、サーマル画像、デプス画像の例
   2. 各画像と撮像波長
   3. 太陽光スペクトルについて
   4. 黒体輻射スペクトルとサーマル画像
   5. デプス画像の種類 (モノクロ、C – LUT、点群、3Dメッシュ)
   6. 2Dデプスデータと3Dデータの違いとデプス値の定義
   7. 有力な測距アルゴリズムの概要紹介
      1. Stereoカメラ
      2. Structured Light方式
      3. Time of Flight方式 (Direct ToF、Indirect ToF)
      4. 拡散反射光の性質を利用する方式 (Infrared Depth)
      5. 撮像レンズの屈折が波長によって異なることを利用する方式
      6. PTAM (Points Tracking and Mapping) 、SLAM、Photogrammetry
      7. 次世代AI推定
   8. デプスカメラの応用分野
   9. 主な低価格市販デプスカメラ
   10. 付録A 3Dコンピュータグラフィックスの必要な基礎知識
       • カラー・ルックアップテーブル
       • 直線描画
       • ポリゴンフィル
       • 透視変換
       • グローシェーディング、フォンシェーディングによる陰影付け
       • テクスチャー・マッピング
       • 座標回転
2. Time of Flight測距原理編 【3Dカメラの動作原理 (前編) 】
   1. マルチビーム方式LiDAR (iPhone LiDAR) 64*9=576
      1. LiDARの基本動作原理 (ToF:Time of Flight)
      2. Indirect ToF方式
      3. Direct ToF方式
      4. メカニカルスキャン方式LiDARとその弱点
      5. マルチビーム方式LiDAR
      6. VCSELアレイ (Lumentum社)
         1. EELとVCSELの違い
         2. 分布ブラッグ反射器
         3. ヒトの視細胞にもある分布ブラッグ反射器
         4. 通常のレーザーダイオードとVCSELの特性の違い
         5. Lumentum社のVCSEL構造
         6. 酸化膜の孔径と電流制限抵抗 (並列駆動の仕組み)
         7. Lumentum社 VCSEL arrayの4相駆動
         8. チップ底面のカソード実装方法
         9. 並列定電流駆動回路
      7. VCSELアレイマルチビーム用短焦点組レンズ
         1. レーザーダイオードと短焦点レンズ
         2. 組レンズによるマルチビーム化
      8. 回折格子 (DoE)
      9. SPADイメージセンサ
         1. ヒトの視覚
         2. イメージセンサのデバイス構造の変遷
         3. SPADとは (アバランシェ・ダイオードによるフォトンカウントモード)
         4. SPADイメージセンサのデバイス構造
      10. 次世代光学フィルタ (MEMS光学フィルタ)
      11. iPhone LiDARの構造
      12. PLL Syncopation技術によるToFカウンタの高速化
      13. 通信容量の法則を用いた距離分解能の改善方法
   2. Time of Flight (Indirect ToF) 〜光パルスの往復時間または位相遅れを利用する
      1. 測定方法の概要
      2. 太陽光スペクトル (環境光オフセットの主要成分)
      3. Eye Saftyによる照明光の制限
      4. ToF方式
      5. Direct ToF方式の限界
      6. Indirect ToF方式
      7. パルス駆動とToF方式
      8. ToFノイズの要因分析
      9. 4つのノイズ要因
      10. Indirect ToFの米国特許
      11. 距離分解能の改善方法について
   3. Infrared Depth (Indirect ToF研究から生まれた方式)
      1. 拡散反射光の性質を利用した測距アルゴリズム (Infrared Depth)
      2. 環境光、拡散反射、鏡面反射
      3. 光源指向性、距離減衰、吸光度、拡散反射
      4. 吸光度はToFで機械学習
      5. 吸光度をRGB画像から実測する方法
      6. 可視光でも行える拡散反射光逆問題
   4. カラー開口フィルタ (東芝⇒JDI)
      1. カラー開口フィルタの特徴と動作原理
      2. 透過液晶パネルを用いる方法
   5. 光源指向性パターンを利用した測距法〜多数の画素情報を用いて高精度に測距を行うマルチ光源パターン法
      1. Webカメラと懐中電灯で測距
      2. ドーナッツパターンで行うロバストな測距
   6. 単カメラによる自己位置推定による3D化…自己位置推定と環境地図作成を同時に行う
      1. カメラ位置の違いから特徴点/テクスチャのマッチングを利用
      2. PTAM (Parallel Tracking and Mapping)
      3. SLAM (Simultaneous Localization and Mapping)
      4. 自己位置推定用シートマーカーを用いる方法 (Qlone)
      5. 慣性測定ユニット (IMU) を用いたPhotogrametry法
   7. 機械学習により静止画から3D顔モデルを再構成する cvl – demos.cs.nott.ac.uk/vrn/
   8. Make3D (視覚処理の模倣)
   9. 次世代AIによる3Dモデリングとスケール補正
3. 3Dセンサの応用事例紹介〜デモや動画、PowerPoint等で説明
   • 付録B 3Dセンサの応用事例紹介
   • 付録C デモで使用したHyperSense (最小二乗法) の数式導出説明