第1部 脳機能計測に基づくマルチモーダル感覚情報処理の基礎

(2016年11月14日 10:00〜11:20)

　近年、人間の脳を非侵襲に計測する技術の発展に伴って、未知の脳機能に迫ることが可能になってきた。
　本講座の前半においては、脳の基礎知識を説明した上で、最先端の脳計測技術の特徴や選び方を解説する。
　後半においては、マルチモーダル感覚情報処理の基礎知識、およびこれらの技術によって明らかになった最新知見を解説する。

1. 脳の基礎知識
   1. 脳の概要
   2. 脳の機能と構造
   3. 神経細胞の機能と構造
2. 脳計測技術
   1. EEG (脳波)
   2. MEG (脳磁図)
   3. fMRI (機能的磁気共鳴画像法)
   4. NIRS (近赤外分光法)
   5. その他の技術
   6. 脳計測技術の比較と選び方
3. マルチモーダル感覚情報処理
   1. マルチモーダル処理の神経基盤
   2. マルチモーダル処理の原則
   3. マルチモーダル処理の計測方法
   4. 複数感覚刺激の変化に対するマルチモーダル処理
   5. 特殊環境下におけるマルチモーダル処理
   6. マルチモーダルな脳情報の解読
   7. 今後の展望
• 質疑応答

第2部 ディープラーニングによるマルチモーダル学習とロボット学習への応用

(2016年11月14日 11:30〜12:50)

　本講座では、現在、画像・音声・言語処理の研究領域で大きな関心を集めている「ディープラーニング」の手法について、その歴史と各種の学習アルゴリズムを概説します。
　その後、マルチモーダル学習、さらにロボットの環境認識と行動学習への応用事例として、我々の研究例を具体的に紹介します。
　最後に、リカレントニューラルネットへの展開等、将来の研究動向を議論します。

1. 様々な深層学習モデル
   1. Autoencoder
   2. Convolution Neural Network
2. 深層学習のライブラリ
   1. Tensorflow, Caffe,Chainerなどの概要
3. 実例:講演者の研究室での事例紹介
   1. マルチモーダル学習事例
   2. ロボットの行動学習
4. RNNを用いたSeq2Seq学習
   1. 対話
   2. ロボットの言語と運動の統合学習
5. 今後の展望
• 質疑応答

第3部 感覚間相互作用メカニズムと 視覚・体性感覚同時提示デバイスの開発

(2016年11月14日 13:30〜14:50)

1. 人間の認知メカニズム
   1. 人間の認知モデル:感覚・知覚・認知
   2. 五感インタフェース技術と応用事例
      1. 五感インタフェース
      2. マルチモーダルインタフェース
2. 感覚間相互作用と応用事例
   1. 感覚間相互作用とは
   2. 感覚間相互作用のインタフェースへの利用
3. メタフィジカルインタフェース技術と応用事例
   1. 情動インタフェース技術
      1. 情動のメカニズム:自己知覚と情動
      2. 情動のメカニズムのインタフェースへの利用
         1. 感覚間相互作用を利用した自己知覚の変化に基づく情動喚起
         2. 情動喚起に基づくコミュニケーション拡張
         3. 情動喚起に基づくゲーム難易度操作
   2. 能力拡張インタフェース技術と応用事例
      1. 認知バイアスと行動
      2. 認知バイアスの能力拡張インタフェースへの利用
         1. 物体知覚の操作による持久力拡張
         2. 時計に対する先入観の逆利用による作業効率向上
• 質疑応答

第4部 視触覚を主としたクロスモーダルの研究事例と押下・凹凸感呈示端末への応用

(2016年11月14日 15:00〜16:20)

　本講演では、これまでに自身が実施した研究を中心に、クロスモーダルに関係する研究の具体的事例をご紹介いたします。
　複数の感覚情報を同時呈示することで起きるインタラクションは、人間の知覚情報処理の過程を知る上で非常に重要な知見であるとともに、たとえば機械的制御の困難な触覚刺激を一定にしたままでも同時呈示する視覚刺激を変えることで、異なる触知覚を与えられるなどの応用的利点があります。そのため、バーチャルリアリティやユーザインタフェースの分野からも注目されています。
　本講演では特に視触覚のインタラクションを中心に、触圧覚や質感知覚での基礎的研究事例やその成果、携帯型端末における押下・凹凸感呈示としての応用検討結果、更なる活用の可能性などに言及します。
　本講演を通じて、これまで実現できなかったような新たなシステムを開発するきっかけを提供できればと考えております。

1. 背景
   1. 触覚に関する錯覚現象
   2. クロスモーダルインタラクション
2. 基礎研究事例
   1. 視覚情報が触圧覚に与える影響
   2. 視覚情報が質感知覚に与える影響
3. 応用研究事例:押下・凹凸感を呈示する触覚情報呈示端末
   1. 構造
   2. アプリケーション
   3. 被験者実験による評価
   4. デモによる評価
4. 展望
• 質疑応答