第1部 マルチモーダル情報に基づく人間行動・コミュニケーションの理解

(2019年12月6日 10:00〜11:30)

　マルチモーダル情報処理技術は会話ロボットを初めとする人工知能システムのための、インターフェイスを構築する上で重要であり、ユーザの態度推定に基づいて適応的に振る舞うロボットなど、人に寄り添う人工知能の実現に欠かせない。
　本講義では,コミュニケーション中に人が表出する言語・非言語マルチモーダル情報 (言語・音声・視線・姿勢・ジェスチャ・生体情報など) を統合的に処理することによって、その人の行動や感情、態度、個性といった変数を推定する技術に関して解説を行う。また会話ロボット・インタラクティブシステムへの応用に関する最新の研究動向を紹介する。

1. 社会心理・言語学の知見
2. マルチモーダル情報処理モデルの構築方法
   1. データコーパスの収集
   2. 心理学の知見を利用した正解ラベルデータの作成方法
   3. 入力モダリティの選定
   4. マルチモーダル特徴量の抽出
   5. マルチモーダル情報の機械学習・評価
3. マルチモーダル情報処理のための基礎
   1. 音声情報処理
   2. 画像情報処理
   3. 言語情報処理
4. マルチモーダル情報処理のためのAI技術
   1. 機械学習
      1. 分類・回帰学習
      2. マルチモーダル情報の統合手法
      3. マルチモーダル機械学習
5. マルチモーダル情報処理の応用実例
   1. マルチメディアコンテンツ解析
   2. 会話理解
   3. コミュニケーション能力の推定
   4. 行動情報に基づくストレス推定
6. マルチモーダル情報処理の知能ロボットへの応用
   1. マルチモーダル会話ロボット
   2. ユーザの内的状態推定に基づくロボットの会話戦略
7. マルチモーダル情報処理の課題
• 質疑応答

第2部 視触覚を主としたクロスモーダル現象と応用

(2019年12月6日 12:10〜13:40)

　本講演では、これまでの自身の研究を中心に、クロスモーダルに関係する研究の具体的事例をご紹介いたします。
　複数の感覚情報を同時呈示することで起きるインタラクションは、ヒトの知覚情報処理の過程を知る上で非常に重要な知見であるとともに、たとえば機械的制御の困難な触覚刺激を一定にしたままでも、同時呈示する視覚刺激を変えることで、異なる触知覚を与えられるなどの応用的利点があります。そのため、心理学や生理学などヒトの知覚情報処理に関する研究分野にとどまらず、バーチャルリアリティやユーザインタフェースの分野からも強く注目されるようになってきました。
　本講演では特に視触覚のインタラクションを中心に、触圧覚や質感知覚での基礎的研究事例やその成果、携帯型端末における押下・凹凸感呈示としての応用検討結果、更なる活用の可能性などに言及します。
　本講演を通じて、ヒトの情報処理についての知見とともに、これまで実現できなかった新たな情報呈示システムを開発するきっかけをご提供できればと考えております。

1. 背景
   1. 視覚および触覚に関する錯覚現象
   2. クロスモーダルインタラクション
2. 基礎的視点からの研究事例
   1. 日常の傾向に従うクロスモーダル現象
   2. 日常の傾向に反するクロスモーダル現象
3. 応用研究事例
   1. 実利性の高いクロスモーダル研究事例
   2. 押下・凹凸感を呈示する触覚情報呈示端末
4. 展望
• 質疑応答

第3部 脳情報の計測技術とマルチモーダル感覚情報処理の最新知見

(2019年12月6日 13:50〜17:00)

　近年、人間の脳を非侵襲に計測する技術の発展に伴って、未知の脳機能に迫ることが可能になってきた。本講座の前半においては、脳の基礎知識を説明した上で、最先端の脳計測技術の特徴や選び方を解説する。後半においては、マルチモーダル感覚情報処理の基礎知識、およびこれらの技術によって明らかになった最新知見を解説する。

1. 脳の基礎知識
   1. 脳の概要
   2. 脳の機能と構造
   3. 神経細胞の機能と構造
2. 脳計測技術
   1. EEG (脳波)
   2. MEG (脳磁図)
   3. fMRI (機能的磁気共鳴画像法)
   4. NIRS (近赤外分光法)
   5. その他の技術
   6. 脳計測技術の比較と選び方
3. マルチモーダル感覚情報処理
   1. マルチモーダル処理の神経基盤
   2. マルチモーダル処理の原則
   3. マルチモーダル処理の計測方法
   4. 複数感覚刺激の変化に対するマルチモーダル処理
   5. 特殊環境下におけるマルチモーダル処理
   6. マルチモーダルな脳情報の解読
   7. 今後の展望
• 質疑応答