性格、感情、認知状態、社会的コミュニケーションスキルといった人間の内面は、行動・言語といったマルチモーダル情報として観測されることが社会学・心理学・認知科学等の知見として得られている。 マルチモーダル情報より多様な内面状態を推定・生成する技術は「社会的信号処理 (Social Signal Processing) 」と呼ばれている。
　本講義では社会的信号処理の根幹となる、カメラ・マイク・生体センサといった複数のセンサから取得されるマルチモーダル時系列データより、多様な人間の内面状態を自動推定するためのマルチモーダル情報処理・機械学習技術を体系的に解説する。また社会的信号処理の応用として、「対話中の感情認識」、「プレゼンテーション・対人コミュニケーションスキルの推定」、「運転行動情報に基づく認知機能の推定」、「日常行動計測に基づく認知症傾向の推定」、「マルチモーダル対話ロボット」といった幅広い事例を紹介する。

1. マルチモーダル社会的信号処理の導入
2. マルチモーダル社会的信号処理のための理論
   1. 社会言語学の知見
   2. 社会心理学の知見
   3. 社会的信号処理に用いるマルチモーダル情報処理のための基礎
      1. 音声情報処理
      2. 画像情報処理
      3. 言語情報処理
      4. 生体情報,その他のセンサ情報処理
   4. 社会的信号処理のためのAI技術
      1. 機械学習
         1. 分類・回帰学習
         2. 時系列データの学習
         3. マルチモーダル情報の統合手法
         4. マルチモーダル機械学習
      2. データマイニング
         1. 時系列データからのパターン発見
         2. 時系列パターンのクラスタリング
   5. 社会的信号処理モデルの構築方法
      1. データコーパスの収集
      2. 心理学の知見を利用した正解ラベルデータの作成方法
      3. 入力モダリティの選定
      4. マルチモーダル特徴量の抽出
      5. マルチモーダル情報の機械学習・評価
   6. 社会的信号処理の応用実例
      1. マルチメディアコンテンツ解析
      2. マルチモーダル感情認識
      3. コミュニケーション・プレゼンテーション能力の推定
      4. 運転行動データに基づく認知機能の推定
      5. 行動情報に基づくストレス推定
      6. 行動データに基づく認知症傾向の推定
      7. マルチモーダル会話ロボット
      8. ユーザの内的状態推定に基づくロボットの会話戦略
      9. ユーザの面接対話スキル判定機能を備えた就職面接訓練エージェントシステム
3. 社会的信号処理・マルチモーダル情報処理の課題