技術セミナー・研修・出版・書籍・通信教育・eラーニング・講師派遣の テックセミナー ジェーピー

逆強化学習・模倣学習の基礎と応用

Zoomを使ったライブ配信セミナー

逆強化学習・模倣学習の基礎と応用

オンライン 開催

開催日

  • 2020年9月24日(木) 10時30分 16時30分

修得知識

  • 逆強化学習の問題設定
  • マルコフ決定過程・ベルマン方程式
  • 例題を通じて逆強化学習の実装方法
  • 制御分野と機械学習の共通部分
  • 逆強化学習の事例
  • 逆強化学習の応用範囲

プログラム

 逆強化学習は統計を基盤とした機械学習と最適制御の学際領域を担う、近年発達著しい研究領域である。強化学習が「成功」と「失敗」の繰り返しの経験から、ロボットに最適な動作を自律獲得させる学習の仕組みであるのに対し、逆強化学習は、明文化が難しい熟練者の巧みなスキルを機械に自律獲得させる、見まねを通じた学習の枠組みになっている。
 熟練者のうまみ=「報酬」を、観察に基づき推定する枠組みとみなせるため、逆強化学習は、強化学習の逆問題に相当するものである。そのため逆強化学習は模倣学習と呼ばれるほか、逆最適制御とも呼ばれる。
 本セミナーでは、逆強化学習の基盤となる数理的な問題設定の基本を説明するとともに、講師の研究室での経験を踏まえ、初学者が陥りがちな課題を整理し、逆強化学習アルゴリズムの実装方法やどのように適用するかに焦点をあて、説明を進めていく。その次に逆強化学習の応用事例を幅広く紹介する予定である。特に強化学習の実応用で問題となる報酬関数の設計など、明文化が難しいスキルの「コツ」といったものをモデル化することに適した技術であり、人行動のモデル化を中心とした話題を提供したいと考えている。例えば状況に応じた運転経路・目的地予測、人と人とのインタラクション行動の予測、運転の好みに応じた追い越し運転予測といった応用などを紹介する予定である。最後に、逆強化学習が抱える課題を共有し、この分野の発展につながればと考えている。

  1. 機械学習・制御における逆強化学習の位置づけ
    1. 機械学習における位置づけ
    2. 最適制御との接点
    3. 逆強化学習の応用分野・従来の時系列データ解析との違い
  2. 機械学習の基礎 (概要)
    1. 識別的な機械学習の一般的な定式化
    2. 正則化付き経験損失最小化
    3. 典型的な識別問題 (分類・回帰) の例
    4. 逆強化学習における問題設定
  3. 時系列データのモデリング : マルコフ決定過程と最適制御
    1. 時系列データモデリング
      1. マルコフ過程・動的システム
    2. 報酬と紐付く時系列データモデリング
      1. マルコフ決定過程
    3. 報酬関数最大化問題 : 最適制御・最適政策
    4. ベルマン方程式・価値反復法
  4. 逆強化学習
    1. 逆強化学習の定式化
    2. 逆強化学習の損失関数の設計
    3. 逆強化学習のパラメータ最適化
  5. 逆強化学習の適用
    1. 逆強化学習の実装
    2. 研究事例から学ぶ逆強化学習の適用事例
      1. マルコフ決定過程 (状態空間・行動) の設計の実例
      2. 報酬関数設計の実例
  6. 逆強化学習の最近の話題
    • 逆強化学習の高速化
    • 高次元化
    • 文脈の活用
    • マルチエージェント問題
    • 深層学習との融合
    • 落穂拾い
  7. まとめ

講師

  • 下坂 正倫
    東京工業大学 情報理工学院 情報工学系
    准教授

主催

お支払い方法、キャンセルの可否は、必ずお申し込み前にご確認をお願いいたします。

お問い合わせ

本セミナーに関するお問い合わせは tech-seminar.jpのお問い合わせからお願いいたします。
(主催者への直接のお問い合わせはご遠慮くださいませ。)

受講料

1名様
: 46,000円 (税別) / 50,600円 (税込)
1口
: 57,000円 (税別) / 62,700円 (税込) (3名まで受講可)
本セミナーは終了いたしました。

これから開催される関連セミナー

開始日時 会場 開催方法
2020/9/29 物質・材料研究におけるデータ科学の活用 : 基礎と応用 東京都 会場
2020/9/30 Pythonによるマテリアルズ・インフォマティクスの基礎と実践 東京都 会場
2020/10/2 少ないデータに対する機械学習、深層学習の適用 オンライン
2020/10/6 一日速習 ディープラーニング画像認識ワークショップ オンライン
2020/10/7 ディジタル信号処理によるノイズ・雑音の低減 / 除去技術 オンライン
2020/10/8 AI搭載システムの機能安全規格適合方法 オンライン
2020/10/8 機械学習・テキストマイニングによる特許解析手法とその活用 オンライン
2020/10/8 視覚的注意・視行動分析の情報学的研究の動向 東京都 オンライン
2020/10/9 Pythonを使った時系列データ分析 東京都 会場
2020/10/12 自然言語処理の基礎と活用方法 オンライン
2020/10/12 シアトル最新動向とAIゲームチェンジャー オンライン
2020/10/13 ロボットによる自動化ライン構築のポイントと効果の最大化 オンライン
2020/10/14 時系列データ分析の基礎・モデル化と異常検知・機械学習への応用 東京都 会場
2020/10/14 マテリアル・ケモ・インフォマティクス入門 オンライン
2020/10/15 問診・診療を自動化するAIチャットボット技術と活用の実際 オンライン
2020/10/15 機械学習の基礎と応用が分かる一日速習セミナー オンライン
2020/10/16 AIシステム開発における外注のポイント オンライン
2020/10/19 ディープラーニングの基礎・実践が分かる一日速習セミナー オンライン
2020/10/19 自動運転・運転支援における環境認識技術 オンライン
2020/10/20 自動計画に基づいた組み立てロボットのAI化手法とその実際 会場