技術セミナー・研修・出版・書籍・通信教育・eラーニング・講師派遣の テックセミナー ジェーピー

逆強化学習・模倣学習の基礎と応用

Zoomを使ったライブ配信セミナー

逆強化学習・模倣学習の基礎と応用

オンライン 開催

開催日

  • 2021年3月25日(木) 10時30分 16時30分

修得知識

  • 逆強化学習の問題設定
  • マルコフ決定過程・ベルマン方程式
  • 例題を通じて逆強化学習の実装方法
  • 制御分野と機械学習の共通部分
  • 逆強化学習の事例
  • 逆強化学習の応用範囲

プログラム

 逆強化学習は統計を基盤とした機械学習と最適制御の学際領域を担う、近年発達著しい研究領域である。強化学習が「成功」と「失敗」の繰り返しの経験から、ロボットに最適な動作を自律獲得させる学習の仕組みであるのに対し、逆強化学習は、明文化が難しい熟練者の巧みなスキルを機械に自律獲得させる、見まねを通じた学習の枠組みになっている。
 熟練者のうまみ=「報酬」を、観察に基づき推定する枠組みとみなせるため、逆強化学習は、強化学習の逆問題に相当するものである。そのため逆強化学習は模倣学習と呼ばれるほか、逆最適制御とも呼ばれる。
 本セミナーでは、逆強化学習の基盤となる数理的な問題設定の基本を説明するとともに、講師の研究室での経験を踏まえ、初学者が陥りがちな課題を整理し、逆強化学習アルゴリズムの実装方法やどのように適用するかに焦点をあて、説明を進めていく。その次に逆強化学習の応用事例を幅広く紹介する予定である。特に強化学習の実応用で問題となる報酬関数の設計など、明文化が難しいスキルの「コツ」といったものをモデル化することに適した技術であり、人行動のモデル化を中心とした話題を提供したいと考えている。例えば状況に応じた運転経路・目的地予測、人と人とのインタラクション行動の予測、運転の好みに応じた追い越し運転予測といった応用などを紹介する予定である。最後に、逆強化学習が抱える課題を共有し、この分野の発展につながればと考えている。

  1. 機械学習・制御における逆強化学習の位置づけ
    1. 機械学習における位置づけ
    2. 最適制御との接点
    3. 逆強化学習の応用分野・従来の時系列データ解析との違い
  2. 機械学習の基礎 (概要)
    1. 識別的な機械学習の一般的な定式化
    2. 正則化付き経験損失最小化
    3. 典型的な識別問題 (分類・回帰) の例
    4. 逆強化学習における問題設定
  3. 時系列データのモデリング : マルコフ決定過程と最適制御
    1. 時系列データモデリング
      • マルコフ過程・動的システム
    2. 報酬と紐付く時系列データモデリング
      • マルコフ決定過程
    3. 報酬関数最大化問題
      • 最適制御
      • 最適政策
    4. ベルマン方程式・価値反復法
  4. 逆強化学習
    1. 逆強化学習の定式化
    2. 逆強化学習の損失関数の設計
    3. 逆強化学習のパラメータ最適化
  5. 逆強化学習の適用
    1. 逆強化学習の実装
    2. 研究事例から学ぶ逆強化学習の適用事例
      1. マルコフ決定過程 (状態空間・行動) の設計の実例
      2. 報酬関数設計の実例
  6. 逆強化学習の最近の話題
    • 逆強化学習の高速化
    • 高次元化
    • 文脈の活用
    • マルチエージェント問題
    • 深層学習との融合
    • 落穂拾い
  7. まとめ

講師

  • 下坂 正倫
    東京工業大学 情報理工学院 情報工学系
    准教授

主催

お支払い方法、キャンセルの可否は、必ずお申し込み前にご確認をお願いいたします。

お問い合わせ

本セミナーに関するお問い合わせは tech-seminar.jpのお問い合わせからお願いいたします。
(主催者への直接のお問い合わせはご遠慮くださいませ。)

受講料

1名様
: 46,000円 (税別) / 50,600円 (税込)
1口
: 57,000円 (税別) / 62,700円 (税込) (3名まで受講可)
本セミナーは終了いたしました。

これから開催される関連セミナー

開始日時 会場 開催方法
2024/4/10 Pythonによる時系列データ分析とその活用 オンライン
2024/4/12 機械学習/Deep Learningの画像データ前処理に活用できる画像フィルタリングの基本と最新動向 オンライン
2024/4/15 ディープラーニングの基礎と実践 オンライン
2024/4/15 少ないデータに対する機械学習、深層学習の適用 オンライン
2024/4/17 ルールベースと機械学習ベースの画像認識技術 オンライン
2024/4/18 生成AIをめぐる著作権問題の最前線 東京都 会場・オンライン
2024/4/19 ディープラーニングの基礎と実践 オンライン
2024/4/19 自然言語処理の基礎と生成AI・大規模言語モデルの研究開発への活用 オンライン
2024/4/24 脳波計測・処理・解析・機械学習の基礎と応用および脳波データの活用方法 オンライン
2024/4/25 カルマンフィルタの実践 オンライン
2024/4/26 少ないデータに対する機械学習、深層学習の適用 オンライン
2024/4/26 AI関連発明の出願戦略のポイントと生成AIを巡る知財制度上の留意点 オンライン
2024/5/2 脳波計測・処理・解析・機械学習の基礎と応用および脳波データの活用方法 オンライン
2024/5/2 自然言語処理の基礎と生成AI・大規模言語モデルの研究開発への活用 オンライン
2024/5/8 AI関連発明の出願戦略のポイントと生成AIを巡る知財制度上の留意点 オンライン
2024/5/17 スパース推定の本質の理解と実装応用技術への展開 オンライン
2024/5/23 ベイズ統計から学ぶ統計的機械学習 オンライン
2024/5/31 マテリアルズインフォマティクスのためのデータ解析 オンライン
2024/6/18 Pythonではじめる機械学習入門講座 オンライン
2024/7/22 画像認識技術入門 オンライン