技術セミナー・研修・出版・書籍・通信教育・eラーニング・講師派遣の テックセミナー ジェーピー

深層強化学習の基本・最新アルゴリズムと応用

深層学習のさらに先にある、『深層強化学習手法』

深層強化学習の基本・最新アルゴリズムと応用

～応用できる、実務に活かせる目線で、重要ポイントを理解・習得する講座～
東京都 開催 会場 開催 デモ付き
関連するセミナー・出版物
本セミナーは終了いたしました。
セミナーの再開催を依頼する 関連するセミナー・出版物を探す

概要

本セミナーは、強化学習の基礎から解説し、深層強化学習について例題と動画、デモを通してわかりやすく解説いたします。

開催日

  • 2018年3月30日(金) 10時30分 ～ 16時30分

修得知識

  • 強化学習の基本原理と要素技術の基本知識
  • 深層学習の基本原理と要素技術の基本知識
  • 深層強化学習の基本原理と応用に関する知見
  • 最先端最適化技術の可能性と問題点についての知見

プログラム

　2016年、世界トップのプロ囲碁棋士に見事に勝利したAlphaGoの出現により、日本を含め世界中でAIに対する期待が高まっています。また昨年、AlphaGoのシリーズにAlphaGo Zero とAlphaZeroが現れ、人間の経験を使用せずscratchから強くなるという典型的な強化学習手法が学術産業界から一層注目を集めています。AIの研究や将来のビジネスチャンスを踏まえたAIの応用を真剣に検討されている方々にとっては、深層学習の先にある「深層強化学習手法」の基本原理をしっかり理解することがマストといえるでしょう。しかし現状としては、深層強化学習手法をわかりやすく説明している資料はなかなか見当たりません。
　本セミナーはこのような現状を踏まえ、深層強化学習の基本と応用において下記をポイントに講義の内容を構成しました。

  • 【1】最も基本となる強化学習の中核アルゴリズムについて、例題と「動画」を通して、アルゴリズムのコードを砕きながらなるべくわかりやすく説明します。
  • 【2】強化学習と深層学習の架け橋となる関数近似器の説明について工夫を加えます。難解といわれる「深層強化学習」をよりわかり易く理解するために、まず「簡易型の線形回帰近似モデル」を応用した強化学習手法について簡易デモなどを用いてわかりやすく説明します。これによりニューラルネットワーク近似モデルを使用する深層強化学習への理解が更に深まることを期待します。
  • 【3】深層強化学習はニューラルネットワークに適した新しいアルゴリズムが近年、多数提案され、従来の強化学習手法より著しく向上した学習結果が得られています。本セミナーは最新深層強化学習アルゴリズムの理論土台になる確率方策勾配と決定的方策勾配法の違いを徹底的に分析し、簡易モデルを通してわかりやすく説明します。
  • 【4】担当講師の実際の研究内容を踏まえ、現場での深層強化学習の応用ノウハウと経験を解説し、受講者の皆様がすぐ役立つスキルを持ち帰ることができるよう内容を準備します。

　これまで、延120人に深層強化学習を含めた強化学習の入門講義を実践した経験を元に、様々な背景を持つ受講者のみなさんにとって「どこが難しく感じるのか」あるいは「どこをもっと説明してほしいのか」を配慮。目的に合わせて、理解しやすく、実際に役立てられるように講義内容の難易度を調整しています。本セミナーを通して、現在、話題の深層学習の先にある「深層強化学習」の基本知識と応用情報を入手し、是非、研究やビジネスに活用して頂ければ幸いです。

  1. 第1部 はじめに
    1. 強化学習の基本概念
    2. 強化学習・深層学習および深層強化学習の特徴と違い
    3. 深層強化学習により可能となること
    4. 強化学習における探索と利用のジレンマ
    5. 多腕バンディット問題の解法をわかりやすく説明
      • Epsilon-greedy
      • 最適初期値設定法
      • UCB1
      • Bayesian/Thompson 法の詳細
    6. 簡易デモ (python) :Gridworld (上記4種類解法の実行:直感的に理解する)
  2. 第2部 基本概念:マルコフ決定過程 (MDP) の基本原理のポイント
    1. マルコフ性とは
    2. 平均という簡単な概念からMDPを学ぶ
    3. MDPの定義と式の導き方
    4. 状態遷移確率と行動確率の違い
    5. 価値関数V (s) と状態行動価値関数[Q (s,a) ]の定義
    6. 簡易演習デモ (python) 1:Gridworld (式を理解するために)
    7. 最適状態価値関数V_* (s) のポイント
    8. 最適状態行動価値関数Q_* (s,a) のポイント
    9. 簡易デモ (python) 2:Gridworld (式を理解する)
    10. ディスカッション:最適性と近似性について
  3. 第3部 中核:強化学習におけるMDP問題の解法
    1. 動的計画法の解説と入門
      • 最適な方策の探索手法をわかりやすく説明
      • 方策反復法による最適状態価値関数を求める
      • 価値反復法による最適状態価値関数を求める
      • 簡易デモ (python) :Gridworld (4種類解法の実行と結果比較:概念を理解する)
    2. Monte-Carlo (MC) 法をわかりやすく解説
      • モデル法とモデルフリー法のちがい
      • MC法による最適状態行動価値関数Q (s,a) の求め方とポイント
      • 簡易デモ (python) :Gridworld (2種類MC法の実行と比較:概念を理解する)
    3. TD学習手法のポイントと入門
      • SARSA法の説明と式の導きかた
      • Q-学習法の説明と式の導きかた
      • On-PolicyとOff – Policyを詳しく説明
      • 簡易デモ (python) :Gridworld (3種類TD法の実行と比較:概念を理解する)
  4. 第4部 拡張:強化学習における関数近似手法とは (入門編)
    1. Tabular法 (表形式手法) と近似解法のちがい
    2. 回帰モデルと誤差関数をあらためて復習
    3. 最急降下勾配法とMC法との関連性をわかりやすく説明
    4. 疑似勾配 (Semi-Gradient) とは
    5. 簡単な線形回帰モデルに基いたMC法による状態価値関数V (s,θ) を求める
    6. 簡単な非線形回帰モデルに基いたTD (0) 法によるV (s,θ) を求める
    7. 簡単な非線形回帰モデルに基いたSARSA法によるV (s,θ) を求める
    8. 簡易デモ (python) :Gridworld (回帰近似MDP解法の実行:直感的理解)
  5. 第5部 最前線:深層強化学習の基本概念と最重要ポイント
    1. 簡易型ニューラルネットワークを応用したQ-学習手法の説明
    2. 深層Q-学習 (DQN) の基本ポイント
    3. 連続動作空間における強化学習のポイント
    4. 方策勾配法の基本と式の導き方
    5. ガウシアン型行動確率分布の導入
    6. 方策勾配法による連続動作空間における強化学習の簡易説明
    7. 深層Actor-Critic法の基本と実行のコツ
    8. 確率方策勾配法と決定的方策勾配の比較
    9. 決定的方策勾配DDPGの長所と短所について分析
    10. 簡易実演デモ (python) : Mountain car, Cartpole, Atariなど (概念の理解)
  6. 第6部 応用:強化学習と深層強化学習の応用事例
    1. 蓄電池充放電制御における強化学習の応用事例
    2. 混合整数計画問題における深層強化学習応用事例
    3. PID制御素子における強化学習の応用事例
    • 全体のまとめと質疑応答・名刺交換
ページのトップヘ

講師

  • 曽我部 東馬 氏
    電気通信大学 i-パワードエネルギーシステム研究センター 基盤理工学専攻
    教授
ページのトップヘ

会場

東京流通センター

2F 第5会議室

東京都 大田区 平和島6-1-1
東京流通センターの地図
ページのトップヘ

主催

サイエンス＆テクノロジー 株式会社
お支払い方法、キャンセルの可否は、必ずお申し込み前にご確認をお願いいたします。

お問い合わせ

本セミナーに関するお問い合わせは tech-seminar.jpのお問い合わせからお願いいたします。
(主催者への直接のお問い合わせはご遠慮くださいませ。)

受講料

1名様
: 42,750円 (税別) / 46,170円 (税込)
複数名
: 22,500円 (税別) / 24,300円 (税込)

複数名同時受講の割引特典について

  • 2名様以上でお申込みの場合、
    1名あたり 22,500円(税別) / 24,300円(税込) で受講いただけます。
    • 1名様でお申し込みの場合 : 1名で 42,750円(税別) / 46,170円(税込)
    • 2名様でお申し込みの場合 : 2名で 45,000円(税別) / 48,600円(税込)
    • 3名様でお申し込みの場合 : 3名で 67,500円(税別) / 72,900円(税込)
  • 同一法人内 (グループ会社でも可) による複数名同時申込みのみ適用いたします。
  • 受講券、請求書は、代表者にご郵送いたします。
  • 請求書および領収書は1名様ごとに発行可能です。
    申込みフォームの通信欄に「請求書1名ごと発行」と記入ください。
  • 他の割引は併用できません。
本セミナーは終了いたしました。
セミナーの再開催を依頼する
ページのトップヘ

これから開催される関連セミナー

開始日時 会場 開催方法
2026/6/10 ChatGPTを活用したPythonプログラミングの進め方 オンライン
2026/6/12 生成AIを活用したデータ分析の基礎と利用のポイント オンライン
2026/6/12 分子シミュレーションの基礎と高分子材料の研究・開発の効率化への展開 オンライン
2026/6/15 ExcelデータをPythonで活かすデータ解析 オンライン
2026/6/16 Pythonによるデータ解析の基礎と実務への応用 オンライン
2026/6/17 撹拌プロセス設計で必要な化学工学計算と操作条件最適化への活用 オンライン
2026/6/19 実機データでつくるAI制御モデル オンライン
2026/6/19 マテリアルズインフォマティクスのためのデータ解析 オンライン
2026/6/19 ChatGPTを活用したPythonプログラミングの進め方 オンライン
2026/6/22 サロゲートモデルの基礎と製品設計効率化への応用 オンライン
2026/6/23 AI性能を最大化するための設計・評価・改善手法 オンライン
2026/6/23 サロゲートモデルの基礎と製品設計効率化への応用 オンライン
2026/6/23 生成AIの平均的な正解を超えるテキスト分析 オンライン
2026/6/23 機械学習を用いた流体力学現象の予測とモデリング オンライン
2026/6/24 AI性能を最大化するための設計・評価・改善手法 オンライン
2026/6/24 Pythonで始める実験データ解析と機械学習入門 オンライン
2026/6/24 生成AI時代のPythonデータ分析 オンライン
2026/6/25 Pythonで始める実験データ解析と機械学習入門 オンライン
2026/6/25 生成AI時代のPythonデータ分析 オンライン
2026/6/25 少数・不揃いな計測データの機械学習とモデル設計 オンライン
ページのトップヘ