強化学習
強化学習(きょうかがくしゅう、英: reinforcement learning、RL)は、ある環境内における知的エージェントが、現在の状態を観測し、得られる累積報酬(英語版)を最大化するために、どのような行動(英語版)をとるべきかを決定する機械学習の一分野である。強化学習は、教師あり学習、教師なし学習と並んで、3つの基本的な機械学習パラダイムの一つである。
強化学習が教師あり学習と異なる点は、ラベル付きの入力/出力の組を提示する必要がなく、最適でない行動を明示的に修正する必要もない。その代わり、未知の領域の探索と、現在の知識の活用の間のバランスを見つけることに重点が置かれる。
この文脈の強化学習アルゴリズムの多くは動的計画法を使用するため、この環境は通常マルコフ決定過程(MDP)として定式化される。古典的な動的計画法と強化学習アルゴリズムとの主な違いは、後者はMDPの正確な数学的モデルの知識を必要とせず、正確な方法では実行不可能な大規模MDPを対象にできることである。代表的なアルゴリズムとしてTD学習やQ学習が知られている。
深層強化学習(deep reinforcement learning) (en:英語版) は、ディープニューラルネットワークを使用し、状態空間を明示的に設計することなく、強化学習を拡張するものである。Google DeepMindによってATARIゲームの強化学習が研究されたことで、深層強化学習やエンドツーエンド強化学習が注目されるようになった。
研究テーマを次に列挙する。
アクター・クリティック法
少ないパラメータでも多数の条件下で動作する適応的手法
ソフトウェアプロジェクトにおけるバグ検出
継続的な学習
ロジックベースフレームワークとの組み合わせ
大規模MDPでの探索
人間のフィードバックからの強化学習
スキル獲得における暗黙知と明示知の相互作用
情報探索-好奇心型行動と、タスク依存型-目的指向型行動とを区別する内発的動機付け (人工知能)(英語版)の大規模な経験的評価
大きな(または連続的な)行動空間
モジュール型および階層型な強化学習
マルチエージェント・分散型強化学習は、関心を集めて話題で、応用が拡大している
乗員主体の制御
コンピューティング資源の最適化
部分情報(predictive state representation、POMDP)。たとえば予測的状態表現(英語版)(PSR)を使用する。
新規情報の最大化することに基づく報酬関数
サンプルベースの計画(たとえばモンテカルロ木探索に基づく)
証券取引
転位学習
脳内のドーパミンを利用した学習をモデル化したTD学習。黒質緻密部から大脳基底核へのドーパミン作動性投射は予測誤差である。
価値関数と方策の探索方法
敵対的深層強化学習(adversarial deep reinforcement learning)は、学習された方策の脆弱性(ぜいじゃくせい)に焦点を当てた強化学習の活発な研究分野である。この研究領域では、当初、強化学習方策がわずかな敵対的操作の影響を受けやすいことがいくつかの研究で示されていた。これらの脆弱性を克服するためにいくつか方法が提案されているが、最新の研究では、これらの提案された解決策は、深層強化学習方策の現在の脆弱性を正確に表すには程遠いことが示された。