DQN (コンピュータ)
開発元のDeepMind社は2011年に設立され、2014年にGoogleによって5億ドルで買収された人工知能 (AI)関連のベンチャー企業で、買収後Google傘下でAtari 2600のゲームをプレイさせ、AI開発を続けた。
doi:10.1038/nature14236. PMID 25719670.
↑ Bernhard Schölkopf (February 2015). “Learning to see and act”. Nature 518 (7540): 486–487. doi:10.1038/518486a. PMID 25719660.
↑ Katsunari Shibata and Tomohiko Kawano (2009) “Learning of Action Generation from Raw Camera Images in a Real-World-like Environment by Simple Coupling of Reinforcement Learning and a Neural Network”, Advances in Neuro-Information Processing (Proc. of ICONIP’08), Lecture Notes in Computer Science, Vol. 5506, pp. 755-762, 200
↑ 柴田克成, 岡部洋一, 伊藤宏司 (2001) “ニューラルネットワークを用いたDirect-Vision-Based強化学習 -センサからモータまで-”, 計測自動制御学会論文集, Vol.
深層学習(畳み込みニューラルネットワーク)と強化学習(Q学習)を組み合わせたアルゴリズムであるDQNで学習したエージェントは、ゲームのルールを教えていない場合でも、どのように操作すれば高得点を目指すことができるのかを判断することができる。この際に、今までの経験をもとにトレーニングを行う「experience replay」と呼ばれるアルゴリズムが大きく貢献していることが分かった。
あるプログラムはAtari 2600の49種類のゲーム中43種類で従来の人工知能による得点を上回り、29のゲームではプロゲーマーと同等またはそれ以上のパフォーマンスを見せた。特にブロック崩しでは、400回プレイするとボールの取りこぼしがなくなり、600回のプレイの後には次々と攻略法を生み出し、高得点を取るようになった。またもっとも上達したピンボールでは人間の25倍のスコアを取った。
これらの研究成果は、Nature電子版に、2015年2月26日付で掲載された。
なお、2008年の時点で、日本の別のグループが、実ロボット (AIBO)の行動学習タスクにおいて、画像入力の5層全結合ニューラルネットワークを用いた強化学習 (Q学習)をすでに使っている。また、2001年の時点には、画像入力の多層全結合ニューラルネットワークを用いた強化学習 (Actor Critic)を使って、シミュレーション上でロボットの行動学習をさせている。