DQN (コンピュータ)

Deep Q-Network（略称:DQN）とは、Googleの子会社ディープマインドが開発した数理モデルである。深層強化学習アルゴリズムを利用したもので、このモデルで学習したエージェントは、一部の電子ゲームにおいて人間以上のスコアを獲得できている。

概要 
深層学習と強化学習(Q学習)を組み合わせたアルゴリズムであるDQNで学習したエージェントは、ゲームのルールを教えていない場合でも、どのように操作すれば高得点を目指すことができるのかを判断することができる。この際に、今までの経験をもとにトレーニングを行う「experience replay」と呼ばれるアルゴリズムが大きく貢献していることが分かった。

あるプログラムはAtari 2600の49種類のゲーム中43種類で従来の人工知能による得点を上回り、29のゲームではプロゲーマーと同等またはそれ以上のパフォーマンスを見せた。特にブロック崩しでは、400回プレイするとボールの取りこぼしがなくなり、600回のプレイの後には次々と攻略法を生み出し、高得点を取るようになった。またもっとも上達したピンボールでは人間の25倍のスコアを取った。

これらの研究成果は、Nature電子版に、2015年2月26日付で掲載された。

なお、2008年の時点で、日本の別のグループが、実ロボット (AIBO)の行動学習タスクにおいて、画像入力の5層全結合ニューラルネットワークを用いた強化学習 (Q学習)をすでに使っている。また、2001年の時点には、画像入力の多層全結合ニューラルネットワークを用いた強化学習 (Actor Critic)を使って、シミュレーション上でロボットの行動学習をさせている。

開発 
開発元のディープマインド社は2011年に設立され、2014年にGoogleによって5億ドルで買収された人工知能 (AI)関連のベンチャー企業で、買収後Google傘下でAtari 2600のゲームをプレイさせ、AI開発を続けた。

弱点 
DQNを用いて学習したプログラムは、従来の人工知能とは違い、ゲームのルールをあらかじめ教わることなく全てランダムで操作を行った。そのため、パックマン風のゲーム（ミズ・パックマン）ではスコアを伸ばせず、数秒先の事でも考えることができないというDQNの弱点が示されている。これは、ランダムな操作では得点を得ることが難しいので、システムが学習できなかったため。

関連項目 
 Google
 AlphaGo - DeepMindが開発した人工知能。
 人工知能
 DQN（ドキュン） - 粗暴な若者を指す日本のインターネットスラング。日本語圏ではこの人工知能に対して「すごく頭悪そう」「命名事故？」などのコメントが寄せられた。なお、人工知能「DQN」の開発者の一人であるデミス・ハサビスは日本で使われる「DQN」（ドキュン）という語を知っている模様。

脚注・出典

外部リンク 
 Natureに掲載された論文（英語）

人工知能
Googleのソフトウェア