文部科学省科学研究費・新学術領域研究（2016 〜 2020 年度）
人工知能と脳科学の対照と融合

Correspondence and Fusion of Artificial Intelligence and Brain Science

NEWSLETTER

Vol.

2 019.03

計算論的神経科学と人工知能
ATR 脳情報通信総合研究所・所長

現在の人工知能のブームは、脳科学と人工ニューラル

ボット制御などの現実世界の問題

ネットワークが原点です。もともとディープニューラルネット

では、学習用の訓練データが莫

ワークは、福島邦彦先生らの神経回路モデルから出発し、大には取れないことが挙げられま

ノーベル生理学・医学賞を受賞したデイヴィッド・ヒュー

す。高価なロボットを気安く転倒さベル＆トルステン・ウィーゼルの研究（大脳皮質視覚野にせるわけにはいきませんから、上おける情報処理）に基づいていることをご存じの、一般の記の例で、数千万回はおろか、数方は少ないでしょう。このような歴史をきちんと振り返り、な

十回の失敗データを取得すること

ぜ人工知能のために脳科学が必要なのかを知ることは重も、現実的ではないと考えられます。

要です。本新学術領域に参加されている皆さんは、啓蒙活動をする必要と義務があると思います。

5

川人 光男

数十年にわたる人工知能研究は、人間が持っている知能のごく一部の機能を切り出して処理スピードを上げたり、１０年前位までの人工知能に足りなかったビッグデー

容量を大きくしたりすることで、社会の役に立たせるものでタについては、たとえばイメージネットなどの数千万の画した。しかし脳あるいは人間が持っているさまざまな機能

像データを研究者が使えるようになりました。それ以降、は、運動学習、概念形成、シンボル生成、エピソード記憶、

Google、IBM、Intel、Microsoft、Facebook といった

注意、意識などなど、語り尽くせないほどありますが、それ企業が参入し、ビッグデータに頼った統計的推論が爆発

らの殆どの機能に関して今の人工知能では実現できてい的に進展しました。ディープニューラルネットワーク、ディーません。できていないということは、私たちがヒトの知能を

プ Q、英仏翻訳、画像解説、IBM TrueNorth などが注理解していないということを示していて、ダートマス会議で目を浴びています。しかし、このようなディープニューラル

定義された本来の意味の人工知能は、いまだ存在していネットワークを含めた現在の人工知能は、決して万能ではないのです。

ありません。

新学術領域『 人工知能と脳科学の対照と融合 』は、その例として、 今 から４年 前にアメリカの国 防 高 等代表者である沖縄科学技術大学院大学教授の銅谷賢治

研 究 計 画 局（DARPA）が 主 催し DARPA Robotic

さんの計算理論（モデルフリー対モデルベース強化学習）

Challenge（災害救助用のロボット競技大会）が開催されのような脳科学の研究をアルゴリズムとして書き下すことがましたが、そこで出てきたロボットは動いているのか、いなできるなら、脳科学が真の人工知能確立に大きく貢献すいのかわからないくらい動きが遅く、2/3くらいは転倒、転ることでしょう。本領域も2 年が過ぎ着実に成果を挙げて倒しなかったものも恐ろしく、動きが鈍いのです。囲碁だとおり、大きな期待を持って見守っております。

人間が理解できない手まで繰り出す人工知能が、運動制御では圧倒的に人間に劣っているのです。これにはさまざ
まな要因がありますが、１つだけ理由を挙げるとすると、ロ［第 5 回］リレー対談

谷口 忠大
立命館大学 情報理工学部 教授

坂上 雅道
玉川大学 脳科学研究所 教授

谷口 今日は玉川大学からはるばる来ていただいてありがとう

私の同級生がアメリカに逃げたことで、前頭前野を中心に研ございます。

究してた二木先生のために働く人がいなくなっちゃって 「お坂上 滋賀っていうと琵琶湖しか考えてなかったけど、こんな前、前頭前野やれ」って説得されちゃって （笑）。

だだっ広いところにドーンと立命館があるのは、ちょっと驚きで

谷口 本当は、最初は前頭前野やる気じゃなかった。

した （笑）。

坂上 そうそう、前頭前野やるつもりは全然なかったんだけ

谷口 僕は坂上先生とほぼこの新学術から仲良くさせてもらっ

ど、博士課程でやれと説得されて、最初は嫌がってたんだけたみたいなところなんですけど、まだまだこう、坂上先生のこど、結局前頭前野をやることになったんです。ワーキングメモ

れまでの遍歴を知らないんですよ。多分。例えば、学部でのリーっていう概念が 1980 年代後半くらいから出てきて、前頭研究の始まりとか。脳研究されている方って、機械系出身の前野研究も少しずつ脚光を浴びるようになったのは、ラッキー方とか電気系出身の方とかもおられて出自が学際色強い感じでしたが。

がするんですが。

谷口 Prefrontal（ 前頭前野）ですが、僕もまだまだ詳しくな

坂上 私の出身は文学部の心理学で、しかもその時の先生はいんで、素人質問だと思ってほしいんですが、やっぱり人間

二木宏明先生っていってワーキングメモリニューロンを世界でが進化中で皮質、前頭前野を肥大化させたっていう話がある

初めて発見した有名な先生でした。そういう意味では大学 3

わけじゃないですか？ 僕も記号創発ロボティクスで、言語獲年から、完全にニューロサイエンスですね。

得とかやっているわけなんですが、そもそも言語って人間しか谷口 おお、じゃあ一番プロパーな！

持ってないっていう話があるから、動物を使った研究がしにく

坂上 まあそうなりますね （笑）。卒論はニューロンを扱ってないんですけど、ニューロン記録をするためにサルの SameDifferent の概念を行動的に調べていました。サルにも抽象化する概念があるよと。で、その後に、そのニューロン活動を記録したいと思ったんだけど、修士に入ったら 「修士は難し
いことやらずに単純なことをやりましょう」と言われて。
谷口 ほう。修士だから単純なことを？
坂上 修士課程って２年しかないじゃないですか？ まぁ、結局３年かかっちゃったんですけどね （笑）。帯状回っていう脳の場所が海馬に入力を送るいわゆる中継点になってるので、そこがどういう空間情報を持っているかっていうのを調べようと。
いわゆる自己中心座標と外部中心座標の関係性を調べるっ
ていうニューロン活動の記録を、サルを使ってやりましたね。
その後、博士課程に入ってもっと続けようと思ったのですが、

2 NEWSLETTER vol.04

かったりすると思うんですが。
坂上 そういう意味じゃサルが人間に比較的近いということで、
Cortex（皮質）の研究に使いやすいって意味じゃサルを使った研究にメリットはあると思うんですけどね。大脳基底核の機能なんてかなりサルの研究も貢献したんだけど、今になって
マウス、ラット中心になってきた。値段が高くて実験に使いにくいサルを使って、低次な脳機能の研究をやる必要なんかない
じゃないかと。
谷口 なるほど。だからこそサルで Cortex（皮質）研究をしよ
うみたいな。
坂上 本当はもっと我々が頑張って Cortex（皮質）の話をやらなくちゃいけないんだけど、あまりに複雑。そうすると今までのように楽観的な、電極を1 本ずつ刺してニューロンはこう応答するっていうのを見つければ何か話ができるだろうと思うのは、

ちょっと行き詰まり感が出てきた感じはしますよね。そこで、人と、むしろ最初のプロブレム――問いを立てるところに相乗り

工知能のようなモデル研究が引っ張ってくれるときっとやりやすするのが、多分一番大事なんですよね。

いんだろうなと思うんですけど。

坂上 理想的にはその通りだと思うんですよ。実験屋とモデル

谷口 ええ。進んできた人工知能を支えるようなモデルベー

屋が共同で問題設定して、実験データをもとに現状でのモデスの考え方を、いかに実験科学につなげて行くかは、本領ルを立てて、必要な実験的検証をして、モデルをアップデート

域 「人工知能と脳科学」で正に推進しないといけないところして動かしてみる。ただ、モデルを作るにあたって、データのでですよね。人工知能の研究者でもモデルをちゃんと考えて処理の仕方がモデルの質を決める場合がある。モデル屋さん

ない人間もいっぱいいるし、単なる情報処理ツールとしてだけの要請にこたえるためには、私たちにはできない処理があっ見てる人もいっぱいいる。そもそも、モデルって概念自体にかたり、複雑で探索的な処理が必要になる。こういう場合には、

なりスペクトラムというかグラデーションがあるんですよね。ダイ

データ処理もモデル屋さんにお願いするほうが良いと思うんでヤグラムに書いただけみたいな昔の非常にシンプルなモデル

すよね。

から、実際に計算機で動かせるモデルまで。僕の立ち位置では、やっぱり 「動くモデル」というのを大切にしたい。インプリすれば実世界で動くモデル。モデルって色眼鏡だから、その色眼鏡を通して見ることで現象を解釈したり、仮説を立てたりするのが大事だと思うんですね。人工知能の人間と脳科学の人間が一緒にモデルを共有しながら、一緒に研究に取り組むということですよね。
坂上 それをやらないとだめですよね。結局、実験データとそれに基づく理論みたいなものと、インタラクションを非常に近いところで密にやっていかないと。特に実験ってものすごい限定
しなくちゃいけないから。そこのところを離れたところで、誰かの論文を読んだだけで、これに合わせてみたいな話って難し
いし、すごくやりにくいと思う。
谷口 脳科学の実験の人は、実験の大変さを分かってるおられる。でも、構成の方もめちゃめちゃ限定があるんですよ。例
えば、強化学習で試行錯誤してるとロボットはすぐ壊れちゃうから出来ないとか。だから、脳の全体の部位があっても、今構成できる範囲のところを構成するしかないっていうの。それを分かってない実験系の研究者は 「ロボットだったらそう作ったらそう動くんでしょ、人間が作るんだから」みたいなことを言う人がいるんですよね。それは違うぞと。作るっていうのは、場合によったら実験的に理解する以上に Explicit（ 明示的）に理解しないと作れないわけなので大変です。実は人工知能と脳科学の本当のコラボレーション研究っていうのはその交点を見出さないといけない。
坂上 なるほど。
谷口 コラボレーションの仕方みたいなもの自体が、ある意味で科学哲学的にアップデートされる必要があるんじゃないかなと思っているんです。そういう意味では、よく言われるようなコラ
ボレーションのあり方に、実験屋が実験データを出してモデル屋が解析するみたいな分業体制のステレオタイプがあるじゃないですか？ それって 「人工知能と脳科学」については違うのかなと思っていて。それってモデルとデータ処理を混同している気がします。モデルに基づいて脳を理解しようとなる

谷口 やっぱりモデル研究というのを前に進めることが重要なんでしょうね。
坂上 ところで、モデルの話になって、谷口先生と対談ということなら、やっぱり、「構成論」の話は入れないといけない。それがないと玉川に帰れない。
谷口 僕に構成論の話をさせると長くなりますよ （笑）。まず、大切なのは構成論っていう存在が、科学における実証研究のどこに位置づけられるかということ。実は、そこで結構悩んで、鬱々とした時代がありました。実は僕それで科学哲学会に発表しにまで行ったんですよ！
坂上 おお。
谷口 その辺は、いろいろ思索が進んでケリはつきました。
「記
号創発ロボティクス」（講談社）の中で構成論アプローチについては一章割いてしっかり書いたので、よかったら読んでみてもらえると嬉しいです。やっぱり、構成論は「モデルの提供」っていうのが一つですね。その目的は、新しい仮 説を生むた
めっていうのと、対象系を理解するため。忘れがちなことなんですけど、僕たち人間って物事を 「理解」する時に、対象
系のデータそのものは 「理解」にはならないんですよね。大体、データに基づきながらも 「こういう風な意味だよね」ってモデルを通して理解するんですよね。それが無いと我々って人間として理解できない。そこ大事で、僕らって例えば Longterm Memory、Short-term Memoryとかでも、ある種の計算機をモデルにしてそれを通して理解するんですよね。だから我々って人工物としてのモデル通してそのアナロジーで物事を理解するから、リッチなモデルを持たないと、結局それに対する理解の深さって、深くならないんですよね。
坂上 それは実験も同じですよ。結局いろんなモデルを作る時にデータから再構成して、それって結局人間の理解の枠組みに乗っ取った形のものしか作れないから。逆に言えばそれが本当に真実の方向に向かってるのかしらって思うこともありますよね。やっぱり我々の認識バイアスみたいなのが強すぎて。
それは思うけど、ただ我々が理解するわけだからそれに合っ

NEWSLETTER vol.04 3

た形のものは作っていかないといけないって意味では、構成識しているっていうだけではないわけですよね。そこはどこま論っていうものは訴えかけるものがあるっていうのはよく分かり

でそうなんですか？

ます。ただ、未だにやっぱり構成論ってレベルによるような気谷口 構成論ってのは 「モデル」って言葉に置き換えましょう、がするんですよね。いわゆるロボットを作るなら作るなりのいろ
んな機能のコンポーネントみたいなものが、実際に人間が持ってるものが、どのくらい精緻に詰め込まれているのか。
谷口 そのものを作ってるんじゃないっていうのを合意するのがまず第 一なわけです。モデルですからね。だから、何がQuestion（問い）なのかと。そこをきちんと合意してやるっていうのがポイント。その辺りについては、また我々の文化が「構成論」というものの論理、哲学を十分に育てられてないのが問題。多くの 「構成論」を掲げる研究者もそのあたりが非常にナイーブなままに進めてしまっている。だから 「構成論」
を科学の中で上手く使いこなせてない。モデルってそもそも、対象系のある部分のある構造を抽象化して描いてるわけですよね。モデルの歴史を考えると、紙の上で書いていたフィード

全部。そうするとモデルっていうのは……
坂上 人間のモデル、動物のモデル。
谷口 そうそう、人間の構成論。
坂上 と捉えていいんですか。
谷口 そうですね、ある意味で言ってしまうと構成論っていうのはモデル概念の Extension（拡張）なんですよ。人間の知能っていうのは決められたデータセットだけじゃなくて、実世界
情報っていうのを食って行動してないといけない。我々の知能っていうのは実世界の複雑性に適応するのが本質じゃないですか。そのモデルがちゃんと動くかどうかの検証には実世界のデータを入れないと駄目。そのためには身体まで構成要
素に入れて動かせるものが必要。そういう意味で、動くモデル

バック学習の図みたいなダイアグラムレベルでのモデルがあっとして拡張していったのがロボットを使った構成論。

て、次に、計算機上で動かせるモデルが出来てきた。数理

坂上 なるほど。人工知能と脳の融合って意味で困ったなと思

モデルによるシミュレーションですよね。さらに、それをセンサ・

うのは、人工知能がどんどん進んでいって世の中の需要によ

モータで実世界に接続させて動かせるのがロボットなんです

り応える人工知能を作っていくためには、脳なんかの機能をよね。そんな感じに拡張されてきている。つまり、ロボットという考えるよりも人工知能独自のロジックでどんどん進めていったのは計算機と身体で拡張されたモデルなんですよ。ロボットや方がより良いものができるっていう風に考えている人が増えて

機械学習モデルを用いた構成論のポイントは、紙の上に書いいる気がするんですよね。構成論っていう意味では、今のようただけの概念的なモデルと違って、実際に動かすことが出来な人工知能の独走みたいなことはありえないって谷口さんはるわけで、実データを基に動くか動かないか、学習できるか学考えているんですか？

習できないか、みたいなのをある意味で演繹的にチェックでき

谷口 いやいや、そこも話が混同されていて、構成論はいわばるわけですよ。論理的にそもそも一貫性がなかったり、そもそ

理解のためにあるんですよね。だから別に、それは人工知能も動かない矛盾を抱えたりするモデルっていうのはいくらでもの工学的進歩という話と別問題であって構わない訳ですよ。

作ることが出来るわけですが、「こんな感じどうでしょう？」と思なので構成論が脳科学に貢献するというのと、人工知能の工いつきを言ってくるモデルを、構成論は棄却できる。
「いやそれ学的独走というのは別問題。脳の長期的な学習みたいな、振じゃ、そもそも動かないから」って。

る舞いを理解しようと思ったら、潜在変数が入ってくるようなモ

坂上 今の説明とてもいいですよね （笑）、構成論が何かっデルが要ると思います。それを考えましょう、提供しましょう、していうのを理解するには。そこで例えば脳との関係でいうと非かも、ちゃんと動くモデルであるという保証付きで。それが構常に精緻な理論とメカニズムが作れて動いたということが、脳成論なわけですよ。逆に脳から人工知能へは何が渡せます

が実際にそれを使っているという脳機能との関係性をきちっとかってことなんですけど、やっぱりそこは、知能の実現の好例示す必要はないんですか？

としての脳に学びましょうということだと思うんですよね。今、深谷口 僕は構成論のモデルっていうのは――特に脳とかのモデルでも「精緻である」ことが目的ではないと思うんですよね。
坂上 精緻っていうか、ある種の機能をうまく実現できるという風に言い換えた方がいいかもしれない。精緻っていうのはそういう意味で使ったんだけど。そうであればひょっとしたら脳よりずっとうまく、ある機能を実現するメカニズムってあるかもしれ

層学習に関連しても、様々な人工知能に関する、大量の論文が書かれていますが、それって、人類全体で知能のモデルの多点探索をやっているものだと思うんですよね。これを本当にランダムにやっちゃうと大変。そういう探索に適切なヒューリス
ティクな知識を入れると探索が早くなるというのは常識。脳に学ぶっていうのはシンプルにそういうことだと思うんですよね。

ないじゃないですか。

坂上 なるほど。

谷口 それは手法――工学としてはいいと思うんですよね。

谷口 シンプルにそういうことでいいんじゃないかな？

坂上 でも構成論っていうのは別に人間とか動物の機能を意

坂上 我々はものすごく期待しますよ、やっぱり。今のような構4 NEWSLETTER vol.04

成論であれば、つまり人間の脳のモデル化、しかもシミュレー

開しようとするような場合があるんですよね。構成論に対するション可能なモデル化っていうのであれば、やっぱりそこから今までの私の疑問なんだけど、今までの脳科学の知識なんか

何か我々への示唆が出てくるんじゃないかと。

に依存した形で構成論を積み上げていくような形であるのは、

谷口 脳科学でのある実験タスクがあるとするじゃないです

あんまり生産的でない気がするんです。逆にそれは無視してか。言語的に脳機能を説明されたりするわけですけど、僕の後からこれは違うと、脳科学が検証できるような形を持ってい視点から見たら数理モデルじゃないと理解できないんですよてくれた方が生産的な感じがします。

ね。数理モデルにしたら、絶対隠れ変数がこう置かれて、そ谷口 構成論を混同してしまっている先人もやはり多いんですの Inference（推論）問題ですよね？ この話って？ みたいよね。まぁ、構成論自体が学問の進化の途上にあるので仕方になる。そういう風に整理してやると、いくつかの仮説が新たないのですが。僕は、構成論の知っていうのは、要は脳科学に出てくる。

とかでやる数値的なデータとは地続きじゃないんですよ。違う

坂上 実験屋とモデル屋の言葉がうまく通じるといいですね。

次元に存在してるんですよね。歴史的に見てというか、科学と私たち実験屋は、モデル化もEmpirical（ 経験的な）ベース
なものになりがちで、それじゃあ動かしてみようと思っても、そもそもテストもできない。実験屋とモデル屋が同じ言葉で話す
ことはとても重要ですよね。
谷口 いやぁ、どっちかっていうと、僕の経験からですけどね、
そういう話をすると実験側の人が「数理は分からないから」っいうのはブランド感があるんですよね。自らの学問の科学化を目指す人間は無意識に科学への憧れを持ちがち。科学の一部にしたいという欲動に学術的方針が影響されるというのは学問全体でもしばしば見られる思考バイアスです。それから自由にならないといけない。僕はそのメタ認識を意識的にやってるつもり。

て言って Reject（ 拒絶）してくる場合が多い。

坂上 なるほど。心理学も近いところありますからね。

坂上（笑）。まあね。そこはもうひとつの大きな問題ですよ。そ谷口「人工知能と脳科学の対照と融合」を進めるというのは、ういうのって教育のシステム自体が変わっていかないと……かもしれないですね。
谷口 まぁ、難しいことだからこそ、手元の問題を実験側の人とモデル側の人が一緒に時間をかけて噛みしめるみたいな、

そういう意味でモデルと実験の新しい地平を拓く、大変、科学史的文脈において挑戦的なことをやっているのだと思います。そこは、意識をもってやっていきたいですね。
坂上 そうですね。まずは、私と谷口さんの共同研究を成功さ

そういうことが大切なのかなと思います。そこから何かネタがせるところからですね。

転がりだすと、そうするとそのネタは比較的実験側にとって身谷口 ええ、是非よろしくおねがいします （笑）。

近なものなので実験系に落とせる。構成論ってもの自体がどち

坂上 じゃあ、今日のところはこのあたりで。ありがとうございまらかというと科学に貢献を見出すものなので、それで論文を書くのは脳研究側だと思うんですよ。そうなると、とにかく脳研究
側の実験系に落ちないと、いかなるアイデアも形にならない。

した。
谷口 はい、ありがとうございました。

だから、脳科学の論文になるかどうかの制約条件はガチッとはめながら進めるのが、研究として費用対効果はいいんじゃ
ないかなと思っちゃいますね。でもそのためには、逆に実験系の制約を赤裸々に出してもらいながら、モデル側がそれを理解した上で、モデルの選択を打たないといけない気がするんですよね。
坂上 とにかくお互いの理解が大切ですよね。やっぱりなか
なか今お互いに理解でき合っているとはとても思えないから。
ちょっと構成論の話は聞いとかないといけないと思っていたもので。
谷口 自分で言うのもなんですが、多分、構成論については日
本で一番語れる人間の一人だと思うので （笑）。
坂上 まあそうでしょうね。構成論の話ですごく引っかかるのは、ある意味間違ってるかもしれない、きちっと確定してないよ
うな脳科学、神経科学のデータを基に、それの上に何かを展

NEWSLETTER vol.04 5

特集

次の脳科学×AI に向けて
〜深層生成モデルと世界モデルから見える AI の未来〜
鈴木 雅大（東京大学 松尾研究室 特任研究員）
はじめに

深層学習と表現学習

深層学習は、2006 年のブレイクスルー以来、多くのタスクで最初に述べましたように、深層学習の歴史は元々教師なし

従来手法と比べて高い精度をたたき出すようになった・・・と学習、表現学習からはじまりました。Hintonらや Bengioらは、今や深層学習に関する論文や記事ではおなじみとなった前口

全結合の DNN の重みを、下層から順番に RBM や AE で学上ですが、この精度とは主に分類問題や回帰問題、すなわち習する教師なし事前学習を提案し、それによってネットワーク

教師あり学習の汎化性能を指しています。実際この数年で、全体をまとめて教師あり学習（fine-tuning）できるような、良いくつかの教師あり学習タスクにおいて人間をも超えるような性

い初期値が得られることを示しました（Hinton et al, 2006;

能を示す結果が得られるようになったのはご存知の通りです。

Bengio et al, 2006）。当時は全結合層の DNN の学習は困

しかし振り返ると、元々深層学習の歴史は教師なし学習か難とされていたので、この 2 段階の学習方法は大きなブレイク

らスタートしました。制限付きボルツマンマシン（RBM）やオー

スルーとされました。

トエンコーダ（AE）を用いた教師なし事前学習によって深層ですがその後、事前学習を必要としない重みの初期化方

学習のブレイクスルーが起こり（Hinton et al., 2006; Bengio

法（Glorot et al, 2010）や、Adam（Kingma et al, 2015）

et al., 2006）、「Google の猫認識」論文によって、深層ニューなどのより良い最適化手法の提案、データの増加やマシンパラルネットワーク（DNN）が膨大な画像を用いて教師なし学習

ワーの向上などによって、事前学習せずに教師あり学習が可

を行うと、中間層で任意の概念（顔や猫）に対応する表現が能となることがわかり、事前学習の枠組みでの教師なし学習は獲得されることが発表され大きな話題となりました（Le et al.,

あまり用いられなくなりました。

2012）。初期の深層学習はこうした教師なし学習による「表しかし、膨大な教師なしデータから、あらゆるタスクに有用な現学習」に注目が集まりましたが、その後、主軸は「どれだけ「良い表現」を学習することは、汎用的な人工知能を実現す

高い精度で分類できるか」という教師あり学習に移りました。

る上ではやはり重要です。我々人間も幼少期にあらゆるものを

しかし最近、再び教師なし学習や表現学習が着目されるよう見たり触ったりして、世界の表現を学習していますし、そうしたになっています。様々な背景がありますが、その大きな要因の表現に「言語」という情報を対応させることで、それが何であ一つとして「深層生成モデル」に関する研究の進展がありまるかを「理解」します。では、そうした様々なタスクに利用できす。生成モデルはデータの生成過程を確率モデルで表現するるような「良い」表現とは一体どのようなものでしょうか？すなわ

枠組みで、深層生成モデルはその確率モデルをDNN で表現

ち、世界に共通する事前知識（prior）とは一体何でしょうか？

した生成モデルです。これらの研究の進展によって、今まで生Bengioらは、この事前知識として「多様体」、「滑らかさ」、

成モデルでは扱えなかったようなサイズや形式のデータで学習「 線 形 性 」、
「 複 数の説 明 因 子 」、
「 原 因 因 子 」、
「説明因

できるようになりました。それによって、より良い表現学習や、世子の階層性」、「タスク間の共通因子」、そして「もつれを解界そのものをシミュレートするような「世界モデル」の研究が進く（disentanglement）」などを挙げました（Bengio et al.,

められています。

2013; Goodfellow et al., 2016）。こうした事前知識を正則化

今回の記事は「次の脳科学とAI」というタイトルの記事とな基準に落とし込んで表現を学習する方法として、近年 「深層りますが、私自身脳について知識が疎いこともあり、深層生成

生成モデル」を用いた教師なし表現学習の研究が進められてモデルと世界モデルについての最新の研究動向と課題についいます。

て触れて、AI の側からみた脳×AI の展望について考えてみ深層生成モデルたいと思います。

生成モデルは、とても大雑把に言うと「手元にあるデータがどのようにできているか？」に着目しその生成過程を学習する
枠組みです。これは「データを分類する」ことのみに興味があ

6 NEWSLETTER vol.04

る通常の教師あり学習（識別モデル）とは対照的です。生成モデルの具体的な学習方法については割愛しますが、ある確率モデル（生成モデル）（ は入力データを表す確率変数）を用意し、それがデータの分布の正則化を行なっています。
一方、一般的に深層生成モデルとして有名なのは敵対的
生成ネットワーク（GAN）（Goodfellow et al, 2014）でしょう。

（実際には存在し

GAN は、深層学習の一連の研究の中でも最も偉大な成功のませんが、そのような「データを生成する分布」があると仮定一つであり、本物と見紛うほどの綺麗な画像を生成できるといします）と近くなるように、モデルパラメータθを更新する、という特徴から、AI がいわば「創造性」を獲得した研究としてもうのが大まかな流れです。生成モデルの一番の特徴としてよく広く認知されています。GAN の最大の特徴は、モデル分布

知られているのは、学習した生成モデルから、元のデータとよく（生成モデル）がデータ分布とどれくらい近いか、という評価自似たサンプル（擬似的なデータ）を生成できることです。これ

体もDNNを使って学習するようにしてしまったことです（このは生成モデルが、データがどのように生成されているかを理解

DNN は識別器と呼ばれます）。そのため、生成モデルの「分しているからこそ実現できることに注意して下さい。

布の形」を予め決める必要がなくなり、DNN の持つ表現力を3

近年注目を集めている「深層生成モデル」とは、このモデフルに発揮でき、高いクオリティの画像を生成できるようになりま

ル分布として DNNを用いているものです。深層生成モデルのした。なお当然ですが、識別器が十分に学習できなければ、一番の利点は、まさに、豊富な表現力を持つ関数であるこの生成モデルの良さも適切に評価できません。また、識別器によDNNを利用していることです。そのため、今までは生成できなる評価を改善するように生成モデルを更新したら、改めて最新

かったような、高次元かつ複雑なデータを学習・生成できるよの生成モデルの評価を下すために識別器を学習し直す必要

うになりました。

があります。そのため、GAN では識別器と生成モデルが交互

今回の記事でご紹介する研究の殆どで利用されているの4に競い合うように学習する「敵対的訓練」を行います。

が、変分 AE（VAE）（Kingma et al., 2014）と呼ばれる深層生成モデルです。VAE では、入力データ の他に、データには現れないけれどもその背景に潜んでいる因子として、潜在変数 が仮定されていて、入力からその潜在変数への推論
モデルと潜在変数から入力への生成モデル

1の 2 つのモデルで構成されます。情報の流れとしては、入力が推論モデルによって潜在表現に圧縮（エンコード）され、その表現から生成モデルで元の入力表現になるように復元（デコード）されます。こうしたモデル、すなわちデータを圧縮して復元するAE は、昔から盛んに研究されていました。VAE が従来の AEと比べて特徴的な点は次の 2 つです。まず、推論モデル（エンコーダ）と生成モデル（デコーダ）の両方が DNNを使った確率モデルとして設計されていることです。従来の AE に比べて深いモデルになるため、潜在表現でより普遍的な特徴が獲得でき、さらに確率的なモデルであることから後述する多様体学習ができます。もう一つの特徴は、表現についての明示的な正則化が加えられているということです。VAE の目的関2数は次の通りです。

図 1. VAEとGAN の比較。 は生成されたデータを表す。

ここで、VAEとGAN の違いを見てみましょう（図 1）。まず
1 つ目の違いは、GAN は識別器のおかげで生成モデルの分布の形を決めなくていいのに対して、VAE は推論モデルと生成モデルの両方について分布の形を決めなくてはいけないということです。VAE は GAN に比べると生成した画像がぼやける傾向があるとされていますが、理由の一つはこれにあると考えられています。もう一つの違いは、VAE には入力から潜在変数を推論するモデルがありますが、GAN にはそれがないということです。脳、特に大脳新皮質の「認識」と「予測」の双方向の流れを考えると、VAE の方が脳の観点から妥当

第 1 項が（負の）再構成誤差に対応しており、第 2 項が推論モデルをなるべく単純な分布（標準ガウス分布など）に近づくように促す項、つまりエンコードされる「表現」について
1 実際には の事前分布を考えて、生成モデルを と の同時分布性の高いモデルだと思います。
3 GAN を 提 案 し た Ian Goodfellow を「The man who’s given
machines the gift of imagination.」として紹介している記事もあります（https://www.technologyreview.com/s/610253/the-ganfatherthe-man-whos-given-machines-the-gift-of-imagination/）。
4 「敵対的」という言葉から何やら攻撃的な印象がありますが、実際は一として考えます。
の下界に対応し、エビデンス下界（ELBO）と方が敵対的すぎると相手に圧勝してしまい、良い生成モデルを学習すると呼ばれます。また本記事では、VAE において重要な再パラメータ化トリッ

いう全体的な目的が達成されないため、お互いを考慮して「協力し合っクの話などは省略します。

て」学習しているイメージが正しいように思います。

2 周辺対数尤度

NEWSLETTER vol.04 7

これらの違いからわかることは、潜在空間すなわち表現の

まず、VAE が学習する表現を御覧ください。図 2 は、学習

学習については、VAE のほうが扱いやすいということです。

した VAE の潜在空間、つまりVAE が学習した表現を可視化

確かに、画像生成という観点からは GAN に利点があります

したものです。VAE（に限らず確率的 AE）の特徴として、潜が、VAE は表現への推論モデルを持ち、またその形も明示

在空間上で高次元な入力情報の連続的な変化を捉えられる的であるため、表現の正則化が容易になります。また、学習のということが知られています（多様体学習）。図 2 でわかるよう安定性についてもVAEとGAN では異なります。VAE は再に、有限のデータセットから連続的な潜在空間を学習できてお構成誤差最小化に基づき、分布の形も明示的なので非常にり、潜在空間の任意の座標から未知のデータを生成できるこ

安定して学習できますが、GAN は識別器と生成モデルのバラとがわかります。

ンスが難しく、DCGAN（Radford et al, 2015）が登場するま

また、DNN に期待することとして、世の中を幾つかの「因では適切に画像を生成することは困難でした。現在は GAN子」に分解することが挙げられます。DNN の性質として、浅いの学習を安定させる様々な素晴らしい研究が提案されていま層（入力に近い層）ではエッジなどの特徴が獲得され、深い層すが（Arjovsky et al., 2017; Miyato et al., 2018）、ハイ（入力から遠い層）では「人」や「猫」といったより抽象的

パーパラメータに対する精度の分散が大きい（Lucic et al.

な特徴が獲得されることが知られています。このとき、深い層

2017）、生成できる画像のバリエーションが少ない（Arora etの各ユニット（次元）がそれぞれ異なった意味となることが望

al. 2017）などの課題は残っており、表現学習や、後述する世

ましいでしょう。例えば、あるユニットは物体の回転に対応し、界モデルの学習のためには VAE のほうが有用だと考えられま

別のユニットは角度に対応する、といった形です。こうした深す。

い層の表現を、深層学習ではもつれを解いた（disentangle）

ただし、こうした議論には例外もあり、また最近では、VAE表現と呼びます。なぜこれが重要かというと、もしもつれを解いの目的 関 数の中で表 現の正 則 化に敵 対 的 訓 練を用いたた表現が教師なしで獲得できるならば、それはデータから何らり、GAN にエンコーダを加えたりといった研究も多く、あまりかの「概念」を自ら獲得したことに他なりません。そして、その「GAN」や「VAE」のように分けるのは適切でないかもしれ

表現に言語情報を接地させることで「意味理解」につながるません。また最近では、単一のモデルで双方向の流れを持ち、と考えられるからです。

複 雑な画 像を生 成できるflow-based モデル（Dinh et al.,

VAE はそうした表現を獲得できるのでしょうか？実は目的関

2014; Dinh et al., 2016; Kingma et al., 2018）も注目されて数の第 2 項がその正則化に対応しています。この項は推論分

おり、今後も深層生成モデルの研究は大きな変化が続くでしょ

布を単純な分布う。

実はこの事前分布に制約する役割を果たしていましたが、は各次元が独立になっている

ので、推論分布に対して、各要素が独立になるように深層生成モデルと様々な表現学習も制約していたのです。ですので、この正則化項の係数を大次に、実際に VAE がどのような表現を学習するのか、そしきくすると、より独立性の正則化が強まり、もつれを解いた表現てどのように表現の正則化を入れているのかを最近の研究をが獲得されるのです。この手法は、第 2 項にβ（>1）という係

交えてご紹介します。

数（ハイパーパラメータ）を導入することにちなんで、β-VAEと呼ばれます（Higgins et al., 2017）。図 3 は、β-VAEによってもつれを解いた表現が獲得されている様子です。潜在変数の任意の次元が「顔の色」「年齢と性別」「彩度」の異なる因子に対応するように学習されていることがわかります。

図 3. β-VAE によって「もつれを解かれた」表現。(a) 〜 (c) で潜在変数の異なる次元を動かし、それに対応する画像を生成している。図はHiggins et al.（2017）より引用。
図 2. VAE が学習する表現。2 次元の潜在空間の任意の座標から生成モデルで生成した画像。手書き数字画像データセットMNIST で学習。図
は Kingma et al.（2014）より引用。

8 NEWSLETTER vol.04

ただし、この正則化項の係数を単純に大きくすればいい訳ではありません。この項（のデータ分布における期待値）は実仮想」を実現している例とみなせます。これは手書き数字画（ た像を使った単純な例ですが、時系列情報を扱うCVAEを用いと分 解することができ、第て「もし薬を投与しなかった場合、患者の症状はどうなるか？」

1 項は入力 と潜在変数 の相互情報量、第 2 項が表現の独という検証をした研究もあります（Krishnan et al., 2015）。

立性の正則化に対応します。つまり、正則化項の係数を大きく

その他にもCVAEは半教師あり学習に利用されたり（Kingma

しすぎると、今度は入力と潜在変数の相互情報量まで小さく

et al., 2014）、後述する世界モデルとして使われたりと、大活なってしまい、適切に入力を圧縮できなくなってしまいます。そ躍のモデルです。

だしのため、元の VAE の正則化項以外にも様々な正則化が提案されています。例えば FactorVAE は表現についての全相関（total correlation）の項を追加することで、相互情報量を小さくせずに各次元が独立になるように学習しています（Kim et al., 2018）。なおこの項は、使われている分布が明示的に計算できないので、敵対的訓練が併用されています。
このように、事前知識に基づいた表現の正則化ができるようになりましたが、ではこうした表現は高度な知能処理にとって果たして有用と言えるのでしょうか？例えば、もつれを解いた表
現は、様々なタスクに利用できることが期待されますが、現時点では十分に検証されていません。ですので、今後は獲得した表現の有用性と、そもそも最初に仮定した表現の「事前知識」が妥当なのかどうかといった検証も必要でしょう。

図 4. CVAE が「筆跡」を保ったまま各数字を生成した結果。一番左の列が元画像で、2 列目以降が、潜在表現を固定して対応するラベル情報
を0 〜 9 に変化させている。図は Kingma et al.（2014）より引用。

言語情報との統合

さて、これまでは変数として入力 と潜在変数 しか考えていこうした表現学習で獲得した表現を他の情報、特に言語情ませんでしたが、別の情報 を加えた生成モデルも容易に設

報に接地・統合させる研究も進んでいます。DeepMind が計できます。ここで、入力 は潜在変数 と何かの情報 （例2018 年に提案した SCAN（Higgins et al., 2017）と呼ばれえばラベル情報）から生成されるとし）、さらにるモデルでは、β-VAE で画像の表現を学習したあとに、言語と は独立であると仮定しましょう。もしこの生成モデルが適切情報（実験では属性の組合せ）を入力とした VAEを用意しに学習できれば、潜在変数ではラベル情報に依存しない表現て、その表現がβ-VAE で獲得した表現と近づくように学習しを獲得できるはずです。このモデルは、情報 で条件付けらます。これによって、教師なし学習で獲得した表現と言語表現れた（conditioned）モデルということで、conditional VAE

を結びつけることができます。このモデルの利点は、画像から（CVAE）と呼ばれています。このモデル（ 厳 密にはさらに対応する言語を生成するだけでなく、言語から画像も生成でき改良したモデル）を使って、表現 に含めたくない情報（人種ることです。また、生成モデルが見たことのない未知の概念にや性別など）を明示的に排除する研究などが行われています

該当する言語情報から、それに対応する画像を生成すること（Louizos et al., 2015）。こうしたある属性に対して不変な表もできます（図 5）。

現を学習する研究は、プライバシー保護などの観点からも有用5といえるでしょう。
さらに CVAE が嬉しいのは、潜在変数 の値を一定にしたま
ま の値を変えることで、スタイルを保ちつつ に対応する画像を生成できることです。具体的には図 4をご覧ください。この図 5. SCANを使って、言語情報（属性）から画像（ここでは部屋の風景）

例では をラベル情報としています。 の表現が「筆跡」に対を生成した結果。
「white suitcase」や「blue wall」が属性になる。一応するように学習できており、元画像の筆跡を保ちつつ、0 〜9まで生成できていることがわかります。これは「実際には見た番右については、一度も見たことない概念（つまりこの属性の組合せがデータセットに存在しない）にも関わらず、適切に対応した画像を生成できている。図は Higgins et al.（2017）より引用。

ことないけれども、もしあの人がこの字を書いたら、過去の経験からして、多分こんな感じになるだろう」といった所謂 「反5 最近では敵対的訓練を用いた不変表現学習も主流となっています。

この研究は、言語情報を画像の表現学習よりも上位として置いたモデルと言えますが、一方で言語情報を単に画像とはNEWSLETTER vol.04 9

異なる「モダリティ」の一つと考え、言語と画像のマルチモー

つまり彼らが提案した世界を学習するモデルは、画像から空ダル学習として同時に学習するモデルもあります。筆者らが間方向の抽象化を行う部分と、得られた抽象表現（状態）と提案した JMVAEというモデルは、2 つのモダリティ（画像とそのときの行動から次の状態を予測するダイナミクス部分で構

言語情報）を統合した表現（共有表現）を学習し、SCAN

成されています。前者は VAE でモデル化されていて、後者はと同様、双方向の生成ができます（Suzuki et al., 2016）。

混合密度ネットワークRNN（MDN-RNN）で設計されていま

ま た Vendantamら は、エ キ ス パ ートの 積（product ofす。論文によると、学習した World Model が、実際に世界をexpert）（Hinton, 2002）を利 用した、より適 切に未 知の概生成できることが実験で確認されています（実験では、カーレー

念（属性の組み合わせ）から推論できる推論モデルを提案

スのシミュレーションなどを環境としています）。また、この世界

して、JMVAE でもSCANと同様のことができることを示してモデル内の環境のみで強化学習したエージェントが、実際のいます（Vendantam et al., 2018）。SCANと比べたときの環境でも動作できることが示されています。つまり、エージェント

JMVAE の利点は、潜在空間において、画像と言語情報のはいわば「イメージトレーニング」によって、実際の環境でもう両方が統合された情報量の大きい表現が得られるということ

まく動作する方策を身に着けたということです。

です。
これらの研究は現時点では言語情報としては属性という非常に単純なものを使っています。ですが、画像の表現学習と言語を組み合わせた研究という意味では、真の「意味理解」に繋がる研究といえると思います。
世界モデル

図 6. GQN の概要図。2 つの視点（Observation 1, 2）での画像に基づ

これまで述べたように、深層生成モデルは、様々な事前知識を仮定することで、画像データから有用な表現を獲得でき、き、未知の視点（Observation 3）から見える画像を予測している。図
は Eslami et al.（2018）より引用。

また未知の概念に対応する画像も生成できるようになっていま

さらに、そ の 後 大きな 注目を集 め た の が、Generative

す。ただし、こうした研究が対象とするデータは、手書き数字

Query Network（GQN）という研 究 で す（Eslami et al.,や顔画像、物体画像など小規模でした。しかし、最近ではあ2018）。この研究では、画像入力 のほかにその画像を得た視る環境の画像だけからその環境そのものを学習してしまおうと

点 を考え、様々な環境の様々な視点を学習します。そしてそいう野心的な研究が進められています。こうした研究群を本の後、未知の環境で幾つかの視点（例えば 2 つの視点

記事では「世界モデル」と呼びます。

）に対応する画像（）を見せたあとに、未知の視点 か背景としては、人間が世界の情報を元に、脳の内部で世界ら見える可能性の高い画像 を予測してくれるというものですの「シミュレーター」を作っているということがあります。我々は（図 6）。文章で書くと伝わりづらいですが、是非元論文の動これを使って常に世界の予測を行っており、Jeff Hawkins は画を見ることをおすすめします。

著書 「考える脳

考えるコンピューター」の中で、この予測こそが「知能を解明する鍵」であると述べています。

7

実のことを言うと、この GQN 論文はそこまで新しい生成モデ
ルを提案しているわけではなく、従来からあるCVAEを応用しただし、世界の大きさは膨大であり、得られる情報も無数にているにすぎません。つまり先述した「筆跡」を保ちつつ「未あるので、実世界をそのまま頭の中にモデル化するのは非常

知のラベル」に対応する画像を生成する例が、「現在の環境」に困難なはずです。それにもかかわらず実現できているというを保ちつつ「未知の視点」に対応する画像を生成する、と置

ことは、脳の中で無意識に重要な情報が取捨選択・圧縮され、き換えられているだけです。では、この研究の何がすごいの

それを基に頭の中で世界が「再構築」されているということでかというと、深層生成モデルが実際に世界を学習できることをす。すなわちシミュレーターを獲得する上で、脳（大脳新皮質）

実証してみせたことです。この論文では、あるシミュレーション

は教師なし表現学習を行っているのです。世界モデルは、まさ環境での箱庭を世界と考えて学習していますが、この程度のにこれを深層生成モデルで実現しようとする研究分野です。

環境ならば、画像のみから世界の 3 次元構造（のようなもの）

6

世界モデルの研究として最近注目を集めたのが、Haらによる「World Model」です（Ha et al., 2018）。World Model、
6 なお、こうした研究は内部モデルや力学モデル、強化学習におけるモデ
ルベースの研究として数多く行われてきましたが、それらと世界モデルが違う点がこの「表現学習」をしているということです。

10 NEWSLETTER vol.04

8をシミュレーションできてしまうのです。先程の World Modelと7 https://www.youtube.com/watch?v=RBJFngN33Qo
8 視点の順番に依存しないような「表現ネットワーク」を提案しているといったアーキテクチャ的な工夫はあるものの、それ以外の工夫はそれほど大きな貢献ではありません。

比べると、視点という情報を利用して環境を限定してあげるこ

このように、世界モデルは強化学習で用いることが想定されとで、より複雑な環境を学習できています。このように、別の情ています。強化学習における課題には、状態表現をどうする

報を用いて環境を限定する、すなわち「条件付ける」ことが、か、そしてデータが少ない場合にどのように学習するか、といっ

今後の世界モデル研究においても重要になると思われます。

たことがありますが、学習した世界モデルを用いることで、こうした問題を部分的に解決できると考えられます。このように、世界モデルの課題

学習した世界モデルを使って強化学習を行う「モデルベース」

さて、これまでの研究では空間方向の抽象化には成功しての研究は近年再び進められるようになっています。

いますが、我々のような世界モデルを深層学習が実現するにただし注意しなければならないのは、多くの場合、世界モデは、それだけでは足りません。例えば、我々は「自転車に乗っルは予め適切に学習されていることが想定されているというこている」という言葉から実際に運転している様子を想像できまとです。しかし、実際には全世界を完全に学習しきることは不すが、これは自転車に乗っている風景とそのシーケンス、つま可能です（我々人間も世界の全てを理解しているわけではあり空間方向と時間方向の両方で抽象化を行っているためでりません）。したがって、世界モデルが完全に信頼できない場す。しかし、自転車に乗っている時間の間隔は実際には毎回合に、どのように行動するべきか、ということは大きな課題です。

違うので、それをどのように「自転車に乗っている」という表現

特に系列モデルでは、毎ステップ推論がずれてしまうと、そのに抽象化すればいいのでしょうか？また、我々は現在から遠い

ずれがどんどん大きくなってしまいます。解決策の一つとして未来のことを直接想像（シミュレーション）することができます。

は、TD-VAE のような、不確実性を考慮して任意のステップま系列情報の推論として考えると、遠い未来にまでには間に長で一気に推論ができる世界モデルを利用することが挙げられいステップがあるため、相等な推論時間がかかるはずですが、ます。また Hafnerらは、推論時にジャンプするのではなく、訓我々はこれを一瞬で実行できます。一体どのように AI で実現

練時に複数先のステップまでの予測誤差を最小化するようにすればいいでしょうか？

学習することで、予めこの問題に対処することを提案していまこうした系列情報の抽象化に関する研究は、残された大きす（Hafner et al., 2018）。

な課題であり、今後も高い優先度で研究を続けるべきだと思

また、我々は幼少期に自ら様々なものを見て、聞いて、触るこいます。鍵となるのは、空間方向を抽象化していた既存の深とで「能動的」に世界モデルを学習してきましたが、これまで

層生成モデルと系列情報を扱う再帰型ニューラルネットワーク

紹介した深層生成モデルによる世界モデルは、大量の画像な（RNN）をどのように組み合わせるかということです。World

どが与えられた下で「受動的」に学習しています。そのため、Model では、これを完全に分離して学習していましたが、実自らがどれくらい世界を理解しているかという予測誤差などの際は一体化した生成モデルとして設計して学習するべきでしょ

基準に従って行動を選択しながら、自身も更新していく「能動う。生成モデルにおける系列情報の扱いについては、昔から的な」世界モデルの学習が考えられます。ただし世界モデル

状態空間モデルなどが研究されていましたが、最近、この状の場合学習に時間がかかるため、どのように探索を進めていく

態空間モデルと自己回帰モデル（RNN）を組み合わせた、

かは十分に検討する必要があります。

9

TD-VAEという興味深い研究が発表されたのでご紹介します。

また、現在の世界モデルは一種類の状態（行動）遷移しか学習することができません。しかし世の中には複数の環境や

TD-VAE は、状態空間モデルとRNNを組み合わせて両者

エージェントが存在し、それぞれ異なったダイナミクスを持ちまのいいとこ取りをしつつ、強化学習における信念状態に該当す。深層生成モデルを使った世界モデルにも、複数のダイナミする分布を取り入れたモデルです（Gregor et al., 2018）。こ

クスを認識させ、モデル化させることが課題となります。この辺のモデルの最大の利点は、潜在空間（状態空間）上で、ありに関連する話として、近年研究が進んでいる「メタ学習」がるステップから任意のステップにジャンプして矛盾のない確率あります。メタ学習は、タスクに応じてモデルのバイアスを決定的な推論ができるということです。すなわち系列方向の抽象化

するメタ知識を獲得することを目的とした枠組みで、例えば犬問題に対する一つの解を提示しているのです。TD-VAE は、と猫を分類するように学習した分類器から、猿を分類するのに獲得した状態を強化学習に利用することが想定されており、有用な知識を得ることができるか？といった課題が該当します。

時間方向のジャンプが可能になったことでプランニングなどに

近年、タスクに該当する情報を潜在変数として含めた深層生

有効だと考えられます。

成モデルによるメタ学習のモデルが提案されており（Gordon

9 人間の脳の情報処理を考えると、もしかしたらRNNを用いるのは適切ではないかもしれませんが、現時点では他に代替案がないのでいわばet al., 2018）、系列情報への拡張も期待されます。
その他、深層生成モデルは人間のように、画像だけでなく、「暫定的に」利用しているという形です。
NEWSLETTER vol.04 11

複数の種類の情報を取り入れて（つまりマルチモーダル学習

Kingma, D. P., & Ba, J. L. (2015). Adam: A Method forを行って）、より確実な世界モデルを構築するべきでしょう。こStochastic Optimization.

れが実現すれば、複数のモダリティを統合した、より情報量のB e n g i o , Y. , C o u r v i l l e , A . , & Vi n c e n t , P. ( 2 0 1 3 ) .

多い表現を学習できます。また、画像情報が不足していても、Representation learning: A review and new perspectives.

言語や音声といった他の種類の情報から表現を推論すること

IEEE transactions on pattern analysis and machineもできます。さらに言語情報から画像を想像したり、音声を想

intelligence, 35(8), 1798-1828.

像したりすることができれば、前述した真の意味での「意味Goodfellow, I., Bengio, Y., Courville, A., & Bengio, Y.

理解」により大きく近づくでしょうし、そうしたマルチモーダル情(2016). Deep learning (Vol. 1). Cambridge: MIT press.

報から自身の世界モデルと比較し、行動を選択していくことで、

Kingma, D. P., & Welling, M. (2013). Auto-encoding

AI における「身体性」に結びつくかもしれません。

variational bayes. arXiv preprint arXiv:1312.6114.
Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-

まとめ
今回、深層生成モデル及び世界モデルをメインに記事を書

Farley, D., Ozair, S., ... & Bengio, Y. (2014). Generative
adversarial nets. In Advances in neural information

かせていただいたのは、私自身の専門ということもありますが、

processing systems (pp. 2672-2680).

近年大幅に研究が進み、かつ脳の情報処理の知見を活かせ

Radford, A., Metz, L., & Chintala, S. (2015). Unsupervised

る分野だと感じたためです。Hawkinsらが言うように予測こそrepresentation learning with deep convolutional generative

知能の本質だとするならば、深層生成モデルはまさにそれをadversarial networks. arXiv preprint arXiv:1511.06434.

AI に実現させる大きなブレイクスルーといえるでしょう。今後のArjovsky, M., Chintala, S., & Bottou, L. (2017). Wasserstein

世界モデル研究はやはり、強化学習との結びつきが重要にな

gan. arXiv preprint arXiv:1701.07875.

ると思います。その中で、前節に挙げたようなものを含めた数

Miyato, T., Kataoka, T., Koyama, M., & Yoshida, Y. (2018).

多くの課題を如何に解決できるかが鍵となりますが、そのヒント

Spectral normalization for generative adversarial networks.

は脳から得られるかもしれません。

arXiv preprint arXiv:1802.05957.

現 在、こ の 研 究 分 野 は Google（DeepMind や Google

Lucic, M., Kurach, K., Michalski, M., Gelly, S., & Bousquet,

Brain）などの独壇場といった状況ですが、本新学術領域に

O. (2018). Are gans created equal? a large-scale study. In

は AIと脳の著名な先生方が一堂に会しており、様々な分野

Advances in neural information processing systems (pp. 698-の最先端のノウハウが集約しているという大きな強みがありま707).

す。この記事が、本領域で脳科学×AI の新しい研究が生ま

Arora, S., & Zhang, Y. (2017). Do GANs actually learn

れることに少しでも貢献できましたら幸いです。

the distribution? an empirical study. arXiv preprint
arXiv:1706.08224.

参考文献

Dinh, L., Krueger, D., & Bengio, Y. (2014). NICE: Non-

Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A fast

linear independent components estimation. arXiv preprint

learning algorithm for deep belief nets. Neural computation,

arXiv:1410.8516.

18(7), 1527-1554.

Dinh, L., Sohl-Dickstein, J., & Bengio, S. (2016).

Bengio, Y., Lamblin, P., Popovici, D., & Larochelle, H.

D e n s i t y e s t i m a t i o n u s i n g R e a l N V P. a r X i v p re p r i n t(2007). Greedy layer-wise training of deep networks. In

arXiv:1605.08803.

Advances in neural information processing systems (pp. 153-

Kingma, D. P., & Dhariwal, P. (2018). Glow: Generative

160).

flow with invertible 1x1 convolutions. In Advances in

Le, Q. V., Monga, R., Devin, M., Chen, K., Corrado, G. S.,

Neural Information Processing Systems (pp. 10236-10245).

Dean, J., & Ng, A. Y. (2012). Building High-level Features

Higgins, I., Matthey, L., Pal, A., Burgess, C., Glorot, X.,

Using Large Scale Unsupervised Learning.

Botvinick, M., ... & Lerchner, A. (2016). beta-vae: Learning

Glorot, X., & Bengio, Y. (2010, March). Understanding thebasic visual concepts with a constrained variationaldifficulty of training deep feedforward neural networks. In

framework.

Proceedings of the thirteenth international conference on

Kim, H., & Mnih, A. (2018). Disentangling by factorising.

artificial intelligence and statistics (pp. 249-256).

arXiv preprint arXiv:1802.05983.

12 NEWSLETTER vol.04

Kingma, D. P., Mohamed, S., Rezende, D. J., & Welling,
M. (2014). Semi-supervised learning with deep generativemodels. In Advances in neural information processing
systems (pp. 3581-3589).
Sohn, K., Lee, H., & Yan, X. (2015). Learning structured
output representation using deep conditional generativemodels. In Advances in Neural Information Processing
Systems (pp. 3483-3491).
Krishnan, R. G., Shalit, U., & Sontag, D. (2015). Deepkalman filters. arXiv preprint arXiv:1511.05121.
Higgins, I., Sonnerat, N., Matthey, L., Pal, A., Burgess, C.
P., Botvinick, M., ... & Lerchner, A. (2017). SCAN: learning
abstract hierarchical compositional visual concepts. arXiv
preprint arXiv:1707.03389.
Suzuki, M., Nakayama, K., & Matsuo, Y. (2016). Joint
multimodal learning with deep generative models. arXiv
preprint arXiv:1611.01891.
Hinton, G. E. (2002). Training products of experts byminimizing contrastive divergence. Neural computation,
14(8), 1771-1800.
Vedantam, R., Fischer, I., Huang, J., & Murphy, K. (2017).
Generative models of visually grounded imagination. arXiv
preprint arXiv:1705.10762.
Ha, D., & Schmidhuber, J. (2018). Recurrent worldmodels facilitate policy evolution. In Advances in Neural
Information Processing Systems (pp. 2455-2467).
Eslami, S. A., Rezende, D. J., Besse, F., Viola, F., Morcos,
A. S., Garnelo, M., ... & Reichert, D. P. (2018). Neural scene
representation and rendering. Science, 360(6394), 12041210.
Gregor, K., & Besse, F. (2018). Temporal Difference
Variational Auto-Encoder. arXiv preprint arXiv:1806.03107.
Hafner, D., Lillicrap, T., Fischer, I., Villegas, R., Ha, D.,
Lee, H., & Davidson, J. (2018). Learning Latent Dynamics
for Planning from Pixels. arXiv preprint arXiv:1811.04551.
Gordon, J., Bronskill, J., Bauer, M., Nowozin, S., & Turner,
R. (2018). Meta-Learning Probabilistic Inference forPrediction.

NEWSLETTER vol.04 13

論文
紹介

黒質－線条体ドーパミン神経路による行動抑制の制御
松本 正幸（筑波大学 医学医療系 教授）
論文タイトル：Primate nigrostriatal dopamine system regulates saccadic response inhibition
著者：Takaya Ogasawara, Masafumi Nejime, Masahiko Takada, Masayuki Matsumoto
Neuron, 100 (6), 1513-1526 (2018)
doi: 10.1016/j.neuron.2018.10.025.

はじめに社会生活を送る上では、衝動的な行動や不必要な行動を抑制できることがとても重要です。ところが注意欠陥・多動性

この認知課題は saccadic countermanding taskと呼ばれ、精神疾患の患者さんの行動抑制の能力を評価するためにも使われています。

障害やパーキンソン病などの精神・神経疾患をもつ患者さん

課 題 遂 行 中 の サルの 黒 質 緻 密 部と腹 側 被 蓋 野 からの多くでは、この行動抑制の能力が低下しています。これまで

ドー パミン神 経 細 胞 の 活 動 を 記 録 す ると、stop 指 令 がの先行研究により、行動抑制では、脳の中の前頭前野や大脳出てサルが 眼 球 運 動をキャンセルすることが 求 められた基底核と呼ばれる領域が重要な役割を果たしていることがわ

ときに、黒 質 緻 密 部 のドー パミン神 経 細 胞 の 活 動 が 上

かっていました。他方、注意欠陥多動性障害やパーキンソン

昇 す ることが 明らか になりました（ 図 2A）。特 に、この病などの行動抑制の能力が低下する疾患の多くでは、ドーパドーパミン神 経 細 胞 の 活 動 上 昇 が 小さいときは、サルがミン神経系に異常が見られることも知られています。しかしな

眼球運動のキャンセルに失敗する確率が高くなりました。ただ、がら、ドーパミン神経系は報酬に関わる神経系として注目され

腹側被蓋野のドーパミン神経細胞では、このような活動上昇はてきたこともあり、この神経系がどのようにして衝動的な行動やほとんど見られませんでした（図 2B）。また、黒質緻密部のドー

不必要な行動を抑制しているのかは全く明らかにされていま

パミン神経細胞から投射を受ける線条体領域（尾状核）からせんでした。

も同様の神経活動の上昇が観察されました。さらには、この線条体領域にドーパミンD2 受容体拮抗薬注を注入し、ドーパ

行動抑制課題実行中のサル黒質－線条体ドーパミン神経路

ミン神経細胞からの神経入力を薬理学的に遮断すると、サルの電気生理学的・薬理学的解析

が眼球運動のキャンセルに失敗する確立が有意に上昇しまし上記の問題に取り組むため、我々のグループは、ヒトに近縁た（図 2C）。

なマカク属のサルを被験動物として、行動の抑制が求められる以上の結果から、黒質緻密部のドーパミン神経細胞から線認知課題を訓練しました。実験室の中では、サルがモニターに条体尾状核に対して、不適切な行動を抑制するための神経シ

向かって座っており、その視線が計測されています（図 1A）。

グナルが伝達されていることが示唆されました（図 3）。

まず、モニターの中央に注視点が現れます（図 1B）。サルがこの点を見たら、注視点が消えて別の場所にターゲットとなる点が現れます。全体の７０％の試行では、サルがこのターゲットに眼球運動（視線移動）すれば報酬としてりんごジュースが与えられます。ただし、残りの３０％の試行では、ターゲットが現れた直後に中央の点が再呈示されます。この再呈示は stop
指令であり、サルは今まさに行おうとしている眼球運動をキャン
セルする必要があります。そして眼球運動をキャンセルできた
場合にだけりんごジュースが与えられます。この stop 指令はランダムに３０％の試行でだけ出されるので、サルが眼球運動をキャンセルできず、ジュースがもらえない場合も多々あります。

14 NEWSLETTER vol.04

図３ 黒質‐線条体ドーパミン神経路

おわりにルを用いて行ったもので、その成果はヒトの治療に直接結びつ

今回の発見は、注意欠陥多動性障害やパーキンソン病など

くのではないかと期待できます。今後、黒質‐線条体ドーパミで見られる不適切な行動を抑制できない症状の治療ターゲット

ン神経路を障害したモデルザルを作成し、不適切な行動を抑として、黒質‐線条体ドーパミン神経路が有力な候補であるこ

制できない症状の治療法を探索していきます。

とを示しています。特に、本研究はヒトに近縁なマカク属のサ

図１ 実験室の様子とサルが行なう認知課題

図２ドーパミン神経細胞の活動と分布、サルの行動成績

NEWSLETTER vol.04 15

大 会
参加記

NeurIPS 参加記

Thirty-second Conference on Neural Information Processing Systems
谷口 尚平（東京大学 松尾研究室 学部４年）
2018 年 12 月2日から8日にかけてカナダのモントリオール

特に 1 については、Invited Talk でも多くの研究者が言及

にて 行 わ れ た NeurIPS に 参 加してきました。NeurIPS はしており、注目度の高さが伺われました。この背景には、機械

ICML、ICLRと並び機械学習のトップカンファレンスの１つとし

学習の実社会での活用が本格的に進み始める中で浮かび上て知られており、投稿される論文の数ではその３つの中でも最がってきた現状のデータ・ドリブンな機械学習の問題点として、も多く、名実ともに機械学習の最先端の論文が集まる学会と学習データに含まれるバイアスがモデルの予測に強く影響して言えるでしょう。2017 年までは NIPSという略称が用いられてしまうという課題があると思われます。このような実社会での応いましたが、性差別を連想させるという理由により今回から新し

用上の問題に動機付けられた研究は今後さらに増えていくこ

くNeurIPSを用いることが正式に決まりました。今回も採択率とが予想されます。

は 21%と例年通り低く、厳しい学会であることは変わりありませ「人工知能と脳科学の融合と対照」という新学術領域の観んが、投稿数の増加に伴い、約 1,000 本の論文が採択され、点では、2 のモデルベース強化学習は非常に関係が深いと会議の参加チケットの販売も会場の収容人数の制限により開言えます。機械学習、特に深層学習と脳科学のつながりは、

始 15 分程度で打ち切られるなど、この分野の近年の過熱ぶり

脳のニューロンの仕組みを模倣したニューラルネットワークにが伺われました。今回はそんな NeurIPS 2018 の様子を写真

始まり、視覚野に着想を得た畳み込みニューラルネットワーク

とともにお届けしたいと思います。

(CNN) の登場、さらに大脳基底核の働きと強化学習の関係など様々な視点から研究されてきましたが、これまではそれぞれを個別のタスクに適用するのみに留まっていた印象を持っていました。しかし近年、深層生成モデルの研究などが大きく進んできたことで、画像のような生のセンサーデータを入力として、
畳み込みニューラルネットワークを使った深層生成モデルで世界のダイナミクスモデルを構築し、それを用いて強化学習でプ
ランニングを行うという汎用人工知能に向けた枠組みが形になり始めてきたと言えるでしょう。これは、知能の本質とも言える大脳新皮質のモデル化が深層生成モデルを用いて達成さ

NeurIPS は機械学習全般を扱う学会であり、特に応用研究れ始めているとも言い換えられます。今回の NeurIPS に Oral

よりも基礎理論寄りの論文が多く集まりますが、近年の深層学枠で採択された HaとSchmidhuber の”Recurrent World

習の盛り上がりを背景に、NeurIPS でも深層学習を用いた研Models Facilitate Policy Evolution”はその象徴的な論文究が占める割合が非常に多くなってきているのを感じました。

です。

その中でも目立ったトピックとしては
1. 機械学習の公平性 (Fairness)
2. モデルベース強化学習
3. 深層学習で用いられるバッチ正規化等の理論的な検証などが挙げられます。

16 NEWSLETTER vol.04

この論文では、CNN ベースの変分自己符号化器 (VAE)と

一方で人工知能と脳科学の関係という観点は、NeurIPS の再起型ニューラルネットワーク(RNN)を用いて世界をモデル化

ような機械学習の学会においてはまだそれほど注目されていまし、それを強化学習に用いることで、レーシングカーのゲームタせん。これは、学会の性質にも起因すると思われますが、それ

スクなどを解いています。これまでは、モデルベース強化学習

以上に両者の関係が学術的な考察に至るほど十分に議論さというと、サンプル効率や別タスクへの転移などの文脈で語られていないからとも考えられます。本プロジェクトでも今後、双れることが多く、純粋に単一タスクに対する性能の面で比較す方の研究者間での議論を深め、その成果を積極的に発信しると、モデルフリーな手法が優位であるというのが常識でしたていくことで、研究コミュニティの国際的な発展にも貢献していが、この手法は A3Cなどの強力なモデルフリー手法を大きく上きたいと考えています。

回る結果を残しており、まさに衝撃的な内容です。さらに、このようにして得られた世界モデルを用いれば、エージェントは実際の環境なしでも方策の学習を行うことができるとしており、これを論文内では Training Inside of the Dream( 夢の中での学習 )と呼んでいます。要は、このエージェントは所謂イメー
ジトレーニングができるというわけです。このように、世界をシミュレートするモデルの構築に関する研究は、これまでも注目されてきましたが、実際に強化学習のタスクに適用し、成果を挙げたのはこの研究が初めてであり、大きなターニングポイントであると考えています。囲碁でプロ棋士に勝利した AlphaGo の登場により、近年一気に注目を集め始めた深層強化学習の分
野ですが、今後はこのような「世界モデル」の研究と組み合わさって、囲碁のようなゲームタスクだけでなく、より現実的な応用に近い領域での研究が進んでいくのではないでしょうか。
事実、UC Berkeley の Sergey Levineらの研究グループは、
ここ数年でモデルベース深層強化学習を用いた実ロボット制
御に関する論文を量産しており、今回の NeurIPS でも非常に大きな存在感がありました。本プロジェクトでも、各チームの深層学習、神経科学、ロボティクスなどの知識を総動員して、この分野における研究を加速させていけたらと考えています。
最 後に NeurIPS 2018 全 体を通しての 印 象を総 括した
いと思います。近 年の人 工 知 能の世 界 的なブームの波は
NeurIPS のようなアカデミックな領域にも大きな影響を与えています。企業ブースには IT のみならず世界中のあらゆる分野の企業が並び、積極的にリクルート活動が行われていました。また、採択された論文も企業からのものが非常に多く、大学と企業の共同研究のものもかなり見受けられました。今後もこのような産学連携はより一層進んでいくことでしょう。

NEWSLETTER vol.04 17

イベント
報 告
Joint workshop of UCL-ICN、NTT、UCL-Gatsby and AIBS
Analysis and Synthesis for Human/Artificial Cognition
and Behaviour 参加記

2018/10/22 -23 OIST シーサイドハウス

安部川 直稔（NTT コミュニケーション科学基礎研究所 主任研究員）

10 月沖縄の海を眺望するシーサイドハウス（OIST）で、本

視聴覚機構については、NTT から澤山氏が視覚的質感

ワークショップは開催されました。NTT（NTT コミュニケーショ

知覚について、古川氏が聴覚的注意について、廣谷氏が“聞ン科学基礎研究所）とUCL（University College London）

くと話す”の共通脳機能について紹介。これらは視聴覚というの共同研究プロジェクトと当領域の合同開催であり、14 件の基本モダリティを対象としながらもより高次な環境認識に係る講演と18 件のポスター発表、約 40 名の参加者で賑わいまし脳機能解明を目指しており、独創的な研究手法・独自の開発

た。神経科学から機械学習まで多様な発表が行われたことは技術が挑戦的テーマを下支えしている点が特長的でありまし

もちろんのこと、異分野を融合させた萌芽的研究も見受けられた。聴覚についてはさらに寺島氏が、自然音刺激とDNNを利ました。

用してマウスの聴覚野地図を同定する試みについて発表。こ認 知 心 理 学 の 分 野 からは、UCL 側 の 代 表 者 でもある

れら一連の研究には、①強い仮説を前提としない、②実環境

Haggard 氏が、戦 略 変 換を運 動の自由 意 思と捉え、運 動に近い自然刺激を利用、③複雑な神経応答・生理的応答の準備電位との関係性を議論。他に UCL-ICN からは、Ward

解析に機械学習を利用、というパラダイムシフトが見られます。

氏 が自閉 症 患 者 の 行 動と社 会 性を結 び つける内 容を、

特に深層学習後の中間層表現の解析は、AIと神経科学を融Bahrami 氏が、ヒトが他者への影響（アドバイスなど）を高め合させる有力な切り口であり、今後、新仮説・新コンセプトのる際にとり得る行動戦略と脳内機序について、それぞれ発表

提案につながっていくものと思われます。

しました。認知心理的テーマを、実験環境から実社会へと応

機械学習については、NTT から亀岡氏、UCL-Gatsby か

用させるこれら研究は、まさに UCL-ICN が世界を牽引してきらSahani 氏が、それぞれ生成モデルの観点から発表しました分野で、さらに Bestmann 氏は自由行動下での脳活動計

た。Sahani 氏は機械学習を神経科学に応用してきた世界的測を実現する新手法（量子センサ×MEG）を紹介。これらは権威で、生物の知覚は不確かな情報をベイズ的に統合し推社会へのメッセージ性が高い重要な知見である一方で、因果論する機能であることを強調。そのアナロジーから、複雑な不関係を含めた脳・計算メカニズムの解明にいかにして繋げて確かさを表現できるDistributed Distributional Code についくのか、そこには実社会ビッグデータを用いた AI 解析が役いて紹介しました。

に立つのでないかと聴衆を含めて活発な議論が交わされました。

18 NEWSLETTER vol.04

当領域からは、視覚情報に基づく運動制御について、五味氏が人間科学の観点から、森本氏がヒューマノイドロボットの観点から発表。両氏共に、環境との相互作用の中で運動プリ
ミティブを獲得することが、ロバストな実時間運動制御に貢献することを訴えました。さらに谷口氏は、環境との相互作用を
知能創発まで発展させて論じます。従来の SLAMを拡張させた SpCoSLAM では空間をクラスタリング、音声認識や各種
AI モジュールとの有機的統合を経て場所概念の学習が可能となるコンセプトを提案しました。また、当領域代表の銅谷氏
は、内部モデルを利用した状態遷移予測をメンタルシミュレー
ションとして捉え、関連脳部位の同定、神経活動まで含めた計算理論の提案を行いました。
会議全体の研究内容を俯瞰しますと、従来は独立した機能として議論されてきた運動・知覚・認知などの各種モジュール
が、様々な側面で有機的に結びつく多様的ネットワークの中に知能の本質があるのでは思えてきます。環境とのインタラクショ
ンの中で、脳はどのようにそれらモジュールを階層的に表現す
るのか、その階層構造はどのように更新・固定化されるのか、
機械学習ともおおいに影響しあう魅力的な研究発展が期待されます。

NEWSLETTER vol.04 19

ICDL-EpiRob 2018 参加記

The 8th Joint IEEE International Conference on Development andLearning and on Epigenetic Robotics
谷口 彰（立命館大学 総合科学技術研究機構 日本学術振興会 特別研究員 (PD)）
認 知 発 達ロボティクスに関する国 際 会 議 The 8th Joint

Sensorimotor Prediction” や Alexandre Antunes ら のIEEE International Conference on Development and“Solving Bidirectional Tasks Using MTRNN”は 特 に

Learning and on Epigenetic Robotics (ICDL-EpiRob) が興味深かいものでした。今回の国際会議の参加は、認知発達2018 年 9 月16日から9 月20日にかけて東京の早稲田大学にロボティクス分野の面白さを実感させられる有意義な機会となて開催されました。この会議は 2011 年より開催されており、発りました。

達と学習に関する国際会議 ICDLとエピジェネティックロボティ
クスに関する国際会議 EpiRob の共同開催という形で行われています。人工知能、ロボティクス、心理学や認知科学に関する研究者が集まり、近年注目されているディープラーニング
を始めとする神経回路モデルや人間の認知発達モデルに関する密な議論が行われました。私自身はこの会議には初参加でしたが、どの発表も興味深いものばかりでした。
本 会 議 に 先 駆 け て 行 わ れ た ワ ー クショップ で は、“Understanding Developmental Disorders: From
Computational Models to Assistive Technology”、“Active vision, Attention, and Learning”、“Continual
Unsupervised Sensorimotor Learning”の 3 つ の パラレ
ルセッションが開かれました。中でも、二体のロボットが教示者と学習者に分かれ互いの視点で見える物事について言語を使って教示し学習し合うDr. Michael Spranger の Spatial
Language Learning のトークが印象に残りました。
本会議の講演発表はシングルトラックのオーラル発表とポスター発表で構成されており、程良い規模感の会議でした。
基 調 講 演 で は、Prof. Oliver Brock は Developmental
Theories of AI について、銅谷賢治先生は What can wefurther learn from the brain for AI and robotics? というタイトルで人工知能と脳科学に関する取組みについて、Prof. Peter J. Marshall は Embodiment and Human
Development に つ い て、SONY の 藤 田 雅 俊 氏 は AI×
Robotics in Sonyと題し新型 AIBO に関する取組みについて、それぞれ話されました。
一 般 講 演 で は、Neural Networks、Action selection
and learning、Architectures、Body schema、Social
Learning、Language learningを中心とした多岐にわたるものでした。中でも、Michael Garcia Ortizらの“Learning
Representations of Spatial Displacement through20 NEWSLETTER vol.04

日本神経回路学会 第 28 回全国大会（JNNS2018）参加記
水谷 晃大（大阪大学大学院 理学研究科 博士前期課程 1 年）
2018 年 10 月24日から10 月27日の 4日間にわたって行われでは、マウスの顔面表現の１つである洞毛 (whisker) の動き

第 28 回全国大会 (JNNS2018)」にが、聴覚 Go/No-Go 課題遂行中において、報酬予測時に特参加しました。会場は沖縄科学技術大学院大学 (OIST) で開徴的な動きのパターンを示すことを新しく見つけ、さらに教師あ催され、国内外から多くの研究者が集まり、神経情報処理にり学習を用い、マウスの洞毛の動きから課題成績の推定に成関する研究発表・議論が盛んに執り行われました。ニューラル

功したことを報告致しました。身に過ぎて光栄なことに、本研究

ネットワークや機械学習についてほとんど知識がない状態で参に関して、会長の大森隆司先生から大会奨励賞を賜りました。

加しましたが、初日のチュートリアルでは基本的なところの説明

大会最終日の懇親会では、食事後に創作エイサーと獅子舞

た「日本神経回路学会を聞くことができ、理解がとてもスムーズになりました。

の催し物が用意されておりました。夜の静かな OIST で民謡

はじめのチュートリアルでは、東京大学の松尾豊先生らのグを歌いながら軽やかに舞う様子が神秘的で、圧巻されました。

ループから、深層学習についてのイントロダクションから最近

最後は参加者全員で輪をつくり、楽しく歌いながらダンスをしまのトレンドをフォローした内容のご講演をいただきました。機械した。

が知能を持っていることを示す指標として、チューリング・テス

日本神経回路学会に参加したのは今回が初めてでしたが、トに合格するというのがあるようで、そのために、機械が言語

モデリングやシミュレーションの必要性など、生命科学系の学を使って被験者とコミュニケーションを取りながら(自然言語処会ではあまり疑問を抱かれない数理的な角度から、鋭いご指理 )、内部に蓄積した情報を表現すること( 知識表現 )、そして、摘・助言をたくさんご教授いただきました。今回の大会参加を新しい状況に適応し、そこにあるパターンを検出する( 機械学経て、人工知能の今後の発展において、脳科学・行動科学習 )といった様々な認知機能を実装することが求められ、そのがどのような貢献をできるかを考える大変有意義な機会となりため幅広い専門領域にわかれて研究活動が進められているました。大会実行委員長の銅谷賢治先生をはじめ、企画・運ことを知りました。

営を行ってくださった先生方、参加者の皆様にここに厚く御礼

京都大学の神谷之康先生からは、脳情報のデコーディング

申し上げます。

技術についてのご講演をいただきました。最も印象深かったのは、被験者が何を見ているかを脳情報から読み解く「Genericobject decoding」という技術でした。これは、様々な言語ラベルのついた一連の視覚刺激呈示中の fMRI ボクセルデータの特徴量をトレーニングデータとして用い、新たに視覚刺激呈
示中の被験者の fMRI データから、それがどの言語ラベルの特徴量に最も類似しているかを推定する手法のようです。さらに、「deep image reconstruction」という技術では、被験者が見ている実際の視覚情報を脳活動から再構築することができるとのことで、最先端のブレインデコーディングの技術進歩に感銘を覚えました。
基調講演では、理化学研究所の甘利俊一先生から、フィッシャー情報行列の理論的な説明から勾配学習の実装可能性について、最新のニューラルネットワーク理論のご講演を、
University College London の Maneesh Sahani 先生からは、脳の知覚処理における推論と機械学習の推論についてのご講演を頂きました。
私 自 身 は、2日目の 口 頭 発 表・ポスター 発 表 に お いて 「Characteristic Whisker Movements Reflect
the Internal State of Mice Related to Reward
Anticipation」というタイトルで発表させて頂きました。本研究

NEWSLETTER vol.04 21

The 2nd Conference on Robot Learning (CoRL 2018) 参加記
Guilherme Maeda・森本 淳（ATR 脳情報通信総合研究所 ブレインロボットインタフェース研究室）
The 2nd Conference on Robot Learning (CoRL
2018) was held in Zurich, Switzerland from 29 to 31

the influence of the computer vision/perception
community.

of November 2018. Similar to the first edition that

Other highlights of the conference were as follows.

was held in Mountain View, California in 2017, theSome papers such as“Particle filter networks withlarge participation from North American institutions

application to visual localization”[Karkus P. et al.] and(such as Berkeley, Stanford, CMU, and MIT) was“Policies modulating trajectory generators”[Iscenevident. The participation from industry was also

A. et al.] bring the interesting concept of combining

noticeable with many papers affiliated with Google,

classical methodologies with deep neural networks.

NVIDIA, Uber, and Baidu; and plenary talks fromIn a similar spirit, the paper“Expanding Motor

Sony and Preferred Networks. Most of the talks were

Skills using Relay Networks”[Kumar, et al.] also

focused on some form of deep representations or deep

combines classical Markov Decision Processes withlearning and it seems already quite common-place indeep learning in the form of curriculum learning.

CoRL the use of deep neural networks.

Finally, the talk of Gregory Stein, a student from

So far, the large majority of research in robotics

MIT, was extremely well done and received theand deep learning has been carried out and applied

best presentation award. Although some people inalmost exclusively in simulation; and this CoRL

the audience frowned upon the true novelty of theedition was not an exception. As such, one of themethod, the presentation was remarkably clear andmain topics of discussion during the conference wasorganized and is a good reference for young students

the use of simulation and its transferring to reallearning how to prepare a talk.

environments. The CoRL community seem to have

CoRL2018においては、6 件のキーノート講演、4 件のチュー

adopted a number of different names to refer to the

トリアル講演が豪華な講師陣を招いて行われました（http://

fact that policies learned on models do not transfer towww.robot-learning.org/home/program#keynotes）。

real robotic systems, such as“sim-to-real”,“sim2real”

日本からも3 名の講師の方々にご講演いただきました。なおor“reality gap”; which gives a new flavor to an old

採択論文（採択率 3 割程度）は Proceedings of Machine

control problem.

Learning Research (PMLR)（ http://proceedings.mlr.

Two other topics received a fair amount ofpress/v87/）に公 開されています。ところで、本 年 (CoRL

attention were self-supervised learning and2019) は日本（大阪）での開催が予定されています。日本から

benchmarking. Self-supervised learning was discussedの多くの投稿および参加が期待されます。

in a few papers, particularly focusing on how to train
deep architectures in a supervised manner, without
recurring to an exorbitant amount of labeled data.
An interesting paper was based on crowdsourcing
the collection of training data for robotics applicationby using a smartphone app. Also, many papers
discussed benchmark tasks or datasets to alleviate
the reproducibility problems that are particular ofrobotics. The first session of CoRL was almost entirely
dedicated to such papers, and the plenary talk of
Joelle Pineau also strongly emphasized this issue. It
seems benchmark discussions and reproducibility
have been, in part, a healthy consequence of

22 NEWSLETTER vol.04

第 7 回 NIPS+ 読み会・関西開催記

2018/11/11 立命館大学 大阪茨木キャンパス (OIC)

https://connpass.com/event/105338/

内部 英治（国際電気通信基礎技術研究所脳情報研究所ブレインロボットインタフェース研究室 主幹研究員）
関西地区の機械学習に関わる研究者、エンジニア、学生間たのですが、前者は海鳥の飛行経路、後者は室内環境におで最新の機械学習の研究動向を把握および共有することを目ける人のナビゲーションを解析する方法として逆強化学習が用指した論文読み会を当領域の共催イベントとして運営のお手

いられており、実際の問題に逆強化学習がどのように適用さ伝いをしています。通常 5,6 人の発表者が持ち時間 25 分程れているかを中心に紹介しました。最後に奈良先端科学技術度で論文を紹介し、その後にさらに 5 分を使って会場を交えて大学院大学の品川政太朗さんが今年の NeurIPSで発表されディスカッションします。

た Generating Informative and Diverse Conversational

第 7 回となる読み会では、最 初に私が ICLR2018 で発 表

Responses via Adversarial Information Maximization

され た Temporal Difference Models: Model-Free Deepを紹介されました。これはテキスト対話におけるユーザの発RL for Model-Based Control について紹介しました。モデ

話に対して、システムの応答の多様性 (diversity)と情報度

ルベース強化学習は環境の状態遷移確率を使って明示的に(informativeness)を改善するために、敵対的生成ネットワー

プランニングできることが利点の一つですが、ロボティクスなど

クの枠組みに相互情報量最大化を導入したものです。現時の制御課題に適用した場合には制御に有効な長期予測が困

点では人間の比べられるほど性能は良くなかったのが残念で難でした。この研究では状態行動価値関数を状態と行動だけしたが、情報度の定義について議論が盛り上がりました。

でなく、目標状態とプランニングする時間ステップの関数に拡読み会で使用したスライドは上記のアドレスから参照できま

張し、TD 学習によって長期予測する手法を提案しました。推す。また今年度中にもう一度開催する予定です。興味のある定された価値関数はモデル予測制御の制約条件として利用

方は私までご一報ください。

されます。モデルの利用方法としてとても興味深いものでしたが、様々な時間ステップのもとで価値関数を推定する必要があ
るなど、まだまだ改良の余地があるものではないかというのが議論となりました。次の発表は大阪大学の小林京一郎さんがMaximum Causal Tsallis Entropy Imitation Learningを紹介されました。強化学習と逆強化学習を組み合わせた模倣学習は最近の模倣学習のトレンドであり、そこではエント
ロピ正則された報酬が重要な役割を持ちます。本研究は、通常のエントロピ正則された強化学習で用いられるShannon エ
ントロピをTsallis エントロピに拡 張することで、方 策の分 布が多峰性であっても意図した最適方策が学習できることを示しました。続けて、次に大阪大学の立川和樹さんが Sanity
Checks for Saliency MapsとA Theoretical Explanation
for Perplexing Behaviors of Backpropagation-based
Visualizationを中心に、深層学習で学習されたネットワークの識別根拠を解釈するための方法について紹介されました。
休憩をはさんで再び私が逆強化学習の最近の応用研究とし て Can AI predict animal movements? Filling gaps
in animal trajectories using inverse reinforcement
learningとModeling sensory-motor decisions in natural
behavior について紹介しました。これまで逆強化学習は前述の模倣学習の構成要素の一つとして用いられることが多かっ

NEWSLETTER vol.04 23

新学術領域研究「人工知能と脳科学」第 5 回領域全体会議参加記
小口 峰樹（玉川大学 脳科学研究所 特任助教）
2018 年 11 月12日から13日にかけて、国際電気通信基礎
技術研究所（ATR）にて、新学術領域研究「人工知能と脳ループから、一致性連続効果に関する眼窩前頭皮質の関与、等に関する研究成果が紹介されました。

科学」第 5 回領域全体会議が開催されました。人工知能と神次に、ATR の田中沙織先生から、新学術領域研究 「思経科学のさまざまな分野にわたり先端的な研究を行っている

春期主体価値（脳・生活・人生の統合的理解にもとづく思研究者が集い、それぞれの研究成果について白熱した議論

春期からの主体価値発展学）」連携講演として、「大規模家が交わされました。

族コホートデータセットを用いたホーリスティックな多変量解析」
についてご講演いただきました。ご講演の中では、「東京ティー
ンコホート」プロジェクトによって収集されたビッグデータを用いた解析結果についてお話しいただきました。
その後、A02 計画研究班 「運動と行動」より、松本正幸先
生から、経済的意思決定におけるドーパミンニューロンと眼窩前頭皮質ニューロンとの比較、疋田貴俊先生から、DISC1 遺伝子変異型マウスを用いた統合失調症モデル研究、森本淳先生から、新しい近似モデルを用いたロボットの運動制御シス
テムの構築、五味裕章先生から、運動制御に対する視覚的な背景情報のダイナミックな影響の分析、等に関する研究成果が紹介されました。

12日は、領域代表の銅谷賢治先生よるご挨拶に続き、まず、12日の夜には公募班のメンバーを含むポスター発表が行わ

ATR の細谷春夫先生から、NEDO-AI 連携講演として、「霊れ、大規模同時神経活動記録法を用いた意思決定研究や、長類の脳における顔処理システムの計算モデル」についてごディープニューラルネットワークを用いた fMRI データ解析、計講演がありました。ご講演のなかでは、脳の IT 野を中心とし算論的神経科学による精神疾患研究など、多岐にわたる研

た顔認識系の計算モデルについて、要素的な特徴ごとに構究成果が披露されました。

築されたスパースコーディングモデル群を融合させるというアプローチからの試みをご紹介いただきました。

13日には、A03 計画研究班 「認知と社会性」より、中原裕
之先生から、強化学習の枠組みに基づく社会的意思決定の
続いて、A01 計画研究班 「知覚と予測」より、松尾豊先生

研究、谷口忠大先生から、ノンパラメトリックベイズ二重分節解のグループから、深層生成モデルを用いた寡少観察データか

析器（NPB-DAA）を用いた言語研究やモジュール群の階層らの世界モデルの構築、銅谷賢治先生から、カルシウムイメー

的な結合による大規模認知モデルの実現、高橋英彦先生のジングを用いた線条体下位構造の分析やオプトジェネティクス

グループから、統合失調症における視覚弁別やカテゴリー形を用いたセロトニンニューロンの機能解析、田中啓治先生のグ成の障害に関する研究、等についての研究成果が紹介されま

24 NEWSLETTER vol.04

した。また、坂上雅道先生のグループから、私が「化学遺伝

チが有効かに関して、神経科学と人工知能双方の研究者間学 2 重遺伝子導入法を用いたマカク前頭前野－線条体経路

で、前頭前野の役割や価値関数の設定に関してなど、様々なの機能解明」について報告しました。これは、特定の化学物

観点から意見が出されました。討論後は、それぞれのグルー質を投与することによって神経経路を可逆的に抑制することのプでどのような議論が交わされたかについて、各グループの代できる遺伝子操作技術を用いて、前頭前野と線条体の尾状核

表者から全体へ向けて発表がなされました。

とを結ぶ経路の機能解明に迫った研究で、現在までに得られている行動および神経活動の解析結果について紹介を行いました。具体的には、逆行性および順行性に感染可能な 2 種類のウイルスベクターをそれぞれ尾状核と前頭前野外側部に打ち、尾状核に投射する前頭前野外側部のニューロンのみに人
工受容体を発現させます。この人工受容体は、通常生体内に存在しない化学物質を投与することによって作動させることができ、それによってこの受容体を発現したニューロンの活動を抑制することができます。2 重感染後のサルにおいてリガンドとなる化学物質を用いて課題遂行中の行動および神経活動の解析を行うことで、前頭前野外側部の尾状核投射ニューロンが特に抑制機能に関わっているということを示唆する結果が得られています。

今回の領域全体会議は、本新学術領域の前半期間で得られた諸成果を確認した上で、特に、人工知能と神経科学の間での融合的な研究を後半期間でより強力に推進するという課
題意識を共有する重要な機会となったと感じました。この場を借りて、本会議の運営を支えて下さった皆様に謝意を表したいと思います。

最後に、「多目的制御」、「ゼロショット／転移学習」、「モ
ジュールの選択と結合」という3 つの主題に関して、3 つのグ
ループに分かれてのグループ討論会が行われました。私は多目的制御のグループに入り、容易には比較しえない多様な目的間で脳がどのように最適化を行っており、そうした最適化を
どのように人工知能やロボットに実装しうるかについて、メンバー間で知見をすり合わせながら議論を行いました。ある目的を達成するための行動選択や価値比較が脳でどのように行われているかについては、これまで、ドーパミンニューロンの働きを中心に多くの知見が得られています。しかし、価値尺度が容易には定まりそうにない複数の目的の間でどの目的を優先させるかといった問題に対しては、モデルフリー／モデルベース
システムの競合といった観点からある程度の研究の蓄積はあるものの、まだ問題の定式化すら十分には行われていない状
況です。討論会の中では、こうした問題へどのようなアプロー

NEWSLETTER vol.04 25

次世代脳プロジェクト 冬のシンポジウム参加記
福田 玄明 ( 理化学研究所 脳神経科学研究センター 学習理論・社会脳研究チーム 客員研究員 )私は昨年（2018 年）、12 月12日〜 12 月14日に一橋大学

５領域合同シンポジウムは２部構成となっており、第 1 部は一橋講堂にて開催された「次世代脳プロジェクト」冬のシンポ

各領域の若手研究者による最先端の研究成果と今後の方向

ジウムに参加しました。次世代脳プロジェクトは、「我が国の脳性の紹介、第 2 部は脳科学に関わる理論についてのチュート

科学研究のさらなる発展と次世代を担う中堅・若手研究者のリアルでした。第１部では、サルの小脳の計算モデルに関する育成を目指した取り組みを行う」プロジェクトで今回が３回目の研究やラットの場所細胞での他者の場所の表象からてんかん

シンポジウムとなるそうです（パンフレットより）。その目的通り、発作の予測・検出に関わる研究まで大変幅広く、人間対象の[「個性」創発脳 ]、[ 共創言語進化 ]、[ 人工知能と脳科学 ]、イメージング実験に関わっている私としては理解が難しい部分[ 思春期主体価値 ] の４つの新学術領域研究の合同若手シも多かったのですが、それでも興味深く聞き入ることができまし

ンポジウムや [ 適応回路シフト]、[ 身体性システム]、[ オシロロ

た。第２部では、人工知能による神経系ビッグデータ処理としジー ]、[ 人工知能と脳科学 ]、[ 脳情報動態 ] の５領域合同シて、京都大学の石井先生が巨大化する脳神経系のデータにンポジウムなど、脳科学研究に関わる様々な研究者が一同に対しての AI によるデータ処理について紹介されました。特に会しての領域縦断的な内容となっており、普段はあまり見聞き

高解像度画像を得る技術に驚かされました。次に、東京大学

しない近隣分野の最近の動向にも触れることができ、大変たの郡先生から、振動や同期を単純化して記述するための数めになるシンポジウムでした。

学的方法についての紹介がありました。大変高度な内容で私

４領域合同若手シンポジウムでは、「個性」の階層的理解を

自身は自分の研究と結びつけて考えることはできなかったので目指し空間弁別能力の分子・細胞学的基盤に関する研究やすが、そのような普段は触れない知識にも触れることができる

脳磁図を用いた幼児を対象とした言語発達研究からエージェ

ところがこのシンポジウムの良いところだと思いました。最後にント・シミュレーションを用いた思春期の行動特性の研究など

ATR の内部先生から、逆強化学習についてのチュートリアル

幅広い研究が紹介されました。[ 人工知能と脳科学 ] からは、がありました。逆強化学習に関しては、以前から興味は持って東北大学の鈴木真介先生からfMRIと計算論的手法を組みいたのですが、きちんと勉強することができずにいたので、こ合わせた“他者との駆け引き”に関わる神経基盤についてのの機会に最先端の研究者の説明が聞けたことは大変有意義

2 つの研究成果が報告されました。ひとつは、コンセンサスによであったと思います。

る意思決定に関するもので他者がどの程度自分の意見を変更しそうかとういう「がんこさ」を我々が考慮して自分の行動を決めていることをモデルと脳イメージングにより明らかにされていました。もうひとつは、他者に自分がどう思われていると思うかという2nd-order beliefを、面白い実験課題と複雑なモデルをうまく組み合わせることで実証し、その神経基盤をfMRIとTMS によって明らかにするという非常によく考えられた素晴らしい研究でした。私自身、fMRIを用いて意思決定の研究を行なっているため、鈴木先生のお話は大変興味深く勉強になりました。

今回、次世代脳プロジェクト冬のシンポジウムに参加して、自分が普段どれだけ狭い領域の知識の中でものを考えているのかということを気付かされ、領域を縦断する成果を聞ける機会の重要性を知ったように思います。今後もこのようなシンポジウ
ムにできるだけ参加し、知見を深めていきたいという気持ちになりました。

26 NEWSLETTER vol.04

脳と心のメカニズム 第１９回 冬のワークショップ 参加記
高椋 慎也（NTT コミュニケーション科学基礎研究所 主任研究員）

２０１９年１月９日から１１日にかけて、脳と心のメカニズム冬のワークショップが開催されました。この会議は、神経科学、動物

反復行動の関係について、構成論的アプローチによって考察されたご研究を紹介されました。

行動学、機械学習、ロボティクスなど多様な分野の、とくに計最終日のトピックセッションでは、先ず、大隅典子先生（東北

算論に興味を持った研究者が多く参加する合宿形式のワーク

大学）が、父親の高齢化を近年の自閉症の発症率上昇とそのショップであり、今年は「認知発達と発達障害：予測符号化の多様性の要因として検討された一連のご研究（ラットを用いた視点から”Cognitive development and its disorders: From

動物実験）について紹介され、続いて、高橋哲也先生 ( 福井

the viewpoint of predictive coding“」というテーマで、９件

大学 ) が、ネットワーク構造解析や複雑性解析のアプローチとその講演と５９件のポスター発表がありました。

の手法を用いた発達障害に関するご研究を紹介され、最後に、

初日のスペシャルセッションでは、Caroline Catmur 先生

竹内倫徳（Aarhus University）が新奇刺激の提示による記（King’s College London）が Alexithymia（自らの感情を憶の定着化や記憶の同化 (assimilation) のメカニズムについ認知することの障害）、自閉症、内受容感覚の関係についてて、動物実験を通じて調べられた一連のご研究を紹介されまし調べた一連の研究を、橋本龍一郎先生（首都大学・昭和大

た。

学）が安静時の脳機能ネットワークを発達障害の診断やニューポスターセッションは１日目と２日目にそれぞれ実施され、例年のロフィードバックを通じた治療に利用する試みを、そして、James

ことですが、長時間にわたり白熱した議論が行われていました。

Kilner 先生 (University College London) が、他者運動の微とくに今年は、優秀なポスター発表を表彰するポスター発表賞

細な差異に基づく心的状態の推定や、振動刺激による運動のが新設されたことで、今まで以上にわかりやすい発表や充実し高速化など、複数の興味深い現象を、予測符号化の理論に関た議論が行われていたように感じられました。

連付けて説明されました。

発達障害を計算論的アプローチから明らかにしようとする試

２日目のトピックセッションでは先ず、Jean-Jacques Slotine 先

みは、近年、世界的にも注目を集めている分野であり、当領域

生 (Massachusetts Institute of Technology) の基調講演がでも、高橋先生（京都大学）、山下先生（国立精神神経医療ありました。先生は非線形システムの理論的研究で世界的に有研究センター）、三村先生（量子科学技術研究開発機構）など

名な方ですが、今回は非線形システムのContractionの理論にが取り組まれていますが、本会議の参加を通じて、この分野が、ついて、状態推定、引き込み、テレオペレーション、ニューラルネッ

実に多様なアプローチを内包したものであることに改めて気づか

トワーク、自然勾配学習法など、多岐にわたるトピックと関連付されました。また、発達障害を抱えた方の中には、ある側面におけて紹介されました。続く、Rebecca Lawson 先生（University

いて、健常者を圧倒する知能を備えた方がいるという、大隅先

of Cambridge) は、自閉症患者が様々な知覚課題において、生が紹介されたお話も印象的でした（イギリスの画家 Stephen

感覚刺激をそのまま反映した知覚をしやすい性質を持つことをWiltshireなど）。ヒトに学び、新たな人工知能をつくる、というこ

紹介し、その性質が、どういう状況で学習を行うべきかいうこととを達成する上で、こういう特殊な事例から学ぶという発想も面を判断するメタ学習の異常によって説明されることを示す研究

白いのではないかと思いました。次回の会議は、来年の１月８日

成果を紹介されました。最後には、当領域の山下祐一先生（国から１０日に開催。テーマは「ヒトの学習と機械の学習（仮題）」

立精神・神経医療研究センター ) が、計算論的精神医学というということで、当領域のメンバーには関連の強いものになりそうで

新しく立ち上がりつつある分野について紹介され、その１つの試す。

みとして、自閉症患者の代表的な症状である感覚過敏・鈍磨とNEWSLETTER vol.04 27

イベント情報
平成 31 年度 主催イベント

平成 31 年 共催、協賛、後援、関連イベント

第 6 回領域会議
日程：2019.5.14-15
場所：東京都、玉川大学

IRCN 神経科学コンピューテーションコース
日程：2019.3.21-24
場所：東京都、東京大学本郷キャンパス

新学術領域 「人工知能と脳科学」第 2 回サマースクール
日程：2019.7.31-8.2
場所：埼玉県、理化学研究所 脳神経科学研究センター(RIKEN CBS)SBDM 2019
日程：2019.5.27-29
場所：United Kingdom、Oxford

脳と心のメカニズム第 20 回冬のワークショップ
日程：2020.1.8-10
場所：北海道、ルスツリゾートホテル

https://ircn.jp/neuro_inspired

http://sbdm2019.isir.upmc.fr/

OCNC2019 沖縄計算神経科学コース
日程：2019.6.24-7.11
場所：沖縄県、沖縄科学技術大学院大学
https://groups.oist.jp/ja/ocnc

発行／編集

新学術領域研究 「人工知能と脳科学の対照と融合」

お問い合わせ

新学術領域研究 「人工知能と脳科学の対照と融合」事務局
Mail ncus@oist.jp
2019 年 3 月発行

www.brain-ai.jp