文部科学省科学研究費・新学術領域研究（2016 〜 2021 年度）
人工知能と脳科学の対照と融合

NEWSLETTER

Vol.

9

2 021.03

International Symposium
on Artificial Intelligence and Brain Science
今号は 2020 年 10 月10-12 日にオンライン開催した国際シンポジウムの特集号です。
Foreword by Karl Friston: Natural Intelligence - or Artificial Intelligence Meets Brain Science

2

Keynote lecture by Josh Tenenbaum：Building Machines That See, Think and Learn Like People

4

Discussion on Session 1 talks：Deep Learning and Reinforcement Learning

6

Discussion on Session 2 talks：World Model Learning and Inference

8Discussion on Session 3 talks：Metacognition and Metalearning

11

Discussion on Session 4 talks：AI for Neuroscience and Neuromorphic Technologies

13

Discussion on Session 5 talks：Social Impact and Neuro-AI Ethics

16

シンポジウム詳細は web サイトをご参照ください。
プログラム、アブストラクト：http://www.brain-ai.jp/symposium2020
講義、討論ムービー：https://vimeo.com/showcase/aibs2020

プログラム、アブストラクト

講義、討論ムービーNatural intelligence– or artificial intelligence meets brain science
Professor, University College London

Karl Friston

I am delighted to be invited to write this prefatory

necessarily going to involvenote. Especially after enjoying a superb symposium

some kind of belief updatingorganised by Kenji Doya and his colleagues on

and implicit inference, evenartificial intelligence and brain science . Many ofin the context of action andus had reservations about how this international

learning. So how did structure

symposium would translate into an online (virtual)learning evince itself in theconference. We need not have worried—the entire

discussions? This was evident

experience was gracefully managed from Tokyo andat a number of levels. For example,‘learning tooffered a substantive and engaging opportunity forgrow a mind’calls on the notion of growing orinternational exchange on all our favourite topics.

exploring a model space, with the right kind of

In brief, this symposium set the standard—at least

representations and relational aspects. This is

for me—for what an international conference in thethe sort of problem addressed in nonparametricpost-COVID era should look like.

Bayes and, one might argue, any form of meta-

1）

There were a host of challenging and trending

learning (e.g., meta reinforcement learning). In

themes discussed. The axis of discussion—between

terms of pure inference, structure learning is

artificial intelligence and neuroscience—worked

a solved problem—solved via Bayesian model

perfectly. This was due, in part, to the impressive

comparison based upon model evidence or its

line-up of presenters and panellists, featuring nearlyvariational bounds. However, what is not solved isall the‘great and good’in high-end machine learningwhich models should be compared, or indeed how

and theoretical neurobiology. There were too many

one should extend existing models.

themes for me to cover here, so I will drill down

One approach to this problem may lie in whaton three crosscutting themes, some of which wereconstitutes a good model. One might consider the

explicit and others more implicit.

only tenable way of scoring a model is in terms of

One theme—that dominated the earlier sessions—its marginal likelihood or model evidence. This iscould be usefully summarised as structure learning:a potentially important move because evidence isnamely, getting the structure and form of models

equal to accuracy minus complexity. This means thatright. I am taking models to refer to a singulargood models are minimally complex, in the sense ofconcept that emerged with many different names,

minimum description or message length approaches

ranging from‘physics engines’through to‘internal’in algorithmic complexity, through to Ockham's

models,‘predictive’models through to‘forward’

razor. The imperative to simplify models came out inmodels. In my world, these are read as generative

many proposals that all rest upon removing certain

models that generate (observable) consequencesconditional dependencies among representations

from (latent or hidden) causes. The central role ofof latent causes (e.g., neuronal codes through togenerative models should, perhaps, not have been

the architectures of variational autoencoders). One

surprising, given our mission to look at artificial

obvious way of leveraging independence—in theintelligence from the perspective of neuroscience

service of minimising complexity—is to introduce

and vice versa. At the end of the day, this ishierarchical structures.

Hierarchical or deep architectures are defined

the final theme namely, information geometries.

simply by the absence of conditional dependencies

In the first presentation by one of several very

and provide simple explanations for observed or

notable discussants, Amari posed a challenging

training data. However, more interesting ways ofquestion. Is there one principle that underwrites

minimising complexity also emerged. I was taken

the various flavours of artificial intelligence andwith the notion of modular codes and factorisation.

neurobiology we were considering. He never

Perhaps it should be of no surprise that factorized

mentioned information geometry; however, I wonder

representation was a recurrent theme. Indeed, allwhether this was out of modesty or whether heof variational Bayes (that underwrites variational

was waiting for someone else to suggest information

autoencoders and their evidence lower bound) rests

geometry as the framework within which to find aupon a mean field approximation that is defined

unifying principle.

in terms of a factorized posterior. In some, many

I will close by suggesting that informationof the beautiful examples that were on offer, fromgeometry may be the right way to think aboutboth machine learning and neuroscience, spoke tothings. This feels tenable from several perspectives.

modularity, factorisation or hierarchical structures

First, if we are talking about sentient artefacts,that embody the simplest explanation for the data atthen we are talking about people and machines thathand.

infer, learn to infer, and learn to learn. But inference

A second major theme seemed to be the covert

is just movement on a statistical manifold. Thisdistinction between generative models withmeans that any form of belief updating, learning

continuous versus discrete state spaces. This was

and implicitly sentient behaviour has a naturalclearly an issue for people in machine learning who

calculus supplied by an information geometry. I am

have a commitment to gradient-based schemes (e.g.,

particularly committed to this—given that the freeback propagation of errors). Much of the discussion

energy principle is effectively a variational principleof structure learning—in terms of‘program learning’of least action on a statistical manifold. From theor‘algorithmic learning’seem to fall into one of two

point of view of gradient schemes, this is nothing

camps. Either we were talking about continuous

more than finding paths of least action that minimise

state and time models (of the sort found in deepsome functional that supervenes on and appropriate

learning) or discrete state space models (of the sort

information geometry. I found myself musing on

required for symbolic processing).

whether one could equip model spaces—over

To my mind, this was a particularly importantmodels—with an information geometry and thereby

distinction; especially, if one could unpack many offinesse the structure learning problem. Perhaps

the more categorical or symbolic (and quintessentiallysomeone has already done this and, if they have, we

hierarchical) models of cognitive like processing inwill find out about it when we next meet.

terms of discrete state space models. The inversion

Information geometries of a certain kind may alsoor learning of such models may, on one view, be

underwrite consciousness. I end with consciousness

easy; for example, with the use of explicit fixed-

because this is how the meeting started with Yannpoint solutions and softmax operators. On the

LeCun’s suggestion that consciousness was theother view, they present challenges for gradientnext step that artificial intelligence would needdescent schemes. One thing—which I suspect will

to consider – a step that is clearly licensed via its

be discussed more and more in the future—is that

intimate relationship with the brain sciences.

the problem of structure learning over the space of
discrete models or architectures. This brings me to1）http://www.brain-ai.jp/symposium2020/

特集International Symposium
on Artificial Intelligence and Brain Science
Keynote lecture
Title：Building Machines That See, Think and Learn Like People
Speaker：

Josh Tenenbaum
Massachusetts Institute of Technology

Reporter：Yohei Oseki (The University of Tokyo)

Josh Tenenbaum (Massachusetts Institute ofTechnology) kicked off the international symposium

world models with essentially no re-training or finetuning.

with the keynote lecture titled“Building machines

In order to solve this problem, Tenenbaum

that see, think and learn like people”. This lecture

proposed to reverse-engineer the so-called“Common

updates the influential paper“Building machines that

Sense Core”of human intelligence. Specifically, there

learn and think like people”published in Behavioral

are two types of“Common Sense Core”, intuitive

and Brain Sciences (Lake et al., 2017) on one hand,

physics and intuitive psychology, both of which are

and the recent lecture“Reverse engineering common

the world models to simulate physical worlds ofsense”given at Brains, Minds and Machines Summer

objects and mental worlds of agents, respectively. His

Course 2020 on the other, with particular emphasis

team demonstrated this idea by“the game engine

on brains. This report summarizes the main points ofin your head”, which simulates physical and mental

the lecture and several discussions raised after theworlds just like game programmers. For the purpose

lecture.

of building this architecture, intuitive physics andintuitive psychology are computationally implemented

1. Keynote lecturewith probabilistic programming languages (e.g.,First, Tenenbaum pointed out the problem with

Pyro, TensorFlor, Probability, PyProb, Turing, Gen,

current artificial intelligence (AI) that there is noetc.), that integrate symbolic structures and neural“real”general-purpose AI which can flexibly solve

networks in the framework of Bayesian inference.

multiple tasks such as object recognition and game

Then, recent experimental and computational

playing. Specifically, current AIs à la deep learning

results were summarized with special focus on

have been restricted to pattern recognition and“the intuitive physics engine”(Battaglia et al., 2013;

cannot be generalized to domains vastly different

Ullman et al., 2017) and“virtual tools”with Sample,

from training (e.g., Basketball scenes with various

Simulate, Update (SSUP) model (Allen et al., 2020).

image resolutions), which humans can understand via

They explored how the intuitive physics engine was

4 NEWSLETTER vol.09

realized in the brain and found their neural correlates

Question (Wenliang Kevin Li): How abstract

in the premotor and parietal cortices, which overlap

symbols are coded in the brain?

with action planning and tool-use regions of biologicalAnswer: How natural languages and complex multi-

neural networks (Fischer et al., 2016; Schwettmannobject scene representation are coded in the brain

et al., 2019). In addition, intuitive physics was also

will provide insights into this question.

modeled with artificial neural networks (Mrowca et

Question (Nergis Tomen): How intuitive physics isal., 2018; Bear et al., 2020) which successfully invert

learned?

graphics programs in primate vision (Yildirim et al.,Answer: Intuitive physics should be evolved2020).

phylogenetically via distributed evolutionary code

Finally, he demonstrated how probabilistic

writing, but may not be learned ontogenetically and,

programs are learned efficiently (Lake et al. 2015)

instead, innately determined with proto-intuitive

with two specific learning algorithms. The firstphysics, as experimentally demonstrated by Elizabeth

algorithm was“the child as hacker”(Rule et al., 2020),

Spelke (Harvard University) and Rebecca Saxe

where children are assumed to“hack”(write code)(Massachusetts Institute of Technology).

through program induction and program synthesis.

Question (Shriraj Sawant): How important is

The second algorithm was DreamCoder (Ellis et al.,continual learning?

2020; Tian et al., 2020), where wake-sleep algorithms

Answer: Simpler and easier tasks are learned early

simultaneously learn symbolic structures and neuralin development and“bootstrap”more complex andnetworks.

difficult tasks later as in curriculum learning.

In summary, Tenenbaum concluded that humans(and machines, by extension) must have built-in

The discussion continued on the Slack channel
prepared for this session.

starting states and learning procedures than wemight have thought, by addressing two fundamental

3. Conclusion

research questions in the cognitive science. For the

In conclusion, Tenenbaum provided the insightful

first question“what is the starting state (inductive

big picture towards correspondence and fusionbias)?”, humans simulate physical and mental worldsof artificial intelligence and brain science. In

with intuitive physics/psychology and“the game

fact, Tenenbaum’s keynote lecture continued toengine in your head”. For the second question“whatbe referred to by various talks and discussions

are the learning procedures?”, humans learn world

throughout the international symposium. Higher-

models via probabilistic programs and program

order cognitive functions such as intuitive psychology

induction/synthesis.

and natural language remain to be investigated ingreat detail and left as important frontiers for future

2. Discussion

research.

Question (Kenji Doya): What made wake-sleep
algorithms (i.e., the combination of symbolic structuresand neural networks) computationally efficient, giventhat symbolic structures are claimed to be learned
slowly in the recent lecture“Reverse engineeringcommon sense”?
Answer: Traditional insights from programming
language for the machine learning purpose were
responsible for synthesizing symbolic structures andneural networks with the joint objective function
under the hierarchical Bayesian framework.

NEWSLETTER vol.09 5

Discussion on Session 1 talks
Theme：Deep Learning and Reinforcement Learning
Speakers：
Yann LeCun

Yutaka Matsuo

Doina Precup

Facebook AI Research /New York University

The University of Tokyo

McGill University

David Silver

Masashi Sugiyama

DeepMind

RIKEN AIP/The University of Tokyo IRCN

Discussant：Shun-ichi Amari (RIKEN Center for Brain Science)
Chair：Jun Morimoto (ATR Brain Information Communication Research Laboratory Group)
Reporter：Tadashi Kozuno (Okinawa Institute of Science and Technology Graduate University)

ReportA discussion was on diverse but highly connected

person is trying to archive in the end by solving
subgoals. Therefore, to fully understand intelligence,

topics, which are the following:

we need to understand the overall objective of the

1. A unified theory for deep learning and the mind;

mind, which he thinks is possible.

2. The role of attention;

He also pointed out the importance of keeping in

3. Components necessary for one-shot learning;

mind the overall objective instead of identifying and4. How to realize the higher cognitive functions,

understanding each subgoal of a brain part. Each partsuch as the reasoning and understanding ofof the brain is specialized in its task, but it exists tocommonsense;

archive the overall objective.

5. The involvement of language processing in higher

On the contrary, attributing the success of AlphaGo

cognitive functions.

to a combination of two distinct learning systems,

In this report, I will explain each of them. Then, I

Prof. Sejnowski argued that a unified theory forconclude the report with my thoughts about theselearning would be impossible since the brain is dozens

topics.

of learning systems running parallelly and interactingwith each other.

A Unified Theory of Deep Learning and the Mind
Prof. Amari raised a question on whether it

The Role of Attention

is possible to establish a unified theory for deepProf. Wang asked why the brain can pay attention

learning. There are several theories of deep learning,

to only one thing and has a limited working memory

but they are isolated and can capture only a small

capacity. Seemingly, such limitations are unnecessary.

aspect of deep learning wherein they are specialized.

A hypothesis by Prof. LeCun was the following: we

Dr. Silver argued that besides a unified theory forneed multiple world models specialized in different

deep learning, we need a unified theory for the mind:

situations, but the size of the brain is limited; as awhat is an overall objective of the mind? For example,

result, the brain has only one configurable world

we divide a task into small subgoals and solve themmodel. Since such a world model needs to be

one by one. When we look at a person trying toconfigured for a task at hand, we can pay attention orcomplete a subgoal, we can identify what they wantfocus on only one thing at a time.

to do. Nonetheless, we cannot understand what the

6 NEWSLETTER vol.09

Components Necessary for One-shot Learning

Both Prof. LeCun and Prof. Tenenbaum, therefore,

Prof. Wang also asked what components

argued that there is a system bridging the perception,

are necessary for one-shot learning, besides alanguage, and actions. It is the basis of the reasoning

differentiable neural network.

and higher cognitive functions that not only humans

Prof. LeCun answered as follows: in deep learning,

but also other animals possess.

we have neural network architectures similar to the
hippocampus, such as memory networks, with which

My Thought

one-shot learning is possible. The next step for AI is

While I might be missing or misunderstanding someto enable AI to reason by combining hippocampus-

critical parts of the discussion, I learned a lot andlike and cortex-like neural networks.

found the discussion inspiring.
In particular, I like Dr. Silver's suggestion to seek

How to Realize the Higher Cognitive Functions

the objective of the mind and his reward-is-enough

Everyone agreed that it is important to understandhypothesis, although my hypothesis is slightly

the higher cognitive functions and implement them in

different. In my opinion, the mind's objective is to(and with) deep learning models.

maximize the reproduction probability of an agent

In particular, Prof. LeCun and Prof. Tenenbaum
emphasized the importance of learning to reason withand its descendants, from which (extrinsic andintrinsic) rewards emerge.

neural networks and gradient descent. As witnessed

Indeed, animal behaviors occasionally deviate fromin the deep learning community, gradient descent

the pure reward maximization principle. For example,

is a scalable and powerful tool. However, a question

human parents sometimes commit a suicidal action tois how to approximate the symbolic reasoning by

save their children. One might say that it is caused

neural networks; the symbolic reasoning is inherently

by the mind perceiving the loss of children as adiscrete, whereas neural networks can output only

negative reward. Then, why does the mind perceive

continuous values.

it as a negative reward? I think it is because theloss decreases the reproduction probability, and the

The Involvement of Language Processing in Higher

mind obtained the ability to understand it throughCognitive Functions

evolution.

Prof. Sejnowski referred to the following fact asThat being said, my hypothesis and Dr. Silver's area paradox: previously, symbolic AI was a dominantalmost the same. Mine is that intelligent behaviors

paradigm, but it was superseded by neural networks

arise from the reward maximization principle, butor deep learning; nonetheless, neural networks, likethe mind determines rewards for reproduction

GPT-3, are very good at language processing.

probability maximization. Conversely, I would say

Prof. Tenenbaum said that it is not a paradox,that every creature that tries to reproduce has aciting a paper by Martin Schrimpf and colleagues.

mind, regardless of whether it has a central nervous

The paper examined whether neural networks for

system; many parts of the brain are just tools for the

language processing, particularly GPT-2, can explain

mind to archive its goal.

activities of a brain region that selectively responds

However, as the number of "tools" increases, it

to linguistic inputs. It tuned out that neural networks

becomes necessary for the mind to have a system

do almost perfectly. This result is consistentdedicated to bridging different brain parts andwith the hypothesis in psycholinguistics that thesending appropriate commands to them, something

brain's language system is optimized for predictive

Prof. LeCun and Prof. Tenenbaum mentioned.

processing and has no deep understanding like

Because of its purpose, the number of such acommon sense. In other words, symbolic manipulation

dedicated system must be no more than one, which

and language processing seem to be different.

might explain why we can pay attention to only one

NEWSLETTER vol.09 7

task at a time. This view is different from that of

I agree with everyone that the future step of AI

Prof. LeCun's as there can be multiple world models

and brain science is identifying the neural substratein this view, but only one manager can listen to themof the "tool" manager and how it operates.

and determine what to do next.

Discussion on Session 2 talks
Theme：World Model Learning and Inference
Speakers：
Ila Fiete

Karl Friston

Yukie Nagai

Massachusetts Institute ofTechnology

University College London

The University of Tokyo
IRCN

Maneesh Sahani

Tadahiro Taniguchi

Gatsby Computational
Neuroscience Unit

Ritsumeikan University

Discussant：Mitsuo Kawato (ATR)
Chair：Hiroaki Gomi (NTT Communication Science Laboratories)
Reporter：Tatsuya Matsushima (The University of Tokyo)

ReportMitsuo Kawato first provided four points ofFor example, humans seem to generate goals withlanguages for motor control. In this line of research,

discussions according to the speakers talk:Taniguchi argues that the key idea is“control as• How can achievements of the speakers contributeprobabilistic inference”, which can be a way ofto neuroscience & AI?
• How do humans achieve learning motor-control
from a small sample?
• Finding the essential low-dimensional space forsensorimotor control• How psychiatric and developmental disorders arereinterpreting model-based reinforcement learning.
Kawato indicated that it would be extremely
difficult to acquire a good internal model from alimited number of samples if there are huge degrees
of freedom in the body, although Kawato admits
the idea of model-based reinforcement learning

related to sensorimotor learning?

itself is notable. Kawato instead pointed out theIn the discussion, the panelists talked about them,possibility that the cognitive functionalities help

which I report in this article.

reduce dimensionality drastically and are essential forlearning internal models.

Learning Generative Models and Model-based
Reinforcement Learning

Maneesh Sahani mentioned that unsupervised
data contribute to learning from a small number ofTadahiro Taniguchi mentioned their achievements

trials and the same underlying schemes can workon multi-modal concept formulation and language

both for unsupervised learning and reinforcement

acquisition with generative models described in thelearning built on the probabilistic inference. Kawato

talk have been focused on the perception of theagreed with the idea that reinforcement learning

cognitive system. However, Taniguchi thinks theseand unsupervised learning take place simultaneously,models can be meaningful in motor learning as well.

but added that acquiring a brand new skill requires

8 NEWSLETTER vol.09

finding a new trajectory, which the agent has neverpolicies. Sahani pointed out that these representations

experienced, and therefore it is the most difficult partthat fit with the inferential view of planning andof learning. Sahani suggested that causal structure

perception would give us a foundation to work with.

allows agents to generalize to new environments andtrajectories.

Sahani also mentioned recurrent circuits arenecessary to map learning algorithms to neural

Yukie Nagai, who has been working on

substrates. The key observation here is that thedevelopmental robotics, mentioned the importanceinferential process around a single variable can beof the limitation of bodies and environments in child

written in a very general form that depends basicallylearning. Nagai suggested that these limitations

on the feedback term in a recurrent network.

can work as good constraints in motor andFrom the perspective of learning, this scheme cansensor capabilities. Nagai also pointed out social

potentially contribute to learning different timescales

environments can also be a scaffold for child learning.

to find a sensible decomposition of the world.

Learning Hierarchy

Sensory-Motor Learning and Psychiatric or

Ila Fiete suggested that learning a new motor

Developmental Disorders

action is associated with compositionality and

Lastly, the discussion goes to relationships between

decomposition of representations in the internal

psychiatric or developmental disorders and sensory-

cortex and hippocampus. The low dimensional metricmotor learning. Nagai introduced their experiments

variables can be combined to represent a new kindwith representational drawing and suggested thatof relationship flexibly. Fiete raised questions about

hypo- or hyperpriors and difficulties in making

how the brain breaks a problem into the appropriate

hierarchical structures are one of the reasons why

hierarchies, and how much data is needed topersons with these disorders have difficulties inrecognize the hierarchical structure.

controlling motors and generalizing acquired abilities.

Karl Friston proposed a view of treating hierarchy

Nagai added that modification of certain genes results

as a way of simplifying generative models byin an imbalance between excitatory and inhibitory

minimizing complexity. Friston mentioned that itneurons, which is often observed in brains of autism.

has a seamless connection with program learning

Nagai supposes that the imbalance also causes hypo-mentioned in the keynote lecture from Joshor hyperpriors, which produces too strong or too

Tenenbaum, when we see finding a good simple

weak reliance on the predictions.

structure having factored representation as a

Friston pointed out that Nagai’s idea is consistent

structure learning problem. Friston also added thatwith the formulation of the“free-energy principle”:

the framework can be applied to algorithm learning

if we contrast false inference in these disorders andor meta reinforcement learning from the perspective

the view of motor control as“planning as inference”,

of trying to find the right kinds of structures.

the balance of the prior belief against the sensory
evidence can be the reason for wrong inference.

Finding a Good Representation and Neural Structure

These formulations, Friston supposes, can provide

Gomi then raised a question on the relationshipexplanations on a wide range of disorders likebetween finding the essential low dimensional space

autism, schizophrenia, hallucinations and illusions,for sensory-motor control and the neural mechanisms

and mechanisms for unintentional movement seen

like cerebrum, basal ganglia, and prefrontal

in Parkinson's disease. He then stressed that, in

cortex. Sahani gave the opinion that distributed

this way, insights from machine learning andrepresentations like successor representations can be

artificial intelligence can provide useful perspectives

well-suited for hierarchical structure because they

on abnormal belief update and psychiatric andrepresent occupancy over the future and linked todevelopmental disorders.

NEWSLETTER vol.09 9

My Thoughta unified formulation.

In this session, various concepts, ideas, algorithms,

Lastly, interpreting the cause of psychiatric orand phenomena were discussed around world-model

developmental disorders as an imbalance in internallearning. The main theme of the discussion was“howcomputation for sensory-motor control seemed novel

to learn”the world model, especially, how to learn low

and interested me. I suppose that these insights

dimensional and hierarchical representations essential

on mechanisms of the disorders from mathematicalfor sensory-motor control. The unified view for model-

formulation may also be useful for discovering a newlearning ranging from bayesian formulation to neural

way of treatment from theoretical aspects. However,mechanisms and psychiatric disorders introduced bysince regions of the brain are interconnected witheach speaker inspired me a lot.

each other, I imagine that careful contrast between

However, in my opinion, issues on“how to utilize”

clinical evidence and theoretical results of thethe learned world model for motor control has also ahypothesis would be required to prevent too much

lot of points to be discussed. Recently, in my researchsimplification.

area, the intersection of robot control and machine

In conclusion, I believe this session showed thelearning (i.e. robot learning), studies on modeling data

possibility that the disciplines of different strategies,

in an unsupervised manner using deep generative

artificial intelligence and neuroscience, can bemodels become very popular like VAE or GAN, but I

contrasted under a unified notion of“world model”.

feel the utilization of learned models for robot control

I hope that the content of this session will enhanceis less explored. In concrete, one can think of multiple

communications among the panelists, participants,

options for using learned models for motor control, forand readers of this article, and lead to a better

example regarding the model as a simulator that rolls

understanding of intelligence.

out future prediction of observations or leveraging
for trajectory optimization. Therefore, I suppose that
discussions and methodologies on model utilization
as well as world-model learning are needed forrealizing artificial intelligence in the real world. In thediscussion session, the topic on“control as inference”
introduced by Taniguchi and“active inference”from
Friston is potentially related to the model utilization,
but not covered so much. I hope I can participate in
the discussion about the model utilization at anotheropportunity.
From the algorithmic perspective of world-model
learning, I expect that advances in structure learning
would be a key for the next several years. That is
because most recent advances on deep generativemodels are based on engineered graphical models
using inductive biases of humans. In order to acquireappropriate graphical models from the data itself, I
think we can leverage insights from causal inferenceor meta-learning. At this point, I agree with the ideaof Sahani about mathematical formulation for learninghierarchies and structures behind data streams, andthe idea of Friston that minimizing complexity can be

10 NEWSLETTER vol.09

Discussion on Session 3 talks
Theme：Metacognition and Metalearning
Speakers：
Matthew Botvinick

Ryota Kanai

Angela Langdon

DeepMind

ARAYA Inc.

Princeton University

Hiroyuki Nakahara

Xiao-Jing Wang

RIKEN Center for Brain
Science

New York University

Discussant：Keiji Tanaka (RIKEN Center for Brain Science)
Chair：Masayuki Matsumoto (University of Tsukuba)
Reporter：Carlos Gutierrez (Okinawa Institute of Science and Technology Graduate University)

After the introduction of the discussion by Keiji

learning involves generalization and transfer from

Tanaka, Matt Botvinick highlighted the importance ofsystem to system, thus generalization is not what we

embedding hierarchy for certain mechanisms. In one

think as a“reward”. On the other hand, dopamineof his papers, a simple implementation of hierarchyis though as a reward for goal fulfillment. Abouton the architecture leaded to the emergence ofinteractions between PFC and dopamine, PFC isfunctional hierarchy. That factor can be important inmore related to setting the goal, whereas dopamine

meta-learning.

is related to goal fulfillment, they have different

Xiao-Jing Wang, mentioned 2 important points.
The 1st one, while conventional AI implements

windows of time, this relation seems complex inbiological systems.

conventional learning by changing connection

Ryota Kanai raised a question about what people

weights, an interesting idea is to realize adaptive

think of RL and it functions, considering that goal-processes without connection weight updates, where

directness seems not related to intelligence. How

the system still behaving from trial to trial, by

to distinguish between reflecting systems and goal

connecting neuronal circuits in meaningful weights.

directed systems?

The 2nd point is, how to realize gating mechanisms,

Angela mentioned devaluation in animas, goal

which still unknown in neurosciences, however,changing animal behaviors. The motivational stage inthey are starting to have some insights from simple

an evolving rodent when they chase water, dictates if

problems by 2 ways: a) trajectories and looking

they consider that as a goal.

the dynamics, b) changing connection weights in

Xiao-Jing mentioned the need of mapping tosubspaces, then looking the vector field changes. The

discrete localized structures. Is it computed locally, orlast one is an interesting angle that would need to bea decision process is taking place within a hierarchy?

tested experimentally.

Ryota mentioned that, about confidence itself, it

About ideas on the interaction of dopamine and theseems easy to compute. About metacognition or meta-

pre-frontal cortex (PFC), Angela Langdon highlighted

representation, it would be interesting to know what

the question: what constitutes a reward? Perhaps

architecture capture meta-representation and how

ultimate goals and subgoals? however, looking at thecomputationally define it.

brain, what is considered a reward? This is easy to

Matt said, in model base, the decision-making

define in artificial systems but at the brain? Meta-

system retrieves the representation, however it still

NEWSLETTER vol.09 11

not a representation of itself. Adding another level

introduced the driving drunk example). That still anof metacognition, such as social cognitions may be

open question.

important.

Angela added, in biological agents, part of the

Hiroyuki Nakahara raised concerns about thestructure that declares knowledge is social. In human,perspective of goal directedness, whether it canreward can be the approval from others, and it only

be related to model, or simulation, or inference ofexists in the interaction between agents. The social

others behavior?

context is part of the meta learning or cognition.

… it is a broad question. David

Silver mentioned that reward may be good enough to

Nakahara mentioned, once we uncover those things,

generate intelligent behavior. Nakahara continued bythey could be embedded as a meta part or part of theconsidering 2 ways: the only thing to be concerned

basic systems.

about is the goal; or a simple reward is the basis forMatt thinks that actually, there is nothing specialvery complex behavior.

about meta-learning, it involves any system with

Also, he mentioned that meta-“ something”seems tolarge memory, training on many tasks, and with someinclude something“without”-meta. The question is,

structure.

what are we trying to uncover?

Wang mentioned that social cognition is quite

Kenji Doya mentioned that, traditionally peopleinteresting. Nakahara said, given the requirement

assumed modularity and hierarchical structure in theabout what we need to learn for survival, (I missed

brain, however from Matt and Xiao-Jing work, meta-

the last part here, just last words before the end oflearning can be achieved without structure. Ryota

the discussion session).

also presented distributed predictive models, where
instead of having metacognition, some coherent
space with an overlapping function may be a form of
metacognition.

Below is my personal comments on the topics at
this session.
Current AI outperformed the learning of specifictasks using mainly connection weight update andMore details were provided by Ryota about his

deep layered structures, however, still not able towork, where 10 NN are specialized for some tasks, forflexible solve multiple and novel tasks. Meta-learninga given problem. However, he was wondering what

seems to be a key component on achieving artificial

area of the brain represents meta-representation ofgeneral intelligence. The AI symposium was an

NN or the function of other regions?

unique opportunity to better understand the different,

Angela mentioned the control over the configuration.
In recurrent NN, the configuration is not implicit but

but related, meanings and approaches towards metalearning and meta-cognition.

embedded in the weights. Metacognition is something

One point of view assumes that meta-learning tries

like thinking about thinking. Humans can track their

to realize adaptive processes in the system (the brain,

thinking, but not necessarily control the configurationan AI system) by connecting neuronal circuits inof the system.

meaningful ways. That adaptation might be realized

Xiao-Jing mentioned that he would like to lookby gating mechanisms, weight update in subspaces,

the learning-to-learn for different kind of problems,

functional modularity and hierarchies; thought all of

involving different blocks of cognition. Having somethose remain poorly understood.

progress in that front, we can start to question about

Some comments raised about the need of mapping

how we can control.

meta-learning to discrete and localized structures,Matt mentioned that, deep RL will arrive to model-

to understand whether it is computed locally, or abase RL (as shown in his 2018 paper) on explicit

decision process is taking place within a hierarchy.

knowledge, procedural knowledge so far. But, toRelated to that, mapping what area of the brain

achieve reasoning about reasoning, agents may needrepresents the function of other regions, also known

to include language, or models of themselves (heas meta-representation, could provide a cue on how

12 NEWSLETTER vol.09

“meta”computations are taken place in the brain.

the weights. Model base RL showed that some form

Another view focus on the neuromodulators andof representation is retrieved by the decision-making

their role in the regulation of learning. Particularly,

system, however it still not a representation of itself.

the dopamine is thought as reward for goal fulfillment,

In conclusion, traditionally meta-learning assumed

however, it is not easy to define in neurosciences

modularity and hierarchical structure in the brain,

what really constitutes a reward. The devaluation

however, the results presented in the symposiumof goals is a recent view on this. For example, theshowed that it may be achieved without structure.

motivational stage in evolving rodents when chasing

In addition, preliminary results indicate that somewater, dictates if they consider that as a goal. A

form of metacognition can be reached by distributed

redefinition of what constitutes goals/rewards andpredictive models in a coherent space with antheir relationship with neuromodulators on different

overlapping function.

windows of time seem new research directions.

The different views on this topic demonstrate its

Indeed, the perspective of goal directness still subject

potential and importance on the understanding ofof concerns, whether reward may be good enough or

distributed learning systems in the brain. The next

not to generate intelligent behavior.

practical steps, perhaps, should look more to theAn emergent perspective is the addition of anotherlevel of meta-cognition, such as social cognition, fordynamics, the understanding of trajectories andvector field changes.

example, specie’s survival as learning or inference ofother’
s behavior.
Another arising topic considers meta-cognition as
something like thinking about thinking. Humans
can track their thinking, but not necessarily control
the configuration of the system, while in recurrent
artificial NN the configuration may be embedded in

シンポジウムの多くの講演と議論は、https://vimeo.com/showcase/aibs2020 より視聴いただけます。

NEWSLETTER vol.09 13

Discussion on Session 4 talks
Theme：AI for Neuroscience and Neuromorphic Technologies
Speakers：
James J. DiCarlo

Yukiyasu Kamitani

Rosalyn Moran

Massachusetts Institute ofTechnology

Kyoto University

King’s College London

Terrence Sejnowski

Hidehiko Takahashi

Salk Institute /Univesity of California San
DiegoTokyo Medical and Dental
University

Discussant：Kunihiko Fukushima (FLSI)
Chair：Takatoshi Hikida (Osaka University)
Reporter：Yuzhe Li (Okinawa Institute of Science and Technology Graduate University)

I. Interpolating vectors

Dr. Rosalyn Moran pointed out that using theFirst, Prof. Kunihiko Fukushima addressed thatinterpolating vector as data augmentation reminds

artificial neural network (ANN) provides design

her of other data augmentation methods, such as

principles for brain-like AI, and is also a powerfulvariatiofnal auto encoder. These models are able

tool for analyzing the brain. But the current AI

to generate new data, so that can achieve dataneeds big training data to learn, i.e., listen to billions,

augmentation.

understand millions, whereas our human being learn

Prof. Kenji Doya asked if there is any biologicalquickly, i.e., listen to one, understand ten. Therefore,

interpolation of these interpolation vectors in thethere appears to be a problem: how to let an AI

brain? And if there is biological evidence shows thelearn with small data set? Prof. Fukushima proposedinternal data augmentation in the brain?

a method using“interpolating vectors”with a deepProf. Fukushima answered that he believes the data

convolutional neural network (deep CNN). Eachaugmentation should be represented somewhere ininterpolating vector is determined on a line between

the brain, but he didn’t know where it is.

two known feature vectors extracted from theDr. Sejnowski mentioned there are some psychologicaltraining dataset, or by the nearest plane that formedexperiments showed humans can capture the centerby three reference vectors, or by the hyperplane thatof a structure only based on the observations of somemade of four feature vectors. This method achieves

random parts, seems they are doing interpolating ina data augmentation, not during the training phase,the brain too. If we take fMRI while the object doing

but during the prediction phase. He also proposed a

the experiment, it might give the answer where thecomputational trick to reduce the computational costinterpolating vector is processed in the brain.

for calculating the interpolating vectors. This method
achieved good learning using a small data set.

Prof. DiCarlo referred to his research in visionsystem. He found there are mappings between someProf. Fukushima’s talk inspired Prof. Terrence

features in the models and neurons in the brain. For

Sejnowski of the high dimensional problems that was

example, the feature extraction is done in the high-also discussed in previous sessions. He addressed

level vision system, then can be the basis for thethat the interpolating vector method might beclassifier. He thought the interpolating vectors thata n expl or i ng t ool for solv in g h ig h d imen s io na lProf. Fukushima proposed should be placed in themathematics problems.

layer above the feature set, which might be in the

14 NEWSLETTER vol.09

classification layer. There are successful statistical

And they are interested to reconstruct movies formodels, but not all of them can be found in the

future research. Prof. Fukushima was also interested

physical groundings in the brain.

in whether the reconstruction is possible based on
the frontal cortex activities. Prof. Kamitani said theII. Evolutionally designed V1 function

decoding from the frontal cortex activities while theProf. Kenji Doya raised a question to Prof. Jamessubjects are sleeping also reconstructed some images,

DiCarlo: he showed that by replacing the first layer

which might be the scenes the subjects were seeingof deep neural network by a V1-like representation,

during their dreams.

the network’s performance becomes much more

Prof. Moren then pointed out an interesting

robust. Then Prof. Doya’s question was: is V1

question: it seems that humans generate new data

evolutionally designed, rather than trained by sensory

during dreaming, can sleeping achieve a dataexperience, for doing the early information coding?

augmentation? Prof. Kamitani said it might be

Prof. DiCarlo commented whether the mapping comes

possible. Maybe there are some generative models infrom evolution, development, or learning is a reallythe brain, which might be able to achieve simulation

challenging question.

and augmentation of new experience.

Prof. Sejnowski answered Kenji’s question: actually

Prof. Hidehiko Takahashi added some comments tothere exists evidence to support that V1’s function

the the discussion about the high-dimensional space.

and structure are determined by evolution. There

From a clinical application point of view, he agreed

are researches that showed even before the visualthat the clinal data are usually high-dimensional, so

system has any experience, there are neurons in V1

the methods for high-dimensional data analysis is anthat become selective for orientation. Evolution is likeurgently need for their clinical use.

learning, but with time step of generation. The visualcortex has more layers than in other cortex and it

IV. Universality

looks like the function and structure of V1 as the first

Prof. Sejnowski raised a discussion on“Universality’.

layer seems already written in the genome. But there

He reviewed some research that showed when theare more room of connection plasticity left for higher

recurrent neural networks with different settings

layers.

were trained in different tasks, even though theProf. Yukiyasu Kamitani also agreed that thetrained networks were overall different, the dynamics

interpolating vector of features should be placed inat some fixed points were similar. He said thea higher level. He also mentioned the price equation

universality is the bridge between the ANN andin population genetics. It explained how phenotype

real neuron circuits. If the mathematical model candistributes across generations, which follows Bayesian

capture the universal concept, it would be a big

formula. In this way, genome can be treated as

breakthrough.

memory, and evolution can be treated as some kind

Kenji asked Prof. Sejnowski a question regardingof learning. Evolution is not a random process, it has

converting ANNs to spiking neural networks. Evensome direction.

though an ANN and the real brain may use different
learning algorithms, can the solution they come up

III. Reconstruction images from brain activity

be mostly the same? Prof. Sejnowski answered that

Prof. Fukushima asked Prof. Kamitani about hisis their hope. In their explorations they found thework on reconstruction of images that human subjects

more constraints added to the deep neural network,

are looking at from their fMRI brain activities. Prof.

the more architecture and the features of the

Fukushima wondered if they can also reconstructbrain can be captured. He also pointed out that themoving objects? Prof. Kamitani answered that theymathematical models can inspire people design new,are able to decode the direction of moving dots now.

more complex experiments.

NEWSLETTER vol.09 15

Prof. DiCarlo added that this is actually what his

lot fixed networks in the brain. For example, thelab is doing. They are using models to design novel

retina. Humans may overestimate the flexibility

experiments. Sometimes the models are shown wrong,of their brains. The question should be how much

but the experiments may be still partially correct,

flexibility we have in the brain. We can train ANN

which leads to designing a new, more accurate model.

to do anything we want, even tasks humans cannot

This circle is the bridge to connect experimental

do. Most human abilities rely on the evolutionary

direction and the theoretical direction in neuroscience.

hardware.
Prof. Sejnowski agreed with the fact that

V. Oscillatory dynamics

theevolution leaves us a lot of fixed structures. But

Prof. Doya asked Prof. Moran about her research

he also said there is some recent research showing

using free energy framework to model the dynamics

that, even though the retina is well constructed, itof learning and inference in the brain. Prof. Doya wasis also adaptable, e.g., to illumination aptitudes. So

curious if her model predicts any oscillatory operation

there is a question raised: how could we train a fixedin the brain.

framework (ANN) still have the flexibility?

Prof Moran said the answer is yes. In the structure

Prof. Churchland added that the innovations inof some free energy inference models, it alreadymeasuring techniques and analysis changed our

includes the consideration of gamma wave forview of understanding the brain. Innovation in

forward gain control, and beta or alpha wave forthe measuring techniques revealed that neuralbackward control, which may lead to traveling waves.

actives reflect some changes in the environmental

And there are already such applications in analysing

parameters, like Prof. Sejnowski just pointed out. On

the fMRI data and ECoG data.

the other hand, the innovation in analysis methods forProf. Sejnowsk pointed out that there are lots of

population neural actives by using cognitive models

research explored representations of sensory inputs

gives us a really rich picture of what the brain isor motor outputs, but there is a lack of researchdoing, which is so different from what we used toon how the communications is achieved between

focus on.

different parts in the brain.
Maybe the oscillations is a part of the communications
system, which may control the flow of information.
We should be thinking about other questions.
Prof. Doya agreed with him, and said many studies
assume that, when a subject performs a certain
task, the required modules in the brain are activatedand connected. But how such global activation andconnection can be done biophysically? And what isthe computational mechanism behind it? These arestill big open problems.
VI. Fixed structure but with flexibility
Prof. Sejnowski added that the brain is not a fixed
network. Each brain area is not dedicated only for
one particular task. How the brain reconfigures
itself for each task in a flexible way is a fascinating
question.
But Prof. DiCarlo pointed out that there are a

16 NEWSLETTER vol.09

Discussion on Session 5 talks
Theme：Social Impact and Neuro-AI Ethics
Speakers：
Anne Churchland

Kenji Doya

Arisa Ema

University of California,
Los Angeles

Okinawa Institute of
Science and Technology

The University of Tokyo
Institute for Future Initiatives

Hiroaki Kitano

Stuart Russell

Okinawa Institute of
Science and Technology

University of California,
Berkeley

Chair：Masamichi Sakagami (Tamagawa University)
Reporter：Ho-Ching Chiu (Okinawa Institute of Science and Technology Graduate University)

Masamichi Sakagami started the discussion by

subsequently evolved brain functions, due to theintroducing some studies on pro-social behaviors:

substantial reference of body and space relationships.

the extent of prosocial-ness and proself-ness reduced

Sejnowski also mentioned that we are just evolved

when thinking time increased; also proself people

in the ability to learn to do many things, andhave higher prefrontal cortex activity while prosocial

practices are needed. Stuart Russell argued, using

people have higher amygdala activity. Sakagami

the example of computer, that despite the firstsuggested that there might be a link between model-

computer was used to decode German, but it turned

free/model-based mechanism with proself/prosocial-out the implementation was just logic gates which isness, but the detailed neurological mechanism is still

vastly general. Therefore, activities other than thoseunclear.

biologically oriented do not necessarily have to be

Sakagami asked Anne Churchland how we canbased on those evolutionarily designed.

utilize our uninstructed movement activities for

Churchland raised that there are obviously

brain inspired AI system. Churchland answered

fundamentally different types of motor system likethat the difficulty is that a majority of electronicthat of ocular system compared to motor and pre-signal measured from brain is just low level or

motor cortex. Which suggested there are multiple

movement related activities that we do not care.

dif f e r e nt mo t o r s ys t e ms . She a ls o s ugg ested a

From an evolutionary perspective, brain is likely

hypothesis that cognition is at least linked todeveloped for movement, and other higher activities

movement to certain extent, given the difficult ofjust hijacked the machineries and evolved from theeliminating movements.

movement-oriented brain. Social behavior is also one

Doya asked Kitano whether embodied experienceof basic functions of our brain, since large part ofis necessary for one to understand knowledges.

brain activities are devoted to it. Learning how those

Kitano’s opinion is that to develop cognition andcircuits are repurposed to do other activities will bethought process embodiment might be involved but

relevant in developing artificial networks.

not essential.

Kenji Doya commented that recent advancement

Arisa Ema suggested that it is also importantof measurement technology might help the dynamic

to consider social, institutional and legal kind ofinvestigation of meaning of different brain activities.

influences when we create the brain inspired models.

Terry Sejnowski supplemented Churchland’s

Russell then stated that the difference between

answer that language is one of the examples ofhuman and machines is whether it has purposes. The

NEWSLETTER vol.09 17

current design of AI systems is based on the notion

modifiable since people are not born with those set ofthat intelligence means to have a purpose and to plancomplex preferences. AI systems will take advantage

how to achieve goals, and so that machines shouldof that, and an example is social media. Whether

also have purpose to be intelligent. But this is athe notion of preference change is good or bad is

mistake because we do not have a way of transferring

nevertheless an open question, since it depends on

our entire preference structure to the machine andwhat the change is.

we end up transferring fragments of it. It might end

Ema asked, from a philosophical perspective, what

up we have a machine that is a psychopath, pursuing

should be the starting question an AI researchera distorted version of what we think our objective

should ask? Sejnowski responded that early

might be and doing it in a completely single mindedphilosophy was actually oriented towards physics andway, completely oblivious of anything that is notscience and we are heading in the same direction, but

specified in the objective. What is preferable is some

now with the brain. And he mentioned the emergencesystem that is directed entirely towards human’sof a field called neuro-philosophy. Churchland

benefit and its extension, like the environment.

suggested that to discuss this issue it needs to bringAlso, it knows that it does not know the objective.

together a diverse group of people who is expert in

Another philosophical question raised by Russell
is how a machine should make decisions on behalf ofdealing with people whose brains are fundamentally
altered, like those with addictions.

mankind. How to trade off the preferences of lots of

Doya commented that there are mechanisms ofpeople? One scenario is if someone derive pleasure

human society, like democracy and peer reviewing

from the suffering of others, the preference of thoseto harness runaway of intelligences. Kitano added

persons should be weighted zero since those people

that any solutions could not be optimal for all time

have put themselves outside the social contract. Thenhorizons, like the importance of scientific discovery

machine could be designed in a way that it observes

depends on value systems. An example is thathumans and figure out their preferences.

discovery of cure for C. elegans cannot get Nobel

Furthermore, Russell asked how many reward isenough? Where does the reward come from? Is it

Prize. Maybe AI should develop a dynamical way foraligning to different value systems.

purely biological basis of dopamine which relates to

Russell emphasized that we are not uploading

pain, hunger and reproduction? Russell suggested

any value system to AI so that the AI should bethat human may act in a way by observing theconstantly uncertain about what people want andothers to learn about other’s preference and possibly

how to trade off those preferences.

eventually to adopt other’s preference. So that the
reward system is not just driven by biology but also
by culture.
Angela Langdon asked Russell how about the caseof addiction, in which there is mismatch of preference
between long and short term – in long term the
addicts want to integrate to society but short term
their preference does not align with their ultimate
goal. In this case what should be taken as preference?
Russell respond that there is imperfection inhuman, so that the mapping of actual behavior to thetrue underlying preference are very complicated. We
need to be able to reverse engineer it for designing
AI systems. Also, preferences are not stable and are

18 NEWSLETTER vol.09

［第 9 回］リレー対談

田中 啓治

理化学研究所 脳科学総合研究センター
シニアチームリーダー疋田 貴俊

大阪大学蛋白質研究所 高次脳機能学研究室 教授

田中 疋田先生どうぞ、今日は対談よろしくお願いいたします。

田中 クリニックではうつの患者さんが多いんですか。

私がホスト役ということなので、主に聞き手に回りたいと思って疋田 はい、うつ病の患者さんを多く診ています。

おります。疋田先生から面白い話を、若い人に参考になるお話を、引き出せればと思っております。
疋田 よろしくお願いいたします。
田中 対談は計画班員の中で順にやってる訳ですけども、計画班員の中での疋田先生の特徴は、精神科で研修をなさって、精神科がバックグラウンドにあることじゃないかと思います。
精神科に入られた動機とか精神科の経験が今の研究にどう役だった、どう影響してるかとか、そういうお話から少し聞かせていただけないでしょうか。
疋田 ありがとうございます。私は京都大学の学部生の時から基礎医学研究に進むことを考えていましたが、精神科には脳の疾患として最も興味を持ち研修を行いました。京都大学医学部附属病院の精神科で研修医をした後に、京都大学大学
院の基礎医学教室に進学をして、その後は神経科学に従事しています。しかし現在も、土曜日だけですが、精神科医として臨床をしています。精神科臨床は、直接研究の対象とはしておりませんが、精神疾患を対象に含む私の研究テーマに多田中 激しい統合失調症の方とかは。
疋田 統 合 失 調 症の患 者さんは関 連 病 院の入 院 施 設で、時々診ています。それはやっぱり大学病院の方がより経験がありました。
田中 重篤な患者さんへの治療は主に対症療法だというふうに聞いていますが。
疋田 統合失調症の病態が未解明ですので、症状に応じた治療となっています。しかし、私が研修した時と比較して、治療薬の種類も増えてきて、環境は良くなってきています。早期に治療を開始できるとほぼ普通の社会生活が可能になってきています。基礎研究から統合失調症の病態解明を進めることで、今後治療法の開発にも貢献していきたいと思います。
田中 症状を抑えることによってそれ以上の疾患の進展を抑えることができるようになると。
疋田 薬がない状態ですと病状が進行してしまうことが多いですが、薬をきっちり服用してると進行を止めて、その段階でのくの影響を与えています。精神疾患はまだ病態が未解明で、生活を継続することができます。

研究対象としても魅力が大きい分野です。

田中 それから、先生のご経歴を見ると、大阪バイオサイエン

田中 神経内科の病気は、パーキンソン病やアルツハイマー病

ス研究所で研究員をなさった後に、京都大学で武田薬品工など、ある程度疾患の原理が分かって、治療に向かってるよ

業との産学連携の講座で PIを始められたというように拝見しうですけども、精神疾患の方は色々な仮説は出てきてるけどますけども。

も、それが治療に結びつくという見通しはまだ全然ないと言っ疋田 はい、京都大学大学院医学研究科メディカルイノベーていいのではないかと。

ションセンターで行われました武田薬品工業と京都大学との疋田 その通りだと思います。

協働でのプロジェクトの中で、統合失調症の創薬を目指すプ

田中 土曜日に精神科で診てらっしゃるっていうのは、大学病院で診てらっしゃる？
疋田 精神科クリニックの外来で、何人かの患者さんを診ています。

ロジェクトの PI の一人として、特定准教授を5 年間務めさせていただきました。創薬となりますと長い道のりになりますので、その最初の段階の 5 年間を取り組んだ形になりました。
田中 疋田先生は学生時代から大脳基底核の研究をし、大NEWSLETTER vol.09 19

阪バイオサイエンス研究所の研究員の時も大脳基底核の研常ではうまく2 つの回路を使い分けて、その場面にふさわしい究をされたと思うのですが、武田薬品工業との連携でも大脳認知行動をとってると考えています。そうしますと精神疾患で基底核中心に研究されたのでしょうか？

は、ドーパミンの機能異常の結果として、神経回路自体が変疋田 はい、神経回路の研究から、精神疾患の病態をターゲッ化しているのではという仮説で色々調べています。

トにすることを考えておりました。大阪バイオサイエンス研究

田中 そうですか。統合失調症というとなんとなく前頭葉、前所の前に、ジョンズホプキンス大学に留学していまして、澤明

頭前野に関わるような障害じゃないかというふうに考えられて教授の研究室で、精神疾患のモデルマウスの作製と解析にいますけど、大脳基底核が深くかかわっていることでしょうか。

従事していましたので、精神疾患モデルマウスと大阪バイオサ

疋田 前頭前野は大脳基底核とループ回路を構成しています

イエンス研究所での大脳基底核の神経回路の研究を組み合
わせて、そうするとモデル動物の神経回路を調べることによって、何か新しい創薬の目が見つからないという研究を続けていました。
田中 ジョンズホプキンスの時には有名な DISC1 のモデルマウ
スを作られた。そのマウスと大脳基底核の関係を研究されたのですか？
疋田 はい、精神疾患モデルマウスと大脳基底核神経回路を柱に研究してきました。精神疾患の創薬での最大の障壁は薬効を確認するためのバイオマーカーの欠如です。モデルマ
ウスは幻聴や妄想などの精神症状を発症する訳ではありませんので、何を指標にして薬効をみるかが確立しておりません。
そこでモデルマウスの認知機能に焦点を当てて、精神疾患の創薬のためのバイオマーカーとなりうるかを調べています。また、認知機能の回路機構の解明も大事ですので、大脳基底核を中心に研究しています。
田中 そうですか。例えば統合失調症であっても陽性症状や陰性症状が出る前に、
もっとその前から認知障害が出ている。
それをモデルマウスで実現することによって創薬のターゲットにしようと、指標にしようというアイデアですね。具体的にはどんな認知障害ですか？
疋田 ヒトにもトランスレーション可能なマウスの認知課題を設定して、成績や反応速度などの指標でモデルマウスの認知障害を調べています。タッチスクリーンに図形課題を提示し、モデルマウスではどの指標でどういう変化を起こしているのか、さらにはそれぞれの指標にどのような神経回路基盤があので、前頭前野と大脳基底核の一方というよりは、ループ回路で説明がつけられるのじゃないかと考えています。
田中 大脳基底核というと、前頭葉ループ以外に運動野ルー
プもあるわけですけど、統合失調症で運動野ループに異常は起こらないのですか。
疋田 運動野ループの異常はあまり言われていないですが、薬の影響は運動野ループを含めた回路レベルで見るべきと思っています。
田中 そうすると薬も大脳基底核関係の薬が多いのですか ?
疋田 基本的にはドーパミンD2 受容体拮抗作用を持つ薬が基本で、ドーパミン放出の制御を行っているとされています。
しかし、大脳基底核ループ回路でも作用するのではと考えています。
田中 ドーパミンは大脳基底核に一番強く投射しますけど、マカクで見てると前頭前野にも強い投射があるので、そのドーパミンがその直接前頭前野に投射する経路の影響はどうなんでしょうか？
疋田 はい、ドーパミン神経は前頭前野にも投射しています。
計画班員の松本正幸先生の研究でもドーパミン神経の活動
様式は多様性を持っており、投射先によってもドーパミンの役
割が異なることがわかってきています。前頭前野に直接投射するドーパミンも精神疾患で重要な役割を持っていると考えています。
田中 ドーパミン細胞のうちの大脳基底核に主に投射する細胞と、それから前頭前野へ直接投射する細胞は別の細胞なのるのかを調べています。

ですか、それとも同じ細胞なのですか？

田中 統合失調症の回路基盤には何か手がかりがあるので

疋田 他の研究室での研究からも、大脳基底核に投射する細しょうか？
疋田 最近の研究では、統合失調症も、遺伝背景の強い自閉症などの幼年期の精神疾患と同様に神経発達障害として捉えられてきています。統合失調症では、まず遺伝的な影響による神経回路の発達の障害があり、さらに青年期での社会的ストレスが加わることによる遺伝環境相互作用による発症が胞と前頭前野へ投射する細胞は同じ神経核からのドーパミン細胞であっても、それぞれ別の細胞ではないかと考えられています。
田中 こうしてお話を聞いていると、やっぱりドーパミン系ってい
うのは精神疾患を攻めていくときも一つのやっぱり非常に重要な要素である？

想定されています。私はこれまで大脳基底核の神経回路機

疋田 はい。精神疾患とドーパミン系の研究は古くからなされ構を研究してきて、大脳基底核の直接路と間接路の２つの回てるのですが、まだまだ新しいことが見付かっていく領域だな

路が違う役割を担っていることを見つけてきました。つまり通と感じています。

20 NEWSLETTER vol.09

田中 そうですか。じゃちょっと話を少し転じまして、疋田先生とことを考えていらっしゃいますか？

いうと、精神科出身ということと、もう一つは、中西重忠先生の

疋田 私が分子生物学出身の脳科学者なので、どうしても物研究室で PhDをお取りになって、分子生物学のバックグラウン
ドも非常に強くある。この研究班の中では比較的少ない存在だと思うんです。私が学生だったころは分子生物学が始まってから、まだ歴史の浅い時期で、私は学生の時に大澤文夫
先生、中西先生よりもさらにもっと年上の、分子生物学のパイ
オニアの一人の先生の授業を受けて大変感激しました。大澤先生がいつもおっしゃてたのは 「機能あるところにタンパク質あり」。何か特別な機能があったら特別のタンパク質があると彼は説いたのですね。脳でそんなことがあるかって私は反発したんですが、でも先生の授業は凄く面白かった。現在の脳科学でも、分子機構や疾患の分子病態を研究するという立場と、もう一つ分子遺伝学を道具として使う、神経回路の機能を解きほぐしていくための道具として使うという2 つの立場ががあるように思うのです。そこら辺は、今、疋田先生は、どういうイメージを持っていらっしゃいますか？
疋田 はい。最近の神経科学は分子をツールとして使って神経回路機構を解き明かす方向性が主かと思います。実際、我々もそこは一生懸命やっています。一方で、私が創薬プロ
ジェクトに参加していた経緯から分子病態を明らかにし、創薬の分子標的を探す方向性も重要視しています。
田中 これから脳科学の発展につれて、そのどっちが中心になってくるとお考えになりますか？
疋田 分子ツールを使って調べることは神経科学としてまだ多く残されています。一方で、回路ごとあるいは、一細胞レベルの分子機構を調べる技術も発展してきていますので、そのような方向性が出てくるのではないかと思っています。
田中 そうですか。私は分子生物学のバックグラウンドは弱いですけども、それでも最近のレビューを読むと、神経細胞も分子的に非常に多様であると。

質中心のところから研究をスタートしているのが現状で、人工知能とか計算論的精神医学を今学んでいる状況です。本新
学術領域に参加させていただいて、もうすぐ新学術領域の研究期間は終了を迎えるところですが、領域内外の共同研究により人工知能や計算論的精神医学への取り組みをようやく始めることができています。動物の行動などの神経回路をしっかり見た上で、人工知能に取り組みたいと思います。私の主な研究対象でありますドーパミン系は、強化学習と関連が深いので、脳科学の側面から人工知能分野にも貢献できたらと思っています。
田中 分子の振る舞いも、強化学習などの理論を理解してな
いと理解できないですよね？
疋田 そうですね。分子の振る舞いにも非常に興味があります。私は蛋白質研究所に所属していますので、神経科学だ
けではなくて蛋白質科学の領域でも貢献したいと思っています。例えば病気の原因となるような精神疾患の分子変異が、どのようにタンパク質レベルで振る舞いの異常を引き起こすのか、次にこれが神経回路レベルでどう変わっているのかとかも見ていきたいと思っていますが、これからになります。
田中 神経細胞ごと、領野ごとにもの凄く違う発現をしているタンパク質と、人工知能に対応するようなシステムの機能がどう関係してるかというのは、これから10 年 20 年の話題だと思うんです。これからの 10 年 20 年の抱負はいかがですか。
疋田 2017 年に大阪大学蛋白質研究所で高次脳機能学研究室を開始しました。定年まで 20 年ありましたので、20 年かかるテーマを進めていけたらと考えています。脳科学はそのようなテーマに相応しく、本新学術領域に参加して研究テー
マをさらに広く展開できていることを非常にうれしく思っています。

疋田 そうですね、はい。

田中 そろそろ時間になりました。先生のこれからの研究のご田中 大脳皮質の領野ごとにも遺伝子発現が随分違う。そう発展を見守り続けます。

いうことを聞くと、やっぱり大澤先生の言われたたことも、まだ疋田 ありがとうございます。今後ともご指導をお願いいたしま

まだ見えてないけども、これから見えてくる可能性もあると？

す。

疋田 はい、そのような分子機構の違いがどのように神経回路を制御しているのかを見ていきたいと思っています。
田中 ところで、そういう分子生物学の考え方、機能の裏には独特のタンパク質ありという考え方と、我々の領域を特徴づけるネットワークの考え方や人工知能の考え方の関係。同じ素子であっても繋がり方によって機能が違ってくるというのがネッ
トワークの考え方だと思うので、ふたつは、ある意味では、両極端にあると思うのですけど、この計算論的神経科学や人工
知能と先生のご研究の関係についてはいかがですか、どんな

NEWSLETTER vol.09 21

論文
紹介

音声命令を用いたナビゲーションのための場所概念に基づく確率推論谷口 彰（立命館大学 情報理工学部 特任助教）
論文タイトル：Spatial Concept-Based Navigation with Human Speech Instructions via Probabilistic Inference on
Bayesian Generative Model
著者名：Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi, Tetsunari Inamura
掲載誌情報：Advanced Robotics, Vol. 34, No.19, pp.1213-1228, Sep, 2020.
DOI：10.1080/01691864.2020.1817777

はじめに関数となる確率分布が最大値をとるときの動作系列を求める

人間の生活環境で動作するロボットは、適応的に場所に関式は以下で表されます。

する知識を学習・活用することが求められます。これまで我々の研究では、図１（上側）のように場所概念と呼ばれる場所に関するカテゴリ知識を、ロボットの知覚センサ情報と人の音声教示から獲得する確率的生成モデル SpCoSLAMを提案してきました。今回の論文では、SpCoSLAM のモデルにおいて Control as Inference (CaI)と呼ばれる推論の枠組みを導入し、音声命令が与えられた際の目的地までの軌道計画を行う手法 SpCoNaviを提案しています。具体的なタスクとしては、図１（下側）のように「ミーティングスペースに行って」などの場所の移動に関する命令を受け、ロボットは現在位置から目標状態への行動決定を行います。この手法の主な特徴として、(i)ロボットが自らの経験をもとに自律的に獲得した場所の概念・語彙を活用すること、(ii)ゴールとして地図上の座標点を指定する必要がなく、人の音声命令から目的地までのナビ
ゲーションが可能であることが挙げられます。

CaI では、強化学習や最適制御を始めとする行動決定問題
を確率モデル上での推論として捉えることで、統一的な確率推論の枠組みで議論できることが利点です。行動と状態の遷移を表す Markov Decision Process (MDP) のモデルに最適性変数 を導入することによって CaI は実現されています。
最適性変数 の導入により、軌道の事後分布における最大事後確率の推論がプランニング問題に帰着されることが知られています。
作 と位置 の軌道となる動作系列

22 NEWSLETTER vol.09

はSpCoSLAM によって学習済みの場所概念のパラメータを表します。具体的には、地図のセルごとに動的計画法（Viterbi
algorithm）によって確率値を計算し、軌道の推定を行います。
SpCoNavi では、音声命令 をゴールシグナルを表す観測変数であるとみなしており、これは CaI の視点で見ると最適性
変数 に対応しています。つまり、与えられた単語がより観測されるであろう場所に向かうことが最適であることを意味します。CaI に基づき強化学習との対応を考えると、（報酬関数を手動で設計することなく）音声命令における目的地を表す単語の条件付けに依存して報酬関数が自動的に切り替わるようになっていることがわかります。
場所と単語の多対多対応に関する効果的な応用例

CaI に基づくパスプランニングの定式化提案手法では、人からの音声命令

このとき、 は計 画 区 間、 はロボットの 初 期 位 置、が与えられたときの動を表す事後確率が最大を推定する問題として定式化します。目的

本論文の実験の一つとして、場所と名前の多対多の対応関係を考慮に入れたプランニングの実証を行いました。図２(a) – (d)は、それぞれ異なるシチュエーションを示しています。図２(a) は
いくつかの候補地から典型的な（主によく使われている）場所
への移動、(b) はある場所に対して複数の名前が存在する場
合、(c) は音声命令の中に２つの単語が含まれる場合（AND条件）、(d) は音声命令の中に２つの単語が含まれている場合（OR 条件）になっています。カラーマップを見ると、与えられた単語に応じて対数尤度が変化している様子がわかります。
結果として、４種類のどのケースにおいても適切にパスプランニ
ングできることが示されました。

おわりに今後の展開として、トポロジカルマップ（グラフ構造を持った

本研究では、ロボットが自律的に獲得した場所概念を用い地図）への応用や、リアルタイムナビゲーションのための計算た音声命令からのパスプランニング手法を提案しました。提案

量の削減、能動推論（Active Inference）との融合などが手法は、従来の多くのパスプランニング手法とは異なり、人との挙げられます。また、このような場所概念に関する確率的生成

音声のよるインタラクションから目的地までのナビゲーションが可モデルや確率推論と、空間認知や場所の認識に関わる脳部

能となります。今回紹介した実験では、提案手法が実行できる位である海馬体との関係性や対応付けについても議論を進め

様々なシチュエーションについて示しました。この他に手法のていく予定です。

詳細や実験結果など、今回紹介していない部分に関しては元論文をご参照ください。

図１：タスクの概要図。
（上側）場所概念の学習フェーズ、（下側）ナビゲーションフェーズ。提案手法は、学習された場所
概念と音声命令から目的地までの軌道を探索する。

図２：様々なシチュエーションの音声命令によるパスプランニングの結果。赤線が推定された軌道。カラーマッ
プは対数尤度の値を表す（黄色が高く、青色が低い）。
NEWSLETTER vol.09 23

大 会
参加記

IROS2020 参加記
長谷川 翔一（立命館大学 情報理工学部 谷口研究室 博士課程前期課程 1 年）になっています。Zoom などのビデオ会議ツールを用いて、別
日程で議論の場を設けていたものもありました。最後に Robot
Competition では、実際にロボットを動作させ、物体を把持す
るタスクなどを行い、技術力の高さを競い合っていました。また、Competition 参加を通じて、チーム同士の技術に関する議論が Zoom などで行われていました。
印象に残ったものとして、Plenaries で講演をされていた東京大学の長井志江先生が挙げられます。人の認知発達を知る手掛かりとして、Fristonらが提案した予測符号化をはじめ
2020 年 10 月25日から 12 月24日に か け て、オンデ マン
ド 形 式 で 行 わ れ た IROS2020(IEEE/RSJ International
Conference on Intelligent Robots and Systems 2020)を聴講してきました。IROS は IEEEと日本ロボット学会 (RSJ)が開催するロボットに関する国際学会であり、他のロボット系学会の ICRA や RSS などと並ぶ世界的に有名な学会です。
2020 年度は新型コロナウイルス (COVID-19) 感染拡大のため、WEB 上での一般公開される形となりました。私は今回、自身の研究分野における最先端の研究調査のため、本会議の参加を行いました。
IROS2020 は当初、アメリカ合衆国のラスベガスで開催される予 定でした。しかしながら、世 界 的に感 染が拡 大した
COVID-19 の影響懸念のため、WEB 上でのオンライン開催に急遽変更されました。また、IROS への参加登録費が無料となり、参加登録を行えば、誰でも発表者の講演の様子や論文を閲覧することが可能になりました。発表者の講演が事前に録画されているため、聞き逃した部分は何度でもビデオ再生することができ、オンライン開催ならではのメリットが感じられました。
IROS2020 は Technical Talks、Workshops andTutorials、Robot Competition の 大きく3 つのパートに分
かれています。Technical Talks では、主に基調講演や論文が採 択された人の発 表を閲 覧することができます。またTechnical Talks は 12 のカテゴリに区分され、各カテゴリの中でさらに複数のセッションが含まれています。自身の専門領域
外の研究も多くあり、興味のある研究発表を気軽に閲覧することができました。次に Workshops and Tutorials では、発表者だけでなく聴講をしている参加者も一緒に議論できる場

24 NEWSLETTER vol.09に説明していました。これは、環境から受け取った感覚信号と脳の予測器が予測した信号間の誤差を最小化し、脳の予測器を学習していく理論です。この理論に基づいて、人の社会性の発達と自閉スペクトラム症 (ASD)を例とした認知発達の多様性に焦点を当てていました。人の社会性の発達では、14カ月の乳幼児が人を助ける行動を例として挙げ、ミラーニューロ
ンが、行動の動機を支えているのではないかと提起していました。研究では、ロボットに感覚情報から物体に手を伸ばす行動を学習させ、学習したネットワークから未観測の感覚情報予測を可能にしており、ロボットに感情のカテゴリ獲得を可能にする研究も行っていました。次に認知発達の多様性では、社会性障害を持つ ASDを予測符号化によって発生原理を解明しようとしていました。上記のことを実現するために、ベイジアン
ベースの RNN により予測符号化を構築し、予測精度に関わるパラメータを変動させることで、ASD の性質が再現されるかを描画表現タスクで検証していました。結果として、パラメータを変動させると、変化させない場合と比較して、描画表現に明確な差が見られました。
最後に、オンライン開催ではありますが、初めての国際会議の聴講を通じて、自身の研究分野に関する情報を得る良い機会だったと思います。他にも興味のある論文が複数あるため、引き続き論文を読み進めたいと考えています。また、IROS に限らず自身の研究を国際学会へ投稿し、採択されるために研究を取り組んでいきたいと思います。

CoRL2020 参加記 Conference on Robot Learning 2020
山森 聡（京都大学 ATR 連携講座 博士後期課程２年

ATR 脳情報通信総合研究所 ブレインロボットインタフェース研究室）
CoRL はロボット工学と機械学習の交差点を焦点とした国際は自動運転におけるマルチエージェ会議であり、今年で 4 年目を迎える比較的新しい会議です。

ント強 化 学 習（MARL）の 検 証

両分野における近年の盛り上がりを反映し投稿数も年々増加

環 境を提 供 する上 海 交 通 大 学と傾向にあり、独自性のある注目されるコミュニティです。今年はHuawei の研 究です。自動 運 転はマサチューセッツで開催される予定でしたが、残念ながら新型

機械学習の適用が期待される分野ですが、これまで複数のコロナウィルス感染症の影響から現地での開催は行われず、AIドライバーによって操作される車が環境と相互作用しながらオンライン会議での開催となりました。

学習する環境が未発達でした。SMARTS によって今後新た©2020 Conference on
Robot Learning

オンライン会議の形式は PheedLoopを利用したポータルサな MARL の手法が提案された際に統一的で軽量な検証環

イトによって提供されており、個別のセッションごとにウェブ会議

境を提供されました。本研究はBest System Paperを受賞しサービスであるZoom へアクセスするという形式になっていましておりベンチマーク系の研究もCoRL の一つのトピックです。

た。この PheedLoop のポータルサイトがなかなかに便利で会

続いて、“Learning Latent Representations to Influence

議スケジュールの通知機能や他の参加者とのコミュニケーショ

Multi-Agent Interaction”はスタンフォード大学から提案されンツールなども備わっていました。また本会議自体は単一のた協調制御を実現する強化学習の手法です。人とロボット間のZoomリンクを通して基調講演やチュートリアル、オーラル発表

協調制御において人はロボットとは独自に動くためロボットからなどが提供されています。これらの講演は音声が講演者のみ見た場合に非定常な環境を持つマルチエージェントシステムとに許可されるため参加者の質問はチャット上で司会者へ送信なり単純な強化学習的枠組みでは扱えません。本研究では相後に司会者が代理で質問するという形式であり直接参加者が手（人間）の行動を潜在な方策と潜在空間を組み合わせた質問できない状況でした。しかし事前に質問を整理できるため戦略レベルの方策の２つに階層化し、ロボットが相手の潜在空

か、むしろ質問の数は多く活発な議論がなされている印象を間表現を学習することで、相手の戦略を予測し適応した行動受けました。一方で例年のポスターセッションは各発表者に割を選択できるように学習する手法です。これによって相手の行当てられた Zoomを通して発表者と参加者間での直接会話

動が完全には予想し得ない場合でも戦略レベルで協調し相手形式で提供されておりこちらでも活発な議論がなされていましの行動を変化させることができます。

た。すべての発表に関して事前に 3 分間のスポットライトが動最後に“Accelerating Reinforcement Learning with

画共有サイトYouTube に投稿されており、ポスターセッション

Learned Skill Priors”は南カルフォルニア大学から提案さというよりは事前に閲覧したスポットライトや論文における疑問

れた階層的強化学習による別タスクでの学習速度の高速化に点を直接質問する場として活用されていました。

関する研究です。強化学習ではデータサンプルに対する学習実際の会議における研究動向ですが今年の投稿数は 475

効率が課題ですが、この研究では以前に学習した方策におけ本で採択率は 34.74％でした。投稿数は昨年から20％上昇しる潜在的スキル空間を学習し、新たなタスクではスキルを選ぶており分野および学会への注目度が伺えます。また、採択率

方策を学習することで学習効率を高速化します。ここで、スキは低下傾向にありましたが 30％台を維持する傾向が見て取れ

ルの組み合わせを以前選ばれた組み合わせに近いものを選ます。論文のキーワードとしては投稿論文および採択論文とも択することで効率的な探索が可能になります。

に 20％前後の割合で強化学習が含まれており引き続きロボット

会議全体では同様の深層学習におけるオートエンコーダー

工学における強化学習への強い関心があることが伺えます。

を用いた潜在空間学習を方策だけではなく、報酬や状態空間

採択率が最も高い研究キーワードは 80% の割合で“Leggedに適用する例が多く見受けられました。深層学習のロボット工

Robot”であり、これは効果的な学習手法が検証対象に脚ロ

学への応用が多く見られますが、制御理論を基にした安定性

ボットを選択していることを示唆しています。同様にマニュピの保証やリーマン幾何と動力学モデルを駆使したプランニング

レーションや模倣学習を応用的に扱う論文も増加しており、実などの発表も注目されています。今後はこれらの分野統合や問題を志向した研究が評価されています。

体系化が志向されることを予感させるものでした。

ここからは個別の発表について取り上げます。
始めに“SMARTS: An Open-Source Scalable Multi-

今回の参加は本新学術領域による支援を受けています。貴重な機会を頂けたこと、感謝致します。

Agent RL Training School for Autonomous Driving”
NEWSLETTER vol.09 25

JNNS2020 Conference Highlights
by Carlos Enrique Gutierrez, post-doctoral scholar, Neural Computation Unit, OIST
challenges were debated (Osamu Sakura).
Engaging brain-hardware related talks displayed
not only the usual advantages on reduction of
power consumption and improvement of computing
performance, but advances on hardware architecture.
For instance, hardware inspired by the hippocampus
with strong implications on memory functions, suchas memory storing and recalling (Takashi Morie,
Katsumi Tateno, Hiroki Nakagawa and Kensuke
Takada). Besides that, noise, spike generation and cell
From December 2nd to 5th 2020, the Japanese Neural
Network Society conducted its 30th annual conference,
the JNNS2020, originally planned to take place in
Sendai city, in an online format (http://www.nanospin.
riec.tohoku.ac.jp/JNNS2020/). Posters and oral talks
were accessible on-demand, by videos and chatpanels, including live oral sessions as well.
Keynotes focused mainly on motor and sensory
systems of the brain, disclosing interesting results.
Evidence of the hierarchical organization in
the medial and lateral prefrontal cortex and its
implication on action-control captured interest(Hajime Mushiake); as well as the introduction ofbrain’s hyper-adaptability, interpreted as its adaptive
capability under impairment of sensory, motor andcognitive functions, with emphasis on the population
aging issue (Jun Ota).
Furthermore, intriguing experimental results, fromhumans and monkeys, of the default mode networkrole were featured, together with the identificationof the precuneus as the key area representing the“here”(the visual world in front) and the“now”(thepresent time, determined experimentally by verbal
stimulation). Discussions on that topic examined
links with consciousness (Shigeru Kitazawa). Finally,a particular keynote talk discussed the evolution ofscience and technology and its impact on society, by achronological timeline starting from the 17th century
to present day. Special highlights on the strengths
of Japanese technology as well as present and future

26 NEWSLETTER vol.09

function mimicked by nanomaterial-based moleculardevices captured special attention, since its potential
as“new land”for the development of neuromorphic
devices (Megumi Akai-Kasaya and Tetsuya Asai).
Further sessions presented a wide variety of
topics, from which I would like to highlight findings
on spatial features related to motor control. Suchis the case of arm motor skills dependency on thecoordination between eyes and arms, with links tomotor regions during planning and the representationof motor memories (Naotoshi Abekawa, Sho Ito andHiroaki Gomi); as well as conclusions on the standing
posture contribution on leg control during walking,performed by comparison of muscle activations forboth modalities (Chika Yamane, Tomoko Hioki, Shoko
Kaichida and Jun Nishii). Decision making models
were introduced likewise, for example, a reward andcuriosity decision-making model for a 2-choices task
based on the popular free-energy principle, analyzed
conservative-explorative behaviors based on curiosity
level (Yuki Konaka and Naoki Honda).
Our group had the opportunity to present a brain
simulation of the resting-state neural activity in aloop circuit of the cerebral cortex, basal ganglia,
cerebellum, and thalamus, using the state-ofthe-art“NEST”neural simulator. This work is acollaboration across several labs specialized onbrain modeling, and targets the investigation andunderstanding of the dynamic nature of the wholebrain network. The model’s code and simulation wereopened to the scientific community (https://github.

simulation challenges on Fugaku supercomputer.

com/oist/whole-brain-jp), since its aims to serve as a

On the last day of the conference, a satellite

platform for further investigation of brain functions.

symposium, the 9th RIEC International Symposium on

Moreover, large-scale simulations on the former

Brain Functions and Brain Computer, was held with

K-computer were introduced, together with full-brain

presentations in English.

Top: Graphical outline of the integrated whole-brain model. Its network structure makes up
more than 90% of neurons in the mammalian brain. Bottom: Screen capture during a largescale simulation displaying the neural activity of several types of spiking neurons.
NEWSLETTER vol.09 27

NeurIPS2020 参加記
古田 拓毅（東京大学 松尾研究室 修士 1 年）
2020 年 12 月6日から12日にかけてオンラインで開催されたて強化学習を行う問題設定の研究です。従来の強化学習

NeurIPS 2020 に参加してきました。NeurIPS は機械学習のでは学習に大量の相互作用を必要とし、現実世界でのロボッ

トップカンファレンスの 1 つとして数えられている国際会議であトなどへの応用には向かないといった欠点が指摘されていまり、今年度はカナダのバンクーバーでの開催が予定されていしたが、それを克服する可能性があるものとして近年盛んにましたが、COVID-19 の世界中での流行の影響もあり、オンラ

議論されている分野です。今回の NeurIPS2020 でも複数のインでの開催となりました。そのような状況下でありながら、今研究が発表されており、一部を挙げると、固定のデータセット

年は過去最高となる9454 本の論文が投稿され、その内の約を用いることで生じるDistributional Shift の影響を緩和する

20.1% にあたる1900 本が採択されました。前年度の投稿数“Conservative Q-Learning for Offline Reinforcement

が 6743 本、採択数は 1428 本であったことと比較しても、機械

Learning”が UC Berkeley から、モデルベースオフライン強学習分野の規模の拡大が依然として続いていることが窺える

化学習で生じるダイナミクスモデルの不確実性を考慮して学習

かと思います。オンラインでの開催ではありましたが、参加者する“MOPO: Model-based Offline Policy Optimization”

同士の交流を促すような工夫も随所にみられました。本記事でが Stanford University から、アルゴリズムを評価するためは、そんな NeurIPS2020 の様子を報告したいと思います。

のデータセットを作 成した“RL Unplugged: A Collection

NeurIPS2020 は事前に録画された動画と、著者とのライ

of Benchmarks for Offline Reinforcement Learning”

ブセッションを交えた形式でプログラムが進行していきました。

が DeepMind からそれぞれ発表されていました。また、UC

オーラルやスポットライトとして採択された論文は、プログラムでBerkeley の Sergey LevinとAviral Kumarらによるオフ決められた時間に事前に録画された動画が中継され、その後ライン強化学習のチュートリアルが企画されていたり、Offline

チャットとZoom 上でのリアルタイムの質疑応答が行われていま

Reinforcement Learning のワークショップが初めて開催されした。ポスター発表は GatherTownというレトロゲームのようなるなど、改めて分野の注目度の高さと盛り上がりを肌で感じる

ドット絵の仮想空間上でのオンライン交流ツールで行われましことができました。

た。GatherTown では、仮想空間上で近くにいる参加者と気そ の Offline Reinforcement Learning ワークショップと軽にビデオチャットできる機能があり、これを利用して著者と直Deep Reinforcement Learningワークショップに、筆者自身接会話することができます。ゲームのように直感的に操作する

も論文を投稿し、ポスター発表を行なってきました。これまで、ことができる上、仮想空間上の所々に遊び心が見られ、とてもオンライン上でのポスター発表経験がなかったため、少々緊張良い体験でした。

と不安を感じながらの参加でしたが、特に違和感なく他の研本会議で発表された論文の中で特に注目したいのが、オフ究者と交流ができ、非常に良い刺激を受けました。来年以降ライン強化学習と呼ばれる分野の研究です。オフライン強化の国際学会の現地開催の目処が未だ立たない中ではあります

学習は、通常の強化学習で行われるような環境との相互作

が、オンライン開催であっても積極的に参加していきたいと思い

用を一切許さず、事前に収集されたデータセットのみを用いました。

28 NEWSLETTER vol.09

イベント
報告

協賛イベント：第 28 回脳の世紀シンポジウム「依存症と脳」
小林 七彩（東京医科歯科大学 医学部 精神行動医科学分野 大学院生）
2020 年 9 月16日に「脳の世紀シンポジウム『依存症と脳』」

は意味がなく（今回のオンラインシンポジウムを視聴するだけでがオンラインで開催されました。様々な専門家の視点からみた

５，
６時間は優に超えます！）スマートフォンやインターネット、ゲー

依存症の現状と今後について、Web 上で誰もが無料で聴講

ムの適切な使い方、どのような状態が問題なのか、といった情できるという大変貴重な機会でした。

報を正しく伝えていかなければなりません。

津本忠治先生の開会の言葉にはじまり、おおたわ史絵先生

依存症は「性格の問題」「本人の意思が弱い」といった誤の衝撃的な依存症患者の家族としての体験談、依存症研究

解や、その問題行動の多さから、仕事、家族、学習の機会、の第一人者である池田和隆先生による、病態生理や今後の健康、社会的信頼、様々なものを失ってしまい、当事者に対し治療薬に関する可能性といった研究のお話、依存症治療や陰性感情を抱く人も少なくありません。失ったものが多いほど啓蒙活動の第一線でご活躍される松本俊彦先生による孤独回復には時間がかかるため、もう少し早く医療に繋がっていれの病としての依存症患者の臨床像、昨今話題となっている発

ば、ともどかしい思いをすることは多々あります。

達障害とスマホとの関連について、発達障害の分野でご活躍

依存対象の物質の摂取、または嗜癖行動を体験しなければされる神尾陽子先生、大隅典子先生のお話、脳画像でみる

病気になることはない、という因果関係ははっきりしているもの

ギャンブル障害についての高橋英彦先生のお話、座談会のなの、皆が依存症になるわけではなく、その個人差から臨床やかでは ATR の川人光男先生による電気通信会社との共同研研究が難しいと感じることも多いですが、先生方が御講演を通究やニューロフィードバック研究のお話もあり、最後は樋口輝

して、支援体制や、新しい依存症治療薬、バイオマーカーの

彦先生の閉会の言葉で閉幕するという、本当にご高名な先生探索など、今後の依存症医療の方向性を示し、期待を抱かせ方による、充実した内容のシンポジウムでした。

るシンポジウムでした。

特に印象的だったのは、高校時代に著書 「女医の花道」を愛読しており馴染みのあったおおたわ先生の、依存症当事者の家族としての体験談でした。お母様が鎮痛剤依存となり、体は注射痕だらけ、「やめたいのにやめられない」というその病態から、裏切られたという家族の悲しみ、憎しみは相当なものだと感じました。家族にはイネイブリングをやめなさい、と私自身も含め治療者は言いますが、暴力やより重大な犯罪に及ぶのではという懸念から、決して実践することは容易ではありません。また、そのような対応をしてもすぐに変化が訪れるわけではなく、依存症の当事者とつきあっていくには大変に忍耐と労力がかかることだと改めて実感しました。
川人先生や高橋先生から話題に上がった、電気通信会社と東京医科歯科大学が共同で行っているアプリを用いたス
マートフォン使用障害の患者を対象とした臨床研究に関しては私自身も関与している課題であり話題にしていただき嬉しく思います。家庭内暴力や数百万の課金トラブルなど、深刻な問題を抱えている方がいる一方で、親御さんが過剰に心配され、何ら社会機能障害のない方が単に長時間使用というだけで受診することもあります。コロナ感染症の流行により、インター
ネット、電気通信機器の需要はますます高まっている昨今、神尾先生のご講演の中でもあったように闇雲に制限するというの

NEWSLETTER vol.09 29

第 9 回領域会議参加記
佐藤 寛紀（東京大学 池上高志研究室 博士課程 学生）

丸山 透（東京大学 池上高志研究室 博士課程 学生）

2020 年 10 月13、14日の 2日間に渡り、第９回領域会議がオ

元々美術大学の出身だった私にとって、博士課程 1 年目でもンライン上で開催されました。私は新学術領域研究 「人工知あった昨年は入学と同時に Covid-19 による大学のオンライン

能と脳科学」の領域会議に参加させていただくのは今回が初化が始まり、ガイダンスや研究室でのコミュニケーションなどのめてでしたが、多くの発表・議論に刺激を受け、濃密な２日間少ない厳しい環境でのスタートとなりました。この一年は新しいとなりました。

分野の知見や作法などを学ぶ期間となり、そのような環境の中中でも、特に私が興味を持ったのは松尾豊先生の発表でしで、学会のオンライン化によって参加のハードルが下がったことた。その発表の中で、松尾先生は動物 OSと言語アプリのアイ

は、（発表、質疑などに慣れる、と言う機会は逸したものの）幅ディアについて言及され、それを基にした構想をお話しになりま

広い知見を得る良き機会となったと思っております。

した。私は進化学を専門とし、知能・脳に関してはその進化

特に本領域会議は、人工知能と脳科学、と言う門外漢から的側面について関心があり、今回の会議に参加させていただ

すればとても近しい学問領域のように思えますが、改めて発表

いたのですが、生命がその進化の中でどのように動物 OSをを拝聴させていただくと、それぞれの分野は大きく異なることに発展させ、言語アプリを獲得したのかは非常に興味深いテー

重点を置いていることがわかってきました。言うなれば、音楽とマのように思えます。発表後、私は動物 OS が存在すると仮定

音響学のように。

した場合、それは神経系上でどのように実装可能か（もしくは私自身の興味としては、表象の世界で創作活動をしてい創発的に出現するのか）？その為にはどのようなハードが必要たこともあり、表象設置問題に関する興味が強く、庄野先生か？その OS はどのようなアプリを実行可能か？そして、それらの「視覚心理に基づくテクスチャ特徴表現と深層特徴表現ののハードとソフト（OS、アプリ）はどのように進化的に獲得しうマッピング」、また、研究室内で時間生成に関する研究を分担るか？など考えを巡らせました。

している都合、小松先生の「予測の神経基盤：広域皮質脳本会議が開催された 2020 年 10 月には、既にコロナウイルスのパンデミック下での活動に慣れてきたという面があると思わ波における時空間構造」の二つの発表が強く印象に残っています。

れ、オンライン開催であっても発表・議論はある程度滞りなく行内容に関しては、「ひとつわからない単語を調べると、５つくわれていたように思えます。しかし、コーヒー・ブレイク中の雑らいわからない単語が出てくる」というような自身の状況を鑑談のような会議らしい要素が欠け、また、全てが画面の中で行み、深く触れることはあえて避けようと思いますが、ともあれオ

われることに起因すると思われる全体的な単調さがあったこと

ンラインでのこのような会議は、ディスカッションや複数人でのコも否めません。この原稿執筆中の 2021 年 1 月現在、パンデミッ

ミュニケーションの難しさ、と言うものはあるものの、情報へのア

クには収束の気配はなく、国内に関してはより状況の深刻度

クセスのしやすさ、調べながら聞くことの容易さなどの良い側が増しているという現状を鑑みると、会議・学会のオンライン上

面もあるように思います。

での開催は今後もしばらく続きそうです。本会議の内容とは離特に研究というものの性質上、様々な国、地域に住む方々

れてしまいますが、オンライン会議・学会の手法開発は、活発の知見が Face to face で集まる、という部分が現在の世界のな研究活動を維持する為には急務のように感じられました。

情勢では難しくなってしまっている状況で、これからどのようなオンラインでの会議がありうるのか、ということは、自身も微力ながら考えていきたいです。

30 NEWSLETTER vol.09

第 8 回神経法学研究会
谷口 忠大（立命館大学 教授）
人の近代社会は法律によって整えられて、教育活動も経済して話題提供を、というリクエストに応えて、人工知能と脳科

活動も法の支配の下で行われています。私たちはそういう世学の相互作用の歴史や、意思決定の理論である強化学習の界に住んでいるわけです。人工知能の視点から考えれば、言神経基盤などが解説されました。さらに自律的な人間主体に語を学習しその意味を理解する人工知能やロボットを作ること

よる社会を形作る法学との関係性から、そのあと特に自律性すら難しいのに、法律を作りそれを社会（マルチエージェントと社会性に関して自律性 AI エージェントの驚異や、人間社会

システム）全体で守っていく人工知能を作るなんてチャレンジン

に AI は何を学ぶかといった話題を提供されました。特に「自グすぎる問題です。さて、そこまでの話にはなかなか行かない

律 AI が危険だというが、そもそも人間も危険な存在である。

ものの、人工知能や神経科学と法学の接点は多様に存在し公選任期制や独占禁止法、学問においてはピアレビューなど始めています。人工知能と脳科学（神経科学）の融合を行う

様々な精度や法律によって乗り越えてきた。それに学ぶべきのが本新学術領域であるように、法学と神経科学の接点を対だ」というメッセージは大変示唆的でした。

象としてその融合研究を推進する研究会があります。筆者の質問では少年非行に関わって意思決定に関わる前頭前野

所属大学である立命館大学の山口直也教授（法務研究科）の機能に関する実験結果の解釈や、自殺や犯罪の行動の抑が主宰されている神経法学研究会に参加させていただきまし制に関わる脳機能の計算論的解釈、虐待によって変容したかた。この研究会は山口先生の科研費・基盤研究 (B)「 わがもしれない脳機能の検診に関わる質問など法律や裁判の内国における神経法学の基盤的研究－法学・医学・心理学の容に直結した学際的な質問が沢山と出ました。またより具体協働－」を母体とした研究会です。その第８回研究会に、本的に、二光子顕微鏡を用いた実験に関わる着色の方法や神新学術領域代表の銅谷賢治先生が話題提供者として招待さ

経修飾物質の影響が時間スケールに関わってどう変わるのか

れ、連れ立って私も参加させていただきました。同じ立命館大

いったテクニカルな質問もありました。常日頃から持っている脳学の教員なので、本来ならば私が銅谷先生と山口先生をお繋科学や人工知能への光の当て方とはまたことなる視点に、「そぎすべきところだったのですが、むしろ今回は銅谷先生に私とういう視点か。確かにそういう問題があるのだな」と新たな気山口先生を媒介いただいた格好です。

づきを与えられました。

情報系の学生などは法律とはまるでアルゴリズミックなルール

人工知能と脳科学（神経科学）の対照と融合を目指す本として存在しているような誤解を持ちがちですが、脳に支えら

新学術領域ではありますが、人工知能と脳科学の融合とそのれた人間の認知や意思決定と法律の世界とは切っても切れな

発展は、神経法学を始めとして、人間の認知に関わるあらゆ

い関係にあります。神経法学では刑事法領域での刑事責任る分野に接点を形成し無限の広がりを成しています。新学術論、捜査（取調べ）段階における被疑者・参考人の心理過程、

領域 「人工知能と脳科学の対照と融合」は今年度で終了し刑事裁判における目撃者の証言の信用性の問題など、人間

ますが、本プロジェクトに参画した研究者の中にはその広がりの意思決定を基盤にする法的課題を脳科学、神経科学、認の中へと探索の歩みを進める研究者も多くいるでしょう。神経知心理学などと協働しつつ学際的に研究されています。

法学はそのようなフロンティアの一つなのかもしれません。

オンライン開催となった第 8 回神経法学研究会には２０人を超える参加者が参加し、Zoomミーティング形式でのアットホー
ムな雰囲気の研究会が始まりました。冒頭に山口先生から研究会の趣旨説明があり、その後、順に参加者全員が一言ずつ自己紹介をしていきました。各大学の法律系心理系の研究者のみならず、弁護士や検事といった実務家の参加者もおられました。当該新学術領域からは銅谷先生と私の他に、五味先生、疋田先生、大関先生、内部先生、松本先生などが参加されていました。それら導入の後、銅谷先生が『人工知能と脳科学の融合と社会 』という題目で講演を開始。
「人工知能の現在」や「脳科学と人工知能の関係性」といった点に関NEWSLETTER vol.09 31

イベント情報主催イベント
第 10 回領域会議
日程：2021.3.6-8
場所：オンライン開催「人工知能と脳科学」
カルシウムイメージングワークショップ
日程：2021.3.20
場所：オンライン開催
脳と心のメカニズム第 21 回冬のワークショップ
日程：2022.1 予定
場所：北海道、ルスツリゾートホテル

発行／編集

新学術領域研究 「人工知能と脳科学の対照と融合」

お問い合わせ

新学術領域研究 「人工知能と脳科学の対照と融合」事務局
Mail ncus@oist.jp
2021 年 3 月発行

www.brain-ai.jp