第35回全脳アーキテクチャ勉強会

趣旨説明
BRA構築方法論に基づいた眼球運動機能の知識整理早稲田大学データ科学センター
全脳アーキテクチャ・イニシアティブ
田和辻 可昌目次
 自己紹介 本勉強会開催趣旨
 WBAIにおける脳参照アーキテクチャの取り組み
 BRA開発設計とはなにか 眼球運動に関連する近年の取り組み

自己紹介

自己紹介
 氏名
 田和辻可昌（TAWATSUJI Yoshimasa）

 略歴
 早稲田大学 大学院人間科学研究科 博士後期課程 単位取得退学
 指導教員：松居 辰則 先生（知識情報科学・感性情報科学）
 学位：博士（人間科学）

 早稲田大学 人間科学部 助手（2017年～）
 早稲田大学 グローバルエデュケーションセンター 講師（2019年～）
 早稲田大学 データ科学センター 講師（2022年～）

 専門
 ヒューマン・コンピュータ・インタラクション（HAI）
 知識情報科学，感性情報科学

「不気味の谷」現象
 類似度と親和度の非単調増加関係
親和度

健康人
動作の伴う方がグラフの起伏は大きくなる

ぬいぐるみ

人間型ロボット
工業用ロボット

O類似度

不気味の谷
（Uncanny Valley）(森 1970)を参考に作成

心理実験に基づく定性的な脳機能モデル（田和辻ら 2015；人工知能学会論文誌）

 視線停留時間の差の増加と二つの情報処理の齟齬
時間経過とともに差が広がる傾向⇒高次プロセスで差が生み出される[LeDoux, 96]の図を参考に作成

(3)

(1)

(2)

快・不快
評価が振動

形態的異常度が小さい

形態的異常度が大きい(4)心理実験に基づく定性的な脳機能モデル（田和辻ら 2015；人工知能学会論文誌）

 視線停留時間の差の増加と二つの情報処理の齟齬
時間経過とともに差が広がる傾向

・神経系の知見は膨大⇒高次プロセスで差が生み出される・一つの脳器官でも多くの機能に関係している・膨大な脳器官（構造）と脳機能を何とか一貫した形で整理できないものか？

[LeDoux, 96]の図を参考に作成

(3)

(1)

(2)

快・不快
評価が振動

形態的異常度が小さい

形態的異常度が大きい(4)オントロジーに基づく脳情報処理の体系的整理の枠組み[田和辻ら，2018; AGI研究会]

 脳神経系の機能に関する体系的整理の枠組みの必要性 神経系の振舞いと機能の間の関係を知識として体系的に整理したい
人間が対象世界をどのように見ているかという根源的な問題意識をもって物事をその成り立ちから解き明かし，それをコンピュータと人間が理解を共有できるように書き記したもの（溝口 05）

オントロジー

解剖学的・生理学的知見に基づく挙動推論
挙動に関する知識 ・活性伝播- 興奮性・抑制性（Behavior）

コンピュータ可読な形で体系的に整理構造に関する知識（Structure）

機能での役割・細胞群（神経核や皮質）・細胞群間の結合投射関係

神経科学 × 知識科学

実験的に得られた知識細胞群A活動パターン
伝播

細胞群B

オントロジーに基づく脳情報処理の体系的整理の枠組み[田和辻ら，2018; AGI研究会]

 脳神経系の機能に関する体系的整理の枠組みの必要性 神経系の振舞いと機能の間の関係を知識として体系的に整理したい
人間が対象世界をどのように見ているかという根源的な問題意識をもって物事をその成り立ちから解き明かし，それをコンピュータと人間が理解を共有できるように書き記したもの（溝口 05）

実験的に得られた知識

脳の設計・開発におけるオントロジーの役割に関心

オントロジー

細胞群A

解剖学的・生理学的知見に基づく挙動推論

機能でのWBAにおける全脳の設計・開発に参画
挙動に関する知識 ・活性伝播（Behavior）

コンピュータ可読な形で体系的に整理構造に関する知識（Structure）

役割- 興奮性・抑制性・細胞群（神経核や皮質）・細胞群間の結合投射関係

神経科学 × 知識科学

活動パターン
伝播

細胞群B

趣旨説明

視覚／眼球（運動）広い動物種に渡って共通の器官の一つ・外界の視覚的認識
・注意先の捕捉／維持
・興味／関心・視覚的探索
・社会的なシグナル（共同注意など）

AGIにとって多様な機能を実現する上で欠かせない器官

基本的な眼球運動
眼球運動の名称説明

Saccade
衝動性眼球運動

周辺視野に見える対象を中心視野に捉える際に起きる運動（周辺視野では視力は低下する）

Smooth pursuit追従性眼球運動

意識的に選択した移動する物体などを中心視野でとらえ続けるときにおこる滑らかな眼球運動

Vestibular Optic Response
前庭動眼反射頭部が空間に対して動いた場合に，空間に対する眼球の向きを一定に保つように，頭部の動きと反対方向に生じる眼球運動

Optokinetic Nystagmus
視運動性眼振視覚的外界の全体の動きにより誘発される眼球運動．自動車や列車から景色を眺めているときに起こる

Vergence輻輳開散運動上下左右遠近に移動する対象を両目で捉えるための眼球運動．ちなみに近い物体では両目が寄り，遠い物体では両目が離れる．

Fixation固視

静止した視覚像を網膜の同じ場所に写し続けると順応して見えなくなる．
それを避けるために固視微動という微細な眼球運動をしている．

全脳アーキテクチャハッカソン説明会資料より

眼球運動に関わる脳器官
・脳の多領域が関与
・神経基盤の知見が豊富
眼筋の制御

・大脳皮質の様々な領域
・大脳基底核
・小脳

視交叉
外側膝状体

間脳上丘

脳幹
視覚野

眼球運動に関わる脳器官６つの眼筋によって眼球は制御されている・大脳皮質の様々な領域
・大脳基底核・小脳眼筋の制御

上直筋

視交叉

上斜筋

外側膝状体

間脳外直筋

内直筋
上丘下斜筋
下直筋

脳幹
視覚野

第4回WBAハッカソン：「AIにまなざしを」眼球運動タスクを基底核による強化学習で解く
・2018年10月6日～10月8日
・7チーム（25名）参加
・あらかじめ提供されたサンプルコードを改良し，様々な認知タスクを実行できる脳型アーキテク
チャの実装を目指した

引用：https://wba-initiative.org/3401/

いかに脳を工学的に設計するか設計するためには「設計書」が必要
 要求仕様，構想の設計
 要件定義およびその具体化：機能の明示

 外部設計 外部から見てどのように動作するかを設計

 内部設計 システム内部がどのように動作するかを設計

人工物・ソフトウェアの設計における特徴
・機能（目標）が設定され，機能の分解によって具体化
・内部設計において達成可能な部品レベルまで詳細化
https://www.ipros.jp/technote/basic-mechanical-design2/

いかに脳を工学的に設計するか設計するためには「設計書」が必要
 要求仕様，構想の設計
タスクの設定：ヒト（動物）は何を達成するか？
 要件定義およびその具体化：機能の明示

 外部設計外部仕様：それはどのように行動として表れるか？
 外部から見てどのように動作するかを設計
 内部設計内部仕様：どのような構造がどのように関与するか システム内部がどのように動作するかを設計
脳型ソフトウェア設計における特徴・部品の非自明性：どの構造が機能的な部品であるか？
→ Reverse-engineering [Yamakawa 21]

眼球運動を取り扱う領域ごとの固有の定義
 眼球運動に関連する研究は広く取り扱われている 多様な領域が各領域・各研究において 注目する機能の設定
 外部仕様の設定
工学
 内部仕様の設定は個別的に行われる（特に，分野が横断する場合）．
神経科学
生理学・解剖学

内部仕様の詳細に関わる研究から外部仕様と部品の関係に関わる研究まで多様な研究を見渡し統合していく必要がある

心理学
行動科学

本勉強会の狙い 眼球運動に関わる多様な研究領域の知見をいかに統合するか，また，人間の眼に「近い」機能を実現する脳型ソフトウェア構築への道筋を示したい 考えなければならないこと
 脳の機能要件とはどのように与えるべきだろうか その定義（「脳の機能」）とは何だろうか
 タスクと機能はどのように関連しているだろうか 設定した機能はどのように統合していくべきだろうか どの粒度の構造まで注目するべきであろうか
 どのように実装を考えるべきであろうか
 採用するモデルは？

 眼球運動特有の難しさ，有益性はあるだろうか御講演いただく先生
高橋 真有先生（東京医科歯科大学 大学院医歯学総合研究科システム神経生理学）

演題：「随意性急速眼球運動の神経回路と脳内基準座標」

小川 正先生（京都大学 高等研究院 ヒト生物学高等研究拠点（ASHBi））

演題：「知的な問題解決能力の神経メカニズムを探る」
ー試行錯誤によって未知問題を解決するときの前頭前野機能ーBRA構築方法論に基づいた眼球運動機能の知識整理

いかに脳を工学的に設計するか(再掲)設計するためには「設計書」が必要
 要求仕様，構想の設計
 要件定義およびその具体化：機能の明示

 外部設計 外部から見てどのように動作するかを設計

 内部設計 システム内部がどのように動作するかを設計

脳型ソフトウェア設計における特徴
・部品の非自明性：どの構造が機能的な部品であるか？
→ Reverse-engineering [Yamakawa 21]

自然物を参考にしたアーキテクチャの設計
 合目的的な自然物の解釈
 要件定義での「機能」は人が与える
Ref. NI-Goals[Mizoguchi 09]
自然物

手の例：
多様な機能を実現可能：
1. 把持
2. 勘定
3. 指示…

設
計？

自然物を参考にしたアーキテクチャの設計
 機能分解 目的を達成する部品と各機能（役割）とを対応付ける
自然物

手の例：
多様な機能を実現可能：
1. 把持
2. 勘定
3. 指示…

設計

把持する内側に動かす固定する自然物を参考にしたアーキテクチャの設計
 機能分解 目的を達成する部品と各機能（役割）を対応付ける
自然物

手の例：
多様な機能を実現可能：
1. 把持
2. 勘定
3. 指示
…
構造に対応可能な機能分解が必要

親指の役割

設
計
粒度

設
計

把持する・・・「手」に近づけるためには「手」の構造に沿った分解が必要
人差し指の役割

自然物を参考にしたアーキテクチャの設計
 機能分解 目的を達成する部品と各機能（役割）を対応付ける
自然物

手の例：
設
多様な機能を実現可能：
計
設
1. 把持
粒計
度
2. 勘定
3. 指示
…
合目的的自然物
構造に対応可能な「手」に近づけるためには機能分解が必要 （Purposeful Natural Object）「手」の構造に沿った分解把持する

親指の役割・・・が必要
人差し指の役割

設計・開発の観点[田和辻ら，2021; JSAI大会]

 PNO （Purposeful Natural Object）設計における３つの階層性
 自然物を合目的的に解釈： 機能的階層性(φ)から物理的階層性(f)を分離

 ソフトウェアによる開発：
 機能的階層性(f)からcode的階層性(c)を分離

・各階層は全体-部分の関係・構造(S)，振舞い(B)，プロセス(P)を有する
e.g. φS：physical Structure
fB：functional Behavior※プロセス：
一連の順序付けられた振る舞い

機能的階層性（f: function）

code的階層性（c: coded）

物理的階層性（φ: physical）

設計対象を機能のレベルで捉える階層ソフトウェアとしてcodeレベルで捉える階層自然物を物理的レベルで捉える階層

PNO設計の第一ステップ
 物理的階層性(φ)⇒機能的階層性(f) 機能的階層性：物理的階層性における自然物を合目的的に解釈する階層性 φS，φB, φPに対応づくようにfS, fB, fPを決定▶多元的な機能の割り当てが可能

・各階層は全体-部分の関係・構造(S)，振舞い(B)，プロセス(P)を有する
e.g. φS：physical Structure
fB：functional Behavior※プロセス：
一連の順序付けられた振る舞い

機能的階層性（f: function）

code的階層性（c: coded）

物理的階層性（φ: physical）

設計対象を機能のレベルで捉える階層ソフトウェアとしてcodeレベルで捉える階層自然物を物理的レベルで捉える階層

PNO設計の第二ステップ
 機能的階層性(f)⇒code的階層性(c) コード化作業によるソフトウェアへの実装
 物理的階層性とは異なる実質的階層性

・各階層は全体-部分の関係・構造(S)，振舞い(B)，プロセス(P)を有する
e.g. φS：physical Structure
fB：functional Behavior※プロセス：
一連の順序付けられた振る舞い

機能的階層性（f: function）

code的階層性（c: coded）

物理的階層性（φ: physical）

設計対象を機能のレベルで捉える階層ソフトウェアとしてcodeレベルで捉える階層

自然物を物理的レベルで捉える階層

PNO設計の有用性
 既往の神経系シミュレーション研究の位置づけ
 物理的階層性（φ）⇒code的階層性（c）
PNO設計（φ⇒f⇒c）は機能的階層性を介しているため，得られる振舞いの機能的解釈が容易

・各階層は全体-部分の関係・構造(S)，振舞い(B)，プロセス(P)を有する
e.g. φS：physical Structure
fB：functional Behavior※プロセス：一連の順序付けられた振る舞い

機能的階層性（f: function）

code的階層性（c: coded）

物理的階層性（φ: physical）

設計対象を機能のレベルで捉える階層

ソフトウェアとしてcodeレベルで捉える階層

自然物を物理的レベルで捉える階層

WBAにおける脳の開発と設計の枠組み[田和辻ら，2021; JSAI大会]

 PNO設計の観点から見た脳型アーキテクチャの設計開発
 SCID法[Yamakawa 21]Functional decomposition

 物理的階層性である脳神経系を合目的的に解釈 機能的階層性において最上位機能を物理的階層性に整合するように部分機能へ分解
機能的構造
最上位機能

部分機能

対応

コンポーネント

分解の制約

部分機能

部分機能

部分機能

機能的階層性コンポーネントコンポーネント

物理的階層性BRA (Brain Reference Architecture)
特定の脳領域（ROI）が担う計算機能をメゾスコピックレベルの解剖学的構造に対して整合的に分解する

Yamakawa, H.: The whole brain architecture approach: Accelerating the development of artificial general intelligenceby referring to the brain, Neural Networks, 144, 478-495 (2021)

BIF (Brain Information Flow)
Circuits (node)- IDは Allen Developing Human Brain Atlasに基づく- https://atlas.brain-map.org/

Connection (link)

Uniform circuits:group of neurons that can be regarded as
encoding the same type of meaning function

Current BRA of oculomotor

設計・開発のアプローチ

Step I・眼球運動を実現する構造や機能を神経科学的知見から抽出
・回路図の作成

Step II・ROIとそれに対応する最上位機能の決定
・各入出力信号のセマンティクスを決定・各神経核が有する機能を，構造的制約条件の下で矛盾なく決定

Step III・妥当性の検証：既存の神経科学的知見との照合Neural basis of oculomotor
SC

Superior colliculus(r:rostral/c:caudal,
S:superficial/I:intermediate layer)

cMRF

Central mesencephalic reticular formation

RIPRaphe interpositus nucleus

FFNuclues of the field of Forel

InC

Interstitial nucleus of Cajal

PPRF

Paramedian pontine reticular formation

PPRM
F

Paramedian pontomedullary reticularformation

3NOculomotor nucleus

4N

Trochlear nucleus

6N

Abducens nucleus

SR

Superior rectus

SO

Superior obliqueLR

Lateral rectus

IO

Inferior oblique

IR

Inferior rectus

MR

Medial rectus

CBCerebellum

Fas

Fastigial nucleus

CBV

Cerebellar vermis

NRTP

Nucleus reticularis tegmenti pontis

Vest.N

Vestibular nuclei in pons

先行研究をもとに抽出された回路図

Vergence

Neural basis of oculomotor
SCSuperior colliculus(r:rostral/c:caudal,
S:superficial/I:intermediate layer)

cMRF

Central mesencephalic reticular formation

RIPRaphe interpositus nucleus

FF

Nuclues of the field of Forel

InC

Interstitial nucleus of Cajal

PPRF

Paramedian pontine reticular formation

PPRM
F

Paramedian pontomedullary reticularformation

3N

Oculomotor nucleus

4N

Trochlear nucleus

6N

Abducens nucleus

SR

Superior rectus

SO

Superior obliqueLR

Lateral rectus

IO

Inferior oblique

IR

Inferior rectus

MR

Medial rectus

CBCerebellum

Fas

Fastigial nucleus

CBV

Cerebellar vermis

NRTPNucleus reticularis tegmenti pontis

Vest.N

Vestibular nuclei in pons大脳新皮質

大脳基底核

上丘

小脳

脳幹

VergenceTentative BRA data: Oculomotor.bra

Please access and comments:
https://bit.ly/2VaXu0m

衝動性眼球運動
上丘（Superior Colliculus）↑垂直系サッケードの神経回路

水平系サッケードの神経回路→[Tawatsuji et al. 20; Sympo. AIBS2020]

BIFで定義された記述の枠組みに基づいて知識を記述

衝動性眼球運動

BIFで定義された記述の枠組みに基づいて知識を記述

上丘（Superior Colliculus）←垂直系サッケードの神経回路

水平系サッケードの神経回路→

対象とする領域，TLFを決定する
TLF（Top Level Function）
様々なTargetを中心窩で捕捉・維持
衝動性眼球運動：間欠的に周辺視野におけるTargetを中心窩で素早く捉える
滑動性眼球運動：運動するTargetに合わせて中心窩を滑らかに変化させて維持
固視：静止しているTargetを中心窩に維持
位置信号

停止信号制御信号[田和辻ら. 20; NC研究会]

φに基づいた機能(f)の分解TLF（Top Level Function）
様々なTargetを中心窩で捕捉・維持
衝動性眼球運動：間欠的に周辺視野におけるTargetを中心窩で素早く捉える
滑動性眼球運動：運動するTargetに合わせて中心窩を滑らかに変化させて維持
固視：静止しているTargetを中心窩に維持
位置信号

停止情報

位置情報から司令信号へ変換する領域

対応する眼筋運動を制御する領域[田和辻ら. 20; NC研究会]

φに基づいた機能(f)の分解
TLF（Top Level Function）
様々なTargetを中心窩で捕捉・維持
衝動性眼球運動：間欠的に周辺視野におけるTargetを中心窩で素早く捉える
滑動性眼球運動：運動するTargetに合わせて中心窩を滑らかに変化させて維持
固視：静止しているTargetを中心窩に維持
位置信号

停止情報

位置情報から司令信号へ変換する領域
ROI1内で興奮性の出力を有するFFが司令信号への変換の役割を担う※InCは対側のFFの抑制を担う対応する眼筋運動を制御する領域[田和辻ら. 20; NC研究会]

本設計アプローチに残された課題
 機能をいかに統合するか
 設定されたROIおよび（最上位）機能以外については検討しない
 このため統合可能性は別途考える必要がある

 対象とするROIや機能の設定基準
 対象の神経回路網が比較的に明らかになっているかなど

どの機能から手を付けるべきかに関するロードマップが必要脳型眼球アーキテクチャ設計における課題
 情報表現の問題
 各神経核は情報をどのように表現しているのだろうか 眼球運動に関わる参照構造粒度の問題
 どの粒度まで細かく設定する必要があるのだろうか

 脳機能の定義及びその設定の問題
 設定した機能の統合の問題
 実装における標準的なモデルはあるだろうか Artificial Neural Network
 Izhikevich/Hodgkin-Huxley etc