第4回 WBAレクチャー[オンライン]

2021/11/17

脳のコンポーネント図の作り方：
プロセス間関係の整理と確率モデルによる記述

第2部 確率モデルによる脳のコンポーネント図の作り方

確率的生成モデルへの変換方法と実例紹介

立命館大学情報理工学部
講師 谷口 彰

自己紹介
氏名： 谷口 彰
職位：講師
所属： 立命館大学 情報理工学部 創発システム研究室
略歴◆ 2013年 3月 立命館大学 情報理工学部 知能情報学科 卒業 学士（工学）◆ 2015年 3月 立命館大学大学院 情報理工学研究科 博士前期課程 修了 修士（工学）◆ 2018年 3月 立命館大学大学院 情報理工学研究科 博士後期課程 修了 博士（工学）◆ 2015年 5月～2017年 3月 立命館大学 総合科学技術研究機構 リサーチアシスタント◆ 2016年 4月～2016年 7月 Visiting research student, Centre for Robotics and Neural Systems
Research Group, Plymouth University, U.K.
◆ 2017年 4月～2019年 3月 日本学術振興会 特別研究員 (DC2, PD)◆ 2019年 4月～2022年 3月 立命館大学 情報理工学部 特任助教
◆ 2022年 4月～
立命館大学 情報理工学部 講師

主な研究テーマ：「確率的生成モデルに基づくロボットによる場所概念および語彙の獲得」➢ 位置情報・言語情報・画像情報といったマルチモーダル情報から，教師なし機械学習手法により場所概念（場所のカテゴリ）や場所に関する語彙の獲得を目指す研究．
➢ 記号創発ロボティクス・機械学習・知能ロボット

2

本レクチャーの全体構成

足場の上にPGMを構築する(谷口)●PGM作成(GIPA)●HCD作成3

目次
1. これまでの取り組み紹介
2. BRAとしての確率的生成モデル（PGM）構築：GIPA
3. HF-PGM：海馬体を参照した確率的生成モデル
1. 海馬体の脳科学的知見
2. HF-PGMのグラフィカルモデル

4. 音声言語の二重分節解析を担う確率的生成モデル
1. 聴覚野・言語野の脳科学的知見
2. DAA-PGMのグラフィカルモデル

5. まとめ
今回の発表の論文URL：• Hippocampal formation-inspired probabilistic generative model• https://www.sciencedirect.com/science/article/pii/S0893608022001332• Brain-inspired probabilistic generative model for double articulation analysis of spoken language• https://arxiv.org/abs/2207.02457

4

BRAアプローチ以外のこれまでの取り組み
5これまでの取り組み：研究背景• 人間の様々な生活環境で動作するロボットは，未知環境において適応的に場所概念（場所のカテゴリ知識）や語彙を学習することが求められる．
– 対象の範囲が明確ではなく，環境や人によって異なる場所概念を事前に人手で設計することは難しい．
– ロボットが自らの経験を元に自律的に概念を形成する必要がある．
音声言語（場所の名前）“きっちん”“だいどころ”“おかって”
このあたり？

視覚情報（場所の画像特徴）

位置分布（空間的な広がり）

マルチモーダル情報に基づく場所概念

6

SpCoSLAM [Taniguchi 17]
マルチモーダル情報に基づくノンパラメトリックベイズモデルとSimultaneous Localization And Mapping(SLAM) 、語彙獲得の統合モデル
未知環境下からの地図・場所概念・語彙の逐次学習が可能

SLAM

mzt −1

自己位置推定 ut −1

位置分布(ガウス分布)utkV0 , 0 k

ut +1

xt

xt −1

m0 ,  0zt

地図zt +1x t +1

it

l



Ctftl 画像

マルチモーダル
カテゴリゼーション

StWlAMytLM



∞



∞

場所

 単語


“Third table”“Meeting space”

音声認識・語彙獲得[Taniguchi 17] Taniguchi, A., et al. : Online Spatial Concept and Lexical Acquisition with
Simultaneous Localization and Mapping, IEEE/RSJ IROS, pp. 811-818 (2017)7

場所概念を用いた確率推論に基づく音声命令からのパスプランニング• SpCoNavi：確率的生成モデルに基づく音声命令からの経路計画– Control as probabilistic inference（確率推論による制御）に基づく軌道の確率
推論– 音声発話命令 𝑦𝑡 をゴールシグナルを表す観測変数であるとみなす• ロボットが自律的に獲得した場所の概念・語彙を活用• ゴールとして地図上の座標点を指定する必要がなく、人の音声命令から目的地までのナビゲーションが可能
Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi, and Tetsunari Inamura, "Spatial Concept-Based Navigation with Human Speech Instructions via
Probabilistic Inference on Bayesian Generative Model." Advanced Robotics, Vol. 34, No.19, pp.1213-1228, Sep, 2020.

8

Spatial Concept-based Topometric Semantic Mapping for
Hierarchical Path-planning from Speech Instructions
Hierarchical spatial representation provides
a mutually understandable form for humans
and robots to render language-basednavigation tasks feasible.

(Preprint)
https://arxiv.org/abs/2203.10820

9

SpCoAE：

Spatial Concept Formation with
Information Gain-based Active Exploration◼ 場所概念形成の確率的生成モデルにおいて，パーティクルフィルタよる
オンライン学習と情報利得(Information Gain; IG) 最大化に基づく能動的な探索を組み合わせた能動学習手法 SpCoAE を提案
この場所の名前をオンライン学習による場所概念の形成
IGが最大となる探索候補点を選択教えてくださいWordinformation

能動的な探索による場所概念形成の流れ
移動先決定“This place isliving room.”

移動マルチモーダル
情報の収集観測する位置の選択
Position
information

𝑥, 𝑦 = (1.8, −2.0)

ロボットによる能動的な探索
ロボットの位置＋

ユーザによる名前の発話

場所概念のオンライン学習
https://arxiv.org/abs/2211.1093410

創発システム研究室での取り組み：事例紹介

場所概念に基づく曖昧な命令からの推論

ロボットの内部知識の可視化

場所概念に基づくセマンティックマッピング

場所概念の学習と他の環境への転移

11BRAとしての確率的生成モデル（PGM）
構築のための変換方法
12全脳確率的生成モデル(WB-PGM)
Whole brain Probabilistic Generative Model• PGMによる全脳アーキテクチャ構成のためのパースペクティブ
論文 [Taniguchi et. al., 2021]• 目的– 汎用人工知能（AGI）の実現– 人の脳に学び、脳を模した認知アーキテクチャの構築– 確率的生成モデルを用いた統合的認知システムの構築•Research Question– どのような認知モジュールを実装するべきか？
– それらをどのように統合させ連携されればよいか？

•以下の2つのアプローチを組み合わせることで、これらの疑問に答える。
1.
2.

脳にインスパイアされたAI：人間レベルの知能を創り出すために、人間の脳アーキテクチャから学ぶこと
PGMベースの認知システム：発達ロボティクスにおける構成論的アプローチとしてPGMを統合した統合的認知システムを開発すること今回の講演内容は、ここからのスピンオフ
Taniguchi, T., Yamakawa, H., Nagai, T., Doya, K., Sakagami, M., Suzuki, M., Nakamura, T., & Taniguchi, A.
(2021). Whole brain Probabilistic Generative Model toward Realizing Cognitive Architecture forDevelopmental Robots. In arXiv [cs.AI]. http://arxiv.org/abs/2103.08183（Neural Networks誌 査読中）

13

確率的生成モデルとは？
Probabilistic generative model (PGM)• データが生成される過程をモデル化したもの• 確率分布を仮定することでデータの統計的な性質をとらえる• グラフィカルモデルによってモデル構造を可視化できる• グラフィカルモデル
生成モデル
𝑥𝑖 ~ 𝑝 𝑥𝑖 𝜃𝑦𝑖 ~ 𝑝 𝑦𝑖 𝑥𝑖 , 𝜃)

– 変数間の依存関係をグラフ構造で表現– ノード：確率変数– エッジ：依存関係

生成モデル

推論モデル

= 𝑝𝜃 𝑥𝑖= 𝑝𝜃 𝑦𝑖 𝑥𝑖 )推論モデル
𝑞 𝑥𝑖 𝑦𝑖 , 𝜙 = 𝑞𝜙 𝑥𝑖 |𝑦𝑖

両方（VAE）

14

なぜ確率的生成モデル？
• グラフィカルモデルによって構造を容易に可視化できる• PGM同士を統合しやすい（Neuro-SERKETフレームワーク[Taniguchi 2020] ）➢ 全脳PGM へ• 教師あり学習、教師なし学習、強化学習
をすべてPGMの上で議論できる• 神経科学分野などでも議論・理論構築されている– ベイズ脳仮説 [Doya 2007]– 自由エネルギー原理/予測符号化仮説[Friston 2012]– 世界モデル（World model）↑谷口忠大先生スライドより[Taniguchi 2020] Tadahiro Taniguchi, Tomoaki Nakamura, Masahiro Suzuki, Ryo Kuniyasu, Kaede Hayashi, Akira Taniguchi, Takato Horii,and Takayuki Nagai, “Neuro-SERKET: Development of Integrative Cognitive System through the Composition of Deep Probabilistic
Generative Models”, New Generation Computing, Jan. 2020.
[Doya 2007] Doya, K., Ishii, S., Pouget, A., Rao, R.P.N., Bayesian Brain: Probabilistic Approaches to Neural Coding. MIT Press. 2007.
15[Friston 2012] Friston, Karl, and Ping Ao. "Free energy, value, and attractors.“ Computational and mathematical methods in medicine 2012.

Neuro-SERKET: Development of Integrative Cognitive System Through theComposition of Deep Probabilistic Generative Models [Taniguchi+ 20]

1. Belief propagation
2. SIR
3. MH
複雑な認知システムを効率的に開発可能に
 Connecting cognitive modules developed as probabilistic generative models
and letting them work together as a single unsupervised learning system.
 Having inter-module communication of probabilistic information andguaranteeing theoretical consistency to some extent.
 Neuro-SERKET supports deep generative models, i.e., VAE, as well.
Nakamura T, Nagai T and Taniguchi T, SERKET: An Architecture for Connecting Stochastic Models to Realize a Large-Scale Cognitive Model. Front.
Neurorobot. 12:25. (2018) doi: 10.3389/fnbot.2018.00025
Taniguchi, T., Nakamura, T., Suzuki, M. et al. Neuro-SERKET: Development of Integrative Cognitive System Through the Composition of Deep
Probabilistic Generative Models. New Gener. Comput. 38, 23–48 (2020). https://doi.org/10.1007/s00354-019-00084-w

16

本レクチャーの全体構成

足場の上にPGMを構築する(谷口)●PGM作成(GIPA)●HCD作成17

GIPA: Generation-inference process allocation••

脳部位の解剖学的構造を生成モデルの変数の依存関係へ変換
PGMの制約– Directed acyclic graphsである必要性（ループを作れない）•

基本的なGIPAの手順
1.
2.

エッジを生成モデルと推論モデルに分ける（Table 1を主な基準とする）
次時刻生成(𝚫𝒕)の表現を導入する
WB-PGM論文より

t←t+1
18

GIPA: Generation-inference process allocation• １．エッジを生成モデルと推論モデルに分ける（数理・理論として）– Amortized (variational) inference• 生成モデルとは別に推論モデルの接続構造を定義できる• 推論モデルをNeural networkなどの関数で近似• Auto-Encoding Variational Bayes (AEVB)– Variational Auto-Encoder (VAE)が代表的
生成モデル
𝑥𝑖 ~ 𝑝 𝑥𝑖 𝜃𝑦𝑖 ~ 𝑝 𝑦𝑖 𝑥𝑖 , 𝜃)

= 𝑝𝜃 𝑥𝑖= 𝑝𝜃 𝑦𝑖 𝑥𝑖 )推論モデル
𝑞 𝑥𝑖 𝑦𝑖 , 𝜙 = 𝑞𝜙 𝑥𝑖 |𝑦𝑖Kingma, D. P., &Welling, M. (2014). Stochastic gradient VB and the variational auto-encoder. In Second International Conference
on Learning Representations, ICLR.
Murphy, K. P. (2012). Machine learning: a probabilistic perspective. Cambridge, MA: MIT Press.

19

GIPA: Generation-inference process allocation• ２．次時刻生成(𝚫𝒕)の表現を導入する– 問題： Δtを（ループの中の）どこにどう導入するか– 決め方• Δtの時間幅がどのくらいの周期なのか（ループの周期）を考えつつ決める• 解剖学的・神経科学的な知見から、過去や未来に関する情報をコーディングしているノードがあれば、それを参考に決める• 解剖学的・神経科学的な知見から、時間遅れが発生すると思われるノードがあれば、それを参考に決める– 制約• 時間展開した時に一意にPGMが決まるようにする• Δtが複数ある場合、時刻の同期が取れるようにする• １ループに対して基本的には一つのΔtが割り当たる

20

Hippocampal formation-inspired probabilistic generative model

HF-PGM：海馬体の確率的生成モデル

Akira Taniguchi, Ayako Fukawa, Hiroshi Yamakawa, "Hippocampal formation-inspired probabilistic
generative model", Neural Networks, Vol.151, No. July, pp.317-335, 2022. DOI:
10.1016/j.neunet.2022.04.001
https://www.sciencedirect.com/science/article/pii/S0893608022001332

21

なぜ海馬体なのか
海馬体：脊椎動物の記憶を司る脳部位
空間学習や空間探索といった空間記憶に深く関わる

認知的処理を担うコア領域

脳型の汎用人工知能の構築に不可欠の構成要素

海馬体に関する数多くの神経科学知見が蓄積されている
22

あたりをつける：海馬体の神経科学的知見

23

海馬体
脊椎動物の記憶を司る脳部位．空間学習や空間探索といった空間記憶に深く関わる認知的処理を担うコア領域
脳型の汎用人工知能の構築に不可欠の構成要素．海馬体に関する数多くの神経科学知見が蓄積されている
ナビゲーション
• 動物が空間内で環境情報を取得しながら適切な経路を選択して目的地に到達する行動
認知地図•”動物は環境の空間的位置関係についての地図を探索によって形成し，この地図を利用して行動している”という考え
自己位置推定• ナビゲーションの実行や認知地図の形成の前提として，常に動物が現在の位置を認識する能力
経路統合(path integration: PI)• 自己の運動情報などの移動情報を統合して自己位置を計算する機能
自己位置推定のための方法の一つ◼場所細胞(Place cells)：環境の特定の場所にいるときに発火する
げっ歯類の海馬で発見された◼格子細胞(Grid cells)： 場所細胞と同様に動物が環境の特定の場所にいるときに発火する
げっ歯類の内側嗅内皮質(medial entorhinal cortex: MEC)で発見された経路統合の実行に関わるとされている◼️頭方位細胞(Head-direction cells)：場所に関係なく頭が特定の方向に向いているときにだけ活動する◼スピード細胞(Speed cells)：個体の移動速度に依存した活動を示す

引用元：
https://cbs.riken.jp/jp/public/tsunagaru/fujisawa/02/

哺乳類においては海馬体がナビゲーションや認知地図の形成等に重要な役割を果たしていると考えられている
場所細胞・格子細胞が空間的な認知処理機能の実行に関わるとされている

構築の経緯：モデル
WB-PGMの議論での初期案と疑問提示

海馬体のBIF [Fukawa et al., 2020]

SpCoSLAMのPGMを分解・拡張

LECとMECの解剖学的構造（右）と対応付けたPGM案（左）作成した海馬体のBIF

BIF上に変数を配置したHF-PGM

Fukawa, A., Aizawa, T., Yamakawa, H., & Yairi, I. E. (2020). Identifying core regions for path integration on medial entorhinal cortex of hippocampal formation.
Brain Sciences, 10 .

24

Region-of-interest, input/output, and top-level function• Region-of-interest– LEC, MEC, CA1, CA3, DG, Sb, ParaSb

脳情報フロー (Brain Information Flow: BIF)

– ROIに隣接する領域: PreSb, POR, PER,RSC• Input/output– Input: POR, PER, and RSC– Output: the predicted values of POR
and PER at the next time step

• Top-level function– (i) Self-localization (path integrationand observational correction)– (ii) Place categorization by integrating
allocentric and egocentric information
25

LEC側は場所の概念的な情報を担う（表現学習）

LECとMECからの２つの情報を統合

自己位置推定(Path integration)
は主にMEC側

予測的な情報過去の推定位置のRefine

エゴセントリックな情報（主観座標系の視点）

動作情報（回転速度）

アロセントリックな情報（客観座標系の視点）

26時間遷移のグラフィカルモデル（MEC側のみ）•••

SLAMのPGMの拡張として表現される
LEC側は省略している
SLAMのPGMとの差異– 潜在変数が細かく段階的に分けられている– 時間差分情報を保持・利用– 次時刻の観測の予測値を生成する••

Predictive coding

Variables–––––––––

𝑋𝑡 : Self-position
𝑋′𝑡 : Predicted self-position
𝑟𝑡 : Cluster information regarding positions
𝐻𝑡 : Integrated higher-level internal
representation
𝑔𝑡 : Prediction at future time regarding
movement/speed amount or posture𝑦𝑡 : Input/output variables
𝑢𝑡 : Rotational speed movement27

Encoder-decoder表現のグラフィカルモデル• リカレント構造付きのマルチモーダルEncoder-decoderモデルの拡張形として表せる– 観測値と予測値を分けて表現

Observation

LEC側

Generation(Prediction)

MEC側
28

海馬体のBRA形式データ（HF.bra)

仮説的コンポーネント図(HCD)

脳情報フロー(BIF)

CircuitCircuitCircuit

Source of ID
Circuit ID

Circuit

Names
Super Class
Uniform

CircuitCircuitTransmitter
Modulation TypeProjections
Circuit ID
Circuit ID
Circuit ID
Terminal[sensor]

Terminal[actuator]

Uniform circuit

Connection

Here is a List of thetarget circuit IDs

Property only for Uniform Circuits

Sub-Circuits

参考資料：• 脳参照アーキテクチャ(BRA)データの記述マニュ
アルおよび具体例の公開• 第1回 WBAレクチャー～認知機能の脳構造に沿った分解手法―脳機能の体系的理解を目指して
29

海馬体のHCD形式データ（AT20HippocampalFormation.hcd)

公開されているBRAデータ：

脳参照アーキテクチャ駆動開発のニューロコンピュー
ティング研究会でのデータ公開(2022年3月3日),

https://wba-initiative.org/20266/

参考資料：• 脳参照アーキテクチャ(BRA)データの記述マニュアルおよび具体例の公開, https://wba-initiative.org/18424/• 第1回 WBAレクチャー〜認知機能の脳構造に沿った分解手法―脳機能の体系的理解を目指して, https://wba-initiative.org/18094/
30HCDの機能特性：出力セマンティクス生成性
出力セマンティクス生成性：
このコンポーネントのOutput Semanticsが、指定された回路からの入力を使用するこのコンポーネントのProcessによって生成しうるか否かを評価

Summary

図： 海馬体のFunction Tree Viewerの一部
31

Process

Output Semantics

確率的生成モデルによるHCDにおけるプロセス記述
I(LEC_II)

I(MEC_II)𝑂 = 𝑃(𝐻

𝐷𝐺

𝐼𝐼

𝐼𝐼

|𝑍 , 𝑋 )Circuit ID、ラベル入力、出力

Process

OutputSemantics
32

HCDの機能特性：プロセス合成性
プロセス合成性：
このコンポーネントに記述されたプロセスが、下位のコンポーネントのプロセスを合成することによって実現できるか否かを評価
以下の例では、Process
Aは、
H^｛DG｝とH^｛III｝
Process
HDGとProcess HIIIの合成の同時分布としてで実現できるか否かを評価する
書ける

H^{DG},H^{III}Process A

Process HDG

III

Process HIII図： 海馬体のFunction Tree Viewerの一部
33

Abstracted visual information ofplace (representation learning)

HF-PGM（簡易版）の実装アイデア
Self-localization(Path integration)
Integrate two pieces of
information from LEC and MEC

Predictiveinformation
Refinement of pastestimates
Egocentric visual information(Subjective viewpoint)

Motion information(rotation speed)

Allocentric visual information(Objective viewpoint)

34

まとめ
• 空間認知の機能を担うSLAMと海馬体の知見の橋渡しを目指した• PGMベースのSLAMと海馬体の脳科学的知見をまとめ、それらの関連性を調査・議論した• 海馬体の機能や解剖学的構造と整合性のとれたPGMを構築した– 布川らが提案した海馬体のBIFをベースにLECを加えたBIFに発展させ議論– PGMベースのSLAMやSpCoSLAMを海馬体BIFの解剖学的構造に合うように拡張• HF-PGMの従来のSLAMとの主な違い– MECのみならずLECも統合してモデル化• 今後の方向性– HF-PGMをWB-PGMのサブモジュールとして統合– 生成モデル・推論モデルの確率分布やアーキテクチャの詳細設定– 移動ロボットへの実装・導入
35

Brain-inspired probabilistic generative model for
double articulation analysis of spoken language

音声言語の二重分節解析を担う脳参照アーキテクチャの設計
室 茉央子
谷口 彰
山川 宏
谷口 忠大

(立命館大)(立命館大)(WBAI/東大/理研)(立命館大)

Akira Taniguchi, Maoko Muro, Hiroshi Yamakawa, Tadahiro Taniguchi, "Brain-inspired probabilistic generative model for
double articulation analysis of spoken language“, IEEE International Conference on Development and Learning, 2022.

研究目的
脳参照アーキテクチャ開発のアプローチに基づいて脳内の二重分節解析の構造や機能について調査し，既存の機械学習手法を参考にしつつ，整合性のとれた確率的生成グラフィカルモデルを構築する

脳内音声言語処理の知見

既存の計算機の確率的生成モデル

37NPB-DAA：Nonparametric Bayesian
Double Articulation Analyzer [3]• 音声の音響特徴量から発話中の音素・単語を発見
単語列I

likemusic

音素列

a i l a i k m j u: z i k
音声信号[3]Taniguchi, Tadahiro, Shogo Nagasaka, and Ryo Nakashima. "Nonparametric bayesian double articulation analyzer for direct language acquisition from continuous
38
speech signals." IEEE Transactions on Cognitive and Developmental Systems 8.3 (2016): 171-185.

Previous study: Extended NPB-DAA
ProsodicDAA[4]NPB-DAA + MLDA[2]• プロソディの付与することで単語分割性能が向上• 聴覚・視覚・触覚情報の統合から単語分割性能が向上

NPBDAA

Words
Phonemes

speech

Prosody

Co-occurrence cues[4]Okuda, Yasuaki, Ryo Ozaki, and Tadahiro Taniguchi. "Double Articulation Analyzer with Prosody for Unsupervised Word and Phoneme Discovery." arXiv preprint
arXiv:2103.08199 (2021).

39

NPB-DAAを応用した音声言語獲得手法
ProsodicDAA[4]NPB-DAA + MLDA[2]• プロソディの付与することで単語分割性能が向上• 聴覚・視覚・触覚情報の統合から単語分割性能が向上

NPBDAA

単語列

問題点
音素列

ヒトの脳を参考にして作られていない➢ ヒトの脳内の構造や処理の過程と音声信号一致しているかどうか検証されていない
プロソディ

共起情報

[4]Okuda, Yasuaki, Ryo Ozaki, and Tadahiro Taniguchi. "Double Articulation Analyzer with Prosody for Unsupervised Word and Phoneme Discovery." arXiv preprint
arXiv:2103.08199 (2021).

40

調査内容 –音声言語に関わる領域–[6-16]• 一次聴覚野(A1C)：
音声信号の入力，スペクトルの時系列分析と音韻的分析• 二次聴覚野(rA42)：
音素の知覚，音声・非音声の判別• ブロードマンエリア22(A22)：
音声信号の音響特性の処理，音韻貯蔵・音韻表象の形成• ブロードマンエリア38(A38)：
単語情報を扱う，モダリティの意味情報のハブ
41二重分節解析に関わりそうな文献一覧 [6-16]

42

二重分節解析機能に関係する領域と対応する機能
A38• 単語情報を取り扱う→単語分節化

STC• 音声信号の音響特性の処理→音節化• 韻律情報による分節化

rA42• 音素の知覚→音素を保存• 音声・非音声の判別

A1C• 音声の入力→音声信号の入力

43モダリティの意味情報のハブ [6-16]• ハブ＆スポークモデル：
言語および非言語的な経験による概念を構築するための中核的な材料（material）となり、これらの情報源は脳全体に分布している特異的な皮質（＝スポーク）に対応していると仮定したモデル• 全モダリティ固有な情報源のクロスモーダルな相互作用は、the anterior temporal lobes（ATLs）の両側に位置する単一のトランスモーダルハブによって媒介されると提唱している
44

Brain information flow (BIF)45

BIFの上に配置した
音声言語の二重分節解析のグラフィカルモデル
単語化

プロソディ

音節化

言語情報のカテゴリー分類
非音声情報の判別

音素保存
視覚情報
情報を統合

触覚情報

非音声の聴覚情報

音響特徴量

音声信号の入力46

まとめ・今後の展望
まとめ• 脳の解剖学的知見から二重分節解析の脳情報フロー図を設計• 設計した図から二重分節解析機能の関心脳領域と機能を設定し仮説を立てた• 立てた仮説から確率的生成モデルを構築し，既存モデルとの変数の表現や確率分布の機能の一致を確認できた
今後の展望• 音声の二重分節解析モデルの実装• 提案したグラフィカルモデルにおいて捉えられていない範囲におけるモデルの拡張
47

後継者・共同研究者 募集• HF-PGM・音声言語の二重分節のPGMの実装・導入など、Brain-inspired PGMやWB-PGMの取り組みや共同研究に興味・関心のある方は、お気軽にお声がけください。
– 谷口彰：a.taniguchi@em.ci.ritsumei.ac.jp– 山川宏：ymkw@wba-initiative.org

ご清聴ありがとうございました
本研究にあたっては、新学術領域研究「人工知能と脳科学の対照と融合」
新学術領域研究「脳情報動態を規定する多領野連関と並列処理」
を含む多くの皆様のご支援を得て進めることができたことに感謝致します。
48