（様式 20）成果報告書

TSUBAME 共同利用 令和４年度 学術利用 成果報告書

発達期多元自発活動の数理モデルとその学習理論の構築
The mathematical model and learning theory for pluralistic brain activity in early development
早川 隆
Hayakawa Takashi
日本大学 医学部 生体機能医学系 薬理学分野
Department of Pharmacology, School of Medicine, Nihon University
https://www.med.nihon-u.ac.jp/department/pharmacology/
本研究では、課題責任者の科研費プロジェクト「発達期多元自発活動の数理モデルとその学習理論の構築」の遂行のために、大脳皮質局所神経回路モデルの数値シミュレーション及びその神経回路を用いた機械学習を GPU アクセラレーターを用いて大規模かつ高速に実行するシミュレーターを作成した。これを用いて発達期に形成されるとされるモジュール構造を持つ局所神経回路モデルが、学習後に実験的に観察されるモジュールごとの同期的なダイナミクスを再現すること、そしてこの振る舞いが新たに構築した統計力学理論によって記述できることを示した。
In the present study, I developed a generic program code for simulation of mammalian neocortical-circuit
models and machine learning using these models, for the goal set out in a KAKENHI grant project
entitled “the mathematical model and learning theory for pluralistic brain activity in early
development.” This fast simulator that takes full advantage of GPU accelerators allowed me to show thata cortical-circuit model with module structures exhibits module-wise synchronous dynamics after
learning as do neocortical circuits of animals, and that these dynamics can be described by a newly
developed statistical mechanical theory.

Keywords:

mammalian neocortex, computational neuroscience, machine learning, statisticalmechanics, large-scale simulation

背景と目的な大脳皮質の神経細胞集団が示す、同期的かつ不規

本課題は研究課題責任者の早川が同名の学術変革

則/規則的な振動現象の起源を記述できる可能性のあ領域(B)科研費課題を遂行するためのものである。以る新しい統計力学理論を世界に先駆けて構築していた下に科研費課題の背景と目的を述べるが、本共同利[3]。また、学術変革領域(B)の共同研究者の千葉は、用課題は、以下の科研費課題の目的を達成するため集団同期現象を取り扱う際に広く用いることができる数に、TSUBAME の持つ複数 GPU を利用した大規模計学理論を世界に先駆けて構築していた[4]。

算環境を利用し、脳神経回路モデルの高速シミュレー

このような領域の研究者達の先行研究と並行して、ションによって研究を加速しようとするものである。

近年、神経回路の機械学習の研究者達が、統計力学

本研究の背景としてはまず、近年になって発達初期の理論を用いて深層学習の振る舞いを解析しており、一脳回路の活動様式が実験的に観察できるようになり、定の初期条件から学習を開始すると、その後の学習性この時期の動物脳が従来想像されていたものよりダイ能が高くなることを理論的に示していた[5]。

ナミックで普遍的な多元自発活動を示すことが明らか

以上の背景を踏まえて、本課題で研究代表者は、動になってきたことがある。学術変革領域(B)の共同研究

物脳の初期状態である発達初期の脳活動は、リカレン

者の上阪・水野らはこの時期の脳活動が、発達と共に、ト神経回路である大脳皮質回路が何らかの意味で最同期的な活動から非同期的な活動に切り替わっていく適な状態に調整された結果として現れているのか、と様子を世界に先駆けて観察することに成功していたいう根本的な疑問に対して、共同研究を通して答えよう[1,2]。とする。より具体的には、先行研究を踏まえて大脳皮質

一方、課題責任者の早川は、脳波などに見られるようの神経回路モデルを構築し、シナプス結合強度分布な（様式 20）成果報告書
どのパラメータを発達初期の各段階の動物脳における脳皮質の神経回路モデルを立てれば良いのかを追究

実験結果と合致するものに設定した際に、領域の共同した。共同研究者との議論を通じて、先行研究で課題研究者らがこれまでに観察してきた現象を再現できる責任者が調べてきた無構造の局所神経回路モデルにかどうかを確認する。そして再現された同期活動から非則り解析・議論を進めるだけでは、観察される現象を十同期活動への転移が、神経回路モデルにその後機械分に説明しきれないという結論に至った。そこで、先行学習を行わせた際の学習性能にどのように影響するの研究において構築した神経回路モデルと統計力学理かを、課題責任者とその他のグループが先行研究で構論を、実際の大脳皮質神経回路と同様にモジュール構築した統計力学理論及び数値シミュレーションの技術造を持つ場合に拡張した。というのも、成体の脳では神を用いて調べる。これによって、脳の非常に柔軟な情経回路はこのようなモジュールごとに同期活動を示して報処理能力の根源を探ると同時に、フィードフォワードおり、それが確率的な情報を表現していることが最近神経回路に比べてあまり理論的に明らかにされてこなの研究で明らかになってきているからである[6,7]。従っかったリカレント神経回路の機械学習理論を打ち立てて、本研究で問うべき課題は、無構造の大脳皮質からることを目的とする。

学習に伴ってこのモジュール構造がどのようにして現概要れるかである。

発達を通して大脳皮質局所回路に形成されるモジュー

そこで課題責任者は、課題責任者自身が先行研究でル構造を組み込んだ神経回路モデルとその学習の数用いた個々のニューロンの神経発火率(0~2 の連続値値シミュレーションを GPU アクセラレーターを利用してをとる)が常微分方程式で表される単純モデル、本研究大規模かつ高速に実行できるシミュレーターを構築した。

課題の主な対象である大脳皮質感覚野の神経細胞の神経発火頻度が常微分方程式に従い連続的に時間変発火機構をより精緻にモデル化したリアリスティックモ化するモデル及び、現実の脳神経細胞の発火活動機デルの両方をベースに、神経結合が無構造及びモジュ構を取り入れた精緻モデルの 2 通りのシミュレーターをール構造有りの両方の場合のシミュレーションを実行作成し、これらのシミュレーション結果を裏付ける統計でき、さらに単純モデルの場合は機械学習課題も実行

力学理論も構築した。これらを用いて大脳皮質神経回できるような数値シミュレーターを C++・OpenACC を用路の多元的自発活動と学習の一端が解明された。

いて構築することに成功した。例えば、下図に示すよう結果および考察にモジュール構造を持つ単純モデルにおいて、モジュ令和４年度は背景と目的で述べた本研究における根ールの秩序変数が特定のダイナミクスを示すよう学習本的な疑問に答えようとするにあたって、どのような大する数値シミュレーションを実行できる。発達過程を想（様式 20）成果報告書
定し様々なモデルの予備的なシミュレーションを行なっ

参考文献

たが、いずれの場合も GPU アクセラレーターによって[1] Ikezoe et al. (2018) Cell Rep.

大幅な計算速度の向上が得られた。

[2] Uesaka et al. (unpublished data)

単純モデルをベースとした場合、モジュール構造を持[3] Hayakawa & Fukai (2020) Phys. Rev. Res.

つ場合に神経細胞集団がモジュールごとに同期活動す[4] Chiba (2015) Adv. in Mathる様子を統計力学理論を用いて記述することにも成功[5] Bahri et al. (2020) Ann.Rev.Cond.Matt.Phys.

し、このシミュレーターの結果を理論的に裏付けること[6] Ko et al. (2011) Natureにも成功した。また、モジュール構造を持った場合、モ[7] Shi et al. (2022) Nat. Comm.

ジュールの同期による確率表現を変更する学習は、新[8] Bernardi et al. (2021) PLoS Comput. Biol.

たな表現を学習し直す場合に比べてはるかに高速に行うことができることも、数値的・理論的に示した。また単純モデルの範囲で、成体の情報表現として知られる持続的・漸増的な集団発火活動を機械学習の結果として再現することにも成功した。これらの結果は過去の実
験観察事実と定性的にはよく整合し、単純モデルであることによる限界はあるが、成体脳の学習の本質を捉えている可能性が示唆された。
次に、正則発火ニューロン・高頻度発火ニューロン・低域値発火ニューロンの 3 種類から構成される、現実の大脳皮質神経細胞の発火活動機構をある程度忠実にモデル化した精密モデルのシミュレーターを先行研
究[8]を参考に構築した。このシミュレーターでも、単純モデルの場合と同様に、モジュールごとの集団同期活動を GPU アクセラレータを用いた大規模かつ高速な数値シミュレーションによって再現し、これを統計力学理論によって裏付けることに成功した。

まとめ、今後の課題
令和 4 年度は研究プロジェクトの 1 年目ということもあり、基盤となるシミュレーター及びそれに対する理論の適用を確認する作業が主となった。令和 5 年度はいよい
よ、このシミュレーターのパラメータや構造を発達初期のものに連続的に変更していった際に、どのように活動が変化していくのかを調べていく。また、無構造な発達初期の神経回路モデルに機械学習を行った際にモジュール構造が現れ、確率的情報表現が可能となるのか、その際の最初の神経回路モデルのパラメータはどのような値に取るべきか、などを数値シミュレーション・理論解析を駆使して調べていく。