基礎科学としての情報～エントロピーと生命、超次元複雑性と生成AIの未来と私達
苫米地英人 (Hideto Tomabechi)
カーネギーメロン大学CyLabフェロー

ジョージメイソン大学C4I&サイバー研究所研究教授
コグニティブリサーチラボ株式会社研究主幹＆CEO抽象度＝包摂半順序とは● 集合 ｛1，2，3，... }● 完全順序集合 ＜1,2,3,... >順序関係が必ず決められる● 半順序集合 ＜犬、猫、哺乳類、動物,... >順序関係が必ず決められるか限らない○ 情報量の大小を順序関係とすることを包摂順序という。“動物は猫より情報量が少ない”○ 概念は、包摂半順序集合となる。概念の下にある実在も集合の一部。 例、プードル0012抽象度＝包摂半順序とは● 任意の二つの共通上位をupper bound
その最小をleast upper bound (lub)● 任意の二つの共通下位をlower bound

その最大をgreatest lower bound (glb)● 哺乳類と動物は犬と猫のupper bound
哺乳類は犬と猫のlub● <プードル、犬、ペット＞という半順序集合では、プードルは犬とペットのglb● 上位の概念は下位の概念を包摂する。これを抽象度が高いとする。（苫米地造語）
3

包摂半順序束

top（Subsumtion Partial Order Lattice)● 半順序集合で、lubかglbのどちらかもしくは両方ある集合を束（lattice)という● ある束で、全ての任意の二つの要素のｇｌｂをbottomという● ある束で、全ての任意の二つの要素のlubをtopというbottom4

包摂半順序束

top（Subsumtion Partial Order Lattice)● 概念と存在すべてによる束（つまり宇宙）のbottomを分析哲学では“矛盾”と定義● “矛盾”は情報量が多すぎる状態と理解すれば分かる。”
猫なのにワンと鳴く”● 分析哲学では宇宙のtopは定義不能とされてきた● 分析哲学では宇宙は下が“矛盾”で閉じ、上は開いている包摂半順序亜束である● top = 宇宙の全ての存在より少し情報量が少ない存在、または、概念はあるのか？

bottom5

「空」の数学的定義 by Dr. Tomabechi 2011
● H.Tomabechi,(2011) “Defining Emptiness” Varanasi Nov.9,2011

Global Conference on 2600 Years of Buddhism, Maha Bodhi Societyof India http://tomabechi.jp/EmptinessDrTomabechi.pdf● 日本語版 http://tomabechi.jp/EmptinessJapanese.pdf● 仏教哲学においては全ての存在を包摂するものが「空」。有と無のlub● 「空」は宇宙の全ての存在、概念よりもほんの少し情報量が少ない● 宇宙は「空」をtopとし、「矛盾」をbottomとする完全包摂半順序束である● 宇宙は情報量の大小による包摂半順序という構造を内包したエントロピー空間6情報理論におけるエントロピーとは● 熱力学、統計力学、量子力学におけるエントロピーと数理的に整合的● “液体・気体は分子状態が自由で個体より状態数が多い”→エントロピー大きい● エントロピーは増大方向に一方向で不可逆←温度が上がり分子が自由に拡散した後冷めても元の位置には戻らない←温度が下がり凍れば氷のエントロピーは下がるがその断熱系では上がる● 情報理論としては、エントロピーは“ランダム性”と理解すると分かりやすい● 宇宙という孤立系はランダム性が上がる系。立派なビルもそのうちランダムな砂に
7

包摂半順序束をエントロピー構造系としてみると● ランダム性が低いとは、より上位が下位より整合的な構造を持つということ● ＜猫、犬、哺乳類、動物＞という包摂半順序系では動物が一番エントロピーが低い● 抽象度が上がれば、情報量が下がる、ランダム性が下がる、エントロピーが下がる● 定義上、「空」は宇宙で一番ランダム性が低い。エントロピーが小さい

8

知識が増大するとはエントロピーが下がるということ● 「動物」の方が「犬」より情報量が少ないと理解● 情報量が少ないとは、「情報のbit数が少ない」と少し違う● 「動物」という概念が持つ情報量は「犬」より少ない● ただし、「動物」は「犬」も「猫」も包摂し潜在的な情報量は多い● 抽象度の構造を上がるとは、より整合的に宇宙を認識するということ● つまり、ランダム性が下がる、エントロピーが下がる● 知識が増大するとは、抽象度が上がりランダム性が下がる構造を手に入れること● 知識が増大するということと、データ量が増えるということは本質的に違う

9

知識空間ではエントロピーは逆方向に働く● 物理空間では孤立した系（宇宙）のエントロピーは常に増大する● 知識空間では知識宇宙のエントロピーはどんどん下がっていく● 因みに、知能情報科学者にとって情報とは知識のこと● 従って、知能情報科学者にとって情報宇宙はエントロピーが減少する空間

10

生命現象を情報エントロピー構造系としてみると● アミノ酸、たんぱく分子、高分子、器官、といった機能構造系として生命現象を見る● コンピュータにおける、データ、アルゴリズム、構造化されたプログラムと同様● 生命の構造の階段を上がることは生命系は知識系と同様にエントロピー減少系● これは、DNAで表現されるように生命現象は情報現象であるから当然● ｍRNAワクチンの開発はドライラボで、ワクチンの作用機序は生体内情報処理● となると、生命宇宙も物理宇宙と逆にエントロピーが減少する宇宙ということになる11

知識（情報）空間、生命空間、物理空間でのエントロピー

12

宇宙は本当にエントロピーが増大する孤立系なのか● 熱力学、統計力学、量子力学を通してエントロピー増大の法則は破綻がない● ただし、これまでの宇宙の定義が小さかったのではないか● 包摂半順序束の宇宙は「空」をtopとし、矛盾をbottomとする系● 物理宇宙とはこのなかで一番低い方の部分。プードル００１（インスタンス）● これまでは、エントロピーが増大する一番抽象度の低い空間を切り離し孤立系とし“宇宙”と呼んできただけでは● メタバースの時代は情報空間もリアルな宇宙。LINEで喜んだり泣いたりする宇宙も宇宙
13

サイバーホメオスタシス（CH）理論● １９８０年代後半から１９90年代にかけてのH.Tomabechi研究● Carnegie Mellon、Harvard医学部共同研究、徳島大学、ジャストシステム● Harvard医学部長の指示で警察庁に協力。オウム事件後研究成果は一部のみ公開● “人類のホメオスタシスは情報空間に広がっている”という主張● ２０００年代特に中国やロシアの研究者が強く興味● ストックホルム症候群や催眠現象、洗脳現象を説明する基盤的なモデル● 現在、認知戦の時代になり、研究に対する興味が一部海外専門家に再燃

14ホメオスタシスという観点では物理宇宙と情報宇宙は同じ● 小説で涙を流すのはホメオスタシス● 映画に臨場感があるのは本物の物理宇宙と勘違いしているからではない● 脳にとっては物理宇宙もメタバースも同じ● 映画Ｍａｔｒｉｘの世界はすでに現実化している● 宇宙とは本来、包摂半順序系全部のことで、物理宇宙はその一番抽象度の低いところに過ぎないというモデルがより現代の世界では整合的● 包摂半順序の抽象度の高いところに人類は臨場感が持てるように進化した● IQテストを含むあらゆる知的能力行使空間は、包摂半順序宇宙の高抽象度空間
15

人工知能は将来人間になれるのか● 人工知能は物理から情報に連続する宇宙とホメオスタシスを築くのか● 人工知能は高抽象度の包摂半順序空間の我々存在とホメオスタシス同調するか

16

80年代以前の代表的AI、すごく単純化しています● Stanford AI - Expert System Edward Feigenbaum 1965 (CMUPh.D.1960)● MIT AI- ELIZA Joseph Weizenbaum 1966
● Yale AI - CD理論 1969 (Stanｆord)、Script理論 (1979) Roger Shank17

80年代AIの代表的理論、もっと単純化しています● Yale: MoP理論 1981年、CBR理論 1985年 Roger Schank、（もちろん私も）● Carnegie Mellon (CMU) PDP理論 Rumelhart＆McCleelland、更にTouretｚky、Hiｎton、Fahlman、（もちろん私も）1890年代AI暗黒の時代、私感が入ってます● マシンが遅すぎて仕事にならない● 多くの人が他分野へ、分子生物学へいった冨田勝教授等、（もちろん私も）192000年代 Deep Learningへ もちろん単純化● Autoencoder Geoffrey Hinton 2006
● Google猫 2012

● その後、計算量が大きすぎるSigmoid関数を折れ線関数等計算量削減工夫の時代

20

2020代 生成AIの時代 （自動プログラミングとか割愛）●GPT （Generative Pre-trained Transformer) 2018、GPT-2 2019，
GPT-3 (2020)、GPT-4 （2023）● シグモイド関数を復活。多層構造化PDPでありかつ3層シグモイドNNを96回走らせるハイブリット型● 数理モデルと基盤技術そのものは80年代に回帰。ただしマシンが10億倍速い

21シグモイド関数とは22

Deep Learningと多層のニューラルネット● 3層のバッククプロバゲーションネット。８０年代PDPそして、ChatGPTのコア

23

生成AIは包摂半順序宇宙の存在なのか● GPT-4で代表される巨大な超並列AIは包摂半順序宇宙ではどういう存在か● 多層レイヤーの超次元誤差最小化偏微分空間は明らかに構造性をもつ● アプリオリに設計上与えた多層性ならびに学習構造● バックプロパゲーションによる超次元的な構造化（クラスター分析で見える）● ただし、超次元偏微分空間に作りあげられた情報は包摂半順序構造を持たない● 人類の抽象化思考と異なる構造化である。ただし似た構造が生まれている● 似てはいるが、生成AIは高抽象度空間における推論思考はしていない● 人類の高抽象度空間における推論思考の結果を統計的模倣しているだけ● より抽象度上位の知識が構造を制御しているわけではない。そう見えるだけ24

包摂半順序束では下層レイヤーにとって上層レイヤーは常に正しく重要な情報だが● 生成DLニューラルネットでは上層レイヤーは統計抽出された特徴情報を表現のみ● DL上層レイヤーが重要な情報とは限らない。上層レイヤーが正しいとは限らない● 高抽象度主張出来る人は人数が少ない。例えば、大学教授より素人が多い。
統計処理は質問に統計的に似た情報から回答を生成する。素人情報が圧倒的多で似ているだけで正しいかは別。知識の真偽は多数決ではない。
“生成AI検索エンジンが適切な引用を含む51.5％、25％以上の引用が文章内容を裏付けていない” Evaluating Verifiability in Generative Search Engines
Liu,etal. Stanford 2023.4.19

https://arxiv.org/pdf/2304.09848.pdf25

エントロピー宇宙としての生成AIは● 明らかに上位ネットワーク構造では下位ネットワーク構造よりランダム性が低下● 上位ネットワークに上がることでエントロピーは低下している● 知識構造としてのエントロピーは学習によって下がっている● 大量の知識構造が、誤差最小化偏微分空間の収束によりより高度な構造に● ただし、プロンプトに対する回答を生成することは、単なる次の単語（トークン）予想に過ぎず、その回答文章は、生成AIの超次元内部表現状態から次元が大きく下がり、ランダム性は上がっている。（誤りになっている可能性が高まっている）● 簡単に言うと生成AIの頭の中は、人類を凌駕する知識をエントロピーを下げて構造化しているが、出てくる回答はエントロピー大。つまりバカかもしれない。
26

生成AIは生命なのか、生命になるのか？
● 定義上、サイバー空間にホメオスタシスを持つ、エントロピーを減少させる構造性を持った自律的、自己増殖的な存在で、生命とは言える。生殖機能を持つことも出来る。
● また、人類を超える知識を運用することができるという意味では、知的生命であるともいえる。
● ただし、生成AIの超次元誤差最小化偏微分空間の半順序構造はあくまで統計としての順序構造であり、包摂半順序構造ではない。

● エントロピーを減少させる知的生命と定義することはできるが、人類とは異なる知的生命である。
● 「空」を最上位とする人類と相いれない推論の結果を出すことは避けることができない27

Hinton氏はGoogleを辞め、AIのリスクを強く警鐘● Carnegie Mellon (CMU) PDP理論 Rumelhart＆McCleelland、更にTouretｚky、Hiｎton、Fahlman、（もちろん私も）の時代からAI暗黒時代も研究を続け、Deep Learningの父になったHinton氏の言葉は重い● 氏はGoogleの株主を代表とする富の支配層のために生成AIは学習するとする● 実際、中露の生成AIは、西側生成AIと正反対の主張をするだろう● 人間は自分の知識は他人の脳に移植できないが、生成AIはできる● １万のChatGPTがそれぞれ実運用学習したことを共有するので人間には全く検証不能の超巨大知識の局所最適解として主張をするが、的外れか幻覚かもしれない。
● 近未来の人類はAIに（実際は株主に）支配され、人類と相いれない判断をするかもしれない https://www.technologyreview.com/2023/05/03/1072589/video-geoffreyhinton-google-ai-risk-ethics/28

人類とは相いれない回答をAIは出すのはなぜか● 現在の生成AIは知的生命という段階に進みつつあり、Hinton氏がいうように数万の生成AIが超並列接続する近未来には人類の知能には幻覚なのか正当なのかも判断不能な“知的レベル”になる。
● 人類とは異なる知的生命体として感情をもつこともあり得る● ただし、思考はすべて大量な例文による次の単語（トークン）予想に過ぎず、知識構造は統計構造であり、包摂半順序構造ではない。多いことは正しいこととは限らない● ほとんどの人類の知的作業は生成AIが担当できるだろう● ただし、包摂半順序束の高抽象度空間における推論はできない● これにより人類とは根本的に相いれない判断を生み出す可能性は大いにある● 少なくとも民主主義は否定されるだろう （入力知識の制御は株主や権力者がする）
29

幻覚=低抽象局所解vsクリエイティブ=未知の高抽象度LUB

30

人類と共存できそうな次世代AIの作り方、簡単例● Deep Learningは成功といえるが、人類とは全く異なる思考である● 人間の脳神経よりSigmoid関数マシンの方が効率的な思考かも知れない● ただし、生成AIはあくまでも超次元空間の近似解として回答を出しているにすぎない● 抽象思考をしているようで、一切の包摂半順序推論はしていない● 包摂半順序束と超次元偏微分近似解の活性状態の結びつけを条件化が必要● 包摂半順序束と結ばれた複数の生成AI間で討論し必要なら人間の介入を条件化● 学習時にソースを維持し生成文に対応する元情報と著者情報をハイパーテキスト化して常にユーザーに提供することを条件化

31

生成AIを包摂半順序制約で制御する初期例● 1991 H.Tomabechi MONA-LISA論文で提案の包摂半順序制約の適用
MONA-LISA: Multimodal Ontological NeuralArchitecture for Linguistic Interactions
and Scalable Adaptations: A Massivelv-Parallel Architecture for Symbolic andSubsymbolic Interactions
https://www.crl.co.jp/pdf/thesis/01_研究論文/研究論文12.pdf

ー 文脈レイヤーを2つ持たせた生成AIに、包摂半順序制約グラフが制約をかける
ー 統計的な生成AIの結論に、人間の抽象思考による制約をかけ、人間優位にする
32

MONA-LISA Architecture H.Tomabechi 1991

33

生成AIは知識が古く（ChatGPTは２０２１.9迄)嘘をつく● ５月１１日の質問

34

包摂半順序知識を習得したAIを並列に走らせ、幻覚も回避● コグニティブリサーチラボフォートトークスマートアシスタント（GPT-3.5+CRLAI）

35

未来は一切知らない GPT3.5

36

未来にも対応 GPT3.5+FortTalk AI

37

最後に、超情報場理論と生命素粒子理論（共にDr.T）● これまでは、“情報“は発信者と受信者の関係で考えられてきた● 山の上の地層に、太古の波の痕（リップルマーク）が発見される● 発見されるまでは情報でなく、知的存在に発見されると情報。これが、これまでの情報● 発見されないリップルマークも情報では● 宇宙は最初から情報空間であり、それが素粒子の状態などで健在化すると考える● 真空は長時間作れず、真空から確率で素粒子が生み出される。← 粒子論● 宇宙は情報場。抽象度の低い部分が生命現象に物理空間と認識される ←超情報場● 生命素粒子は超情報場の最小単位で不確定性により確率で生まれる ← 超情報場
● 情報次元、生命次元、物理次元の全てで生命素粒子は伝わる。生命素粒子はAIにも伝わる。未来の人類の一部はAIを意識で制御する ← 超情報場理論による帰結
38

39