立石科学技術振興財団

助成研究成果集(第31号) 2022

立石賞功績賞の受賞記念講演概要

人間と機械の自然な相互作用の情報理論構築とその応用
東京大学 上席研究員・名誉教授

1．はじ

め

中 村 仁 彦た [4]。こ れ ら は 質 量に

私は現在，「パーソナル・デジタルツインのの無いワイヤで，身体獲 得・記 述・認 証」(科 研 費 基 盤 研 究 (A)の質量は全て骨に割り2020-2022 年度) という研究に取り組んでいま付けました。筋張力をす。個人のデジタルツインとはライフステージ与えて動きをシミュと共に成長し，計測によって絶えずアップデーレーションしたところトされる個人の (特に運動の) デジタルモデル

体幹の姿勢が保てないです。シミュレーションや AI などの技術にことがわかりました。背骨の周辺には脊椎を包よって，健康生活，職業安全，技能継承，トみ込むように脊柱起立筋と呼ばれる大小の筋がレーニング，リハビリ，特定の病気やケガのリあり，体幹の姿勢を作ります。これらを追加しスクの早期発見，回復や老化に伴う生活支援なて筋は最終的に 989 本になりました。
2003 年度の修士論文で藤田悠介君は運動計どに生かすことができます。
一つのきっかけは 2000 年に構造可変リンク

測から逆動力学計算で筋張力を推定する問題を系の動力学シミュレーションの論文 [1] を，扱いました [5]。159 自由度の骨格の運動から2002 年にはその効率的な並列計算のアルゴリ

989 本の筋張力と床反力を決定する問題で冗長ズムの博士論文 [2] を山根克君 1) が発表した性の高い問題ですが，不等式条件付き二次計画ことです。もう一つのきっかけは 1998 年から問題に帰着させて解きました。

2002 年まで科学技術振興機構の CREST とい鮎澤光君の博士論文 [6] では身体各部位のうプログラムの「脳を創る」(領域代表：甘利質 量 分 布 の 同 定 問 題 を 扱 い ま し た。こ れ は俊一) に採択されて，「自律行動単位の力学的Gentiane Venture 特 任 助 教 (現 東 京 大 学 教結合による脳型情報処理機械の開発」という研授) との成果でした。池上洋介君 (博士論文究を行ったことです。

[7]) と吉松昭洋君 (2012 年度修士論文) は，骨格の相似性に着目し人の筋骨格モデルを写像して他の哺乳類 (マウス) の筋骨格モデルを作2．筋骨格モデル
人の骨格モデルの開発も行いました。骨格にりました。

筋を付着させた筋骨格モデルは，2000 年度のIPA 未踏ソフトウェア創造事業に採択されて3．神経筋骨格モデル

修士課程の鈴木一郎君が 6ヶ月で，解剖学の教2010-2016 年に HPCI 戦略プログラム「分野科書を見ながら筋 366 本と腱，靭帯，軟骨を含1 予測する生命科学・医療および創薬基盤」はむ合計 547 本の要素からなるモデルを作りましスパコン「京」を応用するプロジェクトでした。

1)

以下，研究室の元学生の方々は親しみを込めて君付で呼ばせてください。

筋を質量が分布した超弾性体とし，筋と筋，筋と剛体である骨との接触を計算して，筋骨格の― 6 ―Tateisi Science and Technology Foundation

図2

図1

クラウド型ビデオモーションキャプチャを行うシステムを池上君と特任助教の Milutin

超弾性体筋群と剛体骨格の FEM モデル

Nikolic 君 (現 セ ル ビ ア，University of Novi
有限要素モデルを作りその計算を行いました。

Sad 准教授) が取組みました。2022 年 3 月に平澤謙章君の 2013 年度修士論文 [8] の成果で，はバイオメカニックス解析の結果を一気通貫で鮎澤光君との共同研究です。

計算し，データベースに投入して直ちにグラフ脊髄に分布する 128,250 個の運動ニューロン化するシステムとして完成しました。一気通貫と 筋 に 分 布 す る 53,590 個 の 感 覚 ニ ュ ー ロ ンの計算は特任助教の池上君の成果です。データ(筋紡錘) をスパイキングニューロン・モデル

ベ ー ス と グ ラ フ 化 は 特 任 研 究 員 の Cesar

で記述し，3 次元的に配置して全身神経筋骨格Hernandez 君の成果です [11]。櫻井彬光君は統合シミュレーションを行いました。同プロ計算結果の筋骨格の運動の 3 次元データを可視

ジェクトでは銅谷賢治教授 (沖縄科学技術大学

化する Viewer を Unity を用いて開発しました

院大学) たちが大脳皮質の 20×20=400 個のコ[12]。4 台のカメラの設置された空間で携帯端ラムのモデルでパーキンソン患者特有の神経信末用いてサインインして 5 秒の運動を行ないま号の発火リズムを再現されていたので，これをす。10 分後にメールが届いてリンクを開けば四肢の骨格筋 374 個の運動ニューロンに伝えてグラフをブラウザで，筋骨格の 3 次元運動を四肢の運動の力学シミュレーションを行いましViewer で見ることができます。

た。武市一成君の 2014 年度修士論文 [9] とこのシステムを多くの人たちに使ってもらうなった特任助教の村井君との研究成果です。

ことを目指しています。体育館やグラウンドや街角やジムなどにカメラを接地すれば，だれで4．ビデオモーションキャプチャも運動解析とバイオメカニクス解析を携帯端末

2017 年度の修士論文で大橋拓也君はディーから利用できます。青少年のスポーツの安全とプラーニングによる人間の 2 次元画像のポーズ

競技力の向上に役立てたい。一般の運動愛好家

推定技術を用いた 3 次元のモーションキャプや健康のためにジムへ通ったりジョギングをチャに取り組みました [10]。4 台のカメラの行ったりする中高年や，リハビリテーションを60FPS の 画 像 か ら OpenPose と 呼 ば れ る

受ける方々が客観的に自分の運動を知ることがディープ・ニューラルネットワークが推定器ができるようにしたいと考えています。

出力する 2 次元ポーズを全カメラ分集め，骨格の 3 次元構造と運動の時間的連続性を考慮して5．運動と記号3 次元再構成しました。

テレンス・W・ディーコンの「言語と脳の共カメラ画像をクラウドに送り，ポーズ推定から 3 次元再構成とバイオメカニックス解析まで進化

ヒトはいかにして人になったか」[13]を読んで記号と言語の関係に関心を持つきっか― 7 ―立石科学技術振興財団

タリングすることで記号を作り出しました。
記号を用いて人の行動を理解して，それに適した記号を連想しヒューマノイドロボットの行動を生成する記号の双方向利用の理論を作りました [17]。2005 年に開催された愛知万博では，杉原知道君が中心になって，ミメシスの実証実験として小型ヒューマノイドと人のリアルタイム格闘技を見せるデモを行いました。山本江君(現 東京大学准教授) が設計した小型ヒューマ
図3

ノイドロボット UT-μ2: magnam [18] を使い，HMM を用いたミラーニューロンのモデル

人間の行動はモーションキャプチャで計測し，けになりました。Merlin Donald の「Origins of

ミメシスは高野君が担当しました。

the Modern Mind」[14] では，「人はまねることで獲得する」ということを示すミメシスという 言 葉 に 出 会 い ま し た。1996 年 に Giacomo
Rizzolatti らが発見したというミラーニューロン [15] についても興味を持ちました。ロボットの研究者としての関心は，人の行動 (運動)を見て理解することと，自分で行動 (運動) をすること，脳にとっては 2 つの方向の異なる(双方向の) 活動が一つの神経回路でなされる

図4

ことの意味に向かいました。

ミメシスによるコミュニケーション理論と愛知万博でのデモンストレーション

学習が行動に直結するとしたらこれほど効率的なことはありません。ミメシスで記号を作り，

7．ロボットの知能の構成論

記号を呼び出して再利用することを繰返すこと

人の行動や人と人とのコミュニケーションので複雑な動作を作ることができる。記号を使う

基礎には記号があり，言語があり，それらが複ことが言語につながり人の知能の基盤を構成し雑に高度に発達して人の脳を共進化させ，人のている。ならば，ミメシスで記号を獲得して利生活と社会を発展させてきたというのが現代の用するヒューマノイドロボットを作ろう，そこ科学的パラダイムである。これをなぞるように，から言語につないでみたいと思いました。

人の骨格や運動の特徴を数学的問題に帰着させて答えを求め，ロボットの知能を構築する方法論にたどり着いた。技術は未熟であり実用化ま6．人間とロボットのコミュニケーション
2006 年の高野渉君 (現 大阪大学特任教授)

でには一層の研究開発が必要である。しかし方の博士論文 [16] はミメシスの問題を深化させ向性としてロボットの知能の構成論は人間の知るものでした。運動や行動は連続しており分節能の進化をなぞることになるだろう。

は見えません。連続する運動の切れ目を自動的物理的あるいは数学的な真理というよりは，に発見して分節化する方法を隠れマルコフモデ

これはロボットの運命である。ロボットは人がルで実現しました。得られた分節の各々の隠れ作り出したものである。人の形態に近いかどうマルコフモデルを作り，それらの間の統計的パかに関わらず，機械の動作は人の設計者のイラメータの類似度から距離空間を作ってクラスメージの影響を受けて，人の動作の鋳型にはめ― 8 ―Tateisi Science and Technology Foundationられたものになる。わたしたちは動物，とくに遍的と方向づける価値である。倫理 (真理や正哺乳類の動作は擬人化して解釈する。身体や脳義) や自由，平等，平和，民主主義，人権などの進化の歴史から，人の知能は哺乳類の知能のが含まれる。政治の目的は共通の価値を議論し特殊化であり共有する部分がある。擬人化によて大きな記号でスーパーコミュニティを保つこる解釈は人の思い込みに過ぎないとは言い切れとである。これが分断のない社会である。保守ない。とは，大きな記号をコミュニティが共有して安人の知能が，人の知能をなぞってできたロ定な社会を持続可能にする立場である。われわ

ボットの知能からあまりかけ離れたものでない

れは記号の大小を理解して，社会については大として，人の知能の限界を考えるのも何かの参きな記号で語ることに留意するべきである。政考になるかもしれない。

治は小さな記号で分断を誘ってはならない。

8．知能の構成論からみる人間の社会

9．歴史への希望 (むすびにかえて)

言語を記号としてみること，それを普遍してロシアのウクライナ侵攻が 2022 年 2 月に始

人間社会を作り上げているものは記号であると

まり歴史の針を 100 年前に戻すかのような，歴みることは構造主義と呼ばれる。言語学の記号史観と世界観がゆがんで錯覚の中にいるように論を適用して社会活動を記述した 1949 年のクめまいを感じる状況が続いている。
E. H. カーは「歴史とは何か」[21] の中で歴ロード・レビ=ストロースの「親族の基本構造」[19] に 由 来 し て い る。運 動 記 号 に 基 づ く ロ

史について次のことを書いている。

ボットの知能の構成法は構造主義的である。構・現代と過去との対話である。

造主義批判の歴史は押さえておく必要がある。

・現在の記号によって過去を記述する。

1960 年代後半からポスト構造主義が，1980・過去の記述から現代を照らしだす。

年代にはポストモダン [20] という思想が生ま

歴史はつねに脱構築され，現在の記号で過去をれた。構造主義は，構造を既に存在する静的な書き変えてゆく。歴史の針が戻るのではなく現ものと考えそれを発見する立場であり，現代的在の状況が生んだ新しい記号で第一次世界大戦な多様性や創造性や偶然性が生まれるメカニズや第二次世界大戦やその後の世界の見方が，いムをその中に含んでいないと批判された。ポス

ま書き換えられているのである。

トモダンでは，つねに古い構造が壊れて新しい国連の役割の重要性が高まっています。カン構造が生まれる営みを重視し脱構築 (decon-ト [22] が「戦争を避ける永遠の平和」のためstruction) という言葉が生まれた。に構想した国家連合が求心力を保つためには，記号には大小がある。大きな記号とは大きな倫理や自由，平等，平和，民主主義，人権などコミュニティに共有される長期にわたって安定の記号の他に，人類の繁栄を記号として持つ必した記号である。小さな記号とは小さなコミュ要があります。このために資本主義はグローバ

ニティに共有される比較的に短い時間で生成かリゼーション，エネルギ，温暖化，環境，食糧ら消失に至る記号である。大きな記号は上位のなどの諸問題の解決に向かわなければなりませスーパーコミュニティを作り，小さな記号は部ん。科学とデータで脱構築し新しい資本主義を分集合のサブコミュニティを作る。

構築することが必須です。つまり，諸問題が課一つの国家では，大きなゆっくりと変化するす条件を満たす資本主義が繁栄に導き，多くのスーパーコミュニティをもちその中に動的に変国がそれを目指すようになる必要があります。

化するサブコミュニティをもつ構造が持続可能

これを成し遂げて共通の歴史を持続させることな社会の構造である。大きな記号とは社会が普が人類の希望です。

― 9 ―立石科学技術振興財団

人類の繁栄のシナリオは他にもあると思います。未来の万能の人工知能にこれをゆだねる選択もあります。しかし人類は自らの手で歴史をタ，”東京大学情報理工学系研究科知能機械情報学専攻修士論文，2015. 03.
[10]

T. Ohashi, Y. Ikegami, K. Yamamoto, W. Takanoand Y. Nakamura,“Video Motion Capture from the記述する道を選択することでしょう。大きな記Part Confidence Maps of Multi-Camera Images by号を共有して共通の歴史が生まれることを目指

Spatiotemporal Filtering Using the Human Skeletal

すこと，これがロボットの知能から出発して私が考え始めていることです。

putation of Structure-Varying Kinematic Chains
and Its Application to Human Figures,” IEEE
Trans. on Robotics and Automation, Vol. 16, No. 2,
pp. 124-134, 2000.
K. Yamane. “Realtime Interactive Dynamics
Computation of Structure-varing Kinematic Chains
and Its Application to Motion Generation of GumanFigures,” Ph. D Dissertation, Dept of MechanoInformatics, University of Tokyo, March 2002.
[3]

K. Yamane and Y. Nakamura. “Parallel O (logN)
Algorithm for Dynamics Simulation of Humanoid
Robots,” Proc. of IEEE-RAS Intern. Conf. on
Humanoid Robotics, 2006.

[4]

中村仁彦，山根克，栗原一貴，鈴木一郎．情報処

理振興事業協会 未踏ソフトウェア創造事業「人間の運動・認知情報処理研究のための高度計算基盤ソフトウェア」報告書，2002. 03.
[5]

Y. Nakamura, K. Yamane, Y. Fujita, and I. Suzuki.
“Somatosensory Computation for Man-MachineInterface from Motion Capture Data and Musculoskeletal Human Model,” IEEE Trans. on Robotics,
vol. 21, no. 1, pp. 58-66, 2005.

[6]

Ko Ayusawa. “Computational Study on Dynam-ics of Large DOF Multibody Systems withUnderactuated Base and its Application to MassProperty Identification of Humans and Humanoids,”
Ph. D. Dissertation, Dept. Mechano-Informatics,
University of Tokyo, 2011.
[7]

Yosuke Ikegami. “Subject Specic Modeling ofBodies for Muscle Activity Estimation Based onGeometric Morphing,” Ph. D. Dissertation, Dept.
Mechano-Informatics, University of Tokyo, 2017.

[8]

平澤謙章，“スパイク脊髄神経モデルと全身筋有限要素モデルの統合とその並列計算,” 東京大学情報理工学系研究科知能機械情報学専攻修士論文，2014. 03.

[9]

C. Hernandez-Reyes, Y. Ikegami, Y. Nakamura.

“Open Architecture between Database and Visu-Y. Nakamura and K. Yamane. “Dynamics Com-

[2]Oct., 2018.
[11][参考文献][1]Model,” Proc. of IEEE/RSJ IROS, pp. 4226-4231,

武市一成，“解剖学および生理学に基づくスパイ
ク脊髄神経モデルによる神経筋骨格統合シミュレー― 10 ―

alization for Democratized Scientific Sports Training,” 第 40 回日本ロボット学会学術講演会予稿集，
RSJ2022AC2J2-7, 2022.
[12]

A. Sakurai, Y. Ikegami, K. Yamamoto, M. Nikolicand Y. Nakamura. “Visualization of Human Motion
via Virtual Reality Interface and Interaction Basedon it,” Proc. of 9th Intern. Conf. on Sport Sciences
Research and Tech. Support, pp. 130-137, 2021.
[13]

テレンス・W・ディーコン．
“言語と脳の共進化

ヒトはいかにして人になったか，”金子隆芳訳，新曜社，1999．(原著：1997)[14] Merlin Donald. “Origins of the Modern Mind,”
Harverd University Press, 1991.
[15]

G. Rizzolatti, L. Fadiga, V. Gallese, L. Fogassi.

“Premotor cortex and the recognition of motoractions”. Cognitive Brain Research. 3 (2) pp. 131141, 1996.
[16] Wataru

Takano.

“StochasticSegmentation,Proto-Symbol Coding and Clustering of Motion
Patterns and Their Application to Signifiant Communication between Man and Humanoid Robot,” Ph.
D Dissertation, Dept of Mechano-Informatics, University of Tokyo, March 2007.
[17]

高野渉，山根克，杉原知道，山本江，中村仁彦．

“身体的記号化モデルに基づく人間とヒューマノイ
ドロボットのコミュニケーション理論，”日本ロボット学会誌，Vol. 28, No. 6, pp. 735-745, 2010.
[18]

山本江．
“厳しい時間拘束条件の下で多様な設置状態変化をするヒューマノイドロボットの動作計
画，”東京大学情報理工学系研究科知能機械情報学専攻修士論文, 2006. 03.
[19]

クロード・レビ=ストロース．
“親族の基本構造，”福井和美訳，青弓社，2000. (原著 : 1949)[20] 浅田彰．
“構造と力 ―― 記号論を超えて，”勁草
書房, 1983.
[21]

E. H. カー．
“歴史とは何か，” 清水幾太郎訳 岩波新書, 1962. (原著：1961)[22] カ ン ト. “永 遠 平 和 の た め に，”宇 都 宮 芳 明 訳
岩波文庫, 1985. (原著：1795)