1A3-13
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere

第 27 回日本バーチャルリアリティ学会大会論文集（2022 年 9 月）

Mechanical Brain Hacking:ロボットアバタを用いた
自らの脳改造・身体システム改造体験
Mechanical Brain Hacking: The Conversion Experiences of One’s Own Brain and Body System Using Robotic Avatar
高下修聡 1)，田中尚輝 2)，鈴木大河 2)
Shuto TAKASHITA, Naoki TANAKA, and Taiga SUZUKI
1)東京大学大学院
2)

学際情報学府 （〒113-0033 東京都文京区本郷 7-3-1, shuto.takashita@star.rcast.u-tokyo.ac.jp）

東京大学大学院

情報理工学系研究科（〒113-8656 東京都文京区本郷 7-3-1）

概要：本企画では、機械的な外見のロボットアバタを装用してアバタ脳内の身体制御回路を自ら改造し、身体機能を獲得・変更する体験を通じて、生得的な身体では得難い可塑性・拡張性のある身体感を体験者に提供する。体験中、現実の身体からの動作入力をアバタ脳内の回路に含まれる動作制御モジュールからアバタ四肢への動作命令として扱うことにより、現実の意識と身体動作にそのモジュールに含まれるアバタの意識体としての役割を与える。可塑性・拡張性のある身体感及び機械の身体を持つ意識体としての感覚を通し、体験者が身体拡張・身体変容を自然に受け入れられる非生得的な価値観を獲得することを目指す。
キーワード：アバター、人間拡張、没入型バーチャルリアリティ

1. はじめにーチや、外部機器を用いて脳波や血流を読み取る非侵襲

人間の身体は体表面をもって閉じられており、身体シ的なアプローチが考えられている[1]。

ステムへの組み込みによる新たな機能の付加・拡張は、身体が機械によって構成されている動物型・人間型ロ簡単には実現できない。日常において、人間は生得的なボットは、ハード的な機能拡張が人間の生物的な身体と身体で実現できない動作や機能を、道具を用いることで比べて容易である。まず、人間の身体と比較して、機械実現している。例えば箸を持つとき、自転車を使うとき

身体は身体に測定機器を埋め込む侵襲的な操作をたやすなど、人間は様々な道具を用いてその能力を拡張するく行える。人間の身体内部を覗くにはメスなどの医療器が、このときには人間の身体と道具との間に界面(インタ具や無菌室等の医療環境が必要だが、ロボットの身体のフェース)が生まれている。

中身を覗くにはドライバー等の幾つかの工具さえあれば人間拡張分野においては、人間が身体の外側に機械の良い。生体への侵襲的操作は不可逆的な事故が起こる可手足を纏うなどして人間の身体機能や体験を拡張してい能性を伴うが、機械身体の場合ではこのような事故も起る。この研究分野においても、大抵の場合界面は体表面こりにくいと考えられる。更に、機械身体では、新たなの外側に置かれている。素朴な例としては、眼鏡や赤外機能モジュールを追加する際に、そのモジュールを自ら線ゴーグルは人間の視覚を拡張しているが、ここでは界の身体システムの内部に容易に取り込むことができる。

面は眼球と眼鏡・ゴーグルの中間にある。

ここで、人間が道具を用いる時には界面が身体と道具の界面は多くの場合体表面の外側に置かれているが、数間に発生していたが、機械の身体では身体と新たな機能少ない例外として、例えばブレイン・マシーン・インタ

モジュールとの間に界面が発生しない、あるいは意識さフェースが挙げられる。この分野においては脳内信号をれないと考えられる。

測定して外部機器を動かそうとしており、界面を脳内にその身体の可塑性・拡張性ゆえに、機械身体を持つ意取り込んでいると考えられる。脳内信号の測定に関し識体が存在したならば、その意識体は「自分の身体」やて、脳内に電極を刺して電位を読み取る侵襲的なアプロ「生得的な身体」というものをそもそも意識しておらず、身体拡張や身体の変容を当たり前のものとして捉えⒸ 2022 日本バーチャルリアリティ学会-1A3-13-

1A3-13

図１：体験のイメージ図３：アバタ脳内回路確認した例が挙げられる[4]。しかし、機械の身体システムの可塑性・拡張性という特性に着目した研究・体験作
品や、新しい身体構造の操作権を主体的に獲得する過程そのものに着目した研究・体験作品、自らの脳内を改造することに着目した研究・体験作品は筆者の知る限り存在しない。
そこで、本企画では体験者に機械的な外見のロボットアバタを装用させ、アバタ頭部内側に存在する身体制御の役割を担う脳内回路を体験者自身が改造することによ
図２：システム概観

る身体システムの変容・獲得体験を体験者に与える。脳る価値観を持つと期待される。当然ながら、我々人類は内回路改造に伴う現実身体後頭部への触感フィードバッ

このような価値観を持っていない。

クや、四肢の操作権獲得時の筋電気刺激フィードバック

本企画では、機械的な外見の人型ロボットアバタを装により、体験の質を強化する。体験中、現実の身体から用して、アバタ頭部に位置する脳内回路を自ら主体的にの動作入力をアバタ脳内回路に含まれる動作制御モジュ改造し、身体機能を獲得・変更する体験を通じて、生得ールからアバタ四肢への動作命令として扱うことによ的な肉体では体験不可能である可塑的な身体感を体験者り、現実の意識と身体動作にそのモジュールに含まれるに提供する。また、現実の身体動作によるアバタ四肢へアバタの意識体としての役割を与える。機械の肉体を持の動作入力を、アバタ頭部内に含まれる動作制御モジュ

つ意識体としての体験を通し、体験者が身体拡張・身体ールからアバタ四肢への動作命令として扱うことによ変容を自然に受け入れられる非生得的な価値観を獲得す

り、現実の意識・身体動作に、その制御モジュール内にることを目指す。

存在するバーチャル空間におけるアバタの(身体動作を命令する)意識体、いわば魂としての役割を与える。これにより、機械身体を持つ意識体としての人間に非生得的な

3. 体験内容・シナリオ
本企画ではバーチャルリアリティ技術を用いて機械的な外見のロボットアバタを装用させ、アバタの脳内回路価値観の獲得を目指す。

を体験者自身が改造することによる、身体システムの変容・獲得体験を体験者に与える。本企画が提案する体験

2. 企画概要
本企画は、バーチャル空間内で体験者に人型ロボットアバタを装用させ、自らの脳内回路を改造し、身体の動のイメージ図は図 1 のようである。また、システム概観は図 2 のようである。

作を切り替えたり獲得したりさせる全く新しい体験を与具体的な体験シナリオは以下の通りである。

える。人型ロボットアバタの装用自体はアカデミア・大まず、体験者を椅子に座らせ、手足を脱力させる。続衆文化を問わず多く行われており、例えばロボットアバ

いて EMS 機器を腕と足首に取り付け、触覚提示装置を後タの装用により体験者は頑強な身体感を感じたという研頭部に取り付け、HMD を被せる。バーチャル空間内で体究がある[2]。 また、新しい身体構造の学習に関する研験者はロボットアバタを一人称視点で装用しており、ア究も多く行われており、例えば、胸部中心から身体前方バタ手足が垂れ下がった状態で椅子に座っている。初め方向に長い第三の腕を生やしたアバタに対する装用学習

は、体験者はアバタの胴体と顔部分しか操作権を得ておに伴う行動変容を調査した研究がある[3]。また、自らのらず、現実空間の手足を動かしてもアバタの手足は動か身体を主体的に手術・解剖する描写がある作品として、ない。また、体験者の前には鏡を置き、アバタの動作をテッド・チャンの小説「息吹」において主人公である機確認できるようにする。

械生命体の解剖技師が自らの脳を分解して意識の所在を次に、バーチャル空間内にアバタ後頭部を撮影するカ
メラとカメラからのアバタ後頭部映像を映すディスプレⒸ 2022 日本バーチャルリアリティ学会-1A3-13-

1A3-13イが現れる。カメラからはアームが伸びているが、現時点では動作しない。
ディスプレイはアバタ正面に現れ、体験者はアバタの後頭部とその内部を確認できる。アバタの頭部内には、身体動作制御モジュール、そのモジュールから頭部・胴体・四肢の動作を出力する端子、アバタ頭部・胴体・四肢へ動作を入力する端子が存在する。初めは胴体、頭部の入出力端子間のみしか接続・通電しておらず、右腕の図４：触覚フィードバック

入出力端子間はシリンダ錠でロックされており、また左腕・右足・左足の入出力端子間は繋がれていない(図3)。
ここから、体験者に四肢の入力端子と制御モジュール側出力端子を繋ぎ、四肢の操作を獲得してもらうよう音声指示していく。初めに、体験者に首を左右に回すことで右腕入出力端子間のシリンダ錠を回転させ、ロックを解除してもらう。ロック解除と共に EMS で体験者の現実空間の右腕を電気刺激し、通電感覚フィードバックを与える。右腕のロックを解除し通電させると、現実の右腕の動きに対応してアバタの右腕が動くようになる。ここ
で、カメラに取り付けられているアームもアバタ右腕に対応して動作するようになり、アバタ正面のディスプレ

図５：通電フィードバックイ中で動作を確認できる。次に、この右腕に対応して動イス、手足にモーショントラッカー、上腕・脛に筋電気くアームを用いて、右足入出力端子間を繋ぎ、右足の操刺激(EMS)装置を装着する。これらのデバイスは全て作権を獲得する。以降、ロボットハンドがアバタ頭部にUnity で製作される体験シーンと連動して制御される。デ侵入した時には触覚フィードバックを与え、また、回路バイスはコンピュータと接続され、Unity シーンと連動しが繋がった時には通電フィードバックを与える。続いて様々な感覚フィードバックを体験者に与える。て、故意的に間違った指示を与え、制御モジュールの左4.2 視覚・触覚提示

腕の動作出力端子とアバタ左足の動作入力端子を繋がせる。これにより、体験者は自分の現実身体の左腕の動作視覚・聴覚は HMD を用いて提示する。
4.3 トラッキングシステム

に対し、アバタの左足が動くといった混乱を生む感覚を

顔の動作のトラッキングには HMD を用いる。手の動作覚える。次に、制御モジュールの左腕の出力端子とアバのトラッキングには、VR グローブを用いることを考えてタ左腕への動作入力端子を正しいように繋ぎ直させる。

いるが、開発の次第により Vive コントローラーを用いる。

最後に、制御モジュールと左足の端子を繋がせ、四肢全足の動作のトラッキングには Vive Tracker を用いる。そのての操作権を獲得する。四肢の操作権を獲得した後に、他の部位の動作は IK を用いて補間する。

体験者の前にロボットらしい外見をした第三の腕パーツ

4.4 後頭部への触覚フィードバックが現れる。体験者がそれをロボットアバタの胴体や脇アバタの脳内回路の改造時、後頭部への手術アームの侵腹、肩などに用意された接続部に接続することで、アバ入と同期させて体験者後頭部に触覚フィードバックを与タ脳内回路に第 3 の腕用の動作入力端子が新しく現れえ、脳内にアームが侵入する感覚を擬似的に体験する。触る。第 3 の腕に対し、制御モジュールのいずれかの動作覚は振動スピーカを用いて提示される。デバイスは 3D プ出力端子を繋ぐことで、第 3 の腕が繋がれた出力部に対リントした土台に振動スピーカを埋め込んで作成する(図応する四肢の動きに対応して動くようになる。最後に体4)。もしも現実に機械身体を持っていたならば、後頭部や験者の前に更なる様々な身体パーツが現れ、更なる身体脳内に触覚が存在せず、このような感覚は起こり得ないこ拡張を促すアナウンスが流れて、シナリオ終了とする。とも考えられるが、体験の質の強化の為に敢えて触覚フィードバックを採用する。
4.5 通電フィードバックシステム4. システム構成

本企画では、体験者がロボットアバタの脳内を改造し、4.1 システム概観
本章では具体的なロボットアバタ装用および脳内回路四肢の操作権を獲得した時に EMS 装置により現実の身体改造による身体システムの変容体験を提示するシステムに筋電気刺激を行い、四肢への通電、および通電時に手足について説明する。システムの概観は図 2 の通りである。

が動き始める感覚を擬似的に提示する。刺激する箇所は上

体験者は椅子に座り、頭部に HMD、後頭部に触覚提示デバ腕部と脛の運動点を検討している(図 5)。通電箇所はアバⒸ 2022 日本バーチャルリアリティ学会-1A3-13-

1A3-13う。
4.6.3 システム構成
システム構成は図 6 のようである。
4.6.4 その他
アバタが存在する空間の外見は、体験の設定やストーリーと共に検討中である。体験シーンは Unity を用いて製作する。

5. まとめ本システムでは、バーチャル空間内で自分の身体としてのロボットアバタの脳内回路を改造することで、身体システムを組み替え・獲得する体験を体験者に提示する。この体験を通し、体験者が可塑性・拡張性を持つ組み替え可能な身体の感覚を得て、またそのような機械的身体を持つ意識

図６：システム構成
タ脳内制御モジュール側の動作出力端子に対応させる。つまり、制御モジュール側左腕の動作出力端子とアバタ左足への動作入力端子が繋がれた時には、現実の左腕に筋電気刺激を行う。また、電気刺激は安全に十分注意して行う。
4.6 バーチャル空間内システム体としての身体拡張・身体変容に対する自由な価値観を得られることを期待する。

参考文献[1] Simanto Saha, Khondaker A. Mamun, Khawza Ahmed,Raqibul Mostafa, Ganesh R. Naik, Sam Darvishi, Ahsan H.

4.6.1 アバタ

Khandoker, and Mathias Baumert. Progress in brain

ロボットアバタは後頭部が開いており、頭部内には身体computer

動作制御モジュール、そのモジュールから頭部・胴体・四肢の動作を出力する端子、アバタ頭部・胴体・四肢へ動作を入力する端子が存在する(図 3)。動作制御モジュールにReality Software and Technology, VRST ’16, pp. 315–316,
New York, NY, USA, November 2016. Association for

端子は頭部・胴体の端子間のみ繋がれ通電しており、右腕Computing Machinery.

[3] Andrea Stevenson Won, Jeremy Bailenson, Jimmy Lee,and Jaron Lanier. Homuncular flexibility in virtual reality.の端子間は繋がっていない。シリンダ錠型ロックはアバタ

J. Comput. Mediat. Commun., Vol. 20, No. 3, pp. 241–259,の頭の上下と回転に合わせて各段が回転し、溝の位置が揃回すと、シリンダ錠上段が右回り方法に回転する。なお、

May 2015.

[4] テッド・チャン 著,大森望 訳 (2019) 『息吹』, 早川

右腕部の回路をこのような初期設定にしたのは、右腕の獲得段階ではアバタの頭部と胴体のみが現実の身体に従って動く状態であり、それらのみを用いて右腕部の回路を繋がせる必要があったためである。開発中により自然なシナリオ設定が思い浮かんだ場合には、これらの設定が変更される可能性がある。
4.6.2 後頭部カメラ等
カメラは常に後頭部を写すよう、頭部の動きに追従して動く。後頭部の映像はアバタの手前のディスプレイに表示される。カメラからは一対のアームが伸びており、アバタの動作に対応して動く。体験者はディスプレイ上に見えるこれらのアームを用い、頭部内側に存在する脳内回路を操作する。即ち、体験者はバーチャル空間内でこれらのカメラを目、アームを腕としテレイグジスタンス的に作業を行Ⓒ 2022 日本バーチャルリアリティ学会

opportunities.

In Proceedings of the 22nd, ACM Conference on Virtual

タの各身体部位が動くようになる。初め、出力端子と入力うと開く仕組みである。例えば顔を上向きにして首を右にand

Erich Latoschik. Avatar anthropomorphism and acrophobia.

体部位の入力端子を繋ぐことで現実の動作に対応しアバックがかかっており通電はしておらず、右足・左手・左腕

Challenges[2] Jean-Luc Lugrin, Ivan Polyschev, Daniel Roth, and Marc

は顔・胴体・四肢の計 6 個の出力端子があり、これと各身の端子間は繋がれてはいるものの途中でシリンダ錠型ロinterface:

Frontiers in Systems Neuroscience, Vol. 15,2021-1A3-13-

書房