IVRC2022

Mechanical Brain Hacking:
ロボットアバタを用いた自らの脳改造・身体システム改造体験

1.はじめに人間の身体は体表面をもって閉じられており、身体システムへの組み込みによる新たな機能の付加・拡張は、簡単には実現できない。日常において、人間は生得的な身体で実現できない動作や機能を、道具を用いることで実現している。例えば箸を持つとき、自転車を使うときなど、人間は様々な道具を用いてその能力を拡張するが、このときには人間の身体と道具との間に界面(インタフェース)が生まれている。
人間拡張分野においては、人間が身体の外側に機械の手足を纏うなどして人間の身体機能や体験を拡張している。この研究分野においても、大抵の場合界面は体表面の外側に置かれている。素朴な例としては、眼鏡や赤外線ゴーグルは人間の視覚を拡張しているが、ここでは界面は眼球と眼鏡・ゴーグルの中間にある。
界面は多くの場合体表面の外側に置かれているが、数少ない例外として、例えばブレイン・マシーン・インタ
フェースが挙げられる。この分野においては脳内信号を測定して外部機器を動かそうとしており、界面を脳内に取り込んでいると考えられる。脳内信号の測定に関して、脳内に電極を刺して電位を読み取る侵襲的なアプローチや、外部機器を用いて脳波や血流を読み取る非侵襲的なアプローチが考えられている[1]。
身体が機械によって構成されている動物型・人間型ロボットは、ハード的な機能拡張が人間の生物的な身体と比べて容易である。まず、人間の身体と比較して、機械身体は身体に測定機器を埋め込む侵襲的な操作をたやすく行える。人間の身体内部を覗くにはメスなどの医療器具や無菌室等の医療環境が必要だが、ロボットの身体の中身を覗くにはドライバー等の幾つかの工具さえあれば良い。生体への侵襲的操作は不可逆的な事故が起こる可能性を伴うが、機械身体の場合ではこのような事故も起こりにくいと考えられる。更に、
機械身体では、新たな機能モジュールを追加する際に、そのモジュールを自らの身体システムの内部に容易に取り込むことができる。ここで、人間が道具を用いる時には界面が身体と道具の間に発生していたが、機械の身体では身体と新たな機能モジュールとの間に界面が発生しない、あるいは意識されないと考えられる。
その身体の可塑性・拡張性ゆえに、機械身体を持つ意識体が存在したならば、その意識体は「自分の身体」や「生得的な身体」というものをそもそも意識しておらず、身体拡張や身体の変容を当たり前のものとして捉える価値観を持つと期待される。当然ながら、我々人類はこのような価値観を持っていない。
本企画では、機械的な外見の人型ロボットアバタを装用して、アバタ頭部に位置する脳内回路を自ら改造し、身体機能を獲得・変更する体験を通じて、生得的な肉体では体験不可能である可塑的な身体感を体験者に提供する。また、現実の身体動作によるアバタ四肢への動作入力を、アバタ頭部内に含まれる動作制御モジュールからアバタ四肢への動作命令として扱うことにより、現実の意識・身体動作に、その制御モジュール内に存在するバーチャル空間におけるアバタの(身体動作を命令する)意識体、いわば魂としての役割を与える。
これにより、機械身体を持つ意識体としての人間に非生得的な価値観の獲得を目指す。

2. 関連研究・作品
本企画は、バーチャル空間内で体験者に人型ロボットアバタを装用させ、自らの脳内回路を改造し、身体の動作を切り替えたり獲得したりさせる全く新しい体験を与える。
人型ロボットアバタの装用自体はアカデミア・大衆文化を問わず多く行われており、例えば頑強な外見のロボットアバタの装用により体験者は高所への不安を減らしたという研究がある[2]。また、バーチャルアバタに限らず、例えばテレイグジスタンス分野では VR 技術等を用いて人型ロボットを遠隔地から臨場感を持って操作しようとしている[3]。
また、新しい身体構造を持つアバタの装用例やそのアバタについての研究も数多く存在する。例えば、胸部中心から身体前方方向に長い第三の腕を生やしたアバタに対する装用学習に伴う行動変容を調査した研究がある[4]。また、VRSNS 上では蜘蛛のような下半身を持つ多脚アバタやケンタウロス型のアバタなどを装用している人々も見られる。
関連して、現実に身体構造に追加の部位を付加した例としては、尻尾[5]や第六の指[6]を追加した研究などがある。
自らの身体を主体的に手術・解剖する描写がある作品例としては、手塚治虫の漫画「ブラック・ジャック」で主人公のブラック・ジャックが寄生虫を取り出すべく自らの身体にメスを入れた例や、テッド・チャンの小説「息吹」で主人公である機械生命体の解剖技師が自らの脳を分解して意識の所在を確認した例などがある。
また、自らの身体システムを組み替える描写がある作品例としては、士郎正宗の漫画「攻殻機動隊」では主人公の草薙素子が自らのサイボーグ的な身体をデザインするシーンがあり、また神谷涼製作のテーブルトーク RPG「永い後日談のネクロニカ」では、プレイヤーはゾンビ的なキャラクターのロールプレイを行うが、キャラクターメイキング時に腕や頭の数を増やしたり形状を変化させたりすることができる。
しかし、機械の身体の組み換え可能性・身体システムの可塑性という特性に着目した研究・体験作品や、新しい身体構造の操作権を主体的に獲得する過程に着目した研究・体験作品、自らの脳内を改造することに着目した研究・体験作品は筆者の知る限り存在しない。

3.企画概要本企画では体験者に機械的な外見のロボットアバタを装用させ、アバタ頭部内側に存在する身体制御の役割を担う脳内回路を体験者自身が改造することによる身体システムの変容・獲得体験を体験者に与える。
新たな身体構造・身体システムを持つアバタを実験者が与える既存研究と異なり、主体的にアバタの身体システムを組み替えさせることで、新しい身体システムの学習に対するポジティブな影響が期待される。脳内回路改造に伴う現実身体後頭部への触感フィードバックや、四肢の操作権獲得時の筋電気刺激フィードバックにより、体験の質を強化する。体験中、現実の身体からの動作入力をアバタ脳内回路に含まれる動作制御モジュールからアバタ四肢への動作命令として扱うことにより、現実の意識と身体動作にそのモジュールに含まれる意識体、いわば魂としての役割を与える。これにより、機械身体を持つ意識体としての人間に非生得的な価値観の獲得を目指す。

4. シナリオ
本企画ではバーチャルリアリティ技術を用いて機械的な外見のロボットアバタを装用させ、アバタ脳内の回路を体験者自身が改造することによる身体システムの変容・獲得体験を体験者に与える。本企画で作成する体験のイメージ図は図１のようである。また、本体験のシステム概観は図２のようである。

図１：体験のイメージ

図２：システム概観(完成予想図)

具体的な体験シナリオは以下の通りである。まず、体験者を椅子に座らせ、手足を脱力させる。続いてEMS 機器を腕と足首に取り付け、触覚提示装置を後頭部に取り付け、HMD を被せる。バーチャル空間内で体験者はロボットアバタを一人称視点で装用しており、アバタ手足が垂れ下がった状態で椅子に座っている。
初めは、体験者はアバタの胴体と顔部分しか操作権を得ておらず、現実空間の手足を動かしてもアバタの手足は動かない。また、体験者の前には鏡を置き、アバタの動作を確認できるようにする。
次に、バーチャル空間内にアバタ後頭部を撮影するカメラとカメラからのアバタ後頭部映像を映すディスプ
レイが現れる。カメラからはアームが伸びているが、現時点では動作しない。ディスプレイはアバタ正面に現れ、体験者はアバタの後頭部とその内部を確認できる。アバタの頭部内には、身体動作制御モジュール、そのモジュールから頭部・胴体・四肢の動作を出力する端子、アバタ頭部・胴体・四肢へ動作を入力する端子が存在する。初めは胴体、頭部の入出力端子間のみしか接続・通電しておらず、右腕の入出力端子間はシリンダ錠でロックされており、また左腕・右足・左足の入出力端子間は繋がれていないことが確認できる(図３)。

図３：アバタ脳内回路

ここから、体験者に音声指示を与えて四肢の入力端子と制御モジュール側出力端子を繋ぎ、四肢の操作を獲得してもらう。初めに、体験者に首を左右に回すことで右腕入出力端子間のシリンダ錠を回転させ、ロックを解除してもらう。ロック解除と共に EMS で体験者の現実空間の右腕を電気刺激し、通電感覚フィードバックを与える。右腕のロックを解除し通電させると、現実の右腕の動きに対応してアバタの右腕が動くようになる。
ここで、カメラに取り付けられているアームもアバタ右腕に対応して動作するようになり、アバタ正面のディスプレイ中で動作を確認できる。次に、この右腕に対応して動くアームを用いて、右足入出力端子間を繋ぎ、右足の操作権を獲得する。以降、ロボットハンドがアバタ頭部に侵入した時には触覚フィードバックを与え、また、回路が繋がった時には通電フィードバックを与える。
続いて、故意的に間違った指示を与え、制御モジュールの左腕の動作出力端子とアバタ左足の動作入力端子を繋がせる。これにより、体験者は自分の現実身体の左腕の動作に対し、アバタの左足が動くといった混乱した感覚を覚える。次に、制御モジュールの左腕の出力端子とアバタ左腕への動作入力端子を正しいように繋ぎ直させる。
最後に、制御モジュールと左足の端子を繋がせ、四肢全ての操作権を獲得する。
四肢の操作権を獲得した後に、体験者の前にロボットらしい外見をした第三の腕パーツが現れる。体験者
がそれをロボットアバタの胴体や脇腹、肩などに用意された接続部に接続することで、アバタ脳内回路に新しい第３の腕用の動作入力端子が現れる。第３の腕に対し、制御モジュールのいずれかの動作出力端子を繋ぐことで、第３の腕が繋がれた出力部に対応する四肢の動きに対応して動くようになる。最後に体験者の前に更なる様々な身体パーツが現れ、更なる身体拡張を促すアナウンスが流れて、シナリオ終了とする。

5. 本企画の面白さ
本企画の興味深い・面白いと考えられる点は以下のようである。
⚫

自らの脳内の回路を改造することで、初めは自由に動かせないロボットアバタの四肢をリアルタイムに身体システムの変容を感じつつ段階的に獲得していく体験⚫

脳内回路の身体制御モジュールの出力とアバタ四肢への動作入力の対応をわざと間違えさせることによる、神経を繋ぎ間違えたかのような動作の混乱⚫

アバタ四肢の操作権獲得時の現実への肉体の筋電気刺激によるフィードバック、それによるアバタ四肢獲得感覚の強化⚫

自らの脳内を手術・改造する体験⚫

可塑的な機械身体の体験を通し、機械身体を持つ意識体としての価値観を獲得できる可能性⚫

主体的に身体システムを組み替えることによる、身体変容・拡張への受容感の発生の可能性、及び新たな身体システムの装用学習へのポジティブな影響の期待⚫

ロボットアバタの装用による可塑的な身体感がもたらす体験者への心理的な影響(プロテウス効果)

6. システム構成・構成原理
6.1 システム概観
システム概観本章では具体的なロボットアバタ装用および脳内回路改造による身体システムの変容体験を提示するシステムについて説明する。システムの概観は図２の通りである。体験者は椅子に座っている。体験者は頭部に HMD を、後頭部に触覚提示デバイスを、手足にモーショントラッカーを、上腕・脛に筋電気刺激(EMS)装置を装着する。これらのデバイスは全て Unity で製作される体験シーンと連動して制御される。デバイスはコンピュータと接続され、Unity シーンと連動して様々な感覚フィードバックを体験者に与える。多感覚フィードバックにより体験の質を向上させることが知られているため、今回は視覚-運動フィードバックに加え、電気刺激と後頭部への触覚刺激を用いた。

6.2 視覚・触覚提示
視覚・聴覚は HMD を用いて提示する。

6.3 トラッキングシステム
顔の動作のトラッキングには HMD を用いる。手の動作のトラッキングには、VR グローブを用いることを考えているが、開発の次第により Vive コントローラーを用いる。足の動作のトラッキングには Vive Tracker を用いる。
その他の部位の動作は IK を用いて補完する。

6.4 後頭部への触覚フィードバック
アバタ脳内の改造時、後頭部への手術アームの侵入と同期させて体験者後頭部に触覚フィードバックを与え、脳内にアームが侵入する感覚を擬似的に体験する。本当に機械的な身体を持っていたならば、後頭部や脳内に触覚が存在せず、このような感覚は起こり得ないことも考えられるが、体験の質の強化の為にあえて触覚フィードバックを採用することにした。触覚は振動スピーカを用いて提示される。デバイスは 3D プリントされた土台に振動スピーカを埋め込んで作成する。デバイスは図４のように装着する。

図４：触覚フィードバック

図５：通電フィードバック6.5 通電フィードバックシステム
本企画では、体験者がロボットアバタの脳内を改造し、四肢の操作権を獲得した時に EMS 装置により現実の身体に筋電気刺激を行い、四肢への通電、および通電時に手足が動き始める感覚を擬似的に提示する。刺激する箇所は上腕部と脛の運動点を検討している(図５)。通電箇所はアバタ脳内制御モジュール側の動作出力端子に対応させる。つまり、制御モジュール側左腕の動作出力端子とアバタ左足への動作入力端子が繋がれた時には、現実の左腕に筋電気刺激を行う。

6.6 バーチャル空間内システム
6.6.1 アバタ
ロボットアバタは後頭部の蓋が開き、頭部内には身体動作制御モジュール、そのモジュールから頭部・胴体・四肢の動作を出力する端子、アバタ頭部・胴体・四肢へ動作を入力する端子が存在する。動作制御モジュー
ルには顔・胴体・四肢の計６個の出力端子があり、これと各身体部位の入力端子を繋ぐことで現実の動作に対応しアバタの各身体部位が動くようになる。初め、出力端子と入力端子は頭部・胴体の端子間のみ繋がれ通電しており、右腕の端子間は繋がれてはいるものの途中でシリンダ錠型ロックがかかっており通電はしておらず、右足・左手・左腕の端子間は繋がっていない。シリンダ錠型ロックはアバタの頭の上下と回転に合わせて各段が回転し、溝の位置が揃うと開く仕組みである。例えば顔を上に向けて首を右に回すと、シリンダ錠上段が右回り方法に回転する。なお、右腕の回路をこのような初期設定にしたのは、頭部と胴体のみが動く状態で、それらのみを用いて自然なシナリオ設定の範囲で右腕部の回路を繋がせるアイデアが他に浮かばなかった為であり、開発中の検討次第では別の設定に変更する可能性もある。

6.6.2 後頭部カメラ等
カメラは常に後頭部を写すよう、頭部の動きに追従して動く。後頭部の映像はアバタの手前のディスプレイに表示される。カメラからは一対のアームが伸びており、アバタの動作に対応して動く。体験者はディスプレイに表示されるこれらのアームを用い、頭部内側の回路を操作する。即ち、体験者はバーチャル空間内でこれらのカメラを目、アームを腕としテレイグジスタンス的に作業を行う。

6.6.3 システム構成
システム構成は図 6 のようである。

図６：システム構成
6.6.4 使用機材リスト
本企画で用いる機材は以下を想定している。
⚫

VR-Ready PC⚫

HMD(Vive Pro 2)⚫

トラッカー(Vive Tracker)⚫

VR グローブ(Hi5 VR GLOVE)⚫

EMS 機器⚫

振動呈示用スピーカ

6.6.5 その他
アバタが存在する空間の外見は、体験の設定やストーリーと共に検討中である。体験シーンは Unity を用いて製作する。

7.制作スケジュール
製作は以下のようなスケジュールで進行する。

5月

アイデア出し、モックアップの作成、用いる技術に関する調査

6月

フィードバック以外の部分のプロトタイプの作成、触覚提示デバイスの作成、EMS システムの作成

7月

多感覚フィードバックシステムの統合

8月

デバッグ、体験の強化、設定的な作り込み

9月

体験会やポスター発表本番

10 月以降 頂いたフィードバックを元に体験を強化
なお、本企画にあたりチームメンバーは Unity・アバタ作成・筋電気刺激・電子工作に関して十分な技術を持っており、制作が滞ることはないと考えている。

参考文献[1] Simanto Saha, Khondaker A. Mamun, Khawza Ahmed, Raqibul Mostafa, Ganesh R. Naik, Sam Darvishi, Ahsan H.
Khandoker, and Mathias Baumert. Progress in brain computer interface: Challenges and opportunities. Frontiers in Systems
Neuroscience, Vol. 15, 2021

[2] Jean-Luc Lugrin, Ivan Polyschev, Daniel Roth, and Marc Erich Latoschik. Avatar anthropomorphism and acrophobia.
In Proceedings of the 22nd, ACM Conference on Virtual Reality Software and Technology, VRST ’16, pp. 315–316,
New York, NY, USA, November 2016. Association for Computing Machinery.

[3] Charith Lasantha Fernando, Masahiro Furukawa, Tadatoshi Kurogi, Sho Kamuro, Katsunari Sato, Kouta
Minamizawa, and Susumu Tachi. Design of TELESAR V for transferring bodily consciousness in telexistence. In
2012 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, October 2012.

[4] Andrea Stevenson Won, Jeremy Bailenson, Jimmy Lee, and Jaron Lanier. Homuncular flexibility in virtual reality. J.
Comput. Mediat. Commun., Vol. 20, No. 3, pp. 241–259, May 2015.

[5] unichi Nabeshima, MHD Yamen Saraiji, and Kouta Minamizawa. Arque: Artificial biomimicry inspired tail forextending innate body functions. In ACM SIGGRAPH 2019 Posters, SIGGRAPH’19, New York, NY, USA,2019. Association for Computing Machinery.

[6] Kohei Umezawa, Yuta Suzuki, Gowrishankar Ganesh, and Yoichi Miyawaki. Bodily ownership of an
independent supernumerary limb: an exploratory study. Sci. Rep., Vol. 12, No. 1, p. 2339, February 2022.