The 31st Annual Conference of the Japanese Society for Artificial Intelligence, 2017

1G1-OS-21a-3

プロジェクション工学からプロジェクション科学へ
From Projection Engineering To Projection Science大山英明*1

中村壮亮*2

岡田浩之*3

Eimei Oyama

Sousuke Nakamura

Hiroyuki Okada

*1

産総研

*2

*3

AIST

Hosei University法政大学

玉川大学

Tamagawa University

We will cross the various application fields of projection science cross-sectionally as "projection engineering". This paper
describes the concept of projection engineering and various subjects, outlines the coming of a new situation that can be called
the "VR/AR/MR Revolution", and describes the expectation for projection science from the perspective of projectionengineering.

1. はじめにプロジェクション科学は，文献[鈴木 2016][小野 2016]にもあるように，発展途上の科学であるが，仮想現実(VR)/拡張現実(AR)/複合現実(MR)，ロボット操縦，テレプレゼンス，テレイグジ
スタンス[Tachi 2015][舘 2015]，或いは遠隔行動（または動作）
誘導[Maeda 2011][Oyama 2016]といった応用の現場では，プロジェクション科学に関連する様々な課題に直面し，それぞれに問題解決が試みられている．我々はプロジェクション科学の様々な応用分野を横断的に「プロジェクション工学」と呼ぶことにする．本稿では，プロジェクション工学の概念と様々な課題について述べ，VR/AR/MR 革命と言える新たな状況の到来[新2016]について概説し，プロジェクション工学から見たプロジェクション科学への期待について述べる．

2. プロジェクション工学
2.1 プロジェクション工学
既に普及しているプロジェクターの技術やプロジェクションマッピング技術と紛らわしいという懸念も存在するが，プロジェクシ
ョン科学の様々な応用分野を横断的に「プロジェクション工学」と呼ぶことにする．文献[鈴木 2016]では，プロジェクション科学の応用分野として，主として「異投射」について，インターフェース工学，コンピュータゲーム，仮想現実感(VR)，拡張現実感(AR)，テレプレゼンス等が，関連する応用分野として挙げられている．テレプレゼンスについては，後述するが，テレプレゼンスを含むより広い応用分野として，ロボット操縦あるいは操縦型ロボットがある．ロボット操縦も含めて，何れも，ヒューマンインターフェースに関連する工学分野であり，活発に横断的な研究が行われている．
プロジェクション科学の「投射」と「異投射」に関して，VR/AR/MR，人型ロボット操縦[西尾 2013][吉川 2012]，テレイグジスタンス型ロボット操縦[Tachi 2015][舘 2015]が重要な応用と言える．また，テレイグジスタンスに関連して，AR 技術を活用した遠隔作業支援技術の一種である遠隔行動（動作）誘導も重要と考える[Maeda 2011][Oyama 2016]．これらの分野では，ヒューマンインターフェースの中でも，より直感的に・自然に利用可能なナチュラル・ユーザー・インターフェース(NUI)が重要である．
連絡先：大山英明，産業技術総合研究所，〒305-8568 茨城県
つくば市梅園 1-1-1 つくば中央第二，029-861-7298，029861-3388(FAX), eimei.oyama@aist.go.jp

VR においては，ユーザーから VR 空間のアバターへの「身体図式」の写像が，また，人型ロボット操縦においては，操縦者からロボットへの「身体図式」の写像が，重要な課題である．遠隔行動（動作）誘導においては，作業指示者から作業者への「身体図式」の写像が重要な課題となる．さらに一般のロボットの操縦においては，「身体図式」よりもより「意図」に近い何らかの制御単位からロボットの行動（動作）への写像とその学習が重要となってくる，

2.2 テレイグジスタンス・ロボット操縦・遠隔行動誘導
ここで，「身体図式」の変容に関係する，ロボット操縦技術，特にテレイグジスタンスと呼ばれる操縦方式や動作追従型の操縦方式，遠隔作業支援技術の一種である遠隔行動（動作）誘導を紹介し，それらが直面する，「身体図式」の写像の修正について次節で述べる．
テレイグジスタンスとは，遠隔地の人型ロボットの感覚情報を共有し，そのロボットが操縦者の動く通りに動くことで，遠隔地のロボットを，操縦者自身の身体のように操ることが可能なロボット操縦技術である[Tachi 2015][舘 2015]．図 1 にテレイグジスタン
ス型ロボット操縦の様子を示す．図 1 のシステムでは，操縦者の動作取得に，後述する Microsoft KINECT を用いている[大山2016]．

図 1 テレイグジスタンスロボットの操縦の様子
1980 年前後，舘によってテレイグジスタンスの概念と操縦者がロボットと一体化した臨場感を得るための具体的な技術要件が提案され[Tachi 2015][舘 2015]，Marvin Minsky によって，テレプレゼンス（Telepresence）の概念とそれが実現する経済・社会状況が提案された[Minsky 1980]．広義のテレイグジスタンスは，テレプレゼンスとほぼ同じ概念であるが，近年では，テレイ-1-

グジスタンスが，人型ロボットを操縦するための技術を深化させているのに対し，テレプレゼンスは商品化され，人型ロボットに限定されず，操縦方式も動作追従型に限定されない幅広い範囲の遠隔操作型ロボットシステムや先進的なビデオ会議システムを指す用語となりつつある．
文献[鈴木 2016]でも，プロジェクション科学における「投射」において，道具による「身体図式」の変容が言及されているが，テレイグジスタンス型ロボット操縦は，ほとんどの場合，人間とロボットの構造や形状，応答性等の違いから，常時「身体図式」の修正に直面し，速やかに「身体図式」を修正して一体感を保つ必要が有る．「身体図式」の各部位の寸法の修正法について，次節にて中村らの研究を紹介する[Nakamura 2016]．
ロボットにカメラを設置し，映像を伝送する必要のあるテレイグジスタンスより，簡便に実現できるロボットの操縦法に，視覚については，直接目視や外部カメラを用い，運動制御系については動作追従型を取る操縦方式がある．西尾らは「自分以外の物体を自らの身体の一部のように感じること」を「身体感覚移転(Body Ownership Transfer)」と呼び．人間に近い外見を持つアンドロイドの動作追従型の遠隔操作における，「身体感覚」について様々な条件下で移転の性質を実験的に明らかにしている[西尾 2013]．Tanaka らは，人型ロボットや人に近い外見を持つアンドロイドで，動作追従型の操縦を行うことにより，ロボットやアンドロイド周辺に操縦者のパーソナル・スペースが発生することを報告している[Tanaka 2016]．さらに，外見の類似よりも動作の同調の方が，パーソナル・スペース発生の効果が高いことが示唆されている[Tanaka 2016]．
必ずしも人型に限定されない，スレーブロボットを操縦対象とするロボット操縦においては，操縦者の各部の動きとロボット動作との対応関係は，「身体図式」の写像という捉え方よりも，さらに複雑な「異投射」を行うことになる． 通常そのような「異投射」による操縦は困難で，学習が不可欠となる．言語表現よりもより「行動意図」に近い表現から「行動」への写像として捉える，「つもり制御」の概念を丹羽らは提案しているが[丹羽 2012]，認知科学的な探求が期待されている．
Voice Instructions

Expert at Remote
Site

WorkerCameras,MotionSensors,etc.

CameraImage ofWorker

CG Imageof Expert’s
Hands+Stereo
HMD+Helmet
MountedCamera
Monocular/Stereo HMD

Shared ARImage

Green semitransparent
hands areexpert’s hands.
Appearances of Behavior Navigation using Shared AR Images

ExpertWorker

図 2 遠隔行動誘導システムの概念図
続いて， 遠隔行動（動作）誘導について紹介する [Maeda
2011][Oyama 2016]．現時点で普及していない用語であるため
解 説 す る が ， 遠 隔 行 動 誘 導 技 術 は ， Kuzuoka が 提 案 し た
SharedView System[Kuzuoka 1992]を発展させたもので，現場の情報を，遠隔地の作業に熟練した専門家にリアルタイムに送り，拡張現実感(AR: Augmented Reality)技術を用いて，専門家の手の CG 画像を現場の画像に重ねて表示し，専門家が分かり易い形で作業の手本を示し，現場作業者がそれを真似ることで，専門的な技能を現場で実現する先進的な遠隔作業支援システムである．通常，現場作業者が，ヘッド・マウンテッド・ディスプレイ(HMD)に加えて， マイクとヘッド・マウンテッド・カメラ(HMC)を装着し，現場の情報を専門家に送る．専門家も HMCを装着し，HMD または固定ディスプレイにて，現場から送られた画像を見る．さらに，専門家の HMC 画像から専門家の手を抽出し，専門家の手のコンピュータ・グラフィクス(CG)画像を生成し，AR 技術によって，現場からの画像に重畳して表示する．
この画像をそれぞれのディスプレイに表示し，現場作業者と専門家とで共有する．共有した画像中の専門家の手の動きを作業者が真似ることで，専門家の高度の技能を現場で活用可能である．図 2 に遠隔行動誘導の概念図を示す．
遠隔行動誘導においては， 専門家（操縦者に相当）は，自分の手の CG 画像と，遅れを持って同様の動作をする作業者の身体のどちらか一方，または両方に投射・異投射する可能性がある．また，専門家の見る HMD 画像については，自分の手のCG 画像を表示せずに，作業者の動作を誘導することも可能である．この場合，通信や追従の遅れによる時間遅れが少なく，追従精度が高ければ「身体感／身体所有感」を，遠隔地の作業者について持つことが期待できる．さらに，現時点で，遠隔行動誘導においては，専門家への触覚フィードバックは開発途上であるが，専門家への触覚刺激のタイミングを変化させることで，投射先や「身体感／身体所有感」を変化させることが可能となる可能性がある．

2.3 「身体図式」の修正
身体と連動する形で人型の人工物を操るインターフェースは，テレイグジスタンスやアバターなどで検討されている．これは，プロジェクション科学においては，身体から人工物への異投射に相当する．オペレータからみて適切な異投射とは何かという問いに対して，中村らは，「感覚的に自然な異投射とは，自身の身体図式が転用できる異投射である」との仮説を立てている．そして，それを実現するべく，身体図式を修正する“身体図式キャリブレーション”の研究を進めている[Nakamura 2016]．
操作対象の人工物とオペレータの身体では，寸法や形状が異なる事が一般である．そのような場合，身体図式が一致せず，円滑な操作を可能とする新たな投射モデルが脳内に構築されるまで操作に熟練を要する．一方で，人工物の寸法に合わせて身体図式を予め修正しておけば，人工物を自身の身体であるかのように感じつつ容易に操作できると考えられる．
身体図式は身体成長に伴い柔軟に更新されるものであり，成人でも柔軟性が消失しない事は，事故による身体欠損などでの再構成から明らかである．このような知見を元に，身体図式を能動的に修正する身体図式キャリブレーションは提案された．
身体図式キャリブレーションは，図 3 に示すように，VR 技術により疑似的な身体寸法変化を体験できる仮想空間を作り出し，身体寸法を意識する体験を通じ，仮想的な身体成長すなわち身体図式の修正を実現する技術である．具体的には，自身の身体と連動するアバターが VR 提示され，そのアバターの身体寸法が自身の素の身体寸法から徐々に投射先の寸法へと調整される事で，被験者に察知されずに身体図式そのものが修正される．察知されずに修正できる限界寸法や速度など未解明の特性が多く残されており，さらなる研究も期待されている．

-2-また，この技術の応用に関しては，オペレータと同一形状で異寸法のロボットやアバターの操作(テレイグジスタンスも含む)だけでなく，正確さを要するスポーツのフォーム矯正などへも利用できる．例えば，パッティングトレーニングの例では，自身の身体図式を徹底的に意識させる VR 空間を構築し，身体図式の僅かのずれや曖昧さを矯正した結果，フォーム改善に成功している[佐野 2017]．応用先も拡張の余地がある．

図 3 身体図式キャリブレーションのシステム構成(ランダムに出現するスイッチを押す仮想体験を行う例)

3. 新たな状況－VR/AR/MR 革命
2016 年は VR 元年と呼ばれているが，工学的な VR 研究には長い歴史が有る[新 2015]．1965 年に「Computer Graphics の父」と呼ばれる Ivan Edward Sutherland らは「ダモクレスの剣」として知られることになるヘッドマウンテッドディスプレイ(HMD)を開発した．この HMD は，外界が透けて見える構成になっており，
AR の 先 駆 け で も あ っ た ． Jaron Lanier が 設 立 し た VPL
Research が，1989 年に HMD，データグローブ等のデバイスを製品化し，その製品紹介から「Virtual Reality (VR)」というこの分野の呼称が使われ始めた．日本バーチャルリアリティ学会は1996 年に誕生している．1990 年代より様々な VR 製品が登場してきたが，ゲームを中心とする一般消費者向けの製品ほぼ全て失敗したと言える状況であった．2016 年が VR 元年と呼ばれるのは，このような状況を打ち破り，革新的な広視野・高解像度の HMD，HTC Vive，Oculus Rift CV1，Sony Playstation VR が相次いで登場したことによる[新 2015]．

3.1 革新的 HMD の登場
2012 年 4 月，Palmer Luckey は，新しい VR 用 HMD を発表
し，8 月に Kickstarter にて，クラウドファンディングによる資金調達に成功し，VR 関係者に一大ブームを巻き起こした．Oculus社による VR 革命の始まりである．2016 年に発売された，HTCVive，Oculus Rift CV1，Sony PlaystationVR と言った新しい
HMD は，応答性が高く，安定した頭部位置・姿勢センサを利用して，装着者の頭部運動に整合的な，90fps 以上の高速描画により，VR 酔の問題を多くの人にとって許容可能なレベルで解決し，普及が期待されている．ただし，一般家庭に普及するには更なる低価格化が不可欠で，数年の時間がかかると予想される．
Oculus Rift CV1 等の本格的な HMD に先行して，スマートフォンをアタッチメントにより HMD とする，Samsung 社の Gear VRやさらに低価格なハコスコ等，簡易版 HMD も販売されている．

3.2 新たな VR/AR/MR デバイス
革新的な HMD の登場と前後して，様々な低価格 VR デバイスが登場している．Oculus Rift に先行して登場し，ロボット学やVR/AR 等で広く利用されているヒューマンインターフェースデバイスが，深度センサ MicroSoft KINECT である．深度データから，人間の骨格・関節角情報を取得する機能を持ち，ナチュラル・ユーザー・インターフェース(NUI)の先駆けとなった．必ずしも Game 用インターフェースとして大成功したとは言い難いが，(1)（相対的に）低価格で，(2)メーカーが充実したソフトウェア開発キット（SDK）を提供することによって，多くのロボット，VR 開発者を引きつけ，(3)各分野の標準プラットフォーム的技術がサポートされ，さらに多くの開発者を引きつけた．VR 関連分野のデバイス提供方式において，一種の標準を作り上げたと言える．
深 度 セ ン サ と し て ， Leap Motion ， Intel RealSense ， GoogleTango 等が登場した．これらは，制限があるものの周囲環境の3D モデルのリアルタイム作成が可能と成り，現実と CG とがインタラクション可能という意味での複合現実(MR)システムの開発が可能となった．
簡易型の HMD の普及に伴って，RICHO THETA S を始めとする，360 度カメラの普及も始まっている．HMD を利用することによって，立体視は実現困難であるが，撮影した場所にいるかのような臨場感をある程度実現できるようになった．HMD 用ステ
レオカメラ OVRVISION Pro も販売されている．
前述の深度センサによって手を中心に運動計測が可能であるが，極めて低価格で全身の運動を計測可能な装着型モーシ
ョンキャプチャ，NOITOM Perception Neuron が登場した．森永
エンゼルパイの CM の CG 作成に利用されている．
VR における視覚提示のブレイクスルーが達成された後，ウェアラブルな触覚や力覚提示デバイスの開発も進んでいる．ただし，一般向けの製品はほどんど無く，H2L 社の UnlimitedHandのように購入可能な開発者用製品も存在するが，現時点では，多くが試作機の段階であり，購入にはリスクが存在する．

3.3 AR/MR と Microsoft Hololens
AR は 1999 年に奈良先端科学技術大学院大学の加藤博一（現教授）らにより ARToolKit が開発さるなど，開発ツールの整備が進み，2000 年代後半には，様々な AR アプリケーションが携帯電話やスマートフォン向けに開発されることになった．2008
年に一般向け AR 利用位置情報スマートフォン用アプリケーシ
ョン「Wikitude」がリリースされ，日本でも「セカイカメラ」が 2009
年にリリースされた．2012 年にキャノン株式会社は光学シースルー型の両眼ステレオ HMD を用いたビジネス向けの AR シス
テム「MREAL」を商品化した．
これまで幾つかのビジネス向けシステムは存在しているものの，ステレオ HMD を利用した AR システムは，一般消費者向けでは存在していなかった．2016 年より，Microsoft 社が発表・開発者向けに販売を開始した Hololens は，3DCG 画像を現実の環境に重ねて表示することが可能で，また，多数のカメラと深度センサを搭載し，極めて安定した CG 画像の提示を実現している．周辺環境の 3D モデル化を行う機能も提供しており，周辺環境と CG 画像のインタラクションも可能となっている．2017 年
中には ， 一般 向けの ビデオ シースルー型 HMD， Windows
Mixed Reality が発売され，一般家庭も含めて，広く普及することが期待されている．この Hololens を利用することにより，文献[鈴木 2016]でも提案されていた「異投射を人為的に引き起こす」ことによる「投射のメカニズム」の探求をより自然に行うことが可能となると予想される．

-3-

3.4 VR/AR/MR デバイスによる身体図式研究の革新

5. おわりに爆発的に発表が行われ，そのうち幾つかが成功した製品となる，VR/AR/MR デバイスは，今後の身体図式修正の研究に大きく貢献する．身体図式の修正に関する実験は，暗室や HMDを被っての制御された環境で行われるのが一般的であるが，今後は，日常環境における人間の特性計測も増加すると予想され，応用面からは大きな期待がある．
図 4 に Microsoft Hololens を利用した身体図式修正実験のために開発中の実験システムの概念図を示す．背中に回した手の動きを，背中に装着した Leap Motion により検出し，頭の向いた方向にある CG の手で CG 図形を操作するといったことが可能である．ただし，Leap Motion の手の運動の検出領域は，腕の可動範囲に比べて狭いため，全身モーションキャプチャを導入予定であり，触覚デバイスの利用も検討中である．

本稿では，プロジェクション工学ついて述べ，VR/AR/MR 革命と言える新たな状況の到来について概説し，プロジェクション工学から見たプロジェクション科学への期待について述べた．
プロジェクション科学の今後の発展に大いに期待している．

Hololens

Mixed Reality Image

参考文献[Kuzuoka 1992] Hideaki Kuzuoka, Spatial Workspace
Collaboration: a SharedView Video Support System for
Remote Collaboration Capability, The SIGCHI
Conference on Human Factors in Computing Systems, pp.
533-540, 1992.
[Maeda 2011] Taro Maeda, et al., Immersive telecollaboration with Parasitic Humanoid: how to assist
behavior directly in mutual telepresence, ICAT 2011,
Osaka, Nov. 30, 2011.
[Minsky 1980] Marvin Minsky, Telepresence, Omni, vol.2,no.9, pp.44-52, 1980.
Leap Motion

図 4 Hololens による身体図式修正実験システム（開発中）

4. プロジェクション科学への期待
3 章にて述べたように，VR/AR/MR デバイスはコモディティ化が進行中であり，認知科学コミュニティは，投射・異投射を解明するのに有用な，高性能の VR/AR/MR デバイスを 2,3 年前に比べて，極めて安価に入手可能となっている．実験系構築のハードルが大きく下げられており，様々な実験が可能となっている．
工学応用の立場から期待されるのが，以下のような項目である．
(1) 多様で（比較的）大規模な実験による，タスク依存で無い，投射・異投射の性質の解明
特に身体図式の変容の性質の解明が必要である．システムインテグレーターとして，デバイスやシステムの設計の指針を与えてくれるものが特に有用である．
(2) 投射・異投射の性質を説明する数理モデルの構築
一般論であるが，工学応用の現場では，多くの場合，現象記述的・経験的な数式モデルの開発が先行するが，最終的には，神経科学に基盤を持つ数理モデルの構築が望まれる．それらの数理モデルは，多くの場合，記述対象となる現象以外の事象に対しても，予測機能を持っているためであり，システム構築の設計指針として利用可能であることがあるためである．
(3) 多様な対象並びに複数対象への投射の科学的解明
VR/AR/MR 技術と NUI が一般化することにより，ユーザーは身体の各部を様々な対象に投射することが可能となる．特にAR/MR 表示においては，現実の身体の動作を現実の身体とCG 画像とに同時に投射することが必要になる可能性がある．
複数対象への同時投射の特性記述は，人間の投射メカニズムの解明につながる可能性がある．
(4) 投射・異投射の哲学的考察
科学的研究に求めるべきで無いかもしれないが，人文科学とも繋がりの深い認知科学には，哲学的な考察も期待したい．現
実の応用で，そのような哲学的知見が，工学的システムの設計指針としてしばしば役立つことがあるからである．

[Nakamura 2016] Sousuke Nakamura, et al., Research on
Updating of Body Schema using AR Limb andMeasurement of the Updated Value, IEEE SystemsJournal, Vol. 10, No. 3, pp. 903-911, 2016.
[西尾 2013] 西尾修一，他，アンドロイドへの身体感覚転移－アンドロイドのエージェンシー，日本ロボット学会誌，Vol. 31, No. 9, pp. 854-857, 2013.
[丹羽 2012] 丹羽真隆，他，つもり制御 : 人間の行動意
図の検出と伝送によるロボット操縦，日本バーチャルリアリティ学会論文誌, Vol. 17, No. 1, pp.3-10,
2012.
[小野 2016] 小野哲雄, 「プロジェクションサイエンス」の視点からの認知的メカニズムのモデル論的理解，2016 年度日本認知科学会第 33 回大会論文集 ，2016.
[大山 2016] 大山英明，他，ロボットミドルウェアを用いたテレイ
グジスタンスロボット操縦システム , SI2016, 2016.

[Oyama 2016] Eimei Oyama, et al., Behavior Navigation
System for Harsh Environments, Advanced Robotics, Vol.
30, Issue 3, pp. 151-164 2016.
[佐野 2017] 佐野高也, 依田淳也, 中村壮亮, 橋本秀紀, VR技術を用いた身体位置感覚の較正によるパッティン
グトレーニングシステムに関する研究，日本機械学会学会誌, 2017.
[新 2016] 新 清士, ＶＲビジネスの衝撃「仮想世界」が巨大マネーを生む, NHK 出版, 2016.
[鈴木 2016] 鈴木宏昭: プロジェクション科学の展望，016 年度
日本認知科学会第 33 回大会論文集 ，2016．

[Tachi 2015] Susumu Tachi: Telexistence, 2nd edition, WorldScientific, 2015.
[舘 2015] 舘 暲, テレイグジスタンス, 日本ロボット学会誌,Vol. 33, No. 4, pp.215-221, 2015.
[Tanaka 2016] Kaori Tanaka, et al., Psychological evaluation
on influence of appearance and synchronizing operationof android robot, ISER2016, Tokyo, JAPAN, Oct, 2016.
[吉川 2012] 吉川雅博，他,医療福祉現場を支援するアンドロイドロボットシステム, ヒューマンインターフェース学会
論文誌, Vol.14, No.2, 2012.

-4-