第１章

第１章

序論

序論

1.1 バーチャルリアリティ技術の動向
近年のコンピュータ技術の発達，なかでも計算能力，およびグラフィックス生成能力の進歩に伴い，コンピュータ上にデータとして定義された仮想的な空間をコンピュータグラフィックス(CG)により可視化することが可能となってきている．また，３次元座標や，身体の関節の曲げ具合を測定する入力装置，および触った感覚を提示するなど，視覚以外にうったえる出力装置の開発が盛んに行われている．これに伴い，仮想的な空間を与えられた映像として見るだけでなく，好きな位置から見る，さらには触れて影響をおよぼすなどの，仮想現実(Virtual Reality; VR)に関する技術開発，とりわけ，仮想世界を操作し，体験する方法の研究に期待が高まっている．
VR技術は，単なる工学的分野としてだけではなく，人間にとって利用可能な新しい空間（仮想空間）の実現のための技術として広く一般にまで知られ，また実用化にまで達しようとしている[服部 91][廣瀬 92][舘 92]．この VR 技術により，我々は実世界において体験し得ない行為でも仮想的に体験が可能となる．例えば，宇宙や深海での作業のように何度もその場所へ行くことが困難な場合，原子力発電所などのように危険の存在する場所での作業，繰り返し行うことが不可能な手術などの訓練，教育，手順の確認，というように様々な応用が期待されている．
一般に仮想空間を構築し仮想体験を実現するためには，まず人間の五感の全て，あるいは一部に仮想空間の情報を提示するための出力装置，および人間の位置，見ている方向，身体の動作など仮想空間に対する意図を計算機に伝えるための入力装置が必要である．出力装置としては，最も一般的なものとして視覚を対象とした，CRT などに代表される映像提示装置がある．現在普及してきている，グラフィックスを CRT 上-1-仮想空間における仮想手による対話操作に関する研究に高速描画するためのハードウェアも出力のための装置に含むことができるであろう．
さらには，両眼視差を利用した HMD (Head Mounted Display) などのように立体映像の提示を可能とするための装置もある．また近年は，触覚（力覚）を対象とした，触れている感覚，押し戻されるような力を提示する装置が研究開発されている．一方，入力装置については，従来のマウスのみの利用にとどまらず，磁気や超音波などを利用した３次元座標の計測の可能な３次元マウスが普及してきている．また，データグローブなどに代表されるグローブ型の指関節の曲げ角を測定可能な装置，これを身体に拡張した腕や脚の曲げ角の測定装置も実用化の域に達している．しかし，このような装置を使用すれば直ちに仮想体験が実現できるかというと，決してそうではない．
仮想空間の構築，仮想体験の実現には，入出力装置だけではなく，これらを制御するためのソフトウェアが特に重要な役割を演ずる．具体的には，まず体験者とは無関係に，仮想空間内にどの様な物体が存在し，それらがどの様な動きをするかなどを設定しておく必要がある．さらに，体験者（操作者）が入力装置を介して伝えた意図に対して，空間内に存在する物体がどのような影響を受け，どのように見えるかを決定し，その視覚，触覚情報などを体験者に提示するために，出力装置を制御する必要がある．本論文は，この仮想空間と操作者との間の計算機内の様々な相互作用に対するモデルについて述べたものである．

1.2 相互作用モデルに関する研究
1.2.1 研究の背景
相互作用とは，「複数の物体が何らかの干渉により互いに作用をおよぼすこと」を意味するが，２個の物体が存在する場合には，まず一方に注目し，それが他方に影響を与え，更にそれにより影響を受けるというように分けて考えることができる（他方についても同様）．すなわち，それぞれを操作を行うもの（操作者）と，操作を受けるもの（被操作物体）と考える．そして仮想的な体験をする者は，操作者となるのが一般的である．ところで，我々が実世界で様々な操作を行う場合，自らの身体により被操作物体に干渉を与えることにより行うが，なかでも主に手により操作を行うことが多い．また，手で道具を利用することにより物体操作を行うことも多いであろう．仮想-2-

第１章

序論

空間内に存在する物体（仮想物体）に対して操作を指示する方法としては，現状ではキーボードやマウスなどを利用して操作対象の選択，操作の種類，操作量の指定を行うことも可能である（図 1.1 (a)）．しかし実世界に近い感覚で，自身の手により仮想物体に対する操作を行うこと（同図 (b)），あるいは仮想空間内に定義された道具（仮想道具）を利用して操作を実現すること（同図 (c)）が可能となれば，VR 技術の応用はより広範囲に及ぶものとなり得る．例えば，医学での手術シミュレーションについて見れば，手術自体の計画や可能性の評価であれば，実際の手術プロセスと同じような動作により手術のシミュレーションをする必要はない．しかし，手術自体の事前の訓練を考えると実際の術技が模擬できることが望まれる．このようなことは，産業分野での設計や訓練，教育などの用途でも同様である．さらには図 1.1 (d) に示すような，自身の手により仮想道具を直接利用した，仮想物体操作の実現も重要な技術となるであろう．
1.2.2 仮想の手による物体操作の研究
このような状況の中で，最近，操作者の手に対応して動く仮想空間内に定義された手（以下，仮想手と呼ぶ）による，仮想物体操作に関する基礎技術を確立するための研究が多方面で行われている[Bergamasco94][Huang95][Boulic96][Kunii94][川勝 93][Iwata90][平田 93][木島 95]．これらは，例えば (1)手と物体との干渉判定に関しては二本の指先のみの判定に限定する，あるいは，(2)把持の判定方法において親指が必ず物体と干渉している必要がある，など実際の手の操作の特徴をある程度とらえてはいるものの，一般に強い制約条件を課している．文献[Boulic96]では，細部に注目した干渉判定により把持への過程や把持している状態のリアルな映像生成が行われているが，ある状態で物体を把持しているか否かの判定は，親指を含む２本以上の指が干渉していれば把持で，それ以外は非把持，というように非常に単純化している．さらに，限定的に一つの手であることを利用しているため，複数の手への適用は困難である．そこ
で，より一般的な，あるいは高度な対話的操作を実現するために，片手だけではなく両手による操作，あるいは複数の操作者による協調作業の実現が試みられている[石井94][野間 97][藤沢 97][高橋 97]．しかし，これらの研究においても，同時に物体を操作することを排除するといった条件を設定するか，二つの手の中心位置に物体を移動す-3-仮想空間における仮想手による対話操作に関する研究

real world

virtual spacemouse(a)mouse cursor

virtual hand

glove based

(b)

(d)

virtual toolwith force
feedback

hand shaped device

AAAAAAA

mouse(c)tool shaped device

virtual tool

glove shaped device

virtual hand

図 1.1 様々な方法による仮想空間操作
Fig.1.1: Several methods of manipulate objects in vitrual space
-4-

第１章

序論

る，などの実際の手の操作とはかけ離れた操作により実現されていた．
また，手と物体の干渉問題の研究の一つに，計算機によりロボットを制御する研究もある[ロボット学会 90]．これは計算機により実世界のロボットハンドを駆動するというように，操作の方向が逆であり，また操作中の状況を計測することが可能である．
しかし，計算機内のみで状況を再現する必要のある場合にも，実際の干渉をモデル化する際の参考となるであろう．
ところで，対話操作を行わないシミュレーション，あるいはマウスなどによる仮想物体の対話操作に関する研究も多数行われている[Moore88][Kitamura93][Shinya95][Braff95][武田96]．しかしこれらは，一点により物体の操作を行うなどの実現方法であるため，両側から固定するといった手の動作の代表である「把持」への直接的な応用は困難である．
また，仮想空間内に道具を定義し，その道具による操作を実現するためのモデルの提案がなされている[北川96][野口96]．これらは，マウスや対応する道具の形状をした入力装置を実世界の手で扱うことにより，仮想道具を利用して物体操作を行うものである．
VR技術による仮想空間という概念を考慮すると，物体を操作するためのこれらの研究は以下のように分類整理できる（表 1.1）．
表 1.1 (1) は，実世界における物理法則に従ったものである．物理学の分野において研究がなされている．
表 1.1 (2) は，仮想空間内のみの現象であり，実世界との対比や，計測，リアルタイムのインタラクションという問題がないため，厳密な力学計算が可能である．そのため，仮想空間内のみでの物体同士の相互作用について考慮する，あるいは事前に指定しておいた仮想物体に対する操作を考慮する場合も，映像生成に必要な時間を考えずにアニメーションを作成することが可能である．
表 1.1 (3) は，計算機によりロボットを制御する場合等である．計算機は実世界の物体がどこにあるかを把握し，またどのように操作するかを計算する，すなわち CRT などへの表示を行わなくとも仮想空間内で作業をしていると考えられる．この場合，計算に必要な力などの計測が容易であるが，以下の 2 つとは実空間と仮想世界との関係に-5-

仮想空間における仮想手による対話操作に関する研究

表 1.1 様々な状況における物体操作
Table 1.1: Several kinds of object manipulation

AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAA
Real world(1) real
manipulation

VirtualenvironmentOM(2) simulation

M(3) robotOMM(4) with force
feedbackMM(5) without force
feedback

M

M

O

O

O

O

M : manipulator
O : object: interaction: data flow, matching manipulators

-6-

第１章

序論

おいて操作の方向が逆である．
表 1.1 (4) は，実世界から仮想空間に存在する物体を操作し，その結果に応じた力覚が実世界へフィードバックされる場合である．力覚フィードバックを行うことにより操作者の手を拘束して仮想手と一致させること，および力の計測を行うことが容易となる．しかし，装置が大きなものになってしまうだけでなく，現時点では力覚を完全にフィードバックすることは困難であるといった問題点がある．
表 1.1 (5) は，上記(4)と同様な実世界からの仮想物体の操作であり，力覚フィードバックのない場合である．仮想物体により仮想手の動きが制約された場合，実物体を持たない操作者の手と一致しなくなるだけでなく，力の計測を直接行うことは不可能である．
VRの分野において仮想空間操作，あるいは仮想物体操作という場合，一般的には上記(4), (5)を指す場合が多い．本論文では，上記(5)の状況である力覚フィードバックのない環境を対象としているが，これら(4)と(5)を実現するための手法は互いに応用可能なものである．また図 1.1 (d)に示すような，仮想手による仮想道具を利用した間接的な仮想物体の操作も対象としている．

1.3 本論文の概要
本論文では，仮想空間に存在する物体を，仮想手により直接，あるいは道具を利用して操作するためのソフトウェアに関して述べる．これを，実世界と同じように行い同等な結果を得るためには，物理法則を仮想空間と実際の操作を行う実空間において直接適用する必要がある．しかし，いつインタラクションが行われるかは事前に分からないため，方程式の近似解を逐次的に求めていくことになる．この場合でも極めて複雑な干渉判定や力学計算を要するため，リアルタイム操作に適用するモデルとしては利用できない．また，判定，計算に必要となる実世界における様々な値を厳密に測定するための装置も必要となるが，現時点で実用化の段階にあるものは限られたものを対象とした装置だけである．そこで，本文では仮想手の記述や，手と物体の干渉状態，物体の運動などについて単純化したモデルを提案し，実際にソフトウエアとして実現可能な仮想手による物体操作のシステムについて述べる．このモデルは，実際の-7-

仮想空間における仮想手による対話操作に関する研究動作を考察し，動作のリアルタイム性を損なわない範囲で模倣したものである．本モデルの目的は，仮想物体の運動を厳密に表現することではない．また，仮想空間に対する操作の正確さ，迅速さを第一に追求するものでもなく，実物の操作をモデル化した違和感の少ない操作を仮想空間の物体操作として実現することである．
実世界において手により操作を行う状況は多数存在し，それらを仮想的に体験する場合も手による操作の実現が望まれるであろう．そのため，本手法は今後のVR技術の発展に大きく貢献するであろうと期待できる．
以下，本文の第２章では，片手で直接物体に触れ，自由に移動するためのモデルについて考察し，実際に構築した対話操作システムについて述べる．ここでは，実際には複雑な形状である手を実際の動作の特徴を保存した単純化を行い，この手と物体との細かな干渉に注目した実際の現象に基づく相互作用のモデルについて述べる．
また，物体を操作可能ということは，操作せずに離しておくこともある得る．そこで操作対象となっていない物体の挙動についても考察し，リアルタイム操作に適用可能な物体の運動を記述するモデルについても述べる．
第３章では，両手で同じ物体に触れ，移動するためのモデルについて考察し，構築した対話操作システムについて述べる．ここでは，操作者が両手で同じ物体に触れて移動を行う場合は，その物体をある位置まで移動したい，という目的を持っており，両手が全く無関係な動きをすることは少ないことに注目している．第２章で提案する片手と物体のモデルを基に，それぞれの手の動き，および物体に対する接触状況の関係を利用して拡張した両手と物体との相互作用モデルについて述べる．
第４章では，片手で道具を操作し，その道具を介して物体を操作するための手法について考察し，実際に構築した実験システムについて述べる．ここでは，特定の道具について言及するのではなく，一般的な道具の特徴について考察し，同一のシステムに新たな道具のデータを与えるだけで様々な道具を利用可能とする．このデータは，各道具に応じた自身の形状はもちろん，手と道具との相互作用，最終的に影響を与えたい物体との相互作用を有する必要がある．このために必要な要素について考察し，一般的な道具のデータ構造について述べる．
また，上述の各章ごとに，実現した対話操作システムのリアルタイム性，操作性な-8-

第１章

序論

どを，実験結果に基づいて様々な側面から考察し，また解決すべき問題点について述べる．
最後に第５章では，仮想空間内で，仮想の手により物体の操作を一般的に実現する上で問題となった点，現在残されている課題，今後の発展の方向について論ずる．

参考文献[石井 94] 石井雅博 , 猿渡基裕 , 佐藤誠: 両手協同作業のための仮想作業空間の構成について , 電子情報通信学技術研究報告 HC93-84, pp.31-36 (1994)[川勝 93] 川勝大輔 , 中山敦司 , 小堀研一 , 久津輪敏郎: バーチャルリアリティにおける物体選択方法について , 情報処理学会研究報告 グラフィクスと CAD 66-4,Vol.93, No.110, pp.25-32 (1993)[木島 95] 木島竜吾 , 廣瀬道孝: Virtual Physics: 仮想空間の物体挙動計算 , 電子情報通信学技術研究報告 , Vol.95, No.83, pp.105-112 (1995)[北川 96] 北川英志 , 安田孝美 , 横井茂樹 , 鳥脇純一郎: 仮想空間操作を利用した対話型手術シミュレーションシステムの基本機能の実現, 情報処理学会論文誌, Vol.37,No.6, pp.1088-1098 (1996)[高橋 97] 高橋克直 , 寺本純司 , 寺島信義 , 富永英義: 協同作業(CSCW)に関する一検討〜複数人による同一物体の操作〜, 1997電子情報通信学会総合大会 A-16-28, p.400(1997)[武田 96] 武田捷一 , 丸山稔 , 亀井克之: 物理法則に基づく剛体運動のシミュレーション手法 , 電子情報通信学会論文誌 D-II, Vol.J79-D-II, No.5, pp.860-869 (1996)[舘 92]

舘 日章 , 廣瀬通孝: バーチャル・テック・ラボ , 工業調査会 , 1992

[野口 96] 野口博和 , 安田孝美 , 横井茂樹 , 鳥脇純一郎: 仮想ハサミによる切断操作のモデル化と実現 , NICOGRAPH 論文集 , pp.22-31 (1996)[野間 97] 野間春生, 宮里勉: 仮想的な拘束を用いた両腕による協調仮想物体操作, 1997
電子情報通信学会総合大会 A-16-26, p.398 (1997)[服部 91] 服部桂: 人工現実感の世界 , 工業調査会 , 1991
[平田 93] 平田幸広 , 水口武尚 , 佐藤誠 , 河原田弘: 組立作業のための仮想作業空間 , 電-9-仮想空間における仮想手による対話操作に関する研究

子情報通信学会論文誌 D-II, Vol.J76-D-II, No.8, pp.1788-1795 (1993)[廣瀬 92] 廣瀬通孝: バーチャル・リアリティ応用戦略 - 人工現実感の産業応用最前線 -, オーム社 , 1992
[藤沢 97] 藤沢祐介 , 福田昌弘 , 加藤孝俊 , 西野明仁 , 伊藤稔: 仮想空間を利用した共同作業システム , 1997 電子情報通信学会総合大会 A-16-27, p.399 (1997)[ロボット学会 90]

日本ロボット学会編: ロボット工学ハンドブック, III 制御技術編, 3. ハンドの機構と制御 , pp.297-320, コロナ社 , 1990
[Bergamasco94] M. Bergamasco, P. Degl'Innocenti, D. Bucciarelli and G. Rigucci: Graspingand Moving Objects in Virtual Environments: a Preliminary Approach towards a RealisticBehaviour, Proc. IEEE International Workshop on Robot and Human Communication,
pp.44-49 (1994)[Boulic96] R. Boulic, S. Rezzonico, D. Thalmann: Multi-Finger Manipulation of Virtual Object, Proc. ACM VRST, ACM, pp.67-74 (1996)[Braff95] D. Braff: Interactive Simulation of Solid Rigid Bodies, IEEE Computer Graphics
and Applications, Vol.15, No.3, pp.63-75 (1995)[Huang95] Z. Huang, R. Boulic, N. M. Thalmann and D. Thalmann: A Multi-sensor Approachfor Grasping and 3D Interaction, Computer Graphics: Developments in Virtual Environments (Proc. Computer Graphics International '95), Academic Press, pp.235-253 (1995)[Iwata90] H. Iwata: Artificial Reality with Force-feedback: Development of Desktop VirtualSpace with Compact Master Manipulator, Computer Graphics, Vol.24, No.4, pp.165-170(1990)[Kitamura93]

Y. Kitamura, H. Takemura, N. Ahuja and F. Kishino: Interference Detection

Among Objects For Operetor Assistance In Virtual Cooperative Workspace, Proc. IEEE
International Workshop on Robot and Human Communication, pp.442-447 (1993)[Kunii94] Y. Kunii and H. Hashimoto: Object Grasping in Virtual Environment Using Dynamic Force Simulator, Proc. IEEE International Workshop on Robot and Human Communication, pp.261-264 (1994)[Moore88] M. Moore and J. Wilhems: Collision Detection and Response for Computer Anima-10-

第１章

序論

tion, Computer Graphics, Vol.22, No.4, pp.289-298 (1988)[Shinya95] M. Shinya and M.-C. Forgue: Laying out Objects with Geometric and Physical Constraints, The Visual Computer, Vol.11, No.14, pp.188-201 (1995)-11-仮想空間における仮想手による対話操作に関する研究-12-