論文

3次元仮想空間における仮想手による物体操作モデルと一実現法
舟橋健司†

安田孝美††

横井茂樹††

鳥脇純一郎†A Model for Manipulation of Objects with Virtual Hand in 3-D Virtual Space
Kenji FUNAHASHI†, Takami YASUDA††, Shigeki YOKOI††, and Jun-ichiro TORIWAKI†

あらまし 本論文では，計算機により仮想空間内に定義された物体を手によって操作する際の物体と手との相互作用，およびその物体の挙動の一モデルを提案し，一般的な仮想手による複数の物体(剛体)の対話操作システムについて述べる．本システムの機能により，操作者は仮想物体を実世界に近い感覚で把持，移動，投げるなどの操作を行うことができる．仮想物体の挙動を忠実に表現するためには，厳密な物理法則を導入する必要があるが，現在の一般的なグラフィック・ワークステーションの計算処理能力ではリアルタイム性を保持したまま正確な物理計算を行なう事は困難である．このため，従来では手のジェスチャにより物体操作を判断するなどして実際の挙動とは程遠い操作が実現されていた．本研究では各指と物体との相互把持判定を含むより自然な新しい物体操作のためのモデルを考案した．本モデルでは，手による物体操作の基本である物体を把持，移動，離すといった動作が考慮されている．さらに，簡略化した重力，慣性も導入されているため，仮想物体は対話操作可能な計算コストで，自然な挙動を示すことが可能である．
キーワード 仮想物体操作，仮想手，実時間処理，把持判定，幾何学的モデル

1. はじめにこのような状況の中で，操作者の手に対応して動

近年の技術進歩により，コンピュータ上にデータと

く，仮想空間内に定義された手（仮想手）による物体

して定義された仮想空間がCGにより可視化され，VRの直接操作に関する研究が行われている[1]-[8]．これら技術により実空間のように体験することが可能になっは，例えば手と物体との干渉判定に関しては二本の指てきている．このような仮想空間は人間にとって利用先のみの判定に限定する，あるいは，把持の判定方法

可能な新しい空間として今後の技術開発に期待が高において親指が必ず物体と干渉している必要がある，

まっている．仮想空間は今後様々な用途が広がると思など実際の手の操作の特徴をとらえてはいるが，極めわれるが，そのためには人間にとって実空間と同じよて限定された操作方法である．例えば文献[2][3]では，

うに利用できることが望まれる．仮想物体を操作する細部に注目した干渉判定により把持への過程や把持しには，キーボードやマウスなどにより操作することもている状態のリアルな映像生成が行われているが，あ可能である．しかし，人間が実世界で物体を操作するる状態で物体を把持しているか否かの判定は，親指を場合は手を使って操作することが多いため，実空間で含む２本以上の指が干渉していれば把持で，それ以外の物体の操作と同じような操作で仮想空間中の物体操

は非把持，というように非常に単純化している．

作ができることが望まれる．例えば，医学での手術シ

また，手と物体の干渉問題の研究の一つに，計算機

ミュレーションについて見れば，手術自体の設計や可によりロボットを制御する研究もあるが[9]，これは計能性評価であれば，手術プロセスと同じような動作に算機により実世界のロボットハンドを駆動するというより手術のシミュレーションをする必要がない．しかように，操作の方向が逆である．

し，手術自体の事前の訓練を考えると実際の術技が模ところで，対話操作を行わないシミュレーション，

擬できることが望まれる．このようなことは，産業分あるいはマウスなどによる仮想物体の対話操作に関す野での設計や訓練，教育などの用途でも同様である．

る研究も多数行われている[10]-[14]．しかしこれら† 名古屋大学大学院工学研究科情報工学専攻，名古屋市
Graduate School of Engineering, Nagoya University, Nagoya-shi, 464-8603†† 名古屋大学情報文化学部，名古屋市
School of Informatics and Sciences, Nagoya University, Nagoya-shi, 464-8601

は，一点により物体の操作を行うなどの実現方法であるため，両側から固定するといった手の動作の代表である「把持」への直接的な応用は困難である．
本論文では，力覚フィードバックのない環境におい1

て，センサをとりつけたグローブを入力装置として仮(3) 複数点により押す

想の手をコントロールし，仮想空間中の物体を実空間に分類できる．しかし，実際には操作(1), (2) を行うこと同じような動作により操作するためのソフトウエアとが多く，また，操作(3) はそれぞれの接触点の位置関について述べる．本研究では，仮想手の動作をより細係により非常に複雑な挙動を生じる．そこで，3.2 節にかく制御できる，指の動作まで含めた仮想物体の操作

おいて，操作(1), (2) を中心とした相互作用モデルの導モデルを開発することにより，実物体操作に近い動作

出を行う．

により仮想物体操作を行うためのモデル化とソフトウ

また，操作対象となる物体が複数ある場合には，各エアの開発を行った[15][16]．ここで，仮想手による物

時点においては操作されていない物体も存在するた体操作の実現に物理法則による方程式を用いると，方め，仮想空間中の重力や物体同士の干渉などを考慮す

程式を解くという問題だけではなく，状況により刻一る必要がある．実際の状況を考察した場合，物体同士刻と変化する方程式自体の生成が必要となる．また，の干渉は，把持した物体による他の物体の間接操作

有限要素法などを利用した場合，連立方程式の解を求や，物体の積み重ねなどにみられるように重要である

めることが必要となるため連続的な動作の計算に多大が，複雑な問題であり，その処理に多くの計算時間もな時間がかかり，動作のリアルタイム性が損なわれて必要である．本研究では，手による物体の直接操作

しまう．そこで，仮想手の記述や，手と物体の干渉状（その後離す）の実現を目的としているため，物体同態，物体の運動などについて，幾何学的な構造に注目

士の相互作用は大幅に簡略化して扱う（4節）．

して単純化したモデルを導入することにより実際にソ

3. 手による物体操作

フトウエアとして実現可能な仮想手による物体操作の3.1 仮想空間における手と物体

システムを開発した．ここでは人間がデスクトップで

仮想手と物体との干渉判定を行なうために，各指の何らかの作業を行うことを想定して，デスクトップに先端および関節に，具体的にこれらの点において干渉

複数のブロックを置いた仮想環境において仮想手によが起こっているか否かを調べる「判定点」を設定する

り，物体を移動したり投げたりといった操作を自由に（Fig.1）．更に，隣り合う判定点を結ぶ線分を母線と適用できるシステムを目標としている．そのため，仮する多角柱の，母線に平行な稜線すべて（以下では，

想物体と仮想手の相互作用のみではなく，操作後の仮これらを「判定線分」と総称する）と物体との干渉も想物体の動きや，床への物体の衝突なども考慮したシ検出することにより，「指の表面」の部分においてもステムになっている．

物体操作を可能とする．また，各指を上述の多角柱に

2. 物体操作システムの基本方針

より，手のひらを多面体により表示する．実際の操作

本節では，複数のブロックが置かれたデスクトップ

において，手のひらによる物体との接触は少ないた

環境において，手で物体を自由に移動できるために解め，手のひらにおける物体との干渉は考慮していな決すべき問題点について整理し，基本方針を明らかにい．しかし，必要な場合には手のひらの部分に判定点する．
まず，対話操作が可能でなければならない．動画像
に関する画質に関しては，一般的に 24 frame/sec といcheck points
polyhedron

うように様々な研究があるが[17]，例えば文献[14]でも述べられているように，仮想空間における対話操作の実現には少なくとも 12 frame/sec 程度の描画更新が必要である．そこで本研究では，12 frame/sec をリアルタ
position anddirection of hand

イム処理の指標とし，目標の一つとする．
次に，手で物体を操作するためには，仮想空間内に存在する手と物体を定義する必要がある．これについては 3.1 節で詳しく述べるが，手と物体は点でのみ干渉するものとする．この場合，様々な物体操作は(1) 一点により押す(2) 複数点により把持する2

check lines

図1 仮想手のモデル
Fig.1: Model of virtual hand

と判定線分を設定することは可能である．
X

また以下では，手首に基準点を設定し，これを空間内の仮想手の位置とし，この点におけるベクトルの方

θ

G

B

向およびそれを軸とする回転を手の方向，そして位置及び方向の変化を手の動きとする．

T

操作対象である仮想物体に関しても，柔らかい物体
Aの場合に両側から押し合うと，変形と把持が互いに関係した複雑な問題になると考えられるため，多面体にRC

AB : Locus of collision point C
T : Element of translation

よって表現される剛体に限定する．また，可動部分を

θ : Rotation angle decided by R

もたず，固定されていないものとする．物体を構成す

X : Rotation axis through the center of gravity Gる各面，稜線はそれぞれ，仮想手の個々の判定点，判定線分と干渉し得る．
3.2 手と物体の相互作用モデル
本節では，片手と，1つの物体との相互作用モデルについて述べる．Fig.2 に物体の操作状況を判定するための一連の処理概要を示す．前節で述べたように，手と物体の干渉を点のみに限定するとその状況は，非接
触，一点による接触，複数点による接触に分けて考えることができる．さらに複数点接触の場合には，把

θ

G

B
R

T
C
A

図3 1点による押す操作
Fig.3: Pushing an object on a point

持，非把持の状況が考えられる．そこで，外接球などによる干渉の概略判定の後，(A)物体の各面と各指の判が，点Aから点Bへ移動したとする．ここで，衝突点お定点との衝突点の検出，および，(B)物体の各稜線と各よび物体の重心をそれぞれ点C，点Gとする．すなわ

指の判定線分との衝突点の検出の両方を独立に実行す

ち，物体表面上の点Cは点Bへ移動する．ところで，3る．次に，物体の挙動を(A)と(B)で検出された衝突点

次元物体の移動は一般に平行移動と回転移動の2成分にの数およびその位置に従い決定する．もし手と干渉し分けて考えることができる．ここで物体を質量が重心ていないならば，物体は 4.1 節で述べるように，重力，に集中している質点と考え，物体は干渉点から重心方

慣性に従った運動を行う．この時，直前まで手と干渉

向へ平行移動すると考える．また回転に関しては，物していた（例えば，把持されていた）ならば，操作さ体の一部が固定されているなど他の拘束条件がない場れていた物体が離されたことになる．

合，物体の重心を回転の中心とする．そこでまず，物(1) 1点で接触の場合 仮想手が1点のみで物体と干渉している場合，その物体は手により押されている．例
えば Fig.3に示すように，指の先端に位置する判定点

体表面上の点Cの移動ベクトルCBを，次式に従いベク
トルTとベクトルRに分ける．
CB = T + R , CG // T , T ⊥ R .

(1)

次に物体をベクトルTだけ平行移動する．また，ベクトルRによる点Cの移動を，重心Gを中心，ベクトルXをInterference detection

軸とし角度θ回転することにより近似表現する．ただCollision detection

し，ベクトルX ，角度θは次式による．
No contact

Contact
at a point

Follow gravity
and inertia

Contact at morethan one points
Grasping check

Push at a point

Not grasp Graspθ = arctan (|| R || / || CG ||) , X = R × T .
(2)
CB // CGの時には，T = CB, R = 0となり，平行移動
のみ，また，CB⊥ CGの時には，T = 0, R = CBとなり，X = R × CGを軸とした回転のみとなる．

Push at morethan one points

Grasp andtransfer freely(2) 2点以上で接触，把持の場合 仮想手が2点以上で物体と触れていたならば，仮想手が物体を把持してい図2

手と物体の相互作用モデル
Fig.2: Interaction model

るか，把持せずに押しているかを判定する必要があ3

ように把持することがあるためである．また，この値を変化させることにより，物体の質量，指との間の摩N2擦の違い等による把持の容易さの変更が可能である．

N3

物体が仮想手によって把持されている場合，その物
体は手との相対位置が変化しないと考え，手の動きにG

N1

追従し移動するものとする．
(3) 2点以上で接触，非把持の場合 上述の判定によ

point G : Center of gravity
N1, N2 : Normal vector
N3 : Pseudo-normal vector

り物体が把持されていないならば，仮想手の複数個所

N2関係により非常に複雑であり，これを力学的に解くこθ12とは，点接触のみの物体同士の干渉問題と同等であり

N3

θ23
G

θ13

により押されている．しかし，実世界でのこの物体の挙動は，それぞれの接触点（独立に動く各指）の位置

現実的ではない（4.3節参照）．そこで複数個所により
N1

押されている仮想物体の挙動は，手の動きに対応した
平行移動のみに限定した．机上において物体を移動す

図4 疑似法線および把持判定
Fig.4: Pseudo-normal vector and grasping check

る場合，指先による細かな操作よりも主に物体を把持するため，これは現実的な簡略化である．

る．この場合も摩擦等の力の関係によらず，物体と手

4. 仮想環境の位置により判定する．実世界における点接触，例え

4.1 重力，慣性および摩擦ば針などの先端により把持することは，接触する位

仮想物体操作を実現する際には操作の対象となって置，摩擦，力の方向などにより滑る，回転するなどのいない物体，すなわち仮想手と接触していない物体に状況が起こり得る．ところで，実際の手により把持をついてもその挙動を考える必要がある． さらに，それ行う場合は，厳密には面による接触であり，手の摩擦

らの物体が常に操作対象になりうるような計算方法で係数に大きな違いはない．また，故意に物体が回転すなければならない．本モデルでは，重力，慣性を簡略るような接触により把持を行うことは少ないため，2点化した形で導入している．具体的には，手または他のにより把持が行えるか否かを物体の接触する面の向き

物体との干渉が検出されなかった物体の時刻 t におけにより判断できる．

る重心の位置 P(t) は，時刻 t-∆t の位置 P(t-∆t) に変化分

そこで，物体のそれぞれの接触面，稜線の法線のう
ちいずれか2つのなす角が決められたしきい値以上ならば，仮想手は物体を把持しているとする．全ての組合せの法線のなす角がしきい値を越えない場合，仮想手

P(t-∆t) - P(t-2∆t) と重力による加速として g∆t2 を加える
ものとし
P(t) = 2P(t-∆t) - P(t-2∆t) + g∆t2

(3)により決定する．ここで，gは下向きの重力加速度ベク

は複数点により物体を押していることになる．ただトルであり，描画更新間隔 ∆t は描画更新レート F

し，物体の重心から稜線へ下ろした垂線をその疑似法(frame/sec) の逆数である．すなわち，物体を投げた場

線とし，単に法線という場合は面の法線および稜線の合などは，( P(t-∆t) - P(t-2∆t) )／∆t が初速度となる．回法線を指すものとする（Fig.4）．例えば Fig.4 のように転に関しても，重心を中心とする相対的な回転を継続

3点で干渉している場合，3つの法線N1, N2, N3により決する．また，床など他の物体と干渉した後は慣性は保まるθ12, θ23, θ13 のうち1つでもしきい値以上ならば，物存せず，物体は跳ね返らないものとする．さらに摩擦体は把持されているとする．さらに，指が物体の中にに関しても，力学的な計算は行なわず，物体は滑べら入り込んでいる場合，接触点を物体表面に移動させるないものとする．この様な仮定を設けることにより，ようにその指の各関節の角度を補正する[16]．また，各仮想手の影響下にない動いている物体に対しても操作時点で把持と判定されることが，把持の継続となる．

が可能となり，また，把持した物体を投げる操作が実

ここで用いた把持判定しきい値は90度とした．これ現できる．

は，物体表面の状態にもよるが立方体の隣り合う2つの4.2 落下物体と床との干渉面により把持が可能であり，実際に小さな物体をこの

本節では，落下中および床との衝突後の物体の挙動

4

について述べる．物体は床との干渉が検出されるまで

ベクトルTと，回転成分であるベクトルRに分ける．
Gm = T + R , CB // T , T ⊥ R .

は，上述した重力，慣性に従い移動する．落下した物(6)

体が時間∆tの間に床面に入り込んでしまった場合，物

ただし，ベクトルTによる移動は行わず，接触点は移動

体の最も深く床に入り込んでいる頂点が床面上にくる

しないものとする．また，物体は重力により重心のみ

ように，上方向へ平行移動することにより補正する．

に力をおよぼされていると考えている．ここで物体具体的手順は以下のようである．まず物体の頂点（接を，点Cを中心，ベクトルXを軸とし，角度θだけ回転点）で床面上にあるものを Vi （i = 1, .., 接点数）とす移動する．Gm // CGの時は，バランスのとれた状態でると，接点 V i により定まる多角形の凸包が求まる

あり移動は行わない．ただし，ベクトルX，角度θは次（Fig.5）．ここで物体の重心Gの移動ベクトル Gm 方式による．
θ = arctan (|| R || / || CG ||) , X = R × T .

向への，Gの床面上の射影点G'を求める．すなわち，
Gm = P(t-∆t) - P(t-2∆t) ,(4)

Gm // CG .

(5)

重心Gが接点 Vi によって決まる凸包の内側へ射影され(7)(2) 2点 V1 と V2 による接触（Fig.6(2)-a, b） 点V1およびV2を通り，直線V1V2に垂直な直線をそれぞれ床面るならば（G'がこの凸包内にあれば），この物体は床上に求める．重心GのベクトルGm方向への射影点G'面上で安定しており，それ以上動かないものとする

が，この2本の直線の間に位置しないならば（Fig.6(2)-（Fig.5(a)）．射影点G'が，凸包の外側に位置するならa），点V 1 ，V 2のうち射影点G'に近い点を点Cと定めば，この物体は安定していないと判定する

る．この物体の挙動は上述の (1) により表現する．射影（Fig.5(b)）．この場合，物体は安定と判定されるまで

点G'が2本の直線間に位置するならば（Fig.6(2)-b），物

床面との関係に対応して定まる挙動を示す．Fig.6 に示体の床面と接触している2点が移動しない，すなわちこすように，ここでは床面との接点数により以下に示す3の2点を結ぶ直線を軸に回転すると考える．この場合もつの状態を考える[15]．

(1) と類似の方法で，直線V1V2を軸として物体を回転す(1) 1点 V1 による接触（Fig.6(1)） 点V1を点Cとする

る．

（Fig.6(1)）．指先など1点による押す操作と同様に，(3) 3点以上のVi による接触（Fig.6(3)） 射影点G'がベクトル Gmを次式に従い滑り，跳ね返りの成分となる接点Viによって決定される凸包に含まれない，すなわ
ち物体が不安定な場合，全ての接点が移動しないのではなく，2点もしくは1点を残し，他は床から離れる方向へ移動するものと考える．そこで凸包の頂点のう

G
Floor
G'
V1

V2

Gm

ち，もっとも点G'に近い2つの点を点V1，V2とすること
で物体の挙動は上述した (2) により求められる．

V3,...

Object(a) Stable

T

G

G

R
G' Gm
V2 = C

V1
θ

X

G
Floor

Gm

Floor

(1)

V1

l1

l2

V1 = C
(2)-a

Gm
V2

V3,... G'(b) Unstable

V1, V2, ... , Vi : Vertices of an object on the floor
point G' : Projected point of the center of gravity G
in the direction of moving vector Gm

G

V2

l2

G'
V1
(2)-b

V2

l1

G' Gm
V1

(3)

: Convex-hull area decided by V1, V2, ... , Vi

図5 床面における物体の安定判定
Fig.5: Stability check of an object on the floor

図6 床面における物体の挙動
Fig.6: Motion of an object on the floor

5

4.3 物体同士の干渉(1) 自由な仮想物体操作

物体同士の干渉は，把持した物体による他の物体の(2) 親指を使わない把持間接操作や，物体の配置作業を実現するためには考慮(3) 指先によって弾く操作すべき問題である．しかし文献[12]でも述べられている(4) 把持した物体を投げる操作

ように，互いに干渉し合っている剛体の力学的な解法(5) 物体を積み上げる操作

はNP完全になる場合がある．そこで，多くの物体同士

操作例を Fig.7 に示す．Fig.7(a) は，実際に仮想空間が衝突した場合にも，物体と手や床との干渉時と同様内の物体を操作している様子を示している．Fig.7(b) はな方法で，それぞれの物体を逐次移動していくことが計算機内で構築した仮想空間のCG映像である．また考えられる．しかしその結果，直接操作していなかっFig.8 に示すように，任意の多面体形状の仮想物体を仮た物体が手と干渉した場合に，操作者の手を拘束する

想手の任意の部分により操作することが可能である．

ことなく仮想空間内の矛盾を解消することは容易ではこの様子から，従来のようなジェスチャによらず，5本ない．

の指と物体との相互作用を考慮することにより，実世

ところで，本研究は仮想手による物体操作を実空間

界における物体操作と類似な物体把持が実現できたこと同じような動作により実現することを目的としていとがわかる．Fig.9 は，人差し指で四角錐をはじいた様

る．そこで，現時点では物体同士の干渉に対して以下子である．また Fig.10 からは，投げられた物体が放物の簡略化を行う．仮想手が物体に触れて動かした結運動の後，床の上で静止したことが分かる．Fig.11 は果，その物体に他の物体が干渉するならば，それらは物体を積み上げた様子であるが，Ｌ字型の物体により全て同様に平行移動のみとする．また，複雑に積まれ立方体形状の物体を床下へ押し進める(4.3節)と，立方た多数の物体の安定状態の計算は実時間処理の範囲で

体形状物体に対する床への入り込み補正処理(4.2節)には困難であり，把持操作の感覚を低下させる要素となより，右側の図のように物体同士が互いに入り込む，る．そのため，互いに干渉している物体がともに手とという問題がある．

干渉していないならば，それらの物体をその場で静止させることにしている．

5. 実験例
5.1 実験システムの構成
上述したモデルを用いることにより， 仮想手による物体操作システムを，グラフィックワークステーション（SGI Onyx RE2, R8000）上で，C言語により実現した．本システムは Fig.7(a) に示すような構成となっていそれぞれの被験者による各操作に対する評価（◎：
操作性が良い，自然である，○：普通，△：あまり良くない）を表１に示す．
全般に，被験者から次のような評価を受けた．
・仮想物体の操作が，実物体操作と同じような方法で行える．
・投げた物体の挙動，床の上で転がる物体の挙動が自然である．

る．操作者の各指の関節の角度，手首の角度等はグ

一方，次のような問題点が指摘された．

ローブタイプの入力装置（同図中央，手に装着）によ・手と物体との接触は物体が動くことから始めてわかり入力される．これは18センサを有し，それぞれ 8bit

るため，素早い操作ができない．

(0-255) の値を得ることが可能であり，0.5 degree/value

・物体同士が干渉したときの挙動が不自然であり，まに設定している．手の位置および方向は低周波の磁界

た積み上げるという操作に関しては実世界とは大きを利用したモーションセンサ（同，手首に装着）によく異なる．

り入力される．これは，位置，角度データに関してそ

また，表１において操作(5)の△は，前述した物体同

れぞれ，静的精度: 0.08cm, 0.15゜，分解能: 0.0005cm,

士の相互作用の問題に関係する．操作(3)の評価がやや0.025゜の測定値を与える．また，液晶シャッタを利用
表1 各操作に対する評価
Table 1: Evallation for each manipulation

したステレオグラス（同図右，頭部に装着）および
HMDによる立体視も可能となっている．
5.2 実験結果

manipulation

(1)

(2)

(3)

(4)

(5)

a

◎

◎

○

◎

○

b

○

◎

○

◎

△

c

◎

△

◎

○

○

被験者 a〜c に対して，練習として5分程度の仮想物体
操作を行った後，次の操作を行った．
6

subject[実験1] 本システムによる実験の一つとして，3名の(a) System and example of manipulation(b) CG image of virtual space
図7 仮想物体操作システムの構成と実験例
Fig.7: System configuration and examples of manipulating objects witha virtual hand

図8 仮想手による任意多面体形状の物体操作
Fig.8: Manipulation of objects (arbitrary shape of polyhedrons)with virtual hand

図10 仮想手による物体を投げる操作
Fig.10: Throwing an object with a virtual hand

図9 指先による物体を弾く操作
Fig.9: Filliping an object with a finger of virtual hand

図11 物体を他の物体の上に積む操作
Fig.11: Putting an object on another object with a virtual hand7

低いのは，3次元的な位置把握の問題である，すなわ[ 実験2 ] 上記実験は実験室内のものであり，より多ち，把持する場合にはゆっくり指を近づければよい

様な被験者による実験が必要である．そこで，1997年8が，弾く場合には指を素早く動かす必要があり，接触

月に名古屋で3日間にわたり行われたザ・新世界博（国する瞬間がわかりにくいためであると考えられる．操際人工知能合同会議エキシビジョン）でのデモ展示に

作(2)に関しては被験者c から「指先が器用に動かなおいて，データを採取した．記録は，筆者らの観察，い」との感想があった．

および体験者との会話による．デモは SGI Indigo2

さらに，操作(1)において被験者は主に物体を把持しHighIMPACT, R10000 により，仮想空間内の 2m 前方にていた．この時，把持に至る直前の 1〜2 frame に１ある半径 15cm の標的にブロックを当てる，というゲー

点，あるいは複数点により押している状況が存在する

ム方式をとった．体験者は，一般客も多数いたことか場合があった．また，被験者が物体を意図的に押す場

ら，国籍，性別，職業，年齢（小学生未満あり）な

合は，主に人さし指の先端１点で押していた．それぞど，多人数多様である．

れの，ある操作における接触状況の推移をFig.12 に示

簡単な説明を行いながら体験してもらったところ，す．他の操作の場合も，概ね同様の結果が得られた．

数分の操作により，100名程度の多様な体験者のうち９

これらのことから，3.2節(3)で述べたように複数点で物割程度の人がブロックを標的に当てることができた．

体を押す状況の重要性は低いと判断できる．

そして，仮想手による基本的な物体操作のシステムにこれらのように，本研究で提案したモデルによる，

ついて，特に違和感の指摘はなく，「仮想空間の物体

仮想手による物体操作システムでは，仮想空間内のデを自分の手で触れるのは面白い」などの意見があり，スクトップにおかれた複数のブロックを，仮想手によ積極的な評価が大多数であった．一方，操作の後に，り移動したり積み上げたり投げたりするという自由な触った感じがない（力覚フィードバックがない），ブ

操作が行える．また，仮想手と仮想物体の相互作用のロックを積み上げると変な止まり方をする（物体同士みではなく，仮想物体の操作後の動きや，床への物体の干渉の簡略化），などの問題点の指摘があった．

の衝突なども考慮したことにより，投げられた物体の[ 実験3 ] 計算時間に関する評価として，描画更新間（手から離した後の）挙動も表現できる．しかし，物隔 ∆t を固定せずに，判定点20，判定線分60の仮想手に体同士が干渉した場合，不自然に静止してしまう，互よる，6面，12稜線からなる数個の立方体に対する干渉

いに入り込んでしまう，という物体同士の干渉に関すを行った．物体の総数，手に把持されている物体数にる問題が残されている．

よる計算量の変化を，1秒あたりに描画可能なフレーム数により示す（Fig.13）．また，32面，56稜線により近似した一つの楕円球（Fig.7(b) 参照）に対する干渉も

state
(3)
(2)

frame/sec(0)(a) Grasping manipulation

frame

none
one cube
two cubes
sphere

28.0

state
(3)
(2)

24.0

(1)
(0)

frame
(b) Pushing manipulation
state: (0): no contact(1): push at one point(2): grasp (with more than one points)(3): push at more than one points
図12 接触状態の推移
Fig.12: The change of contact state

8

AAAA
A
AAAA
A
A
A
A
AA
AA
AA
A
A
A
A
AA
AA
AA
AAAAAA
AA
AA
A
A
A
A
AA
AA
AA
A
A
A
A
AA
AA
AA
AAAAAAAA
AA
object grasped
with hand

(1)

20.0

16.0

0

1

2

3

4
5 ... 10
number of objects

図13 単位時間当たりの描画フレーム数
Fig.13: Number of frames drawn in the unit time

行った．

フィードバックについても検討し，具体的問題を含む

今回の実験では全物体数 10個，把持物体数 2個(立方さまざまな状況における仮想空間操作の体験実験によ体) の場合でも 17 frame/sec での描画更新が可能であり，本モデルによる物体操作の実現の容易さおよび問る．そのため，必要とされる描画更新レート 12 frame/

題点を検証することも必要である．また，対話的な物

sec により，対話操作が実現できる．手と干渉している

理シミュレーションを実現することによる，計算量，物体数の増加に伴う計算時間の増加については，通常物体の挙動などを比較，検討することも重要であろの物体移動では片手で同時に少数の物体にしか触れなう．
謝辞

いため，片手による対話操作の可能な計算時間であ研究を進めるにあたり，有益な議論を頂いた

る．物体形状の複雑さに関しては，多数の面，稜線か

本研究室諸氏に感謝する．なお，本研究の一部は文部らなる物体には対応できないのが現状であるが，多面

省科研費重点領域研究「人工現実感」，同基礎研究

体で近似した球に対する操作は 17 frame/sec での描画

(1)，および股関節振興財団の研究助成による．
文献更新が可能である．また手と干渉している物体数が一定の場合，物体総数（Fig.13 横軸）の変化による計算[1]

時間への影響は少ないため，数十個の物体が存在する
場合でもほぼ同程度の速度が得られる．すなわち，同時に１〜２個の物体にしか触れないならば，数十個の物体が存在する状況における物体操作が可能である．

[2]

しかしこれは，操作感覚を重視し，物体同士の干渉に

6. むすび[3]

R. Boulic, S. Rezzonico, D. Thalmann: Multi-Finger
Manipulation of Virtual Object, Proc. ACM VRST, ACM, pp.6774 (1996)[4]

Y. Kunii and H. Hashimoto: Object Grasping in Virtual
Environment Using Dynamic Force Simulator, Proc. IEEE
International Workshop on Robot and Human Communication,

本文では，現在のGWSの処理能力で実現可能な手による物体操作のための一モデルを提案し，仮想現実感システムの実験例を示した．本システムでは，物体を把持，移動し，また投げるなどの動作が対話操作により可能である．操作については，従来よく用いられた[5]

pp.261-264 (1994)
川勝大輔, 中山敦司, 小堀研一, 久津輪敏郎: バーチャルリア
リティにおける物体選択方法について, 情報処理学会研究報[6]

告 グラフィクスとCAD 66-4, Vol.93, No.110, pp.25-32 (1993)
H. Iwata: Artificial Reality with Force-feedback: Development of
Desktop Virtual Space with Compact Master Manipulator,[7]

Computer Graphics, Vol.24, No.4, pp.165-170 (1990)
平田幸広, 水口武尚, 佐藤誠, 河原田弘: 組立作業のための仮想作業空間, 電子情報通信学会論文誌 D-II, Vol.J76-D-II,[8]

No.8, pp.1788-1795 (1993)
木島竜吾, 廣瀬道孝: Virtual Physics: 仮想空間の物体挙動計
算, 電子情報通信学技術報告, Vol.95, No.83, pp.105-112[9](1995)
日本ロボット学会編: ロボット工学ハンドブック, III 制御技術編, 3. ハンドの機構と制御, pp.297-320, コロナ社

大幅な簡略化による制約条件などを設けることなく，
どの指のどの部分においても物体の操作が可能なモデルを実現することができた．また，手の影響下にない物体の挙動についても，簡略化された重力などを導入することにより実世界の印象に近づけることができた．
本システムは現在，その基本機能を実現した段階にあり，仮想手による3次元物体のより自然な対話操作の実現に関しては次のような課題が残されている：[手と物体の相互作用]
・複数の指で押した時の自然な挙動の実現[10]

M. Moore and J. Wilhems: Collision Detection and Response for
Computer Animation, Computer Graphics, Vol.22, No.4, pp.289298 (1988)[11]

Y. Kitamura, H. Takemura, N. Ahuja and F. Kishino: Interference
Detection Among Objects For Operetor Assistance In Virtual
Cooperative Workspace, Proc. IEEE International Workshop on

・両手，あるいは多人数の手による協調作業による物
体操作への対応[手から離れた物体の挙動]
・他の物体と干渉した時の自然な挙動
・跳ね返り，滑べりといった現象の表現
さらに，これらの機能の追加とともに干渉判定の高速化，柔らかい物体に対する操作の実現や，力覚のpp.44-49 (1994)
Z. Huang, R. Boulic, N. M. Thalmann and D. Thalmann: A Multisensor Approach for Grasping and 3D Interaction, Computer
Graphics: Developments in Virtual Environments (Proc.
Computer Graphics International '95), Academic Press, pp.235253 (1995)

ついては簡略化を行ったためであり，より正確な物体干渉を実現するためには改良すべき点である．

M. Bergamasco, P. Degl'Innocenti, D. Bucciarelli and G. Rigucci:
Grasping and Moving Objects in Virtual Environments: aPreliminary Approach towards a Realistic Behaviour, Proc. IEEE
International Workshop on Robot and Human Communication,[12]

Robot and Human Communication, pp.442-447 (1993)
M. Shinya and M.-C. Forgue: Laying out Objects with Geometricand Physical Constraints, The Visual Computer, Vol.11, No.14,
pp.188-201 (1995)

9

[13]

D. Braff: Interactive Simulation of Solid Rigid Bodies, IEEE
Computer Graphics and Applications, Vol.15, No.3, pp.63-75(1995)

舟橋

健司

(学生員)

平5岐大・工・電子情報卒．平7名大大学院博士前期課程了(情報工学)．現在同大大学院後期課程在学中．コンピュータグラ

[14]

武田捷一, 丸山稔, 亀井克之: 物理法則に基づく剛体運動のシ
ミュレーション手法, 電子情報通信学会論文誌 D-II, Vol.J79D-II, No.5, pp.860-869 (1996)

フィックス，バーチャルリアリティに関する研究に従事．日本
バーチャルリアリティ学会会員[15]

K. Funahashi, T. Yasuda, S. Yokoi and J. Toriwaki: Block
Manipulation with Hand in Virtual Space, Proc. Virtual System
and Multimedia '95, pp.189-194 (1995)

安田昭57三重大・工・電気卒．昭62名大大学院博士課程了(情報工学)．同年同大工学部情報工学科助手．平５同大情報文化学部助教[16]

舟橋健司, 安田孝美, 横井茂樹, 鳥脇純一郎: 仮想空間操作における物体の挙動および手と物体の相互作用のモデル, 第１回計算工学講演会論文集, Vol.1, No.1, pp.15-18 (1996)

授，現在に至る．この間，日本学術振興会特別研究員（昭61）．
質感表現，仮想空間操作等のCG及びVRの研究に従事．情報処理学会，日本ME学会各会員[17]

テレビジョン学会編: テレビジョン・画像情報工学ハンド
ブック, 1編 光・色・視覚・画像, 5章 画像, pp.57-75, オーム
社 (1990)

横井

孝美

茂樹

(正員)

(正員)

昭46名大・工・電気卒．昭52同大大学院博士課程了．同年名大助手，昭53三重大助教授，昭57名大工学部情報工学科助教授を経て，平５同大情報文化学部教授，現在に至る．コンピュータグ
ラフィックス，バーチャルリアリティ，マルチメディアなど，映像を中心とした情報メディア技術とその社会的影響に関する研究に従事．市村賞学術貢献賞，日本ME学会論文賞各受賞．情報処理学会，日本ME学会各会員．

鳥脇純一郎

(正員)

昭37名大・工・電子卒．昭42同大大学院博士課程了．同年4月
名大工学部助手．以後，昭45助教授，昭49名大大型計算機セン
ター助教授，昭55豊橋技術科学大学情報工学系教授，昭58名大工
学部電子工学科教授を経て，昭60年4月より同情報工学科教授．パ
ターン認識，画像処理，グラフィックスおよびそれらの医学情報処理への応用に関する研究に従事．著書「パターン認識の画像処理」(朝倉書店)，「認識工学」(コロナ社)，「見えないイメージを見る」(共立出版)．情報処理学会，日本ME学会，画像電子学会，
人工知能学会，コンピュータ支援画像診断学会，IEEE各会員．

A Model for Manipulation of Objects with Virtual Hand in 3-D Virtual Space
Kenji FUNAHASHI†, Takami YASUDA††, Shigeki YOKOI††, and Jun-ichiro TORIWAKI†
This paper describes a virtual objects manipulation system with a virtual hand. It is necessary that we can grasp,
move and release virtual objects with hand in the similar way as real ones in order to have many experiences invarious virtual worlds. Therefore, we developed a new model for objects manipulation with a virtual hand. Basic
hand actions such as grasping, moving and releasing are implemented and gravity and inertia are introduced in a
simplified way in the proposed model. The objects are naturally moved with interactive rate in a picture generated bygraphics workstation.
keywords: virtual manipulation, virtual hand, real-time interaction, grasping check, kinematics†

Graduate School of Engineering, Nagoya University Nagoya-shi, 464-8603††

School of Informatics and Sciences, Nagoya University Nagoya-shi, 464-8601[注] 本ファイルは，採録後の最終提出ディジタル原稿です．その後，若干の修正が加えられ論文誌に掲載されているため，実際の出版物とは若干の相違があります．また，PDF 用に若干の変更が加えてあります．
10