視覚・触覚を持つリアクティブバーチャルクリーチャ
三 武 裕 玄†長 谷 川 晶 一††

青佐木 孝 文†藤誠†

Reactive Virtual Creature with Optical and Touch Sensation
Hironori Mitake,† Takafumi Aoki,† Shoichi Hasegawa††
and Makoto Sato†

1. 背景と目的
バーチャルクリーチャ(人間の考え出した生き物・キャラクタの総称) は，映画やテレビの登場人物・ゲー直接接触したりする際に無限の位置関係を取り得るため，バーチャルクリーチャが物体の位置や接触状態を適切に反映した反応動作を行う事がより重要となっている．

ムのキャラクタなど様々な場面で使われ，インタラクNintendogs(任天堂 2005) ではタッチパネルを使用

ションや感情移入の対象となり，仕草や行動・表情変し，画面内のバーチャルクリーチャ(犬) に，“頭を撫で化等によって個性やストーリーを表現する役割を担っる”，“毛をとかす” 等のフィジカルなインタラクショている．そのため，魅力的な体験を提供するために，ンを行うことが出来る．あらかじめ多数の反応動作インタラクションの対象としてリアリティが高く，感をアニメーションとして作り込んでおくことで魅力情移入しやすいバーチャルクリーチャの実現が重要で的な反応動作を実現している．また，筆者らは作品ある．

Kobito1)2) において実物体を通したバーチャルクリー

また，バーチャルクリーチャとのより深いインタラ

チャとの力覚インタラクションを実現し，キャラクタクションによってエンタテインメント性やアート性をを実物体でつついた際の力学的なリアリティのある反高めるため，様々なインタフェースが提案されてきた．

応動作を，あらかじめ用意したアニメーションと剛体

近年では実世界と同様に身体を使った直接的・物理的シミュレーションの組合せにより生成する手法を提案

な (＝フィジカルな) インタラクションを実現するインしてきた．

タフェースが登場し，物理的な入力に対してバーチャ

本研究では，感覚系のモデルと力学的運動生成機構

ルクリーチャが力学に従った多様な反応動作をするこを組み合わせる事で，バーチャルクリーチャが周囲のとが，リアリティを高めるために必要となっている．

物体の位置や動き・接触に応じた多様な反応動作をリ一方で，バーチャルクリーチャは生物の表現であるアルタイム生成する手法を構築する事を目的とする．

ため，実際の生物と同様に周囲の環境から感覚器にこれにより，複合現実感環境のような，バーチャルクよって得られる情報に基づいて行動することでリアリリーチャとの間で同じ空間を共有した状態において，ティの向上が期待される．特にフィジカルなインタラ

体験者が指先で直接バーチャルクリーチャに対してクションでは，体験者 (プレイヤー) がバーチャルク

細やかなインタラクションを行い，バーチャルクリーリーチャの周囲で行動したりバーチャルクリーチャにチャが体験者の指先の位置や動きに応じてバーチャルクリーチャ自身の興味・関心を反映した多様な反応動† 東京工業大学 精密工学研究所
P ＆ I Lab., Tokyo Institute of Technology†† 電気通信大学 知能機械工学科
Dept. of Mechanical Engineering and Intelligent Systems, University of Electro Communications

作を行う事が可能となる．

2. 提 案 手 法
本研究では，心理学における選択的注意の概念に着情報処理学会 インタラクション 2010

B2. 触覚モデル
触覚モデル(a) 触覚情報触覚情報

・部位
・位置・圧力→注意の注意の度合

Ａ．リアルタイム
Ａ．リアルタイム
物理シミュレータ
シミュレータ
物理B1. 視覚モデル
視覚モデル

FFv

(b) 視覚情報
視覚情報・種類（名前）・位置注意の度合・速度→注意のMaxv

Ｃ．行動
Ｃ．行動生成行動生成ルール
生成ルール

接触注視

回避

防御v

D. 運動制御
運動制御(c)
・位置・注意の度合い

Jv = ω
ω = J#v


図 1 提案手法の全体像
Fig. 1 Overview of the proposed method

目する．脳は感覚情報の全てを処理する事はできないため，関心のある対象や感覚的に目立つ情報に対してとによって行う．

2.2 視覚・触覚的注意のモデル

は意識の集中や感覚器の運動（視線移動や手先の移動

リアルタイム物理シミュレータの保持する，バーなど）が起こる．注意に伴う感覚器の運動はその生物チャルクリーチャの周囲の剛体の位置・運動・接触力の関心対象をわかりやすい形で反映するものと言える．の情報に基づき，視覚・触覚を模擬したモデルを用いバーチャルクリーチャに注意のモデルを搭載する事で，てバーチャルクリーチャにおける感覚情報を再現する

視線や手先の運動によって興味・関心の対象を表出す(図 1B)．感覚的に目立つ情報に対して自ずと注意がるバーチャルクリーチャが実現すると考えられる．

向けられるボトムアップ性の選択的注意の概念に基づ提案するバーチャルクリーチャの全体像を図 1 に示き，各感覚情報はバーチャルクリーチャ周囲の剛体そす．本手法は，A. 多関節剛体モデルのリアルタイム

れぞれに対してどの程度注意を引くかを表す数値を列

物理シミュレーション，B. 視覚・触覚的注意を模擬し挙した物とする．

た感覚系モデル，C. 行動決定ルール，D. 逆運動学と具体的には，視覚については，視野内で高速に運動

関節角 PD 制御による到達運動制御，の 4 つの要素かしている物体は視覚的な注意を引きつける，という心ら構成される．

理学の知見に基づき，バーチャルクリーチャの視野に本手法により，バーチャルクリーチャの周囲での体入っている剛体それぞれについて運動速度の絶対値を験者の動作や接触の場所・力に応じて，多様な反応動注意を引きつける度合いとする．これに対象の剛体の作を行わせることを実現する．例えば，キャラクタの位置と種類 (体験者の指先・積み木のブロックなど) を前で手を振る・キャラクタをつつくなどすると気づい表す単純なラベルを組合せ，視覚情報とする (図 1(b))．て振り向き，体験者に触れようと手を伸ばす (注意・また，触覚については，剛体シミュレータからバー関心)，強く叩くと嫌がって避ける (感情を反映した反チャルクリーチャに対する接触の接触力・接触面積を応動作)，ユーザとキャラクタで直接ものを受け渡す

取得し，接触圧力を計算して注意を引きつける度合い(連携動作) などが可能となる．とする．これに剛体の位置とバーチャルクリーチャの2.1 バーチャルクリーチャの多関節剛体モデル

どの部位に接触しているか (頭部・腹部など) を表す

バーチャルクリーチャを含むバーチャル世界全体をラベルを組合せ，触覚情報とする (図 1(a))．

剛体モデル・多関節剛体モデルとして表現し，リアルさらに，バーチャルクリーチャが特別な関心を持っタイム物理シミュレーションを行う (図 1A)．バーチャている物体があるとき，その剛体の注意の度合いにルクリーチャの動作生成は，多関節剛体モデルに加え一定値を加算する．これは，トップダウン性の選択的る力・トルクを制御する事によって行う．これにより，注意に対応する．例えば体験者の指先はバーチャルクバーチャルクリーチャの力学的な反応動作を実現する．

リーチャにとってアクションを起こす存在であるためまた，体験者のインタラクションは，力覚インタフェー

関心の対象である．

ス等を用いてシミュレータ内のアバターを操作するこ

最終的に，全剛体の中で注意の度合いが最も大きい

視覚・触覚を持つリアクティブバーチャルクリーチャカメラ

剛体を注意の対象として選択し，行動ルールにおける体験者の手行動決定の対象として用いる (図 1(c))．

2.3 行動ルール
感覚情報に基づき，反応行動を決定するのが行動ルールである (図 1C)．提案手法では，まずルールを

力覚デバイス用いて感覚情報から行動の種類 (手先を伸ばす，など)を決定し，次に感覚情報に含まれる位置情報に基づき行動の制御目標 (手先を伸ばす行動であれば目標手先位置) を定める．これにより，剛体の位置に応じた多様な反応動作を複数のルールのみで記述する事ができる．

ディスプレイ
図2

提案バーチャルクリーチャとのインタラクション環境
Fig. 2 Interaction System for Proposed VC

今回，行動の種類としては「視線を向ける」「手を伸ばして触れる」「避ける」「ガードする」の４種類を実現した．行動決定ルールとしては，与えられた感覚情報および体験者への好感度のパラメータによって行動の種類を選択するルールを作成した．
体験者への好感度は，体験者の触れ方によって変化する．バーチャルクリーチャにとって強い力を与え続手先で触れる 両手先を，目標剛体の表面に到達させる
避ける 全身の剛体を，目標剛体から遠ざかる位置に到達させる
ガードする 両腕の剛体を，目標剛体とガード対象 (頭部など) の間の位置に到達させる

けると減少し，適度な力で触れ続けると増加する．体到達運動制御を用いた行動の記述により，同一種類

験者の指が最も注意を引きつける時，体験者の好感度の行動であっても実際には目標剛体の位置に応じて異が高ければ体験者に対して「視線を向ける」「手を伸なった運動が実現する．これにより，バーチャルクリーばして触れる」行動を行う．逆に好感度が低かった場

チャと周囲の環境の物体との位置関係を反映した多様合は体験者の指から「避ける」「ガードする」行動をな反応動作が生成される．

行う．また，その他の物体が注意を最も引きつける時，バーチャルクリーチャは「視線を向ける」「手を伸ばして触れる」行動を行う．

3. インタラクションシステム
提案手法によるバーチャルクリーチャとのインタラ

2.4 逆運動学と関節角 PD 制御による到達動作

クションを実現するため，複合現実感提示および力覚

行動ルールによって決定した行動と，感覚情報に基インタフェースを備えたインタラクション環境を構築

づく行動対象の剛体の位置情報から，実際にバーチャした (図 2)

ルクリーチャの運動を制御し動作を生成する (図 1D)．

液晶ディスプレイの裏にカメラを設置し，取得した感覚情報に従ってバーチャルクリーチャが行う反応

映像に対してバーチャルクリーチャを重畳表示するこ動作の基本となる運動制御器として，バーチャルクとで複合現実感提示を行う．また，青木ら3) の提案

リーチャの身体を構成する任意の剛体に任意の位置・したワイヤによる指先への力覚提示デバイスを用い，姿勢を実現させる到達運動制御器を構成した．到達運

体験者が指先でバーチャルクリーチャに接触すると指動は，構成剛体の最終目標位置・姿勢を達成するため先に対して力覚を提示する．これにより，バーチャルの関節角度を逆運動学によって求め，求められた関節クリーチャが体験者からの接触を感覚して反応行動を角度に向けて関節角度を PD 制御することによって行うだけでなく，体験者もバーチャルクリーチャとの実現する．逆運動学計算にはヤコビアンの重み付き擬接触を感覚して体験を行う，対称的な触覚インタラク

似逆解による方式を用いる事で，任意のバーチャルクションを実現した．

リーチャ身体構成に対応する汎用性を実現した．
一種類の行動は，バーチャルクリーチャのどの部位

4. 評

価を，感覚情報に含まれる目標剛体の位置情報に基いて実際にバーチャルクリーチャとのインタラクションどのような位置・姿勢に到達させるか，のルールによっを行い，反応動作の生成を行った．結果，触れた場所て記述する．今回実現した４種類の行動については，やユーザの手の動きに応じた反応動作を得ることがでそれぞれ以下のようになる．

きた．実際に生成された動作の例を図 3 に示す．

視線を向ける 頭部の剛体を，目標剛体の方向を向く姿勢に到達させる

また，構築したインタラクションシステムを，提案
手法によるバーチャルクリーチャとのインタラクショ

情報処理学会 インタラクション 2010

5. まとめと今後の展望
本論文では，指先を用いた直接的かつ細やかなインタラクションに対してリアリティの高い反応動作を行うバーチャルクリーチャを実現する手法について提案を行った．選択的注意に基づく感覚系のモデルとリアルタイム剛体シミュレーション・逆運動学を用いた運動制御を組み合わせる事で，バーチャルクリーチャが周囲の物体の位置や動き・接触に応じた多様な反応動作をリアルタイムで行う事を可能とした．
今後，動作の多様性や意図表現が実現しているか等の評価を行い，手法としての実用性を検証していく予定である．また，感覚系・運動制御系のモデルとしてより実際の生物に近い物を用いる事で，意図を表現する動作を自動生成するバーチャルクリーチャ・フレー
ムワークの実現を目指す．
近年物理シミュレータを利用したコンシューマゲー上：体験者の指先 (球) を注視し，手を伸ばす 中：

ムが多数販売されているが，これらは本システムと親指先が視野に入ると気がつき，手を伸ばす 下：よ和性が高い．ゲーム内で発生する物理的な状況に応じり動きが大きく，注意を引く物体を注視するて，キャラクタの行動を自動生成する事が可能になる

図 3 反応動作生成例
Fig. 3 Example of Generated Reactionsと考えられる．私たちはこのシステムがエンタテイメントの分野で使われることを信じている．そして多くの家庭にこのエンタテイメントシステムが導入され，家族や友達，恋人とともにバーチャルクリーチャとのインタラクションを楽しむ世界が到来するだろう．そして将来，私たちとバーチャルクリーチャとの関係は,側にいてくれて，触れることで癒しをもたらすペットとの良好な関係に近づいていくだろう．

参 考

図 4 デジタルコンテンツ EXPO での展示風景
Fig. 4 Exhibition at Digital Contents EXPO

ンを実現する作品 “Haptic Ring” としてデジタルコンテンツエキスポ 2009(2009 年 10 月 22 日〜25 日，
日本科学未来館，図 4) において展示し，1000 人以上の来場者が体験を行った．体験者の多くからキャラクタがかわいいといった感想が得られたことから，提案手法は魅力的な反応動作を生成できていたと考えられる．また実際にインタラクションを行った体験者からは，(視線を向けたり手を伸ばす動作に対して) 猫じゃらしに対する猫の動作のようだ，(避けたりガードしたりしている様子に対して) 嫌がっている様子が伝わってくる，くすぐったそうだ，などの感想が得られた．

文献1) 青木孝文，三武裕玄，浅野一行，栗山貴嗣， 遠山喬，長谷川晶一， 佐藤誠：実世界で存在感を持つバーチャルクリーチャの実現 Kobito -VirtualBrownies-，日本バーチャルリアリティ学会論文
誌， Vol.11, No.2, pp.313–322 (2006).
2) 三武裕玄，青木孝文，浅野一行， 遠山喬，長谷川晶一， 佐藤誠：キャラクタとの物理的なインタラクションのための剛体モデルと多次元キーフ
レームの連動による動作生成法，日本バーチャルリ
アリティ学会論文誌， Vol.12, No.3, pp.437–446(2007).
3) 青木孝文，三武裕玄，長谷川晶一，佐藤 誠：ワイヤによる皮膚感覚刺激を用いた指先装着型接触感提示デバイス，日本バーチャルリアリティ学会
論文誌， Vol.14, No.3, pp.421–428 (2009).