基礎論文
	 スケッチ入力によるモデリングのための
非接地ペン型力覚ディスプレイ
家室 証*1

南澤 孝太*2

舘 暲*2

Ungrounded Pen-shaped Kinesthetic Display for Sketch-based Modeling
Sho Kamuro*1, Kouta Minamizawa*2, and Susumu Tachi*2
Abstract --- In this paper, we propose an ungrounded pen-shaped kinesthetic display that exerts
force on a user’s fingers without restricting hand movements in order to support sketching invirtual environments. To make this device compact and to satisfactorily represent the sensationof touching virtual objects with a pen, we have devised a method to exert forces on the user’s
fingers by moving the grip of the device toward the base fixed to the user’s hand. We have
implemented the device and verified its ability to exert force. We have also constructed a 3D
haptic interaction system, whereby the user can see and touch virtual objects by using a haptic
device. The system also allows the user to create tangible 3D shapes by sketching 2D figures on a
virtual canvas with force feedback.
Keywords: kinesthetic display, haptic interaction, sketch-based modeling1 はじめに近年，ユーザのスケッチ入力に基づいたモデリングの実現に関して多くの研究がなされている．従来のモデリ
ングソフトウェアでは所望のモデルの作成のために熟練した操作が必要であったが，これらの研究はスケッチという慣れ親しんだ動作に基づいての操作を可能にしており，先行知識のないユーザでも抵抗なくモデリングを行えるという利点がある．IgarashiらによるTeddy[1]では，マウスやペンタブレットにより描かれた二次元的なスケッチを概形として立体形状が生成される．また，描いた三次元形状の上でさらに入力を行うことで形状の切除や結合等の様々な操作を可能なもの[2]や，描かれた絵に注釈を加えるような形で三次元形状を生成可能なもの[3]など，多様な手法が提案されている．
このようなスケッチ入力を三次元空間に拡張し，空中に軌跡を描くことによる形状生成を可能にすることで，立体的なモデルの生成をより直感的に行うことが可能になると考えられる．ユーザの手の動きの軌跡から立体的な面を生成する手法[4]や，複数の空間的な軌跡に基づいて面を生成する手法[5]などが提案されている．しかしながら，空中でのスケッチを行うには，ユーザは自分自身の三次元的な手の位置を常に意識する必要があり，所望の軌跡を正確に描くのが難しくなってしまうと*1 東京大学大学院情報理工学系研究科*2 慶應義塾大学大学院メディアデザイン研究科*1 The University of Tokyo*2 Keio Universityいう問題が生じる．スケッチ入力は本来物理的な平面上に行うものであるということから，力覚ディスプレイをイン
タフェースとして用いてバーチャルな平面の教示を行う
ことで，直感的な空中でのスケッチ入力を実現できる可能性がある．力覚ディスプレイはユーザの手指に力を加えることにより皮膚に対しての圧覚と筋に対しての固有受容感覚とを提示するものであり，現実には存在しない
バーチャルな物体に対する三次元的な操作をあたかも対象が現実に存在するかのような感覚で行える．形態として様々なものが提案されているが，特にペン型のデバ
イスを用いることで，形状が持つ“描く”というアフォーダ
ンスを利用することが可能になる．代表的なペン型力覚
ディスプレイであるPHANToM[6]は，モータによって駆動するリンク機構によりペン型のインタフェースの動きを制御し，それを把持するユーザの手に力覚を提示する．
PHANToMをインタフェースとして用いることにより，バーチャルなクレイを変形してモデリングを行うシステム[7]や，モデルの表面形状を触った感覚を得ながら彩色を行う
システム[8, 9]がこれまでに提案されている．しかしながら，PHANToMを利用する場合はリンク機構の存在によりユーザの手の動作可能範囲に制限が加わり，空中の広い範囲でのスケッチ入力操作に用いるには不適である．利用するユーザの移動を許容するウェアラブルなデバイスとして，没入型立体ディスプレイであるCAVE[10]内における映像とのインタラクションを可能にするHaptiｃ
GEAR[11]が挙げられるが，大型の装置を装着する必要があり，利用シーンが限定されてしまう．手軽に空中の日本バーチャルリアリティ学会論文誌

広い範囲で使用可能であるためには，小型かつポータブルである必要があり，近年ではそのようなペン型デバイスとしてwUbi-Pen[12]やSenStylus[13]が開発されているが，前者はモニタとの物理的な接触が使用の条件となっているためユーザが空中で自由に使うことはできず，
後者は空中で使用可能なものの，提示する刺激が振動のみであり，物体に触ったという感覚は得にくい．ポータ
ブルなデバイスにおいて力覚の提示を実現した例[14,15]もあるものの，断続的な力覚の提示にとどまっており，
連続的な力覚の提示を行うデバイスの開発は報告されていない．
本稿では，外界に対して固定されていないデバイス単体でユーザの指に力覚を提示する手法と，空中でのス
ケッチ入力を力覚フィードバックにより支援可能なペン型力覚ディスプレイ(図1)を提案し，デバイスによる力覚
提示の効果を検証する．また，実装したデバイスを用いて，スケッチ操作によって立体形状生成することによるバーチャル物体の作成と，作成した物体を触ることによる体験が可能なハプティックインタラクションシステムを構築し，力覚フィードバックと立体映像の表示を組み合わせたことによる空中でのスケッチ操作の支援について検証を行う．

図1 提案する非接地ペン型力覚ディスプレイの概念図
Fig.1 Conceptual sketch of proposed
ungrounded pen-shaped kinesthetic display

2 提案手法ヒトの触覚は，皮膚内の受容器によって知覚される皮膚感覚と，腱や関節において知覚される固有受容感覚に分類可能であり，本稿ではこれらのうち物体を触った際の反力に起因する圧覚と固有受容感覚を併せて力覚と呼ぶ．前章で述べたとおり，ユーザの動きを拘束しないポータブルなデバイスにおいて，既存のデバイスの多くが皮膚感覚の提示や断続的な力覚の提示に留まっており，連続的な力覚の提示が可能なポータブルなデバイスの開発は報告されていない．これは，一般的に腕の関節等への力の提示を行うには接地された装置が必要となり， ポータブルなデバイスには適さないためである．しかしながら，ペンにより物体を触った際に生じる感覚として，ユーザの知覚に最も大きな影響を与えている

Vol.16, No.3, 2011のはペンを把持している指において生じる力覚であると考えられ，指に対する力覚の提示だけでも実現することができれば，皮膚感覚の提示のみを行う場合よりも物体を触った感覚を効果的に再現できる可能性がある．
そこで我々は，指のみへの力覚の提示がバーチャルな物体を触った感覚を表現するのに有効であるという仮説に基づき，把持したユーザの指に対して力覚を提示するハプティックディスプレイを提案する．ペンを用いて物体を触るという行為の形態は，主にペン先で押す・叩くという動作とペン先で表面をなぞるという動作に大別される．これらの動作に対して適切な力覚フィードバックが可能なデバイスの形態として，図1の概念図に示すような力覚ディスプレイを提案する．外界に対して接地を行わないデバイスにおいて力の提示を行うためには，ユーザの身体の一部に反力を得るための支点を定めることで，内力の合計を 0 にする必要があり，力覚の提示を行うポータブルなデバイスを設計するためには，ユー
ザの手の中に力の支点と作用点の両方を定める必要がある．そこで，我々はペンと手とが接触する示指の根本と拇指内転筋付近の皮膚を力の支点として定め，ペンを把持する際に用いる拇指，示指，中指の三指の指先を作用点として力を加えることとした．デバイスはユーザの手に固定されるベース部と，ユーザが指で把持する
ペン先部の二つの部分から構成されており，ベース部
内に配置された複数のモータがベース部に対してペン先部が駆動する(図2)．ペン先部はペンの軸に対して平行な方向に並進，また垂直な方向に対して傾動し，これらの動きを組み合わせることにより三自由度の力提示が行われる．前者のペン先部の並進によって，ユーザの指にはペン先部で物体をつついたり押したりした場合の力が，また後者のペン軸に垂直な動きによって，物体をペン先でなぞった際の摩擦に対応する力やペン先の横側で物体を触った際の力が提示される．
これらのペン先部の駆動による力覚提示を実現する
ためには，ベース部が手に対して固定されていることと，ベース部に対してペン先部がユーザの指により固定されていることの 2 つが必要条件となる．ベース部の固定は使用の際に装着の手間を可能なかぎり省く形で実現されることが望ましい．そこで，ベース部の側面にリングと手に沿う形状を配置し，ユーザがデバイスを把持する
際に示指をリングに通し，また形状に手を沿わせて持つことにより，ベース部とユーザの手の固定を実現する．ここで，手に沿う形状は皮膚との摩擦によりベース部のペン軸方向の動き，リングはペン軸に垂直方向に傾く動きの発生をそれぞれ抑制し，ベース部の三自由度の動きを防ぐ効果がある．この状態でユーザは拇指，示指，中指の三指でペン先部を把持する．ペン先部がベース部に対して運動しようとすることにより，ベース部と手との接触部を支点に，把持によりペン先部を固定している三指

家室・南澤・舘: スケッチ入力によるモデリングのための非接地ペン型力覚ディスプレイ

に対して力の提示が行われる．
ペン先部の駆動に関しては，ベース部内の三個のモータがペン先部に直結したジョイント部上の 3 つの支点をそれぞれ独立に糸を巻き取って牽引することにより実現する．三つの支点全てを同時に牽引した場合はペン先部がベース部に引き込まれることでペン軸に対して平行な動きが実現され，一つないしは二つの支点のみを牽引した場合はペン先部がペン軸に対して傾くことでペン軸に対して垂直な動きが実現される．本手法ではペン先部がユーザの指により固定されていることを前提とし，トルク制御によりジョイント部上の支点に対する牽引力を制御する．ペン先部の並進方向の力提示を行う場
合には，提示する力の 1/3 ずつの牽引力が各モータによって支点に加えられる．傾動方向の力提示を行う場合
は，ジョイント部の中心点と支点とを結ぶ単位ベクトルと提示すべき力ベクトルとの内積から，それぞれの支点に対応した各モータの提示トルクを決定する．

ータが糸を巻き取ることによって各支点を独立に牽引す
る．ペン軸方向の並進については約 10 mm，ペン軸に対する傾動については約 30 度の駆動領域を確保した．モータによる支点の牽引が行われていない場合に
ペン先部の位置を初期位置に戻すため，ベース部内に押しバネを配置した．これらの内部構造を図5に示す．
ペン先部とベース部の間には，モータへの入力が無い
場合にペン先部が傾くのを防ぐため，柔らかいスポンジを配置した．固定用のリングとユーザの手に沿う形状はベース部外装の側面に配置した．リングは着脱のしやすさを考慮して開閉する形状を採用し，デバイスを把持する際に示指を押しつけるように持つことで，示指を挟み込むように固定することが可能となった（図6）．モータ
はMaxon社製のDCモータ(RE10, 1.5 W, gear ratio =16:1)を用いた．これにより，モータ1つ辺り最大約 4.9 Nの力を提示可能である．よって，実装したデバイスが提示可能な力の最大値は約 14.7 Nである．

図2 提案する力覚提示機構
Fig.2 Proposed force feedback mechanism

3 デバイスの実装と評価
3.1 実装したデバイス
提案手法に基づき，モータを内蔵したデバイスの実装を行った．図3に作成したデバイスの外観を，図4にモータを含めたデバイスの寸法図を，それぞれ示す．デバイ
ス外装部及びリングと手に沿う形状の成形には，軟化性ABS樹脂を積層する溶融積層法のラピッドプロトタイプ
システム(Stratasys社, Dimension BST 768)を使用した．
モータを含めたデバイスの全長は約 175 mmで，重量は約94 gであった．デバイスの太さは，直径 10 mmのモータを3本内蔵でき，かつ一般的な成人が手で把持することが可能なサイズとするため，ベース部において 29
mm，ペン先部において 23 mmとした．デバイスの内部に配置された3個のモータは，滑車の役割をするジュラコン製の円筒を介して，ペン先部に直結したジョイント
部上の3つの支点と糸でそれぞれ接続されており，各モ

図3 実装したペン型力覚ディスプレイ
Fig.3 Constructed ungrounded pen-shaped kinesthetic display

図4 デバイスの寸法図（単位：mm）
Fig.4 Dimensional drawing of the device (unit: mm)日本バーチャルリアリティ学会論文誌

図5 デバイスの内部構造．白線が糸を示す．
Fig.5 Inner structure of the device. The white line shows astring.

Vol.16, No.3, 2011の比較刺激に対して各被験者が 2.0 N の標準刺激よりも強いと回答した確率およびその平均と正規累積分布関数による S 字カーブフィッティングの結果を示す．標
準刺激に対して弁別確率が 0.5 となる比較刺激の値を主観的等価値（PSE）として定義し，この結果における75%弁別閾（DL）を，PSE と 75%の正答率を示すときの比較刺激の値の差として定義すると，モータを全て駆動させた場合の PSE は 2.0 N であり，75%DL は 0.40 N であった．また，単一のモータのみを駆動させた場合については，PSE は 2.2 N，75%DL は 0.82 N であった．

図6 リングの構造（左：閉状態，右：開状態）
Fig.6 Structure of the ring (Left: Closed, Right: Open)

3.2 力覚の提示分解能の検証実装したペン型力覚ディスプレイについて，提示可能な力覚の分解能を検証するため，被験者がデバイスを把持した状態でモータを駆動して力覚を提示し，恒常法に基づく力の強度の弁別実験を行った．全てのモータによりペン先がペン軸方向に並進する場合と，単一のモータによりペン先が傾動する場合について，それぞれ検証を行った．
本実験は恒常法に基づいて行われた．被験者は 20代の男性 4 名，女性 1 名であり，全員右利きであった．
デバイスを把持した右手が被験者から見えないように隠し，またモータの駆動音を排除するためヘッドホンにより白色雑音を聞かせた．各試行においては，2 つの刺激をそれぞれ 1 秒間提示し，間に 1 秒間のインターバルをおいた．提示される 2 つの刺激は，1 つのモータで提示可能な最大の力のおよそ半分の大きさである 2.0 N の標準刺激と，0.8 N から 3.2 N まで 0.4 N 刻みで用意された 7 種類のうちから選ばれた比較刺激であった．刺激の提示順序として標準刺激−比較刺激と比較刺激−標
準刺激の 2 通り，比較刺激の強度 7 通り，各 10 回で，計 140 回の試行を 1 セットとした．図 7 のように物体を押した際の反力に対応するペン軸方向の力覚提示と物体をなぞった際の摩擦力に対応するペン軸に垂直な方向の力覚提示のそれぞれについて 1 セットずつ行った．被験者はそれぞれの試行においてどちらの力を大きいと感じたかを，「1 番目」「2 番目」のいずれかを二件法により回答した．
図 8 に，ペン軸方向の力覚提示を行った場合とペン軸に垂直な方向の力覚提示を行った場合の，それぞれ

図7 実験におけるデバイスの動き
Fig.7 Motion of the device in each condition of the experiment

	
 

	
 
図8 力覚提示分解能評価実験の結果(上: ペン軸方向 下：ペン軸に垂直方向)
Fig.8 Result of force resolution experiment(Top: Direction parallel to the axis of the pen,
Bottom: Direction perpendicular to the axis of the pen)

家室・南澤・舘: スケッチ入力によるモデリングのための非接地ペン型力覚ディスプレイ

3.3 考察前節の結果から，ペン先部の並進によるペン軸に対して平行な方向への力覚提示では，75%DL が 0.40 N となっており，また全てのモータを最大入力で駆動した場合に提示される力が合計で 14.7 N となることから，高分
解能かつ高出力の力覚提示が可能であると言える．これに対して，傾動によるペン軸に垂直な方向への力覚
提示では 75%DL が 0.82 N であり，また提示可能な最大出力も並進の場合に比べて 1/3 になるため，比較的低分解能かつ低出力となっている．しかしながら，ペン先の傾動による力提示は主に物体表面をペン先でなぞった際に生じる摩擦力を表現するものであり，対象となる物体の静動摩擦係数によりユーザの手の動作状態に基づいて一定の力が提示されることを考慮すると，現状の解像度でも物体との触覚インタラクションは十分に再現可能であると予想される．
提案手法における力覚提示は，ベース部とユーザの手との固定部を支点としてペン先部を駆動する力を加えることによって行うものであり，実装したデバイスにおいては，ベース部に対するペン先部の位置や姿勢に関わらず，ペン先部がユーザによって固定されているという仮定に基づいてモータの駆動トルクのみを制御して提示する力覚を決定している．しかしながら実際には，モータの出力が一定値を超えた場合に被験者の指がペン先部を保持できずペン先部が運動してしまうことが確認された．ペン先部の可動範囲には制限があることから，ペン先部の位置が可動範囲の限界に達した場合には，力の知覚が行われにくいという現象が生じると思われる．
提案手法による力覚提示がユーザの把持の程度に依存することから，より握りやすい形状や摩擦の高い材質
をペン先部の実装に用いるという対策を行うことが考えられる．
4 3D ハプティックインタラクションシステム
4.1 システムの概要
本章の目的は，前章において実装したデバイスを用いて，バーチャルな環境とのハプティックインタラクションを実現するシステムを構築することである．ペンを用いて高い存在感を持つバーチャル物体を触って体験できる
と共に，触る対象となる立体形状を持つ物体をユーザが作成できるようにすることで，3DCG モデルのモデリングと体験が同時に行えるようなシステムを構築する．
バーチャル物体があたかも現実に存在しているかのような感覚でのインタラクションを実現するため，物理シ
ミュレーションに基づいた物体の挙動及び提示する力覚の決定を行う．また，存在感の向上のため，立体映像を用いた環境の表示を行い，空中に浮かんだ物体を直接触ったかのような感覚を再現する．
バーチャル物体のモデリングについては，本稿では特に容易な立体形状の空間中への生成と配置を可能にすることを主眼に置き，ペン型というデバイスの形態を活かした空中でのスケッチ入力による立体形状の生成手法を実現する．シンプルな入力に基づいて物体のデザインを行うことを可能にするため，二次元的な線画のスケッチから立体形状の作成を行う Teddy のコンセプトを参考に，空中に配置したバーチャルキャンバス上での入力による操作を実現する．ユーザがキャンバス上に描いた二次元図形から形状のパラメータの抽出を行い，生成する立体形状を決定する．ユーザが入力操作を行う際には，デバイスを用いた力覚フィードバックによりキ
ャンバス表面の位置を教示し，空中での入力操作の支援を行う．
以上をまとめると，システムにおいて実現すべき要素
は，・ 物理シミュレーションエンジンによる力覚計算
・ 立体映像によるバーチャル環境の表示
・ 空中でのスケッチ入力からの三次元バーチャル物
体の生成であり，以下ではそれぞれの実装について述べる．
4.2 物理シミュレーション空間の構築
デバイスを持ったユーザの運動に応じたバーチャル
物体の挙動及び衝突力の算出を行うため，物理シミュレーションに基づくバーチャル空間の構築を行った．ハプ
ティックインタラクションを実現するには，実空間においてユーザが把持した非接地ペン型力覚ディスプレイとシ
ミュレーション環境内に存在するバーチャル物体との衝突により生じる力を取得する必要がある．ここで，一般に非接地の力覚ディスプレイを用いた場合にはユーザの手の位置を固定することができないため，バーチャル物
体と接触した場合に，計測されるデバイスの位置とシミュ
レーション環境内におけるプロキシの位置が大きく離れてしまうという問題がある．このため，一般的に行われているデバイス位置とプロキシ位置との差にバネ定数を乗算するような力覚計算手法では，自然な力覚フィードバックを実現することができない．デバイスの位置とプロキ
シの位置が大きく離れてしまった場合でも，物体との衝突に基づく自然な力覚提示を行うため，本研究ではnVidia 社の物理シミュレーションライブラリ PhysX を用いて物理シミュレーション環境を構築した上で，以下のような手法により力覚レンダリングを行った．
まず，NaturlPoint 社のモーショントラックシステムである OptiTrack FLEX: V100 を用いて，デバイスのペン尻部に配置した 3 つのマーカ（図 3 参照）をキャプチャする
ことにより，デバイスの実空間における位置 と姿勢を取得する．ここで，取得されるのはデバイスのペン尻部の位置であることから，ペン先部の位置と姿勢がベース部に対して一定であるという仮定に基き，ペン軸方向

日本バーチャルリアリティ学会論文誌にデバイスの長さ分だけ移動した点をペン先端の位置として算出する．次に，シミュレーション環境内に生成したペンの先端を表す球型のプロキシの位置を，取得した値に応じて制御する．この位置制御は，プロキシが目的とするペン先端の位置とバネ−ダンパ系で接続されているという想定で，ペン先端の位置とプロキシの位置の差及びそれぞれの速度の差に応じた外力をプロキシに加えることにより行う(図 9 上段)．これはプロキシがバー
チャル環境内において物体と衝突した際も同様である．
プロキシと物体との衝突による反力及び摩擦力の算出
は PhysX の ContactReport クラスを用いて行う．得られた力ベクトル をデバイスの姿勢 に応じて逆回転し，デバイスにより提示すべき力ベクトル を算出した上で，この値に基づいてデバイスによる力覚提示を行う（図 9 下段）．
以上の手法により，非接地ペン型力覚ディスプレイを用いてシミュレーション環境内の物体を触った感覚をフィードバックすることが可能となった．デバイスとバーチャ
ル物体の衝突に応じて衝突力が算出され，同時にPhysX によるシミュレーションにより物体の挙動も決定される．構築したバーチャル空間の様子を図 10 に示す．

図9 提示力覚の算出手法
Fig.9 Method for calculating providing force	 図10 構築したバーチャル空間
Fig.10 Constructed virtual environment

Vol.16, No.3, 2011

4.3 立体映像によるバーチャル空間の表示
バーチャル物体の存在感の向上のため，立体映像の提示も行った．40 インチのスクリーン付きの筐体を作成して内部にプロジェクタ（Sight3D U27, ViewSonic 社）を配置し，スクリーン上にバーチャル環境を表示した．ユーザが装着する 3D メガネ（3D Vision, nVidia 社）に力覚
ディスプレイと同様に 3 つのマーカを配置し，ユーザの頭部位置を OptiTrack システムにより取得し，頭部位置に応じた映像をスクリーン上に投影した．これにより，両眼視差及び運動視差が再現された映像が表示され，ユーザはあたかも対象のバーチャル物体が実空間中に浮かんでいるかのように様々な方向から物体を見ることが可能となった．
4.4 空中でのスケッチ入力からの立体形状生成
空中でのスケッチ入力作業については，力覚フィード
バックによってバーチャルなキャンバスを再現することによる支援を行う．入力を行う際に，ユーザが初めにボタンを押すと，ペン先端の位置にペン軸と垂直な平面状のキャンバスが表示される．デバイスの位置は OptiTrackを用いて計測しており，ユーザはボタンを押したまま所
望の位置まで手を動かしてボタンを離すことで，描画を行うキャンバスを配置する．配置されたキャンバスは
PhysX 空間中に平面として配置され，デバイスとキャンバスが衝突した際には算出された反力に基づいた力覚が提示される．これにより，表示されたキャンバスに触っているかのような感覚を得ながら，空中での描画作業を行うことが可能である．
バーチャル物体の作成を行う際には，ユーザは生成する立体形状として球，直方体，メッシュ形状のいずれかを図 11 に示した操作パネル上で選択する．その上で，それぞれの形状に対応する円，長方形，自由閉曲線といった二次元的な線画をキャンバス上に描く．ペン型力覚ディスプレイのペン先部に配置されたボタンが押下されている間に描かれた軌跡に基づき，球や直方体の生成においては二次元図形の割り当てによるパラメータの抽出を，メッシュ形状の生成においては頂点群の生成を行い，生成すべき立体形状を決定し，シミュレーション
空間中に生成する．これにより，空中に線画を描くという簡単な操作により，触れる立体形状の生成，配置が可能になった．バーチャルキャンバス上へのスケッチ入力
から箱とメッシュ形状が生成される様子を図 12 に示す．
	 

家室・南澤・舘: スケッチ入力によるモデリングのための非接地ペン型力覚ディスプレイ

図11 操作選択用パネル
Fig.11 Operating panel	
 して力の提示が行われる．ユーザは複数の形状を組み合わせることで所望の 3DCG モデルを作成できる．作成
したモデルの形状の確認や完成物としての体験を，立体映像として見てかつ直接触ることにより行える．
構築したシステムにおいては，立体映像が見えている
位置にペン型デバイスを把持した手を伸ばして触ることができ，これにより対象物体の存在感を効果的に示すことができた．スケッチ入力による立体形状の生成に関しては，多様な形状の 3DCG モデルを空間的な動作に基づいて作成することが可能である．システムを用いて実際にスケッチされた 3DCG モデルの例を図 14 に示す．

図12 スケッチ入力からの立体形状生成

図13 3D ハプティックインタラクションシステム（上：箱, 下：メッシュ形状）

Fig.13 3D haptic interaction system

Fig.12 Creation of shape from sketch input	 (Top: Box, Bottom: Shape with freeform surface)

4.5 システムの統合
上記の要素を統合して構築したシステムを図 13 に示す．システムを体験するにあたり，ユーザは右手に非接地ペン型力覚ディスプレイを把持し，3D メガネを装着して筺体の前に立つ．立体映像により表示された空中に浮かぶバーチャル物体をペン先でつつくと，衝突力に応じた反力がデバイスにより提示され，ユーザは対象があたかも実空間に存在しているかのような感覚で物体との力覚を伴うインタラクションを楽しめる．ここで行われる力の提示は，第 2 章で述べたペン先の駆動の制御により三軸方向の力を再現しており，PhysX による物理シミュ
レーションからの取得値に応じて方向感のある力覚を再現している．提示映像及び力覚計算のためのシミュレー
ションの更新レートは 120 Hz であり，力覚ディスプレイの制御の更新レートは 1 kHz 以上であった．
スケッチ入力による立体形状作成に関しては，空中でデバイスを持った手を動かして線画を描くと描いた軌跡に応じて形状が自動生成され，立体映像として表示される．また，この際に形状の色に加えて硬さと摩擦を設定可能であり，設定された値を係数として，PhysX により算出された衝突力及び摩擦力に乗算した上でユーザに対

図14 システムを用いてスケッチした 3DCG モデルの例
Fig.14 Example of 3D models sketched by using the system

5 検証実験及び展示
5.1 スケッチ入力に対する操作支援性の検証
本節では，力覚フィードバックと立体映像の表示によりバーチャルキャンバスの教示が効果的に行われているか検証を行うため，デバイスを用いてバーチャルキャン
バスに表示された円形の軌跡をなぞり，力覚提示の有無による平面に対する侵入距離の変化を確認するという実験を行った．	
 日本バーチャルリアリティ学会論文誌

図 15 に実験の様子を示す．本実験においては，バーチャルキャンバスとしてスクリーン前方に 30cm 四方の平面を配置した上で，表面に直径 20cm の円を表示し，被験者にペン型デバイスを用いてそれをなぞるよう指示した．キャンバスの地面に対する傾きは 60 度であり，これは筺体のスクリーンの傾きに等しい．各試行においては, 被験者はまず表示された円の始点にペン型デバイ
スの先端を合わせ，ペン先部に配置された入力ボタンを押下し，そのまま軌跡に沿ってペン型デバイスを動かし，終点に到達したらボタンを離すという動作を行った．
物理シミュレーション空間においてキャンバスは摩擦のない剛体として生成されており，4.2 節にて記述した計算手法に基づいてキャンバス表面の法線方向の衝突力が算出され，デバイスの姿勢に応じた力の提示が行われる．力提示の有無で 2 通り，各 5 回で，計 10 試行
を 1 セットとして実験を行った．被験者は 20 代の男性 3名であり，全員右利きであった．モータの駆動音の影響を排除するため，実験はヘッドホンで白色雑音を聞かせながら行った．
図 16 に，壁をなぞった際のペン先端の壁に対する押し込み距離の二乗誤差平均平方根の絶対値及びその標準偏差を示す．各被験者の平均で，力覚の提示を行わない場合が 72 27 mm，力覚の提示を行った場合は49 13 mm であった．有意水準 5％とした統計的解析の結果，2 つの条件の間に有意差が認められた．
実験の結果から，デバイスを用いた力覚の提示により，バーチャルなキャンバスに対する入力操作における目的入力位置との奥行き方向の誤差が減少することが確認できた．今回の実験では，スケッチ入力を行う間はシミュレーション環境におけるデバイスの位置を示すプロキシは表示されず，視覚的な手がかりとして被験者が利用出来るのは表示されたスクリーンの位置と実世界における自分の手の位置のみであった．また，今回の実験におけるキャンバスは，スクリーンと平行に，すなわちユーザの視線方向と垂直に配置されている．これにより，両眼視差映像により立体感は得られるものの，視線に対して奥行き方向の絶対的な位置を視覚情報のみから正確に推定することは難しく，両眼視差映像のみを提示した場合は誤差及びその分散が大きい．力覚と両眼視差映像とを併せて提示した場合には，これらの情報を統合して判断することにより，キャンバス表面位置の推定が効果的に行われたと考えられる．以上から，提案
システムにおける視覚及び力覚フィードバックにより，バーチャルな入力面を効果的に表現可能であるということが示された．

Vol.16, No.3, 2011

図15 スケッチ入力実験の実験風景
Fig.15 Setup for sketch input experiment

図16 スケッチ入力実験の結果(侵入距離の二乗誤差平均平方根の絶対値．単位：mm)
Fig.16 Result of sketch input experiment(Absolute value of root-man-square of overshoots. unit: mm)

	
 5.2 システムの展示
本稿において実現されたデバイス及びシステムに関しては，複数の学会及び展示会において展示を行い，数多くの体験者からフィードバックを得た．
ペン型力覚ディスプレイを用いて複数の二次元モニタ上に表示されたバーチャル環境とのハプティックイン
タラクションが可能なシステムに関しては，米国において 開 催 さ れ た ACM SIGGRAPH 2009 の Emerging
Technologies 部門においてデモ展示を行った．国内にお い て も 東 京 ゲ ー ム シ ョ ウ 2009 及 び DIGITALCONTENT EXPO 2009 において展示を行った．このシステムでは同時に 2 人のユーザが体験可能となっており，
バーチャルな物体を協調して動かそうとする場面が多く見られた．力覚フィードバックを伴う映像とのインタラクシ
ョンという体験に関して，多くの体験者から特にゲームへの応用を期待する意見を得た．
立体映像とのハプティックインタラクションシステムに関しては，科学技術振興機構（JST）主催の予感研究所
3 においてデモ展示を行った．幅広い年齢の体験者から，立体映像と力覚フィードバックによる物体の高い存在感に対する驚きの声が得られた．また，立体テレビの普及に伴い，将来的には各家庭において立体映像と共

家室・南澤・舘: スケッチ入力によるモデリングのための非接地ペン型力覚ディスプレイ

に力覚フィードバックを併せた体験が実現されることを期待するとの感想が得られた．
さらにスケッチ入力によるモデリングを含めたシステム
に関しては，インタラクティブ東京 2010 及び DIGITALCONTENT EXPO2010 において展示を行った．3DCG
モデリングを行った経験のないような来場者についても，提案手法により空中に絵をスケッチすることで様々な形状の物体を作成できることが確認された．自らがスケッチした形状を触って動かせるというインタラクティブな体験が特に好評であったが，二次元的なスケッチだけではなく三次元的なスケッチからの形状作成の実現を希望する声が多かった．
5.3 考察
本稿において構築したシステムでは，立体映像提示と力覚フィードバックを組み合わせることによりユーザの手の操作位置と操作結果の提示位置が一致することで，実空間に存在する対象に直接触るかのような感覚でモデルの形状の確認や体験を行え，画面内に表示された環境内でポインタを操作する場合よりも直感的な操作が実現できる可能性があると言える．また，空間中及び空間に配置したキャンバス上へのスケッチ入力からの形状生成により，多様なモデルを簡単に作成することが可能となっている．キャンバスを用いた入力においては，形状の生成位置をキャンバスの配置位置により操作できることから，複数形状を組み合わせたモデル作成の支援も効果的に行われている．
実装したデバイスは，モータで糸を巻き取ることによりペン先部を牽引していることから糸の最大張力以上の力は提示できず，また DC モータを用いていることから応答性についても制限が加わり，提示可能な感覚，特に物体の硬さに関して限界が生じてしまう．現在のシス
テムでは，4.2 節で述べた物理シミュレーションに基づく計算による力の提示により，バーチャル物体との衝突感
や押し込みに対する反力は効果的に表現可能となっているが，より硬い物体の表現を可能にするためには，ソレノイドアクチュエータ等を用いた応答性の高い駆動機構を実装することが考えられる．
本稿では形状の生成のみについて実装を行ったが，より複雑な 3DCG モデルの作成を可能にするため，将来的には生成した形状の変形等の多様な操作を実現することが考えられる．ユーザの指先に対して力覚のフィードバックが可能であるというデバイスの特性を活かし，形状の切削等の操作も含めた 3DCG モデリングシステ
ムの構築を行っていきたい．

先に対して力覚の提示が可能な非接地ペン型力覚ディ
スプレイを提案した．実装したデバイスが物体とのインタ
ラクションに対して適切な力覚フィードバックが可能であることを確認した．物理シミュレーションに基くバーチャ
ル環境を構築してバーチャル物体を触ることを可能にし，三次元形状を持つバーチャル物体の空中でのスケッチ操作による作成と組み合わせ，バーチャル物体の作成と体験が同時に行える 3D ハプティックインタラクションシ
ステムを構築した．空中での入力操作に対してバーチ
ャルなキャンバスを教示するという手法に対する力覚フィードバックの効果を実験により検証し，複数の展示会においてシステムの展示を行った．
今後はデバイスを用いたより多様な触感の表現を目指し，力覚提示性能の向上のために機構の改良を行うとともに，生成した形状の触感情報の編集機能に関して実装を行っていく．また，空間中の広い範囲での動作が可能であり，三自由度の力覚フィードバックが可能であるという提案デバイスの利点を活かし，三次元的な動作に基づく形状生成手法についての提案と実装を行っていくとともに，形状の変形等の操作を実現することで，多様な形状及び触感を持つ触れる 3DCG モデルの作成が行えるようなシステムを構築する予定である．
謝辞
本研究は，IPA 未踏 IT 人材発掘・育成事業（2009 年
度下期未踏ユース），日本学術振興会特別研究員奨励費（23･9218），及び JST-CREST「さわれる情報環境」プ
ロジェクトの支援により行われた．
参考文献
[1]

[2]

[3]

[4]

[5]

6 まとめ
本稿では，ユーザの動作を妨げず空中の広い範囲でのスケッチ入力に使用可能でありながらユーザの指[6]

T. Igarashi, S. Matsuoka, and H. Tanaka, "Teddy: A
Sketching Interface for 3D Freeform Design," ACM
SIGGRAPH'99, Los Angels, pp.409-416, 1999.
R. Schmidt, B. Wyvill, M. C. Sousa, and J. A. Jorge,“Shapeshop: Sketch-based solid modeling withblobtrees,” In Eurographics Workshop on Sketch-Based
Interfaces and Modeling, pp. 53–62, 2005.
Y. Gingold, T. Igarashi, and D. Zorin, ”Structured
annotations for 2D-to-3D modeling,” ACM Transactions
on Graphics (TOG) 28, 5, Article 148, 2009.
S. Schkolne, M. Pruett, and P. Schroder, “Surface
drawing: creating organic 3D shapes with the hand andtangible tools,” In Proceedings of the CHI 2001
conference on human factors in computing systems, pp
261–269, 2001.
T. Grossman, R. Balakrishnan, G. Kurtenbach, G.
Fitzmaurice, A. Khan, and B. Buxton, “Creating principal
3D curves with digital tape drawing,” ACM CHI
Conference on Human Factors in Computing Systems, pp.
121-128, 2002.
T. Massie and K. Salisbury, ”The PHANTOM Haptic
Interface: A Device for Probing Virtual Objects,”
Proceedings of the ASME Winter Annual Meeting,日本バーチャルリアリティ学会論文誌

Symposium on Haptic Interfaces for Virtual Environment
and Teleoperator Systems, 1994.
[7] 日本バイナリ株式会社,“FreeForm	 モデリングソフト	 ウェア”,http://www.nihonbinary.co.jp/[8] A. D. Gregory, S. A. Ehman, and M. C. Lin, “inTouch:Interactive Multiresolution Modeling and 3D Painting
with a Haptic Interface,” In Proceedings of the IEEE
Virtual Reality 2000 Conference, pp. 45- 49, 2000.
[9] M. Foskey, M. A. Otaduy, and M. C. Lin, “ArtNova:
touch-enabled 3D model design,” ACM SIGGRAPH
2005 Courses, 2005.
[10] C. Cruz-Neira, D. J. Sandin, and T. A. DeFanti,“Surround-screen projection-based virtual reality: thedesign and implementation of the CAVE”, In Computer
Graphics Proceedings (SIGGRAPH 93), pp.135-142,
1993.
[11] M. Hirose, K. Hirota, T. Ogi, H. Yano, N. Kakehi, M.
Saito and M. Nakashige, ”HapticGEAR: the developmentof a wearable force display system for immersive
projection displays,” In Proceedings of the IEEE Virtual
Reality 2001 Conference, pp.123-129, 2001.
[12] KU. Kyung and JY. Lee, ”wUbi-Pen: windows graphicaluser interface interacting with haptic feedback stylus,”
ACM SIGGRAPH 2008 New Tech Demos, 2008.
[13] M. Fiorentino, G. Monno, and A. Uva, ”The Senstylus: anovel rumble-feedback pen device for CAD application in
Virtual Reality,” In Proceedings of the 13th International
Conference in Central Europe on Computer Graphics,
Visualization and Computer Vision ’2005 (WSCG 2005),
2005.
[14] T. Amemiya, H. Ando, and T. Maeda, ”Virtual Force
Display: Direction Guidance Using Asymmetric
Acceleration via Periodic Translational Motion,” In
Proceedings of World Haptics Conference, pp. 619-622,
2005.
[15] M. Sakai, Y. Fukui, and N. Nakamura, “Effective Output
Patterns for Torque Display 'GyroCube,' ” In Online
Proceedings of the 13th International Conference on
Artificial Reality and Telexistence, 2003.

（2011 年 3 月 10 日受付）

Vol.16, No.3, 2011

[著者紹介]
家室 証 （学生会員）
2008 年東大工学部計数工学科卒業．2010
年同大学大学院情報理工学系研究科システ
ム情報専攻学修士課程修了．同年同専攻博士課程進学．修士(情報理工学)．2009 年下
期 IPA 未踏ユースクリエイター．2011 年より日本学術振興会特別研究員(DC2)．バーチャルリアリテ
ィ, ハプティックインタフェースの研究に従事．

南澤 孝太 （正会員）
2005 年東京大学工学部計数工学科卒業．
2010 年同大大学院情報理工学系研究科博士課程修了．博士(情報理工学)．2007 年より
日本学術振興会特別研究員(DC1)．2010 年
慶應義塾大学大学院メディアデザイン研究
科特別研究助教．2011 年より同研究科特任講師．ハプティックインタフェース，3D ディスプレイ，テレイグジス
タンスの研究を行う．

舘 暲 （正会員）
昭 43 東大・工・計数卒．昭 48 同大大学
院博士課程修了．工学博士．東大・工・助手，通産省機械技研・主任研究官・バイオ
ロボティクス課長，ＭＩＴ客員研究員，東大・先端研・教授などを経て，平 6 同大・工・計数工教授，平 13 同大大学院・情報理工・教授，平21 年慶應大学大学院メディアデザイン研究科教授．東京大学名誉教授．国際バーチャルリアリティ研究センター長．
テレイグジスタンス，人工現実感などの研究を行う．
IEEE/EMBS 論文賞，通産大臣表彰，文部科学大臣表彰，
国際計測連合(IMEKO)特別勲功賞，IEEE-VR Career Awardなど受賞．IMEKO ロボティクス会議議長，計測自動制御
学会第 46 代会長，日本バーチャルリアリティ学会初代会長.