道具型デバイスを用いた木材加工システムへの動作拘束の導入とその効果
髙見

雄介

木村朝子

柴田史久

田村秀行

我々は直観的に利用でき，広い空間での作業に幅広く用いることができる「道具型デバイス」の研究を行っている．これまで選択・移動操作に適した「ピンセット型デバイス」や，加工操作に適した「ナイフ，ハンマ型デバイス」を活用した事例として，木材加工システムを開発してきた．しかし，運用においてユーザの意図にあった配置や切断操作が困難であることが明らかになった．そこで本研究では，仮想物体や道具の動作拘束を導入することによって加工操作の補助を試みる．

Introduction of Constraint on Movement to Mixed Reality
Handcrafting System Using ToolDevice and It’s Effects
YUSUKE TAKAMKIASAKO KIMURA

FUMIHISA SHIBATA

HIDEYUKI TAMURA

We have proposed novel interaction devices named “ToolDevice” for various operations in special works
such as mixed reality (MR) space. We have developed a handcrafting system using TweezersDevice for pickand move operation and Knife/HammerDevice for handcrafting operations. However, the results of user study
showed that placement and cutting that exactly he/she wanted was still difficult. To assist those operations, weintroduce constraints on movement of virtual objects and the devices to our system.

1.

はじめに

しかし運用の結果，実世界の造型作業では，物理法則により物体の動きに様々な拘束が発生し，それを逆仮想物体の形状モデリング操作を直観的に行えるよに利用することで容易に物体を配置することができる

うにするため，モデリングシステムに道具のメタファのに対して，このような物理法則のすべてを仮想環境

を 導 入 す る 研 究 が 行 わ れ て い る ． Wesche ら ので再現することは難しく，実世界で容易な配置操作が(1FreeDrawer ではペン型のデバイスを用いて空間中に仮想世界では非常に難しいという問題が発生した．

スケッチを描くように操作することで自由な形状の線

このような仮想物体の配置問題に対する解決策としや面などの 3 次元形状を生成することができる．て，清川ら(5 はブロック玩具を模倣したモデラを開発

Schkolne らの Surface Drawing(2 では，3 次元形状の生しブロック面に刻まれた凹凸によりブロックの動きを成や編集に手によるジェスチャやハンドツールを用い，手の動きに応じた有機的な形状を生成することができ，生成した形状に対して消しゴムや磁石といったツールを用いて変形操作を行うことができる．
本研究では，複合現実 (Mixed Reality; MR) 空間において，実世界の道具に近い形状と操作時の触感・操作音を対話デバイスに導入する「道具型デバイス(3」を活用することで，より実世界の造型作業に近い，直図 1 道具型デバイス（左：ピンセット，右：ナイフ，ハンマ型デバイス）

観的な形状モデリングシステムの実現を目指している．
我々は，これまでに選択・移動操作に適した「ピンセット型デバイス(3」と加工操作に適した「ナイフ，ハンマ型デバイス(4」（図 1）を利用し，多くの人が経験したことのある木材加工操作のメタファを導入した
MR 型木材加工システム（図 2）を構築した．
立命館大学大学院理工学研究科
Graduate School of Science and Engineering, Ritsumeikan Univ.

図 2 道具型デバイスを用いた木材加工システム（イメージ図）

情報処理学会 インタラクション 2011
位置姿勢情報
カメラ映像(NTSC)

カメラ コントローラ

表示映像
(VGA)

HMD コントローラ

MR 空間管理・
デバイス制御用 PC

デバイス
制御情報

Polhemus
LIBERTY

HMDデバイス情報

入力
トランスミッタ

図4

出力I/O BOX

図3

木材加工ワークフロー

システム構成拘束することで配置操作を容易にし，北村ら(6 は物体の挙動に磁石のメタファを取り入れることで，物体の配置操作を補助している．
本研究では木材加工という特徴を生かし，現実に近切断前い操作感を実現するための操作補助として動作拘束を

図5導入することでこの問題解決を図る．

2.

木材加工システム

2.1

概要

切断後
ナイフ型デバイスによる切断本システムでは手元を見ながら操作が行える MR
空間を利用し，対象物体の存在する空間とモデリングを行う空間とを一致させている．また，直観的な操作を実現するために，多くの人が過去に経験したことがあり，作業内容が容易に想像できる実世界の木材加工

結合前

結合後

図6

ハンマ型デバイスによる結合操作をシステムの操作体系に取り入れ，ユーザの操作

触力覚提示用の LED，スピーカ，振動モータを内蔵に対するメンタルモデル形成を容易にし，初心者でもしている．また，デバイス固有の機構として，ピンセ扱える直観的な造型システムを目指している．同シス

ットは挟み幅取得のためのポテンションメータや反力テムでは，著者らの開発したナイフ型デバイスを木材提示のためのソレノイドを内蔵している．ナイフ，ハの切断に用いられるノコギリに，ハンマ型デバイスを

ンマは接触判定用の 2 段階タクトスイッチを内蔵する

木材同士の結合に釘とともに用いられる金槌にマッピ他，ハンマのみ振り下ろし検出用の加速度センサを内ングしている．

蔵している．

2.2

システム構成【木工加工システム】

2.3

インタラクション

ユーザは用意された基本形状を必要に応じて選択し，木工加工システムを実現するハードウェアの構成を各種デバイスを用いてこれを操作する（図 4）．

図 3 に 示 す ． MR 空 間 管 理 ・ デ バ イ ス 制 御 に は【ピンセット型デバイスによる選択・移動】

Microsoft Windows XP OS，Intel Core i7 Ext 965 CPU，ピンセット型デバイスで仮想物体を挟むことで，そ6144 MB RAM，NVIDIA GeForce GTX 280 ビデオカーの物体の選択を行うことができる．選択時には，実際ドを搭載する PC を用いている．MR 空間の映像提示に物体を掴んだかのような反力を提示し，LED を点には Canon VH-2002 ステレオビデオシースルーHMD灯させることで，正しく選択されたことを提示する．

を用いている．また，HMD およびデバイスの位置姿選択後は，物体を挟んだまま移動することで物体を 3

勢推定には Polhemus LIBERTY を用いている．

次元空間の任意の場所へ移動することができる．また，【道具型デバイス】

デバイスを把持する力を緩め先端を開くことで，仮想操作で用いる対話デバイスには，ピンセット，ナイフ，ハンマ型デバイスを用いる（図 1）．各デバイスは位置姿勢推定用の磁気センサのレシーバ，視・聴・物体を任意の位置姿勢で放して配置することができる．
【ナイフ型デバイスによる切断】
ナイフ型デバイスを卓上でスライドさせることで仮道具型デバイスを用いた木材加工システムへの動作拘束の導入とその効果を図る手法が提案されている．
清川ら(5 は，直観的な仮想物体モデラを実現する上でブロック玩具を模倣している．ブロック玩具には上部の突起と下部の窪みによって，ブロック同士の接合する面の位置および角度が離散的に限定されるという特徴があり，仮想ブロックにこの挙動を取り入れ移動・回転の単位を離散的にすることで動作を拘束し操作性の向上を図っている．しかし，この手法は基本形
図7

体験風景状をブロックのような構成単位に保つ必要があり，本想物体の切断を行う．まず，(1) デバイス先端部を卓システムのように自由な形状の切断操作を含む木材加上に押しつけ，(2) スライドすることで，切断平面が工を想定した環境には適さない．一方，北村ら(6 は物表示され，操作確認のため LED が点灯する．そして，体間の状態遷移を表すメタファとして擬似的な磁石を(3) デバイスを卓上から離すことで，切断平面に沿っ取り入れている．物体同士を近づけた際に，あたかもて物体を切断できる．切断時には，操作応答を示す効面に貼られた磁石が引き寄せられるように操作物体の果音を提示する（図 5）．

位置姿勢を制御して，もう一方の物体に密着するよう【ハンマ型デバイスによる結合】配置する．また，密着した面の数に応じて，1 面であハンマ型デバイスを振り下ろすことで仮想物体同士れば 3 自由度（机の上の並進 2 自由度と回転 1 自由の結合を行う．まず，(1) ピンセット型デバイスを用度），2 面であれば 1 自由度（両接触面に平行な方向いて物体同士が接するように配置し，(2) それに向けの並進）というように動作の自由度を制限することでハンマを振り下ろすことで結合できる．結合時には，配置作業の精度と効率を向上させている．

効果音や振動により操作に対する応答を提示し，結果

本研究ではこの手法を造型システムに取り入れるこを示すために物体を一時的に強調表示する（図 6）．とで，道具型デバイスを用いた仮想物体の配置作業支

図 7 に体験の様子を示す．
2.4

運用結果

援を試みる．
3.2

道具の動作拘束同システムを運用したところ，体験者はすぐに操作

木材加工では板面と切り口が直角になるように切断方法を理解し，デバイスを手にすると迷うことなくそ操作を行うことが多いが，あらかじめ測定してガイドれぞれの操作を行い，デバイスを用途に応じて使い分となる線を引く必要があるなど手間がかかる他，正確けていた．その一方で，操作後のコメントから「並べな精度でこれを行うのは容易ではない．この問題に対て配置したり，直角に配置することが難しく疲れる」

し，実世界では効率よくこれを行うために，治具と呼「直角に切断したり同じ長さに切断する操作が難しばれる道具が用いられる．

い」といった声が聞かれた．

3. 動作拘束による操作補助

治具とは工作物を固定し，切削工具を制御・案内する道具の総称であり，数多くの種類が存在する．中でもマイターボックスと呼ばれる治具は，正確な角度で実世界では操作物体とその他の物体の位置関係に応ノコギリを合わせて木材を切断する際に用いられる．

じて物体の動きに様々な拘束があり，それを利用して形状は 3 面で構成される箱状の構造をしており，側物体の操作を行っている．そこで上記問題を解決する面にスリットが入っている．ユーザは木材をマイターため，本システムでも仮想物体や道具の動作に拘束をボックス内の側面に合わせて配置し，ノコギリをスリ設けることによって操作支援を行う．

ットに合わせて引くことによってノコギリの動きがス

3.1

仮想物体の動作拘束

リット方向に制限され，容易に正確な切断が行える．

物体同士が密着するように配置する際，実世界ではそこで本研究でもマイターボックスを実物体の道具と物体を押し付ける際に反力が働くため，それを利用しして導入することで，道具型デバイスを用いた仮想物て容易に作業が行える．一方で本システムのように仮体の切断操作支援を試みる．

想の物体を操作して同様の作業を行う場合，こういった物理法則を考慮しなければ物体同士が干渉してしま

4. 実装

い目的を達成することは非常に困難である．このようまず仮想物体の運動拘束に関しては北村ら(6 の手法な問題に対し，物体の動きに拘束を設けることで解決をもとに実装を行った．ピンセット型デバイスを用い情報処理学会 インタラクション 2011

具に密着配置することが可能となる．配置後は治具自体を動かすことで，設置された物体も追従して移動する．そして，治具に配置した物体を切断する際は，治具のスリットにあわせてナイフ型デバイスをスライドさせることで直角，左右 45 度での切断を行うことができる．また，物体の設置後に再度ピンセット型デバ
イスで挟んで治具上をスライドするように動かすこと
図8

試作した治具で，物体の両端とスリット間の距離を表示し切断の支援を行う（図 9）
．
4.1

運用結果

まだ少人数ではあるが，実装した操作補助の効果を確認するために本システムを自由に操作させる運用を行った．その結果，体験者らは仮想物体同士を近づけた際の動作拘束に最初は戸惑いを見せたものの，すぐ切断支援
図9

距離表示機能治具による操作の補助て物体を選択し，物体同士の面が接するよう近づけることで，動作拘束により物体の密着配置が実現される．
一方，道具の動作拘束を実現する治具の実装と治具を使用したインタラクションは以下のように実現した．
【治具の実装】
本研究では，マイターボックスを模した治具を試作した（図 8）．本来のマイターボックスはコの字型の形状で，木材の大きさに応じて専用の治具を用いるが，今回は 1 つの治具で様々な大きさに対応することを想定し，側面の一方を取り払ったデザインとした．大きさは一般的な 2×4 木材用途のマイターボックスに倣い，底面 300×140 mm，高さ 80 mm とした．側面には 3 つのスリット（左右 45 度，90 度）を設け，底面にもガイド用の溝を設けた．これらの幅はナイフ型デバイスがスライドできるよう，ナイフ型デバイスの厚さ 26 mm，刃先の厚さ 6 mm を考慮し，スリット幅30 mm，溝幅 8 mm とした．
また，仮想物体を治具に配置する際，その間に不自然なズレが生じないようにするために，2.2 節で既に述べた磁気式の位置姿勢センサに加え，既存のビジョンベースによる位置あわせ手法である ARToolKitPlus(7を用いる．治具に貼り付けられたマーカを HMD のカメラで検出することによって，その間の相対的な位置姿勢を算出し，これにセンサ座標系における HMD の位置姿勢を掛け合わせることで，センサ座標系における治具の位置姿勢を求める．
【治具を用いたインタラクション】
ピンセット型デバイスで物体を挟み，物体の面が治具と接するよう近づけることで，物理拘束が発生し治に挙動を理解した様子で，拘束の効果を利用して配置作業を行っていた．治具に関しても同様に，動作拘束の効果によって自然に物体を治具へ設置し，スリットにナイフ型デバイスを通し，溝に沿ってスライドさせることで切断を行っていた．その一方で，操作後のコメントでは「物体を移動する際に，意図しない面に拘束されてしまうことがあった」「治具の測定機能を見ながらの配置が難しい」といった声が聞かれた．

5. むすび
本稿では，道具型デバイスを利用した MR 型木材加工システムについて，運用を通して提起された配置・切断操作の問題解決を図るために，仮想物体や道具の動作を拘束することによる操作の補助を試みた．
今後は運用を通してデバイス，システムの評価，改良を図る予定である．

参考文献

1) G. Wesche et al.: “FreeDrawer: A free-form sketching systemon the responsive workbench,” Proc. VRST 2001, pp. 167 174, 2001.
2) S. Schkolne et al.: “Surface drawing: Creating organic 3D
shapes with the hand and tangible tools,” Proc. CHI 2001,
pp. 261 - 268, 2001.
3) 木村 他: “空間型作業での選択・移動操作に適した道具型デバイスの機能設計と評価”, 情処論文誌, Vol. 51,
No. 2, pp. 314 - 323, 2010.
4) 福田 他: “Top-AttachableToolDevice: 先端部が着脱可能な新しい道具型デバイス”, 第 71 回情処全大, 2Y-2, pp.
163 - 164, 2009.
5) 清川 他: “両手操作を用いた仮想物体モデラ VLEGO”,信学会論文誌, Vol. J80-A, No. 9, pp. 1517 - 1526, 1997.
6) 北村 他: “面間の動的拘束を用いた仮想物体の操作補助法”, 信学会論文誌, Vol. J79-A, No. 2, pp. 506 - 517,
1996.
7) D. Wagner et al.: “ARToolKitPlus for pose tracking on
mobile devices,” Proc. Computer Vision Winter Workshop,
pp. 139 - 146, 2007.