情報処理学会論文誌

Vol. 50

No. 122831–2840 (Dec. 2009)
shaped marker that enables a user to detect the position of the device. The
other markers are small circular-shaped ones that are placed within the elastic
body. The positions of the circular markers are moved when a user applies aforce to the device. This enables force detection. The input device has no electronic circuit or cables; therefore users can move or rotate the input device inmidair as long as the device is caught by the camera. ARForce enables users toconstruct augmented reality environments in which they can manipulate virtual
objects by using finger motions.

ARForce：Augmented Reality のための光学式多点力ベクトルセンサ
城
新

居

堅 誠†1
英 明†4

筧
川

康 明†2,†3 南
上 直 樹†1
舘

澤

孝

太†1
†4

1. は じ め に
本論文では，Augmented Reality（AR）への応用を目的とした光学式多点力ベク
トルセンサ “ARForce” の提案を行う．提案するセンサは，弾性体で作られた入力デバイスとカメラで構成されており，弾性体内部には位置検出用の正方形マーカと力検出用の円形マーカが埋め込まれている．入力デバイスをカメラで撮影し，カメラ画像
中から正方形マーカを探索することで入力デバイスの 3 次元的な位置・姿勢の計測を行う．さらに，指で入力デバイスに対して力を加えた際に円形マーカが移動するため，
その円形マーカの移動量を解析することで，指で加えた力の位置や方向，大きさを実時間で計測する．提案手法は，入力デバイス内部に電子回路や配線を搭載せず，カメラに写る範囲で入力デバイスを移動させながら力ベクトルの計測を行うこともできる．
そのため，カメラ映像に対して CG 映像を重畳表示し，さらに計測した力ベクトル情報を用いて CG 映像をインタラクティブに操作する AR アプリケーションが実現する．本論文では，弾性体の屈折率を考慮した円形マーカの移動量計測手法と，ユーザの指位置を動的に計測する力計算アルゴリズムの提案を行った後，評価実験を行い提案手法が AR の用途に使用可能なことを示す．

近年，現実世界にコンピュータを用いた情報を付加する Augmented Reality（AR）の技
術が一般的になってきた．たとえば，ARToolKit 1) を用いると，印刷された 2 次元マーカの位置・姿勢を認識し，現実世界のカメラ映像に対し CG 映像を自然に重畳することができる．マーカを手に取り動かすことで，現実世界の物体と同様に CG 映像の位置を操作できる．
しかしマーカを用いた多くの AR システムでは，マーカの位置に応じて CG 映像が描画されるのみで，位置以外の情報を CG 映像に反映させることは困難である．たとえば，従来の多くのシステムでは指の動きを認識することができないため，押し動作やつまみ動作な
どの指の動作を用いて CG 映像を直感的に操作することは不可能であった．
そこで本論文では，マーカの位置・姿勢だけでなく，ユーザが指を用いてマーカ表面に加えた力情報も計測可能なシステムである “ARForce” を提案する．力情報を解析することで，ARForce: Vision-based Multipoint Force Vector Sensor
for Augmented Reality
Kensei Jo,†1 Yasuaki Kakehi,†2,†3
Kouta Minamizawa,†1 Hideaki Nii,†4
Naoki Kawakami†1 and Susumu Tachi†4
In this paper, we propose a novel vision-based force vector sensor called “ARForce.” ARForce enables users to measure the 3D position of marker as wellas the magnitude and direction of the force that are applied by fingers. Our
proposed system comprises a camera and an input device. The input device ismade of elastic body and it comprises two types of markers. One is a square-2831

つまみ動作や押し動作などを認識できるため，CG 映像をインタラクティブに操作するエン
タテインメントアプリケーションや，ヒューマンインタフェースに応用することができる．

1.1 関 連 研 究
AR の分野では，ARToolKit をはじめとした，カメラを用いたマーカの 3 次元位置・姿勢†1 東京大学大学院情報理工学系研究科
Graduate School of Information Science and Technology, The University of Tokyo†2 慶應義塾大学環境情報学部
Faculty of Environmental and Information Studies, Keio University†3 科学技術振興機構さきがけ
Japan Science and Technology Agency†4 慶應義塾大学大学院メディアデザイン研究科
Graduate School of Media Design, Keio University

c 2009 Information Processing Society of Japan


2832

ARForce：Augmented Reality のための光学式多点力ベクトルセンサ

認識技術が古くから提案されている．Magic Mouse 2) では，マーカ認識技術をインタフェー

は，指先で加えた力を検出する AR アプリケーションの用途に特化し，指の位置を動的にスに応用し，6 軸の位置・姿勢を入力するマウスを実現している．またマーカ認識技術は，推定することで力ベクトルを効率的に計測するアルゴリズムを新たに提案する．

実体を有するオブジェクトを用いたタンジブルメディア3) の分野にも応用されている．たとえば Tablescape Plus 4) では，マーカ認識技術を用いて，テーブル上で実オブジェクトに対し「置く」，「くっつける」といったインタラクションを実現している．

2. 提 案 手 法
本研究では，入力デバイスの内部に配置したマーカをカメラで認識することで，入力デバ

このようなマーカの位置・ID 情報の入力に加え，さらに別の情報を取得するシステムもイスの 3 次元的な位置・姿勢と ID，指位置，指が加えた力ベクトルを同時に計測すること多く開発されている．Active CyberCode 5) は，印刷されたマーカの一部を指で隠すことでが可能なセンサを提案する．本システムでは，1 台のカメラで複数の入力デバイスを認識可

コマンド入力を行うことができる．EnhancedDesk

6)ではマーカの位置だけでなく，ユーザの手の動作を認識する．Haptic Hand 7) はマーカに加え，グローブ状のインタフェース

能なうえに，バッテリや配線は不要であるという利点もある．

2.1 システム構成を併用することで，ユーザがバーチャルオブジェクトに触れることを可能にしている．これ

図 1（左）に提案するシステムの外観図を示す．ユーザはマーカを埋め込んだタイル状のらの多くのシステムに，カメラによるマーカ認識手法が用いられる理由は，カメラを用いた

インタフェースを手に取り，インタフェースの底面に対し指で力を加える．そのときのマー認識手法は印刷したマーカとカメラのみで構成されるため，電子回路を用いた位置センサにカ位置をユーザの上部に配置されたカメラで撮影し解析することで，計測を行う．図 1（右）比べ，配線やバッテリ交換の手間が不要な点，システムが簡便なため他の機構と組み合わせに，認識した力ベクトルをカメラ映像に重畳して表示した映像を示す．
図 2 に入力デバイスの構造を示し，図 3 に提案する入力デバイスの写真を示す．本シスやすい点などがあげられる．
本研究で提案するシステムは，カメラを用いた位置・ID 認識手法の特徴であるシンプル

テムの実現のためには，カメラで取得した画像から入力デバイスの位置・姿勢を正確に推定さを損なうことなく，3 軸の力ベクトルを計測する機構を取り入れ，指先で CG をインタラする必要がある．そこで ARToolKit などで広く用いられている四角形認識による位置・姿クティブに操作する AR アプリケーションを実現する．本研究では，面全体で力ベクトル

勢計測を行うために，入力デバイスの底面を正方形にし，縁に Square Marker を配置した．

を計測できる光学式触覚センサ GelForce 8) の手法を参考にした．GelForce は，透明弾性

入力デバイスの内部には力計測に必要な Force Marker を配置する．また複数の入力デバイ

体とカメラから構成され，透明弾性体の内部には 2 層のマーカが配置されている．外部からスを 1 台のカメラで認識するためには，個々の入力デバイスを識別するための ID の認識が弾性体表面に力が加えられた際には各マーカがわずかに移動するため，その各マーカの変位
をカメラで検出し弾性体理論を用いることで，力ベクトルの分布情報を算出している．
一方，我々はすでに ForceTile 9),10) で，位置を検出するマーカに，力ベクトルの分布情報を取得する機構と取り入れたシステムを実現している．しかし，ForceTile はテーブル型
ディスプレイのためのインタフェースを目的として開発されており，マーカが移動できる領域は，テーブル上面のみに限られていた．また，文献 11) で本研究のプロトタイプとして，マーカの移動を空間中に拡張したシステムを開発している．しかし当時の実装では，透明弾性体の屈折率の影響を考慮していなかったうえに，力計算のアルゴリズムを GelForce のものをそのまま利用していた．提案システムでは，カメラとマーカの距離が離れている状態
でも，力検出用の円形マーカ（Force Marker）の位置を認識できるようにするため，Force

Marker の空間密度を疎にする必要がある．そのため，GelForce の計算手法をそのまま適用した場合，計測される力ベクトルの密度も疎になるという問題があった．そこで本論文で情報処理学会論文誌

Vol. 50

No. 122831–2840 (Dec. 2009)

図 1 （左）提案システムの観図，（右）撮影したカメラ映像に，計測した力ベクトルを重畳させた映像
Fig. 1 (Left) Appearance of proposed system, (Right) Captured image and force vectors. The green
arrows indicate the force vectors applied by the user.

c 2009 Information Processing Society of Japan


2833

ARForce：Augmented Reality のための光学式多点力ベクトルセンサ

図 2 提案する入力デバイスの略図
Fig. 2 The simplified diagram of proposed input device.

図 3 （上）力を加えていない状態での入力デバイスの映像，（下）力を加えた状態での映像
Fig. 3 The deformation of force markers when a force is applied to the surface.

必要となる．そこで，ID 認識は Force Marker の配置パターンにより識別した．各マーカ

スの外側の 8 カ所の位置（図 4（7）の赤丸の位置参照）に Force Marker が存在するの素材は再帰性反射材を用い，容易にマーカを検出できるようにした．

か否かを，0/1 のビット情報（8 bit の数字）に変換することで ID の識別を行った．す2.2 画像処理アルゴリズム

なわち同時に 256 個の ID を識別することができる．

Force Marker のカメラ画像中での位置は，加えられた力のみでなく，入力デバイスの位（手順 6） 入力デバイスの 3 次元的な位置・姿勢を推定する．Square Marker の 4 頂点は，置にも依存する．そこで，あらかじめ力を加えていない状況での Force Marker の位置を登

画像中での座標値と入力デバイス座標系での座標値の対応がとれているため，カメラ座

録し，力を加えたときにどの程度移動したかを画像中から推定する．以下にアルゴリズムの概要を示す．なお図 4 は画像処理アルゴリズムの各過程の解説図を示す．
（前準備） カメラの内部パラメータ，レンズ歪み係数を計測する．各入力デバイスごとに，Force Marker の座標，Square Marker の頂点の座標を入力デバイス座標系で記録する．

標系から入力デバイス座標系までの並進・回転行列を求めることができる．
（手順 7）（前準備）で登録した Force Marker の座標値を，画像中での座標値に変換する．
この際に，（手順 6）で求めた並進・回転行列，および（前準備）で登録した内部パラ
メータとレンズの歪み係数を用いる．

（手順 1） 入力画像を 2 値化してラベリング処理を行い，各ラベルの重心位置を計算する．

（手順 8）（手順 3）で探索したラベルの重心座標と，（手順 7）で求めた Force Marker の（手順 2） 四角形認識を行い，Square Marker を画像中より探索する．なお今回の実装で画像中での座標値の対応をとる．この手順により，それぞれの Force Marker が現在画は ARToolKit で用いられているアルゴリズムを使用した．
（手順 3） Square Marker の内部にあるラベルを探索する．その際に各ラベルの縦横のサ
イズ，面積より，円形以外のラベルや大きさの極端に異なるラベルは除外する．

像中でどこに位置するかを求めることができる．
（手順 9） Force Marker の移動量を計測し，反復法により力ベクトルを推定する．

2.3 多点力ベクトル計算理論（手順 4） Square Marker の “回転” を識別する．Square Marker は正方形の形状をしてい本節では，力ベクトルを推定する計算理論を述べる．本センサは，指先を用いて力を加えるため，90 度対称の図形となる．そこで，入力デバイスの 4 隅にある Force Markerて使用する AR アプリケーションへの応用を想定している．よって，GelForce のように押（図 4（6）の緑丸の位置参照）のうち 1 カ所を欠落させることで，回転の認識を行った．

し付けた物体の形状を認識するのではなく，指で押した位置や，力を加えた方向の認識を目（手順 5） 複数の入力デバイスを識別するための ID を認識する．本実装では，入力デバイ的とする．そのため，以下の 2 点の前提をおく．(1) 指先で加える力（点接触）を計測する．

情報処理学会論文誌

Vol. 50

No. 122831–2840 (Dec. 2009)

c 2009 Information Processing Society of Japan


2834

ARForce：Augmented Reality のための光学式多点力ベクトルセンサ(2) 複数の指は，Force Marker の移動が干渉しない程度に離れている．提案システムの想定する使用状況から (1) を定めた．また指先で入力デバイスを押したときは，指の近くに配置されている Force Marker のみ大きく動き，離れている Force Marker はほとんど移動しない点より (2) を定めた．

2.3.1 弾性体のモデル化
本項では，指が加えた力によって，周囲の Force Marker がどのように移動するかをモデル化する．本研究では GelForce 同様の，半無限弾性体を用いた数式モデルを利用する．概要を以下に示す（詳しくは文献 8)，12) を参照）．座標系は，弾性体表面を xy 平面とし弾性体内部の方向に z 軸をとる．また弾性体は z 方向に無限に続くとし，弾性体内部のマーカの移動は加えた力に対して線形とする．このとき，原点 O(0, 0, 0) に f = (fx , fy , fz ) の力を加えたときの，点 M(x, y, z) の位置での弾性体の移動量 m = (mx , my , mz ) は以下のように表される．

⎧⎪⎨ mx = hxx (x, y, z)fx + hyx (x, y, z)fy + hzx (x, y, z)fz⎪⎩

my = hxy (x, y, z)fx + hyy (x, y, z)fy + hzy (x, y, z)fz

(1)

mz = hxz (x, y, z)fx + hyz (x, y, z)fy + hzz (x, y, z)fz

ただし，hvw (x, y, z) は文献 8) のように，x，y ，z ，およびポアソン比，ヤング率から代数的に求めることができる1 ．弾性体の移動量は周囲の Force Marker の移動量としてカメラで取得し，各 hvw (x, y, z) は理論式から算出することで，式 (1) の逆問題を解き，入力した
力 f を求めることが，力ベクトル算出手法の概要である．
カメラ位置，および屈折率の影響を考慮した Force Marker の変位計測 実際には弾性体内部の Force Marker の 3 次元的な移動量 (mx , my , mz ) を観測できるわけではなく，カメラで観測できる移動量は 2 次元的な移動量となる．さらに，観測される Force Markerの移動量は，カメラの位置に依存するうえに屈折率の影響も受ける．そこで Force Markerの移動量を，3DCG でよく用いられるレイトレーシングの原理を用いて，Force Marker が元々配置されていた平面（初期位置平面）内での移動量に投影して式を立てる．
図 5（左）に，カメラから Force Marker への光線のモデルを表す．v をカメラから Force

Marker への光線ベクトル，d を入力デバイスの底面の法線ベクトルとすると，屈折した光

Fig. 4図 4 画像処理アルゴリズムの各過程の解説図
The diagram of proposed image processing algorithm.

線ベクトル v  は，以下のように求められる．
1 hvw (x, y, z) の v ，w は x，y ，z のいずれかの添え字とする．

情報処理学会論文誌

Vol. 50

No. 122831–2840 (Dec. 2009)

c 2009 Information Processing Society of Japan


2835

ARForce：Augmented Reality のための光学式多点力ベクトルセンサ

N 個の Force Marker が存在する場合にはまとめて以下のように行列表記することができる．ただし，i 番目の Force Marker の位置は Mi (xi , y i , z i )，観測される移動量を (m̄ix , m̄iy )と表し，h̄ixy = h̄xy (xi , y i , z i ) のように省略して表記している．

⎛

⎞

m̄1x
⎜ . ⎟
⎜ . ⎟
⎜ . ⎟

図 5 （左）カメラから Force Marker への光線モデル，（右）Force Marker の移動の理論式を，初期位置平面に投影した状態を表すモデル図
Fig. 5 (Left) Simplified diagram of ray path from camera to Force Marker, (Right) The green pointshows the projected position of moved Force Marker.

v =



1
v−
n



n2 + (v · d)2 − 1 + (v · d) d(2)

よって観測された Force Marker は，v  の延長線上（青色の点線上）に存在することが分かる．しかし，青色の点線上でどこに位置するかを正確に算出することは不可能である．


⎛

h̄1xx
⎜ .
⎜ .
⎜ .

⎜ N ⎟ ⎜ N
⎜ m̄x ⎟ ⎜ h̄xx⎜
⎟ ⎜⎜ m̄1 ⎟ = ⎜ h̄1⎜ y ⎟ ⎜ xy
⎜ . ⎟ ⎜ .
⎜ . ⎟ ⎜ .
⎝ . ⎠ ⎝ .
m̄N
y

h̄N
xy

⎞

h̄1yx
..
.

h̄1zx
.. ⎟
⎟
. ⎟⎛

h̄N
yx
h̄1yy

h̄N
zx
h̄1zy

..
.

..
.

h̄N
yy

h̄N
zy

⎞
⎟
fx
⎟⎜
⎟ ⎝ fy ⎟
⎠
⎟
⎟
fz
⎟
⎟
⎠

(5)

以後，上式を M ，H ，F 用いて以下の形式に表記する．

M = HF(6)

このようにある点に力 F がかかっているときの，周囲のマーカの移動量ベクトル M は，
式 (6) のようにモデル化することができる．

2.3.2 力ベクトル計算手法

そこで，初期位置平面内に v を投影し，初期位置平面内での移動量に注目する．力を加本項では，力を加えた指の位置を動的に推定し，指の位置での力ベクトルを計測する手法

えていない状態での Force Marker の位置を赤色の点で表し，初期位置平面を黒色の点線でを述べる．初めに，指位置を推定するために，弾性体表面のある点 A に力が加えられている表す．v  を投影した点は，黒色の点線と，青色の点線の交点の位置である青色の点となる．

か否かを判別する評価関数を以下のように定める．まず A の周囲にあるマーカを抜き出し，

今注目すべき移動量は赤色の点から青色の点までの移動量 m̄(m̄x , m̄y ) となる．

A 点に力 F がかかっているとして式 (6) を立てる．次に最小二乗法を用いて F を求める．

次に，力を加えた際の弾性体の移動の理論式も初期位置平面に投影する．図 5（右）のよM = HF + e

(7)
2

2

うに，z 方向の単位力を入力するとする．その場合，元々赤色の位置にあった Force Marker

その結果，e を誤差項として表記したときに，|e| = |H F − M | を最小とするようなは hz (hzx , hzy , hzz ) だけ移動する．しかし，カメラは v  の方向から観測するため，移動量F を求めることができる．ここで，式 (7) を見ると，マーカ移動量 M のうち，力 F に起を Force Marker の初期位置平面に投影すると，h̄z (h̄zx , h̄zy ) となる．

因する成分は H F と解釈することもできる．よって評価関数 g(x, y) を以下のようにとる．

vyh̄zy = hzy −  hzzvzv
h̄zx = hzx − x hzz ,vz(3)x，y 方向に力を加えたときも同様に以下のように求めることができる．ただし，w を x，y ，z いずれかの添え字とする．

因する成分の割合を表している．よって周囲のマーカ移動量 M が，式 (1) のモデルに従っvh̄wx (x, y, z) = hwx (x, y, z) − x hzz (x, y, z)vzvy
h̄wy (x, y, z) = hwy (x, y, z) −  hzz (x, y, z)vz

情報処理学会論文誌

Vol. 50

No. 12|H F |2(8)|M |2
この評価関数 g(x, y) は，マーカ移動量ベクトル M のうち，A 点に加えられた力 F に起g(x, y) =2831–2840 (Dec. 2009)ているときに 1 に近づき，逆に力が点 A ではなく別の位置に加わっているときなど，M が式 (1) のモデルに従わないときには 0 に近づく．よって，g(x, y) が極大となる位置が真の(4)力点だと推定することができる．なお，ここでは 2.3.1 項の冒頭で定めた 2 つの前提を用い，指による力は点接触とし，複数の指によるマーカ移動の干渉は無視している．

c 2009 Information Processing Society of Japan


2836

ARForce：Augmented Reality のための光学式多点力ベクトルセンサ

次に指位置を探索する手法を述べる．まず力を計測したい領域をグリッド状に分割し，各格子点で評価関数 g(x, y) を求める．この際に，周囲のマーカの移動量がほぼゼロの格子点は力がかかっていないとし，高速化のために計算を省略する．この処理は，式 (8) において，|M |2  0 のときにゼロ除算を行うことを避ける目的もある．次に格子点のうちで極大となる位置を初期位置とし，準 Newton 法を用いて反復的に真の極大位置の探索を行う．

2.4 システムの実装
今回の実装で用いたカメラは Firefly MV（Point Grey Research 社製）を用いた．解像度は 640 × 480 [pixel] であり，レンズは水平画角約 36 [deg] のものを使用した．また透明

図 6 （左）想定する使用状況，（右）実験装置の略図
Fig. 6 Simplified diagram of experimental arrangement.

弾性体は，透明人肌ゲル（エクシールコーポレーション製）を使用した．透明人肌ゲルは，
従来の GelForce で使用していた信越シリコーン社製 KE109 よりも柔らかく，微小な力でも大きく Force Marker が移動するため，カメラで容易に変位計測を行うことができる．人

3.1 実 験 概 要

肌ゲルの屈折率は，アクリル樹脂とほぼ同程度であったため，1.47 として計算を行った．

本評価実験では，先端に 6 軸力センサを取り付けた XYZ ステージを用いて，入力する力

Force Marker は，密に配置するほど精度の高い力計測が行える．しかしながら高密度にの制御を行う．その際の入力デバイスの画像をカメラで取得して，提案センサで力を計測配置すると，隣接する Force Marker が重なって撮影され，正確な位置推定できない可能性し，その計測精度を考察する．以後，XYZ ステージで入力する力を (fx , fy , fz )，提案センがある．そこで，今回は Force Marker の直径を 3 [mm]，1 層のマーカ間隔を 12 [mm] とサで計測された力を (Fx , Fy , Fz ) と表記する．

し，互い違いになるように 2 層配置した．また斜め方向から入力デバイスを見たときに，2提案手法は図 6（左）のように，入力デバイスを空中で動かしながら使用することを想定

層のマーカが重ならないように，2 層のマーカの深さの差は 2 [mm] とした．また入力デバしている．よって評価実験の際には，カメラ–入力デバイスの位置関係が想定する使用状況

イスは両手で持って，手の中に納まりきる大きさとして，1 辺約 100 [mm] の正方形とした．

と共役になるように，入力デバイスを固定し，カメラ位置を変化させて評価を行った（図 6

本実装の結果，主観的な評価ではあるが，入力デバイスの ID や，指位置，付加した力ベ（右））．また座標系は XYZ ステージの軸にあわせて図のように定めた．カメラの傾きは x

クトルを認識できることを確かめた．また計算時間は，反復法の閾値などのパラメータや，軸，y 軸周りの両方の可能性が考えられるが，これらは対称な関係なため，カメラは y 軸周

入力画像に依存するためつねに変化するが，Pentium 4（2.2 GHz），メモリ 1.0 GB の PCりに傾けた．また，カメラをカメラ光軸周りに回転させることも考えられるが，その場合はを用いて 1 つの入力デバイスを認識した際には，提案手法の部位で約 25 [ms] かかった．

得られる画像が回転するのみであるため評価は行わないこととする．
実験に使用した機器の全体像を図 7（左）に示す．図 7（中）に XYZ ステージの写真を表す．

3. 力計測精度の評価

XYZ ステージは，中央精機製 ALS-602-H1M（XY ステージ）および ALV-600-H1M（Z ス

本章では，提案手法が AR の目的のために十分な精度を持っているか評価を行う．本システージ）を組み合わせて使用した．XY ステージの可動範囲は原点を中心として ±10 [mm]，

テムの性能にかかわる要素は非常に多く，代表的なもので，入力する力ベクトル（fx ，fy ，

分解能 0.002 [mm]，Z ステージの可動範囲は 0〜5 [mm]，分解能 0.001 [mm] である．XYZ

fz の 3 成分），カメラ–入力デバイス間距離（D），カメラ–入力デバイス間角度（θ）があげステージはステッピングモータを搭載しており，PC から制御を行うことができる．6 軸力られる．これらの全組合せでシステムの性能評価を行うことは，試行数が膨大になり非現実

センサは，ビー・エル・オートテック株式会社製（Mini 4/20）を用いており，分解能は x，的である．よって本評価では基準となる理想的な状況から，各要素を変化させたときに計測

y 方向に 4 [gw]，z 方向に 12 [gw] である．また PCI バス接続の AD ボードを通してリアル

精度がどのように変化するかを考察する．なお入力デバイスの位置・姿勢検出精度に関してタイムに PC で力を計測することが可能となっている．6 軸力センサは XYZ ステージの座は，従来手法をそのまま用いているため本論文では評価を行わない．

標系に合わせて，z 軸が鉛直になるように取り付けてある．また入力面に力を加える部位は，情報処理学会論文誌

Vol. 50

No. 122831–2840 (Dec. 2009)

c 2009 Information Processing Society of Japan


2837

ARForce：Augmented Reality のための光学式多点力ベクトルセンサ

また入力する力は，以下のように，fx ，fy ，fz をそれぞれ独立に変化させる状況を選択した．
（力条件 1） fx のみ変化させる（fx : −500〜500,

fy : 0,fz : 500 [gw]）．

（力条件 2） fy のみ変化させる（fx : 0,fy : −500〜500,

fz : 500 [gw]）．

（力条件 3） fz のみ変化させる（fx : 0,fy : 0,fz : 0〜700 [gw]）．

（力条件 2）では，fz をゼロにすることは難しいため，つねに 500 [gw] とした．
（力条件 1），
結果 結果のグラフを図 8 (A1)〜(A3) に表す．(A1) は（力条件 1）の結果を表し，(A2)，(A3) は（力条件 2），（力条件 3）の結果を表している．各グラフは，横軸は付与した力の変化させた成分を表し，縦軸は提案センサを使って推定した力を表す．またプロット
は 7 回の計測の平均値を表し，エラーバーは標準偏差を表す．ただし，入力した力の x，y成分の絶対値が 600 [gw] 以上の範囲では，使用した XY ステージの可動範囲の制限上，計Fig. 7図 7 （左）実験装置全体像，（中）XYZ ステージ，（右）力センサと先端部(Left) Appearance of experimental arrangement, (Center) A xyz-stage, (Right) A 6-axis
force sensor and an rubber ball.

測が行えなかった試行もあり，試行数 7 回に満たない場合もあるため，fx ，fy の絶対値が600 [gw] 以上の範囲は参考値として扱う．図 8 (A1)〜(A3) より，Fx ，Fy ，Fz はそれぞれ
fx ，fy ，fz に対しほぼ線形に応答する点，Fz は Fx ，Fy に比べ標準偏差が大きい点が確認

人の指と入力面との接触面を考慮し，直径 21 [mm] のゴム球を取り付けた（図 7（右））．

3.2 キャリブレーション

できた．
考察 まず，計測した力 Fx ，Fy ，Fz は付与する力に対し線形に応答し，提案手法

カメラの内部パラメータ，レンズの歪み係数のキャリブレーションは，Intel 社 OpenCV

によって力ベクトルの計測が行われていることがうかがえる．また Fx ，Fy の精度は Fz にのキャリブレーション関数を用いた．本手法は，Zhang の手法13) をもとに実装されたもの比べ高いことが読み取れる．これは，z 方向に力を付与したときに比べ，x，y 方向に力をである．入力デバイス座標系での Force Marker の 3 次元座標値は，ステレオ視の原理を用加えた方が Force Marker が大きく動くためだと考えられる．

い，複数方向から入力デバイスを撮影することで位置推定を行った．
計算に際し，透明弾性体のヤング率，ポアソン比が必要となる．今回使用した人肌ゲルのポアソン比は人間の指先の値を参考にし 0.48 とした

14)．ヤング率は，弾性体を生成する際

3.4 実験 2：入力デバイス角度–力精度の関係性の評価
手順 カメラと入力デバイスの相対位置は，下記のように設定した．

（位置条件 B） D = 0.6 [m]，θ = 45 [deg] の状態．（θ を変化させる）の硬化剤のわずかな割合で変化するためキャリブレーションが必要となる．ヤング率 E は，

（位置条件 A）と（位置条件 B）を比べることで，θ が変化したときの影響を考察すること

式 (1) の，各 hvw (x, y, z) において共通の比例定数の項に現れるため，E が変化すると，算ができる．なお，力条件は前節と同じとした．

出される力の比例定数が変化する．よって本実験では，計測された力に対し比例定数をかけることで力のキャリブレーションを行った．その際に，式 (1) は半無限弾性体の理論式であるが，実際の弾性体は有限の厚みを持っているため，力を加えた際の弾性体の z 方向の変位

結果 結果のグラフを図 8 (B1)〜(B3) に載せる．本実験より，（位置条件 A）に比べ

Fx ，Fz の誤差が大きくなった点，（力条件 3）で Fx が fz に影響を受ける点が確認できた．
考察 全体を通して，Fx ，Fz の誤差が増大することが確認できる．これは斜めから

は，理論式と現実の現象とで一致していない可能性がある．そのため，x，y 方向の比例定見ることによって，x 方向の距離が画像中で縮小されて撮影されるため（図 8 写真参照），

数と，z 方向の比例定数は別々の値を用いた．

Force Marker の変位情報の計測精度が落ちたためだと考えられる．

3.3 実験 1：基準条件での力精度の評価
手

順 カメラと入力デバイスの相対位置は，下記のように設定した．

（位置条件 A） D = 0.6 [m]，θ = 0 [deg] の状態．（基準条件）

情報処理学会論文誌

Vol. 50

No. 122831–2840 (Dec. 2009)

また (B3) では，z 方向の力を付与した場合，Fx が低下する傾向が確認できた．今回の計算では，半無限弾性体を仮定しているが，実際には入力デバイスは有限の厚みを持っている．よって，実際の Force Marker の z 方向の変位は，理論値よりも小さいと推測できる．

c 2009 Information Processing Society of Japan


2838

ARForce：Augmented Reality のための光学式多点力ベクトルセンサ

斜め方向から入力デバイスを見た場合は，z 方向の変位は画像中で大きく写るため，計算結
果にも大きく影響を与える．そのため，Fx が fz に影響を受けたと推測できる．この問題
は，弾性体の厚みを考慮した弾性体の移動モデルを用いることで解決できると考えられる．
全体的な結果を見れば，どのグラフも加えた力に対して計測された力は線形に反応しており，AR の用途としては十分許容できると考えられる．

3.5 実験 3：入力デバイス距離–力精度の関係性の評価
手順 次に，カメラ–入力デバイス間距離を変化させたときの力推定精度を評価する．

（位置条件 C） D = 1.4 [m]，θ = 0 [deg] の状態．（D を変化させる）（力条件 3）とした．今回の条件ではカメラは傾けなまた加える力は 3.3 節の（力条件 1），
いため x 方向，y 方向は対称なので，（力条件 2）は省略した．
結

果 結果のグラフを図 8 (C1)，(C3) に表す．本グラフより，Fx は fx に対して線形に応答する点が確認できた．また，全条件で（位置条件 A）に比べ誤差が大きくなり，特に Fz の標準偏差は他に比べ大きい点も確認できた．
考察 D が大きくなると計測誤差が大きくなり，特に Fz の標準偏差は Fx ，Fy に比べ大きいことが分かる．これは画像中での入力デバイスの大きさが小さくなり（図 8 写真参照），画像中から Force Marker の移動量をほとんど検出できなかったためだと考えら（力条件 1）に比べ，Force Marker のれる．特に z 方向に力を付与する（力条件 3）では，変位が小さいため，画像中から変位を検出することが困難であったのだと考えられる．また D が大きくなると，画像中での 1 [pixel] に対応する現実世界の距離が大きくなるため，
わずかな誤差が計測精度に影響を与えたのだと考えられる．実験結果を見ると x 方向では，

D = 1.4 [m] でも計測することができるため，Fx ，Fy を中心に使用し，Fz を補助的に使用するような操作ならば D = 1.4 [m] の条件でも使用可能だと考えられる．
一方で，カメラ–入力デバイス間距離が D = 1.4 [m] 以上になった場合には力検出精度がほとんどできなくなることや，そもそも入力デバイスがカメラに写らなかった場合には認識できなくなることが予想される．しかし AR のアプリケーションでは，入力デバイスをカ
メラに明瞭に写し，入力デバイスの位置に CG を重畳させることを想定しているため，上記の点は深刻な問題にはならないと考えられる．さらに本実験結果より，高解像度のカメラ

図8

実験 1〜3 の結果のグラフと，カメラで撮影した映像．グラフの横軸は付与した力の変化させた成分を表し，縦軸は提案するセンサによって計測した力を表す．左から（力条件 1），（力条件 2），（力条件 3）のときのグラ
フを表す
Fig. 8 Result of experiment 1–3. Each graph shows relationship between input force and estimatedforce.

を使用すればより遠くの距離でも力を計測することが可能なことが示唆される．

4. アプリケーション
従来の AR システムでは，マーカ位置に CG を表示するアプリケーションが主要であっ情報処理学会論文誌

Vol. 50

No. 122831–2840 (Dec. 2009)

c 2009 Information Processing Society of Japan


2839

ARForce：Augmented Reality のための光学式多点力ベクトルセンサ

デルに変更することがあげられる．また今回の実装では，特定の位置での Force Marker の有無をビット情報に変換して ID 認識をしていたが，ID を表す Force Marker の位置に光源の映りこみが生じた場合などに，ID を誤検出することも確認された．この問題は，誤り訂
正アルゴリズムを導入することで解決できると推測される．誤り訂正アルゴリズムを導入

Fig. 9図 9 CG キャラクタを操作している様子
An user is controlling CG character with finger motion.

した場合，同じビット幅の情報から識別できる ID の数は減少するが，用途に応じて必要なデバイスの数は限られているため，問題ないと考えられる．また，ID を表す Force Markerの数を増やすことで情報量を増やすことや，弾性体の外部に ID を表すマーカを配置するこたが，提案手法を用いると，CG に対し力を加えるという操作が可能となる．その進歩を示すために，簡単なキャラクタを表示するアプリケーションを実装した．図 9 に実装したア
プリケーションの映像を示す．入力デバイスをカメラにかざすと，カメラ画像中では入力デバイスの位置にバーチャルキャラクタが表示される．さらに入力デバイスの弾性体面に力を加えるとキャラクタを自由にコントロールできる．たとえば頭の位置に横向きの力を加えるとキャラクタは首をかしげ，手足の位置に力を加えると対応する手足を曲げる．移動のス
ピードも加える力に対応しており思いどおりに操作することができる．このように CG が映し出されている位置を押すことで操作することが可能なため，自然な入力が可能となる．

5. 結

論

本論文では，入力デバイスの位置・姿勢だけでなく，入力デバイスの表面に指で加えた力の位置，向き，大きさを計測することが可能なシステムである ARForce を提案した．今回
は，従来研究の段階で明らかになった屈折率の影響を考慮したモデルを提案し，さらに少ない Force Marker から効率的に力ベクトルの検出できるように，指の位置を動的に検出する
アルゴリズムの導入を行った．また評価実験を通して，提案システムが AR に応用可能な性能を持っていることを示した．提案システムを用いて入力デバイス表面に加えた力情報を解析することで，つまみ動作や押し動作など力ベクトルを CG 映像に反映することができる AR システムを構築することが可能となる．その実例として，重畳した CG キャラクタ
をインタラクティブに操作する簡単なアプリケーションの実装も行った．提案システムは，
入力デバイスに電子回路を内蔵していないため，配線や，定期的な電池交換などが不要であり，低コストで作成することができる．そのため，形態を変えて様々な AR アプリケーショ
ンやインタフェースへ応用できると考えている．
今後は，さらに提案センサの性能向上を図る予定である．具体的には，3 章の評価実験で得た改善案として，力を加えた際の弾性体の変位モデルを，弾性体の厚みを考慮した数値モ

情報処理学会論文誌

Vol. 50

No. 122831–2840 (Dec. 2009)

とも有益だと考えられる．その際の ID 識別の安定性の評価は今後の課題としてあげられる．

参

考

文

献

1) Kato, H. and Billinghurst, M.: Marker tracking and HMD calibration for a videobased augmented reality conferencing system, Proc. 2nd IEEE and ACM International Workshop on Augmented Reality (IWAR’99 ), San Francisco, CA, USA,pp.85–94 (1999).
2) Woods, E., Mason, P. and Billinghurst, M.: MagicMouse: An Inexpensive 6-Degreeof-Freedom Mouse, Proc. Graphite 2003, pp.285–286 (2003).
3) Ishii, H. and Ullmer, B.: Tangible bits: Towards seamless interfaces between people, bits and atoms, Proc. Conference on Human Factors in Computing Systems,
pp.234–241 (1997).
4) Kakehi, Y., Naemura, T. and Matsushita, M.: Tablescape Plus: Interactive Smallsized Displays Upstanding on Tabletop Display, 2nd Annual IEEE International
Workshop on Horizontal Interactive Human-Computer Systems (Tabletop 2007 ),pp.155–162 (2007).
5) Ayatsuka, Y. and Rekimoto, J.: Active CyberCode: A Directly Controllable 2D
Codes, CHI 2006 Extended Abstract, pp.490–495 (2006).
6) Koike, H., Sato, Y., Kobayashi, Y., Tobita, H. and Kobayashi, M.: Interactive Textbook and Interactive Venn Diagram: Natural and Intuitive Interface on Augmented
Desk System, Conference Extended Abstracts on Human Factors in Computer Systems (ACM CHI 2000 ), pp.121–128 (Apr. 2000).
7) Kohli, L. and Whitton, M.: The haptic hand: providing user interface feedback with
the non-dominant hand in virtual environments, Proc. Graphics Interface 2005,
pp.1–8 (2005).
8) Kamiyama, K., Vlack, K., Mizota, T., Kajimoto, H., Kawakami, N. and Tachi, S.:
Vision-based sensor for real-time measuring of surface traction fields, IEEE Computer Graphics and Applications, pp.68–75 (2005).
9) Kakehi, Y., Jo, K., Sato, K., Minamizawa, K., Nii, H., Kawakami, N., Naemura,c 2009 Information Processing Society of Japan


2840

ARForce：Augmented Reality のための光学式多点力ベクトルセンサ

T. and Tachi, S.: ForceTile: Tabletop Tangible Interface with Vision-based ForceDistribution, ACM SIGGRAPH 2008 New Tech. Demo. (2008).
10) 筧 康明，城 堅誠，佐藤克成，南澤孝太，新居英明，川上直樹，苗村 健，舘：ForceTile：テーブル型ディスプレイにおける力ベクトル入力可能なタンジブルインタ
フェースの提案，日本バーチャルリアリティ学会第 13 回大会 (2008).
11) Jo, K., Kakehi, Y., Minamizawa, K., Nii, H., Kawakami, N. and Tachi, S.: ARForce: A Marker-based Augmented Reality System for Force Distribution Input,
ACM ACE 2008 (2008).
12) Landau, L.D. and Lifshitz, E.M.: Theory of Elasticity, BUTTERWORTHHEINEMANN (1985).
13) Zhang, Z.: A flexible new technique for camera calibration, IEEE Trans. PatternAnalysis and Machine Intelligence, Vol.22, No.11, pp.1330–1334 (2000).
14) 小林一三，前野隆司：ヒト指腹部構造と触覚受容器位置の力学的関係：第 2 報，動的接触解析手法および移動する平面と指の接触解析結果，日本機械学会論文集 C 編，Vol.64,
No.628, pp.4798–4805 (1998).

南澤 孝太（学生会員）

2005 年東京大学工学部計数工学科卒業．2007 年同大学大学院情報理工学系研究科システム情報学専攻修士課程修了．同年同専攻博士課程進学，
日本学術振興会特別研究員（DC1）．ハプティックインタフェース，テレ
イグジスタンスシステムの研究に従事．2007 年日本バーチャルリアリティ
学会学術奨励賞受賞．
新居 英明

1995 年東京工業大学大学院理工学研究科博士前期課程制御工学専攻修了．2006 年電気通信大学大学院電気通信学研究科博士課程単位取得満期
退学．工学博士．2007 年東京大学大学院情報理工学系研究科システム情報学専攻助教．2009 年慶應義塾大学大学院メディアデザイン研究科講師．
情報投影技術を利用したヒューマンインタフェースの研究に従事．

(平成 21 年 3 月 18 日受付)
(平成 21 年 6 月 4 日採録)

川上 直樹

1996 年東京工業大学大学院理工学研究科電気電子修士課程修了．1999
城堅誠

年東京大学大学院工学系研究科先端学際工学専攻博士課程修了．工学博2007 年東京大学工学部計数工学科卒業．2009 年同大学大学院情報理工士．同年同大学工学部計数工学科助手，2002 年同大学大学院情報理工学

学系研究科システム情報学専攻修士課程修了．バーチャルリアリティ，拡系研究科システム情報学専攻講師．バーチャルリアリティの研究に従事．

張現実感の研究に従事．
舘1968 年東京大学工学部計数工学科卒業．1973 年同大学大学院博士課程
筧康明

修了．工学博士．同年同大学助手．1975 年通産省工技院機械技研研究員，2002 年東京大学工学部電子情報工学科卒業．2007 年同大学大学院学際

マサチューセッツ工科大学客員研究員を経て，1989 年東京大学先端科学

情報学府博士課程修了．博士（学際情報学）．日本学術振興会特別研究員，

技術センター助教授，1992 年同センター教授，1994 年同大学工学部計数（独）科学技術振興機構戦略的創造研究推進事業個人型研究（さきがけ）

工学科教授，2001 年同大学大学院情報理工学系研究科システム情報学専研究員を経て 2008 年より慶應義塾大学環境情報学部専任講師．実世界指攻教授．2009 年慶応義塾大学大学院メディアデザイン研究科教授．テレイグジスタンス，人向情報環境，複合現実感，メディアアート等の研究に従事．

工現実感の研究に従事．IEEE/EMBS 学会賞，通産大臣表彰，国際計測連合（IMEKO）特別功労賞，IEEE-VR Career Award 等受賞．IMEKO ロボティクス会議議長，計測自動制御学会会長，日本バーチャルリアリティ学会初代会長．

情報処理学会論文誌

Vol. 50

No. 122831–2840 (Dec. 2009)

c 2009 Information Processing Society of Japan