全方位視覚センサと LED を用いた手指姿勢推定法
國貞 智治∗1

間下 以大∗1, ∗2

清川 清∗1, ∗2

竹村 治雄∗1, ∗2

Hand Pose Estimation using Omni-Directional Camera and LEDs
Tomoharu Kunisada∗1, Tomohiro Mashita∗1, ∗2, Kiyoshi Kiyokawa∗1, ∗2 and Haruo Takemura∗1, ∗2
Abstract– Recently, there have been many user interfaces proposed that detect auser’s body motion and recognize it as a gesture. Such interfaces have the advantage inoﬀering intuitive human computer interaction. In such a user interface, it is necessary
to be able to input a variety types of information such as texts and menu operations,while moving a user’s body. It is also desired to be able to input hand gestures suchas gripping, twisting and pointing. In this paper, we propose a novel input device thatallows both multi-touch input and hand gesture recognition, by using an omni-directional
optical sensor and LEDs. Speciﬁcally, a model-based hand pose estimation method isdetailed.

Keywords

Recognition: User Interface, Omnidirectional Sensor, Hand Pose Estimation, Gesture

1.

はじめに

従来，このようなシステムで用いられる入力インタ
フェースは，ユーザの指がデバイスに触れることによっ

計算機能力やセンシング技術の向上に伴い，ユーザて入力を行う接触型と，ユーザの手指の姿勢を計測し，の身体動作を入力とするインタフェースが数多く開発

入力とする手指姿勢計測型に大別することができる．

されている．そのような入力インタフェースでは人間

接触型インタフェースでは入力値を直接ハードウェの自然な動作を用いた直感的な操作が可能であり，様々アで計測するため誤入力が少なくデバイス表面で指が[1]．例えば，VR (Virtual Reality) では，一般に三次元センサを用いてユーザの手の位置や姿勢を認識し，それに対応したバーチャル物

サポートされるため安定した入力が行える利点がある．

体の操作を可能としている．ビデオゲームやアミュー

多く，その個数やレイアウトは固定されており変更がズメント分野では，任天堂の Wii に代表されるようできない．従ってアプリケーションが本来必要とするに，入力デバイスに内蔵した加速度センサなどを用い

UI 部品の個数と比して過不足が生じ得る．また，手てユーザの動きに基づいたインタラクションの利用がや指のサイズ，可動域はユーザごとに異なるため UI進んでいる．

部品の大きさや取付位置によっては使いづらくなる．

な分野で注目されている

ただし，ボタンやダイヤルなどのユーザインタフェー
ス (UI) 部品を物理的にデバイス上に構成するものがこのようなシステムでは手や腕を動かすこととは独

一方，手指姿勢計測型インタフェースでは手指の形

立して様々な入力を行う必要がある．例えば，メニュー

や動きを用いた直感的な操作が行える利点がある．し

の操作やテキストの入力は多くのアプリケーションにかし，グローブ型デバイスを用いる場合は着脱が煩雑

必須の機能でありそれらを通常のマウスやキーボード

であり，ユーザに拘束感を与えるという問題がある．

を用いずに行える必要がある．また，バーチャル物体

デバイスの装着が不要な画像認識による手法では一般を移動しながらその属性を変更するなど，複数のパラに高精度の姿勢計測が困難であり，オクルージョンな

メータを連続的かつ同時に操作したい場合も考えられどの影響を受けやすいという問題がある．

る．手や腕の動作だけではなく，握る，ひねる，指差

本稿では，接触型インタフェースと手指姿勢計測型

すといった手指の形状を用いたジェスチャ入力を行いインタフェースの利点を併せ持ち，かつ，それらの問たい場合も考えられる．しかしながら，これらの要求

題点の多くを緩和した新しい入力インタフェースを提をすべて満たすような入力インタフェースは従来存在案する．特に，提案手法における手指姿勢計測手法にしていない．

ついて詳述する．

*1：大阪大学 大学院情報科学研究科*2：大阪大学 サイバーメディアセンター*1：Graduate School of Information Science and Technology, Osaka University*2：Cybermedia Center, Osaka University

2.

関連研究

我々は，接触型インタフェースでありながら手指の姿勢を計測でき，ジェスチャ入力も行える小型入力イ

ンタフェースの開発を目指している．以下では，接触型インタフェースと手指姿勢計測手法のそれぞれについて本論文の関連研究について述べる．

2. 1

接触型インタフェース

接触型インタフェースではボタンやダイヤルなどのUI 部品を物理的にデバイス上に構成するものが多い．
代表的な例としては，任天堂の Wii リモコンや VR 用
入力デバイスとして知られる Wanda [2] などが挙げられる．この場合，前述のように確実な入力が行える利点があるが，UI 部品の個数やレイアウトが固定であ

図1るという制限がある．

円筒形入力デバイス

一方，iPhone などの静電容量方式や Han による

FTIR 方式 [3] に代表されるマルチタッチデバイスを用いれば，操作面上に UI 部品を自由に構成できる．
しかしながら，平面状のタッチパネルを把持しながら五指による入力を行うことは難しく，その形状については検討が必要である．Villar らは，従来のマウスの機能を継承しつつその表面を操作面とするマルチタッ
チ機能を追加した新しいマウスの構成方法について検討している [4] ．Villar らの方法では曲面上に操作面を

図 2 (a) 先行研究での入力方法 (b) 提案手法における入力方法

構成でき，五指による入力により適するといえる．
より高自由度の入力が可能な接触型インタフェース
として神山らの GelForce [5] や暦本らの SmartSkin [6]がある．常に手を撮影できるように，藤本らは手首にが挙げられる．GelForce では接触だけではなく圧力装着したカメラを用いて空中でタイピングが行える手の強さと向きの分布まで計測することができる．また，法を提案している [11] ．ただし，この手法では手首かSmartSkin では操作面から手指までの大まかな距離の分布を計測することができる．ただし，SmartSkin でら手前方向への撮影となるため認識できる手形状に制は距離が大きくなるほど分解能が低くなり，手指姿勢て，これを取り囲む複数の指のトラッキングを行って計測を行うには制約が大きい．

いる [12] ．ただし，この手法も自由な手指姿勢の認識

2. 2

手指姿勢計測手法

約が大きい．坂田らは小型の全方位視覚センサを用いを目指しているわけではなく，認識できる手形状に制手指姿勢計測を用いたインタフェースでは，手指の形や動きを用いた直感的な操作が行える利点がある．
ただし，前述のように，CyberGlove [7] に代表される

約が大きい．

3.

円筒型入力デバイスのための手指姿勢推定

グローブ型デバイスを用いる場合は着脱が煩雑であり，本研究で提案する入力インタフェースでは，接触型ユーザに拘束感を与えるという問題がある．一方，画

インタフェースで実現されている位置指定やボタン入像認識による手法はデバイスの装着が不要であるとい

力と，手指姿勢計測型インタフェースで実現できるジェ

う大きな利点があり古くから研究されている．特に，スチャ入力というそれぞれの利点を備える．本節では，環境に設置したカメラで撮影した手の画像と見えが一

これらを実現するための円筒型入力デバイスと本デバ致するように手の三次元モデルのパラメータを推定す

イスに適した手指姿勢推定手法について検討する．

る手法が一般的である[8] [9]．しかし，環境にカメラを設置する場合，ユーザの可動範囲が制限され，体が手を隠したり手や指が他の指を隠したりといったオク
ルージョンの問題も発生しやすくなる．

3. 1

全方位視覚センサを用いた円筒型入力デバ
イス

前節で述べたように，非装着型の入力インタフェースを実現するにはカメラを用いた画像認識による手ユーザに装着したカメラを用いれば，オクルージョ法が一般的である．しかし，デバイス外部にカメラをンの問題は緩和される．佐々木らはユーザの頭部に装設置した場合には，カメラと手の位置関係でオクルー

着したカメラを用いた手指のジェスチャ認識手法を提ジョンが発生してしまう．デバイスにカメラを設置し案している [10] ．ただし，この手法ではユーザはインて手の移動の影響を相殺することを考えても，指とカ

タラクションを行う際，常に自身の手を見続ける必要

メラの間には十分な距離を取らなければ撮影ができな

いという問題がある．また，デバイスを把持したままという状況を考えると，一台のカメラですべての指を撮影することには困難が伴う．
我々はこれらの問題を解決する円筒形の全方位視覚センサを用いた三次元入力デバイス (以下，提案デバイ
図 3 手姿勢推定の流れス) を提案してきた (図 1) [13] ．提案デバイスは，全方位視覚センサとそれを覆う透明の円筒面，および LED
光源からなる．この円筒部を把持することにより，一台のカメラですべての指が撮影可能となる．また，指とカメラの間に遮蔽物がないため，オクルージョンの問題も回避される．さらに，提案デバイスでは LEDを明滅させ，距離による光の減衰モデルを用いて全方位の距離画像を取得することができる．従来，我々はこの距離画像を用いて各指先の三次元位置を実時間で検出し，それを用いた三次元インタラクションを実現
してきた．

3. 2

手指姿勢推定を用いた入力インタフェース

従来手法 [13] では，各指先の三次元位置は検出でき
るが，各指の曲げ角や掌の向きなどの手指姿勢は計測できない．従って，提案デバイスの近傍でひねる，つまむ，指差すなどのジェスチャを用いたインタラクションを実現できなかった．また，円筒表面を操作面としてマルチタッチインタラクションを行う際にも，手指姿勢が不明であることに起因する使いづらさが明らかとなっていた．例えば，円筒面にスライダを設定し，指のなぞりによってその値を変化させることを考えた
場合，従来手法では手指姿勢が不明なためにスライダの向きや長さは事前に設定せざるを得ず，それと異なる向きで把持したり指の長さが設定と異なる場合は使いづらくなるという問題があった (図 2-(a))．そこで，
本研究ではデバイスを中心とした指先の絶対的な座標値を入力に用いるのではなく指先が自然に動きうる範囲を手の向きや大きさから推定し，その範囲における

3. 3

関節可動域を元にしてユーザの手の大きさに合わせた入力デバイスを実現するには，手指を関節物体とみなして姿勢推定を行う必要がある．関節物体の姿勢推定には大きく分けて，appearance-based と model-basedという二つのアプローチが存在する [16] ．appearance-

based アプローチは対象物体の見え方と物体の姿勢との写像関係を教師あり学習によって求める手法である．

appearance-based な手法の欠点として，変動するパラ
メータの空間が大きくなると，学習データが膨大になることが挙げられる．この変動するパラメータには各関節の長さなど，個人差によるものも含まれる場合がある．
一方，model-based な手法は画像に対して関節物体を当てはめ，その誤差を最小化するような姿勢を推定値とする手法である．model-based な手法の場合，個人差によるパラメータの変動はモデル内のパラメータとしてあらかじめ設定したり推定することができる．
本研究では，あらかじめ大量の学習データを用意することの難しさや，個人の身体的特徴の影響を考慮した入力インタフェースの構築が目的であることから，

model-based アプローチを採用する．本手法ではリンク長と関節角度をパラメータとした関節物体モデルを用いて全方位距離画像を作成し，円筒型入力デバイスから得られた距離画像との差を誤差関数とするしてモデルのフィッティングを行う．

4.

相対的な指先位置を入力に用いることでユーザの身体的特徴に合わせた入力手法を提案する．
また，各入力に手指の姿勢を用いることで連続値の入力が可能となる．手指の各関節には骨格などの制約
から回転できる範囲に限界がある．この範囲を関節可動域と呼び，個人差は存在するが参考となる関節可動域が定められている [15] ．この関節可動域と指の長さを元に指先の存在可能な範囲を決定する．図 2-(b) に示すように，指先の可動範囲の上限と下限の間を等間隔に区切った座標系を考えると，ユーザの手の大きさ等に合わせた位置入力を設定することができる．これを以後「指先座標系」と呼び，この座標値を入力値とすることでどのようなユーザであっても無理のない自然な動作による入力が可能になる．

提案デバイスに適した手指姿勢推定手法

手姿勢推定アルゴリズム

本節ではこれまで提案してきた全方位円筒形デバイ
スによる距離画像取得手法とその距離画像を用いた手指の姿勢推定手法について述べる．手指姿勢推定の流れを図 3 に示す．

4. 1

全方位距離画像の取得

4. 1. 1 全方位視覚センサ
本研究で用いる全方位視覚センサは，鉛直下向きの双曲面ミラーと上向きのカメラから構成されている．
双曲面ミラーの形状は二葉双曲面の式

𝑍2
𝑋2 + 𝑌 2−= −1(𝑍 > 0)𝑎2𝑏2√
𝑐 = 𝑎2 + 𝑏2

(1)
(2)

図5

カメラと物体の位置関係 (図は小川らの手法 [14] より引用し、パラメータなど一部改変

𝐸 𝑜𝑓 𝑓 ，𝐸 𝑜𝑛 以外のパラメータが変化せず，光源から

図 4 入射光と撮影画像の射影関係の距離が 𝑧0 であるような基準点を考え，その点でのを用いて表され，2 つの焦点 𝐶𝑚 (0, 0, 𝑐)，𝐶𝑐 (0, 0,−𝑐)を持つ．カメラの光軸と双曲面の中心軸を同軸に，カメラ主点が双曲面の焦点 𝐶𝑐 と重なるように配置されている．このような配置によってミラー焦点へ向かう
光が反射され，カメラが配置されたもうー方の焦点へ

物体表面の明度差が判明している場合には，同物体の移動した位置 𝑧𝑛 は明度差の比を用いて式 (6) のように表わすことができる．
√
𝐸0𝑜𝑛 − 𝐸0𝑜𝑓 𝑓− 1)
𝑧𝑛 = 𝑧0 × (𝐸𝑛𝑜𝑛 − 𝐸𝑛𝑜𝑓 𝑓(6)と向かう．これによって双曲面ミラーの焦点を視点と本システムでは円筒形入力デバイスでの距離画像取した透視投影画像や周囲 360 度のパノラマ画像を作成

得に上記のアルゴリズムを利用する．𝐸 𝑜𝑓 𝑓 ，𝐸 𝑜𝑛 のすることができる．空間上のある点 (𝑋, 𝑌, 𝑍) と撮影
画像上の点 (𝑥, 𝑦) の対応関係は式

𝑥 = 𝑋 × 𝑓𝑐 ×
𝑦 = 𝑌 × 𝑓𝑐 ×2で撮影した連続する 2 フレームの明度情報を用いるこ2(𝑏 − 𝑐 )√(3)
𝑋2 + 𝑌 2 + 𝑍2

𝑍(𝑏2 + 𝑐2 ) − 2𝑏𝑐
2

値は内蔵の LED(図 1) を明滅させ，それぞれの状態

2(𝑏 − 𝑐 )√(4)
𝑍(𝑏2 + 𝑐2 ) − 2𝑏𝑐 𝑋 2 + 𝑌 2 + 𝑍 2

で与えられることが知られている [17] ．ここで，𝑓𝑐 は
焦点 𝐶𝑐 と撮影画像平面との距離を表わす．この射影関係を図 4 に示す．

している点とすることで光源からの距離が測定可能である．
このモデルでは双曲面ミラーによる反射は考慮に入れていないが，双曲面ミラーの働きを光の向きを変えるのみであると考えると，我々が提案してきたデバイスにおいてもこのモデルを適用することができる．操
作中は常に指の腹が入力面に対して垂直であると仮定4. 1. 2 距離測定法
一般に，光源から放たれた光は光源から離れるほどその放射輝度が小さくなる．この性質を利用し，入力
面と指先との距離を推定することを考える．小川らの手法 [14] によると，一般のデジタルカメラを用いた場
合，照明装置をカメラのレンズ中心にあると仮定しカメラと被写体の位置関係を図 5 のようにモデル化すると，その距離 𝑧 は明度差を用いて
√
3
𝑑
𝑟𝐼
1
𝑐𝑜𝑠3 𝛼𝑐𝑜𝑠 2 𝜃𝑧=
2 𝐸 𝑜𝑛 − 𝐸 𝑜𝑓 𝑓 𝑓とで取得できる．基準点 𝑧0 は指先がデバイスに接触(5)のように表わすことができる．ここで，𝐸 𝑜𝑓 𝑓 ，𝐸 𝑜𝑛 は
照明消灯時と点灯時画像中の明度値，𝐼 はレンズ中心にあると仮定する光源の放射強度，𝑟 は物体表面の反射率，𝑑 をレンズの直径，𝛼 はカメラ光軸に対して被写体表面とレンズ中心を結んでできる線が交差する角

すると，𝜃 と 𝛼 は各画素ごとに決まった値をとる．𝑟は利用者毎に値を取得する必要がある．𝐼 ，𝑑，𝑓 は設
定により一定にすることが可能である．

4. 2 手指の姿勢推定
4. 2. 1 手指の関節物体モデル
提案手法では手指の関節物体モデルとして Lee らのモデルを用いる [18] ．Lee らのモデルを図 6 に示す．このモデルは 15 関節 21 自由度で手指の姿勢を表現する．

4. 2. 2 姿勢推定
距離画像とモデルのフィッティングは手のモデルか
ら全方位距離画像を生成し，距離画像同士の差を最小化することで行う．誤差関数 𝜖(𝒘) は]∑∑[2{𝑝(𝑥, 𝑦) − 𝑞(𝑥, 𝑦, 𝒘)} 𝑠(𝑥, 𝑦) (7)𝜖(𝒘) =𝑥𝑦度，𝜃 は被写体表面の微小面の法線とレンズ中心と表とする．ここで，𝑝(𝑥, 𝑦) は入力となる距離画像の座標面を結んでできる線が交差する角度である．

(𝑥, 𝑦) の奥行き値，𝑞(𝑥, 𝑦, 𝒘) はパラメータ 𝒘 の手指図 7 (a) 取得した距離画像と (b) 合成した距離
画像

用者別に取得する．また，𝑧0 での明度差は画像中のすべての画素で必要である．しかし入力面全体に指を接図 6 Lee らの手指モデル [18]モデルから合成される距離画像の座標 (𝑥, 𝑦) の奥行き値，𝑠(𝑥, 𝑦) は各画素の立体角による補正係数である．
この誤差を最小化する 𝒘 を Levenberg-Marquardt 法によって推定する．

5.
5. 1

触させた状態の画像は撮影が困難であるため，紙で入力面全体を覆った際の明度差分布を撮影し，紙と指の反射率の比率から距離 𝑧0 での明度差の推定を行うこととする．

5. 2. 2 手領域抽出
操作中に手以外の物体がデバイス付近に存在しないという仮定に基づき，照明装置の光を十分に反射する

試作システム

部位を手領域とする．つまり，点灯時と消灯時で一定以上の明度差がある領域を手領域とする．

ハードウェア構成

試作システムでは全方位視覚センサとして Fire-ﬂy(Point Grey Research 社) を用いたその仕様を表1 に示す．この全方位視覚センサの透明円筒の内側に照明として白色 LED アレイを設置している．指先の明度差を取得するために PIC16F628A を用いてカメ

しかし，照明装置の光が双曲面ミラーや円筒内部でカメラに向かって直接反射した場合，ノイズとして検出されるという問題がある．これに対しては，暗室で鏡面に照明の反射だけが映った画像を取得し，点灯時
画像から対応する画素の明度値を引くことで影響を小ラの外部トリガへの同期信号生成と照明装置の明滅をさくする．また，消去しきれなかったノイズの影響除25Hz に制御する信号の生成を行う．

去のため，膨張収縮処理と中央値を用いたフィルタリ

5. 2

距離画像の取得提案手法では，距離画像取得は，「初期化」，「手領域抽出」，「距離推定」の 3 つの処理からなる．以下にこれらの処理について述べる．

5. 2. 1ングを行う．

5. 2. 3式 (6) を用いて推定距離の距離画像を取得する．取得した距離画像の例を図 7-(a) に示す．

5. 3

初期化

距離推定

距離画像の合成

照明装置から鏡を経由して入力面に至る光路長は計

手指の姿勢モデルからポリゴンメッシュを生成し，算可能であり，指先接触時の照明装置と指との鏡を経これを用いて距離画像を合成する．合成距離画像は式

由する光路長に等しい．接触時の位置を基準点として(3)，(4) によって手指の表面上の点を全方位画像へ投影することで得られる．実際には，ポリゴンの各頂点

明度差を取得すると，式 (6) を用いることにより入力
面から物体までの距離が得られる．明度差は指先の反については式 (3)，(4) を用い，ポリゴン内の画素の距射率から決定されるが，指先の反射率には個人差があ離は線形補間によって距離画像を得る．ポリゴンメッ

ると考えられる．このため基準点における明度差は利

シュは Poser6 の HandShape_1 を用い，手指姿勢の変化によるメッシュ形状をジオメトリブレンディング

表 1 本研究で用いたカメラの仕様

によって変化させた．合成した距離画像を図 7-(b) に示す．

機種

Point Grey Research 社製
R
Fireﬂy⃝MV

解像度

640x480

最大フレームレート

60fps

5. 4

手指の姿勢推定本手法で手指の姿勢推定を行うには各関節の可動範囲を設定する必要がある．表 2 に各関節に設定した可動域を示す．指の MCP の外回と内回には参考可動域

2e+0073.5e+007

1.8e+007
3e+007
1.6e+007
2.5e+007

1.4e+007
1.2e+007
error

error

2e+007
1e+007

1.5e+007
8e+0066e+0061e+0074e+0065e+0062e+006
0
-20

0

20

40
aDIP

60

80

100

図 8 推定誤差 𝑎𝐷𝐼𝑃 と誤差関数の値との関係は定められておらず表記法も異なるが，今回は十分大きい値で代用することとした．

6.

0
-20

-10

0

10
aPIP

20

30

40

図 9 誤差 𝑎𝑃 𝐼𝑃 と誤差関数の値との関係

𝑎𝐷𝐼𝑃 と誤差の関係を見ると最急降下法を用いてパラ∘メータを推定する場合，−20∘ <= 𝑎𝐷𝐼𝑃 <= 50 の値を初期値とすれば正しい推定が可能であると言える．ま

誤差関数の評価と考察

た，推定誤差が大きくなるにつれて誤差関数の値が増

本節では定義した誤差関数 𝜖(𝒘) の妥当性の評価を加しているが，ある点を境に減少に転じている．これ行った．実験では真値としてパラメータ 𝒘𝒕 から合成さは手指モデルを画像平面に射影する際，指同士の遮蔽れる距離画像を 𝑝(𝑥, 𝑦) とし，誤差 𝒂 を持つパラメータや重複が起きているためと考えられる．

6. 2 2 変数における誤差関数の評価
次にパラメータ間の依存関係を確認するため，推定

𝒘𝒕′ = 𝒘𝒕 + 𝒂 から合成される距離画像を 𝑞(𝑥, 𝑦, 𝒘) として，誤差関数の値を求めた．手指モデルのパラメー
タは互いに依存関係を持っていると考えられるので，

誤差 𝑎𝐷𝐼𝑃 と 𝑎𝑃 𝐼𝑃 を同時に変化させた場合の推定誤パラメータが一つ異なる場合といくつかが同時に異な差と誤差関数の値の関係を求めた．結果を図 10 に示る場合に分けて実験を行った．

す．図 10 から，推定誤差が 0 の場合に誤差関数の値

6. 1

が最小値を取る曲面となっていることがわかる．また，

1 変数における誤差関数の評価

最初にパラメータが一つ異なる場合について評価

曲面はなだらかに変化しており，適切な初期値においした．手指モデルの小指 DIP 関節の角度が真値からては最急降下法で正しいパラメータ推定が可能と考え

𝑎𝐷𝐼𝑃 の推定誤差をもつ場合について誤差関数の値を求めた．図 8 に 𝑎𝐷𝐼𝑃 と誤差関数の値との関係を示す．

定誤差と誤差の関係をかけ合わされたような形になっ同様に，小指 PIP 関節に関しても推定誤差 𝑎𝑃 𝐼𝑃 をられる．曲面の形状を見てみると，前実験の二つの推ている．それぞれの関係において局所解が複数存在す

変化させ，誤差関数の値との関係を求めた．推定誤差

ることから，同時に動かすパラメータの数を増やして

𝑎𝑃 𝐼𝑃 と誤差関数の値との関係を図 9 に示す．

いくにつれて極小値の数が指数オーダで増加すると思それぞれの実験で共に推定誤差と誤差関数の値とのわれる．人の手の動きには各関節間に依存関係がある

関係は推定誤差がない時を最小値として局所的になことが知られているため，このことを利用した次元圧

だらかな曲線を描いていることがわかる．すなわち，

縮が有効な手段と考えられる．

7.
表2

母指

指

各関節の可動範囲

[15]

関節名

運動方向

可動域 [ °]

TMTM

橈側外転-尺側内転

60-0
90-0

MCP
IP

屈曲-伸展

MCP
MCP

屈曲-伸展

PIP
DIP

屈曲-伸展

掌側外転-掌側内転
屈曲-伸展
外回-内回
屈曲-伸展

60-10
80-10
90-45
45-45
100-0
80-0

おわりに

接触型インタフェースで実現できる二次元座標の入力やボタン入力と，手指姿勢計測型インタフェースで実現できるジェスチャ入力というそれぞれの利点を備えるインタフェースを提案した．提案手法では，全方
位視覚センサを備えた透明円筒形状の入力デバイスを用いることにより撮影範囲やオクルージョンの問題を回避しつつ手指姿勢を推定可能である．推定した手指姿勢を用いれば，デバイスを把持した手の向きや指の長さに合わせてインタフェースを自動的に構成することも可能である．試作システムを通じて手指姿勢計測

三次元手形状推定; 画像の認識・理解シンポジウム

error
3e+0073e+0072.5e+007
2e+007
1.5e+007
1e+0075e+0060

2.5e+007
2e+007
1.5e+007
1e+0075e+006
0

-20
-15
100

-10
80

-5
aPIP

60

0

40
5

20
10

0

aDIP

15 -20

図 10 小指 DIP 関節角 𝑎𝐷𝐼𝑃 および小指 PIP 関
節角 𝑎𝑃 𝐼𝑃 と誤差関数の値との関係手法における誤差関数の性質を評価した．結果，2 自由度の場合に最急降下法によって最適解を求めることが可能な関数の形をしていることを確認し，初期値についても許容される範囲の目安を得ることができた．
今後の課題としては，組み合わせた場合のパラメータの制限方法の考案や，局所解に陥りにくい初期値の設
定方法についての考察などが挙げられる．また，ノイズが含まれる実際の入力距離画像を用いた場合の有効性の検証や，姿勢推定処理の高速化を行い，提案したユーザインタフェースを実現していく．

参考文献[1] 岡, 佐藤: 柔軟なインタフェースの実現に向けた人間行動の計測と理解; IPSJ SIG Notes. CVIM, Vol. 2006,
No. 51, pp. 275–290, (2006).
[2] Wanda; http://www.wandavr.com/, (最終閲覧日
2010 年 7 月 19 日).
[3] Han, J. Y.: Low-Cost Multi-Touch Sensing
through Frustrated Total Internal Reﬂection; Proceedings of the 18th Annual ACM Symposium on
User Interface, Software and Technology (UIST),
pp. 115–118, (2005).
[4] Villar, N., Izadi, S., Rosenfeld, D., et al.: Mouse
2.0: Multi-touch Meets the Mouse; Proceedings of
UIST 2009, ACM Symposium on User Interface
Software and Technology, pp. 33–42, (2009).
[5] 神山, 梶本, 稲見, 川上, 舘: 触覚カメラ: 弾性を持った光学式３次元触覚センサの作成; 電気学会論文誌 E,
Vol. 123, No. 1, pp. 16–22, (2003).
[6] Rekimoto, J.: Smartskin: an Infrastructure forFreehand Manipulation on Interactive Surfaces;
ACM CHI ’02: Proceedings of the SIGCHI Conference on Human factors in Computing Systems,
pp. 113–120, (2002).
[7] CyberGlove; http://www.cyberglovesystems.com/,(最終閲覧日 2010 年 7 月 19 日).
[8] 岩井, 八木, 谷内田: 単眼動画像からの手の 3 次元運動と位置の推定; 電子情報通信学会論文誌 (D-II), 情報・システム, II-情報処理, Vol. 80, No. 1, pp. 44–55,(1997).
[9] 陳, 藤木, 有田, 谷口: 複数カメラを用いた実時間(MIRU2006), pp. 328–333, (2006).
[10] 佐々木, 黒田, 眞鍋, 千原: 『てのひらめにゅう』 :ウェアラブルコンピュータ用入力インタフェース; 日
本バーチャルリアリティ学会論文誌, Vol. 7, No. 3.
pp. 393–401, (2002).
[11] 藤本, 井村, 安室, 眞鍋, 千原: AirGrabber: 小型カメ
ラと傾斜センサを用いたバチャルキボド; 日本バーチャ
ルリアリティ学会論文誌, Vol. 9, No. 4, pp. 413–422,(2004).
[12] 坂田, 生駒, 土居: 混合分布トラッキングを用いた全方
位カメラ画像に映る本数可変の指の追跡; 第 33 回知能システムシンポジウム, pp. 55–58, (2006).
[13] 國貞, 間下, 清川, 竹村: 全方位視覚センサと LED を用いた 3D インタラクションのための指先位置検出法;
第 52 回自動制御連合講演会, F6-2, (2009).
[14] 小川, 梅田: フラッシュを使用したデジタルカメラでの距離計測の一手法; 動的画像処理実利用化ワークショッ
プ 2005 講演論文集, pp. 82–85, (2005)．
[15] 日本リハビリテーション医学会: 関節可動域表示ならびに測定法; The Japanese Journal of Rehabilitation
Medicine, Vol. 32, No. 4, pp. 207-217, (1995).
[16] Erol, A., Bebis, G., Nicolescu, M. Boyle, R. D.
and Twombly, X.: Vision-based Hand Pose Estimation: A Review; Computer Vision and Image Understanding, Vol. 108, No. 1-2, pp. 52–73,(2007).
[17] 山澤, 八木, 谷内田: 移動ロボットのナビゲーションのための全方位視覚センサ Hyperomni vision の提案;
電子情報通信学会論文誌 D, Vol. J79-D2, No. 5, pp.
698–707, (1996).
[18] Lee, J. and Kunii, T., Constraint-based Hand Animation. in Models and Techniques in Computer
Animation, Springer, Tokyo. pp. 110–127, (1993).