WISS 2018

掌上装着魚眼カメラを用いた手指姿勢推定
丸山 裕介* 河野 恭之*
概要． 本研究では，ユーザが掌に全天球カメラを装着し手指の自然な姿勢を推定するシステムを開発する．全天球カメラには画角の大きい魚眼レンズが使用されているため手指の検知が容易である．
まずカメラで取得した画像から指先を検出しカメラと指先の位置関係を求め，また各関節間の距離，カメラと手との位置関係を設定し，手指が自然な姿勢をとる際に生じやすい各関節角の間における依存関係を利用することで逆運動学的に手指の自然な姿勢を推定する．手指姿勢推定のためのデバイスが全天球カメラのみであり，このデバイスをユーザの掌に取り付けるためユーザの運動範囲を制限せずに手指姿勢を推定できる．またカメラを用いていることから他方の手やマーカなどの検出も考えられる．本研究の応用に手指の姿勢を扱う AR や VR が考えられる．ユーザの運動範囲を制限することなく手指姿勢を推定できることから，本システムを応用した AR や VR を体験する際により直感的な操作が可能となり，臨場感を味わえると考えられる．現在，本研究の応用にろくろ回しを検討している．
ユーザの手指の姿勢推定に加えてろくろを出現させるためのマーカの検出と両手との相対位置姿勢の推定を行うことで仮想的なろくろ回しを実現する．

1

はじめに

本研究では，ユーザが掌に全天球カメラを装着することで手指を検知し，手指の自然な姿勢を推定するシステムを開発する．全天球カメラには魚眼レンズが使用されており，一般的なカメラに使用されているレンズと比べて画角が大きい．そのため掌に装着するカメラに全天球カメラを使用することで手指を容易に検知することが可能となる．カメラ画像において手指を検知し指先を検出することでカメラレンズの中心からの指先への方向を求められ，カメラと手との位置関係や各関節間の距離を設定した上で各関節角の間に生じやすい依存関係を利用することで逆運動学的に手指姿勢を推定できる．近年，AR やVR などのユーザインタフェースが注目されており，それに伴いヒューマンコンピュータインタラクションなどの分野において手指姿勢を 3D 復元する研究が盛んである．例えば，赤外線カメラを用いて手や指の位置姿勢を計測する Leap Motion[1]や，筋電センサや加速度センサが内蔵されたハードウェアを腕に装着して手指の動きを推定する Myo[2]などのデバイスが開発された．柏木ら[3]は把持される筒状の物体の蓋の上面や透明な物体の内部に魚眼レンズカメラを設置して手指を認識する手法を提案したが，ユーザは物体を把持していなければならず，また把持対象の物体に魚眼レンズカメラの装着が必要であるため，手指姿勢推定の条件が厳しい．L.Chan ら[4]は魚眼カメラをいずれかの 2 本の指の間に挟む
Copyright is held by the author(s).
* 関西学院大学大学院理工学研究科

ようにして装着し手指のジェスチャを認識するシステムを開発したが，カメラを装着した手指の向きによってカメラの向きが変わってしまう中でジェスチ
ャ対象の手指を全体的に検出する必要がある．提案
手法ではカメラを掌に装着するのみで指先を検出すると手指姿勢を推定することが可能であるためユーザの運動範囲が制限されない．本システムを AR やVR に応用した場合，ユーザの運動範囲が制限されないことから直感的な操作が可能となり臨場感を味わう体験ができると考えられる．掌に装着したカメラで他方の手やマーカを検出することで両手とマーカとの相対位置を推定する手法を検討しており，また AR 技術を利用したろくろ回しの実現を目標としている．本研
究では全天球カメラに RICOH THETA Sを用いている．ユーザの手指の動きをできるだけ妨げないよう考慮した装着例を図 1
図 1. 全天球カメラの装着例に示す．

2

手法

手指の姿勢を推定するにあたり画像上での指先座標を求める．全天球カメラで得た画像から肌色領域を抽出して距離変換処理を利用して比較的面積の大きい肌色領域を抽出する．またカメラ画像に手指領域が存在する場合では画像に指先が映るため，二値化された各手指の指先画像のテンプレートを用意しWISS 2018てテンプレートマッチングを行う．手指の可動範囲を参考に設定した各手指の探索範囲において閾値以上の類似度が表れた場合には手指領域が存在すると仮定する．手指が存在するとされた探索範囲において面積が最大の領域を手指領域に決定する．手指が検知される場合，カメラ画像において各手指の付け根は指先より外側に位置する．そこで手指の付け根の座標を仮定する．手指領域の輪郭において手指の付け根の座標から最も距離が大きい座標を指先座標に決定する．カメラ画像における指先座標の位置から各手指の姿勢を推定する．本研究ではカメラレンズの中心と指先を結ぶ直線とカメラレンズの底面との成す角度を𝜃𝑡𝑖𝑝 と定義し，全天球カメラの魚眼レンズによる射影方法から𝜃𝑡𝑖𝑝 を求める．指先と各関節(MP 関節，PIP 関節，DIP 関節)，カメラと手の位置関係を図 2 に示す．各関節間の距離 𝑎 ，𝑏，c，掌の厚みの中心面から全天球カメラのレンズまでの高さℎ，カメラレンズの中心から MP 関節までの距離 𝑙は予め与えるものとする．この図から各関節の角度
𝜃𝑀𝑃 ， 𝜃𝑃𝐼𝑃 ，𝜃𝐷𝐼𝑃 を用いた方程式が導かれる．手指を自然に動かす際に各関節角の間に生じやすい依存関係を用いて方程式を解き，各関節角を求めることで手指の姿勢を推定する．

図 2. 関節角の計算

3

評価実験

本手法の精度を評価する実験を行った．まず全天球カメラを装着した手の指を𝜃𝑡𝑖𝑝 と各関節角を画像上で計測できるように横から撮影して𝜃𝑡𝑖𝑝 と各関節角を計測し，同時に本手法を用いて𝜃𝑡𝑖𝑝 と各関節角を推定することで精度を評価した．実験では，指先を検出できた場合には各関節の角度の誤差はそれぞれの可動範囲に対して 5%未満であったため実際の手指に近い姿勢の推定が可能とわかった．しかし手指とカメラレンズとの距離が極端に近い場合，また手指がカメラの画角内に現れない場合には指先を検出できず姿勢を推定できなかった．そこで時系列的に指先の動きを推定し手指の姿勢を推定する手法を検討している．手指が検知されなくなる直前までに推定された画像上での指先の動きから指先座標を補完することで，手指を検知できなくなった場合でも姿勢を推定できる．

4

今後の展望

提案手法は手指の姿勢を扱う AR や VR などのシステムへの応用が可能であり，ユーザの運動範囲を制限しないためユーザはより直感的な操作が可能となり，臨場感を味わえると考えられる．また画角の大きい全天球カメラを用いているため広範囲で他方の手やマーカなどの検出が可能であると考えられる．
その他に，カメラに加えて加速度センサやジャイロセンサなどを扱うことで手の動きや姿勢をより高精度に推定できると考えられる．現在，本研究の応用に AR ろくろ回しを検討している．ろくろを出現させるためのマーカと左右それぞれの手の相対位置姿勢をリアルタイムに推定しビデオシースルー型
HMD を用いた AR ろくろ回し体験を実現する．本
研究における手指姿勢推定の手法では手指の自然な姿勢を対象にしており，例えば机を持ち上げるときなどの MP 関節のみが曲がるような依存関係を無視する姿勢を対象にすることはできない．しかし依存関係に従わない手指姿勢では手指に負担がかかりやすく，手指は依存関係に従う自然な姿勢をとる傾向にあるため，物体を把持するシステムに利用しない限り本研究には有用性があると考えられる．本研究では手指姿勢推定のためのカメラに筐体が薄く画角の 大 き い 魚 眼 レ ン ズ が 装 着 さ れ た RICOH のTHETA S を用いているが，手指の動きを妨げないよう提案した装着方法ではユーザは掌からカメラの筐体がはみだしていることに注意して行動しなければならない．
より小型のカメラの開発を期待したい．

参考文献[1] Weichart, F., Bachmann, D., Rudak, B., and Fisseler, D..
Analysis of the Accuracy and Robustness of the Leap
Motion Controller．Sensors, 2013, Vol.13, pp. 6380-6393.
[2] “Thalmic Labs”. https://www.myo.com/ (2017/10/17 確認).
[3] 柏木直諒，杉浦裕太，宮田なつき，多田充徳，杉本麻樹，斎藤英雄．組込み型カメラによる把持動作時の人体手形状 3D復元．映像情報メディア学会誌, 2017, Vol.71, No.11, pp.
J283-J286．

[4] Chan, L., Chen, L., Hsieh, C., Liang, R., and Chen, B..
CyclopsRing : Enabling Whole-Hand and Context-Aware
Interactions Through a Fisheye Ring．Proc. UIST '15, pp.
549-556.