情報処理学会論文誌

Vol.62 No.2 1–10 (Feb. 2021)

掌上装着魚眼カメラを用いた
フリーハンド AR のための手指姿勢推定
丸山 裕介1,†1

河野 恭之1,a)

受付日 2020年3月27日, 採録日 2016年8月1日

概要：本研究では，ユーザの掌に魚眼カメラを装着しその手の指先を検出することで逆運動学的に手指の自然な姿勢を推定する．手指を屈曲させる際，手指の各関節を任意に動作させることは困難でありそれぞれの関節が従属的に動作すると考えると，ある関節の屈曲角が定まれば他の関節に関しても屈曲角が一意に定まる．そのため魚眼カメラに対する指先の位置さえ決まれば各関節の屈曲角を逆運動学的に推定できる．本研究ではこの関節間の特性を依存関係と呼び，魚眼カメラを用いて検出した指先位置と関節間の依存関係を利用することで手指姿勢を逆運動学的に推定する．本手法がユーザに与える制約は指先を検出するための魚眼カメラの装着のみであり，ユーザの位置や手の可動範囲を制限しない．そのため本システムを利用することで直感的な操作ができ，かつ没入感のあるハンズフリーな AR・VR システムを実装できると考えられる．先行研究にて提案された依存関係を本手法に適用して手指姿勢を推定し，同時に光学式
モーションキャプチャを用いて各関節の屈曲角を計測して誤差を算出した．実験の結果から，母指のみ依存関係を新たに導出したところ，より整合性の高いことが確認された．
キーワード：手指姿勢推定，モーションキャプチャ，魚眼カメラ，拡張現実感

Finger Posture Estimation by Attaching an Omnidirectional Camera
to the Center of the User’s Palm
Yusuke Maruyama1,†1

Yasuyuki Kono1,a)Received: March 27, 2020, Accepted: August 1, 2016

Abstract: This research describes the development of a system that estimates the natural ﬁnger posturesof a user’s ﬁngers from the images captured by a ﬁsheye camera attached to the center of the user’s palm.
We consider that the ﬂexion of ﬁnger joints has a dependency because each ﬁnger joint is not easy tobend individually. Our method can estimate ﬁnger postures easily by applying inverse kinematics with theinterdependencies. The ﬁnger postures can be estimated by detecting the ﬁngertips on each image and referring to the following preset information: the positional relationship between the camera and the user’s
ﬁngers/ﬁngertips, the length between the ﬁnger joints, and interdependencies between the ﬁnger joints. Our
system only requires that a ﬁsheye camera be attached to the center of the user’s palm to detect ﬁngertips
for estimating ﬁnger postures. This implementation can help to develop immersive AR/VR system becauseof the user’s freehand. We applied the interdependency proposed in the previous research to our method toestimate the ﬁnger postures, and simultaneously measured the ﬂexion angle of each ﬁnger joint using opticalmotion capture to calculate the error.We experimented with a new dependency relation derived only for the
thumb and conﬁrmed that a more consistent interdependency could be derived.
Keywords: Finger Posture, Motion Capture, Omnidirectional Camera, Augmented Reality

1
†1
a)

関西学院大学
Kwansei Gakuin University, Sanda, Hyogo 669–1339, Japan
現在，三菱電機
Presently with Mitsubishi Electric
kono@kwansei.ac.jp

c 2021 Information Processing Society of Japan⃝

1. はじめに本研究では，ユーザの掌に魚眼カメラを装着し指先を検1

情報処理学会論文誌

Vol.62 No.2 1–10 (Feb. 2021)

して距離画像の特徴を学習することで手の開閉の程度を推定しているが，手指毎の姿勢を推定することができない．
本研究における手指姿勢推定システムでは各手指の指先を検出することで手指毎の姿勢推定が可能である．
柏木ら [5] は把持される筒状の物体の蓋の上面や透明な物体の内部に魚眼レンズカメラを設置して手指を認識する手法を提案した．本研究と同様に手指の検出には魚眼レン
ズが取り付けられたカメラを用いているが，研究目的とそ
図 1

魚眼カメラの装着例のためのカメラの装着位置が相違している．柏木らの研究の目的は物体が把持される際の手全体の位置姿勢の復元で出することで逆運動学的に手指の自然な姿勢を推定する．

あるのに対し，本研究の目的はできるだけユーザを制限し

魚眼カメラの装着例を図 1 に示す．手は人間にとって触ない手指姿勢推定及び AR システムの実現である．また柏れる，掴むなどの動作を広範囲で可能とする重要なインタ

木らの手法ではカメラが取り付けられる対象が把持される

フェースデバイスであり，ヒューマンコンピュータインタ

物体であるのに対し，本手法では掌である．本研究では手ラクションなどの分野において手指姿勢を推定する研究が指の姿勢を推定する流れにおいて画像処理による指先検出

盛んに行われている．例えば，赤外線カメラを用いて手やを行うためユーザが物体を把持している状態ではオクルー

指の位置姿勢を計測する Leap Motion[1] や，筋電センサ

ジョンが発生し指先を検出できない．そのため手指の姿勢や加速度センサが内蔵されたハードウェアを腕に装着してを推定することができない．しかし物体を把持している状

手指の動きを推定する Myo[2] などのシステムが開発され態でなくても手指姿勢推定が可能であるため本手法は汎用た．推定した手指姿勢の適用には AR や VR が挙げられ性が高いと考えられる．

る．AR や VR では実体のない仮想的な物体を視認できる．

Leap Motion は設置型のインタフェースであり赤外線カ

これらのシステムに手指姿勢推定を応用することで仮想物メラで撮影した画像を解析することで三次元空間での手や体への接触を実現できユーザの入力手段を拡張できると考

指の位置姿勢を検出している [1]．バーチャルろくろシス

えられる．特に AR では自分の手と仮想物体の双方を視認

テム Roquro はこのインタフェースを用いており，検出しできるため直感的な入力手段となり得る．本研究では，こた手指の位置姿勢を反映させた 3D ハンドモデルと 3D ろの入力手段をハンズフリーに実行できる手指姿勢推定シくろモデルを同じ仮想空間内に出現させて仮想的なろくろ

ステムを開発する．ユーザの掌に装着した魚眼カメラを用回しを実現している [6]．Leap Motion で手指の位置姿勢

いて指先を検出することで，カメラと指先との位置関係がを検出する手法では，ユーザは赤外線カメラで撮影できる分かる．ここで手指を屈曲させる際の関節間の特性を考え範囲でしか手指を動かすことができない．またこのインタる．手指の各関節を任意に動作させることは困難でありそ

フェースに対してユーザの左右の手が重なる場合オクルー

れぞれの関節が従属的に動作すると考える．この場合，カジョンの問題が発生するためユーザの両手はこの問題が発メラと指先の位置関係がわかれば一意に各関節の屈曲角を生しない相対位置姿勢でなければならない．本システムで計算できる．本研究における手指姿勢推定システムが与えは環境カメラを必要とせず，手指姿勢に用いる魚眼カメラるユーザへの制約は掌へのカメラの装着のみであり，肩やは掌に付随するため，手や指の運動範囲が制限されない．

腕により広範囲に動かせるといった手の利点を失わずに手Chan ら [7] は魚眼カメラをいずれかの 2 本の指の間に挟指姿勢を推定できる．

2. 関連研究

むようにして装着し手指を検知することでジェスチャを認識する CycropsRing を開発した．この構成ではカメラを装着した手指の向きによってカメラの向きが変わってしまう

本研究と目的や手法が類似している研究や技術を挙げ中でジェスチャ対象の手指を全体的に検出する必要があり，る．上田ら [3] は複数台のカメラでユーザの手を多視点か

このシステムを利用する場合ユーザの手指の運動範囲を制ら撮影することで手の形状を推定しているが，複数台のカ限してしまう．本手法では手指姿勢推定に用いる魚眼カメ

メラが必要であり，そのすべてのカメラの画角に収まる範ラをユーザの掌に装着させるのみであり，また指先を検出

囲でしか手を動かすことができない制約をユーザに与えてするのみで手指姿勢を推定できる．そのため CycropsRing

しまう．本研究における手指姿勢推定システムがユーザにに比べ手指の屈曲に制限を与えず，手指の様々な状態での与える制約は掌への魚眼カメラの装着のみであり，このカ

姿勢を正確に取得できる可能性があると考えられる．

メラを用いて指先を検出するのみで手指姿勢を推定できる
ためユーザの位置及び手の可動範囲に制限を与えない．

Gentile ら [4] は Kinect を用いて距離画像から手を検知

c 2021 Information Processing Society of Japan⃝Kim ら [8] は，単眼 RGB カメラを同じく手首に装着した WristCam[9] が指先位置推定の粒度が限定されていたのに対し，赤外線カメラや慣性測定ユニットなどが搭載され2

情報処理学会論文誌

Vol.62 No.2 1–10 (Feb. 2021)

図 3

図 2

手指姿勢推定の流れθtip の示す角度小さくなり手指領域の面積が大きくなる傾向にあると考えられる．そこで抽出した肌色領域に対して距離変換処理をた装置を手首に装着し手の検出や動きの推定を行うことで利用することで比較的面積の大きい肌色領域を抽出する．

ハンドジェスチャを認識するデバイス Digits を開発した．

次に各手指の指先画像を用いたテンプレートマッチングを

このデバイスがユーザの手首に装着されることからユーザ行う．ここで各手指の内転 (外転) の可動範囲を利用しての位置が制限されないという本研究と同様の利点がある．

各手指の探索範囲を設定する．この探索範囲においてテン

しかしデバイスに搭載された赤外線カメラの画角上，手首プレートマッチングを行うことで手指を検知する．手指をが伸展する場合には手を検出できずハンドジェスチャの認検知した探索範囲における最大肌色領域を手指領域に決定識が不可能になると考えられる．本手法では手指姿勢推定する．この手指領域に対して指先検出を行う．魚眼カメラに用いる魚眼カメラをユーザの掌に装着する．そのためカと手指との実際の位置関係を考慮すると，手指の付け根のメラと掌の位置関係が変化せず手首の伸展や屈曲の方向に座標をカメラ画像上に仮定する場合，この座標はカメラ画

よらず手指姿勢推定が可能である．

像の外側に位置する．また指先の座標は付け根の座標に対

3. 手指姿勢推定

し，手指領域の輪郭上で最も距離が大きい座標と考え，この座標を指先に決定する．この指先座標から，魚眼カメラ

本研究では，ユーザの掌に魚眼カメラを装着しその手のに対する指先へのベクトルの角度 θtip (図 3) を計算できる．

指を検出することで逆運動学的に手指の自然な姿勢を推定

予め各関節間の距離，カメラと手との位置関係を設定し，する．手指の姿勢を推定するにあたり，関節間の特性に注θtip 及び屈曲角間の依存関係を利用して θtip に対応する手

目する．手指の各関節を任意に動作させることは困難であ

指姿勢を成す各関節の屈曲角を一意に計算する．本研究でり，手指を自然に屈曲させる際それぞれの関節は従属的には依存関係の導出も行う．ユーザの手背に貼付したマーカ

動作すると考えられる．この特性から，ある関節の屈曲角を認識する光学式モーションキャプチャから得られる屈曲が定まれば他の関節に関しても屈曲角が一意に定まる．そ角のデータを解析して屈曲角間の依存関係を導出する．

のため魚眼カメラに対する指先の位置さえ決まれば各関節の屈曲角を逆運動学的に推定できる．本研究ではこの関節

3.1 指先検出間の特性を依存関係と呼び，魚眼カメラを用いて検出した

手指の姿勢を推定するにあたり画像上での指先座標を求

指先位置と関節間の依存関係を利用することで手指姿勢をめる．本節では，掌に装着した魚眼カメラの画像に対して逆運動学的に推定する．本手法がユーザに与える制約は指

手指領域を抽出し，得られた手指領域において指先となる先を検出するための魚眼カメラの装着のみであり，ユーザ

座標を検出するまでの過程を述べる．本節における処理のの位置や手の可動範囲を制限しない．そのため本システム

流れを以下に示す．

を利用することで直感的な操作ができ，かつ没入感のある

i. 肌色領域の抽出 肌色である手指を検出するために，肌ハンズフリーな AR・VR システムを実装できる．

色の色相範囲を設定し肌色領域を抽出する.

本章では手指姿勢を推定する過程，及び屈曲角間の依存

ii. 手指領域候補の抽出 手指を屈曲すると魚眼カメラと関係の導出法を述べる．手指姿勢推定の流れを図 2 に示の物理的な距離が小さくなり手指領域は比較的面積のす．まず魚眼カメラを用いて取得した画像から肌色領域を大きい領域となると考えられる．この特性を利用して抽出する．この肌色領域には魚眼カメラを装着した手の指

手指領域候補を絞り込む．

以外も含まれている可能性があるため，手指領域の候補を

iii. 手指の検知 手指が画角内に存在する場合には必ず指絞り込む．手指を屈曲する際，魚眼カメラと手指の距離が先が映る．そこで各手指の可動範囲を考慮して設定しc 2021 Information Processing Society of Japan⃝3

情報処理学会論文誌

Vol.62 No.2 1–10 (Feb. 2021)

図 5 2 値化肌色領域画像

図 4 カメラ画像

た探索範囲内で各手指の指先画像のテンプレートを用いたテンプレートマッチングをにより手指を検知する．

iv. 手指領域の決定 手指領域は比較的面積が大きい肌色領域となることから，手指を検知した探索範囲内で最大の肌色領域を手指領域に決定する．

v. 指先座標の決定 カメラを掌に装着すると手指の付け根は画角外に存在するため，手指領域において手指の付け根付近は魚眼画像の端に，指先は手指領域の輪郭においてこの位置から最も距離が大きい座標に射影さ

図 6 テンプレート画像れると考えられる．そこで画像上に手指の付け根の座標を設定し，手指領域の輪郭上でこの座標から最も距離が大きい座標を指先座標に決定する．

表 1

各手指の内転 (外転) 角
母指

示指

中指

環指

小指

80◦

40◦

40◦

40◦

40◦

内転 (外転) 可動角

3.1.1 手指領域検出
まず掌上に装着した魚眼カメラを用いて画像を取得す

指領域の形状の特徴を利用する．指先の形状は丸みを帯びる．取得した画像から手指領域の候補となる肌色領域を抽ており，図 4 及び他の 2 値化画像の図においてその特徴が出する．肌色領域の抽出には色相空間を利用する．色相空

反映されていることがわかる．そこで 2 値化された各手指間は輝度に依存しないため，手指に影ができた場合でも比の指先画像のテンプレートを用意し，テンプレートマッチ

較的高精度に肌色領域を抽出できる．Sherrah ら [10] が提ングを行う．ここで，各手指の検知に対応するテンプレー

案した肌色の色相範囲 (式 1) を基にカメラ画像を 2 値化す

トマッチングの適用範囲を設定する．藤木ら [11] が提案しることで肌色領域と非肌色領域に分離する．

た表 1 に示す手指の内転 (外転) の可動範囲に注目し，魚0◦ ≤ θskin ≤ 38◦(1)

眼画像に対して各手指の探索範囲を設ける．設定した探索範囲に対して各手指に対応するテンプレートマッチング処

抽出した肌色領域にはカメラを装着している手の指以外理を行うことで各手指を検知する．各手指に対するテンプも含まれている可能性がある．そこで取得画像に手指領域

レート画像を図 6 に，テンプレートマッチングの様子を図が含まれる場合の特徴を基に，肌色領域に対して複数の処

7 に示す．手指を検知した探索範囲における最大の肌色領理を施すことで手指を検知する．魚眼カメラの装着位置と域を手指領域に決定する．

手指の屈曲方向を考慮すると，魚眼カメラの画角内に手指3.1.2 指先座標の決定が存在する場合には魚眼カメラと手指の距離が小さくな

検出した手指領域から指先の位置を決定する．実際のカり，他の肌色領域に比べ手指領域の面積が大きくなる傾向

メラと手指との位置関係より各手指の付け根はカメラの筐にあると考えられる．そこで，まず肌色領域検出画像に距

体に最も近く，カメラ画像において外側に位置する．そこ

離変換処理を施す．距離変換とは，二値画像においてあるでカメラ画像に手指の付け根の座標を仮定する場合，指先画素から最近傍の 0 画素までの距離をすべての非 0 画素に

は手指領域の輪郭においてこの座標から最も距離のある座対して求め各画素の画素値とする処理である．抽出した肌標である．仮定した手指の付け根の座標と手指領域の輪郭

色領域に対してこの距離変換処理を施し，閾値を設定して上のそれぞれの座標との距離を求め最も距離が大きい輪郭

再度 2 値化することで比較的面積の大きい肌色領域を抽出

上の座標を指先座標に決定する．指先を検出した画像を図する．図 4 のカメラ画像に対して以上の処理を施して得ら

8 に示す．図 8 では仮定した母指の付け根の座標を白い点れた 2 値化肌色領域画像を図 5 に示す．

で示している．手指領域の輪郭上で付け根の座標から最大

次に，肌色領域から手指を検知する．手指検知の際に手c 2021 Information Processing Society of Japan⃝の距離である座標を指先に決定する (図 8 黄円)．

4情報処理学会論文誌

Vol.62 No.2 1–10 (Feb. 2021)

図 7 テンプレートマッチング

図 9立体射影に基づく θtip の計算

図 8 指先位置の決定
図 10 手指とカメラの位置関係

3.2 屈曲角推定
本研究における手指の姿勢は各関節間の距離と各関節の3.2.2 屈曲角の計算

屈曲角によって成り立つものとする．本節では，検出した

本研究では各関節の屈曲角を求めることで手指の姿勢を

指先座標から手指の姿勢を求める手法について述べる．本推定する．指先と各関節，カメラと手の位置関係を図 10 に節における処理の流れを以下に示す．

示す．各関節間の距離 a，b，c，掌の厚みの中心面から魚

指先とカメラとの位置関係を推定：魚眼レンズの画像

眼カメラのレンズまでの高さ h, カメラレンズの中心からへの射影方法から，カメラ画像の中心と指先座標とのMP 関節までの距離 l は予め与えるものとする．この図か

相対位置を計算することで魚眼レンズの中心から指先ら各屈曲角 θM P ，θP IP ，θDIP と θtip を用いた方程式が導へのベクトルの角度 θtip を求める．

かれる (式 3)．しかしこの方程式には未知数が 3 つ存在す

手指の各関節の屈曲角を推定：各関節間の距離，カメるため解くことができない．そこで，手指を自然に動かす

ラと手との位置関係を設定し，各屈曲角間の依存関係際に生じると考えられる関節間の依存関係を導出する．各を利用して θtip から逆運動学的に手指姿勢を推定する．

手指には屈曲する関節が 3 つあるため，2 つの依存関係を

手指を自然に動かすとき，屈曲角間には依存関係が存在す導出する．手指における 3 つの屈曲角の間に 2 つの依存関る．屈曲とは手を握る方向への手指の運動である．各関節係を利用することで，各屈曲角は 1 つの変数で表わすこと

間の距離，カメラと手の位置関係を設定し，この依存関係ができる．このことから図 10 によって導かれた方程式にiii

を利用して指先座標から逆運動学的に各屈曲角が求まる．

存在する未知数は 1 つとなり方程式を解くことができるた

3.2.1 θtip の計算

め，各手指における 3 つの関節の屈曲角を求められる．本本手法ではカメラに対する指先へのベクトルの角度

θtip (図 3) を基に手指姿勢を推定する．検出した指先の座標を用いて魚眼レンズの射影方法から θtip を求める．使用
している魚眼レンズでは立体射影により画像が生成されている．立体射影の性質を図 9 に，θtip の求め方を式 2 に示す．画像上に仮定した手指の付け根の座標と射影された指先の座標との距離 d，半天球の半径を r としたとき図 9 と式 2 に基づいて画像へ射影されることから，指先座標を用いて θtip が求まる．
{
2 tan−1 drθtip =
π − 2 tan−1 d−2rr

研究では表 2 に示した各関節の屈曲可動角の範囲内で各屈曲角を求める．

a cos θM P + b cos(θM P + θP IP ) + c cos(θM P + θP IP + θDIP ) + l)+c sin(θM P +θP IP +θDIP )−h= a sin θM P +b sin(θM P +θP IP
tan θtip

3.3 関節間の依存関係
前節では指先と各関節，カメラと手の位置関係から屈曲角を求めるための方程式を導出した．藤木ら [11] は図 11に示す形で各関節間の依存関係を提案したが，このモデル(0 ≤ d ≤ r)
(r < d < 2r)

c 2021 Information Processing Society of Japan⃝(2)

では各手指に対して同一の依存関係を仮定しており手指毎の特性を考慮していない．特に母指に関しては他の手指と5(情報処理学会論文誌

Vol.62 No.2 1–10 (Feb. 2021)

表 2各関節の屈曲可動角
母指

CM 関節

0◦ ∼ 90◦MP 関節

0◦ ∼ 70◦

IP 関節

0◦ ∼ 50◦

モーションキャプチャで取得した関節角の比較

中指

環指

小指

MP 関節

0◦ ∼ 90◦0◦ ∼ 90◦0◦ ∼ 90◦0◦ ∼ 90◦

PIP 関節0◦ ∼ 100◦0◦ ∼ 100◦0◦ ∼ 100◦0◦ ∼ 100◦

DIP 関節◦0 ∼ 80◦0 ∼ 80(a) MP-PIP (CM-MP) 関節間
図 11◦

手の開閉レベル 1 ∼ 3 において本手法及び

手法

示指

◦

表 3 予備実験概要
依存関係の整合性の確認

内容

◦

◦

0 ∼ 80

被験者

Level1

Level2

Level3開←→閉

10 名 (22 歳男性 7 名と女性 2 名，25 歳男性 1 名)

0◦ ∼ 80◦(b) PIP-DIP (MP-IP) 関節間[11] で提案された依存関係
図 12

マーカの貼付例

構造が異なり，他の手指において MP 関節が付け根に位置するが，母指のみ付け根ではなく掌の内部に存在する CMのできる限界の状態を Level 3 とみなしている．モーショ

関節が動く特性がある．この特性から，母指の CM 関節はンキャプチャを用いて計測した値を真値とみなし，各屈曲

他の手指の MP 関節に比べて曲げにくく依存関係に表れる角の可動範囲に対する誤差の割合と定義した誤差率を求め性質が異なる可能性が考えられる．そこで藤木らの依存関ることで依存関係の整合性を評価する．被験者は 10 名で係を本システムに適用し整合性を確認するために予備実験あり，22 歳の男性 7 名と女性 2 名，25 歳の男性 1 名であを行う．屈曲角の真値と本システムを用いて推定した屈曲る．なお，本手法では手指の自然な姿勢を対象にしている角の誤差率を算出し依存関係の整合性を確認することで藤ため，被験者には実験前に自然な姿勢をとるよう指示した．

木らの依存関係を評価する．誤差率の高い関節を含む手指

被験者および手指の姿勢の種類を総合し各屈曲角に対すに関しては依存関係の整合性が低いと判断する．整合性のる誤差率の平均を表記したものを表 4 に示す．予備実験で低い依存関係に関しては本研究にて導出を行う．

は表 2 に示した各屈曲角の可動範囲に対する誤差の割合を3.3.1 予備実験

誤差率と定義する．この誤差率が低いほど推定精度が高い

実験概要を表 3 に示す．実験にはモーションキャプチャと言える．母指を除く各手指の関節に対して全て 20%以下を用いる．使用するのはマーカを認識し三次元位置をリアの誤差率であり，母指を除いては藤木らの依存関係は整合

ルタイムに計測できる光学式モーションキャプチャである性が高いと言える．

nac 社製の MAC3D System である．藤木ら [11] の依存関

母指についての予備実験の詳細結果を付録 A.1 に示す．

係を適用した本システムとこのモーションキャプチャを同

被験者 A∼J の 10 人それぞれにおける手指の姿勢の 3 種類

時に作動させることで双方での屈曲角を同時に計測する．

(Level 1∼3) に対する各屈曲角推定の誤差率を表記してい被験者には掌上装着魚眼カメラに加え図 12 のように各関る．他の指の結果と比して被験者間のばらつきが大きいこ

節上にマーカを貼付させる．モーションキャプチャを用いとに加え，母指の CM 関節に関しては全体平均の結果が他てこれらのマーカを認識し，各関節の屈曲角を計算する．

の手指と比べ特に誤差率が高く精度が低かった．他の手指

実際の関節はマーカを貼付した位置ではなく骨格中にあると比べて構造が異なる母指の特性である，付け根ではない

ため，手の厚みを考慮して実際の関節位置を調整し，調整CM 関節が動くことが低精度の原因であると考えられる．

後の関節位置を基に屈曲角を計算した．被験者には手指のこの結果から，藤木ら [11] の提案した依存関係には母指の姿勢 3 種類 (Level 1∼3) を依頼する．手指の姿勢の種類はみ現れる特性が考慮されていないために整合性が低いと言

手の開閉を 3 段階に分けたものである．Level 1 では手をえる．そこで母指に対する依存関係を導出する．本実験で開いた状態，Level 3 では手を閉じた状態であり，Level 2

真値とみなしている，モーションキャプチャによる屈曲角は Level 1 と Level 3 の中間の状態である．なお，手を完全を基に依存関係を導出する．導出した依存関係を本システに閉じる場合ではモーションキャプチャでマーカを検出でムに適用し予備実験と同様の環境で再度誤差率を算出し整きなくなるため，マーカを検出できる上で手を閉じること合性を確認する．

c 2021 Information Processing Society of Japan⃝6

情報処理学会論文誌

表 4

Vol.62 No.2 1–10 (Feb. 2021)

関節ごとの平均誤差率 (予備実験)

IP/DIP

MP/PIP

CM/MP

母指

17%

28%

33%

示指

14%

8%

13%

中指

13%

10%

16%

環指

12%

11%

18%

小指

14%

9%

14%

表 5

平均誤差率 (本実験，母指)

平均誤差率

IP

MP

CM

18%

20%

20%

プを利用しており，このペアの各屈曲角が最も平均的な依存関係に従属しているためこの依存関係の差が生まれたと考えられる．各関節間に対してグループごとに導出した依存関係が類似していることを確認できるため，平均化した依存関係及び精度を最終結果に決定する．導出した 5 通りの依存関係を平均したものと藤木らが提案した依存関係を
図 14 に示す．導出した関数を青線，藤木らの依存関係を
透明な赤線で描画した．依存関係の形状から手指を屈曲する際には IP 関節が最も屈曲しやすく CM 関節が最も屈曲
しにくいことを表しており，予備実験の考察と同様に，母(a) CM-MP 関節間
図 13(b) MP-IP 関節間各グループに対する母指関節間の依存関係

指に適用した藤木らの依存関係の整合性が低いことがこの図からも確認できる．CM 関節が掌の内部に存在することが MP，IP 関節に比べて曲がりにくく，表 4 に示した全体

3.3.2 依存関係の導出
予備実験では母指の屈曲角の誤差率が高いことが確認できた．適用した依存関係には母指のみ CM 関節が動く特性

平均の結果における CM 関節の推定精度が低かった原因と考えられる．

3.3.3 本実験と考察が考慮されていないため整合性が低いと判断した．他の手予備実験にて藤木らの依存関係では母指の屈曲角の推定指に対しては藤木ら [11] の依存関係の整合性が高いと判断

精度が低く，整合性が低いことを確認した．そこで新たにし，母指のみ新たな依存関係を導出する．依存関係の導出

依存関係を導出した．この依存関係を本システムに適用には予備実験にてモーションキャプチャを用いて計測した

し，予備実験の方法と同様に再実験した．各関節に対する各屈曲角を利用する．予備実験では被験者 10 人の各屈曲

誤差率の平均を表 5 に示す．なお，本実験の全体結果は付角を計測した．そこで交差検証の手法を利用する．被験者

録 A.2 に示す．予備実験での平均誤差率 (表 4) より，再導10 人を 5 つのペア (A-B，C-D，E-F，G-H，I-J) に分割し，出した依存関係を用いることで IP 関節においては誤差率

4 ペアを 1 グループにまとめて各屈曲角を用いて依存関係がわずかに (1 ポイント) 上昇したが，MP，CM 関節においを導出し残り 1 ペアに対して精度評価を行う．この流れをてそれぞれ 8，13 ポイント誤差率が低下し，平均的には誤5 通り行う．

差率が約 7 ポイント低下した．この依存関係を利用しても依存関係の導出方法を述べる．母指の CM-MP，MP-IP

MP 関節に関しては誤差率が 20%以上であったが，CM 関

屈曲角それぞれの点群に対して 3 次スプライン補間，及び節に関しては精度が大幅に向上した．そのため藤木ら [11]最小二乗法を応用する．まず 3 次スプライン補間に必要なの依存関係と比べ，導出した依存関係には CM 関節が動く

4 点を設定する．尚，4 点の内 2 点は可動範囲の最小と最特性が考慮されていると考えられる．また G-H のペアが大を用いる．残り 2 点を点群からランダムに抽出する．こIP，MP 関節の屈曲角において最低の誤差率であったため，れらの 4 点を用いて 3 次スプライン補間を利用する．ここ

図 13(b) において大きく異なる依存関係が 1 つ導かれた原で，導出する関数に条件を設ける．手指を屈曲する際それ因が 3.3.2 にて述べた通りであると考えられる．

ぞれの屈曲角が増加すると仮定し，各屈曲が増加傾向にあ

本研究において予備実験，本実験の両方において，ソフることを条件に設定する．この条件下でこれらの 4 点を用

トウェアを含む実験環境の制約から手指の姿勢をあらかじいて 3 次スプライン補間を利用することで関数を導出する．

め 3 状態に制約して評価を行ったそれらの 3 状態，すなわ

関数の導出に用いる 4 点の内 2 点をランダムに抽出するた

ち Level1,2,3 における誤差を含むパフォーマンスとその特め，複数の関数を導出できる．これらの関数に対して最小質が明らかになればその中間状態におけるそれら，すなわ

二乗法を応用する．3 次スプライン補間で導出した関数とち依存関係および誤差率は推測可能であると我々は考えて各点との差の二乗の総和が最小となる関数を依存関係に決いるが，今後の確認が必要である．今後，上記に加えて被定する．各グループに対して導出した依存関係を重ねて表験者数を増やし実験を重ねることでこの依存関係の一般性したものを図 13 に示す．図 13(b) において大きく異なるを明らかにすること，また蓄積した屈曲角のデータからよ

種類の依存関係が水色の線で示すように 1 つ存在する．こり整合性の高い依存関係の導出を目指す．

の依存関係の導出には被験者 G-H のペアを除いたグルーc 2021 Information Processing Society of Japan⃝7

情報処理学会論文誌

Vol.62 No.2 1–10 (Feb. 2021)

案された依存関係は母指以外の手指に関して整合性を確認できたが，やはり母指に関しては整合性が低い結果となった．この結果を受け，母指のみ依存関係を再導出した．この依存関係を用いて予備実験と同様に実験を行ったとこ
ろ，MP，CM 関節においてそれぞれ 8，13 ポイント誤差率が低下したことが確認できた．本研究で導出した依存関係により誤差率が平均的には約 7 ポイント低下したが，特(a) CM-MP 関節間
図 14(b) MP-IP 関節間平均化した母指関節間の依存関係に CM 関節における精度が大幅に向上した．そのため藤木らの依存関係と比べ，導出した依存関係には CM 関節の動作特性が反映できていると考えられる．
本研究では自然な手指の姿勢では各関節の動きが従属的であると考え，依存関係を利用して手指姿勢を推定した．
本手法ではユーザの手指の姿勢を推定できるため，AR やVR に応用すれば実体のない仮想物体への接触を実現でき，ユーザの入力手段を拡張できると考えられる．特に AR では自分の手と接触対象の仮想物体の双方を視認できるため直感的な入力手段を実装できる．ここで，物体を把持する
際の手指姿勢を考える．手で物体を把持する際，把持する物体の形状によって各関節間の従属性が変化すると考えら
図 15 AR ろくろ回しの様子れる．例えば薄い物体を把持する際，物体の表面に手指を沿わせる持ち方が考えられる．この場合では少なくとも母

4. AR ろくろ回し

指の IP 関節，他の手指の DIP，PIP 関節の屈曲角が小さくなり本研究で利用している依存関係を無視する可能性が本手法の応用に AR ろくろ回しを開発した．AR ろくろ

高い．そのため現段階での本システムを AR や VR に応用

回しでは，まずユーザの手と粘土を成す仮想のモデルを同し仮想物体を把持できるシステムを開発しても没入感が低一の座標系に生成する．ユーザの手のモデルに関しては

いと考えられる．本手法を利用して AR ろくろ回しを開発

3.2.2 項で述べた情報を適用する．掌に装着した魚眼カメラしたが，実際のろくろ回しでも手指姿勢が自然でなく本研を用いて手指姿勢推定と並行して机上の AR マーカを検出

究で利用した依存関係に従わない場合が考えられる．そこすることでマーカ座標系での掌及び手指の三次元位置姿勢

で，把持する物体の特徴に対する依存関係の研究が考えらを推定し，手のモデルに適用する．粘土の仮想モデル (以れる．物体を把持する際の手指姿勢に関しては柏木ら [5]

下クレーモデル) をマーカの中心に生成し，手のモデルとのの研究が挙げられる．物体を把持する際の手指姿勢を考慮

衝突をリアルタイムにシミュレーションすることでクレーすることで，より没入感のある AR や VR を実装できるとモデルを変形させる．ユーザの頭部に HMD と一人称視点考えられる．本手法では適用する依存関係によって推定す

用カメラを装着しマーカを検出することでリアルタイムにる手指姿勢が異なるため，把持する物体の種類に対する依

変形するクレーモデルを視認でき，AR ろくろ回しを体験

存関係を導出できれば，仮想物体に合わせた直感的な把持できる (図 15)．AR ろくろ回しの開発および複数回のデモを実現できると考えられる．

展示を通して本手法が AR に適用できることを確認した．

5. まとめと今後の展望

参考文献
[1]

本研究では，ユーザの掌に魚眼カメラを装着し指先を検出することで逆運動学的に手指姿勢を推定する．魚眼カメ[2]

ラを用いて手指領域及び指先を検出し，屈曲角間の依存関係を利用することで逆運動学的に手指姿勢を推定した．依存関係に関しては，藤木ら [11] の先行研究にて提案された[3]

依存関係に手指毎の特性，特に母指における CM 関節が動く特性が考慮されていないと考え本研究における手指姿勢
システム及びモーションキャプチャを用いた予備実験を行うことで整合性の確認を行った．予備実験の結果から，提c 2021 Information Processing Society of Japan⃝[4]

Weichart, F., Bachmann, D., Rudak, B. and Fisseler, D.:
Analysis of the Accuracy and Robustness of the Leap Motion Controller, Sensors, Vol.13, pp.6380-6393 (2013).
The Myo team: Welcome to Myo Support, NORTH (online)，入手先 ⟨https://support.getmyo.com/hc/en-us⟩（参
照 2020-02-19）.
Ueda, E., Matsumoto, Y., Imai, M., and Ogasawara, T.:
A Hand- Pose Estimation for Vision-Based Human Interfaces, IEEE Trans. Industrial Electronics, Vol.50, No.4,
pp.676-684 (2003).
Gentile, V., Sorce, S., and Gentile, A.: Continuous Hand
Openness Detection Using a Kinect-Like Device, CISIS,
pp.553–557 (2014).

8

情報処理学会論文誌

Vol.62 No.2 1–10 (Feb. 2021)

柏木直諒，杉浦裕太，宮田なつき，多田充徳，杉本麻樹，斎藤英雄：組込み型カメラによる把持動作時の人体手形状 3D 復
元，映像情報メディア学会誌, Vol.71，No.11，pp.J283-J286(2017).
[6] MELTA：バーチャルろくろシステム Roquro (オンライン)，入手先 ⟨https://roqu.ro⟩（参照 2020-02-20）.
[7] Chan, L., Chen, L., Hsieh, C., Liang, R., and Chen, B.:
CyclopsRing: Enabling Whole Hand and Context Aware
Interactions Through a Fisheye Ring, Proc. UIST ’15,
pp.549-556 (2015).
[8] Kim, D., Hilliges, O., and Izadi, S.: Digits: freehand 3Dinteractions anywhere using a wrist-worn gloveless sensor,
Proc. UIST ’12, pp.167-176 (2012).
[9] Vardy, A,, Robinson, J., and Cheng, L-T.: The Wristcam
as Input Device, Proc. ISWC ’99, pp. 199-202 (1999).
[10] Sherrah, J. and Gong, S.: Skin Colour Analysis(online)，入 手 先 ⟨http://homepages.inf.ed.ac.uk/rbf/
CVonline/LOCAL COPIES/GONG1/cvOnlineskinColourAnalysis.html⟩（参照 2020-02-20）.
[11] 藤木隆司，陣維英，吉本廣雅，有田大作，谷口倫一郎：
手の制約知識を用いた逆運動学解法による実時間三次元手
形状推定，画像の認識・理解シンポジウム (MIRU2005)，
pp.1380-1387 (2005).

[5]

付

録

A.1 誤差率の全体結果 (予備実験，母指)

A

B

C

D

E

F

G

H

I

J

c 2021 Information Processing Society of Japan
⃝

IP

MP

CM

level1

2%

14%

11%

level2

10%

9%

13%

level3

4%

20%

7%

level1

20%

6%

20%

level2

2%

1%

20%

level3

14%

10%

16%

level1

28%

4%

19%

level2

8%

19%

28%

level3

1%

24%

24%

level1

27%

49%

24%

level2

11%

43%

19%

level3

5%

39%

22%

level1

50%

31%

49%

level2

42%

31%

49%

level3

46%

34%

50%

level1

4%

43%

37%

level2

14%

53%

37%

level3

0%

51%

33%

level1

16%

13%

29%

level2

18%

16%

30%

level3

20%

4%

26%

level1

8%

44%

48%

level2

2%

33%

43%

level3

12%

40%

47%

level1

14%

41%

49%

level2

22%

30%

46%

level3

22%

36%

47%

level1

40%

40%

48%

level2

30%

37%

47%

level3

30%

31%

44%

9

情報処理学会論文誌

Vol.62 No.2 1–10 (Feb. 2021)

河野 恭之 （正会員）

A.2 誤差率の全体結果 (本実験，母指)
IP
A

B

C

D

E

F

G

H

I

J

MP

1967 年生．1989 年大阪大学基礎工学

CM

部情報工学科卒業．1994 年同大学大level1

8%

30%

13%

学院博士後期課程修了．博士 (工学)．

level2

10%

30%

13%

同年 (株) 東芝入社．同社関西研究所，

level3

10%

36%

17%

研究開発センターヒューマンインタ

level1

18%

14%

1%

フェースラボラトリ研究主務などを経

level2

0%

17%

8%

て，2000 年奈良先端科学技術大学院大学情報科学研究科助level3

18%

24%

7%

教授．2006 年関西学院大学理工学部教授．実世界インタラ

level1

28%

14%

3%

クション，体験記録とその利用，ウェアラブルとユビキタ

level2

6%

3%

10%

ス，ヒューマンコミュニケーション，マルチモーダルイン

level3

23%

7%

4%

タラクション，知的インタフェースの研究に従事．ヒューlevel1

27%

34%

8%

マンインタフェース学会，人工知能学会，電子情報通信学

level2

5%

39%

9%

会，ACM，IEEE-CS 各会員．本会シニア会員．

level3

9%

29%

15%

level1

38%

10%

34%

level2

30%

11%

36%

level3

30%

9%

34%

level1

0%

29%

18%

level2

20%

41%

28%

level3

12%

38%

27%

level1

14%

3%

9%

level2

12%

1%

8%

level3

20%

6%

7%

level1

2%

29%

31%

level2

8%

20%

33%

level3

30%

21%

44%

level1

20%

21%

30%

level2

20%

20%

31%

level3

24%

23%

34%

level1

36%

21%

29%

level2

24%

19%

30%

level3

24%

11%

27%

丸山 裕介 （学生会員）
1995 年生．2018 年関西学院大学理工学部人間システム工学科卒業．2020
年同大学大学院博士前期課程修了．同
年三菱電機株式会社入社．在学中，実世界インタラクションに関する研究に従事．

c 2021 Information Processing Society of Japan⃝

10