計測自動制御学会東北支部 第 298 回研究集会 (2015.11.18)
資料番号 298-1

人支援ロボットの受け渡し動作のための手認識システムの開発〜三次元距離センサ FX8 を用いたランダムフォレスト機械学
習の適用〜
Development of a Hand Detection System for Hand Over Task ofan Assistant Robot〜Application of Random Forest Algorithm using a
3-Demensional Depth Sensor FX8〜○郎

詩萌, カニエテ ルイス, 高橋 隆行○ Shimeng Lang, Luis Canete, Takayuki Takahashi
福島大学
Fukushima University

キーワード : 人支援ロボット (human support robot)，手認識 (Hand Detection)
画像処理 (image processing)，距離画像 (depth image)

連絡先 : 〒 960-1248 福島市金谷川 1 番地 福島大学 共生システム理工学類 人間支援システム専攻
高橋研究室郎 詩萌，Tel/Fax: (024)548-8428，E-mail: rou@rb.sss.fukushima-u.ac.jp

1.

はじめにれ Fig.1，Table.1 に示す．I-PENTAR は, 軽量で低トルクなマニピュレータを用いることで安人支援ロボットの開発においては，多くのタスクをこなす高作業性及び人や環境を傷つけないための高安全性が求められている．しかし，この 2 つの性能は一般的にトレードオフの関係にあり，安全性を追求すると，軽量化や低トルクにより作業性が低下してしまうという問題があり，全性を保ちつつも，重心移動により自重を有効に利用し重量物の持ち上げや運搬作業が可能である．I-PENTAR は，7.5[kg] 程度の持ち上げ，スロープ上での台車の Pushing-Pulling タスク，25[mm] 程度の段差乗り越え動作などを実現している．

高作業を優先すると，重量や高トルクから安全面で問題がある．そこで，筆者らは，車輪型倒立振子機構のメリットを積極的に利用した人間支援ロボット「I-PENTAR(Inverted PENdulum

Type Assistant Robot)」を提案している [4]．IPENTAR のハードウェアの外観と仕様をそれぞ現在，I-PENTAR は人とロボットの物体受け渡し動作等の実現を目標としている．これらを実現するには，手を認識することにより，リアルタイムで手の位置情報などを取得することが不可欠である．そこで，我々は三次元距離セン
サを用いて人間の手の位置をリアルタイムで認–1–

FX8 は極めて短い距離でも距離検出可能である識するシステムの開発を行っている．
主な手抽出手法は，RGB センサにより肌色をことや，外乱光の影響を受けにくいため，より抽出することや，RGB-D センサを用いた手検ロバストな検出が可能であると考えられる．

査が挙げられる．しかしながら，RGB 情報は色Table 2や光から影響されやすくため，汎用性が低いと方式
検出距離水平画角
垂直画角
応答速度
測距点数
距離分解能
距離精度
耐外乱光
外形寸法
質量
動作温度
電源電圧
外部 I/Fいう問題点がある．また，RGB-D センサを用いた場合，距離の検出範囲が狭く，外乱光に弱いという問題がある．そこで，本論文ではロバスト性を考えた距離センサ FX8(日本信号) を用いて，ロボットの物体受け渡し動作のためのリアルタイムな手検査システムを構築した．

Fig. 1Time of Flight0〜15[m]60[deg]50[deg]20[f/s] 16[f/s] 10[f/s] 4[f/s]
43×25 53×33 65×40 100×60
Min.4[mm]0.3〜5[m] (Ta:25[℃])
200,000[lx] 以上
W 62 × H 66 × D 89 [mm]約 0.6 [kg]-10[℃]〜+50[℃]
DC +12[V]〜+24[V]TCP/IP

3.

本研究で用いた手法

3.1

全体的な流れI-PENTAR

手検査の流れを Fig.3 に示す．FX8 から取得

Table 1TAR

Hardware specification of I-PEN-

Size
WeightDOF

0.9 [H] × 0.3 [W] × 0.2 [D] [m]30 [kg]Mobile Base(2), Manipulator(8 ×2),
Waist(1)Gyro sensor(2), Encoder(19)SensorSpecification of FX8

した距離画像を入力画像として識別器に入れ，ピクセルごとに手を識別した画像を出力するという流れである．識別器の構築に関しては，例
えば ICP などのような手の幾何学形状を用いる手法が挙げられる．しかし，距離情報のみで「手の形 (幾何学形状)」を探し，手を抽出することが困難である．そのため，本研究では機械学習を行い，識別木を構築した．機械学習を行う前に，手の部分をラベルリングし，教師データをあらかじめ作る必要がある．FX8 は赤外線をベースとしたセンサであり，赤外線反射率も取得することができるので，3 次元モーションキャプチャのマーカとしても用いられる赤外線Fig. 2

高反射材 (ハイゲインシート) を手袋に貼ることFX8(NIPPON SIGNAL)によって，より手の部分の赤外線反射率を高くし，これを利用して手部分を抽出し，教師あり

2.

機械学習を行った．

三次元距離センサ FX8

本研究で構築した手検査システムは，リアルタ

本研究で用いる三次元距離センサ FX8 の外イムでの検出が可能であり．1 フレームが 5917

観とその仕様をそれぞれ Fig.2，Table.2 に示す．

ピクセル [4fps] モードの入力画像となる時，検–2–査時間がほぼ 0.02[s] であった．

応用できるというメリットが [1] [2] [3] に示されている．Fig.5 を用いてランダムフォレストを説明する．
一つのフォレストは複数のランダム木の全体であり，一つのランダム木は複数のノードと左リーフ，右リーフから成り立つバイナリツリー

Fig. 3である．ノードにフィーチャー fθ とある閾値 τ

Process of hand detectionが含まれている．
手検査する場合，入力データからピクセルご3.2とにツリーを通過させる．分離点で式 (1) で計

距離画像フィーチャー

算したフィーチャーの値および閾値 τ を比較し，距離画像フィーチャーは式 (1) のように定義する．距離画像フィーチャー fθ はシンプルであるが，距離画像を認識する有効性と高精度性が示されている [1]．

fθ (I, x) = dI (x +次にどちらのリーフへ進むかを決定する．最終的にピクセルごとに，それが手に含まれるものであるか否かの確率が得られる．複数のツリーは異なるサンプルデータから学習するので，そuv) − dI (x +) (1)dI (x)dI (x)

この距離画像フィーチャーは，あるピクセルのれぞれ独立性を持っている．そこで，複数のツリーにより結果の平均を取ることで，よりロバストな出力が得られる．

周りの二つのピクセルの距離の差を計算してい学習のでは，各ノードにあるパラメータセッ

る．dI (x) は距離画像 I にあるピクセル x の距

ト ϕ = (θ, τ ) を決めるいく．このプロセスにお離であり，パラメータ θ = (u, v) はオフセットいて重要な働きをするものが，情報利得 [5] であu と v を表している．距離画像にある物体はセる．情報利得は，情報が分離する程度を表してンサから遠ければ遠いほどと小さくなる．それいる．本研究の場合，情報利得を用いて，あるを考慮し， d 1(x) によるオフセットの正規化を行
I

フィーチャーがどの程度，ピクセル集合を手のうことで，得られたフィーチャーは距離の影響ピクセルと手ではないピクセルに分けられるのを受けなくなる．

かを評価する．情報利得の値が大きければ大きいほど，情報がより分離できていることを示している．そこで，学習させるノードに対して，一定数のパラメータセットをランダムに割り当て決めて，それぞれのパラメーターセットで入力ピクセルの集合を分離させる．分離した結果を情報利得により評価し，その値が最大となるパラメーターセットをそのノードのパラメーターFig. 4セットとする．これをノードごとで繰り返すと，Depth image feature

最終的にピクセル集合を手のピクセル，手ではないピクセルに分離することができる．具体的

3.3には，以下のようなアルゴリズムを用いて学習RDF(Random Decision Forest)させた．[1]ランダムフォレストはデータの分離器として速く，効率性が高い．さらに，多数のタスクに–3–

1) 学習させるノードに対して，パラメータϕ = (θ, τ )(フィーチャーパラメータ θ と閾値 τ ) をランダムに一定個数割り当てる．

2) 親ノードにあるデータ集合 Q = (I, x) をパラメータ ϕ により左右ノードへ分離する．

Ql (ϕ) = (I, x)|fθ (I, x) < τ(2)Qr (ϕ) = Q \ Ql (ϕ)(3)3) 情報利得が最大となるような ϕ∗ を ϕ の中から選ぶ．

ϕ∗ = argmaxG(ϕ)∑ |Qs (ϕ)|G(ϕ) = H(Q) −s∈l,rQ(4)
H(Qs (ϕ))(5)4) 情報利得がある閾値以上である (つまりデータ集合が十分に分離で着ている)，またはツリーがある深さ以上である場合，プログラムを終了させる．その他の場合，再Fig. 5

Random Decision Tree

帰的に以上のアルゴリズムを実行する．

FX8 の 4fps モードで得られたデータをサン
プル数 3000，深さ 18 まで Core2(2.0GHz) のパソコン一台で学習させるのに約 16 時間要した．

4.

識別器の生成Fig. 6

Table.3 に示した三つの条件で学習させた．そPosition of hand

れぞれの条件を用いて，照明や体格の影響に対する汎用性を調べた．今回の学習用サンプルデー
タは，被験者 A のデータのみを用いて，Fig.6 のように，手が伸ばした場合，半分伸ばした場合及び体と同じ距離の場合に分け，手を移動しながらサンプルデータを取った．サンプルパター
ンは手をパーとグーにした場合であった．

–4–

Table 3条件
123サンプ
ル数
100
3000
3000

Parameters for learning
フィー
数100100100閾値
チャー数303030

木の深さ
181818

木の数
1135.

手検査実験

手検査の対象となった被験者は体格や手の大きさが異なる男女 3 人 (年齢:20〜32 歳) である．
照明条件は屋内で電気つけた場合，電気消した
場合，屋外で晴れていた場合の 3 つとした．まず，被験者 A により，学習条件 1 から 3 までの結果を調べた．そして，被験者 A と体格と手の大きさが異なる被験者 B と C による実験をした．最後に，被験者 A により，暗い部屋と屋外で晴れた場合の実験をした．照明条件は特に断りがない場合は屋内で通常の屋内照明をつけた場合とする．

Fig.8 から Fig.10 までは被験者 A について，Fig.7 の実験パターンの識別実験を行った．パ

Fig. 7

Pattens of experiment

ターン A から F は学習サンプルデータに入っているパターンである．パターン G から I は学習サンプルデータには入っていない．
サンプル数が 100 の場合，背景の認識正解率が高かったが，手の認識正解率が低かった．サ
ンプル数を 3000 まで増やすことで，ハンドの識別正確率が大幅に増加した．ツリーの数を 1から 3 まで増加させると，ややばらつきはあるが，全体的に背景及び手の認識正解率が向上した．Fig.11 から Fig.12 は被験者 B と被験者 Cの条件 3 での実験結果を示している．複数の人による実験結果を見ると，アルゴリズムの汎用

Fig. 8Result of subject A on condition 1

Fig. 9Result of subject A on condition 2性を確認することができた．Fig.13 と Fig.14 は屋内で電気を消した場合及び屋外で晴れてる場合の実験結果である．一般的なの RGB センサ
や耐外乱光が弱い RGB-D センサであると，ほとんど識別できない状況になると予想されるが，FX8 による実験結果は比較的に安定しており，センサのロバスト性があることも確認できた．

6.

おわりに

本論文は三次元距離センサ FX8 を用いてランダムフォレスト機械学習を適用し，リアルタイム手認識システムを開発した．実験により，ア–5–

Fig. 10

Result of subject A on condition 3Fig. 14

Result on condition 3 (outdoor)

ルゴリズムおよびセンサの有用性を示した．
今後の予定として，物体受け渡し動作を想定した手形状の認識及び実機で物体受け渡し動作の実験を行う．

参考文献

Fig. 111) Shotton J., Fitzgibbon A., Cook M., Sharp T.,
Finocchio M., Moore R., Kipman A., BlakeA.: Real-time human pose recognition in partsfrom single depth images.
IEEE Eng. in Computer Vision and PatternRecognition (2011).

Result of subject B on condition 32) V. Lepetit, P. Lagger, and P. Fua.: Randomized trees for real-time keypoint recognition.
In Proc. CVPR, pages 2:775781,(2005).
3) F. Moosmann, B. Triggs, and F. Jurie.:Fast
discriminative visual codebooks using randomized clustering forests. In NIPS, (2006).
4) 近藤 修平，カニエテ ルイス，高橋 隆行: 車輪型倒立振子ロボット用マニピュレータを用いた受け渡し動作における外乱補償制御，SICE 東
北支部 50 周年記念学術講演会，(2014)5) 三品 陽平，山内 悠嗣，藤吉 弘亘: 分離度を用いた分岐関数選択による Random Forests の高精度化，楽天研究開発シンポジウム，(2011).

Fig. 12Result of subject C on condition 3

Fig. 13

Result on condition 3 with lights oﬀ–6–