論文

DBSJ Letters Vol.6, No.1

異種ロボット間でのジェスチャ情報の共有化
Sharing Gesture Contents among Heterogeneous Robots

ロボットをメディアに用いる際には，様々な動作をロボットに実行させる必要がある．ロボットに色々な種類があることを考えると，ロボット間のジェスチャ情報共有が難しいことが，動作移植に際して問題となる．ロボットはそれぞれ関節構造が異なるために，ロボット間で単純に関節角度の情報を共有するだけでは，ジェスチャを共有できない．そのため，現状では，あるジェ広瀬 健志郎 ♥佐竹 聡 ♠

川島 英之 ♦
今井 倫太 ♣

Kenshiro HIROSESatoru SATAKE

Hideyuki KAWASHIMA
Michita IMAI

スチャコンテンツを全てのロボットに適用することはできない．
本研究では，ロボットのジェスチャ情報を共有するために，ロボットのジェスチャを直示ジェスチャと軌道重視ジェスチャに分類した．さらに，それぞれの分類毎にジェスチャの変換アルゴリズムを作成した．直示ジェスチャは，ある目標物をロボットが指差すジェスチャである．直示ジェスチャは，動作軌道ではなく，動作終了時点における姿勢に意味がある．そのために，本研究では逆運動学 [3] を用いたアルゴリズムを作成した．一方，軌道重本研究の目的は，異種ロボット間でのジェスチャ情報を共有化

視ジェスチャの意味は，到達点ではなく，動作軌道自体にある．

することである．本研究では，ジェスチャの本質的な特徴に注目

軌道重視ジェスチャは，描写ジェスチャとその他のジェスチャのしジェスチャを 2 種類に分類した．それらは直示ジェスチャと2 種類に分かれ，それぞれ保持すべき軌道の特徴が異なる．そ軌道重視ジェスチャである．直示ジェスチャはある一点を指差すのため描写ジェスチャとその他のジェスチャで別のアルゴリズムジェスチャであり，動作の最終的な姿勢に意味がある．軌道重視を提案する．なお，本論文の詳細内容については [7] を参照され

ジェスチャは，ジェスチャの軌道自体に意味があり，軌道を平行たい．

移動させたり縮小した場合でも本質的な特徴を保存できる．それ

本論文の構成は以下の通りである．2 節で本論文で提案するぞれの分類毎にジェスチャの変換アルゴリズムを作成した．提案ジェスチャ共有機構を述べる．3 節で提案機構の評価を述べる．

手法の有効性を実験を通して示す．

最後に 4 節で結論を述べる．

The purpose of this paper is to share gesture
contents among heterogeneous robots. In this paper, we classified gesture in 2 types; pointing gesture and track gesture. Criteria of classification isfactors which are essential for each gesture. Pointing
gestures are used for pointing somewhere around arobot. Which direction an arm of a robot points isessential factor for pointing gesture. Track of gesture
itself is important for track gesture. Track gestures
can keep its essential factors by moving track horizontally or vertically. We made gesture translation
algorithm for each classification. The effectivenessof our approach is shown by experiments.

2.

ジェスチャ変換手法の提案

複数のロボットでジェスチャを共有するには，ロボット X におけるジェスチャをロボット Y で動作するように変換する必要がある．本節では，本研究におけるジェスチャの分類を述べる．
本研究では，文献 [6] で分類されている人間のジェスチャを，ロボットのジェスチャを変換する際に重視すべき特徴は何かという観点から 2 種類に分類し直した．どこかを指差すという動作は，動作軌道ではなく最終姿勢が重要なので，直示ジェスチャを一つのカテゴリとした．そして，最後のポーズではなく，手先や肘の軌道自体が大きな意味を持つジェスチャに関しては軌道重視ジェスチャに分類した．

2.1直示ジェスチャ

直示ジェスチャとは，ロボットが空間上の一点を指差すジェスチャである．このジェスチャで重要なのは最終的な姿勢であり、1.

はじめに急速に開発の進む様々なコミュニケーションロボットは，現実それに至るまでの動きは重要ではない．
直示ジェスチャのアルゴリズムでは，変換元のジェスチャから世界に作用できる高い表現能力により，ディスプレイを用いるよ

3 種類の情報 (指差しに使っている腕，差している方向，腕の縮み方) を入力として使用する．指差しに使っている腕は，ジェスりも柔軟な情報出力を実現できる新しいメディアとして期待されチャ作成者が自分で選択する．方向と距離については，ジェスている．

チャの内容から算出する．ここでは紙面の都合から方向算出についてのみ述べ，距離算出については省く．

♥正会員 日本 IBM KENSIRO@jp.ibm.com
正会員 筑波大学 kawasima@cs.tsukuba.ac.jp♠学生会員 慶應義塾大学 satake@ayu.ics.keio.ac.jp♣
非会員 慶應義塾大学 michita@ics.keio.ac.jp♦

1

指差し方向については，以下の 3 種類のベクトルを算出して用いる．

1. 肩から手首まで — 指差しに使っている腕の肩と手首の関節日本データベース学会 Letters Vol.6, No.1

論文

DBSJ Letters Vol.6, No.1を結んだベクトルを算出し，これを以下「肩-手首ベクトル」

スチャ実行中における一定時間毎の末端関節の 3 次元座標であと呼ぶ．

る．3 次元座標は，シミュレーション上で実際にジェスチャを実

2. 肘から手首まで — 指差しに使っている腕の肘から手首の関節を結んだベクトルを算出し，これを以下「肘-手首ベクト行させ，一定フレーム数毎に座標をプロットしていくことで求める．

ル」と呼ぶ．

物体描写ジェスチャのアルゴリズムは，ジェスチャ変換先のロ

3. 手首から手先まで — ジェスチャを作成したロボットに手首ボットの表現能力が低下しても 2.2.1 節で述べた 2 点の特徴を保から先の関節がある場合，指差しに使っている腕の末端とそ持する必要がある．そのため，物体描写ジェスチャにおけるジェの手前の関節を結んだベクトルを算出し，これを以下「手スチャ変換のアルゴリズムは，軌道全体に，(1) 水平移動，(2) 垂首-指先ベクトル」と呼ぶ．

直移動，(3) 前後移動，(4) 縮小，を施すことになる．3 種類の平腕の縮み方とは，ロボットの腕を完全にまっすぐに伸ばした状態と比べて，手の先がどれだけ身体の近くにあるかということである．腕の長さを A として，ロボットの肩から腕の先までの距離を D とすると，腕の縮み率 S は S = D/A で表される．そして，
3 種類の入力情報からの角度情報データの生成は以下の 3 ステップで行われる．

行移動の操作は，肩を中心とした球面上を平行移動する．我々の前提2 では，ロボットがジェスチャを行う際，それを見る人間は，正面からそれを見ている可能性が高い．よって，ジェスチャの平行移動は，なるべく人間の視界から外れないように行う必要がある．描写ジェスチャの変換アルゴリズムに関する手順を述べる．
まず最初に，算出されたプロット各点に逆運動学を適用し，変換先のロボットが手を伸ばせない点を求める．その後，水平方向，1. 指差しに使う腕の決定

垂直方向，前後方向にそれぞれ少しずつ移動させ，軌道の縦横幅「指差しに使っている腕」の情報から，指差しに使用する腕を縮小させる．

を決定する．そして指差しに使っていない方の腕は，まぎら

2.2.2

1

軌道範囲ジェスチャは，遂行的エンブレム，メタ談話的エンブわしさを回避するために関節の動きを 20% に制限する．

2. 指差し候補点の算出
次に，指差しに使用する腕の肩から半径 r の球内に，r × 0.1

レム，単語的エンブレム，および，話の登場人物の動作を真似する動作描写ジェスチャ(例：「投げる」) である．軌道範囲ジェス

間隔で指差し候補点が定め，各候補点に以下の 2 条件で逆運チャをジェスチャ変換の観点から考えると，軌道の動く範囲に同動学を適用する．そして逆運動学の成功点を全て指差し候補

ジェスチャの意味は与えられる．
軌道範囲ジェスチャの変換アルゴリズムでは，同ジェスチャの点とする．

• RPY(roll, yaw, pich) を「肘-手首ベクトル」として適用する．± 10 度までの誤差は許す．
• 肩から「肩-手首ベクトル」方向の直線からの距離がr × 0.1 未満の点で，RPY は無視される．
3. 指差し点の算出特徴である，手先と肘の動作範囲が重要ある点を反映する必要がある．そのため，本研究では身体のある点 (例えば肩) を中心に，周りの空間を上下左右前後の八象限に分け，ジェスチャの軌道において身体の別の点 (例えば手首) が八象限のどこを通るのかを重視するアルゴリズムを提案する．
軌道範囲ジェスチャの変換アルゴリズムにおける入力には以下

最終的なポイントは，肘と手先の 3 次元の空間座標が変換元のジェスチャと比べて一番近いものを選択する．ジェスチャの 4 種類がある．の変換元のロボットと，変換先のロボットで関節構造が異な• プロットの到達不可能点 — 軌道上の点全てに逆運動学を適る場合は，消失している関節を除いて考える．

2.2

用し，到達不能点を算出．

軌道重視ジェスチャ

• 軌道範囲を定義する際の原点と末端の点 — 手首の動きと肘軌道重視ジェスチャは，さらに細かく物体描写ジェスチャと軌の動きを計算し，八象限の原点と末端を設定．

道範囲ジェスチャに分類される．物体描写ジェスチャは物体の輪– 肘がほとんど動いていない場合は，肘を中心として末端郭や図形の描画を意味する．軌道範囲ジェスチャは，軌道重視を手首と設定．

ジェスチャの残りの部分を占めている．

2.2.1– 肘が大きく動いている場合は，肩を中心として末端を手物体描写ジェスチャ

首と設定．

物体描写ジェスチャは，空間上に何らかの物体や抽象的な表現• 八象限を行き来する順序 — 末端関節の八象限遷移順序をを描くジェスチャである．ジェスチャ意味論の観点から考えると，

記録．

同ジェスチャの意味は手先が描く軌道の形を保つことにより与え• 八象限を通過する際の座標 — 象限移動時の境界平面を通過られる．従って，物体描写ジェスチャの変換アルゴリズムでは，座標を記録．

(1) 軌道の形を回転させないこと，および，(2) 軌道の一部を欠落させないこと，の 2 特徴の保持が必要になる．
物体描写ジェスチャの変換アルゴリズムにおける入力は，ジェ12

軌道範囲ジェスチャ

今後出現するこれらの数字は我々の経験により決められている

続いて，変換元ジェスチャで算出された値を変換先ロボットに2ロボットが人間のほぼ目前でジェスチャを実行することを我々は前提としている．

日本データベース学会 Letters Vol.6, No.1

論文

DBSJ Letters Vol.6, No.1

当てはめる際の手順について説明する．軌道を近づけたり遠ざけ

表1たり，削ったりしながら到達不能点を少なくしていく．

3.

定量的評価の結果

Table 1 Result of Quantitative Evaluation

評価

本節では，本論文にて提案したジェスチャ変換機構について行った定量的評価と定性的評価を述べる．実験に用いたロボット

ジェスチャ

変換角度

提案

内容

対象共有手法

左を指差す

A2A2
A2
A2A2
B1
B1B1B1
B1B2
B2
B2B2

1.02
4.07
3.91
2.23
3.10
4.12
3.74
3.29
4.22
4.82
3.59
2.76
3.81
3.26

0.94
2.28
1.82
1.83
2.48
2.26
1.10
0.90
1.29
1.40
1.97
1.84
1.40
1.21

左上後方を指差すは以下の 4 種類である．

左上前方を指差す• Robovie-M[1]：全関節使用 (A1)
• Robovie-M：関節可動範囲を半分に制限 (A2)• Robovie-2[2]：全関節使用 (B1)
• Robovie-2：肘関節を固定 (B2)

バイバイ
菱形を描く
手招く
投げる

評価対象のジェスチャは，直示ジェスチャ3 種類 (左方指差，左左を指差す

上前方指差，左上後方指差)，軌道重視ジェスチャ4 種類 (バイバ

左上後方を指差す

イ，投げる，手招き，菱形描画) の合計 7 種類である．

左上前方を指差す

3.1

バイバイ

定量的評価

定量的評価は，OpenGL を使用したシミュレーションで行っ菱形を描くた．評価の基準は，アルゴリズム適用時と，角度情報変換時アル手招くゴリズム適用時と，関節角度のみ共有時のジェスチャが，どれだ

投げる

け元々のジェスチャと離れているのかを定量的に評価した．また，逆運動学を提案手法であるジェスチャ変換機構に組み込むにあたって、ライブラリとして ROBOOP[4] を採用した．ROBOOPとは，ロボットアームのシミュレーションのためのライブラリかった．この理由は，元のジェスチャが，ほぼ左を指差していたであり，C++ で全て記述されている．定量的評価の実験の環境為にアルゴリズム適用時に差がでなかったことにある．そしてについて述べる．実験は Linux マシン上で OpenGL を利用し，軌道重視ジェスチャの一部では，むしろ角度情報を共有するだけCG 上でワイヤーフレームのロボットを実装した．シミュレーよりも軌道差が大きくなったものがあった．肘を固定したロボッションの 1 フレームは 1/20 秒である．この CG ロボットは，以トに対して「投げる」のジェスチャを適用した場合がそれに当た下の値を変数としてロボットの各パーツを再現できるようになっる．しかし，結果にあるように平均すると腕半分の差が直示ジェている．現実のロボットは，Robovie-M と Robovie-2 でかなりスチャ，軌道重視ジェスチャの両方に出たので，定量的評価の点サイズに差があるので，両方のロボットの腕の長さを 5 として大では本研究の手法は効果を上げたと言える．

きさを揃えた．

3.2

CG ロボットにジェスチャを実行させ，ロボットの手首の座標定性的評価

定性的評価として，アルゴリズム適用時と，関節角度のみ共有のユークリッド距離をとり，どれだけアルゴリズム適用時の方が時のジェスチャを実際にロボットに実行させ，どちらの方が変換変換元と比べて近い軌跡を辿ったかを算出する．算出方法は直元に似ているかを被験者に主観的に判断させる実験を行った．こ示ジェスチャと軌道重視ジェスチャで異なる．直示ジェスチャにの実験では，各ジェスチャを，それが何のジェスチャなのか説明

ついては最後の到達点の手首座標のユークリッド距離 [5] を算出

付で見てもらい，その結果，変換前ジェスチャと似ているのは，し，軌道重視ジェスチャについては 0.2 秒毎にロボットのスナッ「アルゴリズム適用時」か，「角度のみ共有時」か，それとも「どちプショットをとり，各スナップショットにおける手首座標のユークらとも言えない」かの 3 択で選んでもらった．この結果を表 2 にリッド距離を算出し，その平均を算出する．以上の方法で算出さ示す．同表内の数字は，そのカテゴリを選択した人数を表す．まれたユークリッド距離を，定量的評価の結果として表 1 に示す．

た，それぞれのジェスチャについて何かコメントがあれば，それCG ロボットは両方共，腕の長さが 5 となるように最適化さも添えてもらうようにした．説明付で動画を見せた理由は，ジェれているため，直示ジェスチャ，軌道重視ジェスチャ共に平均しスチャを判断する人間が，そもそもそれが何のジェスチャなのかて腕半分弱の距離の差があったことになる．最も差が出たのは，理解していないと，そのジェスチャの意味情報が正しく保存されRobovie-M が腰の関節を使用したジェスチャを行った場合であっているかどうか判断できないと考えられるからである．ジェスた．腰関節は，他のどの関節よりも腕に近いために，手先座標チャの種類別に見ると，6 割以上がアルゴリズム適用時の方が似への影響が最大だったと考えられる．一方，ほとんど差が出ないていると回答したため，どちらのカテゴリに関しても，本研究のジェスチャも存在した．限界角度を半分にしたロボットへ「左を手法は成果を上げたと言える．一方で，変換先ロボット別の結果指差す」のジェスチャを移植した際は，到達点の差がほとんど無を見ると，関節の限界角度を半分にして Robovie-M に適用した結果だけ，他の 2 項目とほとんど差がないのが分かる．つまり，

3

日本データベース学会 Letters Vol.6, No.1

論文

DBSJ Letters Vol.6, No.1
表2

めには，定量的にかなり差があることが必要だと考えられる．

定性的評価の結果

我々の知る限り，本論文はロボットのジェスチャ変換アルゴリ

Table 2 Result of Qualitative Evaluation

ジェスチャ

変換

角度提案

判別

ズムに関する初めての報告である．本論文の詳細は，[7] から得内容

対象共有手法

手法

られる．

左を指差す

A2A2A2A2A2B1B1B1B1B140733420002926371010111063336
102
12B2B2B2B2040
1

1277
90
152

左上後方を指差す
左上前方を指差す
バイバイ
菱形を描く
手招く
投げる
左を指す
左上後方を指差す
左上前方を指差す
バイバイ
菱形を描く
手招く
投げる

人間から見た場合，角度半分のロボットに適用した場合は全く差がつかない場合が多く，むしろ角度情報のみを共有した場合の方[文献][1] Robovie-M. http://www.vstone.co.jp.
[2] 神田祟行, 石黒浩, 小野哲雄, 今井倫太. 人間と相互作用する自律型ロボット Robovie の評価. 日本ロボット学会誌, Vol. 44,
No. 11, pp. 2699–2709, 2002.
[3] O.Khatib. A unified approach for motion and fore control of robot manipulators: The operational space formulation. In IEEE Trans. Robot Automat. Vol. RA-3, pp.
49–62, 1987.
[4] ROBOOP. http://www.cours.polymtl.ca/roboop/.
[5] 川島英之, 今井倫太, 遠山元道, 安西祐一郎. センサデータ
ベースシステム KRAFT の設計と実装. 情報処理学会論文
誌：データベース, Vol. 45, No. SIG14(TOD24), pp. 39–53,2004.
[6] 喜多壮太郎. ジェスチャー考えるからだ, 2002.
[7] 広瀬健志郎, 川島英之, 佐竹聡, 今井倫太. 異種ロボット間でのジェスチャ情報の共有化. 電子情報通信学会第 18 回データ工学ワークショップ, 2007.

が似ていると回答する被験者も多数いた．

4.

結論

本研究は，異種ロボット間でジェスチャ情報を共有するため

広瀬 健志郎 Kenshiro HIROSE
日本 IBM GBS 事業アプリケーション・サービス アプリケーショ
ン・イノベーション・サービス メインフレームシステム開発 第のシステムであるジェスチャ共有機構を提案した．ジェスチャ共二デリバリー．慶應義塾大学大学院卒業．日本データベース学会

有機構の課題は，ジェスチャの情報を効率的に共有することで正会員．

あった．

川島 英之 Hideyuki KAWASHIMA

この課題を解決するために，我々はジェスチャを直示ジェス

博士 (工学)．筑波大学大学院システム情報工学研究科，(兼) 同大

チャと軌道重視ジェスチャに分類した．直示ジェスチャはどこか

学計算科学研究センター，講師．日本データベース学会正会員．

を指差すジェスチャであり，最後のポーズが本質的な特徴である．

佐竹 聡 Satoru SATAKE

軌道重視ジェスチャは，ジェスチャの軌道自体に意味があり，軌慶應義塾大学大学院 開放環境科学専攻コンピュータサイエンス

道を並行移動させたり縮小した場合でも本質的な特徴を保存でき

専修 後期博士課程在学中．日本データベース学会学生会員．

る．それぞれの分類毎にジェスチャの変換アルゴリズムを作成し今井 倫太 Michita IMAIたことで，ジェスチャの意味情報の共有が実現できた．

博士 (工学)．慶應義塾大学理工学部情報工学科，准教授．

定量的評価の結果から，手先の物理的位置という観点からは，ジェスチャ変換アルゴリズムが十分に機能することが示された．
定性的評価の結果では，関節の自由度が減少する場合には十分に対処できた．一方，限界角度半分のロボットに対しては全く効果が得られなかった．
定量的評価と定性的評価をまとめると，3 つの知見が得られる．
第 1 に，関節の自由度が減った場合には，その他の関節をさらに回すことで，元々のジェスチャと類似した印象を与えるジェスチャを行うことができる．第 2 に，関節の限界角度が全体的に低くなってしまうと，ジェスチャの意味情報を保つことができない．

3 次元座標の位置が近くても，人間の印象としては不自然に感じてしまうことが多い．第 3 に，人間の目から見て違いが分かるた

4

日本データベース学会 Letters Vol.6, No.1