「インタラクション，97」 平成9年2月

ヒューマンインタフェースとしてのジェ．スチャー認識浮田

1早稲田大学 理工学部応用物理学科〒169 東京都新宿区大久保3−4−1
TEL：（03）5286−3233 FAX：（03）3202−7523
e−mail：SaWa＠shalab．phys．waseda．acJP，Shqii＠shalab．phys．waseda．acJP

2東邦大学 理学部 情報科学科〒274 千葉県船棉市三山2−2−1●e−mil：matt＄ima＠is．sci．toho−u．aCJP＊日本学術振興会特別研究員

あらまし：意志や感情の伝達においては、言語以上に非言語的手段による七ころが大き、いといわれる。身振り手振りなどのジェスチャーはその代表的なものである。データグロー

ブ、ポジションセンサおよび小型3次元加速度センサを用いて、5指の屈曲、空間的な手の配置、腕のダイナミカルな動きを検出することにより、ジェスチャ認識をおこなった。

現在はジェスチャーによる柔軟なヒューマンインタフェース実現に向け、手話の認識およびデータベースの構築、音楽制御への応用を試みている。

AStudyofGestureRecogmitionasHumanhtetface
比deyukiSawadal＊，Sh咄HashimotolandToshiakiMatsushima21Dq）artmentOf4ppliedmysics，SchoolofScienceand血gineehg，WASEDAUhiversity
3−4二1，Okubo，Shirtiuku−ku，Tokyo，169，Japan

2DepartndofInfbrma血Sciences，TOHOUmiversity＊

ResearchFel10W・oftheJq）anS∝ietyfbrdIePromotionofScien00

Abstract：Gesttmplaysanim匹机肌trOlein0∬dai1ylifeashonved）alm由iafbreIm也Onalhumm
COmication．ThispgerproI氾SeSageSturereCOgmidonalgori也musmgdatagloves，POSitionsensors
and．accelera也On SenSOrS tOundustand hand pstures and hmandynamic movenx：ntS．Twoexpenme血alsystemarealsodescribc4fbrdlerealiza也onofrh：Whuman−madhineinterface仙rmgh
ges血托S・−25−1．はじめにの始まりと終わりの検出もロバストに行うことが可能となった。

我々の日常生活における情報伝達においては、身体メディアによる非言語的手段が音声による言語的手段に劣らぬ機能を持っている

2．ジェスチャー計測と特徴パラメータといわれる【1】【2】。身振り手振りなどのジェス

2−1．3次元加速度センサ

チャーはその代表的なものであり、特に意志加速度の計測には、ジャイロをはじめとしや感情の伝達においては大きな役割を果たして様々な手法が用いられているが、ジェスている。ジェスチャーは日常の対話においてチャー認識に用いるには、手軽に扱えて、か自然に現れるばかりでなく、言語障害者あるつ手先などに装着した場合に自由な運動が行

いは言葉の通じない異国人の問の会話では主える必要がある。また、腕の運動加速度は極要なコミュニケーション手段となっている。
また音楽では、指揮者は指揮法に基づいた身

めて大きく通常の運動でも最大値は20Gを越えるため、測定のレンジも大きくなければ振りや指揮棒の動きによって楽音表現を演奏ならない。ここではおもりの変位を測定する者に伝え、演奏者は楽器を通してこの表現を簡単な加速度センサを用いている。

音響に変換する。さらに、演奏者の楽器は動図1にその内部構造を示す。大きさは縦2る。通常、人間に対して用いられるこれらの0叩m、帽1年mm、高さ12mmで、重量は12．5gと小型軽量なため、容易に体のジェスチャーが機械によって理解できれば、一部に取り付けることができる。センサ内部

伝達者の感情や情緒などの微妙な表現にも対にはちγ，ヱ軸方向の加速度を独立に検出するために、各々の軸方向で金属おもりが圧電素作から音響への感性的な変換器であるといえ応できる自然な入力手段となり得るであろう。
筆者らはこ▲れまでに画像処理やデータグ子に接続してある。測定範囲は、−25−＋ローブ、加速度センサを用いたジェスチャー25Gであり、加速度にともなう圧電素子の認識手法を検討してきた【3】一【7】。前者の2つ電圧が出力される。この出力は増帽されA／は、空間的な手の配置あるいは5掃の屈曲なD変換ボードを通じて12ビットのデジタルどを基にしてジ土スチャーを認識するものである。一方後者では、人間の意志や感情が、値として計算機に取り込まれる。感度は1Gあたり約5mVである。なおドリフト除去の手などの位置よりもむしろ身体に加えられるために、速断周波数3Ikの低域除去フィルタ力に顕著に現れると考え、運動加速度の直接をアンプ入力前に通している。

加速度センサからは、ズ，γ，Z方向の加速度検出によりジェスチャー認識も試みた。

本論文では、これら3次元加速度センサと値が伽仙，αγ（れαオりとして得られる。なお本

データグローブによる手法を痍合したジェス研究でセンサを手の甲に固定して使用する場チャー認識について述べる。さらに実時間手合には、指先の向きがセンサズ軸の負の向きと話認識への拡張と手話単語データベースの構築、およびジェスチャーによる音楽制御への応用について報告する。ジェスチャーの形状ばかりでなく動作のダイナミクスを考慮することにより、従来手法に比べてより多くのCむ血也

ジェスチャー認識が可能となったばかりでな
く、従来より問題となっていたジェスチャー

図1 3次元加速度センサの構造

−26−

伽m

サンプリング周波数ではあるが、ここでは最チャー認識を行うことに￣重点をおいた。図3に、yて面の加速度軌跡の例を示す。
各射影加速度ベクトルの時系列から、表150

当局＞盲冒占■ ■1・l畑︒︒︒︒

小限の加速度データを用いて実時間でジェス00に示す11個の運動特徴パラメータの抽出を行う。ここでは、実時間ジェスチャー認識を0O50（め 加速度センサの出力08可能とするために最低限必要と思われる運動0化の大きさ、回転運動の方向、動作の向きを4∧V2 ∧V

冒且lゴさゴ0の特性として、運動によって生じる加速度変用いている。ここで得られる特徴は、主として動きの動的特性となる。

々O O（み）ポジションセンサの出力

表1加速度センサの特徴パラメータ

図2「円を描く」動作による各センサの出力例

動きの激しさの特性（加速度ベクトルの変化）なるよう統一している。図2（αいこ、y−Z面で回転方向特性

円を描く動作をおこなったときのセンサ出力（ベクトル間の外積）

主動作の方向特性値の例を、後述のポジションセンサからの出（ベクトル外接四角形の縦横比）力値との比較で示す。各軸方向に取り付けら方向の分布特性れたおもりの変位を測定するという本センサ（ベクトルの方向分布）の構造上、3軸の加速度値の分離が不十分で干渉がみられる。この3次元加速度ベクトルの時系列パターンから、ジェスチャーの認識を行うのであるが、ダイナミカルな動作から得られる加速度データの場合、単なるベクトル系列のパタ Tンマッチングでは高い認識率が得られない。ジェスチャー連動の大域的な特徴を抽出する必要がある。ここでは運動の直感的な把握を容易にするために、次のよう（a）ClockwiseRotadon（b）SingleShakeな3つの2次元ベクトルに基づいて運動の特徴を抽出している。

Al「り三（呵仙αオり），A2（り≡（αオれ伽（研A3何ヒ（叫り，呵（り）（1）

ここでAl（れAユ（れA3（りは、それぞれツーZ平面，Z一ズ平面，ズーγ平面へ射影した加速度ベクトルである。データ取り込み周波数．和は30Hzとしている。これは急激に方向や速度をな動きを計測するには適しているが、ジェス変えるような運動の計測においては不十分な

チャー、特に手話においては手持の静的な形

2−2．、デ」タグロープ
前述の加速度センサは身体のダイナミカル−27−

状も大きな意味を持っている。そこで本シスターンを作成してから認識モードに入る。こテムでは、・データグロ」プとポジションセン

れにより特定動作者の認識が実現できサを用いて手の形状および3次元位置の実時りでなく．、認識させたいジェスチャーを自由間計測をおこなっている￣。本データグローブに選ぶことができる。

は、曲げセンサを指裏側部分に配置することまず、学習モードで認識させたい動作のサによって指の曲げ角に応じた出力が得られる。

ンプルを〟回づつ入力し、前書己の各連動特徴パラメータについての平均値g㌔および標準

更に手の甲部分に固定されたポジションセン

サによって、手の3次元位置ズ，γ，Zと、姿勢としてピッチ、ロール、ヨ一角も得ることが偏差〟を次式で求め、各ジェスチャーgにできる。ポジションセンサによる3次元位置では試行回数〟は5とした。

対する標準パターンデータを作成する。ここ座標は、地上を基準とする人間の座標系と一E㌔＝Ⅴ㌔f致し、鉛直上方をヱ軸正の向き、手前側をズ軸正の向き、左をγ軸正の向きと設定した。

（2）〟∑（Ⅴ㌔いg㌔）2〟＝

データグローブ及びポジションセンサから

（3）

毎1

V：ParameterValuesの出力をもとに、表2に示す18個の特徴パ

α：P−sandR−s

ラメータが抽出される。これらのパラメータ

認識モードでは未知動作を行うたびに各パは、あらかじめ使用者の体型に合わせてジェラメータについて標準パターンの平均値E㌔スチャー空間を設定することによって、規格化されたものである。使用者はまず、前後、左右、上下の位置限界値と最大運動速度の入力を行った上で、手の初期位置の設定を行う。との二乗誤差を計算し、それぞれ標準偏差〟の二乗つまり分散億で割って規格化したものを重み付き誤差とする。これを各標準パターンごとに特徴パラメータαについて加えポジションセンサから得られる位置パラメー合わせたものをパターンの相違皮ggとする○タR5−R7は、この初期位置を基準として算出される。さらに手形状のパラメータRO・R4は、e,あらかじめ指の曲げ伸ばし動作を行うことにざ▼α 号（4）（〟）2よって規格化が行われる。

V′：P好打IleterV山ues

表2 デ∵タグローブの特徴パラメータ
Ro＿R4
Rs‑R777
Rs＿RlO
Rll＿R13R14＿R16R17′ （Ⅴα一方㌔）2

相違度が最小で、かつ下式（5）に従って決める

五指の曲げ角

しきい億丁鳥よりも小さいものを標準パターン

手の3次元位置
過去10入力からの平均速さ
過去10入力からの速度絶対値の平均から選び認識結果とする。T九は、対象とするジェスチャーの標準パターン間の最小距離に手の姿勢（ピッチ、ロール、ヨ一角）相当する。

直線軌跡からのズレ

ち＝mh（Ⅴ㌔ −g㌔り2
1（5）
（〟り2

i≠ノ

3．ジェスチャー認識

ぬ一山lf，J

ジェスチャー認織には、加速度ベクトル及

gいgノ：Gestweりびデータグローブから得られる特徴パラメー
縦振り、横振り、斜め振り、時計回り、反タを利用し、認識アルコリズムは個人対応型

時計回り、強い−ひと振り、星を措く、三角形としている。システムを使用する前にあらかを措く、ハートを措く、方向指示、胸の位置

じめ学習モードで個人の連動特徴の標準パ−28−

に静止、というたジェスチャーについて認識

あなたYou実巌をおこなった結果、100％の認識が可S▼

能であ、つた。日常生活でよく用いられる手振りは、これらのジェスチャーのうち、縦振り、：手話意味

bsbbb wuuu

：右手／左手形状

s＝St血ght，匝Bend，u＝無視
D5 Dll右手／左手動作

横振り、斜め振り、回転、ノ強いひと振り、方E bsbbb uuuuu

右手／左手形状

向指示といった単体の動作、或いはそれら幾楽しいHa押y

手話意味つかの組み合わせが多いと考えられる。一方

S sssss sssss

右手／左手形状

で、・画像処理などを用いた場合に実時間認識

D3 D4

右手／左手動作＄SSSS SSSSS

右手／左手形状が困難と思われる、星形、三角形、ハート型Eといったジェスチャーが3次元加速度パター

手話意味

右手／左手形状bb

手話単商商議bSS加触DlbSSbS

4−1．手宙データベースの♯集とbS

4．ジェスチャー認識の応用

右手／左手形状加諾

ことがわかった。

右手／左手動作SSSSS SSSSSヒ

JJ﹁ン及びポジションデータから意識可能である

D4 D3

右手／左手動作右手／左手形状
右手／左手動作右手／左手形状

図5 ジ ェスチャーデータベース記述例
hU

現在日本語手話には、約3000単語あるといわれている。しかし多くの手話は、いくスの構築を試みている。データベースには手すことができる【8】。図4に手話で用いられる代表的な動作方向を示した。−今回はこの11

話単語が、前述の基本動作とそれに付随する手形状データの列によって記述される。図5の動作方向を基本動作として取り上げ、これに本データベースにおける手話単語記述例をに手形状および動作位置を加えることにより示す。本システムでは、両手にそれぞれデー手話単語の認識をおこなっている。

タグローブ、手の甲部分に固定したポジショ

LU

つかの単純なジェスチャーの組み合わせで表hU

ンセンサ及び加速度センサを装着することに更にわれわれはこの性質に着日し、基本動よって基本動作の認識をおこない、手話の作の組み合わせをもとにした手話データベー

データベース登録、手話単語の認識、データベースからの手話単語の意味検索をおこなう。
D卜

図6に手話認識システムの流れを示す。ま。。

ず時系列データから特定のジェスチャーを認D2三＝識するためには、その始まりを検出しなけれD↓ばならない。ここではジェスチャーの開始は、D

ポジシヨゝンセンサからの位置情報と加速度のoL絶対値の大きさで判断する（図2（可，（み）参照）。ポジションセンサでは、初期位置から

Down

D9′ 「A血の移動が検出されたときに手話動作の始まり

DlOとみなされる。加速度からの判定では、使用wa血g者の非動作時の手ぶれの大きさをあらかじめ測定しておき、これよりも大きな加速度入力

図4 代表的な手話の基本動作方向

ー29−があった場合に、ジェスチャー開始の候補として選ばれる。このどちらかの信号を検出し4−2．ジェスチャーによる音楽制御

た時点でジェスチャー認識アルゴリズムが実制御するシステムの試みは多い【9】−【12】。しか行される。このアルゴリズムで対象とするジェスチャーは、図4で示した11個の基本しながら、これらの多くは専門家向けに特化されたシステムであり、システムの大きさ、動作の列および手形状である。この認識結果

使用環境の制限、使用方法の複雑さ、などのはジェスチャーテーブルにそれぞれジェス問題がある。ここでは提案したジェスチャー

チャー基本動作パターン列としてシーケン認識を応用して、捷作が簡単で誰にでも使用シャルに書き込まれて行き、手話データベーできる音楽演奏制御システムの製作を試みた。

スを参照することによって手話単語が認識さ

大きなジェスチャーからは大きな音が作ら

これまでにも人間の動作により音楽演奏をれる。現在までに、日本語50音の指文字と、れる、あるいは指で指し示した方向に音源が自己紹介や日常生活でよく使われる30程度の手話単語の登録をおこない、その実時間認生成される、音楽に合わせて手拍子をすると識を実現している。11の基本動作単体についてはほほ100％の認識が得られているが、される音響の間には、ある程度納得のいく関係が存在する。その一方で、音色、ピッチ、

例えば図5に示した「北」のようにD4→D2

曹長、残響、エフェクタといった菅生成パラと一つの手話単語内で動作の方向が変わる場

メータを操作することによって音楽を生成し合、ていく過程では、使用者が自分の好みのジェ除が現在の課題となっている。

スチャーを用いることができれば、楽器固有いったように、ジェスチャーとそこから生成の操作法にとらわれることなく音楽を創作していくことが可能となるであろう。本システ
Acc．Sensor PositionSensor DataGlove

ムでは、前者を演奏制御ルールとして持ち、また後者については対応関係を学習させることによって、演奏者が実時間で音楽、音響を生成し、演奏に介入することが可能となる。
試作したシステムの流れを図7に示す。左手にデータグローブを、ここでは加速度セン

サを2個用いて、一つを右手に他の一つをジェスチャーを認識しやすい足や頭などの身体部分に取り付ける。
まず、演奏開始、終了、コマンド選択といった音楽制御システムの実行に必要な、システムコマンドジェスチャーを登録する。このコマンドジェスチャーと演奏制御ルール

ジェスチャーにより、使用者はまず音色を選択し、空間に配置することによって音響の生成を行う。演奏開始コマンドにより楽音が生成されてゆくが、ここでは演奏者の指揮動作から抽出されるテンポ、音量情報に従って演

図6 手話単語認識の流れ−30−

には、演奏者は計算機の演奏に合わせて指揮動作をおこなって行くが、甲者のテンポの同期が起こった時点から徐々に演奏の主導権が人間の演奏者に移って行く。これによりスムーズな演奏を可能にしている。図8にテンポ検出の例を示す。

5．まとめ
加速度センサ、データグローブおよびポジションセンサを用いたジェスチャー認識とその応用について報告した。ここでは、シンプ
ルなハードウエア構成と単純な認識アルゴリズムによる実時間ジェスチャー認識を提案した。これを手話認識および音楽の制御に用いることにより、ジェスチャーを用いたマン・マシンインタフェースの入力部としての手がかりが得られたと考えている。
ジェスチャーは人間の微妙なニュアンスを表すのに通したメディアである。その一方で

図7 音楽制御システム

ジェスチャーが果たす役割の大きい微妙な感情表現などのパターン化は困難である。ここで述べたジェスチャー認識手法では容易に取得データの時間分解能を上げることが可能であり、身体に及ぼされる細かなカのパターンと感情表現との関係を詳細に調べて行くことが今後の課題であると考えている。また、本
手話認識システムを用いて手話動作を解析、分類することによって、カバターンと手形状
図8 演奏テンポの検出データをもとにした手話辞典の構築を目指している。

奏が進行していく。演奏進行中には、コマン

このようなジェスチャー認識の適用により、ド選択のジェスチャーによって、テンポが保音楽、手話ばかりでなく多くの分野に利用で持されたまま、ジェスチャーと音響パラメー

きる感性豊かなマン・マシンインタフェース

タの関係の学習、音響パラメータの振作などが実現できると思われる。例えば、ジェスが可能である。

チャ認識を用いてジェスチャーとコマンドをこれによって自由なジェスチャーを用いて3次元空間の音響、楽音を生対応付け、マウスでポインティングしながら成していくことができる。パラメー

片手のジェスチャーで操作するCADシステ

タ変更後には、演奏者が指揮動作によって再度演奏のムなどが考えられる。

進行に介入することが可能である。介入の際−31−

本研究の一部は、文部省科学研究費（重点 ●●VirtualPerfbrmer‖，Proc．ofICMC，PP．138−145，（2）「感性情報」課題番号06212225及び「人工1993

現実感」課題番号07244221）によっている。

【11］ Rubine，D．and McAvinney，P．，一Videoharp

文 献，Pr∝．OfICMC，PP・49−55，1988【12］Rbkeby：［1】黒川隆夫「ノンバーバルインタフェース」、

BdyLanguageSbow，A仙mta（1988）

電子情報通信学会編、オーム社、1994【2】金山宣夫「世界20ケ国ノンバーバル辞典」、研究社出版、1983【3］Morita，H．，Ohteru，S．and Hashimoto，S．，●■CornputerMusicSystemthatFo110WS AHu打払nConductor，IEEECoI叩uter，Vol．24，No．7，PP．45−

53，1991【4］Sato．AりHarada，T．，Hashimoto，S．andOhteru，S．，‖Singmgand PlayinginMusicalVirtualSpace‖，
Proc． of htemational Co叩uter MusicConference（ICMC），PP．289−292，1991【5］Sawada，H．and Hashimoto，S．，

MusicalPerfbrmanCe System Using 3D Accelera也onSensor， Multime鵬a Mode止ng Tbwards

mia也皿Supethighway，WorldScien雌C，1995，
pp．293−306【6】津田秀之、橋本周司「加速度センサを用いたジェスチャー認識と音楽制御への応用」、
電子情報通信学会論文誌VOL．J79−A No．2，
pp452−459，1996【7］Sawada，H．，Onoe，N．and Hashimoto，S．，
一Accelera也on Sensor as anInput Device fbr
MⅥSicalBⅣiro加眠nt，Proc．ICMC，PP421−424，

1996【8］Ⅹim．］．，Jang，W．．andBienZ．，．

A DynamicGesture Recognition Systemfbr血eKorean Sign
Language（KSL）一．，IEEE取ans．onSystems，Man
andCybeme也cs・PaftB：Cybemetics，Vol．26，No．2，

April，1996【9］Keane，D．andGross，P．，

TheMidiBaton，Pr∝．

OfICMC，PP．151−154，1989【10］ Katayose，H．，Kanamori，T・，・Kamei，KりNagashima，Y．，Sato，K．，Inokuchi，S．andSimura，S．，−32−

一，ACMSiggraphArt

ne