(57)【特許請求の範囲】
【請求項１】
手の動作を検出するためのセンサと、上記検出された手の動作の特徴を計算する特徴抽出部と、あらかじめ単語などのパタンを登録し格納する標準パタンメモリと、該登録されたパタンと上記手の動作の特徴との類似度を求めるパタンマッチングを行うパタンマッチング部と、上記手の動作から単語の境界を検出する単語境界検出部と、上記パタンマッチング部の出力と上記単語境界検出部の出力とから手話の単語列を求める手話単語列検出部とを有し、
上記手話単語列検出部は、上記検出された境界にまたがって検出されるパタンにはペナルティをつけて認識を行うことを特徴とする手話認識装置。
【請求項２】
請求項１記載において、上記特徴抽出部は、上記検出された手の動作から、手の動作速度とその極小点および手の形の変化を検出し、手の動作速度が極小点となる位置間の空間上の距離を計算することを特徴とする手話認識装置。
【請求項３】
請求項１記載において、上記単語境界検出部は、上記特徴抽出部の出力に基づいて、手の動作速度の極小点および、手の動作速度がある一定値以下の区間の始点と終点をそれぞれ境界候補として検出し、境界候補のうち繰返し動作により生じる極小点や他の同一動作中に生じる極小点を除いたものを境界として検出することを特徴とする手話認識装置。
【請求項４】
請求項１記載において、上記単語境界検出部は、上記特徴抽出部の出力に基づいて、手の形状の変化や繰返し動作の有無により、分割された区間の動作の特徴付けをすることを特徴とする手話認識装置。
【請求項５】
請求項１記載において、上記標準パタンメモリには手話単語を表現位置により分類し登録し、上記パタンマッチング部は、パタンマッチングに際して上記検出された手の動作の空間位置には表現されない手話単語は、パタンマッチングの対象から外すことを特徴とする手話認識装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、手話を入力手段とする手話通訳や情報検索等を行なう装置における手話認識装置に関する。
【０００２】
【従来の技術】
従来、手話の認識は例えば、特願平４−２４７２８５号や特願平４−２３５６３３号記載のように、カメラや手の動作データを取り込むセンサから、あらかじめ単語単位の手話を登録しておき（これを以下標準パタンと呼ぶ）、認識時には、同様にカメラやセンサから入力された手話パタン（これを以下入力パタンと呼ぶ）と各単語の標準パタンとのパタンマッチングを行い、入力パタン中に含まれる手話単語列を求めていた。このパタンマッチングにおいては、例えば、特開昭５５−２２０５号記載のパタンマッチング法（連続ＤＰマッチング法）を用いることにより、標準パタンに対して時間的に伸び縮みした入力パタンからでも正しく含まれる手話単語列を求めることが可能である。この出力としては、図２のように、正解の単語以外も単語の候補として求まる。この中から、例えば、文法的、意味的に正しく、最も類似した単語列を正解として出力する。
【０００３】
【発明が解決しようとする課題】
上記従来技術では、入力パタン中の手話単語列の認識は、パタンのマッチング結果からボトムアップに求めていた。このため、図２のように、正解の単語列のほかに、候補となる単語列が多く求まってしまう。この候補から文法や意味の知識などを用いて正解を求めるが、候補が多過ぎると非常に多くの時間がかかるほか、正解でない単語の組合せでも、尤もらしい解釈ができる場合もあり、解を１つに絞れない場合もある。
【０００４】
本発明の目的は、上記候補数を削減することにより、認識の処理時間を短縮するとともに認識性能を向上させることにある。
【０００５】
【課題を解決するための手段】
あらかじめ単語などのパタンを登録、格納し、認識は登録されたパタンと入力とのパタンマッチングを行うことにより実現する手話認識装置において、入力を単語や文節などの意味あるまとまりに分割し、分割点にまたがって検出されるパタンにはペナルティをつけて認識する。
【０００６】
手話における手の動作から、手の動作速度とその極小点、手の形の変化、および手の動作速度が極小点となる位置間の空間上の距離を特徴として検出する。
【０００７】
そして、手の動作速度の極小点および、手の動作速度がある一定値以下の区間の始点と終点をそれぞれ境界候補とし、更に境界候補のうち繰返し動作により生じる極小点や他の同一動作中に生じる極小点を除いたものを境界として検出する。
【０００８】
また、手の形状の変化や繰返し動作の有無により、分割された区間の動作の特徴付けを行う。
【０００９】
手話単語を表現位置により分類し登録する手段と、パタンマッチングに際して現在マッチングの入力パタンの空間位置には表現されない手話単語は、パタンマッチングの対象から外す。
【００１０】
【作用】
単語の境界が検出されるため、その境界にまたがって検出される単語は正解でない単語と判定でき、候補の可能性が低いと判定可能となる。また、境界にまたがる単語はパタンマッチングの際にペナルティが課せられるのみで、切り捨てられることはないため、単語境界の誤検出で正しい候補がなくなることはない。
【００１１】
また、分割区間の動作の特徴付けを行うことにより、その区間に存在可能な手話単語を限定することができ、候補を絞り込むことが可能となる。
【００１２】
【実施例】
以下、本発明の一実施例を図１を用いて説明する。
図１は、本発明を手話認識装置に適用した場合の一実施例の構成図である。図において、１は、例えば１／３０秒毎に、手の位置や指の曲がりを検出するためのセンサ、２は、手の動作速度、手の形の変化などの特徴を計算するための特徴抽出部、３は、手話入力から単語の境界を検出する単語境界検出部、６は、認識したい手話単語の標準パタンを登録するための標準パタンメモリ、４は、入力と登録された標準パタンとの距離を計算する距離計算部、５は、距離計算部４の結果に基づいて、入力中の標準パタンの存在位置やその類似度をもとめるためのマッチング部である。そして、７はマッチング部の結果から、文法規則や意味に関する知識を用いて、実際に表現された手話の単語列を求める手話単語列検出部である。特徴抽出部２は、距離計算部４や標準パタンメモリ６にはセンサ１からの入力をそのまま送る。ここで、センサ１としては、例えば、データグローブ（ＶＰＬ  Ｒｅｓｅａｒｃｈ社製）を用いることにより実現可能である。
【００１３】
以下、まず認識の基本的な処理について説明する。認識に先立って、まず装置に認識したい手話の単語を標準パタンメモリ６に登録する。登録時には、特徴抽出部２はセンサ１の出力を、そのまま標準パタンメモリ６に送り、格納する。この１／３０秒毎に求められる特徴パラメータは、次のように表すことができる。
【００１４】
【数１】
Ｙ＝（ｙ１，ｙ２，ｙ３，．．．ｙｎ）
ここで、ｙ１，ｙ２，ｙ３は、例えば、手のＸ座標、Ｙ座標、Ｚ座標である。他に、特徴量ｙとしては、各指の第１、２関節の曲がり角度なども含まれる。以下、この１／３０秒単位をフレームと呼ぶ。ここで、Ｊフレームから成る（１秒の単語は３０フレームと成る）単語標準パタンの特徴パラメータは、１フレームの特徴ベクトルの時系列として、次式のように表せる。
【００１５】
【数２】
Ｙ＝Ｙ１，Ｙ２，Ｙ３，．．．，ＹＪ
さて、距離計算部４は、入力パタンと各標準単語パタンの各フレーム間の距離を計算する。すなわち、特徴抽出部２より、入力パタンの１フレームの特徴ベクトルＸｉが送られてくる度に、この特徴ベクトルＸｉと全ての標準単語パタンの全てのフレームの特徴ベクトルとの間の距離（例えばユークリッド距離）を計算する。この距離の小さい標準パタンが良く似たパタンとなる。例えば、入力パタンのｔフレーム目の特徴ベクトルＸｔとある標準単語パタンのτフレーム目の特徴ベクトルＹτとの間の距離ｄ（ｔ，τ）は次のように計算する。
【００１６】
【数３】
0003554571.tif 000002
【００１７】
次に、マッチング部５は、入力中の標準パタンの存在位置ならびにその類似度を求める。本処理は、次のようにして実現可能である。すなわち、距離ｄ（ｔ，τ）が計算され、送られてくると、次の距離の累和を計算する。
【００１８】
【数４】
Ｄ（ｔ，τ）＝ｄ（ｔ，τ）＋Ｄ（ｔ−１，τ−１）
ここで、Ｄ（ｔ，τ）は、その時点（ｔ，τ）までの距離の累和の中間結果である。ただし、標準パタンの１フレーム目の中間結果は、次の式により求められる。
【００１９】
【数５】
Ｄ（ｔ，１）＝ｄ（ｔ，１）
標準パタンとの類似度（距離）Ｓは、標準パタンの最終フレームにおける距離の累和の中間結果をＤ（ｔ，ＳＦＮ）とおくと、
【００２０】
【数６】
Ｓ（ｔ）＝Ｄ（ｔ，ＳＦＮ）／ＳＦＮ
となる。ここで、ＳＦＮは、マッチング対象の標準パタンのフレーム長である。この距離の累和Ｓの時系列が極小を示す位置が、標準パタンの単語が入力パタン中に存在する終点の位置の候補の点となる。そして、その時の類似度がＳである。その単語の始点位置は、その終点位置から標準パタンのフレーム長ＳＦＮだけさかのぼった位置である。このようにして、マッチング部６は、入力パタンの認識を行う。この標準パタンとのマッチングは線形マッチングであるが、時間の伸縮を整合しながら行う方式に連続ＤＰマッチングと呼ばれる方式がある。このマッチング法を用いることにより、より柔軟な認識が可能となるが、マッチング法の違いが本発明に直接関係しないため、以下では上記の線形マッチング法に基づいて説明する。
【００２１】
さて、特徴抽出部２では、手の動作速度、手の形の変化を求める。手の動作速度ｖ（ｔ）は、センサ１から送られてくるｔフレーム目の手のＸ座標、Ｙ座標、Ｚ座標位置をそれぞれｙ１（ｔ），ｙ２（ｔ），ｙ３（ｔ）とすると、
【００２２】
【数７】
ｖ２（ｔ）  ＝（ｙ１（ｔ）−ｙ１（ｔ−１））２＋（ｙ２（ｔ）−ｙ２（ｔ−１））２＋（ｙ３（ｔ）−ｙ３（ｔ−１））２
により求まる。ここでｙ１（ｔ−１）は、ｔ−１フレーム目における手のＸ座標位置である。また、手の形の変化に関しては、各指の第１、２関節の曲がり角度の特徴量ｙについて、上式によりフレーム間での変化量を求める。ここで、変化量は、１フレーム前との変化量ｄｈ１のみでなく、２フレーム前との変化量ｄｈ２、３フレーム前との変化量ｄｈ３も求める。また、手の動作速度ｖ（ｔ）の極小点が検出されると、図３のように、それ以前の極小点の手の位置との距離を上式により求める。ここでも、１つ前の極小点との位置の距離ｄｉｓｔ１のほか、２つ前の極小点との位置の距離ｄｉｓｔ２も求める。
【００２３】
さて、単語境界検出部３は、図４の手順で単語境界を検出する。まず、ステップ３１では、手の動作速度の極小点および、手の動作速度がある一定値以下の区間の始点と終点をそれぞれ境界候補として検出する。動作速度の極小点は、繰返し動作や手の変動でも生じる。手話の単語では、例えば手話単語「何」は、人差指を立てた手を左右に振る。このため、単語内で動作速度の極小点が生じてしまう。このため、ステップ３２で繰返し動作などにより生じる極小点を検出し、候補から外す（図５）。さらに、ステップ３３では分割された区間の手話の特徴付けを行う（図６）。
【００２４】
ステップ３２における、同一動作中に生じる極小点は次のようにもとめる。手話では、単語内では手の形状を一定に保つ手話が多い。このため、
（ルール１）前後の極小点と手の形状が一定である極小点は、単語内とする。
【００２５】
次に、繰返し動作は、前後、上下、左右の反復動作となる。このため、
（ルール２）１つ前の極小点との位置の距離ｄｉｓｔ１、２つ前の極小点との位置の距離ｄｉｓｔ２に、ｄｉｓｔ２＜ｄｉｓｔ１の関係があり、ｄｉｓｔ２が一定閾値以下の場合、反復動作と判断し、距離ｄｉｓｔ１の極小点は、単語内とする。特に、極小点で手の形状が一定のものは、単語内の信頼度を高くする。
【００２６】
ステップ３３では、次のように手話を特徴付ける。
ステップ３２のルール２で反復動作が抽出できる。このため、
（ルール１）反復動作の極小点を有する区間は、繰返し動作区間とする。
（ルール２）区間内で手の形状が一定であれば、手形状一定の手話区間とする。
【００２７】
手の動作速度がある一定値以下の区間は、動きの少ない手話単語であるか、ポーズのどちらかである。ポーズの場合は、動作速度が一定値以下の区間（以下、この区間を徐行区間と呼ぶ）の後に手話単語が開始し、それ以外の場合は、単語間の移動（渡り）の部分となる。このため、
（ルール３）徐行区間の後に生じる極小点において、手の形状が徐行区間と同一であれば、徐行区間はポーズである。
ここで、手の形状が一定の検出は、例えば、手形状の変化量ｄｈ１からｄｈ３が全て閾値以下の場合のみ一定とし、その３フレームは一定と判定する。
【００２８】
このように、単語境界が検出される。このため、マッチング部５において認識される手話単語のうち、単語境界にまたがって検出されるものは、候補から外すことが可能である。さらに、単語境界間の区間の特徴が抽出されるため、候補を削減することが可能である。例えば、ある区間が繰返し動作区間と特徴付けされたら、繰返し動作をする手話がそこに存在することが分かるため、他の候補は削除可能である。
【００２９】
次に、標準パタンメモリ６に登録する単語は、その表現される位置の情報を与えておく。例えば、首より上、胸と首の間、胸より下である。そして、例えば、各位置により図７のようにビット割当てを行う。例えば、手話「思う」のように、常に首より上で表現される手話は４、「胃」のように常に胸より下で表現される手話は１、「場所」のようにどこでも表現される手話は７である。次に、特徴抽出部２は、１フレームの入力があると、その手の位置を上記と同様にコード化する。例えば、手が胸と首の間にあれば、位置コードを２にする。距離計算部４とマッチング部５は、入力フレームの位置コードに該当しない標準パタンとの計算は行わない。これにより、パタンマッチングの処理量を削減可能である。この判定は、標準パタンに付けられた位置コードと入力フレームの位置コードの論理積をとることにより容易に実現可能である。上記例では、手話「場所」のみが対象となる。
【００３０】
【発明の効果】
本発明によれば、入力される手話の単語境界や境界間の区間の特徴付けができるため、パタンマッチングで検出されるパタンを限定できる。このため、認識処理量を削減でき、かつ認識性能の向上が図れる。
【図面の簡単な説明】
【図１】本発明の一実施例の手話認識装置の構成を示す図である。
【図２】パタンマッチングによる単語のマッチング結果の例を示す図である。
【図３】手話の動作速度の変化と極小点の特徴抽出を説明する図である。
【図４】単語境界検出部の処理を示す図である。
【図５】単語境界検出部の単語内極小点の検出規則の例を示す図である。
【図６】単語境界検出部の分割区間の特徴付け規則の例を示す図である。
【図７】手話の位置コードを示す図である。
【符号の説明】
１‥センサ、２‥特徴抽出部、３‥単語境界検出部、４‥距離計算部、５‥マッチング部、６‥標準パタンメモリ、７‥手話単語列検出部。
【図１】
0003554571.tif 000003
【図２】
0003554571.tif 000004
【図３】
0003554571.tif 000005
【図４】
0003554571.tif 000006
【図５】
0003554571.tif 000007
【図６】
0003554571.tif 000008
【図７】
0003554571.tif 000009