(57)【特許請求の範囲】
【請求項１】
手話を形成する手動作を電気信号に変換し、手話データとして入力する入力手段と、
上記入力手段に入力された上記手話データを学習用手話データとして格納する第１の格納手段と、
手の形状や方向や動き方等の動作の基本的な構成単位である動作要素、動作要素の時系列で構成される同時要素、同一時間範囲に生起する１個以上の同時要素によって構成される逐次要素等の種類およびそれらの関係からなる辞書テンプレートを格納する第２の格納手段と、
パラメータの変化によって表現される動作要素である動的な動作要素を上記学習用手話データから認識する動的動作要素認識手段と、
上記辞書テンプレート中に記述されている動作要素の種類やそれらの関係を制約として、認識された動的な動作要素中から手話単語を表す動的な動作要素の組み合わせを求め、それを手話単語候補として生成する手話単語生成手段と、
動的な動作要素から生成された上記手話単語候補によって決定される時間範囲に基づき、ある時刻におけるパラメータの組み合わせあるいはある時間範囲における一定したパラメータの組み合わせによって表現される動作要素である静的な動作要素のパラメータを学習用手話データから抽出する静的動作要素抽出手段と、
上記手話単語候補を構成する動作要素のパラメータと上記静的動作要素のパラメータを上記辞書テンプレート中に記述することにより、手記単語を認識するために必要となるデータである手話単語辞書を作成する手話単語辞書作成手段と、
作成された上記手話単語辞書を格納する第３の格納手段と
を有することを特徴とする手話単語辞書学習装置。
【請求項２】
請求項１に記載の手話単語辞書学習装置において、
前記辞書テンプレートには、手話単語を形成する動作要素の種類と、前記学習用手話データから抽出する必要のあるパラメータの種類と、動作要素間の時間的な前後関係とが記述され、
前記手話単語辞書作成手段は、上記辞書テンプレートの内容に基づき学習用手話データから必要なパラメータを抽出し、抽出したパラメータを辞書テンプレートに記述することにより、手話単語辞書を作成することを特徴とする手話単語辞書学習装置。
【請求項３】
請求項１に記載の手話単語辞書学習装置において、
前記静的動作要素のパラメータを抽出する手段は、手話単語候補中の各逐次要素によって決定される時間範囲に対応する学習用手話データから静的な動作要素のパラメータの抽出を行うことを特徴とする手話単語辞書学習装置。
【請求項４】
請求項１に記載の手話単語辞書学習装置において、
前記静的な動作要素の情報を抽出する手段は、手話単語が静的な動作要素のみから形成される場合、手話単語を形成する静的動作要素のパラメータの変化が極小になる時刻を検出し、検出した時刻を同時要素あるいは逐次要素の候補とみなし、それらの関係があらかじめ定められた許容範囲内である同時要素や逐次要素の組み合わせを検索することにより、手話単語候補を生成することを特徴とする手話単語辞書学習装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、手話データから動作要素を認識して、その結果を統合することにより手話単語の認識を行う手話認識装置に用いる手話単語辞書作成方法、および最も労力を要するパラメータの抽出やその計算作業を自動化して、辞書に必要なパラメータの学習を行うことにより、精度の良い手話単語辞書を学習する手話単語辞書学習装置に関する。
【０００２】
【従来の技術】
従来より、動作要素の認識結果を統合することにより、手話単語を認識する装置が提案されている。例えば、特開平７−２８２２３５号公報（動作認識装置）、あるいは特開平９−１１１０３号公報（手話認識装置）であって、これらの技術においては、動作要素を表わす記号の組み合わせにより手話動作を表現した手話単語辞書を用いていた。手話単語を認識する場合、入力された手話データから動作要素を認識して、その結果得られた動作要素と手話単語辞書中の動作要素の組み合わせとを比べて、一致すればその動作要素であると認識して、手話データ中に表現されている手話単語を認識していた。
これらの従来技術では、手話単語辞書の形式や、入力された手話データから動作要素を認識する方法、および認識された動作要素と手話単語辞書中の動作要素の比較を行う方法等については記述されているが、手話単語辞書の自動的な作成方法については全く記述されていなかった。その結果、手話単語辞書は、必要な動作要素やそれらの関係を人手により記述することで辞書を作成する必要があった。
さらに、手話単語辞書の作成の際のユーザの労力を削減する方法としては、記号化した動作要素による手話単語辞書を対象とした提案が行われている（例えば、特願平８−３１７８６７号明細書および図面（手話パターン学習装置）。この装置では、手話動作の構造の概略を、動作要素で記述した辞書テンプレートの内容に従って、手話データから認識した動作要素の認識結果により、時間的な関係が正しい動作要素の組み合わせを検出し、その結果に基づき辞書テンプレートの内容を修正することにより手話単語辞書を作成している。
【０００３】
【発明が解決しようとする課題】
従来の技術では、下記のような問題点があった。
（１）従来の辞書は動作要素を表す記号の組み合わせで記述していたが、手話の内容は記号と連続値の混在したものとして表すことができるため、これらに対しては対応できないこと、
すなわち、動作要素に基づく手話単語辞書を作成する従来の装置では、記号化された動作要素により記述される手話単語辞書にのみ対応しており、前述の特願平９−１１１０３号明細書および図面に示されるような、記号と連続値とが混在した手話単語辞書には対応できなかった。記号と連続値とが混在した手話単語辞書を用いた方法では、静的な動作要素は特徴パラメータのベクトルにより表現される。従って、静的な動作要素の認識では、入力された手話データ中の特定時刻のデータが静的な動作要素に対応しているか否かの確からしさを評価することは可能であるが、どこからどこまでが静的な動作要素に対応している部分であるかを明確に決定することは困難であった。この場合、閾値を用いて時間範囲を決定することもできるが、静的な動作要素は比較的安定している手話動作のみならず、変動し易い手話動作も多いために、閾値による方法では静的な動作要素が検出される時間範囲が大きく変動することがあり、その結果、作成された手話単語辞書を用いた場合の認識精度が低下するという問題があった。
しかし、従来の手話単語辞書学習装置では、予め静的な動作要素も明確に時間範囲を決定して認識される必要があるため、記号と連続値が混在した手話単語辞書では精度良く辞書を作成すること要できない。特に、静的な動作要素のみから構成される手話単語の場合には、精度の低下が大きな問題となる。
【０００４】
（２）従来の技術では、複雑な構造の手話単語辞書を作成することが不可能であること、
すなわち、手話単語辞書は動作要素の逐次的同時的な階層構造により表現される。従来の方法では、複数種類の動作要素により形成される１まとまりの動作の連続的な構成には対応できていた。しかしながら、手話単語には、同じ種類の動作要素の時系列がある１まとまりの動作の構成要素になる場合がある。従来の方法では、同じ種類の動作要素の時系列を想定していないために、このような手話単語の辞書を学習することができなかった。
（３）従来の技術では、必要なパラメータを抽出して、辞書に記述するパラメータを計算しているが、この計算には非常に手間がかかっていたこと、
すなわち、連続値を含む手話単語辞書を人手により作成する場合、手話単語に必要な動作要素を手話データから認識し、その結果に基づいて必要なパラメータを抽出し、辞書に記述するパラメータを計算しなければならない。しかしながら、動作要素の認識では、通常、目的とする動作要素以外の動作要素も認識される場合が多いため、必要な動作要素のみを抽出することは手間がかかる。
また、必要な動作要素を認識した後にパラメータを集計し、辞書に記述するパラメータの計算を行う必要があるが、これも手間のかかる作業であった。特に、認識精度のよい手話単語辞書を作成する場合、多くの手話データを用いてパラメータを収集する必要があるため、人手により手話単語辞書を作成することは実用的ではなかった。
そこで、本発明の目的は、これら従来の課題を解決し、記号と連続値とが混在する手話単語辞書を作成するため、ユーザの労力を削減して、容易に手話単語辞書を作成することが可能な手話単語辞書作成方法および複雑な構造の手話単語を精度よく認識することが可能な手話単語辞書学習装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、▲１▼本発明の手話単語辞書作成方法では、先ず学習用手話データから動的な動作要素のみの認識を行い、次にユーザにより定義された手話動作の構造の概略を表す辞書テンプレートに基づき認識された動的な動作要素から、それらの関係が許容範囲内である動的な動作要素の組み合わせを検索し、検索された組み合わせの動的な動作要素の時間範囲に基き、静的な動作要素の時間範囲を決定し、静的な動作要素の必要なパラメータを抽出した後、動的な動作要素の組み合わせ中の動作要素のパラメータと抽出した静的な動作要素のパラメータ、動作要素間の時間的な関係を示すパラメータを用いて辞書テンプレートの内容を修正することにより、手話単語辞書を作成する。また、静的な動作要素のみにより形成される手話単語では、静的な動作要素のパラメータ変化の極小に基づき動作要素の候補を検出し、それらの関係が許容範囲内である組み合わせを手話単語候補として生成し、必要なパラメータを抽出し、それらのパラメータを用いて辞書テンプレートの内容を修正することにより、手話単語辞書を作成する。
また、▲２▼本発明の手話単語辞書学習装置では、手話を形成する手動作を電気信号に変換し、手話データとして入力する入力手段と、入力された上記手話データを学習用手話データとして格納する第１の格納手段と、逐次要素、同時要素、動作要素等の種類および関係からなる辞書テンプレートを格納する第２の格納手段と、動的な動作要素を上記学習用手話データから認識する動的動作要素認識手段と、上記辞書テンプレートの内容に基づいて、認識された動的な動作要素から手話単語候補を生成する手話単語生成手段と、生成された上記手話単語候補に基づき学習用手話データから静的な動作要素の情報を抽出する静的動作要素抽出手段と、上記手話単語候補と上記静的動作要素の情報を用いて辞書テンプレートを修正することにより、手話単語辞書を作成する手話単語辞書作成手段と、作成された上記手話単語辞書を格納する第３の格納手段とを有することを特徴とする。
【０００６】
【発明の実施の形態】
以下、本発明の実施例を、図面により詳細に説明する。
図１は、本発明の一実施例を示す手話単語辞書学習装置のブロック構成図である。
なお、本発明の手話単語辞書作成方法を用いて辞書を作成する場合のハードウェアは、学習装置と辞書作成技術との併用であるため、手話単語辞書学習装置と呼んでいる。図１に示すように、本発明の手話単語辞書学習装置は、手話データを入力して、動的動作要素を認識するとともに、静的動作要素のパラメータを抽出するとともに、手話動作の構造の概略を示す辞書テンプレートを入力して、これと静的動作要素パラメータとから手話単語の辞書を作成する。手話単語の時間範囲に関するラベル情報の入力は、本発明に必須の条件ではないが、ラベル情報により手話単語候補生成および静的動作要素パラメータ抽出の機能を補充することができる。
図１において、手話入力部１０１は手話における手話動作を電気信号に変換し、手話データとして入力することにより学習用手話データ格納部１０２に格納する。ラベル情報入力部１０３は、文字を入力することにより、学習用手話データ格納部１０２に格納されている手話データ中に表現されている手話単語の時間範囲に関するラベル情報を作成し、ラベル情報格納部１０４に格納する。辞書テンプレ
ート入力部１０５は文字を入力することにより、手話単語を表す動作の概略を記述した辞書テンプレートを作成し、辞書テンプレート格納部１０６に格納する。
【０００７】
動的動作要素認識部１０７では、学習用手話データ格納部１０２に格納されている手話データから、動的動作要素を認識する。手話単語候補生成部１０８では、辞書テンプレートとラベル情報に基づき、認識された動的な動作要素から手話単語を形成する動的な動作要素の組み合わせを検索する。静的動作要素パラメータ抽出部１０９では、手話単語候補生成部１０８で検索された動的な動作要素の組み合わせに基づき、学習用手話データから静的な動作要素のパラメータを抽出する。静的動作要素パラメータ抽出部１０９では、ラベル情報に基づくパラメータの抽出も例外処理として行われる。手話単語辞書作成部１１０では、手話単語候補生成部１０８で検索された動的な動作要素の組み合わせと、静的動作要素パラメータ抽出部１０９で抽出された静的動作要素のパラメータを基にして辞書テンプレートの記述を修正して、手話単語辞書を作成する。作成された手話単語辞書は、手話単語辞書格納部１１１に格納される。
【０００８】
図２は、図１における手話単語辞書学習装置を実現するための実際のハードウェア構成を示す図である。
図２において、文字入力装置２０１はラベル情報および辞書テンプレートを作成するために文字を入力する装置であって、通常、キーボード２０２が用いられる。手話入力装置２０３は、手話における手動作を電気信号に変換するための装置であって、手袋にセンサを備えることにより手の形状や動きを電気信号に変換するものとして良く知られている手袋型入力装置２０４が用いられる。また、ビデオカメラ２０５を用いた手の動きや形状を認識する装置を用いることも可能である。手話入力装置２０３により、手話の手動作は指の曲げ角度や手の位置等で構成される多次元の時系列データに変換される。演算装置２０６は、動作要素の認識や手話単語辞書を作成する装置であって、予め格納されているプログラムにより処理が実行される。
【０００９】
出力装置２０７は、手話単語辞書の作成の処理過程や処理結果を表示するもので、確認するためのＣＲＴディスプレイ２０８等の文字出力装置が用いられる。
メモリ２０９は、手話入力装置２０３から入力された手話データを学習用手話データとして格納する記憶装置である。メモリ２１０は、ラベル情報を格納する記憶装置であり、メモリ２１１は辞書テンプレートを格納する記憶装置、メモリ２１２は動的動作要素認識プログラムを格納する記憶装置、メモリ２１３は手話単語候補生成プログラムを格納する記憶装置、メモリ２１４は静的動作要素パラメータを抽出する記憶装置、メモリ２１５は手話単語辞書作成プログラムを格納する記憶装置、メモリ２１６は作成した手話単語辞書を格納する記憶装置である。
【００１０】
図３は、図１における手話入力部から入力される手話データのフォーマット図である。
図３において、３０１から３０２は手の位置に関するデータであり、掌、親指、人差し指、中指、薬指、小指のデータから形成される。各データは、さらに三次元を示す各軸のデータから形成され、例えば掌の位置３０１はｘ軸のデータ３０３、ｙ軸のデータ３０４、ｚ軸のデータ３０５から形成されている。３０６から３０７は、手の方向に関するデータであって、掌、親指、人差し指、中指、薬指、小指のデータから形成される。さらに、各データは、各軸回りの角度データから形成され、例えば掌の方向３０６はｘ軸回りの角度３０８、ｙ軸回りの角度３０９、ｚ軸回りの角度３１０から構成されている。３１１〜３１２は指の曲げに関するデータであって、親指、人差し指、中指、薬指、小指のデータから形成される。各データは、さらに第１関節、第２関節のデータから形成され、例えば親指の組げ３１１は第１関節の曲げ角度３１３、第２関節の曲げ角度３１４から形成される。さらに、３１５〜３１７は時刻ｔ１〜ｔｎにおけるデータを表わしている。
【００１１】
図４は、本発明におけるラベル情報のフォーマット図であって、各手話データ中に表現されている手話単語の時間範囲を表している。
図４において、４０１は手話単語名、４０２は手話データ中の手話単語の開始時刻、４０３は手話データ中の手話単語の終了時刻を示す。
図５から図１１までは、手話単語辞書および辞書テンプレートのフォーマットについて詳述する。
図５は、動作要素により表現した手話動作のモデルを示す図である。
図５に示すように、手話の動作は時間的に連続して生じる逐次要素５０１〜５０３の列で表わすことができる。さらに、逐次要素は、同じ時間範囲に生じる同時要素５０４，５０５から形成される。各同時要素は、時間的に連続して生じる動作要素状態５０６，５０７から形成されている。さらに、動作要素状態は、同じ種類で属性のみ異なる複数の動作要素５０８，５０９から形成される。ある逐次要素が存在するためには、その逐次要素中の同時要素の全てが存在することが必須条件である。一方、動作要素状態中の動作要素は、いずれかの動作要素が存在すれば、それだけでその動作要素状態は存在するとみなされる。
【００１２】
図６は、動作要素の種類とその属性パラメータを示す図である。
動作要素は、動作要素の種類６０１と属性パラメータ６０２により表わされる。また、動作要素には、静的な動作要素と動的な動作要素とがある。静的な動作要素は、形状６０３、方向６０５、位置６０７、関係形状５１４、関係方向６１５、関係距離６１６、関係位置６１７が該当する。これに対して、動的な動作要素としては、形状振動６０４、方向振動６０６、位置振動６０８、直線円弧６０９、円６１０、波線６１１、螺旋６１２、提示６１３、関係動作方向６１８、関係動作平面６１９が該当する。
【００１３】
図７は、図５に示すモデルに従った手話単語辞書の記述フォーマット図である。  図７において、手話単語名７０１は、その動作要素の組み合わせが表す手話単語名を示す。繰り返し回数７０２は、動作要素の組み合わせにより表現される全体の動作が何回繰り返されるかを示している。逐次要素数７０３は、手話単語を形成する逐次要素の数である。逐次要素７０４から７０５は手話単語を形成する各逐次要素を示す。同時要素数７０６は、逐次要素を形成する同時要素の数である。同時要素７０７から７０８は逐次要素を形成する同時要素を示す。動作要素状態数７０９は、同時要素を形成する動作要素状態の数である。繰り返し回数７１０は、動作要素状態の列が何回繰り返されるかを示す。動作要素状態７１１から７１２は、同時要素を形成する各動作要素状態を示す。７１３は、動作要素状態中の動作要素の数を示す。動作要素７１４から７１５は、動作要素状態中の各動作要素を示す。
【００１４】
図８は、本発明の動作要素の記述フォーマット図である。
動作要素の種類８０１は、図６に示す動作要素の種類、手の部位８０２はその動作要素を表現するために用いられる手の種類および部位である。手の種類には、「右」あるいは「左」のいずれかを記述する。また、部位については、方向に関係する動作要素の場合、「指先」、「法線」、「側面」、「親指」、「人差し指」、「中指」、「薬指」、「小指」のいずれかを記述する。８０３から８０４は、動作要素の種類により予め決められている。各属性パラメータは、その平均値と分散値により手話単語辞書中に記述される。
【００１５】
図９は、手話「通う」という意味の手話を表す人物動作図であり、図１０は、図９の「通う」を記述した手話単語辞書の例を示す図である。
図９に示す手話は「通う」という意味の手話であって、親指を上向きに立てた手を前後に往復させる動作である。矢印の太さが違うのは、前後に往復させている前後の方向を明確にするための表示である。このため、手話単語辞書の記述としては、「手の形状」、「手の方向」、および「直線の繰り返し」の３種類の動作要素により表現することができる。
図１０において、ハッチングした部分が図９の手話を示す具体的情報である。手話単語名１００１は「通う」が記述されている。また、繰り返し動作は同時要素中に含まれているため、繰り返し回数１００２および逐次要素数１００３はいずれも「１」が記述されている。同時要素数１００４は、前述のように「３」が記述されている。同時要素の数を示す数字の後に１組の数値が記述されているが、これは同時要素間の時間的な重なりを示すパラメータであって、動作要素の属性パラメータと同じく平均値と分散値により表わされている。このパラメータは、同時要素数が２以上の場合には必ず記述される。同時要素１００５，１００６，１００７はそれぞれ手の形状、手の方向、直線運動の同時要素を示している。同時要素１００５および１００６は静的な動作要素を含む同時要素であって、動作状態数１００８、１００９、繰り返し回数１０１０、１０１１、動作要素数１０１２、１０１３は「１」に設定されている。また、動作要素１０１４、１０１５はそれぞれ手の形状、手の方向の動作要素に関する記述が行われている。同時要素１００７は直線の繰り返しに関する記述であり、先ず動作要素状態数１０１６が「２」となっている。動作要素状態数を示す数字の後に１組の数値が記述されているが、これは動作要素状態間の時間的なギャップに関するパラメータであって、パラメータの平均値と分散値により記述されている。このパラメータは動作要素状態数が２以上の場合には必ず記述される。
【００１６】
動作要素間が時間的に重なる場合には、平均値は負の値により表わされる。また、繰り返し動作であるため、繰り返し回数１０１７が「１＊」という記述になっている。「＊」は、その直前に記述された数値以上の回数という意味であって、この場合には「１回以上」の繰り返しであることを示している。繰り返し回数の後に記述されている１組の数値は、繰り返し動作間におけるギャップに関するパラメータであって、これもパラメータの平均値および分散値により記述される。このパラメータは、繰り返し回数が「１回以上」および２以上として記述された場合には必ず記述される。同じパラメータは、逐次要素数およびその繰り返し回数についても記述される。動作状態１０１８および１０１９は、同時要素を形成する動作要素状態の記述であって、それぞれ往復運動における往路の直線運動１０１８および復路の直線運動１０１９に関する動作要素「直線円弧」１０２０、１０２１が記述されている。「右・掌」は手の指定であり、その後の１組の数値もギャップに関するパラメータ（平均値、分散値）である。
【００１７】
図１１は、図９に示す手話単語の辞書テンプレートの記述例図である。
図１１は、基本的に図１０の手話単語辞書の記述例と殆んど同じであり、異なる部分は動作要素のパラメータ、逐次要素、同時要素、動作要素状態間の時間的関係を示すパラメータの各記述のみである。図１１に示すハッチングの部分が記述の異なるパラメータの部分である。
図１１において、同時要素数１１０１の同時要素間の重なりに関するパラメータとして、（０，０）が記述されている。このパラメータは学習用手話データから抽出されるべきパラメータであって、辞書テンプレートでは便宜上、平均値および分散値とも「０」と記述される。また、動作要素の形状１１０２および方向１１０３を示す欄には、属性パラメータとして「Ｘ」と記述されている。このような動作要素の属性パラメータは、学習用手話データから抽出して計算されるべきパラメータであることを示している。また、動作要素の直線１１０４、１１０５においては、属性パラメータとして「Ｘ」および「＊」の記述がされている。ここで、「Ｘ」は形状や方向と同じく手話データから抽出すべきパラメータであることを意味しており、また「＊」は手話データから抽出する必要のないパラメータであることを意味している。「＊」は手話単語辞書でも記述することができ、その場合にも「＊」と記述されたパラメータは認識において無視されることを意味している。
【００１８】
また、動作要素状態数１１０６、繰り返し回数１１０７では、同時要素数１１０１と同じく手話データから抽出されるべきパラメータが（０，０）と記述されている。さらに、そのパラメータの後に「方向反対」、「未指定」という記述がなされている。これは、手話単語候補生成部１０８で動作要素の組み合わせを検索する場合に、連続する動作要素間の動作方向（動く方向）および動作平面（動作が行われる平面）に対して制約を与えるための記述である。すなわち、１番目の記述が動作方向、２番目の記述が動作平面に対する制約である。動作方向に対する制約としては、「未指定」、「方向同一」、「方向垂同」、「方向反対」の各指定があり、動作平面に対する制約としては、「未指定」、「平面同一」、「平面垂直」、「平面反対」の各指定がある。
【００１９】
次に、手話単語候補を生成する方法の説明を、図１２から図２１までを参照して詳述する。
図１２は、認識された動作要素のフォーマット図である。
先ず、動的動作要素認識部１０７において、動的な動作要素の認識を行う。この場合の認識方法としては、前述の「特願平９−１１１０３号明細書および図面」（手話認識装置）で用いられる動作要素認識方法と全く同じ方法を用いるものとする。
図１２において、１２０１は動作要素の開始時刻、１２０２は動作要素の終了時刻、１２０３は動作要素の確からしさを示す評価値、１２０４は動作要素の種類、１２０５は動作要素を表現するために用いられる手の種類および部位、１２０６から１２０７は動作要素の属性パラメータである。認識された動作要素は手話単語候補生成部１０８に送られる。
【００２０】
図１３は、本発明の一実施例を示す手話単語候補生成部の処理フローチャートである。
手話単語候補生成部１０８では、図１３のフローに従って手話単語の候補を生成する。先ず、認識された動作要素から辞書テンプレート中の動作要素を検索し、動作要素状態の候補を生成する（ステップ１３０１）。次に、辞書テンプレート
の記述に従って動作要素状態の時系列を検索し、同時要素の候補を生成する（ステップ１３０２）。次に、辞書テンプレートの記述に従って同時要素の候補の組み合わせを検索し、逐次要素の候補を生成する（ステップ１３０３）。次に、辞書テンプレートの記述に従って逐次要素の候補の時系列を検索し、手話単語の候補を生成する（ステップ１３０４）。
【００２１】
図１４は、動作要素状態候補のフォーマット図である。
図１３の各動作について、さらに詳述する。先ず、ステップ１３０１では、認識された動的な動作要素から以下の（１）（２）の条件を満足する動作要素列を検索することにより、動作要素状態候補を生成する。すなわち、
（１）辞書テンプレートに含まれる動作要素と「動作要素の種類」および「手の部位」が同じであること、
（２）ラベル情報の時間範囲との時間的な重なり度が閾値以上であること、
ラベル情報と動作要素の重なり度Ｏは、ラベル情報の時間範囲を（Ｌｓ，Ｌｅ）、動作要素の時間範囲を（Ｅｓ，Ｅｅ）として、下式（１）により求める。
【数１】
0003622488.tif 000002
なお、式（１）中のｍｉｎ、ｍａｘはそれぞれ複数のラベル情報が重なっているうちの最も早い開始時刻と、最も遅い終了時刻を示し、Ｌｓ，Ｅｓは各ラベル情報のみの開始時刻、Ｌｅ，Ｅｅは各ラベル情報のみの終了時刻である。
式（１）により、ラベル情報と動作要素の重なり度Ｏが求められた後、抽出された動作要素を動作要素状態毎にまとめることにより、動作要素状態の候補を作成する。
動作要素状態候補のフォーマットは、図１４に示すように表わされている。
すなわち、ある動作要素状態１４０１の候補としては、それを形成する各動作要素１４０２、１４０３に対応する動作要素の候補が、候補の数１４０４および各動作要素の候補１４０５から１４０６により記述される。
【００２２】
次に、図１３のステップ１３０２では、下記の（１）〜（６）で示す６つの条件を満足する動作要素状態を検索することにより、同時要素の候補を生成する。（１）動作要素状態列あるいはその繰り返しの先頭にくる動作要素は、ラベルの開始時刻に最も近い開始時刻を持つ動作要素、およびその動作要素と重なり度が閾値以上となる動作要素とする。動作要素間の重なり度Ｏは、基準となる動作要素の時間範囲を（Ｓ（０），Ｅ（０））、その他の動作要素の時間範囲を（Ｓ（ｊ），Ｅ（ｊ））として下式（２）により計算される。
【数２】
0003622488.tif 000003
図１５は、連続する動作要素の先頭の動作要素の選択方法を説明する図である。  例えば、図１５に示す動作要素が検出されている場合には、ラベルの先頭１５０１に最も近い動作要素１５０２を基準として選択する。この動作要素１５０２と他の動作要素１５０３，１５０４との重なり率を上式（２）によりそれぞれ計算し、閾値以上となる動作要素を選択する。ただし、最もラベルの先頭に近い開始時刻を持つ動作要素を選択した場合のいずれの組み合わせも、他の５つの条件を満足しない場合には、その次にラベルの先頭に近い動作要素を選択する。このようにして、全ての条件を満足する組み合わせが見つかるまで、先頭の動作要素を変化させていく。
【００２３】
（２）連続する２つの動作要素状態の時間範囲をそれぞれ（ｓ１，ｅ１），（ｓ２，ｅ２）として、下式（３）に示す条件を満足する動作要素状態の組み合わせを選択する。動作要素状態の時間範囲は、その中に含まれる動作要素の時間範囲と同一である。
Θｏ＜（ｓ２−ｅ１−１）÷（ｅ１−ｓ１＋１）＜Θｇ              （３）
なお、Θｏは連続する要素間の重なりに対する閾値（＜０）、
Θｇは連続する要素間のギャップに対する閾値（≧０）
また、連続する動作要素状態が重なる場合、その重なりの直前の動作要素の時間範囲は後続の動作要素の時間範囲を越えないものとする。そして、この制約は、動作要素状態列が繰り返される場合にも適用される。つまり、ある動作要素状態列の最後の動作要素状態と、それに続く動作要素状態列の最初の動作要素状態の時間範囲に対して、上式（３）の条件を満足するか否かの評価を行う。
【００２４】
（３）動作要素状態の時間長をＬ（ｉ）、その直前のギャップの時間長をＧ（ｉ）として下式（４）の条件を満足する動作要素状態の組み合わせを選択する。
Ｇ（ｉ）÷Ｌ（ｉ）＞ΘＢ                                          （４）
なお、ここでΘＢは、動作要素とその直前のギャップの時間長の比に対する閾値である。
（４）動作要素状態列やその繰り返しに含まれる連続する動作要素状態間の時間長の比が、許容報囲内になる組み合わせのみを選択する。
つまり、連続する動作要素状態の時間長をＬ（ｉ），Ｌ（ｉ＋１）として下式（５）を満足する組み合わせのみを選択する。
【数３】
0003622488.tif 000004
なお、ΘＬは、連続する動作要素の時間長の比に対する閾値である。
【００２５】
（５）連続する動作要素状態中の動作要素間の動作方向および動作平面に対する条件を満足する組み合わせのみを選択する。
なお、条件の種類は前述のように、動作方向に対しては「未指定」、「方向同一」、「方向垂直」、「方向反対」であり、また動作平面に対しては「未指定」、「平面同一」、「平面垂直」、「平面反対」であって、各条件の詳細については下記のようになる。
（ａ）未指定・・・・動作の方向および平面の関係に制約を加えない。
（ｂ）方向同一・・・連続する動作要素の動作方向ベクトルのなす角度をθ（０≦θ≦π）として下式（６）を満足する候補のみを選択する。
θ＞Θｄ                                                      （６）
なお、Θｄは、動作方向ベクトルのなす角度に対する閾値である。
（ｃ）方向垂直・・・連続する動作要素の動作方向ベクトルのなす角度をθ（０≦θ≦π）として下式（７）を満足する候補のみを選択する。
π／２−Θｄ＜θ＜π／２＋Θｄ                                  （７）
【００２６】
（ｄ）方向反対・・・連続する動作要素の動作方向ベクトルのなす角度をθ（０≦θ≦π）として下式（８）を満足する候補のみを選択する。
θ＞π−Θｄ                                                    （８）
（ｅ）平面同一・・・連続する動作要素の動作平面ベクトルのなす角度をθ（０≦θ≦π）として下式（９）を満足する候補のみを選択する。
θ＜Θｐ                                                        （９）
なお、Θｐは、動作平面ベクトルのなす角度に対する閾値である。
（ｆ）平面垂直・・・連続する動作要素の動作平面ベクトルのなす角度をθ（０≦θ≦π）として下式（１０）を満足する候補のみを選択する。
π／２−Θｐ＜θ＜π／２＋Θｐ                                （１０）
（ｇ）平面反対・・・連続する動作要素の動作平面ベクトルのなす角度をθ（０≦θ≦π）として下式（１１）を満足する候補のみを選択する。
θ＞π−Θｐ                                                  （１１）
【００２７】
（６）同じ種類の動作要素からなる動作要素状態列およびその繰り返し候補において、同じ動作要素候補が異なる動作要素状態に含まれる組み合わせは削除する。  例えば、図１６（同じ種類の動作要素が連続する手話データから動作要素を認識した結果の図）に示す時間関係でＡ１６０１，Ｂ１６０２，Ｃ１６０３，Ｄ１６０４，Ｅ１６０５，Ｆ１６０６という動作要素が検出されて、動作要素状態数が２で繰り返し回数が１以上である場合を考える。なお、Ａ〜Ｆは同じ種類の動作要素であるものとする。この場合、動作要素状態間のギャップの閾値によっては、次の（ａ）〜（ｆ）の６つの候補が生成される。
（ａ）・・・（ＡＢ），（ＣＤ），（ＥＦ）
（ｂ）・・・（ＡＢ），（ＣＥ）
（ｃ）・・・（ＡＢ），（ＤＥ）
（ｄ）・・・（ＡＢ），（ＤＦ）
（ｅ）・・・（ＡＣ），（ＤＦ）
（ｆ）・・・（ＡＣ），（ＥＦ）
なお、（  ）で囲まれた組み合わせを繰り返し中の１回分の動作要素状態列の候補とする。これらのうち、例えば候補（ａ）および（ｂ）では、動作要素Ｅがそれぞれ１番目の動作要素状態、２番目の動作要素状態に含まれることになる。このような候補のうち、最適な候補のみを残すために、先ず動作要素間の関係が最もよい動作要素の組み合わせを選択する。関係が最もよいという判定は、前述の繰り返しの先頭の動作要素とラベルの関係，動作要素間のギャップ、動作要素とその直前のギャップの時間長の比、連続する動作要素間の時間長の比、連続する動作要素の動作方向および動作平面の関係、を最もよく満足する組み合わせか否かにより行う。次に、選択した組み合わせ中の動作要素が異なる動作要素状態に含まれる候補を削除する。
【００２８】
その後、基準にした組み合わせを除いた候補に対して同じような処理を行う。これを候補数が１になるまで繰り返す。例えば、図１６から検索された前述の候補のうち、動作要素間の関係が最もよい候補として候補（ｄ）が選択されたものとする。この場合、動作要素Ｄが２番目の動作要素状態に含まれる候補（ａ）が削除される。次に、残りの候補から候補（ｄ）を除いた候補、つまり
（ｂ）・・・（ＡＢ），（ＣＥ）
（ｃ）・・・（ＡＢ），（ＤＥ）
（ｅ）・・・（ＡＣ），（ＥＦ）
（ｆ）・・・（ＡＣ），（ＥＦ）
について同じ処理を行う。ここで、候補（ｂ）が基準として選択されたものとする。この場合には、動作要素Ｃが１番目の動作要素状態に含まれる候補（ｅ）および（ｆ）が削除される。この段階において、候補（ｂ）を除くと、候補は（ｃ）のみとなり、候補数が１となるために処理は終了する。その結果、
（ｂ）・・・（ＡＢ），（ＣＥ）
（ｃ）・・・（ＡＢ），（ＤＥ）
（ｄ）・・・（ＡＢ），（ＤＦ）
の３つの候補が適切な組み合わせとして選択されることとなる。
繰り返し回数がｎ回以上に指定される場合にも、同じ動作要素を含む組み合わせが多数検出される。この場合、繰り返し回数が最大となる組み合わせのみを出力する。また、全ての組み合わせを出力することも可能である。
その他、動作要素状態間の関係に対する制約としては、動作の行われる位置や、動作の大きさ、動作の速さ等、動作要素のパラメータに対する制約を加えることも可能である。
【００２９】
図１７は、同時要素の候補のフォーマット図である。
各同時要素候補について、辞書テンプレートに従って、動作要素状態数１７０１、繰り返し回数１７０２、および各動作要素状態の各動作要素に対する候補となる動作要素１７０３〜１７０６が記述される。辞書テンプレートで動作要素状態数の後に記述される動作要素状態間のギャップに関するパラメータは、候補となっている動作要素間から求められた各ギャップの大きさを列挙して記述する。これは、他の手話データから生成した候補から得られたパラメータも合わせて最後に平均値および分散値を求めるためである。繰り返し回数の後に記述される繰り返し動作間のギャップに関しても、同じように、候補から求めた各ギャップの大きさを列挙して記述する。また、繰り返し回数がｎ回以上の記述のときには、実際に検索された繰り返し回数を記述する。その結果、動作要素状態数をｍ、繰り返し回数をｓとすると、繰り返し回数の後に記述されるギャップの個数は（ｓ−１）個、動作要素状態数の後に記述される動作要素状態間のギャップの個数は、（ｍ−１）×ｓ個となる。
【００３０】
図１３のステップ１３０３において、辞書テンプレートの内容に基づき、同時要素候補の組み合わせを生成して組み合わせ中の同時要素候補の時間関係をチェックし、関係が正しいと判断された組み合わせを逐次要素候補として生成する。逐次要素の候補は、それを形成する同時要素の候補を１つずつ選択し、組み合わせることにより作成する。
例えば、同時要素候補の内容が
同時要素Ａの候補：  ａ，ｂ，ｃ
同時要素Ｂの候補：  ｄ，ｅ
である場合には、逐次要素候補の組み合わせとしては、次のものが生成される。
（ａ，ｄ）
（ａ，ｅ）
（ｂ，ｄ）
（ｂ，ｅ）
（ｃ，ｄ）
（ｃ，ｅ）
これらの各組み合わせに対し、各同時要素の時間範囲を（Ｃｓ（ｉ），Ｃｅ（ｉ））として下式（１２）により重なり度Ｏを求めて、重なり度が閾値以上である組み合わせのみを選択する。
【数４】
0003622488.tif 000005
【００３１】
図１８は、同時要素間の重なり度の計算方法の説明図である。
例えば、同時要素候補が図１８における時間関係であると仮定すると、上式（１２）は全ての同時要素候補に共通なＣｓ（２）１８０１からＣｅ（３）１８０２の時間範囲と、各同時要素の時間範囲（Ｃｓ（１），Ｃｅ（１））（１８０１から１８０２），（Ｃｓ（２），Ｃｅ（２））（１８０３から１８０４），（Ｃｓ（３），Ｃｅ（３））（１８０５から１８０６）との比のうちで、最も小さい比を同時要素間の重なり度として求めることになる。重なり度としては、この他に、全ての同時要素候補に共通な時間範囲に対する各同時要素候補の時間範囲の比の平均あるいはそれらのうちの最も大きい値、あるいは任意の２つの同時要素間で上記（１２）により求めた重なり度のうち、最も小さい値または最も大きい値またはそれらの平均等を用いることが可能である。また、逐次要素候補の時間範囲は、（ｍａｘ  Ｃｓ（ｉ），ｍｉｎ  Ｃｅ（ｉ））とする。
【００３２】
図１９は、逐次要素の候補のフォーマット図である。
逐次要素候補には、辞書テンプレートの内容に従って同時要素数１９０１と各同時要素の候補１９０２から１９０３が記述される。このうち、同時要素候補１９０２から１９０３は、図１７に示された同時要素候補の記述がそのまま用いられる。同時要素数の後に記述される同時要素間の重なり度は、前式（１２）により求められる重なり度を記述する。
次に、図１３のステップ１３０４においては、以下の（１）〜（５）の５つの条件を満足する逐次要素列を検索することにより、手話単語候補を生成する。
（１）逐次要素列またはその繰り返しの先頭の逐次要素は、同時要素候補の生成と同じく、ラベルの開始時刻に最も近い開始時刻を持つ逐次要素、およびその逐次要素と重なり度が閾値以上の逐次要素とする。重なり度Ｏは、基準となる逐次要素の時間範囲を（Ｓ（０），Ｅ（０））、その他の逐次要素の時間範囲を（Ｓ（ｊ）Ｅ（ｊ））として前式（２）により計算される。選択された逐次要素を用いた逐次要素の組み合わせが他の制約を満足しない場合の処理も、同時要素候補の生成と同じである。
【００３３】
（２）同時要素候補の生成と同じく、連続する逐次要素間のギャップが許容範囲内になる逐次要素の組み合わせを選択する。
ギャップに対する条件は、ある逐次要素を形成する動作要素状態列の最後の動作要素状態の時間範囲のうち最も小さい時間範囲を（ｓ１，ｅ１）、その逐次要素に続く逐次要素を形成する動作要素状態列の最初の動作要素状態の時間範囲のうち、最も小さい時間範囲を（ｓ２，ｅ２）として、前式（３）により与えられる。
図２０は、連続する逐次要素におけるギャップの大きさを評価する方法を説明する図である。
図２０に示すように、逐次要素２００１が動作要素状態２００２、２００３から形成される同時要素２００４と、１つの動作要素状態２００５からなる同時要素２００６を含み、それに続く逐次要素２００７は、１つの動作要素状態２００８からなる同時要素２００９と、同じく１つの動作要素状態２０１０からなる同時要素２０１１とから形成されているものと仮定する。この場合、逐次要素２００１からは動作要素状態２００３と２００５のうち、小さい方の動作要素状態２００３の時間範囲が、逐次要素２００７からは動作要素状態２００８と２０１０のうち、小さい方の動作要素状態２０１０の時間範囲が前式（３）の条件を検証するために用いられる。また、時間的に前に来る逐次要素が静的動作要素のみによる逐次要素とのギャップに対しては、下式（１３）による条件を満足する逐次要素の組み合わせを選択する。
0003622488.tif 000006
なお、ΘＧは、連続する要素間の重なりに対する閾値（＜０）
ΘＯは、連続する要素間のギャップに対する閾値（≧０）
この制約は、逐次要素列が繰り返される場合にも適用することは、同時要素候補の生成と同じである。
【００３４】
（３）逐次要素の時間長をＬ（ｉ）、その直前のギャップの時間長をＧ（ｉ）として、前式（４）の条件を満足する動作要素状態の組み合わせを選択する。
（４）同じ種類の動作要素が、異なる逐次要素の候補に含まれる組み合わせを削除する。
削除方法は、同時要素候補の生成において同じ動作要素が異なる動作要素状態に含まれる候補を削除する時に用いた方法と同じものを用いることが可能である。繰り返し回数がｎ回以上に指定される場合にも、同じ動作要素を含む組み合わせが多数検出される。この場合には、繰り返し回数が最大となる組み合わせのみを出力する。また、全ての組み合わせを出力することも可能である。
【００３５】
（５）ラベル情報の時間範囲を（Ｌ１，Ｌ２）、手話単語の候補の時間範囲を（Ｍ１，Ｍ２）として、重なり度Ｏが閾値以上の候補を選択する。重なり度Ｏは、下式（１４）により求められる。
【数５】
0003622488.tif 000007
ただし、最後の逐次要素が繰り返しにより形成される場合には、繰り返し回数を満足していれば、ラベル情報との重なり度は閾値以上でなくてもよい。
また、逐次要素間の制約として、動作要素状態間の制約として用いた動作方向および動作平面に関する制約を用いることも可能である。さらに、動作の行われる位置、動作の大きさ、動作の速さ等は、動作要素のパラメータに対する制約を用いることができる。
【００３６】
図２１は、手話単語の候補のフォーマット図である。
各手話単語候補には、辞書テンプレートに従って手話単語名２１０１、繰り返し回数２１０２、逐次要素数２１０３、および各逐次要素の候補２１０４〜２１０７が記述される。各逐次要素の候補は、図１９で示した逐次要素候補のフォーマットに従って該当する候補が記述される。繰り返し回数２１０２が辞書テンプレート中でｎ回以上と記述されている場合には、実際に検出された繰り返し回数を記述する。また、繰り返し回数の後に記述される繰り返し動作間のギャップに関するパラメータは、実際に検出された候補から求めた各ギャップの大きさを列挙して記述する。逐次要素数の後に記述される逐次要素間のギャップに関するパラメータに関しても、同じく実際に検出された候補から求められた各ギャップの大きさを列挙して記述する。繰り返し回数をＲ、逐次要素数をｒとすると、繰り返し回数の後に記述されるギャップの個数は（Ｒ−１）個、逐次要素数の後に記述されるギャップの個数は（Ｒ−１）×ｒ個となる。
【００３７】
以上が実施例の説明である。
なお、実施例では、手話単語候補の生成において、動作要素状態、同時要素、逐次要素、手話単語の各々の候補を順番に生成していく方法を説明した。しかし、この他に、手話単語を形成する動作要素の組み合わせを動的な動作要素の認識結果から直接生成し、その中における動作要素状態間、同時要素間、逐次要素間の関係が上述の全ての制約を満足する組み合わせのみを手話単語の候補として選択することも可能である。
手話単語候補生成部１０８では、手話単語の候補を生成した後に、生成された手話単語候補の時間範囲に基づき静的動作要素パラメータ抽出部１０９で、学習用手話データから静的動作要素のパラメータを抽出する。動作要素状態数が１の場合には、静的動作要素を含む逐次要素候補の時間範囲を（Ｓｓ，Ｓｅ）とすると、（Ｓｓ，Ｓｅ）における静的動作要素の該当するパラメータを学習用手話データから抽出すればよい。動作要素状態数が２以上の場合には、対象となる動作要素状態列を含む逐次要素候補の時間範囲から各動作要素状態に対応する時刻を検出し、検出した部分のパラメータを抽出する。動作要素状態の検出は、パラメータの変化が極小になる部分を検出することにより行われる。この場合、ノイズ等の影響による局部的な極小値が検出される場合があるが、これを避けるために予め設定した閾値以下の極小値のみを検出してもよい。繰り返し回数の有無に応じ、以下のようにしてパラメータを抽出する。
【００３８】
（１）繰り返しが無い場合、
これは、ある静的動作要素から他の静的動作要素に変化する場合であって、最初と最後の動作要素状態以外には中間状態を示すパラメータであればよい。
図２２は、繰り返しがある場合の静的動作要素の検出方法の説明図である。
先ず、逐次要素候補の開始時刻をＳｓ２２０１、終了時刻をＳｅ２２０２、動作要素状態数をＮとする。開始時刻Ｓｓから終了時刻Ｓｅの方向に（Ｓｅ−Ｓｓ＋１）÷Ｒの範囲２２０３で、パラメータ変化の最初の極小値２２０４を検出する。なお、Ｎ＝２のとき、Ｒ＝３，Ｎ＞２のとき、Ｒ＝２×（Ｎ−１）となる。
極小値があれば、それを第１の検出点Ｄ（１）、極小値がなければ、ＳｓをＤ（１）にする（２２０５参照）。次に、ＳｅからＳｓの方向に（Ｓｅ−Ｓｓ＋１）÷Ｒの範囲２２０６で、パラメータの変化の最初の極小値２２０７を検出する。前述と同じく、Ｎ＝２のときＲ＝３、Ｎ＞２のときＲ＝２×（Ｎ−１）である。検出の結果、極小値があれば、それを第Ｎの検出点Ｄ（Ｎ）、極小値がなければ、ＳｅをＤ（Ｎ）とする（２２０８参照）。Ｄ（１）とＤ（Ｎ）の間を（Ｎ−１）区間に等分割して、Ｄ（１）からｎ番目の分割点を検出点Ｄ（ｎ）とする（２２０９，２２１０参照）。各検出点を中心に、下式（１５）の条件を満足する範囲のパラメータを各動作要素状態のパラメータとして抽出する。
ｄ（ｐ（ｉ），ｑ（ｔ））＜Θｄ                                （１５）
なお、ｄ（ｐ，ｑ）は、パラメータベクトルｐとｑの距離
ｐ（ｉ）は、ｉ番目の検出点のパラメータベクトル
ｑ（ｔ）は、時刻ｔのパラメータベクトル
Θｄは、パラメータ抽出範囲を決定する閾値
【００３９】
（２）繰り返し回数がある場合、
図２３は、繰り返しがある場合の静的動作要素の検出方法の説明図である。
静的動作要素列が繰り返される場合には、通常の手話では動作要素状態数が２であるため、次の手順でパラメータの抽出を行う。
先ず、逐次要素候補の開始時刻をＳｓ２３０１、終了時刻をＳｅ２３０２とする。開始時刻Ｓｓから終了時刻Ｓｅの間でパラメータの変化が極小値になる時刻ｄ（ｎ）を、全て検出する（２３０３０２３０４，２３０５，２３０６）。Ｓｓ２３０１から（Ｓｅ−Ｓｓ＋１）÷Ｒ（前述と同じく、Ｎ＝２のときＲ＝３、Ｎ＞２のときＲ＝２×（Ｎ−１））までの範囲にｄ（１）が検出されているとき、ｄ（１）を１番目の検出点Ｄ（１）、検出されていないときにはＳｓを１番目の検出点Ｄ（１）とする。Ｄ（１）から計数して（２ｎ＋１）番目の極小値を各繰り返し動作の開始時刻、（２ｎ）番目の極小値を各繰り返し動作の終了時刻、（２ｎ）番目の極小値を各繰り返し条件を満足していれば、繰り返しが無いときと同じく、前式（１５）の条件を満足する範囲のパラメータを各動作要素状態のパラメータとして抽出する。
【００４０】
図２４は、静的動作要素のみから形成される手話単語の構造の一例図であり、図２５は、静的動作要素のみから形成される手話単語のパラメータ抽出方法の説明図である。
静的動作要素のパラメータを抽出する場合、例外事項として、静的な動作要素のみで形成される手話単語がある。例えば、図２４において、手話単語を形成する逐次要素２４０１および２４０２が、静的動作要素である形状２４０３、２４０４、方向２４０５，２４０６、位置２４０７、２４０８から形成される。このようなとき、図２５に示すように、ラベルの開始時刻２５０１、終了時刻２５０２をそれぞれ手話単語候補の開始時刻、終了時刻とみなし、その範囲内でパラメータ変化が極小となる時刻を検出する。すなわち、図２４の逐次要素２４０１，２４０２のそれぞれを形成する動作要素のパラメータの全てを含むパラメータベクトルの変化２５０３、２５０４から、極小点Ｃ１（２５０５）、Ｃ２（２５０６）を検索する。各検出点をそれぞれ逐次要素の候補とみなし、手話単語候補の生成処理で用いた条件と同じ条件を満足する組み合わせを検索する。この場合、逐次要素候補間の条件を満足する組み合わせに関して、それぞれの検出点から前式（１５）の条件によりパラメータを抽出する。静的な動作要素状態列を含む場合にも、動作要素を示すパラメータの変化の極小点を検出し、適切な関係を持つ組み合わせを検出することにより、同じようにパラメータを抽出することができる。また、ある逐次要素のみが静的動作要素のみにより形成される場合には、動的な動作要素により決定される時間範囲をラベル情報から除いた範囲に対して、上述と同じような方法によりパラメータの抽出を行うことが可能である。
【００４１】
図２６は、逐次要素の時間範囲と静的動作要素列の時間範囲の差を説明する図である。
手話単語候補生成部１０８において手話単語候補を生成し、静的動作要素パラメータ抽出部１０９において静的動作要素のパラメータを抽出した後、手話単語辞書作成部１１０において手話単語辞書用のパラメータの計算を行い、計算したパラメータにより辞書テンプレートを修正することにより手話単語辞書を生成する。図７に、生成される手話単語辞書のフォーマットが記述されている。辞書中に記述されるパラメータは、生成された手話単語候補中の動的な動作要素の属性パラメータの平均値および分散値、抽出された静的動作要素のパラメータの平均値および分散値、動作要素状態間、逐次要素間、およびそれらの繰り返し間のギャップに関するパラメータの平均値と分散値、同時要素間の重なりに関するパラメータの平均値および分散値である。この場合、分散値には予め閾値を設定しておき、計算結果がその閾値よりも小さくなった場合、その閾値を記述してもよい。  また、静的な動作要素状態列の場合には、図２６に示すように、静的動作要素が変化する時間範囲２６０１が動的な動作要素の時間範囲２６０２に比較して小さくなり、時間範囲も変動し易いため、逐次要素中に動的な動作要素が含まれる場合には、静的な動作要素状態列からなる同時要素の時間範囲は、同時要素間の重なり度の計算には加えなくてもよい。
さらに、連続する動作要素状態間の動作方向や動作平面に対する制約は、手話単語辞書を生成する際には省略する。または、他のパラメータと同じく、学習用手話データから抽出した実際の動作方向や動作平面に関するパラメータの平均値および分散値を求めて、手話単語辞書中に記述してもよいのは勿論である。
【００４２】
【発明の効果】
以上説明したように、本発明によれば、手話単語辞書の作成の際に、ユーザは手話単語の概略の記述のみを行うだけでよく、最も労力を必要とするパラメータの抽出や、その計算の作業は自動化されるので、ユーザの労力を大幅に削減できる。また、動的な動作要素の認識結果のみから生成した手話単語の候補に基づき、静的な動作要素のパラメータを抽出し、辞書に必要なパラメータの学習を行うことで、高精度の手話単語辞書を学習することができる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す手話単語辞書学習装置のブロック図である。
【図２】図１の手話単語辞書学習装置を実現するハードウェア構成図である。
【図３】手話データのフォーマット図である。
【図４】ラベル情報のフォーマット図である。
【図５】動作要素により表現された手話動作のモデル図である。
【図６】動作要素の種類と属性パラメータの種類を示す図である。
【図７】手話単語辞書および辞書テンプレートのフォーマット図である。
【図８】動作要素のフォーマット図である。
【図９】手話単語『通う』を意味する人間の形態図である。
【図１０】本発明における手話単語辞書の記述例を示す図である。
【図１１】本発明における辞書テンプレートの記述例を示す図である。
【図１２】認識された動作要素のフォーマット図である。
【図１３】本発明の一実施例を示す手話単語候補生成部の処理フローチャートである。
【図１４】動作要素状態の候補のフォーマット図である。
【図１５】連続する動作要素の先頭の動作要素の選択方法の説明図である。
【図１６】同じ種類の動作要素が連続する手話データから動作要素を認識した結果の一例を示す図である。
【図１７】同時要素の候補のフォーマット図である。
【図１８】同時要素間の重なり度の計算方法の説明図である。
【図１９】逐次要素の候補のフォーマット図である。
【図２０】連続する逐次要素のギャップの大きさを評価する方法の説明図である。
【図２１】手話単語の候補のフォーマット図である。
【図２２】繰り返しが無い場合の静的動作要素の検出方法の説明図である。
【図２３】繰り返しがある場合の静的動作要素の検出方法の説明図である。
【図２４】静的動作要素のみから形成される手話単語の構造の一例を示す図である。
【図２５】静的動作要素のみから形成される手話単語のパラメータ抽出方法の説明図である。
【図２６】逐次要素の時間範囲と静的動作要素列の時間範囲の差を説明する図である。
【符号の説明】
１０１…手話データ入力部、１０２…学習用手話データ格納部、
１０３…ラベル情報入力部、１０４…ラベル情報格納部、
１０５…辞書テンプレート入力部、１０６…辞書テンプレート格納部、
１０７…動的動作要素認識部、１０８…手話単語候補生成部、
１０９…静的動作要素パラメータ抽出部、１１０…手話単語辞書作成部、
１１１…手話単語辞書格納部、２０１…文字入力装置、２０２…キーボード、
２０３…手話入力装置、２０４…手袋型入力装置、２０５…ビデオカメラ、
２０６…演算装置、２０７…出力装置、２０８…ＣＲＴディスプレイ、
２０９…学習用手話データのメモリ、２１０…ラベル情報メモリ、
２１１…辞書テンプレートメモリ、２１６…手話単語辞書メモリ、
２１５…手話単語辞書作成プログラムメモリ、
２１４…静的動作要素パラメータ抽出プログラムメモリ、
２１３…手話単語候補生成プログラムメモリ、
２１２…動的動作要素認識プログラムメモリ、５０１，５０２…逐次要素、
５０４，５０５…同時要素、５０８，５０９…動作要素。
【図１】
0003622488.tif 000008
【図２】
0003622488.tif 000009
【図３】
0003622488.tif 000010
【図４】
0003622488.tif 000011
【図５】
0003622488.tif 000012
【図６】
0003622488.tif 000013
【図７】
0003622488.tif 000014
【図８】
0003622488.tif 000015
【図９】
0003622488.tif 000016
【図１０】
0003622488.tif 000017
【図１１】
0003622488.tif 000018
【図１２】
0003622488.tif 000019
【図１３】
0003622488.tif 000020
【図１４】
0003622488.tif 000021
【図１５】
0003622488.tif 000022
【図１６】
0003622488.tif 000023
【図１７】
0003622488.tif 000024
【図１８】
0003622488.tif 000025
【図１９】
0003622488.tif 000026
【図２０】
0003622488.tif 000027
【図２１】
0003622488.tif 000028
【図２２】
0003622488.tif 000029
【図２３】
0003622488.tif 000030
【図２４】
0003622488.tif 000031
【図２５】
0003622488.tif 000032
【図２６】
0003622488.tif 000033