(57)【特許請求の範囲】
【請求項１】
複数の手話単語が連続的に表現された手話文における手指動作を電気信号に変換し、時系列のデータからなる手動作データとして入力する手段と、
入力した手動作データ中に表現されている各手話単語を認識する手段と、
手以外の動作である非手指動作を電気信号に変換し、時系列のデータからなる非手指動作データとして入力する手段と、
入力した非手指動作データ中に表現されている非手指動作を認識する手段と、
非手指動作や手指動作によって表される手話単語間の関係に関するルール、および非手指動作によって手話単語、手話単語のまとまり、あるいは手話文に付加される属性に関するルールを格納する手段と、
手話単語の認識結果と非手指動作の認識結果、前記手話単語間の関係に関するルール、および非手指動作によって手話単語、手話単語のまとまり、あるいは手話文に付加される属性に関するルールに基づいて、手話単語間の関係を解析し、入力した手話文を表す手話単語の列と手話単語間の関係を表す情報を生成する手段と、
手話単語間の関係を解析した結果に基づいて、日本語を生成する手段とを有することを特徴とする手話文認識装置。
【請求項２】
請求項１記載の手話文認識装置において、前記手話単語間の関係に関するルールは、非手指動作によって分割された複数の手話単語のまとまりに関するルールと、分割された手話単語のまとまり間の関係に関するルール、および個々の手話単語間の関係に関するルールから構成されることを特徴とする手話文認識装置。
【請求項３】
請求項１記載の手話文認識装置において、前記非手指動作によって手話単語、手話単語のまとまり、あるいは手話文に付加される属性に関するルールは、非手指動作と、少なくとも非手指動作の手話文中での出現位置、非手指動作によって属性が付加される対象、および非手指動作によって付加される属性との関係を表すルールとして記述されることを特徴とする手話文認識装置。
【請求項４】
請求項１記載の手話文認識装置において、非手指動作として、頭部の動作、眉の動作、瞼の動作、視線の動き、口の動作、肩の動作、舌の動作、および頬の動作の内、少なくとも一つの動作を使用することを特徴とする手話文認識装置。
【請求項５】
音声、手の動作、足の動作、腰の動作、頭部の動作、眉の動作、瞼の動作、視線の動き、口の動作、肩の動作、舌の動作、および頬の動作の内少なくとも一つの動作からなり、情報伝達の中心的な役割を果たす表現である中心表現を電気信号に変換し、時系列のデータからなる中心表現データとして入力する手段と、
入力した中心表現データ中の表現の単位を中心表現単位として認識する手段と、
音声、手の動作、足の動作、腰の動作、頭部の動作、眉の動作、瞼の動作、視線の動き、口の動作、肩の動作、舌の動作、および頬の動作の内少なくとも一つの動作の内、前記中心表現を構成する表現以外の表現からなり、前記中心表現に付随した表現である付随表現を電気信号に変換し、時系列のデータからなる付随表現データとして入力する手段と、
入力した付随表現データ中に表現されている付随表現の単位を付随表現単位として認識する手段と、
中心表現や付随表現によって表される中心表現単位間の関係に関するルール、および付随表現単位によって中心表現単位、中心表現単位のまとまり、あるいは中心表現全体に付加される属性に関するルールを格納する手段と、
中心表現単位の認識結果と付随表現単位の認識結果、前記中心表現単位間の関係に関するルール、および前記付随表現単位によって中心表現単位、中心表現単位のまとまり、あるいは中心表現全体に付加される属性に関するルールに基づいて、中心表現単位間の関係を解析し、伝達する情報を表す中心表現単位の列と中心表現単位間の関係を表す情報を生成する手段と、
中心表現単位間の関係を解析した結果に対応する処理を実行するための指示を対象としている装置に行う手段とを有することを特徴とするユーザインタフェース。
【請求項６】
請求項５記載のユーザインタフェースにおいて、
前記中心表現単位間の関係に関するルールは、前記付随表現単位によって分割された複数の中心表現単位のまとまりに関するルールと、分割された中心表現単位のまとまり間の関係に関するルール、および個々の中心表現単位間の関係に関するルールから構成されることを特徴とするユーザインタフェース。
【請求項７】
請求項５記載のユーザインタフェースにおいて、
前記非付随表現単位によって中心表現単位、中心表現単位のまとまり、あるいは中心表現全体に付加される属性に関するルールは、付随表現単位と、少なくとも付随表現単位の中心表現中での出現位置、付随表現単位によって属性が付加される対象、および付随表現単位によって付加される属性との関係を表すルールとして記述されることを特徴とするユーザインタフェース。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、手話文を表すデータ中に表現されている個々の手話単語間の関係を解析し、手話から日本語への翻訳を行う手話文認識装置に関する。また、本発明は、複数の表現手段を用いて電子計算機あるいはその他の装置を操作するためのユーザインタフェースに関する。
【０００２】
【従来の技術】
手指以外の例えば頭等による動作即ち非手指動作の情報を用いて手指動作（手動作）の関係を解析する既存の技術が例えばヒューマンインタフェース学会論文誌第１巻第３号第７頁〜第１２頁「イントネーションブレークに基づいた米手話の構文解析」によって開示されている。この技術では、イントネーションブレークと呼ばれる非手指動作に着目し、イントネーションブレークを含む手話の文型に関するルールを利用して、手話単語間の解析を行っている。この際、イントネーションブレークは、主題部分とそれを説明する部分の２種類の単語列に手話文を分割する手段として利用されている。解析処理では、分割されたそれぞれの単語列中に含まれる単語の品詞に基づき、手話単語間の関係を解析する。解析処理への入力は、手話単語とイントネーションブレークを表す記号から構成される一次元の記号列となっている。
【０００３】
また、複数種類の表現手段を用いて計算機等の装置を操作するユーザインタフェースに関する技術として、例えば、音声情報と身体動作を利用して計算機等の装置を操作するマルチモーダルインタフェースの技術が特開平７−５９７７によって開示されている。これらの技術では、音声情報中の特定の単語と同時、或いはある一定の時間的なずれの範囲内に表現された身体動作によって得られる情報により、音声情報を補うものである。
【０００４】
例えば、「それをここに移動してください」という音声情報が入力された場合、「それ」という発話と同時に表現された指差し動作によって示される対象と、「ここ」という発話と同時に表現された指差し動作によって示される場所を解析し、その情報を利用することにより、実際に移動すべき対象とその対象を移動すべき場所を装置が理解することを可能とする。
【０００５】
【発明が解決しようとする課題】
非手指動作の情報を用いて手指動作間の関係を解析する従来技術では、手話文を主題部分とそれを説明する部分に分割する非手指動作の機能のみを利用している。そのため、手話における非手指動作がそれ以外にもさまざまな形で手話文の区切りを表す機能を有しているにも拘わらず、上記従来技術ではそのような機能の利用に関しては考慮されていない。
【０００６】
また、非手指動作には、その種類や表現される位置によって、手話文中の手話単語や手話文全体にさまざまな文法的機能を付加するという特徴がある。例えば、手話文中の単語と同時に顎を前に出す動作をすると、その手話単語が目的語を表すことを示す。また、文末で眉を上げる動作を行うと、その手話文は疑問文であることを表す。さらには、同じ非手指動作であっても、手話文中で表現される場所によって手話単語や手話文に付加する文法的機能が異なる場合もある。このため、解析処理においてはこのようなさまざまな機能を有する非手指動作の機能を考慮しながら手話単語間の関係を解析する必要がある。
【０００７】
更に従来技術では、入力は、手話単語とイントネーションブレークを表す記号から構成される一次元の記号列となっているが、実際の手話単語および非手指動作の認識結果には、複数の候補が含まれる。このため、解析処理では、複数の手話単語および非手指動作の組み合わせから最適な関係を表す組み合わせを求める必要がある。
【０００８】
また、複数種類の表現手段を用いて計算機等の装置を操作する従来のマルチモーダルインタフェースでは、音声などの情報伝達の中心となる表現(中心表現)の構造に基づき、身体動作のような付随的な表現(付随表現)から中心表現の内容を補う情報を抽出するという技術がほとんどである。
【０００９】
しかしながら、中心表現が音声などの場合、その付随表現である身体動作などは、中心表現の内容を補う情報だけでなく、その構造と関連した情報を伝達する場合が多く見られる。さらに、現状の音声認識技術などは、必ずしも全ての入力に対して正しい認識結果を出せるわけではなく、自然なユーザインタフェースを実現するためには、更に認識精度を向上する必要がある。例えば、音声に付随する身体動作による音声表現の構造を表す情報を用いて音声表現を解析することにより、音声の認識精度を向上することが可能となる。これらのことから、中心表現の認識精度を向上させ、自然なユーザインタフェースを実現するためには、中心表現に付随する表現を利用した解析処理を考慮する必要があることが判る。
【００１０】
本発明の第１の目的は、手話における非手指動作のさまざまな機能を考慮して、手指動作から認識された手話単語の候補と、非手指動作から認識された情報から、手話単語間の関係を解析し、適切な手話単語列と手話単語間の関係を生成することにより、自然な手話に対応した手話文認識装置を提供することにある。
【００１１】
本発明の第２の目的は、中心表現に付随する表現によって表される中心表現の構造に関する情報を利用して中心表現の解析処理を行うことにより、自然なユーザインタフェースを提供することにある。
【００１２】
【課題を解決するための手段】
上記の第１の目的を達成するために本発明の手話文認識装置では、まず、手話における非手指動作が持つ機能の内、手話文の構造を規定する機能と、手話単語や手話文に意味を付加する機能の二種類が利用される。前者の機能を持つ非手指動作は、手話文を意味的なまとまりを持つ複数の区間に分割される。この分割された各区間を以下では「手話句」と呼ぶ。この機能を利用するために、本発明では、手話文がどのような手話句の並びによって表現されるかを表すルールが用意される。各手話句は、名詞のみを含む手話句、動詞を含む手話句、助動詞を含む手話句など、複数種類存在するため、手話句の組み合わせにより手話文を表現することにより、大まかな手話文の構造を表現することできる。さらに、手話句を構成する手話単語の並びを表すルールも用意される。
【００１３】
以上により、入力された手話文の詳細な構造を表現することができるが、意味的には複数の手話句が相互に関連する場合や、また、何らかの構造を有する手話句も存在する。このため、手話句間および手話句内における手話単語間の意味的な関係を表すルールも用意される。
【００１４】
手話単語や手話文に意味を付加する機能を持つ非手指動作については、各非手指動作の種類とそれに対応する機能、さらにその機能を何に対して付加するかがルールとして用意される。
【００１５】
上記のルールおよび、手指動作から認識された手話単語と非手指動作の認識結果を利用して手話単語間の関係を解析することにより、適切な手話単語列および手話単語間の関係が生成される。解析処理においては、まず、手話句に基づく手話文の構造に関するルールを用いて、手話単語列の候が絞り込まれる。次に、手話単語や手話文に意味を付加する非手指動作に関するルールを用いて、絞り込んだ手話単語列の候補に対して情報が付加される。さらに、手話句間および手話句内における手話単語間の関係に関するルールを用いて、手話単語列の候補に対して手話単語間の意味的な関係が評価され、最適な手話単語列が選択される。
【００１６】
以上の方法により、複数存在する手話単語および非手指動作の認識結果から、効果的に適切な手話単語列と手話単語間の関係を生成することができる。
【００１７】
上記の第２の目的を達成するために本発明のユーザインタフェースは、上記と同様の方法を用いることによって実現される。すなわち、上記手話単語を中心表現単位に置き換え、さらに非手指動作を付随表現に置き換えることによって中心表現の解析が行われる。これにより、中心表現の解析を高精度に行うことが可能となる。
【００１８】
【発明の実施の形態】
以下、本発明に係る手話文認識装置およびユーザインタフェースを図面に示した幾つかの発明の実施の形態を参照して更に詳細に説明する。
【００１９】
本実施形態では、非手指動作として頭部の動作を利用する例を示す。図１は、本発明を適用した手話文認識装置の概念ブロック図である。図１において、１０１は、非手指動作である頭部の動作を入力するためのビデオカメラ、１０２は、ビデオカメラ１０１から入力された映像を時系列の非手指動作データ即ち時系列映像データに変換するための動画像入力部１０２であり、既存のビデオキャプチャ装置を用いることができる。
【００２０】
さらに、１０３は、動画像入力部１０２が出力する時系列映像データから頭部動作の単位即ち非手指動作を認識する頭部動作認識部である。頭部動作の認識方法としては、既にある技術、例えば、計測自動制御学会第５１回パターン計測部会研究会第２９頁〜第３３頁（２０００年４月２１日）「日本手話自動通訳を支援するための頭部運動解析」に記載されている技術を利用することができる。
【００２１】
図２に、頭部動作の認識結果のフォーマットを示す。図２において、開始時刻２０１は頭部動作が開始された時刻、中間時刻２０２は頭部動作の途中において特徴的な動作が表現された時刻、終了時刻２０３は頭部動作が終了した時刻を表す。例えば、「頷き」のような場合、頷きのために頭部が動き始めた時刻が開始時刻、頭部が下がり切った時刻が中間時刻、頭部が元の位置に戻った時刻が終了時刻となる。動作の種類２０４は頭部動作の種類を表す記号である。
【００２２】
図３に頭部動作の種類を表す記号の例を示す。３０１および３０３に頭部動作の種類を表す記号、３０２および３０４にそれぞれの記号が示す具体的な動作の内容を示す。
【００２３】
以上のように本実施形態では、非手指動作として頭部動作を利用したが、これに限らず、眉の動作、瞼の動作、視線の動き、口の動作、肩の動作、舌の動作、頬の動作を利用することが可能である。
【００２４】
また、図１において、１０４は、手話文を表す動作を電気信号に変換するための手動作入力装置であり、良く知られている手袋型の装置を使用することができる。さらに、１０５は、手動作入力装置１０４により入力された手指動作を時系列の手動作データに変換するための手話動作入力部であり、これも既存の装置を用いることができる。続いて、１０６は、手話動作入力部１０５から入力された手動作データ中に表現されている各手話単語を認識する手話単語認識部である。手話単語認識部１０６に用いる方法としては、既にある技術、例えば、特開平１０−２０８０２３号公報に記載されている技術を利用することができる。
【００２５】
なお、手動作入力装置１０４としてビデオカメラを、手話動作入力部１０５として既存のビデオキャプチャ装置を用いることが可能である。この場合、手話単語認識部１０６にはビデオ画像から手の位置や形状を認識する画像認識装置を使用する。
【００２６】
手話単語認識部１０６からの出力にはセグメント情報および手話単語の認識結果が含まれる。ここで、セグメントとは動作の境界で区切られた手動作データ中の各区間を表し、セグメント情報には、手動作データ中における各セグメントに関する情報が図４に示すフォーマットに含まれる。図４において、セグメント番号４０１は手動作データ中の何番目のセグメントであるかを表す番号、開始時刻４０２はセグメントの開始時刻、終了時刻４０３はセグメントの終了時刻を表す。
【００２７】
セグメント情報の一例を図５に示す。セグメント番号毎にその開始時刻および終了時刻が示される。
【００２８】
次に、手話単語の認識結果のフォーマットを図６に示す。開始時刻６０１は手話単語の表現が開始された時刻、終了時刻６０２は手話単語の表現が終了した時刻、評価値６０３は手話単語の認識結果がどの程度信頼することができるかを表す値である。関連セグメント番号６０４は、認識された手話単語が含まれるセグメント番号を表す。手話単語を含むセグメントが複数の場合があるが、この場合は関連するセグメント番号が全て列挙される。手話単語名６０５は手話単語の名称を表す。属性値の数６０６は、手話単語が表現された位置や方向を表す属性値の数であり、属性値６０７から６０８は、具体的な各属性値を表す。
【００２９】
属性値６０７〜６０８は、図７に示すフォーマットで表される。属性の種類７０１は属性値の種類を表す記号であり、次元数７０２は属性値を表す具体的なパラメータの次元数を表し、パラメータ７０３から７０４はパラメータの各値を表す。
【００３０】
図８に手話単語の認識結果の一例を示す。図８では、関連セグメント番号６０４に基づいて、各セグメントと各手話単語の関係が表の形式で表される。セグメント１（８０１）には手話単語「ＰＴ１」および「ＰＴ３」が含まれ、セグメント２（８０２）には手話単語「本」が含まれていることが示される。ここで、「ＰＴ１」は一人称への指差し、「ＰＴ３」は三人称への指差しを表す。セグメント４（８０３）には手話単語が含まれておらず、手話単語が認識されなかったことを表している。また、図８では簡単のため、属性値に関する情報は省略されている。
【００３１】
図１において、意味構造解析部１０７は、頭部動作認識部１０３からの認識結果および手話単語認識部１０６からの認識結果に基づき、手話単語間の関係の解析と、手話単語、手話単語のまとまり、あるいは手話文への属性付加を行う。手話単語間の関係の解析および属性の付加は、頭部動作変換ルールファイル１０８に格納されているルールに基づいて行われる。頭部動作変換ルールファイル１０８に格納されているルールは、頭部動作や手指動作によって表される手話単語間の関係に関するルール、および頭部動作によって手話単語、手話単語のまとまり、あるいは手話文に付加される属性に関するルールから構成される。
【００３２】
図９に手話単語間の関係を表すルールのフォーマットを示す。頭部動作により、手話文は一つ以上の手話単語からなる複数のまとまりに分割される。図９に示すルールでは、手話文が手話単語のまとまりに分割されるルール、および分割されたまとまりにおける手話単語の組み合わせに関するルールが表される。頭部動作によって分割された手話単語のまとまりは手話句となる。
【００３３】
図９において、非終端記号９０１は、文、手話句、品詞など、分割や具体化が可能な記号である。また、記号９０２、９０３および９０４には非終端記号あるいは終端記号が記述される。終端記号とは個々の手話単語であり、それ以上分割も具体化もできない記号である。手話単語間ルール９０５は、複数の非終端記号に含まれる手話単語間の関係を表すルールである。手話における頭部動作は、必ずしも関連する手話単語が同じ手話句に含まれない。また、手話句内においても文法的な構造を有する場合が多い。このため、手話単語間の文法的な関係を表す単語間ルール９０５が記述される。
【００３４】
図１０に単語間ルール９０５の一例を示す。図１０において、１００１は、指定された属性に属性値を代入するためのルールである。属性名および属性値としては、特定の手話単語や品詞を指定するために、「単語名．属性名」や「品詞．属性名」という記述を行う。１００２は、指定された品詞に一致する手話単語の指定された属性に属性値を代入するためのルールである。１００３および１００４は、それぞれ直前、直後の手話句に含まれる指定された品詞に該当する手話単語を参照するための記述であり、他のルール中の品詞の指定の代わりに使用される。１００５は、Ｘで示される手話単語の数を表すルールである。１００６は、複数の名詞が逐次的に表現されている場合、「〜の〜」という関係にあることを表すためのルールである。１００７は、複数の名詞が逐次的に表現されている場合、それら複数の名詞が複合語を表すことを示すルールである。１００８は、複数の名詞が逐次的に表現されている場合、「〜と〜」の関係にあることを表すルールである。１００９は、複数のルールが非終端記号に対して適用可能であることを表すためのルールである。
【００３５】
図１１に手話単語間の関係を表すルールの一例を示す。１１０１において、Ｓは手話文、Ｐｎ、Ｐｖ、Ｐｖ０、Ｐｐは手話句を表し、それぞれ名詞、動詞、動詞、終助詞を含む手話句である。これにより、１１０１は、手話文がどのような手話句から構成されているかを表すルールとなっている。１１０２は、名詞を含む手話句を構成する手話単語、および手話単語間の関係を表すルールである。１１０２において、Ｎは名詞、Ｎｏは数詞、Ｃｊは接続詞、ＰｔおよびＰｔ３は指差しを表す。ＰｔおよびＰｔ３は、さらに１１０６および１１０７によって具体化される。１１０６および１１０７において、ＰＴ１は一人称に対する指差し、ＰＴ２は二人称に対する指差し、ＰＴ３は三人称に対する指差しをそれぞれ表す。１１０３および１１０４は、動詞を含む手話句を構成する手話単語、および手話単語間の関係を表すルールである。１１０３および１１０４において、Ｖは動詞、Ｐａは終助詞を表す。１１０５は、終助詞を含む手話句を構成する手話単語、および手話単語間の関係を表すルールである。１１０８は具体的な接続詞と手話単語間の関係を表すルール、１１０９は具体的な終助詞と手話単語間の関係を表すルールである。
【００３６】
頭部動作によって、手話単語、手話単語のまとまり、あるいは手話文に付加される属性に関するルールのフォーマットを図１２に示す。図１２において、動作の種類１２０１は対象となる頭部動作の種類を表し、図３に示す動作の種類のいずれかが記述される。出現位置１２０２は対象となる動作が手話文中のどの位置に表現されるかを表し、文頭、文中あるいは文末のいずれかが記述される。出現位置としてはその他、単語開始時、単語終了時、単語全体、単語間、複数単語に渡る場合、等を指定できるようにすることも可能である。対象１２０３は頭部動作によって属性が付加される対象を表し、単語あるいは文を指定することができる。属性名１２０４は、頭部動作によって付加される属性値が設定される属性の名称を表す。属性値１２０５は、頭部動作によって指定される具体的な属性値を表す。
【００３７】
図１３に、頭部動作によって付加される属性に関するルールの一例を示す。図１３において、１３０１は、文末に表現される「顎上げ動作」により手話文が命令文となることを表すルールである。ここで、「ムード」が文の形態を表す属性を示している。１３０２は、文中に表現される「顎上げ動作」により、その動作と同時に表現された単語が文中で目的語となることを表すルールである。ここで、「役割」が文中での手話単語の役割を表す属性を示している。また、１３０３は、文末に表現される「頷き動作」によって、その手話文が平叙文となることを表すルールである。
【００３８】
次に、意味構造解析部１０７が手話単語間の関係の解析と、手話単語、手話単語のまとまり、あるいは手話文への属性付加を行う処理について述べる。以下、説明のため、認識されたセグメントおよび手話単語を図５および図８に示すセグメントおよび手話単語とする。また、頭部動作の認識結果を図１５に示す内容、手動作データを手話句に分割する頭部動作は「顎を下げる（ア下）」および「頷き（あうな）」、手話単語間の関係を表すルールを図１１に示す内容、頭部動作を属性に変換するルールを図１３に示す内容であると仮定する。
【００３９】
手話単語間の関係の解析および属性付加の処理は、図１４に示すフローチャートに従って実行される。図１４において、ステップ１４０１では頭部動作によって手動作データを手話句に分割する。ステップ１４０１における具体的な処理結果の例を図１６に示す。図１５において手話文を手話句に分割する頭部動作が３つ（１５０１、１５０２、１５０３）検出されていることから、手話文は、３つの手話句に分割されることになる(ここで、手話文の終了時には必ず頭部動作が表現されると仮定している)。各頭部動作が検出された時刻と各セグメントが検出された時刻を比較することにより、手話句１（１６０１）にはセグメント１が、手話句２（１６０２）にはセグメント２および３が、手話句３（１６０３）にはセグメント４および５が含まれることになる。
【００４０】
ステップ１４０２では、ステップ１４０１で検出された手話句の数に基づき、手話文を表すルールを検索する．上記の例では、３つの手話句が検出されているため、図１１に示すルールを使用する場合、ルール１１０１から図１７に示す２つのルール１７０１および１７０２が選択されることになる。ステップ１４０３では、ステップ１４０２で検索された手話文を表す各ルールに対し、手話句内の非終端記号に対するルールを検索する。
【００４１】
ステップ１４０３における処理は、図１８に示すフローチャートに従って行われる。ステップ１８０１において、処理対象とする手話文ルールの数を表すカウンタｉを１に初期化する。ステップ１８０２では、手話文ルールｉの非終端記号に含まれる記号の数を表すカウンタｊを１に初期化する。ステップ１８０３では、手話文ルールｉの右辺におけるｊ番目の記号が終端記号かどうかの判定を行う。終端記号の場合はステップ１８０７に進む。
【００４２】
終端記号でない場合は、ステップ１８０４に進む。ステップ１８０４では、ｉ番目のルールのｊ番目の非終端記号に対応するルールを検索する。ｊ番目の非終端記号が手話句である場合、手話句に含まれるセグメントの数に基づいて、対応するルールを選択する。手話における手指動作は、遷移動作、手話単語、遷移動作、手話単語という繰り返しにより表現されるが、手話単語の種類によっては、遷移動作と手話単語の区間が１つのセグメントとして検出される場合がある。そのため、ある手話句に含まれるセグメントの数をＮとした場合、Ｎ／２個からＮ個の手話単語を含むルールを全て選択するようにする。ステップ１８０５では検索したルールの候補を格納する。ステップ１８０６では、検索したルールの右辺に対して、ステップ１８０１からを適用する。この場合、カウンタｉはステップ１８０５で検索されたルールの数を表すカウンタとなる。また、これにより、終端記号まで具体化するための全てのルールが検索されることになる。
【００４３】
ステップ１８０７では、カウンタｊに１を加える。ステップ１８０８では、カウンタｊの値がｉ番目の手話文ルールに含まれる記号の数より大きいかどうかをチェックし、大きければステップ１８０９に進む。大きくなければステップ１８０３に戻る。
【００４４】
ステップ１８０９では、カウンタｉに１を加える。ステップ１８１０では、カウンタｉの値がルールの数より大きいかどうかをチェックし、大きければ処理を終了する。大きくなければステップ１８０２に戻る。
【００４５】
図１９に、図１７に示すルール１７０１についてステップ１４０３を適用した結果を示す。図１９において、１９０１は１７０１の１番目の非終端記号Ｐｎについて検索されたルール、１９０２は１９０１の２番目の非終端記号Ｐｎについて検索されたルール、１９０３は１７０１の３番目の非終端記号Ｐｖについて検索されたルールを示す。２番目および３番目の手話句には２つのセグメントが含まれているため、１つの手話単語を含むルールと２つの手話単語を含むルールが選択されている。
【００４６】
図１４において、ステップ１４０４では頭部動作から属性への変換ルールを適用する。図１３に示す変換ルールを図１５に示す頭部動作の認識結果に適用した結果を図２０に示す。図２０では、文末に表現された「頷き動作（あうな）」が平叙文を表す、というルールが選択されたことを示す。
【００４７】
ステップ１４０５では、ステップ１４０３で検索されたルールに該当する具体的な手話単語を検索し、各手話句の候補を生成する。図２１に、図７に示す手話単語の認識結果から各手話句に対して検索された手話単語の候補を示す。１番目の手話句Ｐｎに対する候補２１０１としては、「ＰＴ１」および「ＰＴ３」の２つの手話単語が選択されている。２番目の手話句Ｐｎに対する候補２１０２としては、手話単語１つからなる候補「相談」および「男」と、手話単語２つからなる候補「本  相談」および「本  男」等、２種類の候補が検索されている。３番目の手話句Ｐｖに対する候補２１０３としては、「見る」および「買う」の２つの手話単語が選択されている。
【００４８】
図２１における評価値は、手話単語の評価値から求めた各手話句候補の評価値である。この評価値を求める方法としては、手話句候補に含まれる手話単語の評価値の相加平均や相乗平均、あるいは手話単語の評価値に加え個数や時間長、手話単語間の時間的な間隔などを考慮した任意の関数を用いることができる。図２１では手話単語の評価値の相加平均を用いた値を示している。
【００４９】
図１４において、ステップ１４０６では、ステップ１４０５で生成された手話句ごとの手話単語候補をステップ１４０２で検索されたルールに基づいて結合することにより、手話文候補を生成する。この処理では、手話単語候補の可能な組み合わせを全て生成し、それぞれの組み合わせに対して評価値を求め、評価値により順位付けを行う。評価値の定義としては、組み合わせに含まれる手話単語の評価値の相加平均や相乗平均、あるいは、手話単語の個数や手話単語間の時間的な間隔、手話単語の時間長などを考慮した任意の関数を用いることができる。図２２には、図２１に示す手話句候補から生成された手話文候補の一例を示す。図２１では、評価値を手話文候補中に含まれる各手話単語の評価値の平均値とした場合に、評価値が上位５番目までとなる候補２２０１、２２０２、２２０３、２２０４および２２０５を示している。
【００５０】
ステップ１４０７では、ステップ１４０６で生成した手話文候補に対して、その中に含まれる手話単語間の関係を解析し、入力した手話文を表す手話単語の列と手話単語間の関係を表す情報を格フレームとして生成する。ステップ１４０７における処理を図２３に示すフローチャートを用いて説明する。ステップ２３０１では、手話文候補の数を表すカウンタｉを１に初期化する。ステップ２３０２では、ｉ番目の手話文候補に対して手話句内および手話句間の単語の関係に関するルールを適用する。ステップ２３０３では、ｉ番目の手話文候補中における動詞を検索する。ステップ２３０４では、ｉ番目の手話文候補中に動詞が含まれていたかどうかを判定し、含まれていればステップ２３０５に進み、含まれていなければステップ２３０６に進む。
【００５１】
ステップ２３０５では、検索された動詞に対する格フレームを生成する。動詞に対する格フレームは、格文法として良く知られている技術、例えば、１９９８年３月オーム社発行 田中穂積、辻井潤一共編「自然言語理解」第１０４頁〜第１０９頁に記載されている技術を用いて生成することができる。図２４に、ステップ２３０５において生成される格フレームのフォーマットを示す。図２４において、２４０１は動詞の名称、２４０２は格フレーム中に含まれる格の数を表す。２４０３および２４０５は、具体的な格の種類を表す名称であり、「動作主格」、「目的格」、「場所格」など、一般的に用いられている格の種類を用いることができる。２４０４および２４０６は、それぞれの格に対応する値を格納するためのスロットであり、格フレームが生成された時点では空白のままである。２４０７は、文の形態を表すモダリティと呼ばれる属性の数を表す。２４０８および２４１０は、具体的なモダリティの種類を表す名称であり、「テンス」、「アスペクト」、「ムード」など一般的なモダリティの種類を用いることができる。２４０９および２４１１は、それぞれのモダリティに対応する値を格納するためのスロットであり、格フレームが生成された時点では空白のままである。ステップ２３０５ではさらに、生成された格フレームのスロットに対して、単語間ルールやスロットに代入可能な手話単語の種類に基づき、手話文候補中の手話単語の内、各手話単語を代入可能なスロットの種類を決定する。複数通りの候補がある場合は、全ての候補を求めておく。
【００５２】
図２３において、ステップ２３０７では、適用可能な基本文型の数を表すカウンタｊを１に初期化する。基本文型としては、例えば、図２５に示すような文型を用意する。文型には使用される頻度などに応じて優先順位を付加しておく。図２５では、上の方に記述されている文型ほど優先順位が高くなっている。ステップ２３０８では、ｊ番目に優先順位の高い文型候補を手話文候補に適用し、各手話単語を代入可能なスロットを文型に基づき決定する。ステップ２３０９では、２３０３で検索された動詞の位置およびステップ２３０５で決定された手話単語を代入可能なスロットと、ステップ２３０８で決定された手話単語を代入可能なスロットの間に不整合がないかどうかをチェックする。不整合がない場合はステップ２３１０に進み、スロットに手話単語を代入した結果を格納した後、ステップ２３１３に進む。不整合がある場合はステップ２３１１に進み、カウンタｊを１増加させる。ステップ２３１２では適用可能な文型候補の数よりｊの値が大きいかどうかをチェックし、大きければステップ２３１３へ、そうでなければステップ２３０８に戻る。
【００５３】
以上の処理では、不整合のない文型候補が存在しなければ、処理対象としている手話文候補は削除されることになる。不整合のない文型候補が見つからない場合、単語間ルールおよびスロットに代入可能な手話単語の種類に基づき決定される手話単語を代入可能なスロット、あるいは文型候補によって決定される手話単語を代入可能なスロットのいずれか、またはそれぞれを強制的に適用し、候補として格納するようにしても良い。この際、不整合のない候補と区別を行うために、評価値を低くするようにしても良い。
【００５４】
また、ステップ２３０６では、手話文候補中の手話単語の列をそのまま格納しステップ２３１３に進む。ステップ２３１３ではカウンタｉを１増加させる。ステップ２３１４では、ｉが手話文候補の数より大きいかどうかをチェックし、大きければ処理を終了し、そうでなければステップ２３０２に戻る。
【００５５】
図１４において、ステップ１４０８では、解析した結果を出力する。図２２で示した手話文候補に図１９に含まれる手話単語間ルールおよび図２５に示した文型候補を適用した結果を図２６に示す。図２６では、動詞「見る」の動作主格、目的格に代入可能な手話単語を含む図２２中の手話文候補２２０２および２２０４に対する格フレームのみが示されている。また、２６０１および２６０２は優先順位が最も高い文型候補２５０１が、２６０３および２６０４は２番目に優先順位が高い文型候補２５０２がそれぞれ適用された結果となっている。２６０３および２６０４については優先順位を下げるため、手話文候補の評価値から一定の値を引いた値を評価値としてある。
【００５６】
手話文候補を解析した結果得られた格フレームをもとに、図１の日本語生成部１０９では日本語文を生成する。この方法としては既にある技術、例えば特開平５−２５０４０７号公報に記載の技術を利用することができる。
【００５７】
次に、本発明のユーザインタフェースの実施の形態を図２７および図２８を用いて説明する。図２７に示す実施形態は、情報を伝達するための中心的な表現として日本語音声を用いて何らかの対象とする装置例えば電子計算機を操作するユーザインタフェースにおいて、音声に付随して表現される頭部動作を用いて音声認識の精度を向上させることにより、自然なユーザインタフェースを実現する場合の例を示している。
【００５８】
図２７において、ビデオカメラ２７０１、動画像入力部２７０２および頭部動作認識部２７０３は、図１に示した実施形態と同じ装置あるいは方法を用いることができる。動画像入力部２７０２は、中心表現に付随した表現である付随表現を電気信号に変換し、時系列のデータからなる付随表現データとして入力する。
【００５９】
頭部動作認識部２７０３は、入力した付随表現データ中に表現されている付随表現の単位を認識する。
【００６０】
なお、本実施形態では、付随表現として頭部動作を利用したが、これに限らず、
手の動作、足の動作、腰の動作、眉の動作、瞼の動作、視線の動き、口の動作、肩の動作、舌の動作、頬の動作を利用することが可能であり、或いはこれらから選んだ複数の動作の組み合わせからなる表現を用いることが可能である。
【００６１】
図２７において、２７０４は、日本語音声を電気信号に変換し入力するためのマイク（マイクロフォン）、２７０５は、マイク２７０４から入力された日本語音声を時系列音声データに変換するための音声入力部であり、音声キャプチャ機能を有する既存のサウンドボード等を利用することができる。２７０６は、入力された時系列音声データ中に表現されている個々の日本語単語を認識する単語認識部であり、例えば、１９８８年７月コロナ社発行 中川聖一著「確率モデルによる音声認識」第２９頁〜第８９頁に記載されている技術を利用することができる。
【００６２】
なお、本実施形態では、中心表現として日本語音声を用いたが、これに限らず、
手の動作、足の動作、腰の動作、頭部の動作、眉の動作、瞼の動作、視線の動き、口の動作、肩の動作、舌の動作、頬の動作を用いることが可能である。
【００６３】
意味構造解析部２７０７では、頭部動作変換ルールファイル２７０８、頭部動作２７０３からの認識結果および単語認識部２７０６からの認識結果に基づき、単語間の関係と、単語、単語のまとまりあるいは日本語文への属性付加を行う。頭部動作変換ルールファイル２７０８は、図1における頭部動作変換ルールファイル１０８に格納されているルールと同様の方法により、日本語単語と頭部動作の関係を記述したルールである。これにより、意味構造解析部２７０７における処理は、図１における意味構造解析部１０７と全く同様にして行うことができる。
【００６４】
即ち、意味構造解析部１０７は、中心表現単位の認識結果と付随表現単位の認識結果、および付随表現単位の機能に関するルールに基づいて、中心表現単位間の関係を解析し、伝達する情報を表す中心表現単位の列と中心表現単位間の関係を表す情報を生成する。
【００６５】
日本語文法解析部２７０９では、日本語文法ルールファイル２７１０に格納されている日本語文法に基づいて、単語認識部２７０６の認識結果における単語間の関係を解析する。この方法としては、例えば、１９８４年５月社団法人電子情報通信学会発行 長尾真監修「日本語情報処理」第１１４頁〜第１３８頁に記載の技術を利用することができる。
【００６６】
解析結果統合部２７１１では、意味構造解析部２７０７と日本語文法解析部２７０９の解析結果を統合し、最適な解析結果を出力する。この方法としては、例えば、意味構造解析部２７０７と日本語文法解析部２７０９からの解析結果において、いずれにも存在する結果のみを最終的な解析結果として出力するという方法を採ることができる。あるいは、日本語文法解析部２７０９からの解析結果において、意味構造解析部２７０７からの解析結果にも含まれる結果については、優先順位を上げるという方法でも良い。また、意味構造解析部２７０７からの解析結果において、日本語文法解析部２７０９からの解析結果にも含まれる結果については、優先順位を上げるという方法でも良い。
【００６７】
コマンド生成部２７１２では、解析結果統合部２７１１から出力された解析結果を装置を制御するためのコマンドに変換する。このために図２８に示す変換テーブルを使用する。図２８において、単語名２８０１は、解析結果統合部２７１１からの解析結果に含まれる日本語単語名である。コマンド名２８０２は単語名２８０１に対応するコマンド名であり、引数列２８０３は各コマンドに対する引数の列を表す。解析結果を図２４に示す格フレームの形式で出力する場合、引数列２８０３には、図２８に示すように、引数となる値を含む格の種類が指定される。例えば、２８０４では「探す」という単語が「ＳＥＡＲＣＨ」というコマンドに変換され、引数としては「探す」の「目的格」の値を使用する。また、２８０５では「表示する」とう単語が「ＤＩＳＰＬＡＹ」というコマンドに変換され、引数としては「表示する」の「目的格」および「場所格」が使用される。
【００６８】
一般的な音声認識技術では、認識処理の際に日本語文法ルールも適用し、日本語文の候補を出力する方式を採る場合が多い。このような場合、生成された各日本語文候補中の単語および頭部動作認識結果に対して頭部動作変換ルールを適用し、適正なルールが適用可能であるかどうかを判定し、適用可能な候補のみを最終的な解析結果として残す、あるいは適用可能な候補の優先順位を高くする、という方法を使用しても良い。
【００６９】
このようにして、解析結果統合部２７１１とコマンド生成部２７１２によって、
中心表現単位間の関係を解析した結果に対応する処理を実行するための指示が対象としている装置に対して行われる。
【００７０】
【発明の効果】
本発明により、手指動作および非手指動作によって表現された手話文を解析する場合、自然な手話文から日本語文への精度の高い翻訳が可能になる。また、情報伝達の中心的な表現による情報とそれに付随する表現による情報を利用することにより、情報伝達の中心的な表現の認識精度を向上させることができ、それにより自然なユーザインタフェースを実現することができる。
【図面の簡単な説明】
【図１】本発明に係る手話文認識装置の発明の実施の形態を説明するための構成図。
【図２】頭部動作の認識結果のフォーマットを説明するための図。
【図３】頭部動作の種類を説明するための図。
【図４】セグメントの検出結果のフォーマットを説明するための図。
【図５】セグメントの検出結果の一例を説明するための図。
【図６】手話単語の認識結果のフォーマットを説明するための図。
【図７】手話単語の認識結果中の属性値のフォーマットを説明するための図。
【図８】手話単語の認識結果の一例を説明するための図。
【図９】手話単語間の関係を表すルールのフォーマットを説明するための図。
【図１０】手話単語間の関係を表すルール中の単語間ルールのフォーマットを説明するための図。
【図１１】手話単語間の関係を表すルールの一例を説明するための図。
【図１２】手話単語、手話単語のまとまり、あるいは手話文に付加される属性に関するルールのフォーマットを説明するための図。
【図１３】手話単語、手話単語のまとまり、あるいは手話文に付加される属性に関するルールの一例を説明するための図。
【図１４】手話単語間の関係の解析および属性付加を行う処理を説明するためのフローチャート。
【図１５】頭部動作の認識結果の一例を説明するための図。
【図１６】頭部動作の認識結果により手話文を分割した結果の一例を説明するための図。
【図１７】頭部動作の認識結果に基づいて検索された手話文ルールの一例を説明するための図。
【図１８】図１４におけるステップ１４０３の処理説明するためのフローチャート。
【図１９】図１４におけるステップ１４０３の処理を実行した結果の一例を説明するための図。
【図２０】図１４におけるステップ１４０４の処理を実行した結果の一例を説明するための図。
【図２１】図１４におけるステップ１４０５の処理を実行した結果の一例を説明するための図。
【図２２】図１４におけるステップ１４０６の処理を実行した結果の一例を説明するための図。
【図２３】図１４におけるステップ１４０７の処理を説明するためのフローチャート。
【図２４】図２３におけるステップ２３０５において生成される格フレームのフォーマットを説明するための図。
【図２５】図２３におけるステップ２３０７において使用される文型の一例を説明するための図。
【図２６】図１４におけるステップ１４０８で出力される結果の一例を説明するための図。
【図２７】本発明のユーザインタフェースの発明の実施の形態を説明するための構成図。
【図２８】日本語文から装置を操作するためのコマンドを生成するために使用する変換テーブルを説明するための図。
【符号の説明】
１０１，２７０１…ビデオカメラ、１０２，２７０２…動画像入力部、１０３，２７０３…頭部動作認識部、１０４…手動作入力装置、１０５…手話動作入力部、１０６…手話単語認識部、１０７，２７０７…意味構造解析部、１０８，２７０８…頭部動作変換ルールファイル、１０９…日本語生成部、２７０４…マイク、２７０５…音声入力部、２７０６…単語認識部、２７０９…日本語文法解析部、２７１０…日本語文法ルールファイル、２７１１…解析結果統合部、２７１２…コマンド生成部。
【図１】
0003949913.tif 000002
【図２】
0003949913.tif 000003
【図３】
0003949913.tif 000004
【図４】
0003949913.tif 000005
【図５】
0003949913.tif 000006
【図６】
0003949913.tif 000007
【図７】
0003949913.tif 000008
【図８】
0003949913.tif 000009
【図９】
0003949913.tif 000010
【図１０】
0003949913.tif 000011
【図１１】
0003949913.tif 000012
【図１２】
0003949913.tif 000013
【図１３】
0003949913.tif 000014
【図１４】
0003949913.tif 000015
【図１５】
0003949913.tif 000016
【図１６】
0003949913.tif 000017
【図１７】
0003949913.tif 000018
【図１８】
0003949913.tif 000019
【図１９】
0003949913.tif 000020
【図２０】
0003949913.tif 000021
【図２１】
0003949913.tif 000022
【図２２】
0003949913.tif 000023
【図２３】
0003949913.tif 000024
【図２４】
0003949913.tif 000025
【図２５】
0003949913.tif 000026
【図２６】
0003949913.tif 000027
【図２７】
0003949913.tif 000028
【図２８】
0003949913.tif 000029