(57)【特許請求の範囲】
【請求項１】
手話学習者の動作情報の入力手段と該動作情報の処理を制御する制御手段と情報記録手段と表示手段とを有するコンピュータに手話教育システムを実現させるためのプログラムであって、
上記情報記録手段は手本となる手話に関する情報である手本情報を記録し、
上記プログラムは、上記制御手段に、
上記手本情報から動作の区切りとなる第１の特徴点と第２の特徴点を抽出するステップと、
上記入力手段により手話学習者の動作情報を入手し、該動作情報から手話動画像を生成するステップと、
上記第１の特徴点と上記第２の特徴点の間における上記手本情報から手話動画像を生成するステップと、
上記動作情報の速度に合わせて、上記学習者の動作情報の速度より手本情報の速度が速くなるように上記手本情報の速度を変化させて，上記手本情報から生成した手話動画像を上記動作情報から生成した手話動画像の上に，あるいは上記動作情報から生成した手話動画像を上記手本情報から生成した手話動画像の上に重ね合わせて上記表示手段に表示させるステップと、
上記動作情報が第１の特徴点の位置にあるかを判定するステップと、
上記動作情報が第２の特徴点の位置にあるかを判定するステップと、
上記情報があると判定された場合に、上記第１の特徴点と上記第２の特徴点の間における上記手本情報と上記動作情報の軌跡の差異を計算するステップと、
上記差異が所定の値以下の場合には上記第２の特徴点を第１の特徴点とし、上記手本情報から抽出した次の特徴点を第２の特徴点として上記処理を継続し、上記差異が所定の値以上の場合には上記第１の特徴点と上記第２の特徴点を用いて上記処理を反復するステップと、
を制御させることを特徴とするプログラム。
【請求項２】
上記フローに先駆けて、
上記入力手段により複数フレーム分の手話学習者の動作情報を入力するステップと、
上記入力した動作情報から動作速度を計算するステップと、
上記計算値に基づいて上記手本情報の速度パラメータを変化させるステップと、
を上記制御手段に制御させることを特徴とする請求項１記載のプログラム。
【請求項３】
上記手本情報から手話動画像を生成し表示するステップにおいて、上記第１の特徴点と上記第２の特徴点の間における上記手本情報と上記動作情報の軌跡の差異が所定の値以上の場合は、上記第１の特徴点と上記第２の特徴点の間における上記手本情報から生成した手話動画像を繰り返し表示することを特徴とする請求項１記載のプログラム。
【請求項４】
請求項1記載のプログラムであって、
上記プログラムは、上記制御手段に、
上記第１の特徴点と上記第２の特徴点の間における上記手本情報と動作情報の軌跡との差異に基づいて各フレームの表示形態を決定するステップと、
上記手本情報と上記動作情報から手話動画像を生成するステップと、
上記決定された表示で上記手話動画像を上記表示手段に表示するステップとを実現させるものであることを特徴とするプログラム。
【請求項５】
上記記憶手段は予め複数のコメントを記憶し、
上記プログラムは、上記計算結果に対応するコメントを選択するステップと、
該選択されたコメントも上記表示手段に表示させるステップを有することを特徴とする請求項4記載のプログラム。
【請求項６】
手話学習者の動作情報の入力手段と該動作情報の処理を制御する制御手段と情報記録手段と表示手段とを有する手話教育システムであって、
上記情報記録手段は手本となる手話に関する情報である手本情報を記録し、
上記制御手段は、
上記手本情報から動作の区切りとなる第１の特徴点と第２の特徴点を抽出するステップと、
上記入力手段により手話学習者の動作情報を入手し、該動作情報から手話動画像を生成するステップと、
上記第１の特徴点と上記第２の特徴点の間における上記手本情報から手話動画像を生成するステップと、
上記動作情報の速度に合わせて、上記学習者の動作情報の速度より手本情報の速度が速くなるように上記手本情報の速度を変化させて，上記手本情報から生成した手話動画像を上記動作情報から生成した手話動画像の上に，あるいは上記動作情報から生成した手話動画像を上記手本情報から生成した手話動画像の上に重ね合わせて上記表示手段に表示させるステップと、
上記動作情報が第１の特徴点の位置にあるかを判定するステップと、
上記動作情報が第２の特徴点の位置にあるかを判定するステップと、
上記情報があると判定された場合に、上記第１の特徴点と上記第２の特徴点の間における上記手本情報と上記動作情報の軌跡の差異を計算するステップと、
上記差異が所定の値以下の場合には上記第２の特徴点を第１の特徴点とし、上記手本情報から抽出した次の特徴点を第２の特徴点として上記処理を継続し、上記差異が所定の値以上の場合には上記第１の特徴点と上記第２の特徴点を用いて上記処理を反復するステップと、
を制御することを特徴とする手話教育システム。
【請求項７】
請求項６記載の手話教育システムであって、
上記制御手段は、
上記第１の特徴点と上記第２の特徴点の間における上記手本情報と動作情報の軌跡との差異に基づいて各フレームの表示形態を決定するステップと、
上記手本情報と上記動作情報から手話動画像を生成するステップと、
上記手話動画像を上記表示手段に表示するステップとを制御し、
上記表示手段は上記決定された表示形態で表示することを特徴とする手話教育システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、手話の学習者が効率的に手話の学習を行うことができる環境を提供するための技術に関する。
【０００２】
【従来の技術】
手話を学習するための環境を提供する手話教育用プログラムの技術としては、「みんなの手話（株式会社ＮＨＫエデュケーショナル/日本アイ・ビー・エム（株））」、「君の手がささやいている（富士通ミドルウェア株式会社、１９９６年）」、「手にことばを・入門編(富士通株式会社、１９９６年)」などがある。これらの技術では、手話のビデオ動画像、それらに対応する日本語文、およびそれぞれの手話文に関する説明を学習者に同時に提示することにより、手話と日本語との対応関係を学習させようとするものである。また、これらの技術では、日本語文中の特定の単語に対応する手話動画像を表示できる機能や、単語の一覧から学習者が任意に選択した日本語の単語に対応する手話動画像を表示できる機能を有する。さらに、「手にことばを・入門編」では、動作の形状や方向といった手話を構成している動作要素を選択することによって、手話を検索する機能も有する。
また、三次元コンピュータグラフィックス技術による手話アニメーションを手話動画像の表示に用いた手話教育用プログラムの技術が特開２０００−００３１２７に開示される。この技術では、手話単語、手話文および会話文という三種類の形式による手話動画像の表示を学習者の要求に応じて柔軟切り替える機能を有することにより、手話と日本語の対応を効果的に学習することが可能となっている。
さらに、手話認識技術を用いた手話教育用プログラムの技術としてが特開２０００−３３０４６７に開示される。この技術では、手話認識技術を用いることにより、学習者の手話動作の評価を行い、その結果を得点として表示を行う。また、学習者の手話動作のデータから生成した手話動画像と手本となる手話動画像を比較して表示を行う。この際、手話認識技術を用いることにより、学習者の手話動画像と手本となる手話動画像の時間的なずれを補正して両者で同じ内容を表現している部分を同時に表示できるようにすることにより、学習者が比較することを容易にしている。
【０００３】
【発明が解決しようとする課題】
従来の手話教育に関する技術では、手話の動作と日本語文との対応関係を学習者に表示することにより、学習者が手話の動作を学習するという方法が中心であった。このような方法では、学習者は手話動作を見て理解できるようにはなるが、学習者自身が手話動作を正しく行えるようになったかどうかを確認することはできないという問題がある。通常、動作を見て覚えただけでは、それを実際に動作として再現できない場合が多い。このため、学習者が手話によるコミュニケーションを行うことができるようになることを目的とした手話教育用プログラムとしては、不十分であるという問題がある。
【０００４】
一方、特開２０００−３３０４６７に開示される方法では、学習者の手話動作が正しいかどうかを手話認識技術により評価を行い、その結果を表示している。これにより、学習者は自分の手話がどの程度正しいかを確認することができる。この技術では、手話文などのあるまとまりの動作を一通り入力し、その後評価が行われ結果が表示される、という流れにより学習が進められる。しかし、手話動作の練習を行う場合、通常、学習者が行っている手話動作をその都度確認しながら練習を行いたいという場合が多い。手話文や手話単語を単純な一動作ずつに区切り、一動作ずつ順に確認を行いながら手話動作を進めていくというような場合である。また、従来技術では、学習者の手話動画像と手本となる手話動画像を同時に表示しているが、全体の動作の中でどの部分が正しくなかったのかを学習者が容易に判定することができないという問題がある。効率的な手話学習を実現するためには、学習者の手話動作における問題点を容易に学習者自身が把握できることが望ましい。
本発明の目的は、手話を学習する過程において学習者が手話動作の練習を行う際、学習者が自身の手話動作と手本となる手話動作を一動作ずつ順に確認を行いながら練習を行うことを可能とする手段を提供することである。
本発明の他の目的は、手話を学習する過程において、学習者の動作のどこに問題点があるかを学習者自身が容易に確認し、効果的に手話の学習を行うことができる手段を提供することである。
【０００５】
【課題を解決するための手段】
本発明では、手本となる手話動画像を生成するための手話動作データから動作の区切りとなる特徴点を抽出する。次に、学習者の手話動作データの入力を行い、学習者の手がある特徴点から次の特徴点に移動したことを検出し、特徴点間の学習者の手話動作データと手本となる手話動画像を生成するための手話動作データの比較を行う。これらの処理の間、学習者の手話動作データより生成した手話動画像と手本となる手話動画像を同時に画面上に表示するようにする。手本となる手話動画像の表示速度は、学習者の動作速度に基づいて計算された速度変化モデルを用いて制御を行う。学習者の手話動作データと手本となる手話動画像を生成するための手話動作データの差が許容値以内であれば、次の連続する特徴点間の手話動作データについて同様の処理を行う。また、学習者の手話動作データと手本となる手話動作データを比較して表示する際、評価結果に応じて、手話動画像の表示形態を変更するようにする。
【０００６】
【発明の実施の形態】
以下、本発明の一実施例を図１から図２１を用いて説明する。
【０００７】
図１は本発明によるプログラムを適用した手話教育装置の構成図である。図１において、１０１は手話の動作を入力するためのビデオカメラであり、１０２はビデオカメラから送られるビデオ信号を電気信号に変換し動画像データとして入力し、さらに、入力された動画像データから手の動作や頭部の動作等、手話を表現するために必要となる動作を認識し、多次元の時系列データである手話動作データに変換を行う画像認識装置である。動画像データを手話動作データに変換する手段としては、手の動作に関しては特開平１１−１７４９４８に記載される技術等を、また表情や頭部の動作に関しては特開平０６−０６７６０１に記載される方法や「日本手話自動通訳を支援するための頭部運動解析（計測自動制御学会第５１回パターン計測部会研究会、ｐｐ。２９−３３、２０００年４月２１日）」等を利用することができる。１０３は手話における手動作を入力するための手袋型入力装置であり、手袋にセンサを設置し、手の形状や動きを電気信号に変換する装置として良く知られている装置を利用することができる。手動作入力部１０４は、手袋型入力装置１０３によって入力された電気信号を指の曲げ角度や手の位置等からなる多次元の時系列データである手話動作データへの変換を行う。手袋型入力装置１０３では、目的とする個所にセンサを設置することにより容易に手話データを取得することが可能である。キーボード１０５およびマウス１０６は画面を操作するための入力装置であり、良く知られた装置を用いることができる。入力制御装置１０７は、キーボード１０５およびマウス１０６から入力された信号を画面制御信号に変換する装置である。
【０００８】
手本情報１０８には、手話の学習に必要となる会話例文および会話例文中の手話文に関する情報、会話例文および各手話文に関する説明等の関連情報、手話動画像表示用および手話単語認識用のデータが格納されている。また、学習履歴情報１０９には、学習者の手話動作を評価した結果の履歴が手話文毎に格納されている。
【０００９】
手話認識プログラム１１０は、画像入力装置１０２および手動作入力装置１０４から入力された手話動作データから、その中に表現されている個々の手話単語を認識するためのプログラムである。手話単語を認識する技術としては例えば特開平１０−２０８０２３に開示される方法を用いることができる。手話生成プログラム１１１では、手本情報１０８に格納されている情報に基づいて手話動画像を生成する。画面制御装置１１３は、手話生成プログラム１１１において生成された手話動画像と、手本情報に格納されている手話動画像の関連情報を合わせてディスプレイ１１４に表示する。
【００１０】
制御プログラム１１２は、キーボード１０５やマウス１０６による学習者の操作に合わせて、手本情報１０８および学習履歴情報１０９からの情報の入出力や、画像認識装置１０２、手動作入力装置１０４、手話認識プログラム１１０、手話生成プログラム１１１、画面制御装置１１３の動作を制御するためのプログラムであり、処理装置１１５により実行される。
【００１１】
図２に手本情報１０８に格納されている会話例文のフォーマットを示す。図２において、会話例文名２０１は会話例文の名称、手話文数２０２は会話例文中に含まれる手話文の数、話者２０３および２０５は手話文に対応する話者の名称、手話文名２０４および２０６は手話文の名称を表す。説明文２０７は会話例文の内容や表現上の注意点等の手話教育に必要となる情報である。
【００１２】
図３に会話例文中の各手話文のフォーマットを示す。図３において、手話文名３０１は手話文の名称であり、この名称が図２における２０４および２０６として記述される。日本語文３０２は手話文の意味を表す日本語文、手話単語数３０３は例文中に含まれる手話単語の数である。手話単語名３０４および３０５は例文中における各手話単語の名称、説明文３０６は例文の内容や表現上の注意点等の手話教育に必要となる情報である。
【００１３】
図４に、図１に示す手話教育装置のメニュー画面の一例を示す。図４において４０１は手本情報１０８に格納されている会話例文の一覧を表示する領域、４０２は手話教育装置の処理を終了させるためのボタンである。会話例文の一覧には、会話例文名２０１が表示される。図４において、目的とする会話例文名をマウスによりクリックすると、選択した会話例文の内容を表示することができる。
【００１４】
図５に会話例文の表示画面の一例を示す。図５において、５０１は会話例文中の各例文に対応する手話動画像を表示するための領域、５０２は会話例文の名称を表示する領域、５０３は会話例文中に含まれる手話文の一覧を表示する領域であり、図３における日本語文３０２を表示する。あるいは手話文名３０１を表示しても良い。５０４は手話文に関する情報を表示するための領域であり、図３における説明文３０６が表示される。５０３上で目的とする手話文をクリックすることにより、クリックした手話文に関する情報が５０４上に表示される。５０５は手話動画像の表示を開始するためのボタン、５０６は手話動画像の表示を一時停止するためのボタン、５０７は手話動画像の表示を停止するためのボタン、５０８は手話動画像の表示を逆戻しするためのボタン、５０９は手話動画像の表示を早送りするためのボタンである。５１０は学習者の手話動作データに基づいて生成された手話動画像と、手本情報から生成した手話動画像を比較した表示を見ながら学習者が手話動作の練習を行う機能を起動するためのボタン、５１１は学習者の手話動作を評価する機能を起動するためのボタン、５１２は会話例文の表示を終了するためのボタンである。５０３に表示されている手話文の内、目的とする手話文をマウスによりクリックすると、クリックした手話文の手話動画像を表示できる状態になり、５０５から５０９のボタンを用いて手話動画像の表示を制御することができる。手話動画像は例文中の手話単語名３０４から３０５に基づいて生成する。手話動画像を生成する技術としては特開平０８−０１６８２１に記載される技術等を用いることができる。
【００１５】
５０３上で手話文をマウスによりクリックし、さらに５０９をマウスによりクリックすると、図６に示す手話動作の練習用画面が表示される。図６において、６０１は学習者の手話動作の入力を開始するためのボタン、６０２は学習者の手話動作の入力を終了するためのボタン、６０３は学習者が入力した手話動作データに基づいて生成された手話動画像と手本情報に基づいて生成された手話動画像を比較して表示するための領域、６０４は練習を行う手話文に対する日本語文を表示する領域である。６０５は手話動画像として表示する手話動作の内、表示する内容を選択するためのチェックボックス群である。手話によっては、手の形状や手の方向のみ、あるいは動きのみを確認したい場合があるため、表示したい内容を学習者が選択して表示できるようにする。６０５では、手の形状、方向および位置に関する情報をそれぞれ独立して選択表示できるようになっている。表示したい項目に関するチェックボックスにマウスを用いてチェックを付けることにより、チェックした項目のみを表す動画像が表示される。各項目は任意に組み合わせることが可能である。手の形状や方向、位置を選択して表示する技術としては、特開平０８−０１６８２１に開示される技術等を用いた場合、容易に実現することができる。例えば、手の形状のみを選択した場合は６０３上に手のみが表示される。また、手の位置のみを選択した場合は６０３上に手の位置変化を表す動画像が表示される。６０６は、６０３上に表示される手話動画像の左右を反転するかどうかを指定するためのチェックボックスである。手話動作を学習する場合、手本となる手話動画像は左右を反転させて表示した方が効果的である場合が多い。６０６のチェックボックスにマウスを用いてチェックを付けることにより、６０３上に表示される手話画像は左右を反転させて表示される。６０７は手話動画像中で手話を表現するキャラクタの６０３上での位置を上下左右に変更するためのボタン群である。６０７における中央のボタンはキャラクタの位置を初期位置に戻すためのボタンである。６０８は手話動画像中で手話を表現するキャラクタの６０３上での大きさを変更するためのボタン群である。６０８における中央のボタンは、モデルの大きさを初期値に戻すためのボタンである。６０９は手話動画像中で手話を表現するキャラクタの６０３上での方向を変更するためのボタンである。ボタン上に表示されている方向にキャラクタの方向を変更することができる。６０９における中央のボタンは、モデルの方向を初期値に戻すためのボタンである。
【００１６】
図６において、６０１をマウスによりクリックすると、学習者は手話動作を入力し、手本となる手話動画像と学習者の手話動画像が同時に６０３上に表示され、この画面を確認しながら学習者は手話動作の練習を行うことができるようになる。６０１をマウスによりクリックした際の処理の流れを図７から図１２を用いて詳細に説明する。図７に画像認識装置あるいは手動作入力装置から入力される手話動作データのフォーマットの一例を示す。図７において、７０１は手の位置に関するデータであり、７０２はＸ軸の座標、７０３はＹ軸の座標、７０４はＺ軸の座標である。７０５は手の方向に関するデータであり、７０５はＸ軸回りの回転角度、７０６はＹ軸回りの回転角度、７０７はＺ軸回りの回転角度である。７０９は手の形状の関するデータであり、７１０は親指の第一関節の曲げ角度、７１１は親指の第二関節の曲げ角度、７１２は人差指の第一関節の曲げ角度、７１３は人差指の第二関節の曲げ角度、７１４は中指の第一関節の曲げ角度、７１５は中指の第二関節の曲げ角度、７１６は薬指の第一関節の曲げ角度、７１７は薬指の第二関節の曲げ角度、７１８は小指の第一関節の曲げ角度、７１９は小指の第二関節の曲げ角度である。また、７２０は第一フレーム目のデータ、７２１は第二フレーム目のデータ、７２２は第ｎフレーム目のデータである。このように、手話動作データは多次元時系列データとして表現する。手本となる手話動作データは、上述の特開平０８−０１６８２１記載の技術等を使用することにより、図３に示す手話文の情報に基づいて同様の多次元時系列データとして容易に生成することができる。また、手話動画像の生成も同様の技術を用いて行うことができる。
【００１７】
図８に、学習者の動作に同期させて手本情報から生成した手話動画像を表示するためのアルゴリズムを示す。図８において、ステップ８０１では手本情報から生成した手話動作データ（以下、手本動作データと呼ぶ）から動作の区切りを示す特徴点を抽出する。手話動作の区切りを検出する方法としては、特開２０００−２８４６８２記載の技術等を用いることができる。また、手話文中の各手話単語の開始時刻および終了時刻を特徴点とすることもできる。さらに、特徴点に関する情報をあらかじめ手本動作データと共に格納しておいても良い。図９に手話動作データから特徴点を検出した例を示す。図９において、９０１は動作の軌跡を表しており、９０２、９０３、９０４、９０５、９０６および９０７が検出された特徴点を示す。このように動作が大きく変化する個所を区切りとして手話動画像の表示を行うこととなる。ステップ８０２では、特徴点の番号を表す変数ｉに初期値１を代入する。ステップ８０３では、変数ｉの値が特徴点の数より大きいかどうかを判定し、特徴点の数より大きい場合は処理を終了する。変数ｉが特徴点の数より小さい場合はステップ８０４に進む。ステップ８０４では、学習者の手の位置が特徴点ｉの位置に移動したことを検出する処理を行う。検出方法としては、学習者の手話動作データ（以下、学習者動作データと呼ぶ）の入力を行いながら学習者の手の位置座標と特徴点ｉの位置座標との距離を計算し、距離があらかじめ決められた閾値以内であれば学習者の手が特徴点ｉの位置に移動したと判断すれば良い。距離の計算方法としては、一般に用いられるユークリッド距離等を用いることができる。ステップ８０５では、学習者の手話動作が開始されたことを検出する。この方法としては、ステップ８０４と同様に、学習者の手の位置座標と特徴点ｉの位置座標との距離を計算する。計算された距離があらかじめ決められた閾値より大きければ学習者の手話動作が開始されたと判定する。
【００１８】
ステップ８０６では、学習者の手話動作が開始されたと判定された時刻から３フレーム分の学習者動作データを読込む。ステップ８０７ではステップ８０６で読込んだ学習者動作データに基づき、特徴点ｉから特徴点（ｉ＋１）までの学習者動作データの速度変化の予測値を計算し、その予測値を元に、表示用の手本動作データを生成する。学習者動作データの速度変化は、例えば、図１０に示すような山形の速度変化モデルを仮定して、以下のような方法で計算することができる。図１０において、Ｔ（１００１）は移動時間、Ｖｍａｘ（１００２）は速度の最大値を表す。速度モデルとしては図１０に示すような山型のモデルの他、放物線型のモデル等、動作軌跡を生成するために一般に用いられるモデルを使用することができる。ここで、特徴点ｉから手話動作が開始された場合の最初のフレームを０フレームとして、ステップ８０６で読込まれた手話動作データの各フレームの位置座標をＰ（０）、Ｐ（１）、Ｐ（２）、フレーム間の時間間隔をＦとする。Ｐ（０）、Ｐ（１）、Ｐ（２）を用いることにより、図１０に示す速度変化モデルにおける直線の傾きＫの予測値は（数１）により計算することができる。
【００１９】
【数１】
0003906729.tif 000002
特徴点ｉから特徴点（ｉ＋１）までの軌跡の長さをＬとすれば、移動時間の予測値Ｔｐは（数２）により計算することができる。
【００２０】
【数２】
0003906729.tif 000003
手本動作データの特徴点ｉから特徴点（ｉ＋１）までの移動時間Ｔｃは予測値Ｔｐより少し大きくなるように設定を行う。すなわち、Ｔｃ＝αＴｐとする。ここで、αは１より小さい値である。手話動画像の表示においては、Ｔｃは（数３）により計算されるＮ個のフレームに分割される。ここで、Ｉｎｔ（Ｘ）は、Ｘの少数以下を切り捨て、整数値に変換する関数である。例えば、Ｉｎｔ（１。２）＝１となる。
【００２１】
【数３】
0003906729.tif 000004
Ｎ、Ｆ、Ｌおよび図１０の速度変化モデルを用いることにより、手本動作データにおいて、特徴点ｉからｎフレーム目における特徴点ｉからの距離Ｌ（ｎ）は（数４）により求められる。
【００２２】
【数４】
0003906729.tif 000005
さらに、ｎフレーム目における表示用の手本動作データの手の位置座標Ｒ（ｎ）は、元の手本動作データ中の特徴点ｉから特徴点（ｉ＋１）の間のフレーム数をＭ、特徴点ｉからのフレーム数をｍ、ｍフレーム目の座標データＱ（ｍ）として、図１１に示すアルゴリズムによって計算する。図１１におけるステップ１１０１では、元の手本動画像データの特徴点ｉからのフレーム数を表す変数ｊに初期値１を、特徴点ｉからの距離を表す変数ｌおよびｒに初期値０をそれぞれ代入する。ステップ１１０２では、ｊがＭ以下かどうかの判定を行う。ｊがＭ以下の場合は、ステップ１１０３に進む。ステップ１１０３では、Ｑ（Ｎ）にＲ（Ｍ）を代入し、処理を終了する。ステップ１１０２においてｊがＭより大きい場合は、ステップ１１０４に進み、ｒにｌを代入した後、ｌにＤ（ｊ−１、ｊ）を加算する。ここで、Ｄ（ｘ、ｙ）は元の手話動作データにおいて特徴点ｉからｘフレーム目における手の位置とｙフレーム目における手の位置の間の距離である。ステップ１１０５では、ｌがＬ（ｎ）より大きいかどうかの判定を行い、ｌがＬ（ｎ）より小さければステップ１１０６に進む。ステップ１１０６ではｊに１を加算し、ステップ１１０２に戻る。ステップ１１０５において、ｌがＬ（ｎ）以上であればステップ１１０７に進む。ステップ１１０７では、ｊ、ｌ、ｒの値を元にＬ（ｎ）における手の位置を求める。手の位置Ｑ（ｎ）は（数５）により求めることができる。ｎフレーム目における手の形状や方向は、ステップ１１０７において、（ｊ−１）フレーム目とｊフレーム目の手の形状や方向についても同様の計算を行うことにより容易に求めることができる。また、ステップ１１０７において、ｎフレーム目における手の形状、方向および位置は左右それぞれの手について計算を行う。
図８においてステップ８０８では、ステップ８０７で求めた表示用の手本動作データ中で表示されるフレームを表す変数ｓに初期値３を代入する。学習者の動作開始時に３フレーム文の手話動作データを読み込むため、手本動作データの表示は３フレーム目から行う。ステップ８０９では表示用手本動作データのｓフレーム目に対する手話動画像を表示する。ステップ８１０では、学習者動作データを１フレーム分読込み、その学習者動作データから生成した手話動画像を表示する。ステップ８１１では、学習者の手の位置が特徴点（ｉ＋１）における手の位置に移動したかどうかの判定を行う。この判定は、ステップ８０４と同様に、学習者の手の位置座標と特徴点（ｉ＋１）の位置座標との距離を計算し、距離があらかじめ決められた閾値以内であれば学習者の手が特徴点（ｉ＋１）の位置に移動したと判断すれば良い。学習者の手の位置が特徴点（ｉ＋１）の位置にあると判定されなければ、ステップ８１２に進む。ステップ８１２では変数ｓに１を加算する。ステップ８１３では変数ｓの値が特徴点（ｉ＋１）のフレーム数、すなわちＮより大きいかどうかを判定する。大きくなければステップ８０９に戻る。大きければステップ８１４に進む。ステップ８１４では変数ｓに初期値１を代入し、ステップ８０９に戻る。ステップ８１１において学習者の手の位置が特徴点（ｉ＋１）の位置にあると判定された場合はステップ８１５に進む。ステップ８１５では、特徴点ｉから特徴点（ｉ＋１）における学習者動作データと手本動作データの比較を行う。手話動作データの比較方法としては、例えば特開平６−０８３９３８記載の方法等を用いることにより容易に行うことができる。ステップ８１６ではステップ８１５における比較の結果、学習者動作データと手本動作データの差が許容範囲内であるかどうかを判定する。許容範囲内であればステップ８１７に進む。ステップ８１７では変数ｉに１を加算し、ステップ８０３に戻る。ステップ８１６において、差が許容範囲内でなければステップ８０４に戻る。
【００２３】
以上のアルゴリズムにより、手本動作データと学習者動作データから生成される手話動画像は、図１２に示すように表示されることになる。図１２において、１２０１は手本動作データの軌跡を示しており、１２０２、１２０４、１２０６および１２０８は学習者動作データから生成された手話動画像、１２０３、１２０５、１２０７および１２０９は手本動作データから生成された手話動画像を示している。また、１２０２および１２０３は開始時の手話動画像であり、学習者の手話動作が開始されると、１２０４、１２０５、１２０６、１２０７、１２０８および１２０９に示すように手本動作データから生成された手話動画像が学習者動作データから生成された手話動画像に先行して表示される。
【００２４】
上記のアルゴリズムでは、ステップ８０７で計算した手本動作データを用いて手話動画像の表示を制御しているが、ステップ８１０で学習者の手話動作データを読込む毎に、その時の学習者の動作速度に合わせて手本動作データを修正するようにしても良い。また、上記のアルゴリズムでは、ステップ８０４において学習者の手が特徴点ｉの位置にあることを検出するまで手本動作データは表示しないが、特徴点ｉから特徴点（ｉ＋１）までの手話動画像をあらかじめ決められた速度変化モデルに従って繰り返し表示し、学習者の動作が開始された時に使用する速度変化モデルに切り替えるようにしても良い。さらに、あらかじめ決められた速度変化モデルに従って手本動作データから手話動画像を生成して表示するようにするだけでも良い。また図８に示すアルゴリズムでは、ステップ８１５で学習者動作データと手本動作データを比較した結果が許容範囲外である場合、手本動作データから生成された手話動画像の表示は停止し、学習者動作データが特徴点ｉから開始されることを検出するまで手本動作データから生成された手話動画像は表示されないが、手本動作データから生成された手話動画像は表示を継続するようにしても良い。
【００２５】
図５において、５０３上に表示されている手話文をマウスによりクリックした後、ボタン５１１をマウスによりクリックすると、図１３に示すように、学習者の手話動作の入力を指示するメッセージを表示するウィンドウ１３０１が表示される。これにより、図１の画像入力装置１０２および手動作入力装置１０４が動作し、学習者動作データが入力可能な状態になる。１３０１上に表示されているボタン１３０２は、学習者動作データの入力を中止するためのボタンである。ここで、学習者の手話動作の開始を検出する方法としては、手話動作の開始および終了時に、キーボード１０５上のあらかじめ決められたキーやマウス１０６上のあらかじめ決められたボタンを押す方法や、あるいは１３０１上等に手話動作の開始や終了を示すためのボタンを表示し、マウスによりクリックする方法を利用することができる。又特開平７−３１１５４５に記載される方法では、あらかじめ手話動作の開始や終了を示すための手の位置や方向、あるいはそれらの組み合わせを表す手話動作データを登録し、登録した手話動作データと学習者動作データが一致する時刻を手話動作の開始や終了の時刻として検出する。この技術を利用した場合、１３０１上には学習者にデータの入力状況を知らせるメッセージが表示される。表示されるメッセージの一例を図１４に示す。図１４において、ウィンドウ１４０１には学習者動作データが動作の開始を示す手話動作データと一致することを待っている状態を示すメッセージが表示されている。ここで学習者動作データが動作の開始を示す手話動作データと一致すると、ウィンドウ１４０２のように、学習者に手話動作を開始するよう指示するメッセージが表示される。学習者の手話動作データが動作の開始を示す手話動作データから外れたことを検出すると、ウィンドウ１４０３のように、学習者動作データを入力中であることを示すメッセージが表示される。さらに、学習者動作データが動作の終了を示す手話動作データと一致したことを検出すると、ウィンドウ１４０４のように、学習者動作データの入力を終了し、学習者動作データを評価していることを示すメッセージが表示される。
【００２６】
学習者動作データの入力が終了すると、学習者動作データは手話認識プログラム１１０を用いて評価される。特開平１０−２０８０２３等にある技術を用いることにより、学習者動作データの評価結果は図１５に示すようなフォーマットで得られる。図１５において、手話文名１５０１は手話文の名称であり、図３において記述される手話文名３０１と同様である。総合評価１５０２は手話文全体の評価結果を表す値であり、例えば１００点満点に換算した得点等により記述することができる。手話単語数１５０３は手話文中に含まれる手話単語の数である。１５０４から１５０５は手話文中の各手話単語に対する評価結果であり、総合評価１５０２と同様に、１００点満点に換算した得点等により記述することができる。また、各手話文の評価結果は履歴情報として、図１における学習履歴情報１０９に格納される。学習履歴情報のフォーマットを図１６に示す。図１６において、手話文名１６０１は手話文の名称である。履歴数１６０２は格納されている学習履歴情報の数である。手話文の評価結果１６０３および１６０５は手話文を評価した結果であり、図１５のフォーマットにより表される情報が記述される。手話動作データ１６０４および１６０６は評価された学習者動作データが記述される。手話動作データは図７のフォーマットにより表されるデータである。履歴情報にはこの他、学習者名、日付、時刻等の情報を含めることもできる。
【００２７】
学習者動作データの評価が終了すると、その結果が図１７に示す画面により表示される。図１７において、１７０１は手本動作データと学習者動作データから生成された手話動画像を表示する領域、１７０２は手話動画像の再生、停止および再生の一時停止を制御するためのボタン群、１７０３は手話動画像として表示する情報を選択するためのボタン群である。図１７では、手の形状、手の方向および手の位置に関する情報を別々に選択できるようになっており、それぞれの情報を任意に組み合わせた手話動画像の表示を行うことができる。例えば、手の形状のみを選択した場合は、１７０１上に手のみが表示される。また、手の位置のみを選択した場合は、１７０１上に手の位置変化を表す動画像が表示される。１７０４は手話動画像中で手話を表現するキャラクタの１７０１上での位置を上下左右に変更するためのボタン群である。１７０４における中央のボタンはキャラクタの位置を初期位置に戻すためのボタンである。１７０５は手話動画像中で手話を表現するキャラクタの１７０１上での大きさを変更するためのボタン群である。１７０５における中央のボタンはキャラクタの大きさを初期値に戻すためのボタンである。１７０６は手話動画像中で手話を表現するキャラクタの１７０１上での方向を変更するためのボタン群である。１７０６における中央のボタンはキャラクタの方向を初期値に戻すためのボタンである。
【００２８】
図１７において１７０７は学習者動作データを評価した履歴を一覧表示する画面である。１７０７では、評価が行われた順に付加された通し番号と、手話文全体に対する評価結果に基づく得点が表示されている。この他、履歴の表示方法として、評価値の大きいものから、あるいは小さいものから順に表示することもできる。また、通し番号と評価結果のみでなく、図３における手話文に関する情報の任意の部分を選択して表示するようにしてもよい。１７０７に表示された評価結果をマウスによりクリックすると、クリックされた評価結果の番号が１７０８に、総合得点が１７０９上に表示される。また、手話文の詳細な評価結果が１７１０上に表示される。１７０８および１７０９は１７０７に表示されている内容に応じて変更することも容易である。
【００２９】
１７１０に表示される手話文の詳細な評価結果は、図１５に示す手話文の評価結果の情報に基づいて表示が行われる。１７１０では、各手話単語の名称および得点が１７１１、１７１２、１７１３および１７１４として表示されている。この際、評価結果が悪い箇所を学習者が容易に把握できるように、評価結果に応じて表示形態を変更する。評価結果の良い手話単語と悪い手話単語の判定は、例えば評価結果が得点で表されている場合は、あらかじめ得点の基準値を設定しておき、得点が基準値より大きい場合は評価結果が良いと判定し、得点が基準値より小さい場合は評価結果が悪いと判定すれば良い。判定方法は、良い悪いの二段階だけでなく、三段階以上にすることも容易である。表示形態の変更方法としては、例えば評価結果が良い場合と悪い場合それぞれにあらかじめ表示色を設定しておき、判定結果に対応する表示色で表示を行うようにすれば良い。表示形態の変更方法としては、表示色を変更させる他、表示する大きさや表示する文字を変更しても良い。あるいは、表示色の変更、大きさの変更、文字の変更を組み合わせて表示しても良い。
また、図１７において１７１５は、評価結果の表示を終了するためのボタンである。
【００３０】
図１７において、手話単語毎の情報１７１１、１７１２、１７１３および１７１４をマウスによりクリックし、さらに１７０２における「再生」ボタンをマウスによりクリックすると、各手話単語に対応する手話動画像が表示される。また、１７１０上における手話単語毎の情報が表示されている領域以外の領域をマウスによりクリックし、１７０２における「再生」ボタンをマウスによりクリックすると、手話文に対する手話動画像が表示される。手話文に対する手話動画像の表示において手話単語が表現されている場合に、対応する手話単語の名称を１７０１上に同時に表示するようにしてもよい。また、評価結果が良い箇所と悪い箇所を学習者が手話動画像中で容易に把握できるように、評価結果に応じて手話動画像の表示形態を変更する。手話動画像の表示形態を変更する方法の例を図１８から図２１を用いて説明する。図１８では、評価結果に応じて手話動画像の背景色を変更する。図１８において、１８０１は学習者動作データより生成された手話動画像、１８０２は手本動作情報から生成された手話動画像を表す。１８０３および１８０５は評価結果が良いと判定された箇所、１８０４は評価結果が悪いと判定された箇所を表している。背景色は上述した方法と同様に設定することができる。また、背景色の他、背景の模様の変更や、背景色と背景の模様の変更を組み合わせることも可能である。図１９では評価結果に応じて、手の表示色を変更する。図１９において、１９０１および１９０３は評価結果が良いと判定された箇所、１９０２は評価結果が悪いと判定された箇所を表している。１９０２における手話動画像中の手１９０４および１９０５の表示色が１９０１および１９０３とは異なった表示色で表示されている。
図２０では、評価結果が悪いと判定された箇所において評価結果が悪い理由を表すメッセージを２００１に示すように手話動画像上に表示する。例えば上記特開平１０−２０８０２３記載の方法で手の形状や手の方向など手話動作の構成要素毎に評価結果を出力することは容易である。これを利用することにより、評価結果が悪い原因となる構成要素が何かを表示することができる。例えば，構成要素毎の評価結果が得点で表されている場合は、あらかじめ得点の基準値を設定しておく。また、構成要素毎に得点が基準値より大きい場合と小さい場合に使用するメッセージを用意しておく。構成要素の評価結果より得られた得点と基準値を比較し、該当するメッセージを選択し、そのメッセージを表示すれば、図２０に示す表示を容易に実現することができる。さらに、基準値とメッセージを複数用意し、得点に応じてメッセージを選択すれば、より詳細な情報を表示することができるようになる。これにより、複数の構成要素の評価結果が悪い場合に、いずれの構成要素がどの程度悪いかを判断できる表示が可能となる。評価結果より得られた得点を構成要素毎に表示するのみでも良いし、メッセージと得点を組み合わせた表示も容易に実現することができる。メッセージは手話動画像を表示する画面とは異なる画面上に表示するようにしても良い。また、構成要素毎の評価結果を用いることにより、図１８あるいは図１９に示す表示方法において、評価結果が悪い構成要素に応じて、表示色や背景色、模様等を変更して表示を行うようにすることも可能である。
図２１では、評価結果が悪いと判定された箇所において手本動作データ中の動作軌跡と学習者動作データ中の動作軌跡を２１０１および２１０２に示すように表示する。図２１において、２１０１は手本動作データ中の動作軌跡、２１０２は学習者動作データ中の動作軌跡を表す。また、動作軌跡の表示は、学習者動作データ中の該当する動作軌跡の評価結果が悪いと判定された場合のみとする。図１８から図２１において説明した表示方法は、任意に組み合わせて表示を行うようにすることができる。
【００３１】
【発明の効果】
本発明により手話の学習者は、自身の手話動作と手本となる手話動作の差異を手話動作を表現しながら画面上で容易に確認することができるようになる。また、全体の動作を分割し、分割した単位毎に適切な動作が表現できていることを確認しながら手話動作の練習を行うことができるようになる。さらに、学習者の手話動作を評価した結果において、評価結果に応じて表示形態を変更することにより、学習者は評価結果が悪い箇所を容易に把握することが可能となる。以上により、手話の学習者は効果的に手話の学習を行うことが出来るようになる。
【図面の簡単な説明】
【図１】本発明によるプログラムを適用した手話教育装置の構成図。
【図２】会話例文のフォーマット。
【図３】手話文のフォーマット。
【図４】手話教育装置のメニュー画面の一例。
【図５】会話例文の表示画面の一例。
【図６】動作練習画面の一例。
【図７】手話動作データのフォーマット。
【図８】学習者動作データと手本動作データから生成された手話動画像を同期して表示する処理のアルゴリズム。
【図９】手本動作データから抽出された特徴点の一例。
【図１０】手話動作における速度変化モデル。
【図１１】学習者動作データから計算された速度変化に従って手本動作データを変更する処理のアルゴリズム。
【図１２】学習者動作データと手本動作データから生成された手話動画像の表示例。
【図１３】手話動作の入力を学習者に促すためのメッセージの表示例。
【図１４】学習者動作データの入力状況に応じたメッセージの表示例。
【図１５】学習者動作データの評価結果のフォーマット。
【図１６】学習者動作データの学習履歴情報のフォーマット。
【図１７】学習者動作データの評価結果を表示する画面の一例。
【図１８】学習者動作データの評価結果が悪い個所の背景を変更する場合の表示例。
【図１９】学習者動作データの評価結果が悪い個所の手の色を変更する場合の表示例。
【図２０】学習者動作データの評価結果が悪い個所にメッセージを表示する場合の表示例。
【図２１】学習者動作データの評価結果が悪い個所の動作軌跡を表示する場合の表示例。
【図１】
0003906729.tif 000006
【図２】
0003906729.tif 000007
【図３】
0003906729.tif 000008
【図４】
0003906729.tif 000009
【図５】
0003906729.tif 000010
【図６】
0003906729.tif 000011
【図７】
0003906729.tif 000012
【図８】
0003906729.tif 000013
【図９】
0003906729.tif 000014
【図１０】
0003906729.tif 000015
【図１１】
0003906729.tif 000016
【図１２】
0003906729.tif 000017
【図１３】
0003906729.tif 000018
【図１４】
0003906729.tif 000019
【図１５】
0003906729.tif 000020
【図１６】
0003906729.tif 000021
【図１７】
0003906729.tif 000022
【図１８】
0003906729.tif 000023
【図１９】
0003906729.tif 000024
【図２０】
0003906729.tif 000025
【図２１】
0003906729.tif 000026