(57)【要約】【課題】  本発明の目的は、手話文を表す手話アニメーションの編集において、手話文全体の動作を容易に把握することを可能とし、また、目的とする手話単語の検索を容易とする手段を提供することにある。【解決手段】  手話文に含まれる手話単語に関する情報の表示において、手話単語の名称だけでなく、手話単語の動作を表す代表的な画像や動作の軌跡を表す曲線等を用いて手話単語に関する情報を一覧表示する。それぞれの手話単語に関する情報が表示されている箇所において、手話単語のアニメーションを表示できるようにする。また、手話文に新たな手話単語を追加する際に必要となる手話単語の検索において、画面上に動作の軌跡を表す曲線を描画し、描画した曲線を検索条件として、検索条件に適合する手話単語を検索する。さらに、任意の手の位置や手の形状、手の方向、肩・背中・腰・首・頭等の姿勢、表情等を指定し、検索条件としてに使用できるようにする。【選択図】  図１
2005099977.tif 000002
【特許請求の範囲】
【請求項１】
手話を表現する際に必要となる手の位置、手の形状、手の方向、肩・背中・腰・首・頭の姿勢、表情等に関するデータの時系列を手話単語データとして格納する手話単語データ格納手段と、
１つ以上の手話単語データを手話単語データ格納手段から読み出して結合することにより手話文データを作成する手段と、
手話単語データの削除や追加を行い、手話単語データ中の手の位置、手の形状、手の方向、肩・背中・腰・首・頭等の姿勢、表情等を変更するための手話文データ編集手段と、
手話文データおよび手話単語データから手話アニメーションを生成する手段と、
を有する手話編集装置において、手話文データ編集手段は、
画面上に描かれた曲線に手の位置の軌跡が類似した手話単語データを読み出す手話単語データ検索手段と、
手話単語データの名称や代表的な画像等を手話単語データに関する情報として、読み出した手話単語に関する情報の一覧表示を行う手話単語データ一覧表示手段と、
を有することを特徴とする手話編集装置。
【請求項２】
請求項１記載の手話編集装置において、手話単語データ検索手段は、
画面上に手の位置の軌跡を表す曲線を描画するための手段と、
手の形状や手の方向、肩・背中・腰・首・頭等の姿勢、表情等を入力するための手段と、
を有し、
入力された曲線や、手の形状や手の方向、肩・背中・腰・首・頭等の姿勢、表情等の内の１つ以上を任意に組み合わせて検索条件とし、検索条件に適合する手話単語データを読み出すことを特徴とする手話編集装置。
【請求項３】
請求項１記載の手話編集装置において、
手話の動作を電気信号に変換し、時系列データとして入力する手段と、
入力した時系列データから、手の位置や手の形状、手の方向、肩・背中・腰・首・頭等の姿勢、表情等の動きを検出する手段と、
を有し、
検出した手の位置や手の形状、手の方向、肩・背中・腰・首・頭等の姿勢、表情等の動きの内の１つ以上を任意に組み合わせて検索条件とし、検索条件に適合する手話単語データを読み出すことを特徴とする手話編集装置。
【請求項４】
請求項１記載の手話編集装置において、手話単語データ一覧表示手段は、
各手話単語データから生成した手話アニメーションを各手話単語データの情報が表示されている箇所で表示する手段と、
各手話単語データから生成した動作の軌跡を各手話単語データの情報が表示されている箇所で表示する手段と、
あらかじめ決められた時間間隔における手話の画像を各手話単語に関する情報が表示されている箇所で重ね合わせて表示する手段と、
各手話データから生成した手話アニメーションを順番に、各手話データの情報が表示されている箇所で表示する手段と、
の内、一つ以上の手段を有することを特徴とする手話編集装置。
【請求項５】
請求項１記載の手話編集装置において、手話単語データ一覧表示手段は、
各手話単語データに関する情報の表示において、表示する情報の組み合わせをユーザが指定する手段と、
指定された組み合わせに従って手話単語データに関する情報を表示する手段と、
を有することを特徴とする手話編集装置。
【請求項６】
手話を表現する際に必要となる手の位置、手の形状、手の方向、肩・背中・腰・首・頭の姿勢、表情等に関するデータの時系列を手話単語データとして手話単語データ格納手段に格納し、
１つ以上の手話単語データを手話単語データ格納手段から読み出して結合することにより手話文データを作成し、
手話文データ編集手段を用いて手話単語データの削除や追加を行い、手話単語データ中の手の位置、手の形状、手の方向、肩・背中・腰・首・頭等の姿勢、表情等を変更し、
手話文データおよび手話単語データから手話アニメーションを生成する手話編集方法において、
上記手話文データ編集手段は、画面上に描かれた曲線に手の位置の軌跡が類似した手話単語データを読み出し、
手話単語データの名称や代表的な画像等を手話単語データに関する情報として、読み出した手話単語に関する情報の一覧表示を行うことを特徴とする手話編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手話文を表す手話アニメーションを容易に作成するための編集方法および装置に関する。
【背景技術】
【０００２】
手話単語等、手話における基本単位に対する手話データを格納し、それらを必要に応じて読み込み、連結して手話文を表す手話アニメーションを編集・作成する技術としては、特許文献１や非特許文献２に記載されたものが挙げられる。
【０００３】
また、手話を効率的に検索するための技術としては、非特許文献１および非特許文献２が挙げられる。
【０００４】
【特許文献１】特開平８−３１５１８５号公報
【０００５】
【特許文献２】特開平６−２５１１２３号公報
【特許文献３】特開平７−０９２９０４号公報
【特許文献４】特開平６−０８３９３８号公報
【特許文献５】特願平１０−２６７８３２号公報
【特許文献６】特開平８−３１５１８５号公報
【非特許文献１】猪木誠二、渡辺錬士、呂山、「手話アニメーション作成・編集ツール」、電子情報通信学会論文誌、D-I、Vol.J84-D-I、No.6、pp.987-995、2001年6月
【非特許文献２】富士通株式会社、「手話学習ソフト  手にことばを・入門編」、1996年
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記の従来技術では、手話文を表す手話アニメーションを作成するために読み込んだ各手話単語の情報は、手話単語の名称の列、および手話アニメーションの時間の流れを表す時間軸、の二通りの方法によって表示されている。この場合、手話文を表す手話アニメーションの全体の構成を確認するには、全体あるいは特定の範囲の手話アニメーションを別画面において生成しなければならない。しかし、手話文全体のアニメーションを再生する方式では、表示に時間を要するため効率が悪いという問題がある。このため、手話文全体の動作を容易に確認できる手段が必要となる。
【０００７】
上記に挙げた方法の内、手話単語の名称の列では、手話文全体がどのような種類の動作から構成されているかを容易に確認することが難しい。通常、手話単語の名称は、その手話単語に対応する日本語の意味を表す単語や句が用いられることが多いが、名称の付け方は基本的に手話単語の作成者の自由であり、また、手話単語は通常複数の意味を有する場合があるため、名称だけでその手話単語の動作をイメージすることが困難な場合もある。
【０００８】
時間軸の表示においては、各時刻における手話単語やその他手話に必要となる表情や口形等に関する情報がそれぞれを表す名称によって表される場合が多い。この場合も、手話文全体がどのような種類の動作から構成されているかを容易に確認することが困難である。一方、各時刻における手話単語や表情、口形等の画像を表示する場合もある。さらには、全ての時刻ではなく、キーフレームと呼ばれる動作中の特徴的な時刻のみを表示する方法もある。後者の場合、表示する画像の数は少なくなるため、全体の視認性は全ての時刻を表示するより改善されるが、複雑な手話単語を多用する場合や、手話文が長くなると表示を行うためのスペースを要し、一画面に全体の情報を表示することが困難になるため、全体の動作を確認することは難しくなるという問題がある。
【０００９】
また、効率的に手話文の編集を行う場合、目的とする手話単語を容易に検索できる手段が必要となる。従来技術では、手話単語に付けられた名称に基づいて検索する方法が使用されている。しかし、上述したように、手話単語に付けられる名称は基本的に任意であるため、目的とする手話単語を見つけることが困難な場合がある。また、手の形状や手の位置、動作の形状を検索条件として検索を行う方法もあるが、あらかじめ各手話単語に検索条件となる手の形状や手の位置、動作の形状等の特徴を登録しておく必要があることや、あらかじめ定められた種類の手の形状や手の位置、動作の形状を組み合わせて指定する方法であるため、検索条件の選択が難しい場合や登録されていない特徴を有する手話単語については検索することができない場合があるという問題がある。
【００１０】
本発明の目的は、手話文を表す手話アニメーションの編集において、手話文全体の動作を容易に把握することを可能とする装置を提供することにある。
【００１１】
本発明の他の目的は、利用者が目的とする手話単語の検索を容易とし、効率的に手話文の手話アニメーションを作成する装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明では、手話文に含まれる手話単語の表示において、手話単語の名称だけでなく、手話単語の動作を表す代表的な画像や動作の軌跡を表す曲線等を手話単語に関する情報として一覧表示できるようにする。さらに、それぞれの手話単語の情報が表示されている箇所において、手話単語のアニメーションを表示できるようにする。
【００１３】
また、手話文に新たな手話単語を追加する際に必要となる手話単語の検索において、画面上に動作の軌跡を表す曲線を描画し、描画した曲線を検索条件として、検索条件に適合する手話単語の手話データを検索する。さらに、任意の手の形状や手の方向、肩・背中・腰・首・頭等の姿勢、表情等を指定し、検索条件として使用できるようにする。
【発明の効果】
【００１４】
本発明によれば、手話単語に関する情報の一覧表示において、手話単語の名称だけでなく、手話単語毎のアニメーションを同時に一覧表示できるようにすることにより、手話文を構成する手話単語の種類だけでなく、その動作も把握することができるため、手話文全体の動作を容易に把握することが可能となり、手話文の編集作業が容易となる。
【００１５】
また本発明によれば、手話文に手話単語を追加する際に、手話単語の名称を検索条件とするだけでなく、手話単語の動作を検索条件とした検索手段を用意することにより、利用者はイメージした手話単語の動作をそのまま検索条件として手話単語を検索できるようになり、効率的に手話文を編集することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の一実施例を図１から図２５を用いて説明する。
【００１７】
図１は本発明を適用した手話編集装置の構成図である。図１において、１０１は利用者が画面操作を行うためのマウス、１０２は手話単語の名称等を文字によって入力するためのキーボードである。１０３はマウス１０１およびキーボード１０２から入力された情報を、画面上の座標値や記号に変換するための入力部である。１０４はマウス１０１やキーボード１０２からの入力に応じて手話文の編集に必要な各種の処理を実行するための情報処理部である。１０５は編集に必要となる画面を表示するためのモニタ、１０６はモニタ１０５に表示する画面を情報処理部１０４からの指示に従って生成するための出力部である。１０７は手話文の編集の際に使用する各手話単語に対応する手話単語データを格納するための手話単語データ格納部である。１０８は手話文の編集に必要となる各種プログラムを格納する記憶部である。１０９は手話文の編集を行うための画面の表示や制御、後述の各種プログラムを統括して編集作業を進めるための手話文データ編集プログラムである。１１０は読み込んだ手話単語データを結合し、手話文データを生成するための手話文データ生成プログラムである。１１１は手話単語データ格納部から利用者が目的とする手話単語データを検索するための手話単語データ検索プログラムである。１１２は手話文データを構成する各手話単語の情報を手話単語の名称や特徴的な動作の画像、動作の軌跡等を用いて一覧表示するための手話単語一覧表示プログラムである。１１３は手話文データから手話アニメーションを生成するための手話アニメーション生成プログラムである。
【００１８】
図２に手話単語データのフォーマットを示す。図２において、手話単語名２０１は手話単語の名称を表す記号列であり、手話単語が表す日本語の単語あるいは句を用いることができる。あるいは、各手話単語を識別できる記号であればどのような記号列を用いても良い。さらには、記号ではなく数字を用いることもできる。また、特別な手話単語として、「基本位置」、「ポーズ」、「遷移動作」を表わす記号列を用意する。通常、手話の文は体の前で手を重ねた状態等から開始される。これを「基本位置」として定義する。また、「ポーズ」は手話単語の前後に行われる動作の静止、「遷移状態」はある手話単語の終了位置から次の手話単語の開始位置まで移動する動作である。「基本位置」は、手話単語データの一つとして登録しておいても良いし、また、手話文データ編集プログラム１０９や手話文データ作成プログラムの中で定義しておいても良い。「ポーズ」および「遷移動作」に対応する手話単語データは手話文中に含まれる手話単語に従って自動的に生成する。時間長２０２は手話単語データの長さをあらわす数値である。手話単語データはあらかじめ決められた時間間隔で区切られたデータから構成されている。各データはフレームと呼ばれる。時間長２０２に手話単語データを構成するフレームの数が格納される。２０３から２０４には各フレームのデータが格納される。
【００１９】
各フレームのデータのフォーマットを図３に示す。図３において、３０１は右手の姿勢を表わすデータ、３０２は左手の姿勢を表わすデータ、３０３は頭の姿勢を表わすデータ、３０４は首の姿勢を表わすデータ、３０５は右肩の姿勢を表わすデータ、３０６は左肩の姿勢を表わすデータ、３０７は背中の姿勢を表わすデータ、３０８は腰の姿勢を表わすデータ、３０９は表情を表わすデータである。この他、各フレームのデータとしては、全体の位置や姿勢、肘の位置等、より詳細に手話を表現するために必要となるデータであればどのようなデータを含めても良い。また、アニメーションの表示に不必要なデータは省略することもできる。
【００２０】
図４に、右手の姿勢３０１および左手の姿勢３０２のフォーマットを示す。手の姿勢に関するデータは、手の位置４０１、手の方向４０２および手の形状４０３の３種類のデータから構成される。手の位置はＸ軸の座標４０４、Ｙ軸の座標４０５、Ｚ軸の座標４０６から構成される。手の方向はＸ軸回りの角度４０７、Ｙ軸回りの角度４０８、Ｚ軸回りの角度４０９から構成される。また、手の形状はそれぞれの指の第一関節および第二関節の角度４１０、４１１、４１２、４１３から構成される。手の形状のデータとしてはこれらの他、指の開き角度等、手の形状を詳細に表わすために必要となる関節の角度を含めることができる。
【００２１】
図５に、頭の姿勢３０３、首の姿勢３０４、右肩の姿勢３０５、左肩の姿勢３０６、背中の姿勢３０７、腰の姿勢３０８のフォーマットを示す。各姿勢のデータは、Ｘ軸回りの角度５０１、Ｙ軸回りの角度５０２およびＺ軸回りの角度５０３から構成される。
【００２２】
図６に、表情３０９のフォーマットを示す。図６では、表情は複数の多角形の組み合わせによって表現されている場合を想定している。各多角形は複数の頂点によって表現されるため、表情は多角形の頂点の座標の集合として表現される。図６において、頂点の数をｎ個とした場合、６０１は頂点１のデータであり、６０２、６０３、６０４はそれぞれＸ軸の座標、Ｙ軸の座標、Ｚ軸の座標を表わす。また６０５は頂点ｎのデータであり、６０６、６０７、６０８はそれぞれＸ軸の座標、Ｙ軸の座標、Ｚ軸の座標を表わす。
【００２３】
図７に手話文データのフォーマットを示す。図７において、７０１は手話文の名称を表す記号列であり、各手話文を識別できる記号であればどのような記号列を用いても良い。さらには、記号ではなく数字を用いることもできる。７０２は手話文に対応する日本語文を表す文字列である。７０３は手話文に含まれる手話単語の数である。７０４から７０５は手話文に含まれる手話単語の名称を表す。手話単語の名称としては図２における２０１を使用する。７０６は、手話文中に含まれる姿勢データの数である。７０７から７０８には、手話文に含まれる姿勢データが記述される。
【００２４】
図８に手話文データ中に記述される姿勢データのフォーマットを示す。図８において８０１は姿勢データの種類を表す記号である。手話文データ中に記述される姿勢データの種類には、手話単語データと同様に、頭の姿勢、首の姿勢、右肩の姿勢、左肩の姿勢、背中の姿勢、腰の姿勢がある。これらを識別するための記号列あるいは数値が８０１に記述される。開始時刻８０２は姿勢データが手話文データ中のどの時刻から開始されるかを表す。終了時刻８０３は姿勢データが終了する時刻を表す。データ長８０４は姿勢データのフレーム数を表す数値が記述される。８０５から８０６には各フレームの姿勢が記述される。各フレームの姿勢は図５に示すフォーマットで記述される。図７において７０９は、手話文中に含まれる表情データの数である。７１０から７１１には、手話文に含まれる表情データが記述される。
【００２５】
図９に手話文データ中に記述される表情データのフォーマットを示す。図９において開始時刻９０１は、表情データが手話文データ中のどの時刻から開始されるかを表す。終了時刻９０２は、表情データが終了する時刻を表す。データ長９０３は表情データのフレーム数を表す数値が記述される。９０４から９０５には各フレームの表情が記述される。各フレームの表情は図６に示すフォーマットで記述される。
【００２６】
図２から図６に示すように、手話単語データ中には既に各姿勢データおよび表情データが含まれている。手話文データ中に含まれている各姿勢データおよび表情データは、手話単語データを連結してできたデータ中の各姿勢データおよび表情データに上書きされる形となる。また、図７では手話文データ中に姿勢データおよび表情データを記述する形式となっているが、手話単語と同様に別の箇所に姿勢データや表情データを格納し、手話文データ中では各姿勢データや表情データに付加した名称を参照するようにしても良い。
【００２７】
図１０に手話文データの編集画面の一例を示す。図１０に示す画面は、図１における手話文データ編集プログラム１０９によって生成される。図１０において、１００１は手話文データから生成した手話アニメーションを表示する領域、１００２は手話アニメーション中で手話を表現する人物モデルである。手話文データ編集プログラム１０９は、図７に示すフォーマットの手話文データを保持しており、図１に示す手話アニメーション生成プログラム１１３を用いて手話文データから手話アニメーションを生成し、１００１に表示する。手話アニメーション生成プログラムとしては、例えば特開平０６−２５１１２３号公報（特許文献２）に記載された技術を使用することにより、図７に示すフォーマットの手話文データから容易に手話アニメーションを生成することが可能である。図１０において、１００３、１００４、１００５は、手話アニメーション中の人物モデル１００２の方向をそれぞれ、Ｘ軸回り、Ｙ軸回り、Ｚ軸回りに回転させるためのスライダである。ここで、Ｘ軸は左右方向、Ｙ軸は上下方向、Ｚ軸は前後方向とする。軸の方向は任意に設定することが可能である。１００６および１００７は、人物モデル１００２をそれぞれ、Ｘ軸方向、Ｙ軸方向に移動するためのスライダである。１００８は手話アニメーションの再生を開始するためのボタンである。１００９は手話アニメーションの再生を一時停止するためのボタンである。１０１０は手話アニメーションの再生を停止するためのボタンである。１０１１は手話アニメーションの再生開始位置を手話文データの開始フレームに設定するためのボタンである。１０１２は手話文データ中の１つ前のフレームの画像を表示するためのボタンである。１０１３は手話文データ中の次のフレームの画像を表示するためのボタンである。１０１４は再生開始位置を手話文データの終了フレームに設定するためのボタンである。１０１５は人物モデルの表示サイズを変更するためのスライダである。１０１６は手話単語に関する情報を一覧表示するための領域であり、表示される画面は、手話文データから手話単語一覧表示プログラム１１２を使用して生成される。１０１７は手話単語に関する情報の一覧表示が表示領域１０１６に納まらない場合に、表示部分を上下に移動させるためのスライダである。
【００２８】
図１１に、手話単語に関する情報の一覧表示の一例を示す。図１１において、１１０１および１１１２は手話文の開始および終了に対する基本位置を表わす。１１０２、１１０４、１１０６、１１０８、１１１０は、手話単語間に挿入される遷移動作を表わす。基本位置および遷移動作は、手話文データ編集プログラム１０９によって自動的に挿入される。１１０３、１１０５、１１０７、１１０９は、手話文データ中に含まれる手話単語の情報を表わす。基本位置および遷移動作は、文字列で表示する以外に、それぞれを識別できる任意の記号を使用することができる。また、基本位置および遷移動作のいずれかあるいは両方を表示しないようにすることも可能である。さらに、基本位置および遷移動作についても手話単語と同様な表示を用いることもできる。
【００２９】
図１０において１０１８は、手話単語に関する情報の一覧表示の設定を変更する画面を表示するためのボタンである。１０１８をキーボードあるいはマウスにより選択すると、図１２に示すような画面が表示される。図１２において、１２０１は手話単語の情報を表示する箇所に手話単語の名称を表示するかどうかを指定するためのチェックボックス、１２０２は手話単語の情報を表示する箇所に手話アニメーションを表示するかどうかを指定するためのチェックボックス、１２０３は手話単語の情報を表示する箇所に動作の軌跡を表示するかどうかを指定するためのチェックボックスである。１２０１、１２０２、１２０３はいずれも、左側の四角部分にチェックマークが表示されている場合に、それぞれの情報が表示されることを表わす。チェックマークを付けるか付けないかは、キーボードやマウスを用いて指定する。
【００３０】
図１３に手話単語名および手話アニメーションを表示すると指定した場合の手話単語に関する情報の表示例を示す。図１３において、１３０１は手話アニメーション中で手話を表現する人物モデル、１３０２は手話単語の名称を表わしている。
【００３１】
図１４に手話アニメーションのみを表示すると指定した場合の手話単語に関する情報の表示例を示す。図１４において、１４０１は手話アニメーション中で手話を表現する人物モデルを表わす。
【００３２】
図１５に手話単語の名称のみを表示すると指定した場合の表示例を示す。図１５において、１５０１は手話単語の名称を表わしている。
【００３３】
さらに、手話単語の名称、手話アニメーションおよび動作の軌跡を表示すると指定した場合の表示例を図１６に示す。図１６において、１６０１は手話アニメーション中で手話を表現する人物モデルを表し、１６０２が動作の軌跡を表わす曲線である。さらに、動作の軌跡の変わりに、あらかじめ決められた時間間隔あるいはあらかじめ決められた動作の特徴に基づいて複数のフレームを選択し、それらのフレームの画像を重ね合わせて表示しても良い。この場合、人物モデル全体の画像を重ねても良いし、また、手のみや肩から手まで等、重ね合わせる部分は任意に選択することができる。図１２では、手話単語の名称、手話アニメーションおよび動作の軌跡の表示・非表示の指定のみであったが、この他、基本動作や遷移動作の表示・非表示の指定、手話単語に関する表示領域のサイズの指定、手話アニメーションや手話単語の名称のレイアウト方法等、表示に関する任意のパラメータの設定を含めることができる。
【００３４】
図１０において、１０１９は手話単語に関する情報の一覧表示の領域１０１６中において、各手話単語のアニメーションを再生するためのボタンである。図１２において手話アニメーションの表示が設定されている場合、１０１６中の各手話単語に関する情報の表示領域、例えば図１１における１１０３、１１０５、１１０７および１１０９をキーボードあるいはマウスにより選択した後、さらに１０１９を選択すると、手話単語に関する情報の表示領域中に手話アニメーションが表示される。すなわち、図１３の１３０１、図１４の１４０１および図１６の１６０１の人物モデルによる手話アニメーションが表示される。この場合の手話アニメーションは、手話単語データから手話アニメーション生成プログラム１１３を用いて生成する。また、手話単語に関する情報の表示領域を選択しなくとも繰返し手話アニメーションを再生し続けるようにしても良い。このような表示方法の選択も、図１２に示す画面上で行えるようにすることができる。また、動作の軌跡の表示を行うように設定されている場合、手話単語を表わす手話アニメーションを再生する際に、動作の軌跡は表示しないようにすることもできるし、また、表示したままにしても良い。
【００３５】
図１０において、１０２０は手話単語に関する情報の一覧表示画面中の各手話単語のアニメーションを、各手話単語に関する情報の表示領域上に順番に表示するためのボタンである。１０２０を選択すると、図１７の１７０１、１７０２および１７０３のように、最初の手話単語から順番に、手話アニメーションの表示が行われる箇所がハイライト表示されると共に、手話アニメーションの再生が行われる。ある手話単語の再生が終了すると、自動的に次の手話単語の手話アニメーションが再生され、最後の手話単語まで、同様の処理が継続される。
【００３６】
手話単語に関する情報のハイライト方法としては、図１７に示すように、手話単語の名称の部分のみを反転表示する方法の他、手話単語の名称の表示色を変える方法、手話アニメーションの表示領域の背景を変える方法、手話アニメーションの表示領域を囲む四角形の色や線の太さを変える方法、手話アニメーション中の人物モデルの色を変える方法等、手話アニメーションが表示されている手話単語に関する情報と、手話アニメーションが表示されていない手話単語に関する情報を区別できる方法であれば、どのような方法を使用しても良い。
【００３７】
図１０において１０２１は、手話文中に新たに手話単語を追加するためのボタンである。１０１６中で手話単語を追加する箇所をキーボードあるいはマウスにより選択した後、１０２１を選択すると、図１８に示すような画面が表示される。
【００３８】
図１８は、追加する手話単語を手話単語の名称から検索する方法と、手話の動作に基づいて検索する方法が使用できる場合の画面例である。１８０１は、追加する手話単語の検索方法が手話単語の名称からであることを示すボタン、１８０２は、追加する手話単語の検索方法が手話の動作からであることを示すボタンである。図１８は、１８０１が選択された場合の画面を示している。図１８において、１８０３は検索を行う手話単語の名称を入力するための領域、１８０４は手話単語の検索を開始するためのボタンである。１８０４を選択すると、１８０３に入力された名称と一致する名称を有する手話単語が手話単語データ格納部１０７から検索される。この際、１８０３に入力された名称と完全に一致する手話単語を検索するだけでなく、名称の一部が一致する手話単語も選択することができる。１８０５は検索された手話単語の一覧を表示するための領域、１８０６は検索された手話単語の一覧が１８０５に表示しきれない場合に、表示箇所を上下させるためのスライダである。１８０５中に表示されている手話単語の内、目的とする手話単語をキーボードあるいはマウスにより選択した後、１８０７を選択すると、１８０５中で選択した手話単語が手話文データ中に追加され、新たな手話単語が追加された手話単語に関する情報の一覧が図１０の１０１６中に表示される。新たな手話単語を追加する位置は、１０１６中で選択した位置の前あるいは後ろにいずれかとすることができる。あるいは、図１８に示す画面等において、選択した位置の前あるいは後ろのいずれに手話単語を追加するかを指定できるようにしても良い。また、手話単語を追加する際には、手話単語の前後に遷移動作が自動的に追加されるようにする。この際、遷移動作におけるデータは前後の手話単語データから計算によって求めることになるが、この方法として、例えば特開平０７−０９２９０４号公報（特許文献３）に開示される技術を使用することにより容易に実現することができる。また、手話単語が一つも追加されていない場合、すなわち初期状態では、手話文の開始と終了を表す基本動作およびそれらの基本動作間の遷移動作のみが手話文データ中に含まれている状態とする。１８０８を選択すると、手話単語の検索処理を中止する。１８０９は１８０５に表示されている検索された手話単語を手話アニメーションとして表示するためのプレビュー画面である。１８０５中で手話単語をキーボードあるいはマウスにより選択した後、１８１０を選択すると、１８０９中に手話単語の手話アニメーションが表示される。手話アニメーションは、手話単語データから手話アニメーション生成プログラム１１３により生成する。
【００３９】
図１９は、手話単語の検索方法として、１８０２により手話の動作から検索する方法を選択した場合の画面例である。図１９において、１９０１は検索条件となる動作の軌跡を設定するための画面を表示するためのタブ、１９０２は検索条件となる手の姿勢を設定するための画面を表示するためのタブである。１９０１を選択すると図１９に示す画面が表示される。図１９において、１９０３は人物モデルを正面から見た場合の動作の軌跡を入力するための画面、１９０４は人物モデルを左側から見た場合の動作の軌跡を入力するための画面である。１９０５は右手の軌跡を入力するためのボタン、１９０６は左手の軌跡を入力するためのボタンである。１９０７は両手の軌跡を同時に入力するためのボタンであり、入力された両手の軌跡が平行となる場合に使用する。１９０８は両手の軌跡を同時に入力するためのボタンであり、入力された両手の軌跡が左右対称になる場合に使用する。１９０９は両手の軌跡を同時に入力するためのボタンであり、入力された両手の軌跡が前後に対称となる場合に使用する。１９１０は両手の軌跡を同時に入力するためのボタンであり、入力された両手の軌跡が上下に対称となる場合に使用する。１９１１は、入力された軌跡を上下左右に移動するためのボタン、１９１２は、入力された軌跡を回転させるためのボタンである。１９１３は、入力した軌跡を削除するためのボタンである。動作の軌跡は、マウスを用いて１９０３および１９０４上に曲線を描くことにより入力する。
【００４０】
図２０に動作の軌跡を入力している様子を示す。図２０では、右手の軌跡を入力するための１９０５が選択されており、２００１は曲線を描画する位置を表すためのマウスカーソルである。図２０では、１９０３上に軌跡を描いた場合の状態であり、描かれた軌跡は２００２によって示されている。ここで、１９０３に描かれた軌跡は正面から見た場合の軌跡であるが、前後方向の情報は含まれていないため、左側から見た画面１９０４上には描いた軌跡が上下の直線２００３として表示される。
【００４１】
次に、入力した動作の軌跡を移動する場合の様子を図２１に示す。図２１では、動作の軌跡を移動するために１９１１が選択されている。ここで、マウスカーソル２１０１により軌跡を選択し、そのままマウスを上下左右に移動させることにより、選択した軌跡を移動させることができる。図２１では、２１０２に表示されていた軌跡を２１０３に移動した様子が示されている。また、１９０３と１９０４の表示は連動しているため、１９０３で軌跡を移動すると、１９０４上に表示されている軌跡も２１０４のように移動する。
【００４２】
さらに、入力した動作の軌跡を回転させる場合の様子を図２２に示す。図２２では、動作の軌跡を回転させるために１９１２が選択されている。ここで、マウスカーソル２２０１により軌跡を選択し、そのままマウスを上下左右に移動させることにより、選択した軌跡を回転させることができる。図２２では、２２０２に表示されていた軌跡を２２０３のように回転させた様子が示されている。また、１９０３と１９０４の表示は連動しているため、１９０４で軌跡を回転させると、１９０３上の軌跡の表示も２２０４のように変化する。両手の軌跡を同時に入力する場合、すなわち図１９における１９０７から１９１０を選択した場合は、両手の軌跡を同時に入力および操作できるという違いのみで、操作は上記と全く同じである。動作の軌跡は、軌跡の入力を行った場合、自動的に検索条件として使用されるようにする他、入力した軌跡を検索条件として使用するかどうかを選択するための手段を設けても良い。
【００４３】
図１９において、手の姿勢を設定するためのタブ１９０２を選択した場合の画面を図２３に示す。図２３において、２３０１は右手の姿勢を画像として表示するための領域、２３０２は左手の姿勢を画像として表示するための領域である。２３０３は、手の姿勢の内、右手の形状を検索条件に含めるかどうかを設定するためのチェックボックスである、チェックマークが表示されている場合、指定された手の形状が検索条件に含まれる。２３０４は右手の形状を設定するためのボタンであり、２３０４をキーボードあるいはマウスにより選択すると図２４に示すような画面が表示される。
【００４４】
図２４において、２４０１、２４０２、２４０３、２４０４、２４０５、２４０６は選択可能な手の形状であり、表示されている手の形状から検索条件とする形状を選択し、２４０７を選択することにより、検索条件として選択された手の形状が登録され、２３０１上に選択した手の形状が表示される。手の形状を選択しない場合は、２４０８を選択する。図２３において、２３０５は、手の姿勢の内、右手の方向を検索条件に含めるかどうかを設定するためのチェックボックスである、チェックマークが表示されている場合、指定された右手の方向が検索条件に含まれる。２３０６、２３０７および２３０８は検索条件とする右手の方向を設定するためのスライダである。図２３では、２３０６はＸ軸回りの回転角度、２３０７はＹ軸回りの回転角度、２３０８はＺ軸回りの回転角度を指定するために使用する。２３０６から２３０８を操作すると２３０１上の画像が操作に合わせて変化する。２３０９は、手の姿勢の内、左手の形状を検索条件に含めるかどうかを設定するためのチェックボックスであり、チェックマークが表示されている場合、指定された手の形状が検索条件に含まれる。２３１０は左手の形状を設定するためのボタンであり、２３１０をキーボードあるいはマウスにより選択すると、右手の場合と同様に図２４に示す画面が表示される。選択方法も右手の場合と同様である。図２３において、２３１１は、手の姿勢の内、左手の方向を検索条件に含めるかどうかを設定するためのチェックボックスであり、チェックマークが表示されている場合、指定された左手の方向が検索条件に含まれる。２３１２、２３１３および２３１４は検索条件とする左手の方向を設定するためのスライダである。右手の場合と同様に、２３１２はＸ軸回りの回転角度、２３１３はＹ軸回りの回転角度、２３１４はＺ軸回りの回転角度を指定するために使用する。２３１２から２３１４を操作すると、２３０２上の画像が操作に合わせて変換する。図２３において、２３１５は左右の手の姿勢を別々に指定する場合に選択するボタンである。２３１６は両手の姿勢を同時に指定する場合に選択するボタンであり、この場合、両手の形状は同じであり、両手の方向は平行となる。２３１７は両手の姿勢を同時に指定する場合に選択するボタンであり、この場合、両手の形状は同じであり、両手の方向は左右対称となる。２３１８は両手の姿勢を同時に指定する場合に選択するボタンであり、この場合、両手の形状は同じであり、両手の方向は前後対称となる。２３１９は両手の姿勢を同時に指定する場合に選択するボタンであり、この場合、両手の形状は同じであり、両手の方向は上下対称となる。
【００４５】
検索条件として動作の軌跡および手の姿勢を設定した後、１９１４を選択すると、設定した検索条件で手話単語の検索が行われる。検索を行う際には、まず、設定した動作の軌跡や手の姿勢を図２から図６に示す手話単語データの形式に変換する。検索条件として設定した動作の軌跡は画面上の座標値で表わされており、また、手の姿勢は各指関節の角度や手の傾き角度によって表現することができるため、手話単語データの形式への変換はデータの並べ替えによる簡単な操作により容易に行うことが可能である。検索条件からデータの変換を行った後、変換したデータを手話単語データ格納部１０７に格納されている各手話単語データと比較を行う。手話単語データ同士の比較は、例えば特開平０６−０８３９３８号公報（特許文献４）に開示される技術を用いることにより容易に実現することができる。変換したデータを全ての手話単語データと比較した後、類似度が高い順に手話単語の名称を図１９の１９１５上に検索結果として一覧表示する。この際、検索結果として表示する手話単語の数は、あらかじめ決められた個数のみ表示することもできるし、あるいは、類似度がある値より高い手話単語を全て表示しても良い。図１９において、１９１６は検索された手話単語の一覧が１９１５上に表示しきれない場合に、表示箇所を上下させるためのスライダである。１９１５中に表示されている手話単語の内、目的とする手話単語をキーボードあるいはマウスにより選択した後、１９１７を選択すると、１９１５中で選択した手話単語が手話文データ中に追加され、新たな手話単語が追加された手話単語に関する情報の一覧が図１０の１０１６中に表示される。手話文データ中に手話単語を追加する際の処理は、手話単語の名称から手話単語を検索し、追加を行う場合と同様である。また、１９１８を選択すると、手話単語の検索処理を中止する。図１９において、１９１９は１９１５に表示されている検索された手話単語を手話アニメーションとして表示するためのプレビュー画面である。１９１５中で手話単語をキーボードあるいはマウスにより選択した後、１９２０を選択すると、１９１９中に手話単語の手話アニメーションが表示される。手話アニメーションは、手話単語データから手話アニメーション生成プログラム１１３により生成する。
【００４６】
図１９では、動作の軌跡や手の姿勢は入力装置から直接入力しても良い。動作の軌跡や手の姿勢を直接入力する方法としては、ビデオカメラから入力した動画像から画像認識の技術を利用して動作の軌跡や手の姿勢を検出する方法がある。例えば特願平１０−２６７８３２号公報（特許文献５）にある技術を用いることにより、実現できる。また、良く知られた手袋型の装置を用いることにより、入力することができる。入力された動作の軌跡や手の姿勢に対して、どのデータを検索条件とするか設定する手段を設け、検索条件の設定をした後、上記と同様の方法により手話単語データ格納部１０７中の手話単語データとの比較を行うことにより、手話単語の検索を行うことができる。また図１９は、正面と左側から見た軌跡を入力する場合の画面であるが、他の方向から見た軌跡を入力するようにしても良い。更に図１９では、検索条件として、動作の軌跡と手の姿勢のみを設定するようにしていたが、頭の姿勢や首の姿勢、右肩の姿勢、左肩の姿勢、背中の姿勢、腰の姿勢、表情等、手話単語データに含まれるデータを検索条件として加えることも同様に可能である。
【００４７】
また、図１８や図１９における検索結果の一覧表示において、手話単語名の一覧を表示するだけでなく、図１１における手話単語に関する情報の一覧表示のように、手話単語に関する情報を必要に応じて選択し、表示するようにしても良い。また、手話単語の検索方法としては、図１８に示す手話単語の名称からの検索と図１９に示す動作からの検索以外に、登録されている手話単語の一覧を表示し、その中から検索する手段を用意しても良い。
【００４８】
さらに、手話単語の検索手段は、手話文の検索においても同様に利用することが可能である。
【００４９】
また図１０において、１０２２は手話単語の前後にポーズを挿入するためのボタンである。１０１６中に表示されている手話単語を選択した後、１０２２を選択すると、図２５に示すような画面が表示される。図２５において、２５０１はポーズを手話単語の直前に追加することを設定するためのボタン、２５０２はポーズを手話単語の直後に追加することを設定するためのボタンである。２５０３には追加するポーズのフレーム数を数値により入力する。ポーズを挿入する位置の指定とフレーム数の入力を行った後、２５０４を選択すると、ポーズが指定した位置に挿入される。この際、ポーズのデータは、手話単語の直前に挿入する場合は手話単語の開始時のデータを、また、手話単語の直後に挿入する場合は手話単語の終了時のデータを、２５０３で指定したフレーム数分コピーすることによって作成される。
【００５０】
図１０では、手話文の手話アニメーションを表示するための領域と手話単語に関する情報の一覧表示を行うための領域のみからなる構成であったが、姿勢データや表情データの追加・編集等の詳細な手話文データの編集を行うためには、特開平８−３１５１８５号公報（特許文献６）や非特許文献１にあるように、フレーム毎にデータの操作を行うための手段が必要である。図１０に上記既存技術におけるデータ操作手段を付加することは容易に実現することができる。この際、フレーム毎のデータ操作手段と図１０における手話単語に関する情報の一覧表示手段１０１６を連動するように構成することもできる。例えば、１０１６中で手話単語を選択した場合、フレーム毎のデータ操作手段上に選択した手話単語に対応するフレームを自動的に表示するようにすることができる。また、フレーム毎のデータ操作手段で操作しているフレームを含む手話単語を手話単語に関する情報の一覧表示手段上でハイライト表示することも容易に実現することができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施例の構成を示す図。
【図２】手話単語データのフォーマットを示す図。
【図３】手話単語データ中の一フレームのフォーマットを示す図。
【図４】手話単語データ中の手の姿勢のフォーマットを示す図。
【図５】手話単語データ中の頭の姿勢、首の姿勢、右肩の姿勢、左肩の姿勢、背中の姿勢、腰の姿勢のフォーマットを示す図。
【図６】手話単語データ中の表情のフォーマットを示す図。
【図７】手話文データのフォーマットを示す図。
【図８】手話文データ中の姿勢データのフォーマットを示す図。
【図９】手話文データ中の表情データのフォーマットを示す図。
【図１０】手話文編集画面の一例。
【図１１】手話単語に関する情報の一覧表示の一例。
【図１２】手話単語に関する情報の一覧表示の際に表示する情報を設定するための画面の一例。
【図１３】手話単語に関する情報の一覧表示で、手話アニメーション、手話単語の名称を表示するように設定した場合の手話単語情報の表示例。
【図１４】手話単語に関する情報の一覧表示で、手話アニメーションのみを表示するように設定した場合の手話単語情報の表示例。
【図１５】手話単語に関する情報の一覧表示で、手話単語の名称のみを表示するように設定した場合の手話単語情報の表示例。
【図１６】手話単語に関する情報の一覧表示で、手話アニメーション、手話単語の名称、動作の軌跡を表示するように設定した場合の手話単語情報の表示例。
【図１７】手話単語に関する情報の一覧表示において、手話アニメーションの連続表示を行う場合の表示例。
【図１８】手話単語の名称から手話単語を検索するための画面の一例。
【図１９】動作から手話単語を検索するための画面の一例。
【図２０】動作から手話単語を検索する際に、動作の軌跡を画面上に描いた様子を表す画面の一例。
【図２１】動作から手話単語を検索する際に、画面上に描いた軌跡を移動させている様子を表す画面の一例。
【図２２】動作から手話単語を検索する際に、画面上に描いた軌跡を回転させている様子を表す画面の一例。
【図２３】動作から手話単語を検索する際に、手の姿勢を設定するための画面の一例。
【図２４】手の形状を選択する画面の一例。
【図２５】ポーズを手話文に挿入する際に必要な情報を設定するための画面の一例。
【図１】
2005099977.tif 000003
【図２】
2005099977.tif 000004
【図３】
2005099977.tif 000005
【図４】
2005099977.tif 000006
【図５】
2005099977.tif 000007
【図６】
2005099977.tif 000008
【図７】
2005099977.tif 000009
【図８】
2005099977.tif 000010
【図９】
2005099977.tif 000011
【図１０】
2005099977.tif 000012
【図１１】
2005099977.tif 000013
【図１２】
2005099977.tif 000014
【図１３】
2005099977.tif 000015
【図１４】
2005099977.tif 000016
【図１５】
2005099977.tif 000017
【図１６】
2005099977.tif 000018
【図１７】
2005099977.tif 000019
【図１８】
2005099977.tif 000020
【図１９】
2005099977.tif 000021
【図２０】
2005099977.tif 000022
【図２１】
2005099977.tif 000023
【図２２】
2005099977.tif 000024
【図２３】
2005099977.tif 000025
【図２４】
2005099977.tif 000026
【図２５】
2005099977.tif 000027