(57)【要約】【課題】より分かりやすく編集・修正を容易とする効果的な態様でＧＵＩを提示し、手話文章、又は手話ＣＧアニメーション用の所定のデータファイルを修正し、利用可能な手話ＣＧ映像に編集可能とする手話ＣＧ編集装置及びプログラムを提供する。【解決手段】本発明に係る手話ＣＧ編集装置１及びプログラムは、手話ＣＧを構成する手話文章、又は手話ＣＧアニメーション用の所定のデータファイルを修正し、この修正により手話ＣＧを編集する装置として、当該日本語文章を構成する日本語単語の手指動作に対応する手話単語を最小単位とし、１つの手話単語を１つの単語ノードで表し、各単語ノード同士を接続線によって連結し、木構造で表現したインターフェースを形成し、グラフィック・ユーザ・インターフェース（ＧＵＩ）上の外部操作により各単語ノードの接続順又は各単語ノードの変更を編集可能に提示する手段を備える。【選択図】図３
2018128543.tif 000002
【特許請求の範囲】
【請求項１】
手話ＣＧを構成する手話文章、又は手話ＣＧアニメーション用の所定のデータファイルを修正し、この修正により手話ＣＧを編集する手話ＣＧ編集装置であって、
１つの日本語文章に対応する手話文章について、当該日本語文章を構成する日本語単語の手指動作に対応する手話単語を最小単位とし、１つの手話単語を１つの単語ノードで表し、各単語ノード同士を接続線によって連結し、木構造で表現したインターフェースを形成し、グラフィック・ユーザ・インターフェース（ＧＵＩ）上の外部操作により各単語ノードの接続順又は各単語ノードの変更を編集可能に提示する手段を備えることを特徴とする手話ＣＧ編集装置。
【請求項２】
前記木構造を構成し、相互に連結された各単語ノードに対応する手話ＣＧの動きを接続するフィルタ処理の処理単位のうち最小の処理単位を機能ノードとし、該機能ノードの適用範囲を前記各単語ノードと結ぶリンク表示で表し、複数の機能ノードを多重して適用可能に表示し、外部操作により当該木構造における一連の手話ＣＧの動きの接続を、前記ＧＵＩ上で修正可能に提示する手段を更に備えることを特徴とする、請求項１に記載の手話ＣＧ編集装置。
【請求項３】
前記単語ノード毎の手話単語動きデータ、及び手話ＣＧ映像に係るアニメーション用モデルのキャラクタデータを格納するデータベースと、
前記木構造に基づいて、各単語ノードに対応する手話単語動きデータを合成し、一連の手話ＣＧ映像としてレンダリングする手段と、
該手話ＣＧ映像に関するプレビュー表示を前記ＧＵＩ上で外部操作により再生可能とし、前記プレビュー表示の進行に従い、再生している当該木構造に対応する単語ノード又は接続線を強調表示する手段と、
該手話ＣＧ映像に関するデータファイルをＣＳＶ形式、ＸＭＬ形式、或いはＢＶＨ形式で外部出力可能とする手段と、
を更に備えることを特徴とする、請求項１又は２に記載の手話ＣＧ編集装置。
【請求項４】
ＣＳＶ形式、ＸＭＬ形式、或いはＢＶＨ形式の編集対象のデータファイルを自動又は手動で入力し、該編集対象のデータファイルについて自動的に前記木構造で表現したインターフェースを形成する手段を更に備えることを特徴とする、請求項１から３のいずれか一項に記載の手話ＣＧ編集装置。
【請求項５】
当該木構造を構成する少なくとも各単語ノードの表示を、前記ＧＵＩ上の外部操作により配置変更可能とし、前記ＧＵＩ上の前記外部操作における一整列操作で、当該木構造を構成する少なくとも前記各単語ノードの表示を整列する手段と、
前記外部操作における一拡大又は縮小操作で、当該木構造を構成する少なくとも前記各単語ノードの表示を前記ＧＵＩ上で任意に拡大又は縮小表示する手段と、
を更に備えることを特徴とする、請求項１から４のいずれか一項に記載の手話ＣＧ編集装置。
【請求項６】
コンピュータに、請求項１から５のいずれか一項に記載の手話ＣＧ編集装置を機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、日本語文章テキストから日本手話に翻訳したコンピュータグラフィックス（ＣＧ）映像に係る手話文章、又は手話ＣＧアニメーション用の所定のデータファイルを修正し、利用可能な手話ＣＧ映像に編集可能とする手話ＣＧ編集装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、日本語から日本手話に自動的に翻訳可能とする装置やプログラムの実現が求められている。例えば、スマートフォンなどの携帯端末に常駐するアプリケーションとして実装し、ブラウザに表示される日本語テキストを手話ＣＧ映像に変換することで、日本手話を母語とする人に対して、より分かりやすい形式で情報を提供できる。
【０００３】
また、健聴者にとっても、日常的に手話に接する機会が増えることにより、手話を習得することができる。この他にも手話ＣＧによる表示を応用できる場は広く、公共の場での案内を手話ＣＧのキャラクタによって伝えるなどの利用が考えられている。
【０００４】
上記のような応用を期待して、日本語の文章を日本手話の手話ＣＧ映像に翻訳・変換する技術の研究が行われている。日本語テキストから日本手話に翻訳したコンピュータグラフィックス（ＣＧ）映像の生成工程は、日本語文字情報を抽出し、入力した文字情報を手話文章に翻訳し、手話ＣＧアニメーションを合成し、最後に合成した手話ＣＧを映像形式に変換する工程に及ぶ（例えば、特許文献１参照）。
【０００５】
しかしながら、日本語を日本手話に翻訳することは技術的に難しく、実用的に利用された例は現在までにほとんどない。日本語から日本手話への翻訳が難しいのは、日本手話は独自の文法を持つ言語であり日本語の語順とは異なり、単純な単語の置き換えでは対応できないためである。
【０００６】
更に、例え日本語から日本手話の単語の語順に変換でき、正しい手や指の動きを順番に再生できたとしても、日本手話を表現する要素は手や指だけではなく、うなずきや顔表情（非手指動作）が重要となる。
【０００７】
日本語から日本手話に翻訳することが難しいため、一般的な日本語を手話ＣＧに変換して実用的に利用するには、手話文章、又は手話ＣＧアニメーション用の所定のデータファイルを人手により修正し編集する作業が必要となる（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１４−６２５２８号公報
【非特許文献】
【０００９】
【非特許文献１】梅田  修一，“テレビにおける手話ＣＧでの聴覚障がい者支援”，一般社団法人映像情報メディア学会，映像情報メディア学会誌，映像情報メディア ６９（６），５２６−５２９，２０１５年７月１日発行
【発明の概要】
【発明が解決しようとする課題】
【００１０】
前述したように、日常使用する日本語を手話ＣＧに変換し、変換された手話ＣＧアニメーションを実用的に利用するには、手話文章、又は手話ＣＧアニメーション用の所定のデータファイルを人手により修正し編集する作業が必要になっている。
【００１１】
このため、手話ＣＧへの変換がより分かりやすく編集・修正容易となるように、手話文章、又は手話ＣＧアニメーション用の所定のデータファイルを修正可能とし、実用的に利用可能な手話ＣＧ映像に加工可能とする手話ＣＧ編集装置、更には、スマートフォンやタブレット、或いは汎用コンピュータを手話ＣＧ編集装置として機能させるためのアプリケーション用のプログラムの提供が望まれる。
【００１２】
具体的に従来課題を説明する。まず、日本語から日本手話に変換する際に、日本語の単語を処理の最小単位として処理することが多い。日本語の１単語を分解して、日本手話では２つ以上の動きで表現することがあるように、日本語と日本手話の単語は１対１には対応しない。また、手話を表現するためには手指を動かすだけでなく、うなずきや顔表情も重要な要素である。
【００１３】
一般的な手話単語辞典では分かりやすさのために、日本語の単語を表現する際の手指の動きを単位として５０音から手指の動きを検索できるようにしている。
【００１４】
そこで、特許文献１の技法においても、手話の動きの最小単位は、相当する日本語単語の手指動作である「手話単語」としている。そして、特許文献１にも開示されている手話ＣＧ翻訳装置は、まず、手話翻訳機により日本語文章テキストから日本手話に自動翻訳を行い、その後、信号処理の段階で、その自動翻訳によって並べられた手話単語を自動的に合成し、一連の日本手話の動きとした手話ＣＧ映像を生成するための手話ＣＧアニメーションデータとして手話文章の所定のデータファイル（手話ＣＧ用ＢＶＨ（Bounding Volume Hierarchy）データファイル）を生成し、生成したデータファイルを出力するよう構成する。
【００１５】
しかし、特許文献１に開示されている手話ＣＧ翻訳装置において、自動翻訳結果が常に制作者が意図する通りの手話になるとは限らない。このため、手話翻訳機やその後の信号処理によって、自動的に並べられた手話単語や語順を意図する通りに、人手により、正しい手話単語、及び正しく並んでいる語順に「編集」する必要がある。更に、当該手話翻訳機やその後の信号処理によって、手話単語の語順が正しくても、手話単語間の接続のタイミングや接続の仕方が正しくないこともある。このため、その合成結果の手話ＣＧが不自然で理解できない動きとなる場合には人手により「修正」する必要が生じる。
【００１６】
手話ＣＧの合成に係る編集と修正は、手話を理解できる人が直接、或いは手話を理解できる人からの指示を受けて間接的にコンピュータに入力する。他人に指示を与え、又は他人から指示を受けて操作者がコンピュータを操作する場合を考えると、編集・修正はできるだけ直感的で分かりやすい操作で行えることが望ましい。
【００１７】
しかしながら、現時点で、だれでも簡単に利用できるインターフェースを持つ手話編集・修正機能を持つ手話ＣＧ編集装置やアプリケーション用プログラムは存在しない。このため、現時点では、手話ＣＧの動きを編集・修正する場合、ＣＧの専門性を持つ技術者が、手話を分かる人の監修を受けながら時間をかけ、手話ＣＧ用のアニメーションの手直しをしている。
【００１８】
このため、手話編集・修正機能を持つ手話ＣＧ編集装置を構成する場合、直感的に使いやすいグラフィック・ユーザ・インターフェース（ＧＵＩ）を提示することが望ましい。
【００１９】
ここで、コンピュータ上で利用されるプログラムとして、映像の編集用又は加工修正用アプリケーション（ソフトウェア）ではＧＵＩが広く使用されているが、一般的な日本語言語用の編集用アプリケーションを応用して、所謂タイムラインを用いた手話ＣＧの編集用ＧＵＩを構成することが考えられる。
【００２０】
例えば、図９に示すような手話ＣＧの編集用ＧＵＩウィンドウＷＤをコンピュータの表示画面上に提示するアプリケーションが考えられる。図９に示すＧＵＩウィンドウＷＤでは、操作者が、手話ＣＧ用の各手話単語を、予め保持される手話単語候補からマウスを利用して選択し、タイムラインを用いた接続を示すトラック（図示“トラック１”，“トラック２”，…）にドラック＆ドロップで入力する。図示する例では、「明日」、「雨」、「でしょう」の各手話単語が、“トラック１”，“トラック２”，“トラック３”に入力された様子を示している。その後、図９に示すＧＵＩウィンドウＷＤでは、操作者が、マウス操作により、各トラック内の手話単語に関する開始時刻“ＩＮ”と終了時刻“ＯＵＴ”（手話単語時間）をずらすように調整することで、ＧＵＩウィンドウＷＤを提示するプログラムが手話単語間の接続を線形補間で自動補間生成する。これにより、操作者は、各手話単語の接続タイミングを適正化させるよう編集することができる。
【００２１】
しかしながら、図９に示すＧＵＩウィンドウＷＤでは、手話単語の接続の仕方自体や、手話ＣＧに係る顔表情などの要素の詳細については修正することができない。タイムラインは１次元の軸の上で、手話単語毎にＣＧ表現のための長さを調整することや、その開始時刻“ＩＮ”点と終了時刻“ＯＵＴ” 点を調整することはできるが、自由度に欠けるため、顔表情や動作など手話における重要な要素を十分に修正することができない。
【００２２】
本発明の目的は、上述の問題に鑑みて、より分かりやすく編集・修正を容易とする効果的な態様でＧＵＩを提示し、手話文章、又は手話ＣＧアニメーション用の所定のデータファイルを修正し、利用可能な手話ＣＧ映像に編集可能とする手話ＣＧ編集装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００２３】
本発明の手話ＣＧ編集装置は、手話ＣＧを構成する手話文章、又は手話ＣＧアニメーション用の所定のデータファイルを修正し、この修正により手話ＣＧを編集する手話ＣＧ編集装置であって、１つの日本語文章に対応する手話文章について、当該日本語文章を構成する日本語単語の手指動作に対応する手話単語を最小単位とし、１つの手話単語を１つの単語ノードで表し、各単語ノード同士を接続線によって連結し、木構造で表現したインターフェースを形成し、グラフィック・ユーザ・インターフェース（ＧＵＩ）上の外部操作により各単語ノードの接続順又は各単語ノードの変更を編集可能に提示する手段を備えることを特徴とする。
【００２４】
また、本発明の手話ＣＧ編集装置において、前記木構造を構成し、相互に連結された各単語ノードに対応する手話ＣＧの動きを接続するフィルタ処理の処理単位のうち最小の処理単位を機能ノードとし、該機能ノードの適用範囲を前記各単語ノードと結ぶリンク表示で表し、複数の機能ノードを多重して適用可能に表示し、外部操作により当該木構造における一連の手話ＣＧの動きの接続を、前記ＧＵＩ上で修正可能に提示する手段を更に備えることを特徴とする。
【００２５】
また、本発明の手話ＣＧ編集装置において、前記単語ノード毎の手話単語動きデータ、及び手話ＣＧ映像に係るアニメーション用モデルのキャラクタデータを格納するデータベースと、前記木構造に基づいて、各単語ノードに対応する手話単語動きデータを合成し、一連の手話ＣＧ映像としてレンダリングする手段と、該手話ＣＧ映像に関するプレビュー表示を前記ＧＵＩ上で外部操作により再生可能とし、前記プレビュー表示の進行に従い、再生している当該木構造に対応する単語ノード又は接続線を強調表示する手段と、該手話ＣＧ映像に関するデータファイルをＣＳＶ（Comma-Separated Variables）形式、ＸＭＬ（Extensible Markup Language）形式、或いはＢＶＨ（Bounding Volume Hierarchy）形式で外部出力可能とする手段と、を更に備えることを特徴とする。
【００２６】
また、本発明の手話ＣＧ編集装置において、ＣＳＶ形式、ＸＭＬ形式、或いはＢＶＨ形式の編集対象のデータファイルを自動又は手動で入力し、該編集対象のデータファイルについて自動的に前記木構造で表現したインターフェースを形成する手段を更に備えることを特徴とする。
【００２７】
また、本発明の手話ＣＧ編集装置において、当該木構造を構成する少なくとも各単語ノードの表示を、前記ＧＵＩ上の外部操作により配置変更可能とし、前記ＧＵＩ上の前記外部操作における一整列操作で、当該木構造を構成する少なくとも前記各単語ノードの表示を整列する手段と、前記外部操作における一拡大又は縮小操作で、当該木構造を構成する少なくとも前記各単語ノードの表示を前記ＧＵＩ上で任意に拡大又は縮小表示する手段と、を更に備えることを特徴とする。
【００２８】
また、本発明のプログラムは、コンピュータに、本発明の手話ＣＧ編集装置を機能させるためのプログラムとして構成する。
【発明の効果】
【００２９】
本発明によれば、より分かりやすく編集・修正を容易とする効果的な態様でＧＵＩが提示されるため、自由度の高い手話修正が可能となり、自然で分かりやすい手話ＣＧを実現できる。特に、翻訳精度が１００％に満たない手話翻訳を簡単な編集により加工・修正することができ、放送番組のような正確性が要求される用途では特に有効なものとなる。
【図面の簡単な説明】
【００３０】
【図１】本発明による一実施形態の手話ＣＧ編集装置の概略構成を示すブロック図である。
【図２】本発明による一実施形態の手話ＣＧ編集装置における編集対象のデータファイルの入力処理に関するフローチャートである。
【図３】本発明による一実施形態の手話ＣＧ編集装置にて提示するＧＵＩの一例を示す図である。
【図４】本発明による一実施形態の手話ＣＧ編集装置における編集対象の入力データファイル（ＣＳＶ形式）の一例を示す図である。
【図５】本発明による一実施形態の手話ＣＧ編集装置にて提示するＧＵＩにて編集可能にノード表示する手話単語列の一例を示す図である。
【図６】本発明による一実施形態の手話ＣＧ編集装置にて提示するＧＵＩにおける編集・データ出力操作例を示すフローチャートである。
【図７】本発明による一実施形態の手話ＣＧ編集装置にて提示するＧＵＩにおける手話単語の接続編集例を示す図である。
【図８】本発明による一実施形態の手話ＣＧ編集装置にて提示するＧＵＩにおける手話単語の追加編集例を示す図である。
【図９】本発明による一実施形態の手話ＣＧ編集装置にて提示するＧＵＩにおける手話単語の接続の仕方に関するフィルタ機能の編集例を示す図である。
【図１０】本発明による一実施形態の手話ＣＧ編集装置にて提示するＧＵＩにおける手話単語の接続の仕方に関するフィルタ機能の変更修整例を示す図である。
【図１１】本発明による一実施形態の手話ＣＧ編集装置にて提示するＧＵＩにおける整列機能を示す図である。
【図１２】本発明による一実施形態の手話ＣＧ編集装置にて提示するＧＵＩにおけるプレビュー機能を示す図である。
【図１３】本発明に係る一実施形態の手話ＣＧ編集装置を用いて構成した一実施形態の手話ＣＧ翻訳装置の概略構成を示すブロック図である。
【図１４】従来技法から想定される手話ＣＧの編集用ＧＵＩを例示する図である。
【発明を実施するための形態】
【００３１】
まず、図１を参照して、本発明による一実施形態の手話ＣＧ編集装置１の概略構成を説明する。
【００３２】
〔装置構成〕
図１は、本発明による一実施形態の手話ＣＧ編集装置１の概略構成を示すブロック図である。図１に示す手話ＣＧ編集装置１は、制御部２と、この制御部２に接続されるＧＵＩ部３及び記憶部４とを備える。手話ＣＧ編集装置１は、スマートフォンやタブレット、或いは汎用コンピュータ（以下、総括して「コンピュータ」と称する）上で、制御部２の機能により本発明に係るプログラムに基づくアプリケーション２０を起動して、ＧＵＩ部３を介して外部操作可能なＧＵＩを提示することで構成される。
【００３３】
従って、手話ＣＧ編集装置１は、コンピュータとして機能させることができ、当該コンピュータに、各構成要素を実現させるためのアプリケーション２０用のプログラムは、当該コンピュータの記憶部４に記憶される。当該コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御部２で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部４から読み込んで各構成要素の機能を当該コンピュータに実現させることができる。
【００３４】
図３は、本発明による一実施形態の手話ＣＧ編集装置１にて提示するＧＵＩの一例を示す図である。図３を参照するに、本発明に係る一実施例のＧＵＩウィンドウＷＤは、編集対象のデータファイルの手話言語列をノードの木構造で示すノード編集領域ＷＤ１と、実装している手話単語を示す単語ノード、並びに、線形補間処理等のフィルタ種類やスケーリング等の機能を示す機能ノードのリストを表示するノード種別表示領域ＷＤ２と、単語ノードや機能ノードの設定を変更可能に示すプロパティ表示領域ＷＤ３と、手話ＣＧ映像のプレビュー再生を可能とするプレビュー表示領域ＷＤ４と、操作履歴を示すログ表示領域ＷＤ５とを有するよう構成される。
【００３５】
まず、一般的な手話単語辞典では分かりやすさのために、日本語の単語を表現する際の手指の動きを単位として５０音から手指の動きを検索できるようにしているため、本発明に係る手話ＣＧ編集装置１においても、手話の動きの最小単位は、対応する日本語単語の手指動作である「手話単語」（以下、単に「単語」とも称する）とする。以後、制御部２の機能によりアプリケーション２０が起動され、表示器３１に本発明に係るＧＵＩ（後述する図３に示すＧＵＩウィンドウＷＤ）が表示されているものとする。
【００３６】
制御部２は、データファイル入力部２１と、ノード編集部２２と、データファイル出力部２３と、表示制御部２４と、操作制御部２５と、出力データファイル生成制御部２６とを備える。
【００３７】
データファイル入力部２１は、詳細は後述するが、操作部３２からの指示を操作制御部２５により受け付け、この操作制御部２５を介する操作部３２からの指示に応じて、編集対象のデータファイル（ＣＳＶ形式、ＸＭＬ形式、或いはＢＶＨ形式）を入力し、このデータファイルを解析して各単語をノード形式に変換し、各単語ノード（節）と、各単語ノード同士を連結する接続線（リンク）によって木構造で表現したインターフェースを形成し、表示制御部２４を介して表示器３１によりＧＵＩウィンドウＷＤ上で提示する機能部である。
【００３８】
このため、データファイル入力部２１は、入力データ解析部２１ａと、ノード形式変換部２１ｂと、ノード接続部２１ｃとを備える。
【００３９】
入力データ解析部２１ａは、編集対象として入力されたデータファイルを各単語に区分する解析処理を行う処理部である。
【００４０】
ノード形式変換部２１ｂは、入力データ解析部２１ａによって解析し区分した各単語をノード形式に変換する処理部である。
【００４１】
ノード接続部２１ｃは、ノード形式変換部２１ｂによってノード形式に変換した各単語について自動連結し、各単語ノードと、各単語ノード同士を連結する接続線によって木構造で表現したインターフェースを形成する処理部である。
【００４２】
このデータファイル入力部２１は、図３に例示するＧＵＩウィンドウＷＤ上では、ＣＳＶ形式の編集対象のデータファイルを入力する例として、操作部３２として機能するマウス操作でカーソルＭＳが示す“ＣＳＶ読込”ボタン２０１を押下する動作からの機能に対応する。
【００４３】
そして、ＧＵＩウィンドウＷＤ上では、操作部３２として機能するマウス操作でカーソルＭＳが示す“ＣＳＶ読込”ボタン２０１が押下されることで、ＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１に、１つのＣＳＶ形成の入力データファイルに対応し１つのＢＶＨファイルを形成するための木構造のインタフェースが提示される。尚、入力データファイルの形式は、当該マウスの右クリック操作でメニュー提示して変更可能とするか、又はファイルメニューを示す“ＦＩＬＥ”ボタン２０６の押下で提示されるメニュー内で変更可能とする構成とすることができる。
【００４４】
尚、データファイル入力部２１の機能により“ＣＳＶ読込”ボタン２０１の押下で編集対象のデータファイルを入力せずとも、以下に説明するノード編集部２２の機能により、実装している手話単語を追加指定可能とする“単語”ボタン２０２の押下で編集対象のデータファイルを構築することもできる。
【００４５】
図１に示すノード編集部２２は、詳細は後述するが、操作部３２からの指示を操作制御部２５により受け付け、この操作制御部２５を介する操作部３２からの指示に応じて、ＧＵＩウィンドウＷＤ上で表示した編集対象のデータファイルについて、各単語ノード同士を連結する接続線（リンク）によって木構造で表現したインターフェース上で編集可能とする機能部である。ノード編集部２２は、自動的に木構造に従って手話単語動きデータ（モーションデータ）を合成して一連の手話ＣＧ映像としてレンダリングする機能を有する。
【００４６】
このため、ノード編集部２２は、ノード接続修正機能部２２１、単語ノード修正機能部２２２、機能ノード修正機能部２２３、ノード表示整列機能部２２４、及び、プレビュー表示機能部２２５を備える。
【００４７】
ノード接続修正機能部２２１は、操作者の操作によりＧＵＩウィンドウＷＤ上で、各単語ノード同士を連結する接続線を修正可能とする機能部である。
【００４８】
単語ノード修正機能部２２２は、操作者の操作によりＧＵＩウィンドウＷＤ上で、単語ノードを修正可能とする機能部である。
【００４９】
機能ノード修正機能部２２３は、操作者の操作によりＧＵＩウィンドウＷＤ上で、線形補間等の機能ノードを修正可能とする機能部である。機能ノードは、連結する各単語ノードに対応する手話ＣＧの動きの接続法として設定変更可能なフィルタ処理を施す最小の処理単位であり、図３に示す例では「スケーリング」や、「線形補間」、モーションブレンド法による「ＬＰＦ（二点中点）」及び「ＬＰＦ（三点平均）」が用意されている。
【００５０】
ノード接続修正機能部２２１、単語ノード修正機能部２２２、及び機能ノード修正機能部２２３の各機能は、それぞれ図３に例示するＧＵＩウィンドウＷＤ上では、ノード種別表示領域ＷＤ２にて提示される各ボタンをマウス操作でカーソルＭＳで押下する動作からの編集機能に対応する。
【００５１】
“単語ノード”ボタン２０２は実装している手話単語を指定可能にする。
“スケーリング”ボタン２０３は機能ノードとしてスケーリング機能を指定可能にする。
“線形補間”ボタン２０４は機能ノードとして線形補間処理機能を指定可能にする。
“ＬＰＦ（二点中点）”ボタン２０５は機能ノードとして二点中点によるローパスフィルタ（ＬＰＦ）処理機能を指定可能にする。
“ＬＰＦ（三点平均）”ボタン２０６は機能ノードとして三点平均によるローパスフィルタ（ＬＰＦ）処理機能を指定可能にする。
【００５２】
マウス操作でカーソルＭＳが示す各ボタン２０２〜２０６の押下により、ＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１に、対応する単語ノード、或いは機能ノードを表示させることができる。各単語ノード、及び機能ノードは、マウス操作で任意に移動させることができ、木構造を構成する接続もＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１上で任意に修正可能である。カーソルＭＳが示す各単語ノード、及び機能ノードの設定は、プロパティ表示領域ＷＤ３にて提示される設定メニューにより変更可能である。
【００５３】
図１に示すノード表示整列機能部２２４は、操作者の操作によりＧＵＩウィンドウＷＤ上で、当該木構造で表現したインターフェース上の各種ノード表示を整列可能する機能部である。
【００５４】
このノード表示整列機能部２２４は、図３に例示するＧＵＩウィンドウＷＤ上では、操作部３２として機能するマウス操作でカーソルＭＳが示す“整列”ボタン２０９を押下する動作に対応する。
【００５５】
図１に示すプレビュー表示機能部２２５は、操作者の操作によりＧＵＩウィンドウＷＤ上で、編集に係る当該木構造で表現したインターフェース上の各種ノード表示をプレビュー表示可能とする機能部である。特に、ノード編集部２２は、自動的に木構造に従って手話単語動きデータ（モーションデータ）を合成して一連の手話ＣＧ映像としてレンダリングする機能を有するため、プレビュー表示機能部２２５は、編集に係る当該木構造で表現したインターフェース上の各種ノード表示をプレビュー表示して再生することができる。
【００５６】
このプレビュー表示機能部２２５は、図３に例示するＧＵＩウィンドウＷＤ上では、操作部３２として機能するマウス操作でカーソルＭＳが示す“再生／停止”ボタン２１０を押下する動作に対応し、編集に係る木構造に基づく手話ＣＧ映像をプレビュー表示領域ＷＤ４にてプレビュー再生を可能とし、シークバー２１２によってプレビュー表示の再生位置を頭出しするなどの指定を可能とする。また、プレビュー表示中の全体フレーム対する現フレームの位置で、プレビュー表示位置欄２１１を提示している。
【００５７】
尚、図示を省略しているが、ノード編集部２２は、表示画面内の指定領域を拡大・縮小表示させる機能を備えるよう構成することができる。例えば、ノード編集領域ＷＤ１内で表示する手話ＣＧに関する木構造をホイール付きマウスのホイール操作により拡大・縮小表示させるよう操作可能とすることができる。
【００５８】
また、ノード編集部２２の機能として、図３に例示するＧＵＩウィンドウＷＤ上では、ファイルメニューを示す“ＦＩＬＥ”ボタン２０６の押下で編集中のデータファイルの保存や読み出し機能を有する。また、ノード編集部２２の機能として、データファイルの入出力や編集に係る操作の履歴は、逐次、ログ表示領域ＷＤ５に表示される。
【００５９】
更に、ノード編集部２２は、プロパティ表示領域ＷＤ３について、マウスのカーソルＭＳの操作で表示指定欄２０７を“レ”点指定すればＧＵＩウィンドウＷＤ上に表示し、当該“レ”点指定を解除すればＧＵＩウィンドウＷＤ上に非表示とする機能を有する。また、ノード編集部２２は、ログ表示領域ＷＤ５について、マウスのカーソルＭＳの操作で表示指定欄２０８を“レ”点指定すればＧＵＩウィンドウＷＤ上に表示し、当該“レ”点指定を解除すればＧＵＩウィンドウＷＤ上に非表示とする機能を有する。
【００６０】
図１に示すデータファイル出力部２３は、操作部３２からの指示を操作制御部２５により受け付け、この操作制御部２５を介する操作部３２からの指示に応じて、ノード編集部２２における編集に係る当該木構造を示すテキストデータや、最終的なＣＧ手話映像のデータファイル（ＣＳＶ形式、ＸＭＬ形式、或いはＢＶＨ形式）を出力する機能部である。
【００６１】
このデータファイル出力部２３は、図３に例示するＧＵＩウィンドウＷＤ上では、ＢＶＨ形式の編集対象のデータファイルを出力する例として、操作部３２として機能するマウス操作でカーソルＭＳが示す“ＢＶＨ出力”ボタン２１３を押下する動作に対応する。尚、出力データファイルの形式は、当該マウスの右クリック操作でメニュー提示して変更可能とするか、又はファイルメニューを示す“ＦＩＬＥ”ボタン２０６の押下で提示されるメニュー内で変更可能とする構成とすることができる。
【００６２】
図１に示す表示制御部２４は、データファイル入力部２１、又はノード編集部２２からの指示に応じて対応するデータを表示器３１に示されるＧＵＩウィンドウＷＤ上に表示するよう制御する機能部である。
【００６３】
操作制御部２５は、操作部３２からの指示を受け付け、データファイル入力部２１、ノード編集部２２、又はデータファイル出力部２３の動作を制御する機能部である。
【００６４】
ＧＵＩ部３は、ＧＵＩを表示可能とする表示器３１と、表示されるＧＵＩ上の各機能を操作を可能とする操作部３２を備える。本例では、マウス操作によりＧＵＩ上の各機能の操作を行う例とする。
【００６５】
記憶部４は、本発明に係るプログラムに基づくアプリケーション２０用のプログラムの他、手話単語動きデータＤＢ４１と、ＣＧキャラクタデータＤＢ４２とを備える。
【００６６】
手話単語動きデータＤＢ４１は、アニメーション用モデルの骨格を階層構造で記述する構造部と動作データを記述するモーション部で構成されるＢＶＨ形式のテキストファイルを、手話単語に応じた数で紐付けして格納するデータベースである。当該モーション部は１行 ＝ アニメーション動画の１フレームに対応し、当該構造部の定義順にアニメーション用モデルの各関節の情報を記述している。そして、当該モーション部は、アニメーション用モデルの各関節を機能ノードとして、その回転角度によって記述している。回転角度はオイラー角、単位はｄｅｇｒｅｅで記述している。
【００６７】
ＣＧキャラクタデータＤＢ４２は、アニメーション用モデルのキャラクタデータとして、その形状データ、マテリアルデータ、テクスチャデータ、ボーン及びスキンウエイトデータからなる規定のテキストデータからなり、手話単語動きデータＤＢ４１における各ＢＶＨ形式のテキストファイルに連動させるよう紐付けられている。
【００６８】
〔装置動作〕
以下、本発明による一実施形態の手話ＣＧ編集装置１の動作について説明する。
【００６９】
まず、図２を参照して、データファイル入力部２１のデータファイルの入力処理例について、より詳細に説明する。図２は、本発明による一実施形態の手話ＣＧ編集装置における編集対象のデータファイルの入力処理に関するフローチャートである。
【００７０】
以下に説明する例では、データファイル入力部２１は、操作部３２からの指示を操作制御部２５により受け付け、この操作部３２からの指示に応じて図示しない外部装置（記録媒体を含む）から編集対象のデータファイルを読み出して入力する例として説明するが、このような編集対象のデータファイルを予め記憶部４に格納しておき、この記憶部４から読み出すことで入力する構成とすることもできる。
【００７１】
図２を参照するに、まず、手話ＣＧ編集装置１は、制御部２の機能によりアプリケーション２０を起動して、表示器３１に本発明に係る図３に示すＧＵＩウィンドウＷＤを表示させる（ステップＳ１）。編集・修正者はＧＵＩウィンドウＷＤの画面上で作業を行う。ここでは、操作部３２からの指示（手動）に応じて制御部２の機能によりアプリケーション２０が起動されている例を説明するが、詳細に後述する手話ＣＧ翻訳装置１０１に本発明に係る手話ＣＧ編集装置１を組み入れた場合には自動的にアプリケーション２０が起動する構成とすることもできる。
【００７２】
データファイル入力部２１は、操作制御部２５を介する操作部３２からの指示に応じて、編集対象のデータファイルを入力する（ステップＳ２）。即ち、図３に示すＧＵＩウィンドウＷＤ上で、操作部３２として機能するマウス操作でカーソルＭＳが示す“ＣＳＶ読込”ボタン２０１が押下されると、操作制御部２５がこの指示を受け付け、図示しない外部装置（記録媒体を含む）から編集対象のデータファイル（本例では、図４に示すＣＳＶ形式）を読み出して提示し、操作者が所望する編集対象のデータファイルを入力する。
【００７３】
本例では、図３に示すＧＵＩウィンドウＷＤ上での指示（手動）に応じて編集対象のデータファイルを入力する例を説明するが、詳細に後述する手話ＣＧ翻訳装置１０１に本発明に係る手話ＣＧ編集装置１を組み入れた場合には、自動的に順次に編集対象のデータファイルを入力する構成とすることもできる。
【００７４】
編集対象のデータファイルとして、例えば図４に示すように、入力データファイルＮｏ．１〜Ｎｏ．５が提示され、操作者がこのいずれかを指定することで、データファイル入力部２１は、編集対象のデータファイルとして入力する。入力された編集対象のデータファイルのファイル名は、ＧＵＩウィンドウＷＤ上のウィンドウ枠２０２に表示される。
【００７５】
図４に示す入力データファイルＮｏ．１〜Ｎｏ．５は、手話単語動きデータＤＢ４１内に格納されている手話単語動きデータにリンクするための識別子（ＩＤ）を、カンマで区切るＣＳＶ形式のテキストファイルで表されている。入力データファイルＮｏ．１〜Ｎｏ．５の各々は、１つの日本語文章に対応する手話文章として構成される。
【００７６】
続いて、データファイル入力部２１は、入力データ解析部２１ａにより、編集対象として入力されたデータファイルを各単語に区分する解析処理を行う（ステップＳ３）。
【００７７】
続いて、データファイル入力部２１は、ノード形式変換部２１ｂにより、入力データ解析部２１ａによって解析し区分した各単語をノード形式に変換する（ステップＳ４）。
【００７８】
続いて、データファイル入力部２１は、ノード接続部２１ｃは、ノード形式変換部２１ｂによってノード形式に変換した各単語について自動連結し、各単語ノードと、各単語ノード同士を連結する接続線によって木構造で表現したインターフェースを形成する（ステップＳ５）。
【００７９】
続いて、データファイル入力部２１は、編集対象のデータファイルについてノードの木構造で表現したインターフェースを表示制御部２４に出力し、表示制御部２４によって表示器３１に提示されているＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１に表示させる（ステップＳ６）。このように、上述した各ステップＳ１〜Ｓ６に関して、アプリケーションの起動後（ステップＳ１）、データファイル入力部２１は、自動又は手動で編集対象のデータファイルを逐次入力すると（ステップＳ２）、自動的にノードの木構造で表現したインターフェースをＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１に表示させる（ステップＳ３〜Ｓ６）。
【００８０】
ここで、図４に例示する各入力データファイルＮｏ．１〜Ｎｏ．５は、カンマで区切られている英数字記号列が、対応するＢＶＨファイルを指定する識別子となり１つの単語ノードを示す。「Ｎ」はうなずく動きを示す特殊記号を示す識別子となり１つの単語ノードを示す。そして、各単語ノードを連結する接続線は、線形補間等の機能ノードを付随しており、該当するＢＶＨファイルにおけるアニメーション用モデルの各関節の回転角度を補間していることを意味する。従って、データファイル入力部２１は、１つのＣＳＶ形成の入力データファイルに対応して、各ノード（ＢＶＨファイル）を連結した１つのＢＶＨファイルを形成するための木構造のインタフェースを形成する。
【００８１】
図３には、ＧＵＩウィンドウＷＤ上で、操作部３２として機能するマウス操作でカーソルＭＳが示す“ＣＳＶ読込”ボタン２０１が押下されることで、ＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１に、１つのＣＳＶ形成の入力データファイルに対応し１つのＢＶＨファイルを形成するための木構造のインターフェースが提示されている例を示している。
【００８２】
この例における木構造について、図５を参照してより詳細に説明する。尚、ＧＵＩウィンドウＷＤ上の“ＣＳＶ読込”ボタン２０１の押下で編集対象のデータファイルを入力せずとも、実装している手話単語を示す“単語ノード”ボタン２０２の押下で編集対象のデータファイルを構築することもできる。
【００８３】
図５に示すように、ＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１に、１つのＢＶＨファイルとして生成可能な木構造として手話ＣＧ用の手話単語列が表現されて提示されている。即ち、個々の手話単語を単語ノードとして接続し、機能ノードでその接続法（喜怒哀楽などの顔表情等を含む）を指定する木構造となっている。
【００８４】
図５では、単語ノードｗｎ１として「今日」、単語ノードｗｎ２として「降水確率」、単語ノードｗｎ３として「２０」、単語ノードｗｎ４として「％」がそれぞれの接続線ｃ１,ｃ２,ｃ３で接続されて提示されている例を示している。各単語ノードｗｎ１〜ｗｎ４は、手話単語動きデータＤＢ４１に格納される手話単語動きデータ（本例では、ＢＶＨ形式のテキストファイルで示されるモーションデータ）が紐づけられている。
【００８５】
そして、図３に示したノード種別表示領域ＷＤ２にて提示されるように、実装している手話単語を追加指定可能とする“単語”ボタン２０２の押下でエディタを開き過去の使用履歴や機械学習により使用可能とする手話単語候補をリスト表示しノード編集領域ＷＤ１に追加指定可能とするか、又は“単語”ボタン２０２の押下でノード編集領域ＷＤ１に単語ノードを仮表示し、プロパティ表示領域ＷＤ３に表示される単語ノードのコード入力で追加指定可能とする。
【００８６】
また、各単語ノード間の連結に伴って、手話ＣＧの軌跡形状を加工する各種フィルタ機能を機能ノードｆ１〜ｆ３で表現している。機能ノードは、各単語ノード間の接続法（喜怒哀楽などの顔表情等を含む）を示している。
【００８７】
そして、図３に示したノード種別表示領域ＷＤ２にて提示されるように、“スケーリング”ボタン２０３、“線形補間”ボタン２０４、“ＬＰＦ（二点中点）”ボタン２０５、及び“ＬＰＦ（三点平均）”ボタン２０６の押下でノード編集領域ＷＤ１に、対応する機能ノードを表示し、プロパティ表示領域ＷＤ３に表示される機能ノードの設定入力で追加指定可能とする。
【００８８】
この機能ノードに係るフィルタ機能は、連結する各単語ノードに対応する手話ＣＧの動きの接続法として、図３に示す例では「スケーリング」や、「線形補間」、モーションブレンド法による「ＬＰＦ（二点中点）」及び「ＬＰＦ（三点平均）」が用意されている例を示しているが、更に別のフィルタ機能を追加する拡張性を持たせ、例えば、インバースキネマティクスによる特許文献１に開示される各種方法で規定することができる。
【００８９】
そして、複数の機能ノードをグループ化して、一括して処理することで、手話ＣＧ映像における手の振りの大きさ、顔表情、口形など、手話を構成する要素の特性を詳細に定義することができる。
【００９０】
「スケーリング」機能はアニメーション用モデルの両肩関節位置の中点を中心として、動きの軌跡を構成する点群の位置座標に任意の倍数を掛け合わせて当該軌跡の大きさを変更可能とする機能である。「線形補間」機能は補間部分を直線的に自動修正する機能である。「ＬＰＦ（二点中点）」機能は指定する２点の単語ノード間を基準にローパスフィルタを施す機能である。「ＬＰＦ（三点平均）」機能は指定する３点の単語ノード間を基準に平均化したローパスフィルタを施す機能である。
【００９１】
例えば、図５において提示される木構造として、機能ノードｆ１が、図３に示すように“スケーリング”であるとすれば、単語ノードｗｎ２の「降水確率」及び単語ノードｗｎ３の「２０」間を指定するリンク表示ｆ１_ａ，ｆ１_ｂで連結させている。この場合、機能ノードｆ１の適用範囲は、単語ノードｗｎ２の「降水確率」の前段の接続線ｃ１から単語ノードｗｎ３の「２０」の後段の接続線ｃ３までのタイミングが適用範囲となる。また、機能ノードｆ２が図３に示すように“線形補間”であるとし、機能ノードｆ３が例えば“ＬＰＦ（二点中点）”であるとしたとき、単語ノードｗｎ４の「％」のみにリンク表示ｆ２／ｆ３_ａで連結させている。この場合、機能ノードｆ２，ｆ３の適用範囲は、単語ノードｗｎ４の「％」の前段の接続線ｃ３から単語ノードｗｎ４の「％」までのタイミングが適用範囲となる。機能ノードｆ２，ｆ３の適用範囲は重複させているためその重複状態が分かるようにアイコンで明示させており、このように重ね合わせた機能ノードはグループ化して、一括して処理することを意味している。
【００９２】
そして、図５に示す木構造は、図３に示したノード編集領域ＷＤ１上で、マウスによるドラッグ＆ドロップ操作によって単語ノードの接続関係又は単語ノード自体を変更することや、機能ノードのリンクの接続状態又は機能ノード自体を変更する編集・修正が可能となっている。
【００９３】
〔編集操作例〕
以下、本発明の理解を高めるために、図６に示す編集手順によって、ノード編集領域ＷＤ１上で、操作者が手話ＣＧに関する木構造を編集・修正し、その編集後のデータファイルを出力するまでの一例の編集操作例を説明する。図６は、本発明による一実施形態の手話ＣＧ編集装置１にて提示するＧＵＩにおける編集・データ出力操作例を示すフローチャートである。尚、本発明は、図６に示す編集手順に限定するものではない点に留意する。
【００９４】
まず、操作者は、ノード編集領域ＷＤ１上で、図３に示すような、単語ノードｗｎ１の「今日」、単語ノードｗｎ２の「降水確率」、単語ノードｗｎ３の「２０」、単語ノードｗｎ４の「％」がそれぞれの接続線ｃ１，ｃ２，ｃ３で接続され、機能ノードｆ１として、 “スケーリング”が、単語ノードｗｎ２の「降水確率」及び単語ノードｗｎ３の「２０」間を指定するリンク表示ｆ１_ａ，ｆ１_ｂで連結され、機能ノードｆ２として “線形補間”、機能ノードｆ３として “ＬＰＦ（二点中点）”が、単語ノードｗｎ４の「％」のみにリンク表示ｆ２／ｆ３_ａで連結されている状態から、その木構造について編集操作を行うものとする。
【００９５】
操作者は、ノード編集領域ＷＤ１上で、単語ノードｗｎ１の「今日」のノード接続を修正するとき（ステップＳ１１）、マウスのカーソルＭＳで接続線ｃ１，ｃ２を指定し、マウス操作（例えば右クリック操作）でその接続を解除することができる（図７参照）。更に、単語ノードｗｎ１の「今日」をマウスでドラッグし、単語ノードｗｎ２の「降水確率」に近接又は重複させてマウスでドロップするドラッグ＆ドロップ操作で、再び接続線ｃ１で単語ノードｗｎ１の「今日」と単語ノードｗｎ２の「降水確率」とを連結させることができる。同様に、マウスのドラッグ＆ドロップ操作で、接続線ｃ２で単語ノードｗｎ２の「降水確率」と単語ノードｗｎ３の「２０」とを連結させることができる。
【００９６】
また、マウスのカーソルＭＳで単語ノードｗｎ１の「今日」を指定すると、強調表示され、その単語ノードｗｎ１に関する設定状態がプロパティ表示領域ＷＤ３に表示される。プロパティ表示領域ＷＤ３には、当該「今日」を指定する単語コード欄と、当該「今日」を表示するタイトル欄の他、単語ノードｗｎ１の手話ＣＧアニメーションのタイミングとして設定変更可能なフレーム数、当該単語ノードに関する開始時刻を示すＩＮ点及び終了時刻を示すＯＵＴ点（手話単語時間）が表示される。このため、操作者は、各単語ノードに関する手話単語の変更や手話単語時間を調整することができる。
【００９７】
一方、操作者は、ノード編集領域ＷＤ１上で、新たな単語ノードｗｎ５を追加修正するとき（ステップＳ１２）、ノード種別表示領域ＷＤ２にて提示される“単語”ボタン２０２の押下でエディタを開き過去の使用履歴や機械学習により使用可能とする手話単語候補をリスト表示しノード編集領域ＷＤ１に追加指定可能とするか、又は“単語”ボタン２０２の押下でノード編集領域ＷＤ１に単語ノードを仮表示し、プロパティ表示領域ＷＤ３に表示される単語ノードのコード入力で、例えば単語ノードｗｎ５の「明日」を指定することができる（図８参照）。マウスのカーソルＭＳで単語ノードｗｎ５の「明日」を指定すると、強調表示され、その単語ノードｗｎ５に関する設定状態がプロパティ表示領域ＷＤ３に表示されるため、操作者は当該語ノードｗｎ５に関して設定変更可能となる。
【００９８】
続いて、操作者は、ノード編集領域ＷＤ１上で、機能ノードｆ１の「スケーリング」の接続を修正するとき（ステップＳ１３）、マウスのカーソルＭＳで接続線ｆ１_ａを指定してマウス操作（例えば右クリック操作）でその接続を解除し、機能ノードｆ１の「スケーリング」をマウスでドラッグし、単語ノードｗｎ１の「今日」に近接又は重複させてマウスでドロップするドラッグ＆ドロップ操作で、機能ノードｆ１の「スケーリング」の接続線ｆ１_ａの接続先を単語ノードｗｎ１の「今日」に変更することができる（図９参照）。
【００９９】
このとき、マウスのカーソルＭＳで機能ノードｆ１の「スケーリング」を指定すると、強調表示され、その機能ノードｆ１に関する設定状態がプロパティ表示領域ＷＤ３に表示される。この場合、プロパティ表示領域ＷＤ３には、「スケーリング」である旨を示す表示欄と、手話ＣＧアニメーションのモデルの原点指定欄、その動きに関するＸＹＺ軸上のオフセット量及びスケール量、その動きに要する遷移フレーム数、当該スケーリングを適用するモデルの右腕及び／又は左腕の指定欄が表示される。このため、操作者は、機能ノードｆ１に関する機能ノードの変更や詳細設定を調整することができる。
【０１００】
また、操作者は、ノード編集領域ＷＤ１上で、各単語ノード及び各機能ノードを任意に配置変更することができ、マウス操作で、上記と同様に機能ノードｆ１の「スケーリング」の接続を解除し、“ＬＰＦ（二点中点）”ボタン２０５の押下でノード編集領域ＷＤ１に表示し、上記と同様にドラッグ＆ドロップ操作で単語ノードｗｎ１の「今日」にはリンク表示ｆ５_ａで、単語ノードｗｎ４の「％」にはリンク表示ｆ５_ｂで機能ノード変更及び接続変更を行うことができる（図１０参照）。“ＬＰＦ（二点中点）”や“ＬＰＦ（三点平均）”の場合のプロパティ表示領域ＷＤ３には、各リンク表示ｆ５_ａ，ｆ５_ｂに係るモーションブレンド法によるブレンド範囲が数値設定で変更可能となっている。
【０１０１】
続いて、操作者は、ノード編集領域ＷＤ１上で、離散表示した各単語ノード及び機能ノードについて整列させたいとき（ステップＳ１４）、カーソルＭＳが示す“整列”ボタン２０９の押下で、ノード編集領域ＷＤ１の各ノードを自動的に整列させることができる（図１１参照）。“整列”ボタン２０９の押下で、ノード表示整列機能部２２４は、ノードを再生順に左から右へ並び替えるよう表示制御部２４に指示し、ノード編集領域ＷＤ１上で各ノードを整列させる。
【０１０２】
続いて、操作者は、強調表示されている編集中の木構造について手話ＣＧ映像に関するプレビュー表示を行いたいとき（ステップＳ１５）、マウス操作でカーソルＭＳが示す“再生／停止”ボタン２１０を押下することで、当該編集に係る木構造について手話ＣＧ映像に関するプレビュー表示を開始させることができる（図１２参照）。ここで、ノード編集部２２は、自動的に木構造に従って手話単語動きデータ（モーションデータ）を合成して一連の手話ＣＧ映像としてレンダリングする機能を有する。従って、ノード編集領域ＷＤ１上で、複数の木構造を提示して編集している場合でも、当該木構造内の任意のノードをカーソルＭＳで指定し強調表示させることで、操作者は、いずれの木構造のプレビュー表示を行うかについて視覚的に認識できる。
【０１０３】
また、操作者は、シークバー２１２を利用して、プレビュー表示の再生位置を頭出しするなどの指定が可能である。更に、プレビュー表示領域ＷＤ４におけるプレビュー再生時には、プレビュー表示機能部２２５の機能により、対応する単語ノードや接続線が色分けするなど他と区別するよう明示して、プレビュー表示の進行に合わせて再生している当該木構造の対応する単語ノード又は接続線を強調表示する。このため、操作者にとって、編集中の木構造についての編集に係る操作性が大幅に向上したものとなっている。
【０１０４】
編集作業の終了で、操作者は、強調表示されている編集中の木構造について手話ＣＧ映像に関するデータファイルを例えばＢＶＨ形式で出力したいとき（ステップＳ１６）、マウス操作でカーソルＭＳが示す“ＢＶＨ出力”ボタン２１３を押下することで、出力先（保存先）を指定するエディタが開かれ、指定の出力先（保存先）へ出力することができる。尚、出力データファイルの形式は、当該マウスの右クリック操作でメニュー提示して変更可能とするか、又はファイルメニューを示す“ＦＩＬＥ”ボタン２０６の押下で提示されるメニュー内で変更可能とする構成とすることができる。
【０１０５】
このとき、データファイル出力部２３は、ノード編集部２２から、強調表示されている編集終了時の木構造について、自動的に手話単語動きデータ（モーションデータ）を合成して一連の手話ＣＧ映像としてレンダリングしたデータを取得してＢＶＨ等の所望される形式で出力する。上述した各ステップＳ１１〜Ｓ１６は、順不同で、且つ選択的に編集操作を行うことができる。
【０１０６】
従って、ノード編集領域ＷＤ１上で、複数の木構造を提示して編集している場合でも、当該木構造内の任意のノードをカーソルＭＳで指定し強調表示させることで、操作者は、いずれの木構造の出力データファイルを形成するかについて容易に視覚的に認識できる。また、操作者は、一拡大又は縮小操作としてホイール付きマウスのホイール操作で、少なくとも各単語ノードの表示をＧＵＩ上で任意に拡大又は縮小表示することができる。
【０１０７】
以上のように、本発明に係る手話ＣＧ編集装置１及びプログラムによれば、より分かりやすく編集・修正を容易とする効果的な態様でＧＵＩが提示されるため、自由度の高い手話修正が可能となり、自然で分かりやすい手話ＣＧを実現できる。特に、翻訳精度が１００％に満たない手話翻訳を簡単な編集により加工・修正することができ、放送番組のような正確性が要求される用途では特に有効なものとなる。
【０１０８】
〔手話ＣＧ翻訳装置〕
図１３は、本発明に係る一実施形態の手話ＣＧ編集装置１を用いて構成した一実施形態の手話ＣＧ翻訳装置１０１の概略構成を示すブロック図である。手話ＣＧ翻訳装置１０１は、上述した本実施形態の手話ＣＧ編集装置１と、データベース（ＤＢ）１０２と、手話翻訳機１０３と、レンダラ１０５とを備える。
【０１０９】
データベース（ＤＢ）１０２には、複数のジョイントからなる骨格構造の情報（骨格構造情報）、並びに、スキン形状及び色等のマテリアル情報のベースモデルが格納されている。
【０１１０】
手話翻訳機１０３は、手話ＣＧとして再生する日本語文章テキストを入力し、日本語文章テキストを、統計翻訳及び用例翻訳等の手法を用いて、手話単語を羅列させた複数の手話単語に変換（翻訳）し、例えば図４に例示するＣＳＶ形式の入力データファイルＮｏ．１〜Ｎｏ．５を順次、手話ＣＧ編集装置１に出力する。
【０１１１】
手話ＣＧ編集装置１は、手話翻訳機１０３から入力データファイルからの入力があると、入力データファイル毎に一時記憶し、図３に例示するＧＵＩウィンドウＷＤを提示するアプリケーション２０を自動的に起動し、操作者が編集可能な状態にする。
【０１１２】
操作者が編集終了の時点で、マウス操作でカーソルＭＳが示す“ＢＶＨ出力”ボタン２１３を押下することで、ノード編集部２２から、強調表示されている編集終了時の木構造についての手話単語動きデータ（モーションデータ）を合成して一連の手話ＣＧ映像としてレンダリングしたデータを取得してＢＶＨファイルを形成し、出力先としてレンダラ１０５を指定して出力する。この時、操作者、別の入力データファイルについての編集作業を継続して行うことができる。
【０１１３】
レンダラ１０５は、手話ＣＧ編集装置１からＢＶＨファイルを入力すると共に、データベース（ＤＢ）１０２から骨格構造情報等のベースモデルの情報を読み出し、これらを統合することで、日本語文章テキストに対応する多関節骨格モデルの動きを表しＣＧキャラクタとして画面表示な制御データとして手話の動きのＣＧデータを生成し、外部に出力する。
【０１１４】
このように、本発明に係る一実施形態の手話ＣＧ編集装置１を、手話ＣＧ翻訳装置１０１内に組み入れることで、効率の良い手話ＣＧ翻訳に係る編集が可能となる。
【０１１５】
本発明に係る手話ＣＧ編集装置及びプログラムは、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。
【産業上の利用可能性】
【０１１６】
本発明によれば、手話ＣＧの編集作業に関してより分かりやすく編集・修正を容易とする効果的な態様でＧＵＩが提示されるため、手話ＣＧの編集用途に有用である。
【符号の説明】
【０１１７】
１  手話ＣＧ編集装置
２  制御部
３  ＧＵＩ部
４  記憶部
２１  データファイル入力部
２２  ノード編集部
２３  データファイル出力部
２４  表示制御部
２５  操作制御部
２６  出力データファイル生成制御部
３１  表示器
３２  操作部
４１  手話単語動きデータＤＢ
４２  ＣＧキャラクタデータＤＢ
１０２  データベース（ＤＢ）
１０３  手話翻訳機
１０５  レンダラ
２０１  “ＣＳＶ読込”ボタン
２０２  “単語”ボタン
２０３  “スケーリング”ボタン
２０４  “線形補間”ボタン
２０５  “ＬＰＦ（二点中点）”ボタン
２０６  “ＬＰＦ（三点平均）”ボタン
２０７，２０８  表示指定欄
２０９  “整列”ボタン
２１０  “再生／停止”ボタン
２１１  プレビュー表示位置欄
２１２  シークバー
２１３  “ＢＶＨ出力”ボタン
２１ａ  入力データ解析部
２１ｂ  ノード形式変換部
２１ｃ  ノード接続部
２２１  ノード接続修正機能部
２２２  単語ノード修正機能部
２２３  機能ノード修正機能部
２２４  ノード表示整列機能部
２２５  プレビュー表示機能部
ＷＤ  ＧＵＩウィンドウ
ＷＤ１  ノード編集領域
ＷＤ２  ノード種別表示領域
ＷＤ３  プロパティ表示領域
ＷＤ４  プレビュー表示領域
ＷＤ５  ログ表示領域
【図１】
2018128543.tif 000003
【図２】
2018128543.tif 000004
【図３】
2018128543.tif 000005
【図４】
2018128543.tif 000006
【図５】
2018128543.tif 000007
【図６】
2018128543.tif 000008
【図７】
2018128543.tif 000009
【図８】
2018128543.tif 000010
【図９】
2018128543.tif 000011
【図１０】
2018128543.tif 000012
【図１１】
2018128543.tif 000013
【図１２】
2018128543.tif 000014
【図１３】
2018128543.tif 000015
【図１４】
2018128543.tif 000016