(57)【特許請求の範囲】
【請求項１】
特定情報に応じた身体の動作を表した動作映像を複数連結して連続動作映像を作成する映像作成装置であって、
上記身体の各部分ごとの動作がそれぞれ含まれている動作映像を個別に格納する動作映像格納手段と、
上記各動作映像の情報に、当該動作映像の読み出し情報と、当該動作映像内に表示されている１または複数の連結基準情報とを対応付けて格納する連結基準情報格納手段と、
時間的順序のある複数の入力情報に基づいて上記連結基準情報格納手段から対応する上記動作映像の読み出し情報を検索し、その読み出し情報に基づいて上記動作映像格納手段から上記動作映像を取り出す動作映像取得手段と、
当該動作映像取得手段で取り出した複数の上記各身体部分の動作映像を連結し、連結した各身体部分の動作映像を重畳して身体の動作映像を作成する映像作成手段と、
特定人物の動作映像を分解して得た複数の処理フレームの画像情報を用いて、認識、分割し、各身体部分ごとの身体領域フレームとし、それらを時間情報と共に蓄積して各身体部分ごとの身体領域ファイルとする映像分割手段と、
上記各身体部分の動作映像の特徴を認識して連結基準情報を生成する連結基準情報手段と、
あらかじめ用意された情報辞書に基づいて、動作映像が表す１または複数の情報を認識する情報認識手段と、
当該情報認識手段が認識した各認識情報の動作映像を身体部分情報から分割し、その分割動作映像および、上記認識情報に対応する連結基準情報を上記動作映像格納手段および、上記連結基準情報格納手段に登録する登録手段とを備え、
上記映像分割手段が、上記連結基準情報と上記時間情報からなる時系列データを単語に相当する部分ごとに区切り、区切った時系列データの時間情報を用いて上記各身体部分ごとの身体領域ファイルを上記単語ごとに分割し、
上記登録手段が、上記単語ごとに分割した身体領域ファイルを上記動作映像格納手段に登録し、上記単語ごとに分割した上記連結基準情報を上記連結基準情報格納手段に登録することを特徴とする映像作成装置。
【請求項２】
上記連結基準情報は、各動作映像の合成、連結に必要なメタデータであることを特徴とする請求項１に記載の映像作成装置。
【請求項３】
上記動作映像取得手段が取得した時間的に前後する複数の上記動作映像に基づいて、各身体部分の動作映像ごとに中間動作映像を作成し、上記映像作成手段に引き渡す合成手段を備えることを特徴とする請求項１または２に記載の映像作成装置。
【請求項４】
上記動作映像が、ある単語の意味を表現する手話映像であり、
上記連結基準情報は、手話をする人の手の位置、手のむき、手の形を含むメタデータであることを特徴とする請求項１ないし３のいずれか１項に記載の映像作成装置。
【請求項５】
上記映像作成手段は、作成された映像を表示する表示部を備えたことを特徴とする請求項１ないし４のいずれか１項に記載の映像作成装置。
【請求項６】
映像作成装置で、特定情報に応じた身体の動作を表した動作映像を複数連結して連続動作映像を作成する映像作成方法であって、
動作映像格納手段で、上記身体の各部分ごとの動作がそれぞれ含まれている動作映像を個別に格納する動作映像格納工程と、
連結基準情報格納手段で、上記各動作映像の情報に、当該動作映像の読み出し情報と、当該動作映像内に表示されている１または複数の連結基準情報とを対応付けて格納する連結基準情報格納工程と、
動作映像取得手段で、時間的順序のある複数の入力情報に基づいて上記連結基準情報格納手段から対応する上記動作映像の読み出し情報を検索し、その読み出し情報に基づいて上記動作映像格納手段から上記動作映像を取り出す動作映像取得工程と、
当該動作映像取得工程で取り出した複数の上記各身体部分の動作映像を映像作成手段で連結し、連結した各身体部分の動作映像を重畳して身体の動作映像を作成する映像作成工程と、
映像分割手段で、特定人物の動作映像を分解して得た複数の処理フレームの画像情報を用いて、認識、分割し、各身体部分ごとの身体領域フレームとし、それらを時間情報と共に蓄積して各身体部分ごとの身体領域ファイルとする映像分割工程と、
連結基準情報手段で、上記各身体部分の動作映像の特徴を認識して連結基準情報を生成する連結基準情報工程と、
情報認識手段で、あらかじめ用意された情報辞書に基づいて、動作映像が表す１または複数の情報を認識する情報認識工程と、
当該情報認識工程で認識した各認識情報の動作映像を身体部分情報から分割し、その分割動作映像および、上記認識情報に対応する連結基準情報を登録手段で上記動作映像格納工程および、上記連結基準情報格納工程で用いるために登録する登録工程とを備え、
上記映像分割工程において上記映像分割手段が、上記連結基準情報と上記時間情報からなる時系列データを単語に相当する部分ごとに区切り、区切った時系列データの時間情報を用いて上記各身体部分ごとの身体領域ファイルを上記単語ごとに分割し、
上記登録工程において上記登録手段が、上記単語ごとに分割した身体領域ファイルを上記動作映像格納手段に登録し、上記単語ごとに分割した上記連結基準情報を上記連結基準情報格納手段に登録することを特徴とする映像作成方法。
【請求項７】
上記連結基準情報は、各動作映像の合成、連結に必要なメタデータであることを特徴とする請求項６に記載の映像作成方法。
【請求項８】
上記動作映像取得工程で取得した時間的に前後する複数の上記動作映像に基づいて、上記映像作成工程で各身体部分の動作映像を連結する際に中間に挿入する中間動作映像を、各身体部分の動作映像ごとに作成する合成工程を備えることを特徴とする請求項６または７に記載の映像作成方法。
【請求項９】
上記動作映像が、ある単語の意味を表現する手話映像であり、
上記連結基準情報は、手話をする人の手の位置、手のむき、手の形を含むメタデータであることを特徴とする請求項６ないし８のいずれか１項に記載の映像作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
意味を持った人物の動作の映像を含んだ動作映像を作成する映像作成装置及び映像作成方法に関し、特に手話などの、語や文章、記号等に対応付けることができる人物の動作の映像を含んだ動作映像であって、複数連結し、また一部を合成して連続する動作映像を作成する映像作成装置及び映像作成方法に関するものである。
【背景技術】
【０００２】
動きのある人物映像を合成する場合、一連の動作を行なっている映像を収録し、それらの映像フレームの人物の画像をＣＧ映像の各映像フレームに合成することで、動きのある人物の実写映像をＣＧ映像上に合成していた。しかしながら、単一動作映像を連結して合成し、連続動作映像を生成する場合、人物の位置や形状にずれが生じるため、不自然な動作映像になってしまう。これを解消するために、人物の一連の動作を収録した映像を用いてＣＧ映像上に合成を行なっていたが、この場合、ＣＧ映像上で上記連続動作映像を別の場面で再利用することができなかった。
【０００３】
これを解消するために特許文献１の発明が提案されている。この発明は、写実性の高い映像コンテンツを動的に作成するために、例えば、実際の人物の動きを撮影した実写の映像ファイルを複数用意しておき、それらから必要に応じて中間の映像部分を合成した後、連結するものである。
【特許文献１】特開２００３−６９９００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記映像ファイルを単純に合成すると、顔と手など人物の体の各部分が重なることなどによって生じる映像のゆがみなどが目立ち、かえって不自然な印象を与えるという問題がある。
【０００５】
また、合成に使われる映像で動作している人物がすべて同一人物である必要があり、映像の撮影の際に個人の負担が大きくなるという問題がある。
【課題を解決するための手段】
【０００６】
本発明は、上記問題点に鑑みてなされたもので、映像中の人物の身体各部分の動作映像をそれぞれ別個のデータとして保持、利用することにより、合成の際に混入するノイズの低減などを行い、品質の高い連続映像を作成しようとするものである。即ち、撮影されている人物の右手領域の映像、左手領域の映像、顔領域の映像など身体の各部分の動作だけを格納した映像を個別の映像ファイルとして単語毎に分割して、動作映像格納手段に登録し、単語毎に分割したメタデータを連結情報格納手段に登録して利用する。さらに、各動作の中間映像を合成する際に、各身体領域の中問画像を合成した後、最終的な人物の動作として各映像を重ねた合成画像を作成することにより、身体領域の重なりによる合成のゆがみや合成の際に混入するノイズを低減し、高品質な手話映像を作成しようとするものである。
【０００７】
また、手領域や顔領域等の身体の各部分を分割してデータを保持するため、特定人の手領域等の部分データを他人の顔領域等の部分データと組み合わせて利用できるようにし、使用できる映像の範囲を拡大しようとするものである。
【０００８】
このために本発明の映像作成装置は、特定情報に応じた身体の動作を表した動作映像を複数連結して連続動作映像を作成する映像作成装置であって、上記身体の各部分ごとの動作がそれぞれ含まれている動作映像を個別に格納する動作映像格納手段と、上記各動作映像の情報に、当該動作映像の読み出し情報と、当該動作映像内に表示されている１または複数の連結基準情報とを対応付けて格納する連結基準情報格納手段と、時間的順序のある複数の入力情報に基づいて上記連結基準情報格納手段から対応する上記動作映像の読み出し情報を検索し、その読み出し情報に基づいて上記動作映像格納手段から上記動作映像を取り出す動作映像取得手段と、当該動作映像取得手段で取り出した複数の上記各身体部分の動作映像を連結し、連結した各身体部分の動作映像を重畳して身体の動作映像を作成する映像作成手段と、特定人物の動作映像を分解して得た複数の処理フレームの画像情報を用いて、認識、分割し、各身体部分ごとの身体領域フレームとし、それらを時間情報と共に蓄積して各身体部分ごとの身体領域ファイルとする映像分割手段と、上記各身体部分の動作映像の特徴を認識して連結基準情報を生成する連結基準情報手段と、あらかじめ用意された情報辞書に基づいて、動作映像が表す１または複数の情報を認識する情報認識手段と、当該情報認識手段が認識した各認識情報の動作映像を身体部分情報から分割し、その分割動作映像および、上記認識情報に対応する連結基準情報を上記動作映像格納手段および、上記連結基準情報格納手段に登録する登録手段とを備え、上記映像分割手段が、上記連結基準情報と上記時間情報からなる時系列データを単語に相当する部分ごとに区切り、区切った時系列データの時間情報を用いて上記各身体部分ごとの身体領域ファイルを上記単語ごとに分割し、上記登録手段が、上記単語ごとに分割した身体領域ファイルを上記動作映像格納手段に登録し、上記単語ごとに分割した上記連結基準情報を上記連結基準情報格納手段に登録することを特徴とする。
【００１０】
さらに、本発明の映像作成方法は、映像作成装置で、特定情報に応じた身体の動作を表した動作映像を複数連結して連続動作映像を作成する映像作成方法であって、動作映像格納手段で、上記身体の各部分ごとの動作がそれぞれ含まれている動作映像を個別に格納する動作映像格納工程と、連結基準情報格納手段で、上記各動作映像の情報に、当該動作映像の読み出し情報と、当該動作映像内に表示されている１または複数の連結基準情報とを対応付けて格納する連結基準情報格納工程と、動作映像取得手段で、時間的順序のある複数の入力情報に基づいて上記連結基準情報格納手段から対応する上記動作映像の読み出し情報を検索し、その読み出し情報に基づいて上記動作映像格納手段から上記動作映像を取り出す動作映像取得工程と、当該動作映像取得工程で取り出した複数の上記各身体部分の動作映像を映像作成手段で連結し、連結した各身体部分の動作映像を重畳して身体の動作映像を作成する映像作成工程と、映像分割手段で、特定人物の動作映像を分解して得た複数の処理フレームの画像情報を用いて、認識、分割し、各身体部分ごとの身体領域フレームとし、それらを時間情報と共に蓄積して各身体部分ごとの身体領域ファイルとする映像分割工程と、連結基準情報手段で、上記各身体部分の動作映像の特徴を認識して連結基準情報を生成する連結基準情報工程と、情報認識手段で、あらかじめ用意された情報辞書に基づいて、動作映像が表す１または複数の情報を認識する情報認識工程と、当該情報認識工程で認識した各認識情報の動作映像を身体部分情報から分割し、その分割動作映像および、上記認識情報に対応する連結基準情報を登録手段で上記動作映像格納工程および、上記連結基準情報格納工程で用いるために登録する登録工程とを備え、上記映像分割工程において上記映像分割手段が、上記連結基準情報と上記時間情報からなる時系列データを単語に相当する部分ごとに区切り、区切った時系列データの時間情報を用いて上記各身体部分ごとの身体領域ファイルを上記単語ごとに分割し、上記登録工程において上記登録手段が、上記単語ごとに分割した身体領域ファイルを上記動作映像格納手段に登録し、上記単語ごとに分割した上記連結基準情報を上記連結基準情報格納手段に登録することを特徴とする。
【発明の効果】
【００１２】
映像合成を行う際に、身体部分の重なりが原因で生じるゆがみを解消でき、より自然な形での映像合成が可能となるという効果が得られる。
【００１３】
また、手領域と顔領域の映像等のように身体の各部分の映像が別の人物のものであっても合成して使用できるため、使用可能な映像の範囲が広がるという効果が得られる。
【００１４】
さらに、システムに映像分割部を追加することで、作業者が映像の分割作業を行う必要がなくなるため、作業者は、システムに単語と映像ファイルを簡便に追加することが可能となる。
【発明を実施するための最良の形態】
【００１５】
次に、本発明の実施形態について添付図面を基に説明する。
【００１６】
［第１実施形態］
まず、本発明の第１実施形態について説明する。本実施形態では、手話を例に説明する。具体的には、入力文章の意味を表現する手話を、連続映像として表示する映像表示装置に本発明を適用した例を、図面を参照して説明する。
【００１７】
図１は実施形態に係る映像表示装置のシステム構成図である。図１に示すように、映像表示装置は、入力部１０、形態素解析部１１、翻訳部１２、データ選択部１３、単語辞書１４、選択映像ファイル１５、表示部１６、合成部１７及び映像ファイル群１８を備えて構成されている。
【００１８】
入力部１０は、ユーザが映像表示を希望する意味の文章（本実施形態では日本語とする）を取り込み、取り込んだ文章を形態素解析部１１に与えるものである。入力部１０の機能を実現する例として、たとえばキーボードによる文字入力受付、マイクからの入力音声をテキスト変換した、音声テキスト入力受付、またはアンテナが捕捉した放送電波によるデータストリームの入力受付などの多様な入力形態が可能である。即ち、ユーザが映像表示を希望する文章の内容を入力できるすべての手段（ボタン等の操作、音声、電波等を用いた入力手段）を用いることができる。
【００１９】
形態素解析部１１は、入力部１０から入力文章を受け取り、その入力文章に対して形態素解析を行い、入力文を形態素に分解し、図示しない辞書を用いて形態素に品詞を割り当てる一連の処理を行う部分である。また、形態素解析部１１は、解析した単語を翻訳部１２に与える。
【００２０】
翻訳部１２は、形態素解析部１１により解析された単語を受け取り、単語の情報、単語の品詞情報に従って、単語の語順の変更や不要単語の除去や必要な語の追加などの処理を行う部分である。また、翻訳部１２は、処理結果をデータ選択部１３に与える。
【００２１】
データ選択部１３は、翻訳部１２から処理結果（調整された単語）を受け取り、その単語の意味を表現するために必要となる映像ファイルを検索する部分である。データ選択部１３は、翻訳部１２から、調整された単語を受け取ると、単語辞書１４の中からその単語に対応付けられている読み出し情報（例えば、後述する映像ファイル名、映像内のメタデータ、動作継続時間など）を取り出し、映像ファイル名やメタデータ等を検索キーとして、映像ファイル群１８からその単語の意味を表現するために必要となる映像ファイルを検索する。また、データ選択部１３は、検索した映像ファイルを選択映像ファイル１５に蓄積する。
【００２２】
また、データ選択部１３は、入力単語が単語辞書１４に登録されていない場合、その単語の音を手話で表現した指文字を示す映像を単語辞書１４から検索して、選択映像ファイル１５に与える。
【００２３】
このデータ選択部１３で、時間的順序のある複数の入力情報に基づいて単語辞書１４から対応する上記動作映像の読み出し情報を検索し、その読み出し情報に基づいて映像ファイル群１８から上記動作映像を取り出す動作映像取得手段が構成されている。
【００２４】
ここで、図２を参照して映像ファイルについて説明する。
【００２５】
映像ファイルとは、映像を単語の意味を表現する部分で区切って名前をつけたものである。即ち、映像ファイルとは、たとえば映る部分以外を撮影時の背景と同じ色とするなどの処理により、顔だけが映る状態、右手だけが映る状態、左手だけが映る状態として、手話を行っている人物を撮影し、その撮影した映像を、各単語の意味を表現する部分で区切り、区切った部分にそれぞれ名前をつけたものである。これらの映像ファイルを、それぞれ顔映像ファイル、左手映像ファイル、右手映像ファイルと呼ぶ。
【００２６】
上記映像ファイルは、複数枚の静止画像を連続的にならべたものとして構成されており、その静止画像の一枚一枚をフレームという。図２中の２１、２２、２３はそれぞれ、顔映像ファイル、左手映像ファイル、右手映像ファイルのフレームの例を示したものである。また、２４はこれら顔映像ファイル、右手映像ファイル、左手映像ファイルの各フレームがそろった人物の映像として表示した例を示したものである。
【００２７】
図１中の顔映像ファイル群１８Ｆ、右手映像ファイル群１８Ｒ、左手映像ファイル群１８Ｌは、それぞれの名前の領域だけが映っている複数の映像ファイルの集合体である。さらに、顔映像ファイル群１８Ｆ、右手映像ファイル群１８Ｒ、左手映像ファイル群１８Ｌは、最終的に表示部１６に表示されて連続映像を構成する要素となる複数の映像ファイルの集合体であって、表現すべき日本語の各単語と日本語の音を手話で表現するための動作である指文字動作に対応する動作が撮影された映像を含んでいる複数の映像ファイルの集合体である。これらを総称して映像ファイル群１８と呼ぶ。この映像ファイル群１８で、上記身体の各部分ごとの動作がそれぞれ含まれている動作映像を個別に格納する動作映像格納手段が構成されている。
【００２８】
単語辞書１４は、各単語に、その単語の意味を表現する映像を含んでいる映像ファイルの映像ファイル名、映像ファイル中の動作継続時間、映像内のメタデータなどが対応付けられて記憶されている記憶領域である。なお、単語辞書１４は、その内容を、新規登録、追加、削除することが可能である。この単語辞書１４で、上記各動作映像の情報に、当該動作映像の読み出し情報と、当該動作映像内に表示されている１または複数の連結基準情報とを対応付けて格納する連結基準情報格納手段が構成されている。
【表１】
0004548313.tif 000002
【００２９】
表１に本実施形態の単語辞書１４の構成例を示す。この表１に示すように、単語名は、登録されている単語の名前を示す。読みは、その単語の読みを示す。品詞は、その単語の品詞名を示す。ファイル名はその単語を表している映像ファイルの名前を示す。顔、左手、右手の三つの映像ファイルの名前が存在する。作成日時は、映像ファイルが作成され、単語辞書にデータが登録された日時を表す。継続時間は、映像ファイル中の動作の継続時間を示しており、単位は秒である。
【００３０】
表１においてメタデータは、映像ファイルの内容の中から映像の合成、連結に必要なデータを抜き出したものである。メタデータの構成は映像ファイルの内容、出力すべき映像の内容によって異なる構成とすることが可能である。本実施形態では、出力映像を手話とするため、単語辞書１４は、入力された単語の意味を表す三種類の手話映像の各フレーム中での人物の視線の向き、口の形、人物の手の位置、手の形、手の向き、速度ベクトルなどをメタデータとして保持している。
【００３１】
表１において始動点とは、映像ファイルの先頭フレームのメタデータ、終了点とは映像ファイルの最終フレームのメタデータをそれぞれ示す。それ以外のフレームのメタデータも先頭、最終フレームのメタデータと同様の構造を有している。
【００３２】
次に、表１のメタデータ中の各項目について図３を参照して説明する。表１中の手の位置とは、映像中に現れる人物の手の領域の重心位置を、映像中での二次元座標で表したものである。なお、表１には示していないが、手の位置を時間で微分した動作速度ベクトルを用いても良い。
【００３３】
図３に、実際に表示される画面の例を示す。画面の垂直方向がｙ軸、水平方向がｘ軸である。ｙ軸とｘ軸の交点を基準点（０，０）とする。この場合、当該フレーム中の右手の位置を座標（ｘ，ｙ）、左手の位置を（ｘ０，ｙ０）とすることができる。
【００３４】
表１中の手の形とは、人物が手の指をのばしている、曲げているなどの指の形を示す。通常、手話においては約８０種類程度の手の形が区別されているから、本実施形態では区別される手の形を表す記号を取り決め、その記号を用いる。図１６に手の形と対応する記号の例を一部示す。
【００３５】
表１中の手の向きとは、手の向いている方向と、手のひらが向いている方向とを組み合わせて表したものである。ここでいう手の向いている方向とは、人物の肘から手首まで引いた直線が向いている方向である。通常手話においては手の向いている方向は２０〜２８種類程度、手のひらの向きは６〜８種類程度が区別されているから、向きの種類をそれぞれ記号で表現し、表中にはそれらの記号の組み合わせが記されている。
【００３６】
図４、図５、図６に手の向いている方向と記号の対応付け、図７に手のひらの向きと記号の対応付けの例の一部をそれぞれ示す。
【００３７】
図４は人物を真正面から見た平面、いわゆる前頭面上での方向を示す。例えば図４での人物の右手の指している方向をａ８と表す。図４中のｘ軸，ｙ軸は図３で説明したものと同様の軸である。
【００３８】
図５は人物を側面から見た平面、いわゆる矢状面上での６方向を示す。図５での人物の右手の指している方向をａ１０と表す。図５中のｚ軸とは、図４のｘ軸，ｙ軸に垂直な軸で、人物の体から顔の向いている方向に向かっている軸である。
【００３９】
図６は人物を真上から見おろした平面、いわゆる水平面上での４方向を示す。図６での人物の右手の指している方向をａ１６と表す。図６中の各軸は図４、５のものと同様である。
【００４０】
図７の軸ｖはこれまでに説明した手の向いている方向を示す軸である。細い矢印は、軸ｖに対して垂直な平面上に配置されている矢印であって、手のひらの向いている方向を示す。図７での手のひらが向いている方向をａＧと表す。
【００４１】
表１中の視線の方向とは、人物が見ている方向を示したものである。図１４に視線の方向と座標系の対応付けを表す。方向の表現の方法は、図４、５、６と同様である。図１４中の各軸は図４、５、６と同様である。図中の人物の視線の方向はａ１０と表す。
【００４２】
表１中の口の形とは、人物の口の形を示したものである。手話においては母音などが音の手がかりとして用いられることが多いため、口のあらわしている母音などを記号として用いる。図１５に口の形と記号との対応付けの例を示す。
【００４３】
本実施例では手話の映像を表示するために、メタデータは以上のような構成となっているが、映像の表現する内容の情報や映像周波数の情報やカラーヒストグラムなど映像自体の持つ情報の一部をメタデータとして用いる構成としてもよい。
【００４４】
図１中の顔の選択映像ファイル１５Ｆ、左手の選択映像ファイル１５Ｌ、右手の選択映像ファイル１５Ｒは、データ選択部１３が検索した単語ごとに、図２で説明したような、映っている領域ごとの映像ファイルを受け取り、これらの映像ファイルを各領域ごとに保持する記憶領域である。これらを総称して選択映像ファイル１５と呼ぶ。
【００４５】
合成部１７は、蓄積された選択映像ファイル１５中の顔の選択映像ファイル１５Ｆ、左手の選択映像ファイル１５Ｌ、右手の選択映像ファイル１５Ｒについてそれぞれ、前後する二つの映像ファイルを抜き出し、二つの映像ファイルの中間の映像ファイルを合成する処理を行うものである。この合成部１７で、データ選択部１３で取り出した複数の上記各身体部分の動作映像を連結し、連結した各身体部分の動作映像を重畳して身体の動作映像を作成する映像作成手段と、データ選択部１３が取得した時間的に前後する複数の上記動作映像に基づいて、各身体部分の動作映像ごとに中間動作映像を作成し、上記映像作成手段に引き渡す合成手段を構成している。
【００４６】
表示部１６は、複数ある選択映像ファイル１５（Ｆ、Ｌ、Ｒ）を適宜重ねて、連続して表示する処理を行う機能部である。
【００４７】
[映像作成方法]
次に、上記構成の映像表示装置を用いた映像作成方法について図面を参照して説明する。図８は本実施形態の映像表示装置による映像作成動作のフローチャートである。
【００４８】
［１．入力］
図８において、まずユーザが手話映像で表現する文章を入力部１０に入力する（ｓ８０、ｓ８１、ｓ８２）。このうちｓ８０では、ユーザは例えばキーボードなどの文章入力手段によって、手話の映像で表示したい意味の文章を入力する。また、音声入力などで文章を入力する場合もある。この場合は、音声入力などで文章を入力した後（ｓ８１）、音声テキスト変換をすることにより（ｓ８２）、入力された音声を文章に変換し、次のステップヘの入力とする。
【００４９】
［２．単語への割り当て］
形態素解析部１１は入力された文章を形態素解析して、形態素に分解する（ｓ８３）。次いで、分解された各形態素に、図示しない一般的な日本語の辞書を用いて、品詞を割当てる（ｓ８４）。ここで品詞を割当てられた形態素を、以下では単語と呼ぶ。この単語が翻訳部１２に与えられる。
【００５０】
［３．構文解析と順序変更］
翻訳部１２は、単語に分割された文章を構文解析し（ｓ８５）、既存の研究と同様に単語間の状態遷移として表現されている文法に従った並び順に、順序を変更する（ｓ８６）。
【００５１】
［４．選択映像ファイルの作成］
［４−１ファイルの検索］
データ選択部１３は単語を１つ読み出し、単語の名前と割り当てられた品詞をキーとして単語辞書１４を検索し、登録されている単語があるかどうかを調べる（ｓ８７）。
【００５２】
単語が登録されていない場合は、その単語の音を手話で表現する指文字を撮影した映像ファイルを検索する指文字ファイル検索処理を行う（ｓ８８）。
【００５３】
［４−１−１指文字検索処理］
指文字ファイル検索処理（ｓ８８）の詳細を、図９を参照して説明する。
【００５４】
まず、指文字で表現する入力単語の音が文字単位に分解され（ｓｂ８８１）、単語を構成する文字が一つずつ読み出される（ｓｂ８８２）。次いで、各文字に相当する指文字動作を表しているファイルの名前を単語辞書１４から検索して読み出し（ｓｂ８８３）、そのファイル名を指文字用データに蓄積する（ｓｂ８８４）。次いで、ファイル名の蓄積がすべての文字について完了したか否かを判断する（ｓｂ８８５）。これにより、すべての文字についてｓｂ８８２〜ｓｂ８８４の処理が終了するまで繰り返され、最終的に指文字用データを用いて呼び出すファイル名を決定する。（ｓｂ８８６）。
【００５５】
次いで、ファイルを映像ファイル群１８から読み出し（ｓｂ８８７）、読み出した映像ファイルを選択映像ファイル１５に追加する（ｓ８１３）。
【００５６】
図８に戻り、ｓ８７で、登録されている単語があると判断した場合は、さらに、入力単語が複数あるか否かを判断する（ｓ８９）。該当する件数が一件である場合にはｓ８１２に進み、検索結果のファイル名の項目を利用して、映像ファイル群１８から各領域のファイルを読み出し（ｓ８１２）、選択映像ファイル１５Ｆ、１５Ｒ、１５Ｌを領域ごとに追加する（ｓ８１３）。
【００５７】
［４−２登録が複数ある場合の選択］
一方、ｓ８９で、該当する件数が複数あると判断した場合には、単語辞書中のメタデータを参照して（ｓ８１０）、複数の候補の中から読み出すファイルを決定する（ｓ８１１）。具体的には、データ選択部１３はｓ８１０で一つ前の単語を表すファイルのメタデータを参照する。メタデータが参照できた場合の具体的な例として、表１のデータを例として処理を説明する。
【００５８】
一つ前の単語が”明日”で”０１Ｆ．ａｖｉ”、”０１Ｌ．ａｖｉ”、”０１Ｒ．ａｖｉ”がその単語の動作を表す映像ファイルとしてそれぞれ選択され、現在の単語が”会う”である場合を考える。
【００５９】
表１のように”会う”を表す右手の映像ファイルの候補は複数あるため、どのファイルを使用するか、ファイルを選択する必要が生じる。まず、前の単語である”明日”を現すファイル”０１Ｆ．ａｖｉ”、”０１Ｌ．ａｖｉ”、”０１Ｒ．ａｖｉ”のメタデータのうち終了時の右手の位置と左手の位置の座標を得る（ｓｂ８１０）。
【００６０】
そして”会う”を表す複数候補のファイルのメタデータから始動時の右手の位置と左手の位置の座標を得る。
【００６１】
ここで、終了時の手の位置と各始動時の手の位置のユークリッド距離の左右の和をそれぞれ求め、その値がもっとも小さいファイルを選択ファイルとして決定する（ｓ８１１）。
【００６２】
この例の場合
”０４Ｆ．ａｖｉ”、”０４Ｒ．ａｖｉ”、”０４Ｌ．ａｖｉ”の場合には左右の手のユークリッド距離の和は、右手で
（（５０−５０）∧２＋（５０−６０）∧２）∧（１／２）＝１０
左手で
（（１００−８０）∧２＋（９０−６０）∧２）∧（１／２）＝３６．０６．．
ここで記号∧はべき乗を表す。
【００６３】
左右の和は
４６．０６
となる。
【００６４】
”０２Ｆ．ａｖｉ”、”０２Ｒ．ａｖｉ”、”０２Ｌ．ａｖｉ”の場合には、右手で
（（５０−１００）∧２＋（５０−６０）∧）∧（１／２）＝５０．９９
左手で
（（１００−１３０）∧２＋（９０−６０）∧２）∧（１／２）＝５８．３１．．
左右の和は
１０９．３０
となるため、
”０４Ｆ．ａｖｉ”、”０４Ｌ．ａｖｉ”、”０４Ｒ．ａｖｉ”
が選択される。
【００６５】
ファイルがメタデータを参照できない場合には更新日時の新しいデータを、ｓ８１１の出力結果とする。
【００６６】
この実施形態では、右手、左手の情報を基準として用いたが、構成によっては視線の方向や口の形の類似度を基準として用いることも可能である。
【００６７】
以降、データ選択部１３は、選択された映像ファイルを映像ファイル群１８から読み出し（ｓ８１２）、その読み出した各映像ファイルを選択映像ファイル１５（Ｆ、Ｒ、Ｌ）に追加する。（ｓ８１３）。
【００６８】
入力文を構成するすべての単語について、上記ｓ８７〜ｓ８１３の処理を繰り返す。
【００６９】
［５．中間ファイルの合成］
（選択映像ファイルの変更）
図１０に合成部１７の処理の流れと動作フローの関係について示す。
【００７０】
（ａ．抜き出し）
合成部１７は、選択映像ファイル１５の各領域映像ファイルのうち、たとえばまず、右手領域の選択映像ファイル１５Ｒからまだ処理していない先行する単語を表す先映像ファイル９７とそのすぐ後の単語を表す後映像ファイル９９の二つを抜き出す（ｓ９１）。
【００７１】
次に、先映像ファイル９７の最終フレーム９８と後映像ファイル９９の先頭フレーム９１０とをそれぞれ抜き出す（ｓ９２）。
【００７２】
（ｂ．中間フレーム合成）
次に、最終フレーム９８と先頭フレーム９１０を用いてモーフィング処理によって中間フレーム９１１を複数枚合成する（ｓ９３）。
【００７３】
ここではモーフィング処理として、既存の技術であるクロスディゾルブやワーピングなどの方法を用いることが可能である。最終フレーム９８から先頭フレーム９１０へ徐々に変化するようなフレームを合成する。
【００７４】
（ｃ．映像ファイル作成）
次に、上記ｓ９３で合成した複数枚の中間フレームを連結して合成映像ファイル９１２を作成する。即ち、複数枚ある中間フレームに時間情報を追加して映像ファイル９１２としてまとめる（ｓ９４）。
【００７５】
（ｄ．追加）
次に、上記合成映像ファイル９１２を選択映像ファイルの当該部分、つまり先映像ファイル９７と後映像ファイル９９の中間部分に挿入する処理を行う（ｓ９５）。
【００７６】
次に、右手の選択映像ファイルをすべて処理するまで、上記ａ．ｂ．ｃ．ｄ．の各処理を反復する。右手の処理が終了した後、左手、顔の選択映像ファイル１５Ｌ、１５Ｆについても同様の処理を行う。なお、身体部分の順序は異なっていても良い。
【００７７】
［６．表示］
表示部１６は、選択映像ファイルを１５Ｆ、１５Ｒ、１５Ｌと重ねて描画し、図２の２４に示すように、最終的に顔、右手、左手のそろった人物の映像として表示する。
【００７８】
このようにして作成された映像の表示例を図１３に示す。図１３は、文章を表示すると共に、その文章の意味を手話に翻訳して同時に表示する表示装置の例である。
【００７９】
この表示装置は、電車の運行状況等の情報を表示する表示部１２０１と、上記構成の映像表示装置１２０２とを備えている。表示部１２０１は、現在の電車の運行状況等を自動的に表示する。映像表示装置１２０２は、表示部１２０１の内容を上記処理によって手話に翻訳し、手話の映像として、表示部１２０１の文章と同時に表示する。
【００８０】
［効果］
各身体部分の動作の映像を独立した映像ファイルとして保持し、それぞれ独自に映像合成処理を行い、最後に重ねて表示するという構成をとることで、通常の構成で映像合成を行う際に、身体部分の重なりが原因で生じるゆがみを解消でき、より自然な形での映像合成が可能となるという効果が得られる。
【００８１】
また、手領域の映像と顔領域の映像が別の人物のものであっても使用できるため、使用可能な映像の範囲が広がるという効果が得られる。
【００８２】
［第２実施形態］
次に、本発明の第２実施形態について説明する。本実施形態では、映像表示装置のシステムに映像分割部１０１を追加したものである。このシステムに映像分割部１０１を追加することにより、手話の文章を表現している人物を撮影した映像ファイルを解析、分節、さらに顔、右手、左手などの各身体領域のみが表示されている動作映像ファイルとして分割したのち、単語に相当する映像ファイルを切り分けて映像ファイル群に格納し、単語辞書の検索に必要なメタデータを追加することを可能にしたシステムについて説明する。
【００８３】
［構成］
本第２実施形態の構成は、映像分割部１０１を新たに追加する点で、第１の実施形態と異なる。従って、図１１において図１と同一または、対応する構成要件については同じ符号をつけて示す。また、上記第１実施形態で説明した構成要件については、その機能の説明を省略する。
【００８４】
映像分割部１０１は、手話の文章を表現している人物を撮影した映像ファイルを解析、分節、さらに、画像認識、領域分割などの画像処理の手法を用いて、人物の顔、右手、左手などの各身体領域のみが表示されている独立の映像ファイルとして分割して、これらの映像ファイルを映像ファイル群１８に格納し、さらに単語辞書１４に、検索に必要なメタデータを追加する機能を備えた機能部である。この映像分割部１０１は、図１２に示す処理機能を備えている。
【００８５】
この映像分割部１０１で、特定人物の動作映像を分解して得た複数の処理フレームの画像情報を用いて、認識、分割し、各身体部分ごとの映像フレームとし、それを蓄積して各身体部分ごとの動作映像とする映像分割手段と、上記各身体部分の動作映像の連結基準情報を生成する連結基準情報手段と、あらかじめ用意された情報辞書に基づいて、上記入力動作映像が表す１または複数の情報を認識する情報認識手段と、当該情報認識手段が認識した各認識情報の動作映像を上記身体部分情報から分割し、その分割動作映像および、上記認識情報に対応する連結基準情報を上記動作映像格納手段および、上記連結基準情報格納手段に登録する登録手段とを構成している。具体的には、以下の処理機能によって実現されている。
【００８６】
[映像作成方法]
次に、上記構成の映像表示装置を用いた映像作成方法について説明する。本実施形態の映像表示装置による映像作成方法は、映像分割部１０１を除いて上記第１実施形態と共通するので、ここでは、映像分割部１０１の動作のみを説明する。
【００８７】
図１２において、映像ファイル１１０１は、ある文章を手話で表現している人物を撮影した映像ファイルである。以下では、この映像ファイル１１０１を顔、右手、左手の各身体領域に分割、さらに単語ごとに切り分けて、映像ファイル群１８および単語辞書にレコードを追加する場合について説明する。
【００８８】
まず、映像分割部１０１は、追加対象の映像ファイル１１０１を取り込み、この映像ファイル１１０１を構成する複数の映像フレームについて、所定のフレーム群１１０３に分割する（ｓ１１０２）。なお、このフレーム群１１０３は、複数の静止画像をまとめたものである。
【００８９】
映像ファイル１１０１がフレーム群１１０３に分割されると、映像分割部１０１は一つのフレームを取り出し（ｓ１１０４）、処理フレーム１１０５とする。
【００９０】
取り出された処理フレーム１１０５に対して、各身体領域に分割する処理を行う（ｓ１１０６）。
【００９１】
ウエーブレット変換を用いたパターンマッチングによる顔領域抽出、色空間変換とオプティカルフロー抽出の組み合わせによる腕領域抽出など、既存の方法を用いて一つの処理フレームから、身体部分が一つずつそれぞれだけ現れている領域フレーム１１０７、１１０８、１１０９を作成する。
【００９２】
つぎに、各身体領域だけが存在している顔領域フレーム１１０７、右手領域フレーム１１０８、左手領域フレーム１１０９に対して、既存のアルゴリズムである重心位置検出などを行い（ｓ１１１０）、各領域の位置を位置データ１１１１として追加する。
【００９３】
さらに、顔領域フレーム１１０７に対し、顔領域中に複数の特徴点検出を行い、特徴点群にグラフを構成し、その特徴グラフの分類から、視線の向きを認識する処理を行う（ｓ１１１２）。
【００９４】
さらに、口周辺領域でのパターンマッチング等による口の形の認識と分類を行い（ｓ１１１４）、それぞれ、時系列データ１１１７として追加する（ｓ１１１６）。
【００９５】
右手、左手領域フレーム（１１０８、１１０９）に対しても同様に画像認識処理とデータの追加を行う。
【００９６】
位置データ１１１１の情報を用いて、当該処理フレーム１１０８、１１０９中の人物の手とひじの位置関係から、手の向きを認識し、その認識した手の向きについて記号分類する（ｓ１１１３）。次に、認識した手の位置周辺の一定面積の画素情報を取得し、その画素情報を用いて手の形を認識し、認識した手の形について記号分類する（ｓ１１１５）。このとき、手の形を認識する方法として、たとえば、手の位置周辺の一定面積の画素に対して、既存の画像認識アルゴリズムである、ニューラルネットワークや、高次局所自己相関特徴の計算などの手法を適用できる。
【００９７】
このようにして、映像分割部１０１は、顔領域フレーム１１０７、右手領域フレーム１１０８、左手領域フレーム１１０９中における処理フレーム１１０５の表示時間を示す情報を追加して、視線の向き、口の形、手の位置、手の向き、手の形のデータを時系列データ１１１７に追加する（ｓ１１１６）。
【００９８】
さらに、顔領域フレーム１１０７、右手領域フレーム１１０８、左手領域フレーム１１０９を顔領域ファイル１１２３、右手領域ファイル１１２４、左手領域ファイル１１２５に追加する（ｓ１１１８）。
【００９９】
ここで、顔領域ファイル１１２３、右手領域ファイル１１２４、左手領域ファイル１１２５は、フレームと時間情報をそれぞれ持ち、一般的な映像ファイルとして蓄積する記憶領域である。
【表２】
0004548313.tif 000003
【０１００】
また、表２に時系列データの構造例を示す。この表２に示すように、時系列データは、所定時間（ここでは時間単位をミリ秒とする）ごとのメタデータ（視線の向き、口の形、手の位置、手の向き、手の形）からなる。
【０１０１】
そして、上記Ｓ１１０４からＳ１１１８までの処理を、フレーム群１１０３のすべてのフレームが終了するまで繰り返す。
【０１０２】
この時点で時系列データ１１１７に各種メタデータが格納され、顔領域ファイル１１２３には顔だけの映像、右手領域ファイル１１２４には右手だけの映像、左手領域ファイル１１２５には左手だけの映像がそれぞれ映像ファイルとして格納されている。
【０１０３】
すべてのフレームについて処理が終了すると、映像分割部１０１は、作成した時系列データに対し、手の位置やその時間微分である動作速度ベクトル、手のむきなどを入力とするＨＭＭなどの既存の認識方法を用いて、手話認識処理を行い、時系列データを手話単語に相当する部分ごとに区切る（ｓ１１１９）。
【０１０４】
さらに、映像分割部１０１は区切った時系列データに、認識結果の手話単語名のラベルをつけ（ｓ１１２０）、顔領域ファイル、右手領域ファイル、左手領域ファイルを読み、時系列データに付されたラベルごとに、時系列データの時間情報を用い、顔領域ファイル、右手領域ファイル、左手領域ファイルを、ラベルごとに分割する（ｓ１１２１）。
【０１０５】
そして、映像分割部１０１は、分割した顔領域ファイル、右手領域ファイル、左手領域ファイルに名前をつけて、映像ファイル群１８のそれぞれ顔映像ファイル群１８Ｆ、右手映像ファイル群１８Ｒ、左手映像ファイル群１８Ｌにレコードとして追加する処理を行い（ｓ１１２２）、単語辞書１４にメタデータを追加する。
【０１０６】
［効果］
本実施形態では、上記第１実施形態の効果に加えて、以下の効果が得られる。
【０１０７】
これまでは、システム作成時に人物の動作をたとえば各領域にマスクをして複数回撮影するなど、撮影時に工夫が必要であったが、本実施形態によってこれを解消することができる。即ち、システムに映像分割部１０１を追加することで、作業者が映像の分割作業を行う必要がなくなるため、結果として作業者は、システムに単語と映像ファイルを簡便に追加することが可能となる。
【０１０８】
［変形例］
上記各実施形態において、入力部としてキーボードなどの方法を用いたが、これは音声入力、ＧＵＩ的なインターフェース、ボタン、バーコードリーダーなどのすべての入力装置を用いることができる。
【０１０９】
上記各実施形態において、映像ファイル群１８と単語辞書１４とはそれぞれ別の部分として構成されているものとして説明したが、本発明はこれに限らず、同じ機能を備えていれば、他の構成でもよい。例えば、映像ファイルのヘッダなどにメタデータを埋め込み、特定の映像ファイル群のヘッダを単語辞書として随時検索するといった構成としてもよい。
【０１１０】
上記各実施形態において、映像ファイルのメタデータを、手話を表現するために、視線の向き、口の形、手の位置、手の向き、手の形としたが、これらは一例であって、本発明はこれらに限定されるものではない。たとえば、顔の表情など他のデータを用いる構成としても良い。
【０１１１】
第１実施形態では、映像ファイルを選択する評価基準において、ユークリッド距離を用いて説明したが、これは一例であり、同様の効果が得られる別の値を用いても良い。
【０１１２】
第１実施形態では、モーフィングの方法として、クロスディゾルブ、ワーピングを例としてあげたが、これらは、排他的なものではなく、どちらか一方または両方を組み合わせて使う構成としてもよい。またそのほかの合成方法を用いても良い。
【０１１３】
各実施形態において、手話映像を表示する映像表示装置について説明したが、手話に限らず、語や文章、記号に対応付けることができる意味を持った人物の動作を含んだ映像を複数連結して、連続する人物動作映像を表示する装置であれば、たとえば、手旗信号、パントマイム、ダンスなど、特定の意味を表現するための動作の映像を表示するシステムとして利用することが可能である。
【０１１４】
各実施形態において、日本語による辞書検索を行ったが、辞書のデータを変更することで、その他外国語による手話表示システムとすることも可能である。
【０１１５】
各実施形態において、各辞書の構成を表の形として示したが、ツリーなど異なるデータ構造を用いても良い。
【０１１６】
本発明を構成する格納手段等の要素については、ハードウエア構成は問わない。例えば、一台のＰＣ上に存在していても良いし、データベースなど要素の一部またはすべてがネットワーク上のサーバーなどである構成としても良い。
【０１１７】
また、上記各実施形態では、表示部１６を備えた映像表示装置を例に説明したが、表示部１６を備えていない映像作成装置でも上記同様の作用、効果を奏することができる。
【図面の簡単な説明】
【０１１８】
【図１】本発明の第１の実施形態に係る映像表示装置のシステム構成図である。
【図２】各身体部分の映像ファイルの例を示す模式図である。
【図３】各身体部分のうち手の位置を示す模式図である。
【図４】前頭面上での手の向きを示す模式図である。
【図５】矢状面上での手の向きを示す模式図である。
【図６】水平面上での手の向きを示す模式図である。
【図７】手のひらの向きを表す模式図である。
【図８】選択映像ファイルの作成処理を示すフローチャートである。
【図９】指文字映像ファイルの作成処理を示すフローチャートである。
【図１０】合成部での処理を示すフローチャート及び合成部で生成される中間データを示すブロック図である。
【図１１】本発明の第２の実施形態に係る映像表示装置のシステム構成図である。
【図１２】映像分割部での処理を示すフローチャートである。
【図１３】映像作成装置の使用例を示す正面図である。
【図１４】視線の方向と記号との対応関係を示す模式図である。
【図１５】口の形と記号との対応関係を示す模式図である。
【図１６】手の形と記号との対応関係を示す模式図である。
【符号の説明】
【０１１９】
１０：入力部、１１：形態素解析部、１２：翻訳部、１３：データ選択部、１４：単語辞書、１５：選択映像ファイル、１５Ｆ：顔の選択映像ファイル、１５Ｌ：左手の選択映像ファイル、１５Ｒ：右手の選択映像ファイル、１６：表示部、１７：合成部、１８：映像ファイル群、１８Ｆ：顔映像ファイル群、１８Ｒ：右手映像ファイル群、１８Ｌ：左手映像ファイル群、１０１：映像分割部。
【図１】
0004548313.tif 000004
【図２】
0004548313.tif 000005
【図３】
0004548313.tif 000006
【図４】
0004548313.tif 000007
【図５】
0004548313.tif 000008
【図６】
0004548313.tif 000009
【図７】
0004548313.tif 000010
【図８】
0004548313.tif 000011
【図９】
0004548313.tif 000012
【図１０】
0004548313.tif 000013
【図１１】
0004548313.tif 000014
【図１２】
0004548313.tif 000015
【図１３】
0004548313.tif 000016
【図１４】
0004548313.tif 000017
【図１５】
0004548313.tif 000018
【図１６】
0004548313.tif 000019