(57)【要約】【解決手段】音声言語の手話への翻訳を自動化し、人間による通訳サービスなしで済ませるべく、音声言語の単語および構文を表すテキストデータと、手話における対応する意味を表す映像データのシーケンスとを格納するデータベース（１０）と、データベース（１０）と通信して、フィードされた音声言語を示すテキストデータを対応する手話を表す映像シーケンスに翻訳するコンピュータ（２０）とを備え、手話の個々の文法構造間の推移位置を定義する手の初期状態を表す映像シーケンスがデータベース（１０）にメタデータとして格納されており、手の初期状態を表す映像シーケンスは、コンピュータ（２０）により、翻訳時に、手話の文法構造を表す映像シーケンス間に挿入されるシステムを提案する。【選択図】図１
2013521523.tif 000002
【特許請求の範囲】
【請求項１】
聴覚障害者向けに音声言語を手話に翻訳するシステムであって、
音声言語の単語および構文を表すテキストデータと、手話における対応する意味を表す映像データのシーケンスとを格納するデータベース（１０）と、
前記データベース（１０）と通信して、フィードされた音声言語を表すテキストデータを対応する手話を表す映像シーケンスに翻訳するコンピュータ（２０）と
を備え、
手話の個々の文法構造間の推移位置（ｔｒａｎｓｉｔｉｏｎ  ｐｏｓｉｔｉｏｎｓ）を定義する手の初期状態を表す映像シーケンスが前記データベース（１０）にメタデータとして格納されており、手の初期状態を表す前記映像シーケンスは、前記コンピュータ（２０）により、翻訳時に、手話の文法構造を表す映像シーケンス間に挿入されるシステム。
【請求項２】
前記コンピュータ（２０）により翻訳された前記映像シーケンスを音声映像信号に挿入する装置（１２０、２２０）を備える請求項１に記載のシステム。
【請求項３】
音声映像信号の音声信号成分をテキストデータに変換し、前記テキストデータを前記コンピュータ（２０）にフィードする変換器（７０）を備える請求項１または２に記載のシステム。
【請求項４】
音声映像信号から推測される時間情報を前記コンピュータ（２０）にフィードするロジック装置（１００）を備え、
フィードされた前記時間情報によって、前記コンピュータ（２０）からの前記映像シーケンスと、元の音声映像信号と、の両方の再生速度が動的に変更される請求項１から３のいずれか１項に記載のシステム。
【請求項５】
音声映像信号が、テレビ信号送信機（１５０）を介して、デジタルテレビ信号として受信機（１６０）に送信され、
前記映像シーケンス（２１）用に独立した第２の送信パス（１９０）（たとえば、インターネット）が設けられ、前記第２の送信パスを介して、前記映像シーケンス（２１）は、映像メモリ（１３０）から、または直接的に前記コンピュータ（２０）から、ユーザに送信され、
独立した前記第２の送信パス（１９０）を介して前記ユーザに送信された前記映像シーケンス（２１）を、前記受信機（１６０）が受信した前記デジタルテレビ信号に、ピクチャー・イン・ピクチャーとして挿入するべく、画像オーバレイ（２００）が前記受信機（１６０）に接続されている請求項１から４のいずれか１項に記載のシステム。
【請求項６】
前記映像シーケンス（２１）用に独立した第２の送信パス（１９０）（たとえば、インターネット）が設けられ、前記第２の送信パスを介して、前記映像シーケンス（２１）は、映像メモリ（１３０）から、または直接的に前記コンピュータ（２０）から、ブロードキャストもしくはストリーミング用に再生され、または検索用に（たとえば、オーディオブック２１０として）提供される請求項１から４のいずれか１項に記載のシステム。
【請求項７】
デジタル音声映像信号の受信機（１６０）であって、独立した第２の送信パス（１９０）を介して送信された映像シーケンス（２１）を、前記受信機（１６０）が受信したデジタルテレビ信号に、ピクチャー・イン・ピクチャーとして挿入するべく、画像オーバレイ（２００）が接続された受信機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、聴覚障害者向けに音声言語を手話に翻訳するシステムに関する。
【背景技術】
【０００２】
手話は、主に、手を、顔の表情、口の表情、および態度と関連付けて用いることで形成される視覚的に認識可能なジェスチャーに与えられた名称である。手話は、逐語的に音声言語に変換することができないので、手話には独自の文法構造がある。特に、手話を使うと、複数の情報が同時に伝達されるが、音声言語は、連続的な情報、つまり音および単語から構成される。
【０００３】
音声言語の手話への翻訳は、外国語通訳者と同様、フルタイムの学習プログラムで訓練された手話通訳者により行われる。音声映像媒体、特に映画およびテレビにおいては、映画およびテレビの音声を手話へ翻訳することが、聴覚障害者から強く望まれているが、手話通訳者の数が不十分であることにより、この要望は十分に満たされていない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の技術的課題は、人間による通訳サービスなしで状況を打開するべく、音声言語の手話への翻訳を自動化することである。本発明によると、この技術的課題は、請求項１の特徴部分における特徴により解決される。
【０００５】
本発明に係るシステムの有利な実施形態および発展形態は、従属項に従う。
【課題を解決するための手段】
【０００６】
本発明は、一方では、音声言語、たとえば標準ドイツ語（Ｇｅｒｍａｎ  ｓｔａｎｄａｒｄ  ｌａｎｇｕａｇｅ）の単語および構文を表すテキストデータを、他方では、手話における対応する意味を表す映像データのシーケンスを、データベースに格納するという発想に基づいている。その結果、データベースは、音声言語の単語および／または表現について、対応する手話を画像もしくは映像シーケンスを取得することができる音声映像言語辞書を構成する。音声言語を手話に翻訳するべく、コンピュータはデータベースと通信し、テキストに変換された音声映像信号の発話成分から特に構成されるテキスト情報がコンピュータにフィードされる。発話される言葉について、意味（ｓｅｍａｎｔｉｃｓ）の検出に必要である場合、発話成分のピッチ（韻律）および声量が分析される。フィードされたテキストデータに対応する映像シーケンスが、コンピュータによりデータベースから読み出され、完全な映像シーケンス（ｃｏｍｐｌｅｔｅ  ｖｉｄｅｏ  ｓｅｑｕｅｎｃｅ）に接合される。これは、これ自体で再生してよく（たとえば、ラジオ番組、ポッドキャスト等として）、または、たとえば、映像シーケンスを元の音声映像信号に「ピクチャー・イン・ピクチャー」として重ね合わせる画像オーバレイにフィードしてもよい。両方の画像信号を、再生速度の動的調整により、互いに同期させてよい。したがって、音声言語と手話との間の比較的大きい時間的遅延は、「オンライン」モードでは少なくなり、「オフライン」モードではほぼ回避される。
【０００７】
手話を理解するためには、個々の文法構造間における手の初期状態は認識可能でなくてはならないので、さらに、手の初期状態を表す映像シーケンスがメタデータとしてデータベースに格納され、手の初期状態を表す映像シーケンスは、翻訳時に、手話の文法構造間に挿入される。手の初期状態とは別に、個々の文節間の推移は、流暢な「視覚的」発話の印象を達成するにおいて重要な役割を果たす。この目的において、手の初期状態に関する格納されたメタデータと、推移時における手の状態とにより、対応するクロスフェードを算出し、推移時に、１つの文節から次の文節へと手の位置が途切れなく続くようにする。
【図面の簡単な説明】
【０００８】
本発明を、図面において、実施形態として、より詳細に記載する。
【図１】聴覚障害者向けに、映像シーケンスとして、音声言語を手話に翻訳するシステムの概略ブロック図を示す。
【図２】図１のシステムを用いて生成された映像シーケンスを処理するための第１の実施形態の概略的ブロック図を示す。
【図３】図１のシステムを用いて生成された映像シーケンスを処理するための第２の実施形態の概略的ブロック図を示す。
【発明を実施するための形態】
【０００９】
参照番号１０は、音声言語の単語（ｗｏｒｄｓ）および／または表現（ｔｅｒｍｓ）に対応する手話を表す画像が映像シーケンス（場面）として格納される音声映像言語辞書として構成されたデータベースを示す。
【００１０】
データバス１１を介してデータベース１０はコンピュータ２０と通信し、コンピュータは、音声言語の単語および／または表現を示すテキストデータでデータベース１０をアドレス指定し、格納された対応する手話を表す映像シーケンスを出力ライン２１に読み出す。さらに、好ましくは、個々のジェスチャーの推移位置（ｔｒａｎｓｉｔｉｏｎ  ｐｏｓｉｔｉｏｎｓ）を定義し、個々のジェスチャーの連続的な映像シーケンス間に推移シーケンス（ｔｒａｎｓｉｔｉｏｎ  ｓｅｑｕｅｎｃｅｓ）として挿入される、手話を表す手の初期状態についてのメタデータがデータベース１０に格納される。以下において、生成された映像シーケンスおよび推移シーケンスは、単に「映像シーケンス」と呼ぶ。
【００１１】
図２に示す第１の実施形態では、生成された映像シーケンスを処理するべく、コンピュータ２０により出力ライン２１に読み出された映像シーケンスは、直接的に、または映像メモリ（「シーケンスメモリ」）１３０に一時的に格納された後にその出力１３１を介して、画像オーバレイ１２０にフィードされる。さらに、映像メモリ１３０に格納された映像シーケンスは、メモリ１３０の出力１３２を介してディスプレイ１８０に表示されてもよい。格納された映像シーケンスの出力１３１および１３２への出力は、出力１４１を介してメモリ１３０に接続されたコントローラ１４０により制御される。さらに、出力１１１において、音声映像信号を規格化アナログテレビ信号に変換するテレビ信号変換器１１０からのアナログテレビ信号が、画像オーバレイ１２０にフィードされる。画像オーバレイ１２０は、アナログテレビ信号に、読み出された映像シーケンスを、たとえば、「ピクチャー・イン・ピクチャー」（「ピクチャー・イン・ピクチャー」を「ＰＩＰ」と略す）として挿入する。画像オーバレイ１２０の出力１２１において、このようにして生成された「ＰＩＰ」テレビ信号は、図２に従って、テレビ信号送信機１５０からアナログ送信パス１５１を介して受信機１６０に送信される。受信されたテレビ信号５０が再生装置１７０（ディスプレイ）で再生されている間、音声映像信号の画像成分と、そこから分離された手話通訳者のジェスチャーとは、同時に視認される。
【００１２】
図３に示す第２の実施形態では、生成された映像シーケンスを処理するべく、コンピュータ２０により出力ライン２１に読み出された映像シーケンスは、直接的に、または映像メモリ（「シーケンスメモリ」）１３０に一時的に格納された後にその出力１３１を介して、マルチプレクサ２２０にフィードされる。さらに、マルチプレクサ２２０によって映像シーケンスを挿入される別個のデータチャネルを有するデジタルテレビ信号が、テレビ信号変換器１１０の出力１１２からマルチプレクサ２２０にフィードされる。マルチプレクサ２４０の出力２２１でこのように処理されたデジタルテレビ信号は、テレビ送信機１５０を介し、デジタル送信パス１５１を介して受信機１６０に送信される。受信されたデジタルテレビ信号５０が再生装置１７０（ディスプレイ）で再生されている間、音声映像信号の画像成分と、そこから分離された手話通訳者のジェスチャーとは、同時に視認される。
【００１３】
図３に示すように、映像シーケンス２１を、さらに、メモリ１３０から（または、直接的にコンピュータ２０から）、独立した第２の送信パス１９０を介して（たとえば、インターネットを介して）ユーザに送信してよい。この場合、マルチプレクサ２２０による映像シーケンスのデジタルテレビ信号への挿入は行われない。代わりに、独立した第２の送信パス１９０を介してユーザが受信した映像シーケンスおよび推移シーケンスを、ユーザが要望する場合は、画像オーバレイ２００を介して、受信機１６０が受信したデジタルテレビ信号に挿入して、ジェスチャーがディスプレイ１７０上でピクチャー・イン・ピクチャーとして再生されるようにしてよい。
【００１４】
図３に示す別の代替例では、生成された映像シーケンス２１は、第２の送信パス１９０（ブロードキャストもしくはストリーミング）を介して個々に再生されるか、または映像メモリ１３０の出力１３３を介して検索（ｒｅｔｒｉｅｖａｌ）により提供される（たとえば、オーディオブック２１０）。
【００１５】
音声映像信号がいずれの形態で生成もしくは推測されるかにより、図１では、たとえば、テキストデータをコンピュータ２０にフィードするためのオフライン方法およびオンライン方法が示される。オンライン方法では、音声映像信号は、テレビスタジオもしくは映画スタジオにおいてカメラ６１およびスピーチマイク６２により生成される。発話マイク（ｓｐｅｅｃｈ  ｍｉｃｒｏｐｈｏｎｅ）６０の音声出力６４を介して、音声映像信号の発話成分（ｓｐｅｅｃｈ  ｃｏｍｐｏｎｅｎｔ）がテキスト変換器７０にフィードされ、テキスト変換器は音声言語を、音声言語の単語および／または表現から構成されるテキストデータに変換し、中間的フォーマットを生成する。次に、テキストデータはテキストデータライン７１を介してコンピュータ２０に送信され、テキストデータにより、データベース１０に格納された対応する手話のデータがアドレス指定される。
【００１６】
発話者が話すべき言葉をモニターから読み取るための装置である「テレプロンプター」９０と呼ばれる装置がスタジオ６０で使用される場合、テレプロンプター９０のテキストデータが、ライン９１を介してテキスト変換器７０に、または（不図示であるが）ライン９１を介してコンピュータ２０に直接的に、フィードされる。
【００１７】
オフライン方法では、音声映像信号の発話成分が、たとえば、フィルムスキャナ８０の音声出力８１でスキャンされ、フィルムスキャナによって映画はテレビ音声信号に変換される。フィルムスキャナ８０の代わりに、音声映像信号としてディスク状記憶媒体（たとえば、ＤＶＤ）を設けてもよい。スキャンされた音声映像信号の発話成分は、テキスト変換器７０（もしくは、別の明示されないテキスト変換器）にフィードされ、テキスト変換器により、音声言語は、コンピュータ２０用に、音声言語の単語および／表現から構成されるテキストデータに変換される。
【００１８】
スタジオ６０またはフィルムスキャナ８０からの音声映像信号は、好ましくは、さらに、それぞれの出力６５または８２を介して、信号メモリ５０に格納してよい。信号メモリ５０は、その出力５１を介して、格納している音声映像信号をテレビ変換器１１０にフィードし、テレビ変換器は、フィードされた音声映像信号からアナログまたはデジタルのテレビ信号を生成する。
【００１９】
もちろん、スタジオ６０またはフィルムスキャナ８０からの音声映像信号を、テレビ信号変換器１１０に直接的にフィードすることも可能である。
【００２０】
無線信号の場合、音声信号に対して並列な映像信号が存在しないという点以外は、上記の記載がアナログの場合に当てはまる。オンラインモードでは、音声信号は、マイク６０を介して直接的に記録され、６４を介してテキスト変換器７０にフィードされる。オフラインモードでは、任意のフォーマットであってよい音声ファイルの音声信号がテキスト変換器にフィードされる。ジェスチャーおよび並列な映像シーケンスとの映像シーケンスの同期を最適化するべく、元の音声信号および映像信号からの時間情報（カメラ出力６３におけるカメラ６１のタイムスタンプ）により、コンピュータ２０からのジェスチャー映像シーケンスと、信号メモリ５０からの元の音声映像信号と、の両方の再生速度を動的に変化（加速もしくは減速）させるロジック１００（たとえば、フレームレート変換器）を任意に接続してよい。この目的において、ロジック１００の制御出力１０１は、コンピュータ２０と、信号メモリ５０と、の両方に接続されている。この同期により、音声言語と手話との間の比較的大きい時間的遅延は、「オンライン」モードでは少なくなり、「オフライン」モードではほぼ回避される。
【図１】
2013521523.tif 000003
【図２】
2013521523.tif 000004
【図３】
2013521523.tif 000005
【国際調査報告】
2013521523.tif 000006
2013521523.tif 000007