(57)【要約】本発明は、入力オーディオ・ビジュアル・ストリーム(2)に対して自動ダビングを行うシステム(1)を記載している。システム(1)は、入力オーディオ・ビジュアル・ストリーム(2)において音声コンテンツを識別する手段(3,7)、音声コンテンツをディジタル・テキスト形式(14)に変換する音声・テキスト変換器(13)、ディジタル・テキスト(14)を別の言語又は方言に翻訳する翻訳システム(15)、翻訳テキスト(18)を音声出力(21)に合成する音声合成器(19)及び音声出力(21)と出力オーディオ・ビジュアル・ストリーム(28)との同期をとる同期システム(9,12,22,23,26,31,33,34,35)を備える。更に、本発明は、オーディオ・ビジュアル・ストリーム(2)に対して自動ダビングを行う適切な方法を記載している。
2006524856.tif 000002
【特許請求の範囲】
【請求項１】
入力オーディオ・ビジュアル・ストリームに対して自動ダビングを行うシステムであって：
前記オーディオ・ビジュアル・ストリームにおいて音声コンテンツを識別する手段；
該音声コンテンツをディジタル・テキスト形式に変換する音声・テキスト変換器；
該ディジタル・テキストを別の言語又は方言に翻訳する翻訳システム；
該翻訳テキストを音声出力に合成する音声合成器；及び
該音声出力と出力オーディオ・ビジュアル・ストリームとの同期をとる同期システムを備えることを特徴とするシステム。
【請求項２】
請求項1記載のシステムであって、前記音声コンテンツについての音声プロファイルを生成し、音声出力合成を行うよう適切な音声プロファイルを前記翻訳テキストに割り当てる音声プロファイラを有することを特徴とするシステム。
【請求項３】
請求項1又は2記載のシステムであって、オーディオ及びビデオのコンテンツにタイミング情報を割り当てて後に該コンテンツの同期をとる時間データ源を有することを特徴とするシステム。
【請求項４】
請求項1乃至3の何れか記載のシステムであって、前記翻訳システムが、複数の別々の言語及び/又は方言を備えている言語データベースと、前記ディジタル・テキストを翻訳する対象の言語又は方言を該データベースから選択する手段とを有することを特徴とするシステム。
【請求項５】
請求項1乃至4の何れか記載のシステムであって、出力オーディオ・ビジュアル・ストリームに備えるオープン・キャプションを、前記ディジタル・テキスト及び/又は前記翻訳ディジタル・テキストを用いて作成するオープン・キャプション生成器を有することを特徴とするシステム。
【請求項６】
オーディオ・ビジュアル装置であって、請求項1乃至5の何れか記載のシステムを備えることを特徴とするオーディオ・ビジュアル装置。
【請求項７】
入力オーディオ・ビジュアル・ストリームの自動ダビングを行う方法であって：
前記オーディオ・ビジュアル・ストリームにおいて音声コンテンツを識別する工程；
該音声コンテンツをディジタル・テキスト形式に変換する工程；
該ディジタル・テキストを別の言語又は方言に翻訳する工程；
該翻訳テキストを音声出力に変換する工程；及び
該音声出力と出力オーディオ・ビジュアル・ストリームとの同期をとる工程を備えることを特徴とする方法。
【請求項８】
請求項7記載の方法であって、前記音声コンテンツについての音声プロファイルが、生成され、適切な翻訳テキストに、音声出力合成を行ううえで割り当てられることを特徴とする方法。
【請求項９】
請求項7又は8記載の方法であって、前記音声コンテンツの複製が、前記オーディオ・ビジュアル・ストリームから分けて流されるか、前記オーディオ・ビジュアル・ストリームのオーディオ・コンテンツから分けて流されることを特徴とする方法。
【請求項１０】
請求項7乃至8記載の方法であって、前記オーディオ・ビジュアル・ストリームにおける前記音声コンテンツが、残りのオーディオ・ビジュアル・ストリームから分離されるか、前記オーディオ・ビジュアル・ストリームの残りのオーディオ・コンテンツから分離されることを特徴とする方法。
【請求項１１】
請求項7乃至10の何れか記載の方法であって、オーディオ/ビデオ合成器が、前記音声出力を前記出力オーディオ・ビジュアル・ストリームに挿入し、元の音声コンテンツを置換することを特徴とする方法。
【請求項１２】
請求項7乃至11の何れか記載の方法であって、オーディオ/ビデオ合成器が、前記音声出力を前記出力オーディオ・ビジュアル・ストリームにオーバレイすることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、自動ダビングをオーディオ・ビジュアル・ストリームに対して行うシステム及び方法に関し、特に、自動ダビングをオーディオ・ビジュアル装置において備えるシステム及び方法に関する。
【背景技術】
【０００２】
視聴者が視るオーディオ・ビジュアル・ストリームには、例えば、放送国の母国語で放送されるテレビジョン番組がある。更に、オーディオ・ビジュアル・ストリームは、DVD、ビデオや何れかの他の適切なソースからのものである場合があり、ビデオ、音声、音楽、サウンド・エフェクトや他のコンテンツを有し得る。オーディオ・ビジュアル装置は、例えば、テレビジョン受信機、DVDプレイヤ、VCRやマルチメディア・システムであり得る。外国語のフィルムの場合、オープン・キャプションとしても知られる字幕は、放送前にビデオ・フレームにキャプションをキーインすることによってオーディオ・ビジュアル・ストリームに一体化させ得る。外国語のフィルムに対してダビング・スタジオにおいて、テレビジョン番組を放送する前に母国語への音声ダビングを行うことも考えられる。この場合、元のスクリーンプレイが目的言語にまず翻訳され、翻訳されたテキストは専門の話者又はボイス・タレントによって朗読される。新たな音声コンテンツは次に、オーディオ・ビジュアル・ストリームと同期がとられる。有名な俳優が主演の番組の場合、ダビング・スタジオは、音声プロフィールが元の音声のコンテンツのものに最もぴったり合う話者を用い得る。欧州では、ビデオは通常、元の第１の言語と、第２の言語へのダビングとの何れかの1つの言語でしか入手可能でない。オープン・キャプション付きの欧州市場向ビデオが供給されることは相対的にほとんどない。DVDは一般的に、第２の言語が元の音声コンテンツに付随したかたちで入手可能であり、3つ以上の言語を備えたかたちで入手可能な場合もある。視聴者は、言語間で思い通りに切り替えることが可能であり、字幕を1つ又は複数の言語で表示させる選択肢を有する場合もある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
専門のボイス・タレントによってダビングすることには、関係する費用が理由で、少数の多数派言語に限定されるという欠点がある。関係する労力や費用が理由で、全ての番組のうち、比較的少ない割合のものしかダビングすることが可能でない。ニュース報道、トーク番組や生放送などの番組は通常、全くダビングされない。キャプションは又、ターゲット視聴者数が多い、英語などの最も人気のある言語と、ローマン・フォントを使用する言語とに限定される。中国語、日本語、アラビア語やロシア語などの言語は、異なるフォントを用い、キャプションの形式で容易に表示することが可能でない。母国語が放送言語以外である視聴者は、自らの言語における番組の選択肢が非常に限られたものであるということを意味する。オーディオ・ビジュアル番組を視聴することによって外国語の勉強を強化しようとする他の母国語の視聴者も、視聴マテリアルの自らの選択肢が限定される。
【０００４】
したがって、本発明の目的は、オーディオ・ビジュアル・ストリームに対して単純でかつ費用効果の高いダビングを備えるのに用い得るシステム及び方法を備えることにある。
【課題を解決するための手段】
【０００５】
本発明は、オーディオ・ビジュアル・ストリームに対して自動ダビングを行うシステムを備え、該システムは、入力オーディオ・ビジュアル・ストリームにおいて音声コンテンツを識別する手段、音声コンテンツをディジタル・テキスト形式に変換する音声・テキスト変換器、ディジタル・テキストを別の言語又は方言に翻訳する翻訳システム、翻訳テキストを音声出力に合成する音声合成器、及び音声出力と、出力オーディオ・ビジュアル・ストリームとの同期をとる同期システムを備える。
【０００６】
オーディオ・ビジュアル・ストリームの自動ダビングを行う適切な方法は、入力オーディオ・ビジュアル・ストリームにおいて音声コンテンツを識別する工程と、音声コンテンツをディジタル・テキスト形式に変換する工程と、ディジタル・テキストを別の言語又は方言に翻訳する工程と、翻訳テキストを音声出力に変換する工程と、音声出力と、出力オーディオ・ビジュアル・ストリームとの同期をとる工程とを備える。
【０００７】
ダビングされた音声コンテンツをこのようにして導入する処理は、例えばテレビジョン・スタジオにおいて、オーディオ・ビジュアル・ストリームを放送する前に中央で実施してもよく、例えば、視聴者の家庭内のマルチメディア装置において局所で実施してもよい。本発明は、選択した言語でダビングされるオーディオ・ビジュアル・ストリームを視聴者に供給するシステムを備えるという利点を有する。
【０００８】
オーディオ・ビジュアル・ストリームは、オーディオ・コンテンツが音声コンテンツも有し得る別個のトラックにおいて符号化されるビデオ・コンテンツとオーディオ・コンテンツとを備え得る。音声コンテンツは専用トラック上に配置される場合があり、音楽やサウンド・エフェクトを音声とともに有するトラックから除去することを要する場合もある。既存の技術を利用して、そのような音声コンテンツを識別する適切な手段は、専用フィルタ及び/又はソフトウェアを備える場合があり、識別音声コンテンツの複製を作成しても、それをオーディオ・ビジュアル・システムから抽出してもよい。その後、音声コンテンツ又は音声ストリームは、既存の音声認識技術を用いることによってディジタル・テキスト形式に変換することが可能である。ディジタル・テキスト形式は、既存の翻訳システムによって別の言語又は方言に翻訳される。その結果翻訳されたディジタル・テキストは、音声オーディオ出力を生成するよう合成され、それは次に、他のオーディオ・コンテンツ、すなわち、音楽、サウンド・エフェクトなどを変わらない状態のままにして、ダビングされた音声によって元の音声コンテンツが置き換えられるか、ダビングされた音声が元の音声コンテンツにオーバレイされることが可能であるようにオーディオ・ビジュアル・ストリームに音声コンテンツとして挿入される。このように新規性を有する方法において既存の技術を組み合わせることによって、本発明を非常に簡単に実施することが可能であり、音声ダビングを行うのに費用の高い話者を採用することに対する低費用の代替策を提供する。
【０００９】
従属請求項は、本発明の特に効果的な実施例及び特徴を開示している。
【００１０】
本発明の特に効果的な実施例では、音声プロファイラは、音声コンテンツを解析し、音声について音声プロファイルを生成する。音声コンテンツは、音声プロファイルが生成される対象の、連続して話されるか同時に話される１つ又は複数の音声を有し得る。ピッチ、フォーマント、ハーモニクス、時間構造や他の性質に関する情報は、安定した状態に留まる場合があり、音声ストリームが進むにつれ変わる場合もあり、元の音声の性質を復元する役目を担う音声プロファイルを作成するのに用いられる。音声プロファイルは、翻訳された音声コンテンツの真の音声合成をおこなうよう後の段階で用いられる。本発明のこの特に効果的な実施例によって、有名な俳優に特有の音声の特徴が、ダビングされたオーディオ・ビジュアル・ストリームにおいて復元されるようにしている。
【００１１】
本発明の別の好適実施例では、音声ストリームに割り当てられ、残りのオーディオ及び/又はビデオのストリームに割り当てられて、２つのストリーム間の時間的関係を示すタイミング情報を生成するのに時間データ源が用いられる。時間データ源はクロックの一種であってよく、オーディオ・ビジュアル・ストリームに既に符号化された時間データを読み取る装置であってもよい。このようにして音声ストリームと、残りのオーディオ及び/又はビデオのストリームとをマーキングすることによって、後の段階でもう一度、ダビングされた音声ストリームと他のストリームとの同期をとる簡単な方法を備える。タイミング情報は、例えば、音声のテキストへの変換又は音声プロファイルの作成を行ううえで、音声ストリームに生じた遅延を打ち消すのにも用い得る。音声ストリーム上のタイミング情報は、音声ストリームの派生物全て、例えば、ディジタル・テキスト、翻訳ディジタル・テキストや、音声合成の出力に伝播させ得る。タイミング情報はよって、特定の発声の始点及び終点、並びに、したがって、持続時間を識別するのに用い得るので、合成音声出力の持続時間及び位置をオーディオ・ビジュアル・ストリーム上の元の発声の位置に一致させ得る。
【００１２】
本発明の別の配置では、翻訳及びダビングに費やす対象の最大の労力を例えば、「通常」モードと「高品質」モードとのうちから選択することによって規定し得る。システムはその場合、音声コンテンツを翻訳し、ダビングするのに利用可能な時間を判定し、音声・テキスト変換器および翻訳システムをそれに応じて構成する。オーディオ・ビジュアル・ストリームはよって、生のニュース報道の場合には望ましいものであり得る最小の時間遅延を伴って視ることが可能であり、動画フィルム、ドキュメンタリや同様な制作の場合において特に望ましいものであり得る最善の品質の翻訳及び音声合成を自動ダビング・システムが達成することを可能にする、より大きな時間遅延を伴って視ることも可能である。
【００１３】
更に、システムは、種々のストリームについて所定の固定遅延を用いることによって、更なるタイミング情報を挿入することなく動作し得る。
【００１４】
本発明の別の好適な特徴は、ディジタル・テキスト形式を別の言語に翻訳する翻訳システムである。したがって、翻訳システムは、翻訳プログラムと、音声が更に翻訳される利用可能な言語又は方言のうちの１つを視聴者が選択することが可能な１つ又は複数の言語及び/又は方言のデータベースを備え得る。
【００１５】
本発明の更なる実施例は、オープン・キャプションにふさわしい形式にディジタル・テキストを変換するオープン・キャプション生成器を有する。ディジタル・テキストは、元の音声コンテンツに相当する元のディジタル・テキスト及び/又は翻訳システムの出力であり得る。ディジタル・テキストに付随するタイミング情報は、オーディオ・ビジュアル・ストリームにおける適切な位置にいる視聴者に視えるようにオープン・キャプションを配置させるのに用い得る。視聴者は、オープン・キャプションは表示する対象かを規定し、オープン・キャプションを表示する対象の言語、すなわち、元の言語及び/又は翻訳された言語を規定することが可能である。この特徴は、音声コンテンツを外国語において聴き、自らの母国語における付属の字幕を読み取るか、音声コンテンツを自らの母国語において聴き、外国語のテキストとしての付属の字幕を読み取ることによって、外国語を学習したい視聴者に特に有用となる。
【００１６】
自動ダビング・システムは、何れかのオーディオ・ビジュアル装置、例えば、テレビジョン受信機、DVDプレイヤ又はVCR、に一体化させたもの又はそのような何れかのオーディオ・ビジュアル装置を拡張したものであり得る。その場合、視聴者は、ユーザ・インタフェースを介して要求を入力する手段を有する。
【００１７】
同様に、自動ダビング・システムは、中央で、例えば、テレビジョン放送局において実現し得る。このテレビジョン放送局では、帯域幅が十分であることによって、複数のダビングされた音声コンテンツ及び/又はオープン・キャプションを備えているオーディオ・ビジュアル・ストリームの放送の費用効果が高いものになることが可能である。
【００１８】
音声・テキスト変換器、音声プロファイル生成器、翻訳プログラム、言語/方言データベース、音声合成器及びオープン・キャプション生成器は、いくつかのインテリジェント・プロセッサ・ブロックすなわちIPブロックにわたって分散させ、それによって、IPブロックの機能による、タスクのスマート分散を可能にし得る。このインテリジェントなタスク分散によって、処理能力が節減され、できる限り短い時間でタスクが行われることになる。
【発明を実施するための最良の形態】
【００１９】
本発明の他の目的及び機能は、添付図面とともに検討される以下の詳細の説明から明らかとなる。しかし、添付図面は、図示の目的で企図されたに過ぎず、本特許請求の範囲記載の請求項を参照することとする本発明の範囲の規定としては企図されていない。
【００２０】
図面では、同じ参照文字は同じ構成要素を通しで表す。
【００２１】
以下の添付図面の説明では、本発明の他の考えられる実現形態を排除するものでなく、システムは、ユーザ装置、例えばTV受信機の一部として示す。明確にするために、添付図面は、視聴者（ユーザ）と本発明との間のインタフェースを有していない。しかし、システムは、ユーザ・インタフェースという通常の方法で視聴者によって出されるコマンドを解釈する手段を備え、オーディオ・ビジュアル・ストリームを出力する手段、例えば、TV画面及びスピーカも備える。
【実施例】
【００２２】
図1は、オーディオ/ビデオ・スプリッタ3が入力オーディオ・ビジュアル・ストリーム2のオーディオ・コンテンツ5をビデオ・コンテンツ6から分離する自動ダビング・システム1を示す。時間データ源4はタイミング情報をオーディオ5のストリームとビデオ6のストリームとに割り当てる。
【００２３】
オーディオ・ストリーム5は音声抽出器7に送り出され、音声抽出器は、音声コンテンツの複製を生成し、残りのオーディオ・コンテンツ8を遅延素子9に向けて送り、遅延素子では、残りのオーディオ・コンテンツが、後の段階で必要になるまで、記憶され、変更されない。音声コンテンツは音声プロファイラ10に送り出され、音声プロファイラは、音声ストリームの音声プロファイル11を生成し、これをタイミング情報とともに遅延素子12に、後の段階で必要になるまで記憶される。音声ストリームは音声・テキスト変換器13に送られ、音声・テキスト変換器では音声ストリームはディジタル形式における音声テキスト14に変換される。音声抽出器7、音声プロファイラ10及び音声・テキスト変換器13は、別個の装置であり得るが、通常、単一の装置、例えば、高度な音声認識システムとして実現されることのほうが多い。
【００２４】
音声テキスト14は更に、言語データベース17によって供給される言語情報16を用いて翻訳音声テキスト18を生成する翻訳器15に送り出される。
【００２５】
翻訳音声テキスト18は、遅延音声プロファイル20を用いて翻訳音声テキスト18を音声オーディオ・ストリーム21に合成する音声合成モジュール19に送り出される。
【００２６】
遅延素子22及び23は、ビデオ・ストリーム6上のタイミングのずれと翻訳音声オーディオ・ストリーム21上のタイミングのずれを打ち消すのに用いられる。遅延ビデオ・ストリーム24、遅延された翻訳音声オーディオ・ストリーム25及び遅延オーディオ・コンテンツ27は、オーディオ/ビデオ合成器26に入力され、オーディオ/ビデオ合成器は、付随するタイミング情報によって３つの入力ストリーム24、25、27の同期をとり、オーディオ/ビデオ合成器では、オーディオ・ストリーム27における元の音声コンテンツを翻訳オーディオ25によってオーバレイするか置き換え、元のオーディオ・ストリーム27の非音声コンテンツを変わらない状態にすることが可能である。オーディオ/ビデオ合成器26の出力は、ダビングされた出力オーディオ・ビジュアル・ストリーム28である。
【００２７】
図2は、音声コンテンツが入力オーディオ・ビジュアル・ストリーム2のオーディオ・コンテンツ5において識別され、図1において説明したものと同様な方法で処理されて、音声テキスト14をディジタル形式で生成する自動ダビング・システム1を示す。しかし、この場合には、音声コンテンツは残りのオーディオ・ストリーム8から分けて流される。
【００２８】
しかし、この例では、オープン・キャプションは、オーディオ・ビジュアル出力ストリーム28に備えるよう生成される。図1に表したように、音声テキスト14は翻訳器15に送り出され、翻訳器は音声テキスト14を第２の言語に、言語データベース17から得た情報16を用いて翻訳する。言語データベース17は、必要に応じて、最新の言語情報36をインターネット37から適切な接続を介してダウンロードすることによって更新することが可能である。
【００２９】
翻訳音声テキスト18は、音声合成モジュール19に送られ、オープン・キャプション・モジュール29にも送られ、オープン・キャプション・モジュールでは、元の音声テキスト14及び/又は翻訳音声テキスト18が、視聴者が行う選択によって、オープン・キャプションを表示するのにふさわしい形式で出力30に変換される。音声合成モジュール19は、音声プロファイル11と翻訳音声テキスト18とを用いて音声オーディオ21を生成する。
【００３０】
オーディオ合成器31は、合成音声出力21を残りのオーディオ・ストリーム8と合成して同期がとられたオーディオ出力32を生成する。オーディオ/ビデオ合成器26は、３つの入力32、6、30を適切な時間長、遅延させるバッファ33、34、35を用いることによってオーディオ・ストリーム32とビデオ・ストリーム6とオープン・キャプション30との同期をとって、出力オーディオ・ビジュアル・ストリーム28を生成する。
【００３１】
本発明は好適実施例とそれに対する変形との形態で開示したが、数多くの更なる修正及び変形をそれに、本発明の範囲から逸脱することなく行い得るということが分かる。
【００３２】
例えば、翻訳ツール及び言語データベースは、新たなバージョンをインターネットからダウンロードすることによって思い通りに更新又は置換することが可能である。このようにして、自動ダビング・システムは、電子翻訳における最新の動向を最大限に利用することが可能であり、新たな時事用語や商品名などの、選択した言語における最新の動向に遅れないでいることが可能である。更に、有名な俳優についての音声の自動音声認識の音声プロファイル及び/又は話者モデルは、メモリに記憶し、必要に応じて、例えば、インターネットからダウンロードすることによって更新してもよい。オーディオ・ビジュアル・ストリームにおいて符号化する対象の動画フィルムにおける主演の俳優に関するそのような情報を未来技術が可能にする場合、そのような俳優についての個々の話者モデルを自動音声認識に適用してもよく、正しい音声プロファイルを、選択した言語における俳優の音声の合成に割り当ててもよい。その場合、自動ダビング・システムは、それほど有名でない俳優についてのプロファイルを生成するだけでよいことになる。
【００３３】
更に、システムは、オーディオ・ビジュアル・ストリームの音声コンテンツにおける種々の音声のうちから選択する方法を用い得る。その場合、2つ以上の言語を特色として備えているフィルムの場合には、ユーザは、翻訳しダビングする対象の言語を規定し、残りの言語における音声コンテンツに影響を及ぼさない状態のままにすることが可能である。
【００３４】
本発明は、強力な学習ツールとして用いることも可能である。例えば、音声・テキスト変換器の出力は2つ以上の翻訳器に送り出すことが可能であるので、利用可能な言語データベースから選択される2つ以上の言語にテキストを変換することが可能である。翻訳テキスト・ストリームは、複数の音声合成器に更に送り出して、音声出力をいくつかの言語で出力することが可能である。同期をとった音声出力をいくつかのオーディオ出力に、例えば、ヘッドフォンを介して伝えることによって、いくつかの視聴者が同じ番組を視聴し、各視聴者がその番組を別々の言語で聴くことが可能になり得る。この実施例は、種々の言語を生徒に教えている語学学校において特に有用となり、オーディオ・ビジュアル情報が種々の国籍の視聴者に提示される博物館においても特に有用となる。
【００３５】
明確にするよう、本願を通して、「a」又は「an」を用いていることは複数形を排除するものでなく、「comprising」を用いていることは他の工程又は構成要素を排除するものでない。
【図面の簡単な説明】
【００３６】
【図１】本発明の第１の実施例による自動ダビングのシステムを示す構成略図である。
【図２】本発明の第２の実施例による自動ダビングのシステムを示す構成略図である。
【図１】
2006524856.tif 000003
【図２】
2006524856.tif 000004
【国際調査報告】
2006524856.tif 000005
2006524856.tif 000006
2006524856.tif 000007