(57)【要約】それぞれ少なくとも一つの関連付けられた属性をもつテキスト・データの複数の部分から発話を合成する方法および装置。本発明は、テキスト・データの各部分についての属性の値を決定し（２５、３５、４５）、決定された属性の値のそれぞれに基づいて複数の候補となる声から声を選択し（２７、３７、４７）、選択された声を使ってテキスト・データの各部分を合成された発話に変換する（２９、３９、４９）ことによって達成される。
2012512424.tif 000002
【特許請求の範囲】
【請求項１】
音声合成方法であって：
テキスト・データの複数の部分を受け取る段階であって、テキスト・データの各部分はそれに関連付けられた少なくとも一つの属性をもつ、段階と；
テキスト・データの前記部分のそれぞれについて少なくとも一つの属性の値を決定する段階と；
前記決定された属性の値のそれぞれに基づいて、複数の候補となる声から声を選択する段階と；
テキスト・データの各部分を、前記それぞれの選択された声を使って合成音声に変換する段階とを含む、
方法。
【請求項２】
請求項１記載の方法であって、テキスト・データの前記複数の部分を受け取る段階は、テキスト・データの複数の部分を含むクローズド字幕を受け取ることを含む、方法。
【請求項３】
請求項２記載の方法であって、テキスト・データの前記部分のそれぞれについて少なくとも一つの属性の値を決定する段階は、テキスト・データの前記部分のそれぞれについて、該テキスト・データの各部分に関連付けられたクローズド字幕内に含まれるコードを判別することを含む、方法。
【請求項４】
請求項１記載の方法であって、テキスト・データの複数の部分を受け取る段階は、クローズド字幕、レンダリング済み字幕またはオープン字幕をなすテキスト部分の少なくとも一つの視覚的表現をそれぞれ含んでいる複数の画像に対して光学式文字認識（OCR）または同様のパターン・マッチング技法を実行して、テキスト・データの複数の部分を提供することを含む、方法。
【請求項５】
請求項４記載の方法であって、テキスト・データの前記複数の部分の一つに対する前記少なくとも一つの属性は：
テキスト部分の前記視覚的表現の一つに対するテキスト特性；
テキスト部分の前記視覚的表現の一つの、前記画像中での位置；あるいは
それぞれの画像中のテキスト部分の前記視覚的表現の一つと同時再生するためのオーディオ信号のピッチを含む、
方法。
【請求項６】
前記候補となる声は、男性および女性の声および／またはそれぞれのボリュームが異なる声を含む、請求項１記載の方法。
【請求項７】
声を選択する段階は、前記複数の候補となる声から最良の声を選択することを含む、請求項１記載の方法。
【請求項８】
請求項１ないし７のうちいずれか一項記載の方法を実行するための複数のプログラム・コード部分を有するコンピュータ・プログラム・プロダクト。
【請求項９】
テキスト・データの複数の部分から発話を合成する装置であって、テキスト・データの各部分はそれに関連付けられた少なくとも一つの属性をもち、当該装置は：
テキスト・データの複数の部分のそれぞれについて少なくとも一つの属性の値を決定する値決定ユニットと；
前記決定された属性の値のそれぞれに基づいて、複数の候補となる声から声を選択する声選択ユニットと；
テキスト・データの各部分を、前記それぞれの選択された声を使って合成された発話に変換するテキスト‐発話変換器とを有する、
装置。
【請求項１０】
請求項９記載の装置であって、前記値決定ユニットは、テキスト・データの前記部分のそれぞれについて、該テキスト・データの各部分に関連付けられ、クローズド字幕内に含まれるコードを判別するコード判別手段を有する、装置。
【請求項１１】
請求項９記載の装置であって、クローズド字幕、レンダリング済み字幕またはオープン字幕をなすテキスト部分の少なくとも一つの視覚的表現をそれぞれ含んでいる複数の画像に対して光学式文字認識（OCR）または同様のパターン・マッチング技法を実行して、テキスト・データの前記複数の部分を提供するテキスト・データ抽出ユニットをさらに有する、装置。
【請求項１２】
請求項１１記載の装置であって、テキスト・データの前記複数の部分の一つに対する前記少なくとも一つの属性が：
テキスト部分の前記視覚的表現の一つに対するテキスト特性；
テキスト部分の前記視覚的表現の一つの、前記画像中での位置；あるいは
それぞれの画像中のテキスト部分の前記視覚的表現の一つと同時再生するためのオーディオ信号のピッチを含む、
装置。
【請求項１３】
前記候補となる声は、男性および女性の声および／またはそれぞれのボリュームが異なる声を含む、請求項９記載の装置。
【請求項１４】
前記声選択ユニットは、前記の決定された属性の値のそれぞれに基づいて、複数の候補となる声から最良の声を選択する、請求項９記載の装置。
【請求項１５】
請求項９ないし１３のうちいずれか一項記載の装置を含むオーディオ・ビジュアル・ディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成、より詳細にはテキスト・データの複数の部分から音声を合成するための方法および装置に関する。
【背景技術】
【０００２】
音声合成（speech  synthesis）、特にテキスト‐発話変換（text-to-speech  conversion）は当技術分野においてよく知られており、たとえばソース・テキストからの人の発話の人工的な生成を含む。このようにしてテキストは発話に変換され、これは文盲または弱視者にとって有用である。ソース・テキストの機械翻訳と組み合わせれば、テキスト‐発話変換は、外国語のテキストをユーザーの母語でオーディオ再生することをも許容しうる。
【０００３】
発話に変換されうるテキストの一つの形は字幕である。字幕は、テレビ番組または映画のようなビデオ項目の再生中に表示されるテキスト部分である。字幕は、当業者に広く知られている三つの主要な型がある：字幕テキストがもとのビデオ・ストリームからのビデオ・フレームとマージされて通常の仕方でその後表示するための最終的なビデオ・ストリームを生成する「オープン」字幕；字幕が、もとのビデオ・ストリームと一緒に見るために任意的に重ねられうる別個のビデオ・フレームとして記憶されている「レンダリング済み」字幕；字幕テキストがマークアップ・テキスト（すなわち、XMLやHTMLにおけるようにマークアップされた注記をもつテキスト）として記憶されていてもとのビデオ・ストリームと同期した再生を可能にする専用システムによって再生される「クローズド」字幕、たとえばテレテキスト字幕またはクローズド・キャプション情報である。
【０００４】
字幕テキストには、視聴者に対して追加的な情報を伝えるためにさまざまな記号やスタイルが適用されることが知られている。追加的な情報とは、テキスト部分が話されているのか歌われているのか、あるいはテキスト部分が発話ではなく音（たとえば、ドアのばたんという音やため息）を指すのかといったことである。さらに、字幕が多様な色で再生され、それぞれの色が所与の話者または話者グループを表すことが知られている。このようにして、聴覚障害者は、各話者に色を関連付けることによって、テレビ放送の際に話者の間の区別ができる。
【０００５】
字幕はまた、翻訳の目的のためにも使われる。たとえば、第一の言語の発話を含む映画は第二の言語の字幕が加えられることがありうる。それにより、第二の言語の読者が映画を鑑賞できる。しかしながら、この解決策は、第二の言語の話者であって読むのが困難な者（たとえば弱視のためまたは文盲のため）にとっては不十分である。映画制作者によって広く使われる一つの選択肢は、声優を使ってもとの発話に対して「ダビング」することであるが、これは高価で時間のかかるプロセスである。
【０００６】
現在の装置はいずれも、読むのに困難があるユーザーがテキストの形で呈示される異なるカテゴリーの情報を区別できるようにするものではない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、テキストの各カテゴリーまたは各カテゴリー・グループについてそれぞれの声で音声合成を提供することによって、ユーザーがテキストの異なるカテゴリーの間の区別をできるようにすることを意図している。
【課題を解決するための手段】
【０００８】
本発明の第一の側面によれば、音声合成方法であって：テキスト・データの複数の部分を受け取り、テキスト・データの各部分はそれに関連付けられた少なくとも一つの属性をもち；テキスト・データの前記部分のそれぞれについて少なくとも一つの属性の値を決定し；前記決定された属性の値のそれぞれに基づいて、複数の候補となる声から声を選択し；テキスト・データの各部分を、前記それぞれの選択された声を使って合成音声に変換することを含む方法が提供される。
【０００９】
このようにして、テキストの異なるカテゴリー（たとえば、異なる話者に関係する、あるいはセクションのタイトルや見出しかセクション内容かといった情報内容の異なるカテゴリーに関係する、）が互いに区別されることができる。
【００１０】
テキスト・データの前記複数の部分は、クローズド字幕内に（たとえばマークアップされたテキスト・データとして）含まれてもよい。さらに、テキスト・データの前記部分のそれぞれについて少なくとも一つの属性の値を決定することは、テキスト・データの前記部分のそれぞれについて、該テキスト・データの各部分に関連付けられたクローズド字幕内に含まれるコードを判別する（たとえば、マークアップされたテキスト・データへの注記を識別することによって）ことを含んでいてもよい。
【００１１】
あるいはまた、テキスト・データの複数の部分を受け取ることは、クローズド字幕、レンダリング済み字幕またはオープン字幕をなすテキスト部分の少なくとも一つの視覚的表現をそれぞれ含んでいる複数の画像（たとえばビデオのフレーム）に対して光学式文字認識（OCR:  optical  character  recognition）または同様のパターン・マッチング技法を実行して、テキスト・データの複数の部分を提供することを含んでいてもよい。さらに、テキスト・データの前記複数の部分の一つに対する前記少なくとも一つの属性は：テキスト部分の前記視覚的表現の一つに対するテキスト特性（たとえば、色、字体、フォント、フォントの重み（weight）、サイズもしくは幅、イタリックもしくはボールドといったフォント・スタイルなど）；テキスト部分の前記視覚的表現の一つの、前記画像中での位置（たとえば、ビデオ・フレームの左もしくは右または上もしくは下、あるいは画像中の別のテキスト部分の隣）；あるいはそれぞれの画像中のテキスト部分の前記視覚的表現の一つと同時再生するためのオーディオ信号のピッチ（たとえば、第二の言語に翻訳された前記テキスト部分のもとになった第一の言語での話者の声のピッチ）を含んでいてもよい。
【００１２】
前記候補となる声は、男性および女性の声、異なる訛りをもつ声および／またはそれぞれのピッチもしくはボリュームが異なる声を含んでいてもよい。
【００１３】
声を選択することは、前記複数の候補となる声から最良の（すなわち最も適切な）声を選択することを含んでいてもよい。たとえば、テキスト・データのある部分に関連付けられている属性が、前記テキストが大文字であることを示す場合、発話は、より高いボリュームで、あるいはより切迫した響きの声をもって合成されてもよい。同様に、属性がテキスト部分に先行する項（たとえば「[ささやき]」のような）の形である場合、発話はより低いボリュームで合成されてもよい。他方、テキストのある部分に関連付けられた属性が同時再生のためのオーディオ信号のボリュームまたはピッチに対応する場合、声は、合成された発話のボリュームまたはピッチが対応するよう選ばれる。あるいはまた、適切な声の選択は、自動選択の代わりに、あるいは自動選択をオーバーライドするために、ユーザーによってなされることもできる。
【００１４】
本発明の第二の側面によれば、上記の方法を実行するための複数のプログラム・コード部分を有するコンピュータ・プログラム・プロダクトが提供される。
【００１５】
本発明の第三の側面によれば、テキスト・データの複数の部分から発話を合成する装置であって、テキスト・データの各部分はそれに関連付けられた少なくとも一つの属性をもち、当該装置は：テキスト・データの複数の部分のそれぞれについて少なくとも一つの属性の値を決定する値決定ユニットと；前記決定された属性の値のそれぞれに基づいて、複数の候補となる声から声を選択する声選択ユニットと；テキスト・データの各部分を、前記それぞれの選択された声を使って合成された発話に変換するテキスト‐発話変換器とを有する装置が提供される。
【００１６】
前記値決定ユニットは、テキスト・データの前記部分のそれぞれについて、該テキスト・データの各部分に関連付けられ、クローズド字幕内に含まれるコードを判別するコード判別手段を有していてもよい。
【００１７】
あるいはまた、当該装置はさらに、クローズド字幕、レンダリング済み字幕またはオープン字幕をなすテキスト部分の少なくとも一つの視覚的表現をそれぞれ含んでいる複数の画像に対して光学式文字認識（OCR）または同様のパターン・マッチング技法を実行して、テキスト・データの前記複数の部分を提供するテキスト・データ抽出ユニットを有していてもよい。さらに、テキスト・データの前記複数の部分の一つに対する前記少なくとも一つの属性は：テキスト部分の前記視覚的表現の一つに対するテキスト特性（たとえば、色、字体、フォント、フォントの重み（weight）、サイズもしくは幅、イタリックもしくはボールドといったフォント・スタイルなど）；テキスト部分の前記視覚的表現の一つの、前記画像中での位置；あるいはそれぞれの画像中のテキスト部分の前記視覚的表現の一つと同時再生するためのオーディオ信号のピッチを含んでいてもよい。
【図面の簡単な説明】
【００１８】
本発明をよりよく理解するため、また本発明がどのようにして実施されうるかをより明確に示すため、例として、付属の図面が参照される。
【図１ａ】本発明の第一の実施形態に基づく装置を示す図である。
【図１ｂ】本発明の第二の実施形態に基づく装置を示す図である。
【図１ｃ】本発明の第三の実施形態に基づく装置を示す図である。
【図２】本発明の第四の実施形態に基づく装置を示す図である。
【図３ａ】本発明の第五の実施形態に基づく方法を記述するフローチャートである。
【図３ｂ】本発明の第六の実施形態に基づく方法を記述するフローチャートである。
【図３ｃ】本発明の第七の実施形態に基づく方法を記述するフローチャートである。
【発明を実施するための形態】
【００１９】
図１ａを参照するに、本発明のある実施形態に基づく装置１は、テキスト・データ抽出ユニット３、値決定ユニット５、声選択ユニット９、メモリ・ユニット１１およびテキスト‐発話変換器１３を有する。
【００２０】
装置１の入力端子１５は、テキスト・データ抽出ユニット３の入力および値決定ユニット５の入力に接続される。値決定ユニット５の出力は声選択ユニット９の入力に接続される。声選択ユニット９およびメモリ・ユニット１１は互いに動作可能に結合される。テキスト・データ抽出ユニット３および声選択ユニット９の出力は、テキスト‐発話変換器１３の入力に接続される。テキスト‐発話変換器１３の出力は、装置１の出力端子１７に接続される。
【００２１】
動作について見てみると、テキスト・データ抽出ユニット３は、入力端子１５を介してデータを受け取る。テキスト・データ抽出ユニット３は、受け取られたデータを処理してテキストの部分を抽出するよう構成される。抽出されたテキスト部分は次いでテキスト‐発話変換器１３に渡される。たとえば、データがオーディオ・ビジュアルまたはビデオ・ストリームである（そこからテキスト部分の視覚的表現を含む画像が取られる）、あるいは単にテキスト部分の視覚的表現を含む画像である場合には、テキスト・データ抽出ユニット３は、画像に対して光学的文字認識を実行してテキストの部分を抽出するよう構成される。抽出されたテキスト部分は次いで、テキスト‐発話変換器１３に渡される。代替的または追加的に、データが注記でマークアップされたテキストの形である場合には、テキスト抽出ユニット３は、注記付けされた（マークアップされた）テキストからテキストを抽出し、次いでこのテキストの部分をテキスト‐発話変換器１３に渡すよう構成される。
【００２２】
値決定ユニット５も、入力端子１５を介してデータを直接受け取るよう構成される。値決定ユニット５は、抽出されたテキスト部分の少なくとも一つの属性の値を、入力端子１５からのデータに基づいて決定するよう構成される。たとえば、データがオーディオ・ビジュアルまたはビデオ・ストリームである（そこからテキスト部分の視覚的表現を含む画像が取られる）、あるいは単にテキスト部分の視覚的表現を含む画像である場合には、値決定ユニット５は、画像中のテキスト特性を識別し、そのテキスト特性に値を割り当てるよう構成される。データがオーディオ・ビジュアル・ストリームである場合、値決定ユニット５は、オーディオ・ビジュアル・ストリームのオーディオ成分のピッチを識別し、そのピッチに関連付けられた値を選択するよう構成される。データが注記でマークアップされたテキストの形である場合には、値決定ユニット５は、特定の注記を識別し、その注記に値を割り当てるよう構成される。この値が次いで声選択ユニット９に送られる。
【００２３】
声選択ユニット９は、メモリ・ユニット１１に記憶されている複数の候補となる声から、上記値に基づいて、声を選択する。テキスト‐発話変換器１３は、標準的な技法を使って、テキスト・データ抽出ユニット３によって送達されたテキスト部分を、選択された声を使って発話に変換し、その発話が次いで出力端子１７において出力される。
【００２４】
図１ｂは、図１ａの装置１と同様の、本発明のある実施形態に基づく装置１′を示している。装置１′は、テキスト・データ抽出ユニット３′、値決定ユニット５′、声選択ユニット９、メモリ・ユニット１１およびテキスト‐発話変換器１３を有する。
【００２５】
装置１′の入力端子１５は、テキスト・データ抽出ユニット３′の入力に接続される。テキスト・データ抽出ユニット３′の一つの出力は、値決定ユニット５′の入力に接続される。値決定ユニット５′の出力は声選択ユニット９の入力に接続される。声選択ユニット９およびメモリ・ユニット１１は互いに動作可能に結合される。テキスト・データ抽出ユニット３′の第二の出力および声選択ユニット９の出力は、テキスト‐発話変換器１３の入力に接続される。テキスト‐発話変換器１３の出力は、装置１′の出力端子１７に接続される。
【００２６】
動作について見てみると、テキスト・データ抽出ユニット３′は、入力端子１５を介してデータを受け取る。テキスト・データ抽出ユニット３′は、受け取られたデータを処理してテキストの部分を抽出するよう構成される。抽出されたテキスト部分は次いでテキスト‐発話変換器１３に渡される。テキスト・データ抽出ユニット３′はまた、前記テキスト部分に関連付けられた属性を識別するようにも構成される。該属性は次いで値決定ユニット５′に渡される。たとえば、データがオーディオ・ビジュアルまたはビデオ・ストリームである（そこからテキスト部分の視覚的表現を含む画像が取られる）、あるいは単にテキスト部分の視覚的表現を含む画像である場合には、テキスト・データ抽出ユニット３′は、画像に対して光学的文字認識を実行してテキストの部分を抽出するよう構成される。抽出されたテキスト部分は次いで、テキスト‐発話変換器１３に渡される。テキスト・データ抽出ユニット３′はさらに、光学的文字認識を介して得られたテキストに付随する属性を識別するよう構成される。該属性は、画像中のテキストのテキスト特性、画像中のテキストの位置または画像に付随するオーディオ・ビジュアル・ストリームのオーディオ成分といったものである。次いでこの属性は値決定ユニット５′に渡される。
【００２７】
代替的または追加的に、データが注記でマークアップされたテキストの形である場合には、テキスト抽出ユニット３′は、注記付けされた（マークアップされた）テキストからテキストを抽出し、次いでこのテキストの部分をテキスト‐発話変換器１３に渡すよう構成される。テキスト・データ抽出ユニット３′はさらに、抽出を介して得られたテキストに関連付けられた注記を識別し、次いでこの注記を値決定ユニット５′に渡すよう構成される。
【００２８】
値決定ユニット５′は、テキスト抽出ユニット３′によって渡された属性の値を決定するよう構成される。
【００２９】
声選択ユニット９は、メモリ・ユニット１１に記憶されている複数の候補となる声から、上記値に基づいて、声を選択する。テキスト‐発話変換器１３は、この声を使って、テキスト・データ抽出ユニット３によって送達されたテキスト部分を発話に変換し、その発話が次いで出力端子１７において出力される。
【００３０】
上記二つの実施形態に対するさまざまな修正や両者の組み合わせが構想されている。たとえば、図１ｃは、本発明のある実施形態に基づく装置１″であって、テキスト・データ抽出ユニット３″、値決定ユニット５″、声選択ユニット９、メモリ・ユニット１１およびテキスト‐発話変換器１３を有する装置を示している。
【００３１】
装置１″の入力端子１５は、テキスト・データ抽出ユニット３″の入力および値決定ユニット５″の一つの入力に接続される。テキスト・データ抽出ユニット３″の一つの出力は、値決定ユニット５″の第二の入力に接続される。値決定ユニット５″の出力は声選択ユニット９の入力に接続される。声選択ユニット９およびメモリ・ユニット１１は互いに動作可能に結合される。テキスト・データ抽出ユニット３″の第二の出力および声選択ユニット９の出力は、テキスト‐発話変換器１３の入力に接続される。テキスト‐発話変換器１３の出力は、装置１″の出力端子１７に接続される。
【００３２】
この実施形態では、テキスト・データ抽出ユニット３″および値決定ユニット５″は、ユーザー選好または入力１５を介して受け取られるデータの形に依存して、図１ａまたは１ｂの構成のいずれかのように振る舞うよう構成される。
【００３３】
図２は、値決定ユニット５、声選択ユニット９、メモリ・ユニット１１およびテキスト‐発話変換器１９を有する装置２の形の本発明のさらなる代替的な実施形態を示している。
【００３４】
装置２の入力端子１５は、テキスト‐発話変換器１９の第一の入力および値決定ユニット５の入力に接続される。値決定ユニット５の出力は声選択ユニット９の入力に接続される。声選択ユニット９およびメモリ・ユニット１１は互いに動作可能に結合される。声選択ユニット９の出力は、テキスト‐発話変換器１９の第二の入力に接続される。テキスト‐発話変換器１９の出力は、装置２の出力端子１７に接続される。
【００３５】
動作について見てみると、テキスト‐発話変換器１９は、入力１５を介して受け取られたデータを直接解釈するよう構成され、それによりテキスト抽出ユニットの必要性をなくしている。
【００３６】
図面には示されていないが、本発明のさまざまな実施形態はさらに、当該装置とのユーザー対話のためのユーザー・インターフェース・デバイスを含む。そのような対話は、声選択ユニット９が、前記値決定ユニットの所与の出力について、メモリ・ユニット１１に記憶されている複数の候補となる声から最良の（すなわち最も適切な）声を選択することを含んでいてもよい。あるいはまた、最良の声の選択は、値決定ユニットの出力に基づいて、声選択ユニットによって自動的に達成されてもよい。
【００３７】
本発明のある実施形態に基づく一つの例示的な発話合成方法が図３ａのフローチャートに示されている。２１において、注記でマークアップされたテキストの部分が受け取られる。２３において、マークアップされたテキストの部分に関連付けられた注記が識別される。２５において、注記の値が決定される。２７において、複数の候補となる声から声が、上記の値に基づいて選択される。２８において、マークアップされたテキストの前記部分からプレーンテキストが抽出されて、プレーンテキストの部分を生じる。２９において、プレーンテキストの部分が、選択された声を使って、合成された発話に変換される。上記の諸ステップは次いで、異なる値が関連付けられた注記をもつ、マークアップされたテキストの新しい部分について反復される。
【００３８】
本発明のある実施形態に基づくもう一つの例示的な発話合成方法が図３ｂに示されている。３１において、ビデオのフレームに対して光学的文字認識が実行され、テキスト・データの部分および関連付けられた属性を与える。３６において、前記属性の値が決定される。３７において、複数の候補となる声から声が、上記の値に基づいて選択される。３９において、テキスト・データの前記部分が、選択された声を使って、合成された発話に変換される。上記の諸ステップは次いで、新しいビデオ・フレームについて反復される。
【００３９】
本発明のある実施形態に基づくさらなる例示的な発話合成方法が図３ｃに示されている。４１において、オーディオ・ビジュアル・ストリームのビデオ成分の画像に対して光学的文字認識が実行され、テキスト・データの部分が与えられる。４５において、前記フレームと同時に再生されるためのオーディオ・ビジュアル・ストリームのオーディオ成分のそれぞれのピッチが決定される。４７において、複数の候補となる声から声が、決定されたピッチに基づいて選択される。４９において、テキスト・データの前記部分が、選択された声を使って合成された発話に変換される。上記の諸ステップは次いで、新しい画像および関連付けられたオーディオ成分について反復される。
【００４０】
本発明の実施形態が付属の図面で例解され、上記の詳細な説明で記述されているが、本発明が開示される実施形態に限定されるものではなく、請求項に記載される本発明の範囲から外れることなく数多くの修正ができることは理解されるであろう。
【００４１】
当業者には明白であろうが、「手段」とは、単独であれ他の機能と関連してであれ、指定された機能を動作において再現するまたは指定された機能を再現するよう設計されている任意のハードウェア（別個のまたは集積された回路または電子素子のような）またはソフトウェア（プログラムまたはプログラムの諸部分のような）を含むことが意図されている。本発明は、いくつかの相異なる要素を含むハードウェアによって、および好適にプログラムされたコンピュータによって実装されることができる。いくつかの手段を列挙する装置請求項では、それらの手段のうちのいくつかが同一のハードウェア項目によって具現されることもできる。「コンピュータ・プログラム・プロダクト」は、フロッピー（登録商標）ディスクのようなコンピュータ可読媒体上に格納されている、インターネットのようなネットワークを介してダウンロード可能である、あるいは他の任意の仕方で市販可能な任意のソフトウェア・プロダクトを意味することが理解される。
【図１ａ】
2012512424.tif 000003
【図１ｂ】
2012512424.tif 000004
【図１ｃ】
2012512424.tif 000005
【図２】
2012512424.tif 000006
【図３ａ】
2012512424.tif 000007
【図３ｂ】
2012512424.tif 000008
【図３ｃ】
2012512424.tif 000009
【手続補正書】
【提出日】平成23年6月16日(2011.6.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画像に関連した音声合成方法であって：
前記複数の画像における再生のためのテキスト・データの複数の部分を受け取る段階であって、テキスト・データの各部分はそれに関連付けられた少なくとも一つの属性をもつ、段階と；
テキスト・データの前記部分のそれぞれについて少なくとも一つの属性の値を決定する段階であって、前記少なくとも一つの属性は、前記複数の画像からのそれぞれの画像におけるテキスト・データの前記部分と同時再生するためのオーディオ信号のピッチを含む、段階と；
前記決定された属性の値のそれぞれに基づいて、複数の候補となる声から声を選択する段階と；
テキスト・データの各部分を、前記それぞれの選択された声を使って合成音声に変換する段階とを含む、
方法。
【請求項２】
請求項１記載の方法であって、テキスト・データの前記複数の部分を受け取る段階は、テキスト・データの複数の部分を含むクローズド字幕を受け取ることを含む、方法。
【請求項３】
請求項２記載の方法であって、テキスト・データの前記部分のそれぞれについて少なくとも一つの属性の値を決定する段階は、テキスト・データの前記部分のそれぞれについて、該テキスト・データの各部分に関連付けられたクローズド字幕内に含まれるコードを判別することを含む、方法。
【請求項４】
請求項１記載の方法であって、テキスト・データの複数の部分を受け取る段階は、クローズド字幕、レンダリング済み字幕またはオープン字幕をなすテキスト部分の少なくとも一つの視覚的表現をそれぞれ含んでいる前記複数の画像に対して光学式文字認識（OCR）または同様のパターン・マッチング技法を実行して、テキスト・データの複数の部分を提供することを含む、方法。
【請求項５】
請求項４記載の方法であって、テキスト・データの前記複数の部分の一つに対する前記少なくとも一つの属性は：
テキスト部分の前記視覚的表現の一つに対するテキスト特性；
テキスト部分の前記視覚的表現の一つの、前記画像中での位置を含む、
方法。
【請求項６】
前記候補となる声は、男性および女性の声および／またはそれぞれのボリュームが異なる声を含む、請求項１記載の方法。
【請求項７】
声を選択する段階は、前記複数の候補となる声から最良の声を選択することを含む、請求項１記載の方法。
【請求項８】
請求項１ないし７のうちいずれか一項記載の方法を実行するための複数のプログラム・コード部分を有するコンピュータ・プログラム・プロダクト。
【請求項９】
複数の画像における再生のためのテキスト・データの複数の部分から前記複数の画像に関連した発話を合成する装置であって、テキスト・データの各部分はそれに関連付けられた少なくとも一つの属性をもち、当該装置は：
テキスト・データの複数の部分のそれぞれについて少なくとも一つの属性の値を決定する値決定ユニットであって、前記少なくとも一つの属性は、前記複数の画像からのそれぞれの画像におけるテキスト・データの前記部分と同時再生するためのオーディオ信号のピッチを含む、値決定ユニットと；
前記決定された属性の値のそれぞれに基づいて、複数の候補となる声から声を選択する声選択ユニットと；
テキスト・データの各部分を、前記それぞれの選択された声を使って合成された発話に変換するテキスト‐発話変換器とを有する、
装置。
【請求項１０】
請求項９記載の装置であって、前記値決定ユニットは、テキスト・データの前記部分のそれぞれについて、該テキスト・データの各部分に関連付けられ、クローズド字幕内に含まれるコードを判別するコード判別手段を有する、装置。
【請求項１１】
請求項９記載の装置であって、クローズド字幕、レンダリング済み字幕またはオープン字幕をなすテキスト部分の少なくとも一つの視覚的表現をそれぞれ含んでいる複数の画像に対して光学式文字認識（OCR）または同様のパターン・マッチング技法を実行して、テキスト・データの前記複数の部分を提供するテキスト・データ抽出ユニットをさらに有する、装置。
【請求項１２】
請求項１１記載の装置であって、テキスト・データの前記複数の部分の一つに対する前記少なくとも一つの属性が：
テキスト部分の前記視覚的表現の一つに対するテキスト特性；
テキスト部分の前記視覚的表現の一つの、前記画像中での位置を含む、
装置。
【請求項１３】
前記候補となる声は、男性および女性の声および／またはそれぞれのボリュームが異なる声を含む、請求項９記載の装置。
【請求項１４】
前記声選択ユニットは、前記の決定された属性の値のそれぞれに基づいて、複数の候補となる声から最良の声を選択する、請求項９記載の装置。
【請求項１５】
請求項９ないし１３のうちいずれか一項記載の装置を含むオーディオ・ビジュアル・ディスプレイ装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の第一の側面によれば、音声合成方法であって：テキスト・データの複数の部分を受け取り、テキスト・データの各部分はそれに関連付けられた少なくとも一つの属性をもち；テキスト・データの前記部分のそれぞれについて少なくとも一つの属性の値を決定し；前記決定された属性の値のそれぞれに基づいて、複数の候補となる声から声を選択し；テキスト・データの各部分を、前記それぞれの選択された声を使って合成音声に変換することを含む方法が提供される。前記少なくとも一つの属性は、それぞれの画像におけるテキスト部分と同時再生するためのオーディオ信号のピッチ（たとえば、第二の言語に翻訳された前記テキスト部分のもとになった第一の言語での話者の声のピッチ）を含む。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の第三の側面によれば、テキスト・データの複数の部分から発話を合成する装置であって、テキスト・データの各部分はそれに関連付けられた少なくとも一つの属性をもち、当該装置は：テキスト・データの複数の部分のそれぞれについて少なくとも一つの属性の値を決定する値決定ユニットと；前記決定された属性の値のそれぞれに基づいて、複数の候補となる声から声を選択する声選択ユニットと；テキスト・データの各部分を、前記それぞれの選択された声を使って合成された発話に変換するテキスト‐発話変換器とを有する装置が提供される。前記少なくとも一つの属性は、それぞれの画像におけるテキスト部分と同時再生するためのオーディオ信号のピッチ（たとえば、第二の言語に翻訳された前記テキスト部分のもとになった第一の言語での話者の声のピッチ）を含む。
【国際調査報告】
2012512424.tif 000010
2012512424.tif 000011
2012512424.tif 000012