(57)【特許請求の範囲】
【請求項１】
オーディオビジュアル再生システムであって、
混成媒体ストリームを分解して、映像ストリーム、音声ストリーム、そして、複数の字幕サブストリームを生成する混成媒体ストリーム分離器と、
映像ストリームを復号して、復号映像出力を生成する映像復号器と、
供給された復号映像出力を再生する映像再生プレーヤと、
音声ストリームを復号して、復号音声出力を生成する音声復号器と、
供給された復号音声出力を再生する音声再生プレーヤと、
複数の字幕サブストリームを復号して、複数の復号字幕出力を生成する字幕復号器であって、複数の復号字幕出力はそれぞれ外部ＰＤＡ(Personal Digital Assistant)装置に供給され、ＰＤＡ装置は供給された複数の復号字幕出力のうちいずれかを再生するという字幕復号器と、そして、
関連しあう媒体ストリームの復号および出力を同期させ、さらに復号字幕出力のうちいずれかを選択するユーザ入力を受け取り、前記字幕復号器に対して、ユーザコマンドユニットによって選択されたいずれかの復号字幕出力を前記外部ＰＤＡ装置に出力させる、という復号システムコントローラと、を有すること、
を特徴とするオーディオビジュアル再生システム。
【請求項２】
オーディオビジュアル再生システムであって、
混成媒体ストリームを分解して、映像ストリーム、音声ストリーム、そして、複数の字幕サブストリームを生成する混成媒体ストリーム分離器と、
映像ストリームを復号して、復号映像出力を生成する映像復号器と、
供給された復号映像出力を再生する映像再生プレーヤと、
音声ストリームを復号して、復号音声出力を生成する音声復号器と、
供給された復号音声出力を再生する音声再生プレーヤと、
複数の字幕サブストリームを復号して、複数の復号字幕出力を生成する字幕復号器と、
供給された複数の復号字幕出力のうちいずれかを再生するＰＤＡ(Personal Digital Assistant)装置と、そして、
関連しあう媒体ストリームの復号および出力を同期させ、さらに復号字幕出力のうちいずれかを選択するユーザ入力をユーザコマンドユニットから受け取り、前記字幕復号器に対して、選択されたいずれかの復号字幕出力を前記ＰＤＡ装置に出力させる、という復号システムコントローラと、を有すること、
を特徴とするオーディオビジュアル再生システム。
【請求項３】
混成媒体ストリーム分離器は、複数の映像ストリームと複数の音声ストリームとを生成し、映像復号器は複数の復号映像出力を復号し、音声復号器は複数の復号音声出力を復号し、復号システムコントローラは、複数のＰＤＡ(Personal Digital Assistant)のいずれかからのユーザ入力で、各ＰＤＡ装置において再生するために、復号映像出力のいずれか、音声復号出力のいずれか、復号字幕出力のいずれか、を選択することを可能にすること、
を特徴とする請求項２に記載のオーディオビジュアル再生システム。
【請求項４】
オーディオビジュアル再生方法であって、
混成媒体ストリーム分離器を用いて混成媒体ストリームを分解して、映像ストリーム、音声ストリーム、そして、複数の字幕サブストリームを生成するステップと、
映像復号器を用いて映像ストリームを復号して、復号映像出力を生成するステップと、
映像再生プレーヤを用いて、前記映像再生プレーヤに供給された復号映像出力を再生するステップと、
音声復号器を用いて音声ストリームを復号して復号音声出力を生成するステップと、
音声再生プレーヤを用いて、前記音声再生プレーヤに供給された復号音声出力を再生するステップと、
字幕復号器を用いて複数の字幕サブストリームを復号して、複数の復号字幕出力を生成するステップであって、複数の復号字幕出力はそれぞれ外部ＰＤＡ(Personal Digital Assistant)装置に供給され、前記ＰＤＡ装置は供給された複数の復号字幕出力のうちいずれかを再生するというステップと、
関連しあう媒体ストリームの復号および出力を同期させ、さらに復号字幕出力のうちいずれかを選択するユーザ入力をユーザコマンドユニットから受け取り、前記字幕復号器に対して、選択されたいずれかの復号字幕出力を前記ＰＤＡ装置に出力させるステップと、を有すること、
を特徴とするオーディオビジュアル再生方法。
【請求項５】
オーディオビジュアル再生方法であって、
混成媒体ストリーム分離器を用いて混成媒体ストリームを分解して、映像ストリーム、音声ストリーム、そして、複数の字幕サブストリームを生成するステップと、
映像復号器を用いて映像ストリームを復号して復号映像出力を生成するステップと、
映像再生プレーヤを用いて、前記映像再生プレーヤに供給された復号映像出力を再生するステップと、
音声復号器を用いて音声ストリームを復号して復号音声出力を生成するステップと、
音声再生プレーヤを用いて、前記音声再生プレーヤに供給された復号音声出力を再生するステップと、
字幕復号器を用いて複数の字幕サブストリームを復号して複数の復号字幕出力を生成するステップと、
ＰＤＡ(Personal Digital Assistant)装置を用いて、前記ＰＤＡ装置に供給された複数の復号字幕出力のうちいずれかを再生するステップと、そして、
関連しあう媒体ストリームの復号および出力を同期させ、さらに復号字幕出力のうちいずれかを選択するユーザ入力を、ユーザコマンドユニットから復号システムコントローラを用いて受け取り、前記字幕復号器に対して、選択されたいずれかの復号字幕出力を前記ＰＤＡ装置に出力させるステップと、を有すること、
を特徴とするオーディオビジュアル再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像、音声、そして字幕の各種データの再生に関し、さらに具体的に言えば、切替可能な型の複数データの同時再生に関する。
【背景技術】
【０００２】
概念レベルでは、配布およびＰＢ（playback）再生を目的に設計されるオーディオビジュアル（ＡＶ：Audio Visual）のマルチメディアコンテンツは、一般的に、１または複数のデータストリームから成り、こうしたストリームは、ＡＶコンテンツの配布および／またはＰＢ再生の標準に準拠した切替可能な成分またはサブストリームを複数含む。こうした標準によって指定されるプレーヤモデルでは、特定の型またはクラスのデータストリームから一度に再生できるサブストリームの数は１つに限られる。例えば、ある１つのＡＶアプリケーションに関して、利用できる音声サブストリームが複数ある場合でも、再生される音声サブストリームは選択された１つに限られる。
【０００３】
ＡＶアプリケーションは一般にデファクト標準に準拠しており、その結果、アプリケーションは一定の様態でプレーヤにより復号、再生表示することができる。現行のフォーマットとしては、デジタル多用途ディスク（DVD−Video）フォーマットがあり、さらに新しいものとして、高密度デジタル多用途ディスク（HD−DVD）フォーマットおよびブルーレイディスク（BD）パッケージフォーマットがある。こうしたデファクト標準によって概念モデルが指定され、そのため、個々のプレーヤは本モデルを使用して正しい復号動作を判定する。ＡＶアプリケーションは概念プレーヤモデルによって規定されるプラットフォームに合わせて、前記標準で規定されたデータフォーマット仕様で書かれ、その結果、プレーヤが異なってもＰＢ再生中の動作は同じになることが保証される。
【０００４】
しかし、このスキームには問題もある。それは、ＡＶアプリケーションのオーサリングを行おうとするコンテンツ製作者が、デファクト標準の確立後にプレーヤで実現された拡張機能や性能の向上分を利用することができない、ということである。例えば、グラフィックな再生表示データの位置は固定であり、「各ストリーム時に同時ＰＢ再生される媒体ストリームは１つだけ」と規定しているプレーヤモデルに基づいて、オーサリング時に予め定められている。デファクト標準は、ＡＶアプリケーションに含まれるメニューの設計が「再生のために選択されるサブストリームは各ストリーム型につき１つだけ」となっている点で、強化されている。
【０００５】
光記録媒体上に存在するＡＶアプリケーションは、例えば、いくつかの異なる型のデータストリームを含み、それらストリームは切替可能なサブストリームを有する、という場合が多い。例えば、音声型のデータストリームであれば、主音声サブストリーム、監督、俳優やプロデューサによるコメントのサブストリーム、そして、翻訳台詞サブストリームが含まれる場合がありうる。これらデータストリームは本質的に、視覚的または聴覚的なものである。こうしたＡＶアプリケーションでは、ＡＶアプリケーションのランタイム中の可視化のためにユーザが選択することのできるサブストリームの数は、１つのクラスまたは型のデータストリームに対して１つに限られる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、機能拡張したプレーヤモデルを提供して、サブストリームが複数あるにもかかわらず再生を１つのサブストリームに制限してしまう、というデファクト標準に従って製造された媒体の限界や問題を克服する必要がある。
【課題を解決するための手段】
【０００７】
特許請求の範囲で定義される本発明によれば、単一ストリーム復号を基礎とした既存のプレーヤモデルに関わる問題点を克服することができる。そのために、本発明では、ＡＶアプリケーション再生中に複数の切替可能サブストリームを同時に利用できるユーザインタフェース（ＵＩ）モデルおよびプレーヤモデル（ＰＭ）を規定する方法および装置について説明している。
【発明の効果】
【０００８】
本発明の技術革新によって、例えば光記録媒体などに格納された切替可能な複数のサブストリームを、ＡＶアプリケーションの再生中に同時に複数利用することが可能となり、それにより、こうしたデータに対する新しい使用モデルを、ＡＶアプリケーション自体によって規定されていたものに加えて、提供することができる。さらに、独立したデータストリームを関連付けて一体化する手段についでも説明する。これによっても、新たな使用モデルが提供される。複数のメディアデータストリームを同時に復号および可視化するシステムからは、いくつかの用途が得られる。
【０００９】
（１）言語教育
１つのＡＶアプリケーションに対して２つ以上の別個の字幕ストリームが利用可能となる。本発明に関するシステムの１つの実施の形態では、可視化対象の複数の字幕サブストリームと画面上のそれらの表示位置とを選択するオプションがユーザに提供される。各字幕ストリームは言語が異なっているので、本システムはユーザに有用な言語教育ツールを提供することができる。例えば、ユーザは、再生中にアジア言語の１つの字幕サブストリームと英語字幕サブストリームとを同時に表示するよう選択することができる。こうしたシステムのユーザは、英語字幕とアジア言語字幕との両方を同時に見ることができるので、言語学習の助けになる。
【００１０】
（２）個人別音声トラック
１つのＡＶアプリケーションに対して２つ以上の別個の音声ストリームが利用可能な場合、本発明に関する１つの実施の形態では、各ユーザに対し、個人別の音声ＰＢ再生システムと、その個人のＰＢ再生システム上で復号すべき音声ストリームの選択オプションとを提供することができる。この個人別音声ＰＢ再生システムについては、例えば、ヘッドホン付きラジオ受信機とすることができる。こうしたシステムは、同一のメディア再生表示が同時に複数のユーザに提供されている際に、翻訳台詞やコメントの音声ストリームを提供するのに有用である。
【００１１】
（３）個人別の視覚的な翻訳台詞
１つのＡＶアプリケーションに対して２つ以上の別個の字幕サブストリームが利用可能な場合、本発明に関する１つの実施の形態では、各ユーザに対し、個人別のディスプレイと、その個人ディスプレイ上で復号すべき字幕サブストリームの選択オプションとを提供することができる。これは、同一のメディア再生表示が同時に複数のユーザに提供されており、それらユーザは他のユーザが見たいとは望まないであろう特定の字幕サブストリームを見たいと望んでいる、という場合に個人別の翻訳台詞を提供する形で利用できる。これはまた、大勢が集まる場所（すなわち、メディア再生表示に特定の字幕ストリームを関連付けた形で見たいと望むユーザのグループが、複数の言語が共通に使われるユーザグループのために設置された１つの共通ディスプレイを見ている場所）でも有用であろう。
【発明を実施するための最良の形態】
【００１２】
本発明の本質、ならびに、その目的および効果は、添付の図面を参照しながら、これ以降の明細書の内容を熟考すれば容易に明らかになるであろう。当該図面において、同一の部品は全ての図を通じて同じ参照番号で示してある。
ここから、本発明の好ましい実施の形態について詳細に述べる。添付図面には、それらの例を図示してある。本発明については、好ましい実施の形態に関連付けて説明するが、本発明をこれらの実施の形態に限定する意図のないことは理解されるであろう。むしろ、意図としては、代替物、改造形、および同等物のうち、添付の特許請求の範囲によって規定される本発明の思想および範囲に含まれるであろうものまで包含している。
【００１３】
さらに、以下に示す本発明の詳細な説明においては、本発明を完全に理解してもらうために、多数の特定の詳細部について述べている。しかし、対象技術分野に関して通常の技術を有する者にとっては、これらの特定の詳細部なしで本発明を実施してもよいことは明らかであろう。さらに述べておくべきこととして、公知の方法、手順、構成要素、および回路について詳細な説明は行わなかった。本発明の側面を不必要に不明瞭にしないためである。
【００１４】
特許請求の範囲で定義した通り、本発明に含まれるユーザ選択モデルは、プレーヤモデルと結合された形での複数サブストリーム復号および／またはデータストリームの組合せを対象とし、現行技術のプレーヤの設計を拡張して、「複数の切替可能なサブストリームの復号を含み、ユーザ選択情報に基づいて行われる」という復号動作を組み込んだ形とするものである。ここに示す好ましい実施の形態に関する以下の説明では、ＡＶアプリケーションのランタイムの間に利用しようとする複数のサブストリームを選択するためのユーザ選択方法を教示しており、それは、ＡＶアプリケーション自体が備えているストリーム選択法と組み合わせて利用することができる。
【００１５】
さらに、ここに示す好ましい実施の形態によって教示されるユーザ選択方法は、２つ以上の切替可能サブストリームを含む新しいアプリケーション使用モデル、そして、ユーザ優先情報を組み込んだプレーヤモデルを提供することで、２つ以上の切替可能なサブストリームを復号および利用するフレームワークを提供する（そこでは、ＡＶアプリケーション自体はそうしたオプションを提供していない）。当該ユーザ選択方法は、オンスクリーンまたはオンデバイスでの選択によって実施してもよいし、あるいは、より簡単な形として遠隔制御装置上での直接のキー押下によって実施してもよい。
【００１６】
複数の切替可能サブストリームを同時に同じディスプレイ上で可視化しようとする場合には、視覚的サブストリームの表示位置を調整するためのユーザ選択方法が提供される。位置情報は、ＡＶアプリケーション自体によって提供され、サブストリームは特定の表示位置に現れるように設計されるのが一般的であろう。本発明は、プレーヤによって使われる情報を規定するためのユーザ選択モデルを提供することで、標準的な復号モデル（ＡＶアプリケーションが設計される時に準拠していた標準が規定するもの）の動作を変更し、視覚的サブストリームの位置に関するユーザ定義の優先度を取り入れる。一般的に、視覚的サブストリーム位置情報は、ＡＶアプリケーションのオーサリングの時点で予め定義される。
【００１７】
ユーザ優先情報については、視覚的サブストリームに関連付けられた位置情報と組み合わせて用いて、視覚的データ対するオフセット位置を提供してもよいし、サブストリームに関連付けられた位置情報の代わりに使用してもよい。さらに、同時に表示される複数の視覚的サブストリームは、表示に先立って単一のディスプレイユニット上で共にアルファオーバレイ（alpha overlay）される。視覚的サブストリームオーバレイ順序を決定するために、ユーザ選択方法およびプレーヤ機能を提供してもよい。そうすれば、ユーザはサブストリームの優先順位を決定する。また、プレーヤは優先順位の高い方のサブストリームを最後に（一番上に）オーバレイし、そのため、ディスプレイ上で同じエリアを共有している場合、優先順位の低い方のサブストリームは、はっきりとは見えなくなる。
【００１８】
複数の切替可能サブストリームを異なる装置上で同時に可視化しようとする場合、「ストリーム対装置」のユーザ選択方法が提供され、プレーヤモデルはそうした同時出力を組み込む形に機能拡張される。切替可能サブストリームをメインのＰＢ再生環境からリモートで可視化しようとする際は、サブストリーム送信手段と遠隔ＰＢ再生装置とが提供される。このことの説明の目的で、複数の異なる種類ストリーム（映像ストリーム、音声ストリーム、字幕ストリームなど）を含む混成媒体ストリームがさらに、これら種類のサブストリームを複数含むことにしてもよい。サブストリームという用語は、同じ種類の多数の同一ストリームを指す意味に用いており、必ずしも、特定の種類の混成媒体ストリーム（当該特定の種類のストリームが１つしか含まれていないもの）から区別するために用いているわけではない。
【００１９】
ここで図１を参照する。同図には、オーディオビジュアル（ＡＶ）データ再生用のＡＶ再生システム１００が第１の実施の形態として示してある。本実施の形態は、ディスプレイを１つ備えたＰＢ再生環境において、複数の字幕サブストリームが含まれる。再生システム１００はプレーヤモデルと考えてもよい。ＡＶプレーヤモデル１００は、混成媒体ソース１０４によって提供される混成媒体ストリーム１０２を受け取る。本実施の形態および他の実施の形態に関して、混成媒体ソース１０４は、固定メディア要素１０５（デジタル多用途ディスク（ＤＶＤ）、高密度デジタル多用途ディスク（ＨＤ ＤＶＤ）、またはブレーレイディスク（ＢＤ）光学媒体など）を対象としたプレーヤ装置とすることができる。
【００２０】
プレーヤ装置は、固定メディア要素１０５から情報を読み出し、混成媒体ストリーム１０２を生成することができる。また別の形として、混成媒体ソース１０４は、本実施の形態または他の実施の形態に関して、放送信号を受信するメディア受信機とすることもできる。放送信号としては、テレビ局によって送信される“Over-The-Air”（ＯＴＡ）信号などが可能であるが、別の送信元では、放送信号はケーブルサービスプロバイダからのケーブルベース信号などとすることもできる。メディア受信機は無線周波数（ＲＦ）信号を受信して、混成媒体ストリーム１０２を直接引き出したり、混成媒体ストリーム１０２を引き出す前に別のメディア装置に格納したりすることができる。
【００２１】
混成媒体ストリーム１０２は、映像データストリーム１０６、音声データストリーム１０８、そして、複数の字幕サブストリームを含む字幕データストリーム１１０を含む。ストリームおよびデータストリームという用語は、ここでの記述に関しては同義である。混成媒体ストリーム分離ユニット１１２は、混成媒体ストリーム１０２を受信し、復号システムコントローラ１７０から指示された形で、映像ストリーム１０６、音声ストリーム１０８、そして、複数の字幕サブストリームを含む字幕データストリーム１１０を抽出する。混成媒体ストリーム分離ユニット１１２は混成媒体ストリームバッファ１１４を有し、当該バッファ１１４は、混成媒体ストリーム１０２を受信および保存し、そして、バッファ状態混成媒体ストリーム１１６を生成する。バッファ状態混成媒体ストリーム１１６は混成媒体ストリーム復号器１１８に入力され、復号器１１８はバッファ状態混成媒体ストリーム１１６から映像サブストリーム１０６、音声サブストリーム１０８、そして字幕サブストリーム１１０を分離する。
【００２２】
映像復号ユニット１２０は、映像ストリーム１０６を受信し、復号映像出力１２２を生成する。映像復号ユニット１２０は映像バッファ１２４を有し、当該バッファ１２４は映像ストリーム１０６を受け取り、バッファ状態映像ストリーム１２６を生成する。映像復号器は、バッファ状態映像ストリーム１２６を受け取り、復号映像出力１２２を生成する。
【００２３】
音声復号ユニット１３０は、音声ストリーム１０８を受け取り、復号音声出力１３２を生成する。音声復号ユニット１３０は音声バッファ１３４を有し、当該バッファ１３４は音声ストリーム１０８を受け取り、バッファ状態音声ストリーム１３６を生成する。音声復号器１３８は、バッファ状態音声ストリーム１３６を受け取り、復号音声出力１３２を生成する。
【００２４】
本実施の形態における字幕復号ユニット１４０は、同時に複数の字幕サブストリームを復号し、これに対応する数の複数の復号字幕出力を生成する。当該字幕復号ユニット１４０は、複数の字幕サブストリームを含む字幕データストリーム１１０を受け取り、各字幕サブストリームをバッファして、これらに対応する複数のバッファ状態字幕サブストリームを生成する。
【００２５】
例えば、第１字幕サブストリームは第１字幕バッファ１４２によってバッファされ、バッファ状態第１字幕サブストリーム１４４が生成される。第１字幕復号器１４６は、バッファ状態の第１字幕サブストリーム１４４を受け取り、第１の復号字幕出力１４８を生成する。同じように、第２字幕サブストリームは第２字幕バッファ１５０によってバッファされ、バッファ状態の第２字幕サブストリーム１５２が生成される。第２字幕復号器１５４は、バッファ状態の第２字幕サブストリーム１５２を受け取り、第２の復号字幕出力１５６を生成する。このバッファおよび復号の処理は、ユーザが選択した字幕サブストリームの各々に対して行われる。ユーザが選択した字幕サブストリームによって表示配置が規定され、これは、どの字幕サブストリームが選択されたか、および、当該字幕サブストリームをどう表示するかを決定する。
【００２６】
ここで記述されているようなバッファおよび復号の処理は、あくまでも概念モデルに引き寄せたものである。現実に実施する場合には、ＡＶアプリケーションの同時ＰＢ再生の制約の範囲内で、２つ以上のストリームを復号できるハードウェア復号器を１つ利用してもよいし、ソフトウェアのみの復号プロセスを利用してもよい。同時復号という言葉は、別々の復号ユニットで平行して復号が行われることのみを意味するのではない。復号データをメディア再生表示の関連する同一部分の内で利用できるような形で、順次または平行して復号を行う能力のことを含んでいる。
【００２７】
映像可視化ユニット１５８は、復号映像出力１２２と複数の復号字幕出力（１４８，１５６）とを受け取り、可視化映像出力１６０を生成する。当該出力１６０は、選択された復号情報のオーバレイから成り、字幕サブストリーム選択器ユニット１７４および復号システムコントローラ１７０に提供されるユーザ定義の優先度情報に従って示される。可視化映像出力１６０は、複数の復号字幕出力を復号映像出力１２２の上へアルファオーバレイしたものである。復号音声出力１３２および可視化映像出力１６０は、音声再生ユニット１６４と映像再生ユニット１６６とを有する再生ユニット１６２に入力される。音声再生ユニット１６４は、復号音声出力１３２を受け取り、聞き取れる形で復号音声出力を再生する。映像再生ユニット１６６は、可視化映像出力１６０を受け取り、可視化映像出力１６０を目に見える形で再生する。
【００２８】
復号システムコントローラ１７０は、配置および同期のプロセスをＡＶ再生システム１００に提供する。ＡＶアプリケーションによって提供される所望のサブストリーム復号に関する情報に加えて、復号システムコントローラ１７０は、ユーザコマンドユニット１７２からユーザ優先情報を受け取る。ユーザコマンドユニット１７２は字幕サブストリームセレクタ１７４を有し、当該セレクタ１７４は、字幕サブストリームの選択に関する選択字幕サブストリームユーザ入力１７６を提供する。システムコントローラ１７０は、ＡＶアプリケーションから提供される字幕サブストリーム選択に加えてこの情報を使用する。そうして、プレーヤモデルによって支持される付加的なユーザ入力とＡＶアプリケーション情報との両方が一緒に使用されて、再生中にどのサブストリームを可視化するかが決定される。
【００２９】
ＡＶアプリケーションから提供される字幕サブストリーム選択の代わりに追加のユーザ入力を用い、それによって、どのサブストリームが復号されるかについては完全にプレーヤに制御させる、ということにしてもよい。ユーザコマンドユニット１７２については、字幕サブストリーム表示領域セレクタ１７８を有し、それによって、選択された字幕サブストリームに対して選択された表示位置に関する表示位置ユーザ入力１８０を提供することにしてもよい。この情報は、復号後字幕サブストリーム（１４８，１５８）の位置を決定するためにシステムコントローラ１７０が使用し、さらに、システムコントローラ１７０によって字幕復号器（１４６，１５４）に渡される。システムコントローラ１７０は字幕復号器（１４６、１５４）に信号を送ることで、ＡＶアプリケーションによって選択される実際の字幕サブストリームに含まれた情報に加えてユーザ入力が使用され、そうすることでビジュアルデータにオフセットを提供する、と通知する。
【００３０】
別の形として、ＡＶアプリケーションによって記述される表示位置情報（ビジュアルデータに関して絶対位置を提供するもの）の代わりに（そして、これを無視して）、ユーザ入力表示位置を使用してもよい。ユーザコマンドユニット１７２は、自動リピートユーザ入力１８４を提供する自動リピートセレクタ１８２を有することにしてもよい。当該入力１８４は、可視化映像出力１６０の所定部分に関して再生の自動リピートを命じるためのものであり、再生にあたっては、以前に再生された際と同じ表示配置とする場合もあれば、別の表示配置とする場合もある。別の表示配置の場合、同じ選択字幕の組合せ、または、異なる選択字幕の組合せとなる。ユーザ選択の字幕サブストリームは表示配置を規定し、当該表示配置は、どの字幕サブストリームが選択されるか、および、その字幕サブストリームがどのように表示されるかを決定する。自動リピートセレクタはユーザ入力を用いることで、混成媒体ストリームの所定部分を選択された表示配置で再生する処理を自動的にリピートする。
【００３１】
異なる表示配置の場合、ユーザは、ＰＢ再生の開始前またはランタイム中に、プレーヤメニューへのアクセスまたは遠隔制御キーの押下によって、その別の表示配置に関する情報を提供すればよい。自動リピートが生じると、システムコントローラ１７０は再生位置を、ユーザが定義した所定量だけさかのぼる方向にジャンプさせ、メディア再生表示においてユーザ定義ポイントまで、メディアソース１０４が規定した、または、メディア要素１０５に含まれるポイントまでジャンプさせる。ＡＶアプリケーションランタイム１９６は、ＰＢ再生中のＡＶアプリケーションについて現時点での状態を表す。そこには、命令の実行および結果の格納に用いられる仮想マシンの状態と共に、プレーヤ状態（復号中プロセスにある処理中サブストリームに関する情報を含むもの）が含まれる。ＡＶアプリケーションランタイム１９６は、ストリームのＰＢ再生に関し、復号システムコントローラ１７０に制御情報１９８を提供する。これには、ストリームを復号およびＰＢ再生しようとする場合、例えば、ＰＢ再生、ＰＢ再生の開始、ＰＢ再生の一時停止または停止、そして、トリックプレイ（早送り、巻戻し）の位置が含まれるが、これらに限定されるわけではない。
【００３２】
復号システムコントローラ１７０は、ＡＶ再生システム１００の各種資源に制御信号を提供するとともに、これらから状態情報を受け取る。復号システムコントローラ１７０は、媒体ソース信号１８６を介して混成媒体ソース１０４と連絡している。媒体ソース信号１８６には、混成媒体ソース１０４から復号システムコントローラ１７０への状態信号と並んで、復号システムコントローラ１７０から混成媒体ソース１０４に、混成媒体ソース１０４の操作を目的として送られる信号が含まれる。
【００３３】
状態信号は例えば、固定媒体要素１０５が混成媒体ソース１０４に挿入されており、読み出し可能な状態であることを示すことができる。また、状態信号は、放送信号が受信されたこと、または受信中であることを示す、としてもよい。また、復号システムコントローラ１７０は、混成媒体ソース内のコントローラに信号を発して、当該混成媒体ストリームに対し、挿入された固定媒体要素１０５からデータの読み出しを開始するように、あるいは、こうした要素の読み出しから得た情報を混成媒体ストリーム１０２として出力するように指示する、としてもよい。
【００３４】
復号システムコントローラ１７０は、媒体分離信号１８８を介して、混成媒体ストリーム分離ユニット１１２と連絡している。媒体分離信号１８８には、復号システムコントローラ１７０から混成媒体ストリーム分離ユニット１１２に対して送られる信号が含まれ、これは、ストリームバッファ１１４およびストリーム復号器１１８を動作させるためのものである。また、媒体分離信号１８８には、媒体ストリーム分離ユニット１１２から復号システムコントローラ１７０に送られる信号も含まれ、これは、混成媒体ストリームバッファ１１４の状態（例えば、混成媒体ストリームバッファ１１４が空状態か、半分埋まった状態か、完全に埋まった状態か）を示すためのものである。同様に、混成媒体ストリーム復号器１１８は、復号システムコントローラ１７０にステータス信号および情報を発するが、当該情報には例えば、ストリーム管理情報（フレーム境界情報など）、サブストリームの数および種類、そしてストリーム確認情報（チェックサムなど）が含まれる。
【００３５】
また、復号システムコントローラ１７０は同期機能を提供し、当該機能によって、関連しあう媒体ストリームの復号および出力は一致し、標準のフレーム境界に適合した形となる。ある標準によれば、再生中のフレームは０．５秒の間隔から成る。その他の標準では、別の時間関連制御と共に、異なる再生時間長を用いることもできる。例えば、一時停止機能を用いて、再生をその時点でのフレームで停止させることもできる。混成媒体ストリーム１０２が固定媒体要素１０５から来る場合には、復号システムコントローラはまた、固定媒体要素１０５からの読み出しも停止する。これは、混成媒体ストリームバッファ１１４に必要なサイズおよびコストを最小にするためである。
【００３６】
厳密な実装の詳細については、当業者には公知であり、本発明の新規性をあいまいにしないために、ここでは繰り返さない。本発明に関する更なる様々の好ましい特徴および実施の形態については、これ以降の部分で非限定的な実施例を参照しながら説明していく。
図２（Ａ）はフローチャートであり、高い次元で複数の字幕サブストリームを選択するためのユーザ選択モデルを示している。当該モデルでは、表示の優先順位はサブストリームの選択された順序と同じと仮定される。ユーザは、ステップ２０２において複数の字幕サブストリームの選択が可能となる。これは、特にプログラムされた遠隔制御装置でのキー押下によって実現されるものとする。当該装置はＡＶ再生システム１００と連絡するが、その手段としては、赤外線光チャネルを用いてもよいし、ＡＶ再生システム自体の制御パネルユーザインタフェース（図示せず）で直接情報を入力してもよい。例えば、ユーザは遠隔制御ユニットまたは制御パネルにあるボタンを１つ以上押すことにより、複数の字幕を選択可能にし、そこから、どの字幕ストリームを表示させるかを選択できる。
【００３７】
さらに別の形として、ユーザはスクリーン上のメニューを介してこの優先情報を入力することができる。ステップ２０２において複数のサブストリームの選択が可能になった後、ユーザは第１のストリームのための表示領域を選択する。この選択の後、ステップ２０６において、選択された字幕は表示のできる状態になっている。同様に、第２の字幕ストリームを選択する場合、ユーザはステップ２０２において複数のサブストリームの選択が可能となり、その後、ステップ２０８において第２のストリームのために表示領域を設定する。この選択の後、ステップ２０６において、選択された字幕は表示のできる状態になっている。その際、最も高い表示優先順位は第１のサブストリームに割り当てられており、その次の表示優先順位が第２の字幕サブストリームに割り当てられている。このプロセスは、続いて選択される後続のサブストリームに対しても繰り返され、それらの表示における優先順位は段々低くなっていく。
【００３８】
別の選択モードでは、複数の字幕サブストリームが選択された後、選択された字幕サブストリームの各々についての表示優先順位を、ユーザが自ら図２（Ｂ）に示すように設定する。複数のサブストリームの選択がステップ２０２において可能になった後、第１のストリームがステップ２１０において選択され、表示優先順位はステップ２１２において設定される。設定の方法については、遠隔操作装置上で置数キーを用いて可変数値を入力してもよいし、選択された字幕の各々に対し、表示用の固定選択値パレット（「高」、「通常」、「低」など）から選択してもよい。選択されたサブストリームに対して優先順位の設定が完了すると、選択された複数の字幕ストリームは、ステップ２１４において表示できる状態となっている。同様に、複数のサブストリームの選択がステップ２０２において可能となってから、第２のストリームがステップ２１６において選択されると、ステップ２１８では表示優先順位が設定される。このプロセスは、選択されたサブストリームの各々に対して繰り返される。
【００３９】
すでに規定された字幕サブストリームに対する優先順位と同じ順位が後続の別のサブストリームに設定された場合には、エラー状態を発生させる。設定手順を実行しているユーザへのフィードバックは、映像再生ユニット１６６または遠隔装置で視覚的に示すことができる。複数の字幕サブストリームが選択された後、選択された字幕サブストリームの各々についての表示領域を、ユーザは図２（Ｃ）に示すように設定する。第１の字幕サブストリームに関する表示位置はステップ２２２で設定する。これは、選択された字幕の各々に対し表示領域用の固定選択値パレット（「下側中央」、「上側中央」、「上側右」、「上側左」、「下側右」、「下側左」など）から選択する、という形で実現すればよい。また、すでに選択された表示領域にかぶる形で後続のサブストリームに関する設定が行われた場合にも、エラー状態を発生させる。こうした設定手順を実行しているユーザへのフィードバックは、映像再生ユニット１６６で視覚的に示すことができる。
【００４０】
複数の字幕サブストリームを選択したうえで選択したサブストリームの表示領域を選択する方法としては、さらに図２（Ｃ）に示すものがある。複数のサブストリームの選択がステップ２０２において可能となった後、第１のストリームがステップ２２０において選択されると、ステップ２２２では、図２（Ａ）を見ながら説明した形で表示領域を設定する。第１のストリームの選択および当該第１のストリームに関する表示領域の選択が完了すると、第１の選択された字幕ストリームはステップ２２４において表示が可能な状態となる。複数のサブストリームの選択がステップ２０２において可能となり、第２のストリームがステップ２２６において選択されると、ステップ２２８では表示領域を設定できる。第２のストリームの選択および当該第２のストリームについての表示領域の選択が完了すると、第２の選択された字幕ストリームはステップ２２４において表示が可能な状態になる。
【００４１】
また別の形として、可視化位置については柔軟にし、ユーザ入力に基づいて決定してもよい。ユーザ入力には、アンカーポイント（つまり、可視化ボックスの左下隅）を、表示画面上でのＸ−Ｙ（縦横）位置の決定を可能にするユーザ入力に基づいて、画面上の特定の点に配置することも含まれる。こうした選択肢は、選択された混成媒体ソース１０４へのアクセスに先立って、初期化または設定のプロセスの一部としてユーザに提示することができる。
【００４２】
表示位置／領域の選択肢は、選択された混成媒体ソース１０４へのアクセスに先立って、または、ＡＶプレゼンテーションのＰＢ再生に先立って、初期化または設定のプロセスの一部としてユーザに提示することができる。あるいは、ＡＶアプリケーションのＰＢ再生の間にユーザに提示することもできるが、その場合、ＡＶ再生表示のＰＢ再生は中断されず、ユーザは、字幕サブストリームをどの領域に割り当てるかを動的に選択することができる。
【００４３】
画面上および遠隔ディスプレイの両方で、ユーザに字幕選択肢を提示するための手段として可能なものを図２（Ｄ）に示す。複数字幕ストリーム再生機能は、ステップ２０２において利用可能となる。複数の字幕ストリームが可能になれば、ステップ２３０において、複数サブストリームのユーザ選択のためのプレーヤモードに入る。ステップ２３２では、利用可能な字幕ストリームが決定される。ステップ２３４において、プレーヤは、字幕サブストリームに関連する言語および／または目的の記述を用いて、ＡＶ再生表示中に使用される複数の字幕サブストリームの選択に関するオプションを、スクリーン上でユーザに提示することができる。
【００４４】
この情報が決定されると、ステップ２３６において字幕ストリーム選択がユーザに提示される。利用できる言語および／または目的の情報がない場合、プレーヤは自動的に別のコード値を各ストリームに割り当てることができる。選択の対象になる字幕サブストリームがない場合、再生システムはステップ２３８において通常のＰＢ再生モードに入ることができる。選択対象の字幕サブストリームがある場合、ユーザはステップ２４０における字幕サブストリームの選択に進む。
【００４５】
あるいは、こうした情報については、予め決められた技術を用いてオーサリングの段階で得ることも可能であろう。その場合、ＡＶアプリケーションをオーサリングする際には、ＡＶアプリケーションによる字幕サブストリームの設定のための特定プロセスが後に続く。このことは、リザーブフィールドにおける特定の値を用いることで、あるいは、特定の構造シーケンス（例えば通常のオーサリング条件下では生じそうにないもの）を提供することによって達成することができる。そうして、プレーヤは、プレーヤが生成するメニューの代わりにＡＶアプリケーションメニューを使用することで、複数のストリームを設定するためのオプションをユーザに提供することができる。ユーザがメニューから項目を選択するたびに、プレーヤはチェックを行って、特定のレジスタが設定されたか否か確認し、もしそうならば、それに対応する字幕サブストリームを表示対象サブストリームリストに加える。プレーヤは、プレーヤ特定のディスプレイまたはスクリーン上のメニューを用いて、ユーザにフィードバックを表示することができるであろう。
【００４６】
（例１）１つのＡＶアプリケーションに対し、２つ以上のユニークな字幕サブストリームを使用できる。システムはユーザに対し、どの字幕サブストリームを可視化するか、そして、その各々をスクリーン上のどの場所に表示するか、に関するオプションを提供する。本実施の形態に関し、図１はプレーヤモデルを図示し、一方、図２、３はユーザモデルを示している。
【００４７】
（例２）例えば、各字幕ストリームが異なる言語であり、本システムはユーザに対し有用な言語教育ツールを提供する、という形にすることができる。すなわち、ユーザは２つの字幕サブストリームを同時に見て、一方の字幕サブストリームを他方のリファレンスとして用いる。本例の用法は特にアジア市場において有用であり、例えば、英語および日本語の字幕ストリームを同時に表示する形が可能である。もちろん、混成媒体ストリームから利用可能な言語の中から、どの２つを選んでもかまわない。さらに、ユーザ選択に従い、３つ以上の字幕サブストリームを表示することにしてもよい。
【００４８】
図５（Ａ）、（Ｂ）は本用法の例を示しており、２つの字幕サブストリームが２つの異なる配置で示されている。図５（Ａ）に示す例は、２つの字幕ストリームが上側の定位置、下側の定位置に表示される、というものである。ＡＶ再生システム１００は、特別にプログラムされた遠隔操作装置ユニット５０２を介してプログラムされる。遠隔操作装置ユニット５０２にある第１のキーを用いた場合、図５（Ａ）を見ながら説明する形で複数の字幕サブストリームを利用できる。この場合、第１の選択された字幕サブストリーム５０４はディスプレイの下側部分のあたりに位置づけられ、一方、第２の選択された字幕サブストリーム５０６はディスプレイの上側部分のあたりに位置づけられる。第１の字幕サブストリームの位置については、デフォルト値として、映像再生ユニット１６６のディスプレイの下側近くに置く、とすることができる。
【００４９】
同様に、図５（Ｂ）が示す例では、上で述べたように選択された２つの字幕ストリームが、隣り合った配置の２つの定位置に表示される。この場合、第１の選択された字幕サブストリーム５０８はディスプレイの下側左のあたりに位置づけられ、一方、第２の選択された字幕サブストリーム５１０はディスプレイの下側右のあたりに位置づけられる。ユーザは、特別にプログラムされた遠隔制御装置５０２において特定のキーを押下することで、これら２つの表示様態の「切替」を行うことができる。ユーザが選択した字幕サブストリームは表示配置を規定し、当該配置は選択対象の字幕サブストリーム、および、当該字幕サブストリームがどのように表示されるかを決定する。図５（Ａ）は第１の表示配置を規定している。図５（Ｂ）は第２の表示配置を規定している。自動リピートセレクタはユーザ入力を用いて、混成媒体ストリームのうち予め決められた部分を、選択された表示配置で自動的に繰り返し再生する。そして、予め決められた第１および第２の表示配置の間で切替を行うことができる。
【００５０】
業界標準の１つによれば、DVD-Videoアプリケーションには最大で３２の字幕サブストリームを格納できる。現在、DVD-VideoプレーヤがDVD-Videoアプリケーションのランタイム中に再生できる字幕ストリームまたはサブストリームは１つだけである。本発明の技術革新をDVD-Videoに適用すると、同時に複数の字幕サブストリームを再生する方法が規定でき、それによって、有用な言語教育ツールを提供することができる。
【００５１】
次いで図４を参照する。ここに示すのは、第２の実施の形態におけるオーディオビジュアル（ＡＶ）データ再生用のＡＶ再生システム４００である。本システムは、映像再生ユニットと複数の音声再生ユニットとを備えたプレーヤモデルで、複数の音声サブストリームを含む。ＡＶ再生システム４００は、混成媒体ソース１０４によって提供される混成媒体ストリーム１０２を受け取る。混成媒体ソース１０４としては、デジタル多用途ディスク（ＤＶＤ）やBlue-rayディスク（ＢＤ）など固定メディア要素４０５を対象としたプレーヤ装置が考えられる。プレーヤ装置は、固定メディア要素４０５から情報を読み出し、混成媒体ストリーム４０２を生成することができる。
【００５２】
混成媒体ストリーム４０２は、映像ストリーム１０６、複数の音声サブストリームを含む音声ストリーム１０８、そして、字幕ストリーム１１０を含む。混成媒体ストリーム分離ユニット１１２は、混成媒体ストリーム１０２を受け取り、復号システムコントローラ１７０から指示された形で、映像ストリーム１０６、複数の音声サブストリーム４０６、そして字幕ストリーム４０４を生成する。混成媒体ストリーム分離ユニット１１２は、混成媒体ストリームバッファ１１４を有し、これは、混成媒体ストリーム１０２を受け取って保存し、バッファ混成媒体ストリーム１１６を生成する。バッファ混成媒体ストリーム１１６は混成媒体ストリーム復号器１１８に入力され、当該復号器１１８はバッファ混成媒体ストリーム１１６から、映像ストリーム１０６、複数の音声サブストリーム４０６、そして字幕ストリーム４０４を分離する。
【００５３】
映像復号ユニット１２０は映像ストリーム１０６を受け取り、復号映像出力１２２を生成する。映像復号ユニット１２０は映像バッファ１２４を有し、当該バッファは映像ストリーム１０６を受け取り、バッファ映像ストリーム１２６を生成する。映像復号器はバッファ映像ストリーム１２６を受け取り、復号映像出力１２２を生成する。
本実施の形態の音声復号ユニット４１２は、同時に複数の音声サブストリームを復号して、それらに対応した複数の復号音声出力を生成する。音声復号ユニット４１２は、複数の音声サブストリームを含む音声ストリーム４０６を受け取り、各音声サブストリームをバッファして、これらに対応する複数のバッファ音声サブストリームを生成する。
【００５４】
例えば、第１の音声サブストリームは第１の音声バッファ４３４によってバッファされ、第１のバッファ音声サブストリーム４３６が生成される。第１の音声復号器４３８は、第１のバッファ音声サブストリーム４３６を受け取り、第１の復号音声出力４３２を生成する。同様に、第２の音声サブストリームは第２の音声バッファ４４０によってバッファされ、第２のバッファ音声サブストリーム４４２が生成される。第２の音声復号器４４４は、第２のバッファ音声サブストリーム４４２を受け取り、第２の復号音声出力４４８を生成する。
【００５５】
このバッファおよび復号の処理は、ユーザが選択した音声サブストリームの各々に対して行われる。このバッファおよび復号の処理は概念モデルの説明だけを意図したものである。一方、現実に実施する場合は、リアルタイムのＡＶアプリケーショＰＢ再生によってもたらされる制約の範囲内で２つ以上のストリームを復号することができる１つのハードウェア復号装置、または、ソフトウェアのみの復号プロセスを利用すればよい。
【００５６】
字幕復号ユニット４０８は音声ストリーム４０４を受け取り、復号音声出力１４８を生成する。字幕復号ユニット４０８は字幕バッファ１４２を有し、当該バッファ１４２は字幕ストリーム４０４を受け取ってバッファ字幕ストリーム１４４を生成する。字幕復号器１４６は、バッファ字幕ストリーム１４４を受け取って復号字幕出力１４８を生成する。
映像可視化ユニット１５８は、復号映像出力１２２および復号字幕出力１４８を受け取って可視化映像出力４１０を生成する。可視化映像出力４１０は、復号映像出力１２２に復号字幕出力１４８をオーバレイしたものであり、映像再生ユニット１６６に入力することができる。映像再生ユニット１６６は、視覚的な形での再生のために可視化映像出力４１０を受け取る。複数の復号音声出力（４３２，４４８）は各々、複数の音声再生ユニット４２０のうち１つに入力される。例えば、音声再生ユニット４２０は、復号音声出力４３２を受け取って、聞き取れる形に復号音声出力４３２を再生する。
【００５７】
音声再生ユニット４２０は、ヘッドホンおよびＰＢ再生復号器を含む遠隔音声プレーヤとすることができる。複数の復号音声出力（４３２，４４８）にはステレオストリームを含ませることができ、その場合は、２つのモノラルストリームが復号されて相補的な形で再生される。本実施の形態では、複数のユーザが、１つ以上の選択された音声ストリームを聴きながら、映像再生ユニット１６６上で再生される映像を見ることができる。これによって、例えば、複数のユーザが、共通の映像再生ユニット１６６を見ながら希望する言語で音声サブストリームを聴く、という形が可能となる。
【００５８】
復号システムコントローラ１７０は、第２の実施の形態のＡＶ再生システム４００に配置および同期を提供する。復号システムコントローラ１７０は、ＡＶアプリケーションから提供される、所望のサブストリーム復号に関する情報に加えて、ユーザコマンドユニット４１からユーザ優先情報を受け取る。ユーザコマンドユニット４１４はマルチ音声セレクタ４１６を有し、当該セレクタは、音声サブストリームの選択に関する、選択音声サブストリームユーザ入力４１８を提供する。音声サブストリームという用語は、音声型の複数のストリームを意味するものである。第２の実施の形態における個々の音声サブストリームは、第１の実施の形態における単一の音声ストリームとフォーマットの点では同一である。同様に、第１の実施の形態における個々の字幕サブストリームは、第２の実施の形態における字幕ストリームとフォーマットの点で同一である。
【００５９】
図６は、複数の音声サブストリームを選択するユーザ選択の方法を示すフローチャートである。ユーザはステップ６０２において複数の音声ストリームの選択が可能となり、これはステップ２０２に関して説明したのと同様である。選択された音声サブストリームは各々、特定の音声再生ユニットに割り当てられる。例えば、第１の音声サブストリームとして選択された音声サブストリームは、ステップ６０４において表示の用意ができる。第１の音声サブストリームが選択されると、それはステップ６０６において第１の音声再生ユニットに割り当てられる。同様に、第２のサブストリームとして選択された音声サブストリームは、ステップ６０８において表示の用意ができる。第２のサブストリームが選択されると、それはステップ６１０において第２のディスプレイユニットに割り当てられる。このプロセスは、選択された音声サブストリームの各々に対して繰り返される。
【００６０】
（例３）１つのＡＶアプリケーションに対して、２つ以上のユニークな音声サブストリームが利用できる。システムは各ユーザに対し、個人用の音声ＰＢ再生システム（例：ヘッドホン）と、彼らの個人用音声ＰＢシステムで復号する音声サブストリームに関するオプションとを提供する。図４は、ヘッドホンではなく遠隔ＰＢ再生装置が使われる場合のプレーヤモデルを示す。図６は、本例の場合のユーザモデルを示す。本例の用法は、同一の媒体再生表示が複数のユーザに同時に提供される場合に、翻訳台詞やコメントの音声ストリームを提供するのに役立つであろう。
【００６１】
（例４）業界標準によれば、DVD-Videoアプリケーションは、最高で８つの音声サブストリームを含むことができる。現在、DVD-VideoプレーヤがDVD-Videoアプリケーションのランタイム中にＰＢ再生することができる音声サブストリームは１つだけである。本発明は、標準DVD-Videoに適用された場合、複数の音声ストリームを同時に再現する装置および方法を規定し、DVD-Videoアプリケーションの再生表示時に個人別の音声ストリームを送り出すのに利用できるツールを提供する。
【００６２】
次いで図７を参照する。ここに示すのは第３の実施の形態におけるオーディオビジュアル（ＡＶ）データ再生用のＡＶ再生システム７００であり、これは、複数の映像再生ユニットを有するプレーヤモデルで、複数の字幕サブストリームを含む。ＡＶ再生システム７００は、混成媒体ソース１０４によって提供される混成媒体ストリーム１０２を受け取る。
【００６３】
混成媒体ストリーム１０２は、映像ストリーム１０６、音声ストリーム１０８、そして、複数の字幕サブストリームを有する字幕ストリーム１１０を含む。混成媒体ストリーム分離ユニット１１２は、混成媒体ストリーム１０２を受け取り、映像ストリーム１０６、音声ストリーム１０８、そして、複数の字幕サブストリームを生成する。混成媒体ストリーム分離ユニット１１２は混成媒体ストリームバッファ１１４を有し、当該バッファ１１４は、混成媒体ストリーム１０２を受け取って保存し、バッファ混成媒体ストリーム１１６を生成する。バッファ混成媒体ストリーム１１６は混成媒体ストリーム復号器１１８に入力される。そして復号器１１８は、映像ストリーム１０６、音声ストリーム１０８、そして字幕ストリーム１１０をバッファ混成媒体ストリーム１１６から分離する。
【００６４】
映像復号ユニット１２０は、映像ストリーム１０６を受け取り、復号映像出力１２２を生成する。音声復号ユニット１３０は、音声ストリーム１０８を受け取り、復号音声出力１３２を生成する。本実施の形態における字幕復号ユニット１４０は、同時に複数の字幕サブストリームを復号し、これらに対応する複数の復号字幕出力（１４８，１５６）を生成する。こうしたバッファおよび復号の処理は、ユーザが選択した「ｎ」個の字幕サブストリームの各々に対して行われる。
【００６５】
複数の映像可視化ユニット（１５８，７０２）はそれぞれ、復号映像出力１２２および複数の復号字幕出力（１４８，１５６）を受け取り、複数の可視化映像出力（１６０，７０２）が生成される。可視化映像出力（１６０，７０２）は各々が、対応する復号字幕出力（１４８，１５６）を復号映像出力１２２にオーバレイしたものである。復号音声出力１３２および可視化映像出力１６０は、音声再生ユニット１６４と映像再生ユニット１６６とを有する再生ユニット１６２に入力される。音声再生ユニット１６４は、復号音声出力１３２を受け取り、聞き取れる形で復号音声出力を再生する。映像再生ユニット（１６６，７０６）は、可視化映像出力１６０，７０２を受け取り、視覚的な形で可視化映像出力１６０，７０２を再生する。
【００６６】
復号システムコントローラ１７０は、ＡＶ再生システム７００に配置および同期を提供する。ＡＶアプリケーションによって提供される、所望のサブストリーム復号に関する情報に加えて、復号システムコントローラ１７０は、ユーザコマンドユニット１７２からユーザ優先情報を受け取る。ユーザコマンドユニット１７２は字幕サブストリームセレクタ１７４を有し、当該セレクタ１７４は、字幕サブストリームの選択に関する選択字幕サブストリームユーザ入力１７６を提供する。ユーザコマンドユニット１７２には字幕サブストリーム表示領域セレクタ１７８を持たせることができ、当該セレクタは、選択された字幕サブストリームを対象とした選択表示位置に関する表示位置ユーザ入力１８０を提供する。
【００６７】
ユーザコマンドユニット１７２にはさらに、自動リピートセレクタ１８２を持たせることができる。当該セレクタ１８２は、オートリピートユーザ入力１８４を提供する。これは、可視化映像出力１６０の予め決められた部分の再生の自動リピートを命令するものである。再生の際の表示配置は、前回の再生と同じ様態、あるいは、同じ選択字幕の組合せ、または別の選択字幕の組合せを示す別配置となる。
【００６８】
図３のフローチャートは、複数の映像再生ユニット上で複数の字幕サブストリームを可視化するためのユーザ選択方法を示す。上で述べたとおり、ユーザはステップ２０２において複数の字幕ストリームの選択が可能となる。選択された字幕ストリームの各々は、特定の映像再生ユニットに割り当てられる。例えば、第１の字幕サブストリームとして選択された字幕サブストリームは、ステップ３０２で表示可能な状態となる。第１の字幕サブストリームが選択されると、それはステップ３０４において第１の映像再生ユニットに割り当てられる。同様に、第２の字幕サブストリームとして選択された字幕サブストリームは、ステップ３０６で表示可能な状態となる。第２の字幕サブストリームが選択されると、それはステップ３０８において第２のディスプレイユニットに割り当てられる。このプロセスは、選択された字幕サブストリームの各々に対して繰り返される。
【００６９】
次いで図８を参照する。ここに示すのは、第４の実施の形態における、オーディオビジュアル（ＡＶ）データ再生用のＡＶ再生システム８００であり、映像再生ユニットまたはディスプレイを備えたプレーヤモデルで、複数の字幕サブストリームを含んでいる。ＡＶ再生システム８００は、混成媒体ソース１０４によって提供される混成媒体ストリーム１０２を受け取る。本実施の形態では、選択された複数の復号字幕出力はそれぞれ、遠隔字幕プレーヤ８０４（例えば、パーソナル携帯情報機器（ＰＤＡ）や、選択された復号字幕出力を再生するその他の装置）に入力される。
【００７０】
復号システムコントローラ１７０は、ＡＶ再生システム８００に配置および同期を提供する。ＡＶアプリケーションから提供される、所望のサブストリーム復号に関する情報に加えて、復号システムコントローラ１７０は、ユーザコマンドユニット８０２からユーザ優先情報を受け取る。ユーザコマンドユニット８０２は字幕サブストリームセレクタ１７４を有し、当該セレクタ１７４は、字幕サブストリームの選択に関する選択字幕サブストリームユーザ入力１７６を提供する。
【００７１】
図９は、オートリピート特性を有する第１、第３、および第４の実施の形態に関連するユーザモデルを示すフローチャートである。ユーザは、ステップ９０２において複数の字幕サブストリームの選択が可能となる。第１の字幕サブストリームの表示位置はステップ９０４で設定される。第２の字幕サブストリームの表示位置はステップ９０６で設定される。選択字幕サブストリームの全てが選択された後、説明したように、ユーザは、第１の字幕サブストリームだけが視覚再生ユニット上にオーバレイされた状態で再生を開始させる。
【００７２】
ここでユーザが行わせることのできる自動リピートは、ステップ９１２で示すように、同じ復号映像出力を繰り返すが、２回目の再生においては別の字幕表示用の第２字幕サブストリームを可視化した形で出力する、というものである。自動リピート機能は、特別にプログラムされた遠隔ユニット上でキーを押下することによって開始させることができるが、設定時あるいは所定のフレームに達した時点で規定することもできる。こうして、可視化映像出力は、２つの選択された字幕サブストリームを１回おきに切り替えることができる。同様に、選択された字幕サブストリームが３つある場合、各字幕サブストリームは、３回の自動リピートに関し１回という形で繰り返される。
【００７３】
（例５）システムは、ＡＶ再生表示の一部分の繰り返し（「自動リピート」機能）が容易に実行できるようにインタフェースを提供することも可能であろう。自動リピート機能の対象部分長は、ユーザ定義可能とすることも、固定とすることもできる。自動リピートの各回において、いくつかの媒体ストリームは、ユーザ選択の選択肢の間で切り替えられる。媒体ストリームは切替可能であってもよいし、独立していてもよい。システムからは、どのストリームを切り替えるかを規定するためのインタフェースをユーザに提供してもよいであろう。こうしたインタフェースは、ＡＶ再生表示のＰＢ再生から分離したものになるだろう。
【００７４】
（例６）現在、DVD-VideoプレーヤがDVD-Videoアプリケーションのランタイム中にＰＢ再生できる字幕ストリームは１つだけである。字幕ストリームを変えるためには、多くのボタン（メニューボタン、設定メニューの選択、新しい字幕ストリームの選択、リジュームプレイボタン）を遠隔操作装置上で押下することが求められる。さらに、ユーザはそこから、字幕を変えて見たいと望む点まで再生表示の「巻き戻し」をしなければならない。本発明の技術革新は、DVD-Videoに適用された場合、ＡＶ再生表示の一部分をユーザ指定でリピート再生している最中に、ユーザ選択字幕ストリーム間の切替を簡単に行える、という方法を規定する。これによって、有用な言語教育ツールが提供される。
【００７５】
（例７）現在、DVD-Videoプレーヤが、DVD-Videoアプリケーションのランタイム中にＰＢ再生できる音声ストリームは１つだけである。音声ストリームを変更するには、遠隔操作装置の上で多くのボタン（メニューボタン、設定メニューの選択、新しい音声ストリームの選択、リジュームプレイボタン）を押下することが求められる。さらに、ユーザはそこから、変更した音声を聴きたいと望む点まで再生表示の「巻き戻し」をしなければならない。本発明の技術革新は、DVD-Videoに適用された場合、ＡＶ再生表示の一部分をユーザ指定でリピート再生している最中に、ユーザ選択音声ストリーム間の切替を簡単に（遠隔操作装置での１回のキー押下で）行える、という方法を規定する。これにより、有用な言語教育ツールが提供されると共に、通常の音声と特別な目的の音声（解説など）とを伴う形で、ＡＶ再生表示のシーンをリピートするのに有用なツールが提供される。
【００７６】
（例８）現在、DVD-Videoタイトルで音声および字幕のストリームのＰＢ再生を変更するには、遠隔操作装置上で多くのボタン（メニューボタン、設定メニューの選択、新しい音声ストリームの選択、字幕ストリームの選択、リジュームプレイボタン）を押下することが必要となる。さらに、ユーザはそこから、変更を確認したいと望む点まで再生表示の「巻き戻し」をしなければならない。本発明の技術革新は、DVD-Videoに適用された場合、字幕を伴う音声のＰＢ再生と音声のみのＰＢ再生との間の切替を容易に（遠隔操作装置での１回のキー押下で）行うための方法を規定する。これによって、言語教育に有用なツールが提供される（音声および字幕付きでシーンを見た後、音声のみでシーンを見る）。
【００７７】
（例９）例３で説明した「自動リピート」機能に加えて、システムはさらに、ＡＶ再生表示のランタイム中にユーザが「リピートポイント」を規定できるようにする手段を提供する。リピートポイントは、自動リピート機能が自動リピート再生を始める点を定める。この技術革新によって、ユーザはいずれの部分でも容易にＰＢ再生を繰り返すことができる。
【００７８】
（例１０）現在、DVD-Videoプレーヤは、「自動リピート」や「リピートポイント」の機能を提供していない。本例の技術革新をDVD-Videoに適用すると、ＡＶ再生表示の一部分をユーザ指定で繰り返しＰＢ再生している最中に、ユーザ選択の音声および／または字幕のサブストリームの切替を容易に行える、という方法が規定される。自動リピート機能は、例えば、特別にプログラムされた遠隔操作装置上での１回のキー押下によって開始させることができる。リピートポイント自体の設定は、特別にプログラムされた遠隔操作でのキー押下によって実現することができ、その設定によって、ユーザは自動リピート機能の開始点を示すリピートポイントを規定することができる。ユーザは、遠隔操作装置の特定のキーを押下してリピートポイントを設定し、さらにその後で自動リピートキーを押下する。これら２回のキー押下によって、リピート再生ループの両端の点、すなわち開始点と終了点とを規定することができる。
【００７９】
（例１１）別の形として、「自動リピート」機能により、オーサリング時にリピートポイントを規定する方法を提供することができる。これによれば、コンテンツ製作者は簡単に自動リピート対象の部分を規定することができる。
（例１２）現在のDVD-Videoフォーマットは、リピートポイントを規定するための方法をコンテンツ製作者に提供していない。リピートポイント用の構造を加えることによって、コンテンツ製作者は、「自動リピート」をサポートするプレーヤにおける字幕および／または音声のユーザ自動リピートの対象となる論理セグメントをDVD-Videoタイトル内に規定することができる。そのような構造の追加は、既存の構造における予備フィールドの利用によって、あるいは、ディスク上のデータに新しい構造を加えることによって、実現することができる。
【００８０】
（例１３）１つのＡＶアプリケーションに対して２つ以上のユニークな字幕ストリームを利用できる。システムは各ユーザに対し、個人ディスプレイと、そうした個人ディスプレイ上でどの字幕ストリームを復号するかに関するオプションとを提供する。図２（Ａ）〜（Ｄ）がユーザモデルを示しているのに対し、図７、８では本例で可能なプレーヤモデルを示す。本例の用法は、同じ媒体の再生表示が複数のユーザに同時に提供されている状況で個人ごとに翻訳台詞を提供する、という場合に有用であろう。
【００８１】
次いで図１０を参照する。同図に示すのは、第５の実施の形態におけるオーディオビジュアル（ＡＶ）データ再生用のＡＶ再生システム１０００であり、単一の映像再生ユニットまたはディスプレイを備えたプレーヤモデルで複数の映像サブストリームを含む。ＡＶ再生システム１０００は、混成媒体ソース１０４によって提供される混成媒体ストリーム１０２を受け取る。
【００８２】
混成媒体ストリーム１０２は、複数の映像サブストリームまたは「アングル」（として本技術分野で知られているもの）を含む映像ストリーム１０６、音声ストリーム１０８、そして字幕ストリーム１１０を含む。混成媒体ストリーム分離ユニット１１２は、混成媒体ストリーム１０２を受け取り、復号システムコントローラ１７０から指示に従って映像サブストリーム１０６、音声ストリーム１０８、そして複数の字幕ストリーム１１０を生成する。混成媒体ストリーム分離ユニット１１２は混成媒体ストリームバッファ１１４を有し、当該バッファ１１４は、混成媒体ストリーム１０２を受け取って格納し、バッファ混成媒体ストリーム１１６を生成する。バッファ混成媒体ストリーム１１６は混成媒体ストリーム復号器１１８に入力され、当該復号器１１８はバッファ混成媒体ストリーム１１６から、映像ストリーム１０６、音声ストリーム１０８、そして字幕ストリーム１１０を分離する。
【００８３】
字幕復号ユニット１４８は字幕ストリーム１１０を受け取り、復号字幕出力１４８を生成する。音声復号ユニット１３０は音声ストリーム１０８を受け取り、復号音声出力１３２を生成する。本実施の形態の映像復号ユニット１０６０は複数の映像サブストリームまたはアングルを同時に復号し、それらに対応する複数の復号映像出力（１０２４，１０２６）を生成する。こうしたバッファおよび復号の処理は、ユーザが選択した「ｎ」個の映像サブストリームの各々に対して行われる。
【００８４】
映像オーバレイユニット１０２８は、復号字幕出力１４８および複数の復号映像出力（１０２４，１０２６）を受け取り、可視化映像出力１０３０を生成する。復号システムコントローラ１７０が映像オーバレイユニット１０２８に付加情報を提供して映像オーバレイの順序を制御することにしてもよい。その場合の順序は、字幕サブストリーム選択器ユニット１１２によって復号システムコントローラ１７０に提供されるユーザ優先順位情報に基づく。可視化映像出力１０３０は、複数の復号字幕出力と復号映像出力（１０２４，１０２６）とのアルファオーバレイである。
【００８５】
復号音声出力１３２および提示映像出力１０３０は、音声再生ユニット１６４と映像再生ユニット１６６とを有する再生ユニット１６２に入力される。音声再生ユニット１６４は、復号音声出力１３２を受け取り、聞き取れる形で復号音声出力を再生する。映像再生ユニット１６６は、可視化映像出力１６０を受け取り、視覚的な形で可視化映像出力１６０を再生する。
【００８６】
復号システムコントローラ１７０は、ＡＶプレーヤモデル１００に配置および同期のプロセスを提供する。ＡＶアプリケーションから提供される、所望のサブストリーム復号に関する情報に加えて、復号システムコントローラ１７０は、復号コマンドユニット１７２からユーザ優先情報を受け取る。復号コマンドユニット１７２は映像マルチアングルセレクタ１０１８を有し、当該セレクタ１０１８は映像サブストリームの選択に関する選択映像サブストリームユーザ入力１７６を提供する。この情報は、ＡＶアプリケーションによって提供される字幕サブストリーム選択と共に、システムコントローラ１７０によって使われる。そうして、ＡＶアプリケーション情報と付加的なユーザ入力（プレーヤモデルで支持されるもの）との両方が合わせて利用されることで、プレイタイムにどのサブストリームが可視化されるかが決定される。あるいは、ＡＶアプリケーションによって提供される映像サブストリーム選択の代わりに、付加的なユーザ入力を用い、それによってサブストリーム復号を完全にプレーヤに制御させてもよい。
【００８７】
復号コマンドユニット１０１４はアングル（映像）サブストリーム表示領域セレクタ１７８を有し、当該セレクタ１７８は、選択アングルサブストリーム用の選択表示場所に関する表示場所ユーザ入力１８０を提供する。正しい表示領域に映像サブストリームを配置するには、復号プロセスの一部としてスケーリングが必要になるかもしれない。
（例１４）高解像度（ＨＤ）ディスプレイの出現で、今やディスプレイ装置は、DVD-Videoに採用されている標準解像度（ＳＤ）に比較して６倍も大きい解像度を許容できる。１台の高解像度ディスプレイで４つの標準解像度映像ストリームを表示することも可能であろう。また、例えば、これを用いれば、品質を損なうことなしにDVＤ-Videoタイトルから同時に異なるアングルを表示することもできるであろう。DVD-Videoは、最高で９つの異なる映像サブストリームまたはアングルをサポートする。
【００８８】
（例１５）標準解像度のディスプレイでは、ディスプレイ上でいくつかの映像ストリームをスケール処理が可能であろう。これを利用することで、例えば、DVD-Videoタイトルから同時に異なるアングルを示し、各キャメラアングルにおいて起こっていることの感覚をユーザに与えることができる。
（例１６）ＡＶアプリケーションにより現在規定されているアングルの上に異なる映像アングルをオーバレイして、アングルプレビューを提供することができる。プレビュー映像アングルは、各アングルで起こっていることの「ピクチャ・イン・ピクチャ」プレビューをユーザに与えるのに用いられ、これによって、ユーザはメイン表示のアングルを選ぶ前に、そのアングルで何が起こっているかを見ることができる。
【００８９】
図１１に示すのは、複数の映像サブストリームまたはアングルを選択し、選択した映像サブストリーム用の表示領域を選択する方法である。複数のサブストリームの選択がステップ１１０２において可能となった後、ステップ１１０４において第１の映像サブストリームを選択し、ステップ１１０６で表示領域が設定される。第１の映像サブストリームが選択され、第１の映像サブストリーム用の表示領域が選択されれば、ステップ１１０８において、第１の選択された映像サブストリームは表示が可能となる。第２の映像サブストリームはステップ１１１０において選択され、表示領域はステップ１１１２で設定される。第２の映像サブストリームが選択され、第２の映像サブストリーム用の表示領域が選択されれば、第２の選択された映像ストリームは、ステップ１１０８において表示が可能な状態となる。
【００９０】
ここで図１２を参照する。同図で説明するのは、２組の字幕ストリームを備えた別の自動リピートモードであり、これは、２つの自動リピート設定を切り替る能力を有する。自動リピートモードはステップ１２０２において可能になる。複数字幕サブストリームモードはステップ１２０４において可能になる。第１のリピート設定はステップ１２０６において選択され、そこから制御はステップ１２０８に流れるが、当該ステップでは、図２(Ａ)、２（Ｃ）を参照して説明したような形で第１のリピート設定用に表示領域およびサブストリームを設定する。第１のリピート設定で選択された字幕は、その後、ステップ１２１０において表示が可能な状態となる。同様に、第２のリピート設定はステップ１２１２において選択され、そこから制御はステップ１２１４に流れるが、当該ステップでは、図２(Ａ)、２（Ｃ）を参照して説明した形で、第２のリピート設定用に表示領域およびサブストリームが設定される。
【００９１】
第１のリピート設定で選択された字幕は、その後、ステップ１２１６において表示可能となる。第１のリピート設定および第２のリピート設定が完了すれば、ユーザは、ユーザ選択方法によって２つの自動リピート設定の間で切替を行うことができるが、これは、スクリーン上、装置上、あるいは、より簡単な形として、遠隔操作装置ユニットでの直接のキー押下を介して実現することができる。図５（Ａ），（Ｂ）を参照しながら説明したように、自動リピートセレクタはユーザ入力を用いて、混成媒体ストリームのうち予め決められた部分を選択された表示配置で自動的にリピート再生し、さらに、予め決められた第１の表示配置と第２の表示配置との間で切替を行うことができる。
【００９２】
本発明の第６の実施の形態が受け取る混成媒体ストリームは、第２の実施の形態のような複数の音声サブストリーム、第３の実施の形態のような複数の字幕サブストリーム、そして、第５の実施の形態のような複数の映像サブストリームを含む。
図１３は、媒体要素のイントロダクションに続く初期設定を示すフローチャートである。媒体要素１０５は、ステップ１３０２において媒体ソース１０４に入れられる。復号システムコントローラ１７０は媒体ソース１０４から状態情報を受け取るが、この情報が示すのは、媒体要素１０５がステップ１３０４において複数ストリームオーサリングを含んでいたか否かである。媒体要素１０５が複数ストリームオーサリングを含む場合、制御フローはステップ１３０６に進み、そこでは、複数ストリーム選択用のＡＶアプリケーションメニューが使用可能となる。媒体要素１０５が複数ストリームオーサリングを含んでいない場合、制御フローは図２（Ｄ）のステップ２０２に進み、そこでは、複数の字幕ストリーム再生能力が利用可能となる。
【００９３】
ステップ１３０６で、ユーザがキー押下またはメニュー選択を介して、複数ストリームオーサリング検知の自動検知能力のオフまたは取り消しを行った場合も、上で述べたように、制御フローは図２（Ｄ）におけるステップ２０２へと進む。複数ストリームオーサリングの自動探知が有効であれば、制御フローはステップ１３０８に進み、そこで、複数の字幕サブストリームが利用可能となる。また別の形として、複数の音声サブストリームを検知して、ステップ１３０８では複数の音声サブストリームを可能にする。
【００９４】
複数の字幕サブストリームが利用可能になった後、制御フローはステップ１３１０に進み、そこで、複数のサブストリームをユーザ選択するためのプレーヤモードに入る。複数のサブストリームをユーザ選択するプレーヤモードに入ると、制御フローはステップ１３１２に進み、そこでは、ＡＶアプリケーションのサブストリーム選択メニューがユーザに提示される。ここで、ユーザはノーマル再生モードを選択することができるが、そうすると、制御フローはステップ１３１４に進み、複数のサブストリームが選択されることはない。しかし、ステップ１３１２でユーザが複数のサブストリームの選択を望めば、制御フローはステップ１３１６に進み、当該ステップには、図２（Ａ）、２（Ｃ）に関連して説明した複数の字幕サブストリーム選択、または、図２（Ｂ）に関連して説明した複数の音声サブストリーム選択のプロセスが含まれる。
【００９５】
サブストリームが選択されれば、制御フローはステップ１３１８に進み、そこでは、選択内容が確認としてユーザに表示される。そして、制御フローはステップ１３１２に戻る。ステップ１３１２からステップ１３１６、ステップ１３１８と進みステップ１３１２に戻る、というこのループは、選択されたサブストリームの各々に対して繰り返される。所望のサブストリームを全て選択し終われば、ユーザは、ステップ１３１２から、ステップ１３１４のＰＢ再生モードに入ることを選択する。
【００９６】
当業者であれば、本発明の範囲や精神から逸脱しない形で、上述した好適な実施の形態に対して様々な変形や修正を構成するのが可能であることは認識できるであろう。したがって、補正後の特許請求の範囲の範囲内で、本発明は、特に本文書で記述したのとは異なる形で実施される場合もある、ということを理解しておくべきである。
【図面の簡単な説明】
【００９７】
【図１】第１の実施の形態による複数の字幕サブストリームを示すブロック図である。
【図２】（Ａ）  表示優先順位がサブストリームの選択される順番になると仮定される単一ディスプレイ装置における複数の字幕サブストリームの表示位置をユーザが選択する方法を示すフローチャートである。（Ｂ）  単一ディスプレイ装置における複数の字幕サブストリームの表示優先順位をユーザが選択する方法を示すフローチャートである。（Ｃ）  単一ディスプレイ装置における複数の字幕サブストリームの表示位置をユーザが選択する方法を示すフローチャートである。（Ｄ）  複数の字幕選択のユーザへの再生表示を示すフローチャートである。
【図３】複数の字幕サブストリームを複数のディスプレイ装置上での可視化のためにユーザが選択する方法を示すフローチャートである。
【図４】第２の実施の形態による複数の音声サブストリームを示すブロック図である。
【図５】（Ａ）  「上下」配置で２つの字幕ストリームを表示する例を示す図である。（Ｂ）  「並び」配置で２つの字幕ストリームを表示する例を示す図である。
【図６】複数の音声サブストリームを選択する、第２の実施の形態に関連したユーザモデルを示すフローチャートである。
【図７】第３の実施の形態による複数の字幕サブストリームを示すブロック図である。
【図８】第４の実施の形態による複数の字幕サブストリームを示すブロック図である。
【図９】自動リピート機能を有する形の第１、第３、第４の実施の形態に関連したユーザモデルを示すフローチャートである。
【図１０】第５の実施の形態による複数の映像サブストリームを示すブロック図である。
【図１１】複数の映像サブストリームを単一ディスプレイ装置上で表示する際の表示位置をユーザが選択する方法を示すフローチャートである。
【図１２】複数の異なる自動リピート設定の間での選択切替を示すフローチャートである。
【図１３】媒体要素のイントロダクションに続く初期設定を示すフローチャートである。
【図１】
0004550044.tif 000002
【図２】
0004550044.tif 000003
【図３】
0004550044.tif 000004
【図４】
0004550044.tif 000005
【図５】
0004550044.tif 000006
【図６】
0004550044.tif 000007
【図７】
0004550044.tif 000008
【図８】
0004550044.tif 000009
【図９】
0004550044.tif 000010
【図１０】
0004550044.tif 000011
【図１１】
0004550044.tif 000012
【図１２】
0004550044.tif 000013
【図１３】
0004550044.tif 000014