(57)【特許請求の範囲】
【請求項１】
複数種の映像を互いに重なりのないように配置した映像ストリームに、前記映像ストリームから前記複数種の映像を個別に切り出すための映像復元用情報を付加して所定の情報記憶媒体に記録する記録手段を具備し、
前記記録手段は、
複数種の映像を互いに重なりのないように１枚の映像上へ座標配置してソース映像を生成するとともに、前記ソース映像から前記複数種の映像を個別に切り出すための映像復元用情報を生成する映像記録処理手段と、
前記映像記録処理手段により生成された前記ソース映像をエンコードし、エンコードした前記ソース映像のデータに、前記映像記録処理手段により生成された前記映像復元用情報および所定の映像出力用情報を付加して映像ユニットデータを生成する映像ユニットデータ生成処理手段と、
前記映像ユニットデータ生成処理手段で生成された前記映像ユニットデータの集合を前記情報記憶媒体に記録する記録処理手段と
を具備して、一つの映像ストリームから複数の映像ストリームを生成可能したことを特徴とする映像機器。
【請求項２】
前記所定の映像出力用情報は、前記映像復元用情報を用いて切り出した映像を合成して一枚の出力映像に配置するときの座標および回転角度と、透過処理とを指示する映像合成用情報を含むことを特徴とする請求項１記載の映像機器。
【請求項３】
前記所定の映像出力用情報は、前記複数種の映像各々の表示に対する指示を行う映像表示用情報を含むことを特徴とする請求項２記載の映像機器。
【請求項４】
映像記録処理手段が処理する前記複数種の映像は、主映像と二次映像とを有する、表示画面の１フレームに相当するソース映像であり、前記記録処理手段は、前記ソース映像の集合を前記情報記憶媒体に記録する請求項３記載の映像機器。
【請求項５】
前記二次映像は、動画像、字幕、メニュー、マスクのすべて、若しくは動画像、字幕、メニュー、マスクいずれかの組合せ、若しくは動画像、字幕、メニューのいずれかによる映像である請求項４記載の映像機器。
【請求項６】
前記映像記録処理手段は、所定表示解像度のソース映像に、前記表示解像度より低い表示解像度の少なくとも１枚の主映像と、任意表示解像度の少なくとも１枚の二次映像とを配置する処理手段を具備する請求項５記載の映像機器。
【請求項７】
前記映像記録処理手段は、所定表示解像度のソース映像に、前記表示解像度より低い表示解像度の複数の動画像と、任意表示解像度の少なくとも１つの二次映像とを配置する処理手段を具備する請求項５記載の映像機器。
【請求項８】
複数種の映像を有する映像ストリームの記録方法であって、
前記複数種の映像を互いに重なりのないように１枚の映像上へ座標配置してソース映像を生成するステップと、
前記ソース映像の生成に伴って前記ソース映像から前記複数種の映像を個別に切り出すための映像復元用情報を生成するステップと、
前記生成された前記ソース映像をエンコードするステップと、
前記エンコードした前記ソース映像のデータに、前記映像復元用情報および所定の映像出力用情報を付加して映像ユニットデータを生成するステップと、
前記映像ユニットデータの集合を所定の情報記憶媒体に記録するステップと
を具備したことを特徴とする映像記録方法。
【請求項９】
前記映像出力用情報は、前記映像復元用情報を用いて切り出した映像を合成して一枚の出力映像に配置するときの座標および回転角度と、透過処理とを指示する映像合成用情報を含むことを特徴とする請求項８記載の映像記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数種の映像を１枚の映像上に座標配置したデータ構造の映像ストリームを扱う映像機器、映像記録方法および映像再生方法に関する。
【背景技術】
【０００２】
動画像、メニューボタン、字幕などの複数の映像を含んだ映像ストリームを扱う映像機器に於いては、ユーザまたはコンテンツ視聴者が複数映像を任意に操作して意図した映像ストリームを効率よく記録し、再生することのできる技術が要求される。
【０００３】
従来、複数の動画像を表示操作する技術として、例えば複数のビデオデータ源ユニットの動画像に対して、動画像識別番号レジスタ、識別番号比較器等を用い、フレームバッファへ取り込む動画像を制御することで、複数の動画像の表示を可能とする複数動画像の表示技術が存在する。また、映像ストリーム中の複数の映像を操作する技術として、動画像から前景オブジェクトと背景画像を分離して抽出する映像操作技術が存在する。
【特許文献１】特開平８−１２３４０１号公報
【特許文献２】特開２００２−１１８８４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した複数動画像の表示技術に於いては、映像ごとに情報記録媒体からデータ供給／読み取りを行なわなくてはならず、従って映像の数に比例してデータ読み取り時間のオーバーヘッドが増加するとともに、再生する映像数と同数のデコーダを必要とし、さらに複数映像のフレーム同期をとる仕組みが複雑化するという問題があった。また上記した映像操作技術に於いては、映像の切り出しに煩雑な処理が必要になるという問題があった。
【０００５】
本発明は、動画像、メニューボタン、字幕などの複数の映像を含んだ映像ストリームを扱う映像機器に於いて、ユーザまたはコンテンツ視聴者が複数映像を任意に操作して意図した映像ストリームを効率よく記録し、再生することのできる映像機器、映像記録方法および映像再生方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、複数種の映像を互いに重なりのないように配置した映像ストリームに、前記映像ストリームから前記複数種の映像を個別に切り出すための映像復元用情報を付加して所定の情報記憶媒体に記録する記録手段を具備し、前記記録手段は、複数種の映像を互いに重なりのないように１枚の映像上へ座標配置してソース映像を生成するとともに、前記ソース映像から前記複数種の映像を個別に切り出すための映像復元用情報を生成する映像記録処理手段と、前記映像記録処理手段により生成された前記ソース映像をエンコードし、エンコードした前記ソース映像のデータに、前記映像記録処理手段により生成された前記映像復元用情報および所定の映像出力用情報を付加して映像ユニットデータを生成する映像ユニットデータ生成処理手段と、前記映像ユニットデータ生成処理手段で生成された前記映像ユニットデータの集合を前記情報記憶媒体に記録する記録処理手段とを具備して、一つの映像ストリームから複数の映像ストリームを生成可能した映像機器を特徴とする。
【０００８】
また本発明は、複数種の映像を有する映像ストリームの記録方法であって、前記複数種の映像を互いに重なりのないように１枚の映像上へ座標配置してソース映像を生成するステップと、前記ソース映像の生成に伴って前記ソース映像から前記複数種の映像を個別に切り出すための映像復元用情報を生成するステップと、前記生成された前記ソース映像をエンコードするステップと、前記エンコードした前記ソース映像のデータに、前記映像復元用情報および所定の映像出力用情報を付加して映像ユニットデータを生成するステップと、前記映像ユニットデータの集合を所定の情報記憶媒体に記録するステップとを具備したことを特徴とする。
【発明の効果】
【００１０】
動画像、メニューボタン、字幕などの複数の映像を含んだ映像ストリームを扱う映像機器に於いて、ユーザまたはコンテンツ視聴者が複数映像を任意に操作して意図した映像ストリームを効率よく記録し、再生することができる。
【発明を実施するための最良の形態】
【００１１】
以下図面を参照して本発明の実施形態を説明する。
【００１２】
本発明の実施形態に係る映像記録方法および映像機器を図１を参照して説明する。
【００１３】
本発明の実施形態に係る映像機器は、図１に示すような複数映像の記録手段を実現している。この記録手段は、複数種の映像１０１〜１０３を互いに重なりのないように１枚の映像上へ座標配置したソース映像（Ａ）、およびこのソース映像（Ａ）から映像１０１〜１０３を個別に切り出すための映像復元用情報１０５を生成して、ソース映像をエンコードし、映像復元用情報および所定の映像出力用情報（Ｂ）を付加して映像ユニットデータ（Ｃ）を生成する処理手段（Ｓ１１）と、この映像ユニットデータの集合でなる映像ストリーム（Ｄ）を情報記憶媒体（Ｅ）に記録する処理手段（Ｓ１２）とを有する。上記処理手段（Ｓ１１）により、複数種の映像を互いに重なりのないように１枚の映像上へ座標配置してソース映像を生成するとともに、このソース映像から前記複数種の映像を個別に切り出すための映像復元用情報を生成する映像記録処理手段と、この映像記録処理手段により生成されたソース映像をエンコードし、エンコードしたソース映像のデータに、映像記録処理手段により生成された映像復元用情報および所定の映像出力用情報を付加して映像ユニットデータを生成する映像ユニットデータ生成処理手段とが実現される。また上記処理手段（Ｓ１２）により上記映像ユニットデータ生成処理手段で生成された映像ユニットデータの集合を情報記憶媒体に記録する記録処理手段が実現される。
【００１４】
上記複数の映像１０１〜１０３は、それぞれ異なる１枚の映像である。複数の映像１０１〜１０３に対して回転処理を行い、互いに重なりのないように１枚の映像上へ座標配置処理することで、ソース映像１０４と、このソース映像１０４に対する映像復元用情報１０５を生成する。この処理を映像記録処理と呼ぶ。ソース映像１０４は一フレームに相当する映像である。
【００１５】
映像合成用情報１０６は複数の映像１０１〜１０３を一枚の映像に合成するための情報であり、この映像合成用情報１０６を用いた映像の合成処理については図３を参照して後述する。
【００１６】
映像表示用情報１０７は、合成した映像を出力する時刻並びに表示画面の解像度を設定するための情報を有する。
【００１７】
ソース映像１０４をエンコードした、エンコード済みソース映像のデータに対して、上記映像復元用情報１０５と、映像合成用情報１０６と、映像表示用情報１０７を付与することで、映像ユニットデータ１０８を生成する。
【００１８】
この映像ユニットデータ１０８の集合１０９を情報記憶媒体１１０へ記録する。この情報記憶媒体１１０に記録された映像ユニットデータの集合１０９は、複数種の映像を互いに重なりの無いように１枚の映像に座標配置して生成されたエンコード済み複数映像の映像ストリームである。なお、ここでは情報記憶媒体１１０として光メディアを例に挙げているが、本発明が想定する情報記憶媒体はこの限りではない。
【００１９】
上記した複数映像記録処理の一連の手順については図８を参照して後述する。本発明に於ける複数映像記録方法は、上記した処理の流れに於いて上記映像記録処理と映像ユニットデータの生成処理を行なうことを特徴とする。
【００２０】
上記実施形態に係る映像機器は、図２に示すような複数映像の再生手段を実現している。この再生手段は、上記映像ストリームの１構成要素となる映像ユニットデータ（Ａ）をデコードしてソース映像（Ｂ）を生成する処理手段（Ｓ２１）と、上記デコードしたソース映像（Ｂ）から、上記映像ユニットデータ（Ａ）に含まれる映像復元用情報を参照して、複数の映像２０３〜２０５を切り出して復元する処理手段（Ｓ２２）とを有する。
【００２１】
上記図１に示す情報記憶媒体１１０から読み込んだ映像ユニットデータ２０１をデコードすることによって、ソース映像２０２を生成する。
【００２２】
デコードされた映像ユニットデータ２０１に含まれる映像復元用情報を参照しながら、ソース映像２０２から複数の映像２０３〜２０５を復元する。
【００２３】
復元した映像のうち、表示画面全体に表示する映像を主映像と呼び、主映像の上に重ねて表示する映像を二次映像と呼ぶ。また、二次映像に対してマスク処理（透過処理）を行なうための映像をマスクと呼ぶ。ただし、本発明が想定する映像の透過処理はマスク処理だけではない。上記した複数映像再生処理の一連の手順については図９を参照して後述する。
【００２４】
本発明の実施形態に係る映像機器は、図３に示すような複数映像の合成手段を実現している。この合成手段は、主映像（Ａ）に対して回転、座標の配置を行う処理手段（Ｓ３１ａ）と、二次映像（Ｂ）に対してマスク（Ｃ）処理を行う処理手段（Ｓ３１ｂ）、およびこのマスク済み二次画像（Ｅ）に対して回転、座標の配置を行う処理手段（Ｓ３２ｂ）と、上記回転、座標配置を行った主映像（Ｄ）と二次映像（Ｆ）を合成して合成映像（Ｇ）を生成する処理手段（Ｓ３３）とを有する。
【００２５】
複数映像の合成とは、複数の映像に対して回転処理、透過処理を行い、重なりを許して座標配置処理を行なって一枚の映像にまとめることをいう。主映像プレーン３０１は、主映像を描画するための映像プレーンである。二次映像プレーン３０２は、マスク処理された二次映像を描画するための映像プレーンである。
【００２６】
映像合成用情報を参照しながら、主映像３０３を回転して主映像プレーン３０１へ描画する。また、二次映像３０４に対してマスク３０５を用いてマスク処理を行い、マスク処理済二次映像３０６を生成する。さらに、マスク処理済二次映像３０６を回転し、二次映像プレーン３０２上へ座標配置して描画する。主映像プレーン３０１と二次映像プレーン３０２を重ね合わせることで合成映像３０７を生成する。
【００２７】
上記２つの映像プレーンの層構造は図４に示される。主映像プレーン４０１の上に二次映像プレーン４０２が重なっている。
【００２８】
上記した複数映像の合成・復元処理の一連の手順については図１０を参照して後述する。本発明に於ける複数映像再生方法は、この処理の流れにおいて上記した映像復元処理と映像合成処理を行なうことを特徴とする。
【００２９】
ここで、上記した映像ユニットデータのデータ構造を図５を用いて説明する。
【００３０】
映像ユニットデータ５０１は映像ユニットデータ生成処理（図１に示す処理手段（Ｓ１２）の映像ユニットデータ生成処理（Ｃ）参照）に於いて生成されるデータである。ヘッダ情報５０２は、映像の再生に関連するパラメータが設定されている。合成映像表示時刻５０３には、合成映像を画面に表示する時刻が設定される。主映像ＩＤ番号５０４には、初期状態で主映像とする映像の映像ＩＤ番号（後述する）が設定される。主映像矩形５０５には主映像ＩＤ番号で指定された映像の矩形が設定される。これは、画面に表示する映像の解像度の設定に使用される。総映像数５０６には、ソース映像に含まれる映像の総数が記述される。
【００３１】
映像情報５０７はＮ個の映像情報（映像情報＃１〜Ｎ）５０８，…で構成されている。ただし、Ｎはソース映像に記録した映像の最大数を指す。一つの映像情報（＃ｎ）５０８のデータ構造については図６を用いて後述する。
【００３２】
マスク情報５０９はＭ個のマスク情報（マスク情報＃１〜Ｍ）５１０，…から構成されている。ただし、Ｍはソース映像に記録したマスクの最大数を指す。一つのマスク情報（＃ｋ）５１０のデータ構造については図７を用いて後述する。
【００３３】
エンコード済みソース映像５１１とは、複数映像を記録したソース映像を任意の符号化手法を用いてエンコードしたデータを指す。
【００３４】
映像情報（＃ｎ）５０８のデータ構造を図６を用いて説明する。
【００３５】
映像ＩＤ番号６０１は、ソース映像に記録した映像１つ１つに割り振られる固有のＩＤ番号である。  
映像復元情報６０２は、ソース映像から映像を復元するために必要な情報である。  
映像切り抜き元座標６０３には、ソース映像上の映像の座標が格納される。そのＸ座標は切り抜き元Ｘ座標６０４へ格納され、Ｙ座標は切り抜き元Ｙ座標６０５へ格納される。
【００３６】
映像矩形６０６には、ソース映像上に記録されている映像の矩形が格納される。ただし、映像が回転して配置されている場合は回転後の矩形が格納される。映像の高さ情報は映像の高さ６０７へ格納され、映像の幅情報は映像の幅６０８へ格納される。
【００３７】
映像合成情報６０９は、ソース映像から復元した映像に対して合成処理を行なうために必要な情報である。
【００３８】
映像回転角度６１０には、ソース映像へ映像を記録する時の回転角度情報が格納される。
【００３９】
映像配置先座標６１１には、映像を合成映像上へ配置するための座標が格納される。配置先のＸ座標は６１２  配置先Ｘ座標に格納され、Ｙ座標は６１３  配置先Ｙ座標へ格納される。
【００４０】
表示ＯＮ／ＯＦＦフラグ６１４は映像を合成するかどうかを設定するフラグであり、値が真（Ｔｒｕｅ）の場合は映像に対して合成処理を行い、偽（Ｆａｌｓｅ）の場合は合成処理を行なわない。
【００４１】
マスク適用フラグ６１５は、映像＃ｎに対してマスク処理を行なうかどうかを設定するフラグである。Ｔｒｕｅである場合は映像に対してマスク処理を行ない、Ｆａｌｓｅの場合はマスク処理を行なわない。
【００４２】
適用マスクＩＤ番号６１６には、映像に適用するマスクのマスクＩＤ番号（後述する）が格納される。
【００４３】
マスク情報＃ｎ５１０のデータ構造を図７を用いて説明する。  
マスクＩＤ番号７０１は、１つ１つのマスク固有のＩＤ番号である。  
マスク切り抜き元座標７０２にはソース映像上のマスクの座標が格納される。そのＸ座標は切り抜き元Ｘ座標７０３へ格納され、Ｙ座標は切り抜き元Ｙ座標７０４へ格納される。
【００４４】
マスク矩形７０５はソース映像上に記録されているマスクの矩形が格納される。ただし、マスクが回転して配置されている場合は回転後の矩形が格納される。マスクの高さ情報はマスクの高さ７０６へ格納され、マスクの幅情報はマスクの幅７０７へ格納される。
【００４５】
マスク回転角度７０８には、ソース映像へマスクを記録したときの回転角度が格納される。
【００４６】
ここで、本発明の実施形態に於ける複数映像の記録・再生の処理の流れを図８を用いて説明する。
【００４７】
図８は本発明の実施形態に於ける複数映像の記録処理の流れを示す。
【００４８】
複数映像記録処理（ステップ８０１）に於いては、１フレーム分のＮ枚の映像とＭ枚のマスクを１枚の映像上へ重なりが無いように配置し、ソース映像を生成する。また、それと同時にＮ枚の映像分の映像復元情報とＭ枚のマスク分のマスク復元情報を生成する。この複数映像記録処理を完了すると、映像のエンコード処理（ステップ８０２）へ遷移する。
【００４９】
映像のエンコード処理（ステップ８０２）に於いては、上記した複数映像記録処理（ステップ８０１）で生成したソース映像を任意の符号化形式でエンコードし、エンコード済みソース映像を生成する。このエンコード済みソース映像の生成処理を完了すると、映像合成情報、マスク情報生成処理（ステップ８０３）へ遷移する。
【００５０】
映像合成情報、マスク情報生成処理（ステップ８０３）に於いては、複数映像を１枚の映像へ合成するための映像合成情報と、映像に透過処理を行なうために必要なマスク合成情報を生成する。このマスク情報生成処理を終了すると、映像ユニットデータ生成処理（ステップ８０４）の処理へ遷移する。
【００５１】
映像ユニットデータ生成処理（ステップ８０４）に於いては、ヘッダ情報を生成する。また映像復元情報と映像合成情報から映像情報＃１〜Ｎを生成し、それらの集合から映像情報を生成する。さらにマスク復元情報とマスク合成情報からマスク情報＃１〜Ｍを生成し、それらの集合からマスク情報を生成する。ヘッダ情報と、映像情報と、マスク情報と、エンコード済みソース映像を束ねることによって映像ユニットデータを生成する。この映像ユニットデータ生成処理を完了すると全フレームの記録処理終了を確認する条件分岐（ステップ８０５）へ遷移する。
【００５２】
この条件分岐（ステップ８０５）に於いて、全てのフレームの記録処理が終わったことを確認したならば映像記録処理を終了する。また全てのフレームの記録処理が終わっていなければ複数映像記録処理（ステップ８０１）へ遷移して上記した処理を繰り返し実行する。
【００５３】
以上の処理により、複数の映像ストリームを１つの映像ストリームに格納することができる。上記した一連の複数映像記録処理は、上記図８に示す処理ルーチンをもつプログラムを、例えば後述する複数映像の再生処理装置のプログラムメモリ部に格納して、ＭＰＵにより処理することで、複数映像の記録・再生装置が実現される。または上記図８に示す処理ルーチンをもつプログラムをパーソナルコンピュータに例えばグラフィック編集ツールとして格納することにより、動画像、メニューボタン、字幕などの複数映像をユーザが任意に操作して意図した映像ストリームを効率よく作成し記録することができる。
【００５４】
つぎに複数映像を再生する処理の流れを、図９のフローチャートを用いて説明する。  
映像ユニットデータ取得処理（ステップ９０１）に於いては、映像ユニットデータを読み込み、ヘッダ情報、映像情報、マスク情報、エンコード済みソース映像を取得する。この映像ユニットデータ取得処理を完了すると、映像プレーン生成処理（ステップ９０２）へ遷移する。
【００５５】
映像プレーン生成処理（ステップ９０２）に於いては、ヘッダ情報の主映像矩形に従って、主映像プレーン、二次映像プレーン、マスクプレーンを生成する。この映像プレーン生成処理を終了すると、デコード処理（ステップ９０３）へ遷移する。
【００５６】
デコード処理（ステップ９０３）に於いては、エンコード済みソース映像データをデコードし、ソース映像を取得する。このデコード処理を終了すると、複数映像復元・合成処理（ステップ９０４）へ遷移する。
【００５７】
複数映像復元・合成処理（ステップ９０４）に於いては、映像復元情報を参照してソース映像から複数の映像・マスクを復元する。復元した映像・マスクに対して映像合成情報を参照して回転・座標配置処理を行い、主映像、二次映像、マスクをそれぞれ生成する。さらに、二次映像に対してマスクを用いてマスク処理を行いマスク処理済二次映像を生成する。そして生成した主映像とマスク処理済二次映像を合成し、合成映像を生成する。
【００５８】
この複数映像の復元・合成処理の詳細は図１０のフローチャートを用いて後述する。この複数映像の復元・合成処理が完了すると、合成映像出力処理（ステップ９０５）へ遷移する。
【００５９】
合成映像出力処理（ステップ９０５）に於いては、複数映像復元・合成処理（ステップ９０４）に於いて生成された合成映像を、映像ユニットデータのヘッダ情報に含まれる合成映像表示時刻に合わせて映像表示機器へ出力する。この合成映像出力処理を完了すると、最終フレームの表示処理が終了したことを確認する条件分岐（ステップ９０６）へ遷移する。
【００６０】
この条件分岐（ステップ９０６）に於いて、映像が最終フレームまで表示されたかどうかを判断し、最終フレームまで表示されたならば処理を終了する。また、最終フレームの表示に至っていない場合は映像ユニットデータ取得処理（ステップ９０１）に遷移して上記した処理を繰り返し実行する。
【００６１】
以上の処理により、一映像分のデータストリームから複数の映像を再生することができる。
【００６２】
ここで、上記図９に於ける複数映像復元・合成処理（ステップ９０４）の流れを図１０のフローチャートを用いて説明する。
【００６３】
映像復元ループ（ステップ１００１）は、映像を復元し、主映像プレーンと二次映像プレーンへ配置するループである。一回ループするごとに映像情報取得用カウンタｉを１だけ増やし、全ての映像情報について処理を行なう。
【００６４】
映像情報＃ｉの取得（ステップ１００２）に於いては、映像ユニットデータに含まれる映像情報＃ｉを取得する。処理を完了すると条件分岐（ステップ１００３）へ遷移する。
【００６５】
この条件分岐（ステップ１００３）に於いては、映像合成情報に含まれる、表示ＯＮ／ＯＦＦフラグを判定し、Ｔｒｕｅならば映像の切り抜き（ステップ１００４）へ遷移し、Ｆａｌｓｅであればループ端（ステップ１０１３）へ遷移する。
【００６６】
上記映像切切り抜き（ステップ１００４）に於いては、映像復元情報（６０２）の映像切抜き元座標（６０３）と映像矩形（６０６）に従って映像を切り抜く。処理を完了すると条件分岐（ステップ１００５）へ遷移する。
【００６７】
この条件分岐（ステップ１００５）に於いては、ヘッダ情報（５０２）に含まれる主映像ＩＤ番号（５０４）と、映像情報＃ｉ（５０８）に含まれる映像ＩＤ番号（７０１）を比較し、一致していたら主映像の回転・座標配置（ステップ１００６）へ遷移する。一致しなければ二次映像の回転（ステップ１００７）へ遷移する。
【００６８】
主映像の回転・座標配置（ステップ１００６）に於いては、映像合成情報（６０９）を参照して、主映像を回転し、主映像プレーン上へ配置する。この処理を完了するとループ端（ステップ１０１３）へ遷移する。
【００６９】
上記二次映像の回転（ステップ１００７）に於いては、映像切り抜き（ステップ１００４）に於いて切り抜いた二次映像を映像合成情報を参照しながら回転する。この処理を完了すると条件分岐（ステップ１００８）へ遷移する。
【００７０】
この条件分岐（ステップ１００８）に於いては、映像合成情報に含まれるマスク適用フラグを参照し、Ｔｒｕｅであればマスク切抜き（ステップ１００９）へ遷移する。Ｆａｌｓｅであれば二次映像の座標配置（ステップ１０１２）へ遷移する。
【００７１】
マスク切り抜き（ステップ１００９）に於いては、映像合成情報（６０９）の適用マスクＩＤ番号（６１６）と一致するマスクＩＤ番号を持つマスク情報を取得する。さらに映像復元情報（６０２）を参照してソース映像からマスクを切り抜く。この処理を完了するとマスク二値化処理（ステップ１０１０）へ遷移する。
【００７２】
このマスク二値化処理（ステップ１０１０）に於いては、上記マスク切り抜き（ステップ１００９）で取得したマスクを二値化し、二値化済みマスクを生成する。この処理を完了するとマスク処理（ステップ１０１１）へ遷移する。
【００７３】
このマスク処理（ステップ１０１１）に於いては、映像合成情報（６０９）を参照してマスク二値化処理（ステップ１０１０）に於いて二値化した二値化済みマスクを回転する。さらに回転後の映像に対して回転後の二値化済みマスクを用いてマスク処理を行い、マスク処理済み二次映像を生成する。この処理を完了すると二次映像の座標配置（ステップ１０１２）へ遷移する。
【００７４】
この二次映像の座標配置（ステップ１０１２）に於いては、映像合成情報（６０９）を参照してマスク処理済二次映像を二次映像プレーンへ配置する。この処理を完了すると再生処理ループ端（ステップ１０１３）へ遷移する。
【００７５】
このループ端（ステップ１０１３）に於いては、ヘッダ情報（５０２）の総映像数（５０６）と映像情報取得用カウンタｉを比較し、総映像数が大きければカウンタｉに１を足してループ開始端（ステップ１００１）へ遷移する。そうでなければループを終了し、映像プレーン合成処理（ステップ１０１４）へ遷移する。
【００７６】
映像プレーン合成処理（ステップ１０１４）に於いては、主映像プレーンと二次映像プレーンを重ね合わせ、合成映像を生成する。この処理を完了すると、複数映像の復元・合成処理を終了する。
【００７７】
以上の処理により一フレーム分の合成映像の生成が完了する。
【００７８】
ここで、本発明の実施形態に於ける複数映像の再生処理装置について説明する。
【００７９】
複数映像の再生処理装置のシステム構成について図１１を用いて説明する。
【００８０】
ＭＰＵ部１１０１は本発明の実施形態に係る再生処理装置に於ける演算処理を行なう処理部である。メモリ部１１０２は、ＭＰＵ部１１０１が処理を行なうプログラムを展開するための装置である。ＲＯＭ部１１０３には本発明の実施形態に係る再生処理装置起動用プログラムが保存されている。このプログラムは本発明の実施形態に係る再生処理装置の電源投入直後にメモリ部１１０２へ読み込まれる。バスブリッジ１１０４はバスに流れるデータを制御する装置である。
【００８１】
光ディスク１１０５と、ＨＤＤ１１０６と、フラッシュメモリ（Ｆｌａｓｈ  Ｍｅｍｏｒｙ）１１１１と、ネットワークストレージ１１０７はそれぞれ情報記録媒体である。ただし本発明が想定する情報記録媒体はこれに限定されない。
【００８２】
データプロセッサ部１１０９は各モジュールから入力された映像ストリームを映像デコーダ部１１１５へ入力する。
【００８３】
ディスクドライブ部１１１０は光ディスク１１０５から映像ストリームを読み込み、データプロセッサ部１１０９へ映像ストリームを供給する装置である。
【００８４】
Ｆｌａｓｈ  Ｍｅｍｏｒｙ１１１１は映像ストリームをデータプロセッサ部１１０９へ供給する記憶媒体である。ＨＤＤ１１０６は映像ストリームをデータプロセッサ部１１０９へ供給する装置である。
【００８５】
ネットワークコントローラ１１１２はネットワークから映像ストリームを読み込み、データプロセッサ部１１０９へ映像ストリームを供給する装置である。
【００８６】
映像デコーダ部１１１３は、入力された映像ストリームをデコードして映像を生成し、映像復元・合成処理部１１１４へ出力する。
【００８７】
映像復元・合成処理部１１１４は、ビデオメモリ部１１１５から映像を読み込み、その映像から複数の映像を復元する。さらに、復元した複数の映像を１枚の映像へ合成してビデオプロセッサ部１１１６へ出力する。映像復元・合成処理部１１１４の内部構成は図１２を用いて後述する。
【００８８】
ビデオプロセッサ部１１１６は、入力された映像を、映像表示機器の画面に表示させる。外部入力信号処理部１１１７はユーザからのリモコン入力信号を受信し、その信号をＵＩ（User Interface）処理部１１１８へ入力する。
【００８９】
ＵＩ処理部１１１８は外部入力信号処理部１１１７からの入力を解釈し、ユーザイベントを映像復元・合成処理部１１１４へ入力する。表示パネル１１１９は再生時間や装置の状態などのさまざまな情報を表示させる。
【００９０】
上記図１１に於ける映像復元・合成処理部１１１４のモジュール構成を図１２を用いて説明する。
【００９１】
映像関連情報解析部１２０１に於いては、映像デコーダ部１１１３から入力されたヘッダ情報、映像情報、マスク情報を解析し、その解析結果を後述するモジュール１２０２〜１２１２へ提供する。
【００９２】
映像切り分け部１２０２は、映像情報の映像復元情報を参照してソース映像から映像を復元する処理と、マスク情報を参照してソース映像からマスク復元する処理を行なう。さらに、主映像を主映像回転・座標配置部１２０３へ出力し、二次映像を二次映像回転部１２０４へ出力し、マスクをマスク二値化部１２０５へ出力する。
【００９３】
主映像回転・座標配置処理部１２０３は、映像合成情報を参照して主映像を回転し、その結果を主映像プレーンへ配置する。主映像プレーンに描画されたデータは主映像プレーンバッファ１２０６へ蓄えられる。
【００９４】
二次映像回転部１２０４は、映像合成情報を参照して二次映像を回転し、その結果を二次映像一時バッファ１２０７へ蓄える。
【００９５】
マスク二値化処理部１２０５は、入力されたマスクを二値化し、二値化済みマスクを二値化済みマスクバッファ１２０８へ蓄える。
【００９６】
マスク回転処理部１２０９は、二値化済みマスクバッファ１２０８に蓄えられている二値化済みマスクをマスク情報に従って回転し、マスクバッファ１２１０へ蓄える。
【００９７】
マスク処理部１２１１は、入力されたマスクプレーンを用いて二次映像プレーンへマスク処理を行ない、マスク処理済二次映像を生成する。さらに、映像情報を参照して二次映像を回転し、二次映像プレーン上へ座標配置する。二次映像上に描画されたデータは二次映像プレーンバッファ１２１２に蓄えられる。
【００９８】
ミキサー１２１３は、主映像プレーンバッファ１２０６に蓄えられている主映像プレーンと、二次映像プレーンバッファ１２１２に蓄えられている二次映像プレーンを合成し、合成映像を出力する。
【００９９】
上記した複数映像の再生処理装置により、ユーザは入力装置を用いて映像を操作することができる。ユーザが実施することができる映像操作と、映像再生処理装置内部で行なわれる処理について図１３に示す。ここでは、ユーザが実施する映像操作として、マルチアングル再生、動画（二次映像）の表示・非表示、ペアレンタルロック再生、動画（二次映像）のマスク処理オン／オフ、動画（二次映像）の形状変更、字幕（二次映像）の表示・非表示、字幕の言語選択、字幕（二次映像）のマスク処理オン／オフ、メニューの表示、メニューボタンの形状の変更等の映像操作を実現可能にしている。
【０１００】
なお、上記した複数映像の再生処理装置に於いて、ＭＰＵ部１１０１が実行するプログラムを格納するメモリ部１１０２に、上記図８乃至図１０に示す処理ルーチンをもつプログラムを格納し、このプログラムをＭＰＵ部１１０１が実行することにより、上記した複数映像の再生処理にとどまらず、複数映像の記録処理を含めて実現可能であり、これにより複数種の映像を１枚の映像上に座標配置した映像ストリームの記録・再生システムが実現できる。
【０１０１】
上述した本発明の実施形態によれば、１つの映像ストリームに複数の映像ストリームを格納することができる。この処理に於いて、複数の映像ストリームを読み込む必要がないため、データ読み込みのオーバーヘッドが少ない。また複数の映像を個別にデコードする場合に比べ、複数映像のフレーム同期を簡単にとることができる。これにより内部構成を簡素にした映像機器が実現できる。
【０１０２】
つぎに、上記した本発明の映像処理技術を実機構成に照らして実現した場合の本発明をより具現化した映像機器について説明する。ここでは、１０８０ｉ／ｐ（interlace/progressive）の解像度を持つソース映像へ配置する映像の解像度の組み合わせについて、その具体例を示す。
【０１０３】
１０８０ｉ／ｐの解像度を持つソース映像へ、現行のテレビシステムで表示可能な解像度（７２０ｉ／ｐ、４８０ｉ／ｐ）の映像と、任意の解像度の二次映像を記録し、発明のポイントの複数映像再生処理装置で再生する事を考える。配置する映像の解像度の組み合わせと、同時に配置する二次映像の使用用途を図１４に示す。ここでは解像度の組み合わせを４例（組み合わせ１〜４）について示している。
【０１０４】
組み合わせ１の映像のソース映像の例を図１５に示し、合成映像の例を図１６に示す。
【０１０５】
図１５に、組み合わせ１の場合のソース映像１３０１を示す。このソース映像１３０１には、７２０ｉ／ｐの解像度を持つ主映像（動画）１３０２と、４８０ｉ／ｐの解像度を持つ二次映像（動画）１３０３をもつ。さらにソース映像１３０１には、任意の解像度を持つ字幕映像１３０４、および当該字幕映像１３０４のマスク（字幕映像用のマスク）１３０５と、任意の解像度を持つボタン映像１３０６、および当該ボタン映像１３０６のマスク（ボタン映像用のマスク）１３０７をそれぞれ二次映像としてもつ。
【０１０６】
図１５に示した映像１３０２〜１３０７をもつソース映像１３０１に於ける、組み合わせ１の合成映像の一例を図１６に示す。ここでは７２０ｉ／ｐの解像度を持つ主映像（動画）上の左上端を基点に４８０ｉ／ｐの解像度をもつ二次映像（動画）を配置し、さらに主映像に字幕、二次映像にボタンを配置した合成映像１４０１を例示している。
【０１０７】
図１７に、組み合わせ２の場合のソース映像１５０１を示す。このソース映像１５０１には、７２０ｉ／ｐの解像度を持つ主映像（動画）１５０２と、任意の解像度をもつ字幕映像１５０３〜１５０５、およびこれら字幕映像１５０３〜１５０５のマスク（字幕映像用のマスク）１５０６〜１５０８をそれぞれ二次映像としてもつ。
【０１０８】
図１７に示した映像１５０２〜１５０８をもつソース映像１５０１に於ける、組み合わせ２の合成映像の一例を図１８に示す。ここでは７２０ｉ／ｐの解像度を持つ主映像（動画）上に複数の字幕を配置した合成映像１６０１を例示している。
【０１０９】
図１９に、組み合わせ３の場合のソース映像１７０１を示す。このソース映像１７０１には、それぞれ４８０ｉ／ｐの解像度をもつ４種の映像（動画１〜４）１７０２〜１７０５をもつ。図１９に示した映像１７０２〜１７０５をもつソース映像１７０１に於ける、組み合わせ３の合成映像の一例を図２０に示す。ここでは４つの映像１７０２〜１７０５を用いたマルチアングル再生の例を示している。
【０１１０】
図２１に、組み合わせ４の場合のソース映像１９０１を示す。このソース映像１９０１には、それぞれ４８０ｉ／ｐの解像度をもつ３種の映像（動画１〜３）１９０２〜１９０４と、任意の解像度をもつ字幕映像１９０５、および当該字幕映像１９０５のマスク（字幕映像用のマスク）１９０６と、２つのボタン映像１９０７，１９０８、および当該ボタン映像１９０７，１９０８のマスク（ボタン映像用のマスク）１９０９，１９１０とをもつ。図２１に示した映像１９０２〜１９１０をもつソース映像１９０１に於ける、組み合わせ４の合成映像の一例を図２２に示す。この例ではボタン映像に適用するマスクを動的に変えることができる。
【図面の簡単な説明】
【０１１１】
【図１】本発明の実施形態に係る映像記録方法および映像機器の説明図。
【図２】上記実施形態に係る複数映像再生手段の説明図。
【図３】上記実施形態に係る複数映像合成手段の説明図。
【図４】上記実施形態に係る映像プレーンの層構造を示す図。
【図５】上記実施形態に係る映像ユニットデータのデータ構造を示す図。
【図６】上記実施形態に係る映像情報のデータ構造を示す図。
【図７】上記実施形態に係るマスク情報のデータ構造を示す図。
【図８】上記実施形態に係る複数映像記録処理の手順を示すフローチャート。
【図９】上記実施形態に係る複数映像再生処理の手順を示すフローチャート。
【図１０】上記実施形態に係る複数映像の合成・復元処理手順を示すフローチャート。
【図１１】上記実施形態に係る複数映像再生処理装置の構成を示すブロック図。
【図１２】上記図１１に示す映像復元・合成処理部の構成を示すブロック図。
【図１３】上記複数映像再生処理装置に於いてユーザが実施することができる映像操作と、装置内部で行なわれる処理を対応付けて示す図。
【図１４】上記実施形態に係る複数映像の合成・復元処理に於ける映像の解像度の組み合わせ例を示す図。
【図１５】上記図１４に於ける組み合わせ１の場合のソース映像例を示す図。
【図１６】上記図１５の合成映像例を示す図。
【図１７】上記図１４に於ける組み合わせ２の場合のソース映像例を示す図。
【図１８】上記図１７の合成映像例を示す図。
【図１９】上記図１４に於ける組み合わせ３の場合のソース映像例を示す図。
【図２０】上記図１９の合成映像例を示す図。
【図２１】上記図１４に於ける組み合わせ４の場合のソース映像例を示す図。
【図２２】上記図２１の合成映像例を示す図。
【符号の説明】
【０１１２】
１０１〜１０３，２０３〜２０５…映像、１０４，２０２…ソース映像、１０５…映像復元用情報、１０６…映像合成用情報、１０７…映像表示用情報、１０８，２０１…映像ユニットデータ、１０９…映像ユニットデータの集合（映像ストリーム）、１１０…情報記憶媒体、３０１，４０３…主映像プレーン、３０２，４０２…二次映像プレーン、３０３…主映像、３０５…マスク、３０６…マスク処理済二次映像、３０７…合成映像、１１０１…ＭＰＵ部、１１０２…メモリ部、１１０３…ＲＯＭ部、１１０５…光ディスク、１１０６…ＨＤＤ、１１０７…ネットワークストレージ、１１０８…ネットワークストレージ、１１０９…データプロセッサ部、１１１０…ディスクドライブ部、１１１１…フラッシュメモリ（Ｆｌａｓｈ  Ｍｅｍｏｒｙ）、１１１２…ネットワークコントローラ、１１１３…映像デコーダ部、１１１４…映像復元・合成処理部、１１１５…映像デコーダ部、１１１６…ビデオプロセッサ部、１１１７…外部入力信号処理部、１２０１…映像関連情報解析部、１２０２…映像切り分け部、１２０３…主映像回転・座標配置部、１２０４…二次映像回転部、１２０５…マスク二値化部、１２０６…主映像プレーンバッファ、１２０７…二次映像一時バッファ、１２０８…二値化済みマスクバッファ、１２０９…マスク回転処理部、１２１０…マスクバッファ、１２１１…マスク処理部、１２１２…二次映像プレーンバッファ、１２１３…ミキサー。
【図１】
0004393425.tif 000002
【図２】
0004393425.tif 000003
【図３】
0004393425.tif 000004
【図４】
0004393425.tif 000005
【図５】
0004393425.tif 000006
【図６】
0004393425.tif 000007
【図７】
0004393425.tif 000008
【図８】
0004393425.tif 000009
【図９】
0004393425.tif 000010
【図１０】
0004393425.tif 000011
【図１１】
0004393425.tif 000012
【図１２】
0004393425.tif 000013
【図１３】
0004393425.tif 000014
【図１４】
0004393425.tif 000015
【図１５】
0004393425.tif 000016
【図１６】
0004393425.tif 000017
【図１７】
0004393425.tif 000018
【図１８】
0004393425.tif 000019
【図１９】
0004393425.tif 000020
【図２０】
0004393425.tif 000021
【図２１】
0004393425.tif 000022
【図２２】
0004393425.tif 000023