(57)【特許請求の範囲】
【請求項１】
主映像データと副映像データとを含む複数の映像データをそれぞれ所定の形式に符号化し、該複数の映像データをそれぞれ映像オブジェクトとして１つの映像データストリームに多重化する映像データ生成装置であって、
多重化対象となる映像データの各々について、符号化された当該映像データを復号するために要する計算量に基づいて決定される特徴量を求めるための手段と、
多重化すべき前記複数の映像データの各々について求められた前記特徴量の総和が、複数の映像データの多重化を可能にするものとして予め定められた基準値以下であるか否か判断するための手段と、
前記特徴量の総和が、前記基準値以下でないと判断された場合に、前記符号化に先立って、前記特徴量の総和が前記基準値以下になるように、多重化すべき前記複数の映像データのうち前記副映像データの全部または一部に対して、映像解像度の削減、単位時間あたりの映像フレーム数の削減、または映像の一部の削除のうちの少なくとも一つにより行われる変換を施すための手段とを備えたことを特徴とする記載の映像データ生成装置。
【請求項２】
前記１つの映像データストリームに多重化すべきものとして指定された時間長の長い主映像データの被重畳区間に多重化する候補となる時間長の短い複数の副映像データの各々について、当該副映像データについて求められた前記特徴量を記憶するための記憶手段と、
前記複数の副映像データのうちから、少なくとも前記主映像データの被重畳区間に対する前記特徴量及び前記副映像データに対する前記特徴量に基づいて、前記主映像データの被重畳区間に多重化すべき副映像データを選択するための選択手段とを更に備えたことを特徴とする請求項１に記載の映像データ生成装置。
【請求項３】
前記１つの映像データストリームに多重化すべきものとして指定された時間長の長い主映像データの被重畳区間に多重化する候補となる時間長の短い複数の副映像データの各々について、当該副映像データについて定められた優先度を記憶するための記憶手段と、
前記複数の副映像データのうちから、少なくとも前記副映像データに対する優先度に基づいて、前記主映像データの被重畳区間に多重化すべき副映像データを選択するための選択手段とを更に備えたことを特徴とする請求項１に記載の映像データ生成装置。
【請求項４】
前記１つの映像データストリームに多重化すべきものとして指定された時間長の長い主映像データの被重畳区間に多重化する候補となる時間長の短い複数の副映像データの各々について、当該副映像データについて求められた前記特徴量および当該副映像データについて定められた優先度を記憶するための記憶手段と、
前記複数の副映像データのうちから、少なくとも前記主映像データの被重畳区間に対する前記特徴量及び前記副映像データに対する前記特徴量並びに前記副映像データに対する優先度に基づいて、前記主映像データの被重畳区間に多重化すべき副映像データを選択するための選択手段とを更に備えたことを特徴とする請求項１に記載の映像データ生成装置。
【請求項５】
前記副映像データは、複数種類のメディアのデータにより構成されるとともに、各メディアの各データには、それぞれ、前記変換を許容する優先度が設定されており、
前記変換は、前記優先度に基づいて選択された１又は複数のデータについて行うことを特徴とする請求項１に記載の映像データ生成装置。
【請求項６】
前記複数種類のメディアのデータは、少なくとも動画像データ及び音声データを含むものであることを特徴とする請求項５に記載の映像データ生成装置。
【請求項７】
前記特徴量は、映像の動きの激しさにも基づいて決定される値であることを特徴とする請求項１に記載の映像データ生成装置。
【請求項８】
主映像データと副映像データとを含む複数の映像データをそれぞれ所定の形式に符号化し、該複数の映像データをそれぞれ映像オブジェクトとして１つの映像データストリームに多重化する映像データ生成装置の映像データ生成方法であって、
多重化対象となる映像データの各々について、符号化された当該映像データを復号するために要する計算量に基づいて決定される特徴量を求め、
多重化すべき前記複数の映像データの各々について求められた前記特徴量の総和が、複数の映像データの多重化を可能にするものとして予め定められた基準値以下であるか否か判断し、
前記特徴量の総和が、前記基準値以下でないと判断された場合に、前記符号化に先立って、前記特徴量の総和が前記基準値以下になるように、多重化すべき前記複数の映像データのうち前記副映像データの全部または一部に対して、映像解像度の削減、単位時間あたりの映像フレーム数の削減、または映像の一部の削除のうちの少なくとも一つにより行われる変換を施すことを特徴とする記載の映像データ生成方法。
【請求項９】
主映像データと副映像データとを含む複数の映像データをそれぞれ所定の形式に符号化し、該複数の映像データをそれぞれ映像オブジェクトとして１つの映像データストリームに多重化する映像データ生成装置としてコンピュータを機能させるためのプログラムであって、
多重化対象となる映像データの各々について、符号化された当該映像データを復号するために要する計算量に基づいて決定される特徴量を求めるための機能と、
多重化すべき前記複数の映像データの各々について求められた前記特徴量の総和が、複数の映像データの多重化を可能にするものとして予め定められた基準値以下であるか否か判断するための機能と、
前記特徴量の総和が、前記基準値以下でないと判断された場合に、前記符号化に先立って、前記特徴量の総和が前記基準値以下になるように、多重化すべき前記複数の映像データのうち前記副映像データの全部または一部に対して、映像解像度の削減、単位時間あたりの映像フレーム数の削減、または映像の一部の削除のうちの少なくとも一つにより行われる変換を施すための機能とをコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の映像を多重化した映像データを生成するための映像データ生成装置及び映像データ生成方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ４は、動画、静止画、音声、テキストなどを相当的に扱うことのできる符号化方式である。ＭＰＥＧ４では、１つのシーンはいくつかのオブジェクトから構成されており、各オブジェクトは個別に最適な符号化方式が適用されており、高い符号化効率を実現する。しかし、各オブジェクトは個々に最適な符号化がなされてはいるものの、シーンを構成するオブジェクトにより総合的に最適な符号化はなされない。そのため、オブジェクト間に相関や関連性が無い場合、符号化されたシーンのビットレートは局所的に増大することがあり、復号装置に十分な能力が無い場合、符号化された情報を完全に再現することは出来ない。
【０００３】
【発明が解決しようとする課題】
映像のデジタル化は、多様な再生環境をもたらし、編集、加工といった製作時の利便性も向上した。１つの映像シーケンスに複数のオブジェクトが表現できる符号化方式を利用すると、例えば、個別に用意された背景映像と人物映像とを重ね合わせ表示させることで意味のある複合シーンが作成できる。すなわち、各オブジェクトをプリミティブとして用意しておけば、必要な複合シーンをプリミティブの組み合わせによって作成することが可能である。
【０００４】
しかし、一方が自然映像、他方が広告といったように互いに相関の無いデジタル映像どうしを合成する場合、符号化の際のビットレートは局所的に増大する可能性がある。この場合、再生側のデコード能力が十分でないと映像全体の品質が低下し、見難い映像となってしまう。
【０００５】
本発明は、上記事情を考慮してなされたもので、再生時に主となる映像の品質が低下されないように、複数の映像を多重化した映像データを生成可能とする映像データ生成装置及び映像データ生成方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、主映像データと副映像データとを含む複数の映像データをそれぞれ所定の形式に符号化し、該複数の映像データをそれぞれ映像オブジェクトとして１つの映像データストリームに多重化する映像データ生成装置であって、多重化対象となる映像データの各々について、符号化された当該映像データを復号するために要する計算量に基づいて決定される特徴量を求めるための手段と、多重化すべき前記複数の映像データの各々について求められた前記特徴量の総和が、複数の映像データの多重化を可能にするものとして予め定められた基準値以下であるか否か判断するための手段と、前記特徴量の総和が、前記基準値以下でないと判断された場合に、前記符号化に先立って、前記特徴量の総和が前記基準値以下になるように、多重化すべき前記複数の映像データのうち前記副映像データの全部または一部に対して、映像解像度の削減、単位時間あたりの映像フレーム数の削減、または映像の一部の削除のうちの少なくとも一つにより行われる変換を施すための手段とを備えたことを特徴とする。
【００１０】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読取り可能な記録媒体としても成立する。
【００１１】
本発明によれば、主となる映像の特徴量を考慮して主となる映像以外の映像の多重化の仕方をコントロールすることによって、再生のためのデコーダの負荷が突出するなどして再生時に主となる映像の品質が低下されないように、複数の映像を多重化した映像データを生成することが可能になる。
【００１２】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００１３】
図１に、本実施形態で想定する映像送受信システムの構成例を示す。本システムでは、映像データ提供装置２Ｄから映像データ生成装置２Ａへ、所定のデータ形式の素材映像データが与えられ、映像データ生成装置２Ａは、該素材映像データをもとに多重化映像データを生成する。映像データ生成装置２Ａにて生成された多重化映像データは、通信網２Ｂを介して映像データ視聴装置２Ｃへ与えられ、映像データ視聴装置２Ｃにて視聴される。もちろん、本発明は、図１以外の映像送受信システムにも適用可能である。
【００１４】
（第１の構成例）
まず、第１の構成例について説明する。
【００１５】
図２に、本発明の一実施形態に係る映像データ生成装置１Ａの構成例を示す。図２に示されるように、本映像データ生成装置１Ａは、前処理部１Ｂ、検出部１Ｄ、変換部１Ｅ、符号化部１Ｆ、多重化部１Ｇ、制御部１Ｃを備えている。
【００１６】
図３に、本映像データ生成装置１Ａにおける映像データの作成の処理手順の一例を示す。
【００１７】
まず、映像データ提供装置２Ｄには、当該映像送受信システムにおいて提供する素材映像データが用意される。
【００１８】
ここで用意される素材映像データは、主映像データと副映像データとに分類される。主映像データは、映像受信者にとって比較的有用な映像データ、例えば、時間長が比較的長い、映像の解像度が比較的高い、重要な情報を含んでいるといった条件に合致するような映像データを指す。一方、副映像データは、映像受信者にとって付加的な映像データ、例えば、時間長が比較的短い、映像の解像度が比較的低い、情報量が比較的少ないといった条件に合致するような映像データを指す。
【００１９】
映像データ提供装置２Ｄから提供された素材映像データは、映像データ生成装置１Ａの前処理部１Ｂに入力される。この際、素材映像データの符号化方式などのフォーマットは事前に定めたものであればよい。入力される素材映像データが主映像データであるか副映像データであるかを識別する方法については、例えば、素材映像データのヘッダに種類情報として予め記しておく方法を用いてもよいし、映像データ提供装置２Ｄから映像データ生成装置１Ａへ素材映像データを入力際に当該素材映像データについて設定する方法など他の方法を用いてもよい。
【００２０】
映像データ生成装置１Ａの前処理部１Ｂでは、入力された素材映像データは、予め定められた該映像データ生成装置１Ａ内で処理が容易なデータ形式へと変換され、更に、予め定められた時間長またはフレーム数のデータ処理単位（以下、スロットと呼ぶ）毎に主映像データおよび副映像データを順次送り出すといった、前処理が行われる（ステップＳ１２）。
【００２１】
順次送り出されたデータ処理単位毎の主映像データおよび副映像データは、多重化時の同一スロットで特徴量の計測・計算が行われ、主映像データの特徴量に応じた副映像データの変換が行われる（ステップＳ１３）。
【００２２】
図４に、この副映像データの変換の処理手順の一例を示す。
【００２３】
映像データ生成装置１Ａの検出部１Ｄでは、前処理部１Ｂから順次送り出される素材映像データの種類の確認が行われ（ステップＳ２１）、同一スロットの主映像データ、副映像データの順に、特徴量の計測が行われる（ステップＳ２２，Ｓ２３）。
【００２４】
ここでは、特徴量を該映像データの復号化の際の計算量と定義し、当該映像送受信システムにおいて定める単位で表現するものとする（なお、特徴量の定義は、復号化の際の計算量と映像の動きの激しさの復号関数等のように複数の要素を組み合わせた関数として定義するなど、他の方法を用いてもよい）。この場合、復号化の際の計算量の計測は、フレーム間の差分を元に行う。そのため、当該スロットの１つ前のスロットの主映像データおよび副映像データに関する情報は、検出部１Ｄにおいて一時的に記憶されている。
【００２５】
主映像データおよび副映像データの特徴量の計測が終わると、制御部１Ｃにて、これらの値を合計し（ステップＳ２４）、その合計値が予め定められた閾値を超えるか否かを判断する（ステップＳ２５）。
【００２６】
ステップＳ２５で特徴量の合計値が閾値を超えないと判断された場合、主映像データおよび副映像データは、そのまま格納部１Ｆへと送られる。
【００２７】
ステップＳ２５で特徴量の合計値が閾値を超えると判断された場合、主映像データは、そのまま格納部１Ｆへと送られるが、副映像データは、変換部１Ｅにおいて変換がなされ（ステップＳ２６）、その後、格納部１Ｆへと送られる。
【００２８】
この変換部１Ｅにおける副映像データの変換は、映像解像度の削減、単位時間あたりの映像フレーム数の削減、映像の一部の削除などのような復号化の際の計算量が減少するような処理を、単独でまたは適宜組み合わせて、同一スロット内で閉じてまたは複数のスロットに渡って行う。これによって、特徴量の合計値が閾値以下に抑えられる。
【００２９】
特徴量の検査が終了した主映像データおよび副映像データは、符号化部１Ｆにおいてそれぞれ符号化され（図３のステップＳ１４）、その後、多重化部１Ｇにおいて各々が映像オブジェクトとして多重化（ステップＳ１５）され、該映像データ生成装置１Ａから出力される。このような１つの映像データストリームに複数の映像オブジェクトを多重化するような場合、例えば、ＭＰＥＧ４を用いるとよい。
【００３０】
これら一連の映像データ生成作業は、入力される映像データが終了するまで行われる（Ｓ１１）。
【００３１】
ここで、図５および図６の映像例を参照しながら変換の様子を説明する。
【００３２】
図５に、映像データ生成装置１Ａで入力データとして扱う、主映像データおよび副映像データの例を示す。図中、４Ａ〜４Ｄは、川の流れる風景映像で、動きの少ない（復号化時の計算量の少ない）主映像データを表している。図中、４Ｅ〜４Ｈは、馬が駆けている映像で、動きの激しい（復号化時の計算量の多い）主映像データを表している。図中、４Ｊ〜４Ｍは、左側に文字情報が表示され、右側にスキーをする映像が表示された○○スキー場の宣伝広告映像で、副映像データを表している。なお、各画像例の下にあるグラフは時間を表し、区切られた時間区間ｓ１，ｓ２，ｓ３，ｓ４はそれぞれのスロットを表している。例えば、４Ａと４Ｊは同一スロットであり、４Ｈと４Ｍは同一スロットであることを示している。
【００３３】
なお、ここでは、主映像データおよび副映像データの特徴量の合計の許容閾値が“１０．０”と定められているものとする。
【００３４】
図６に、映像データ生成装置で生成された映像データの例を示す。
【００３５】
図５の４Ａ〜４Ｄの主映像データと４Ｊ〜４Ｍの副映像データを入力映像データとして図３及び図４の処理手順を適用して得られた多重化後の映像データを示したものが、図６の５Ａ〜５Ｄの画像例である。
【００３６】
ここでは、図５の４Ａ〜４Ｄの主映像データの特徴量は、いずれも“３．０”と計測されたものとする。この場合は、シーン中での動きは川の水の流れのみであるため、特徴量は低く一定である。一方、図５の４Ｊ〜４Ｍの副映像データの特徴量は、４Ｊが“４．０”、４Ｋが“７．０”、４Ｌが“４．０”、４Ｍが“６．０”と計測されたものとする。この場合は、文字の移動やスキーヤーの動きにばらつきがあったため、特徴量は大きく且つばらついている。ここで、各スロット単位に特徴量の合計をしてみると、スロットｓ１〜ｓ４のいずれについても特徴量の合計の許容閾値“１０．０”を超えない。従って、この例の場合には、副映像データ４Ｊ〜４Ｍは変換されずに、主映像データ４Ａ〜４Ｄと多重化されることになる。
【００３７】
次に、図５の４Ｅ〜４Ｈの主映像データと４Ｊ〜４Ｍの副映像データを入力映像データとして図３及び図４の処理手順を適用して得られた多重化後の映像データを示したものが、図６の５Ｊ〜５Ｍの画像例である。
【００３８】
ここでは、図５の４Ｅ〜４Ｈの主映像データの特徴量は、４Ｅの画像例が“５．０”、４Ｆの画像例が“６．０”、４Ｇの画像例が“６．０”、４Ｈの画像例が“５．０”と計測されたものとする。この場合は、シーン中の馬の動きや背景の変化にばらつきがあるため、特徴量は先の主映像データよりも大きく且つばらついている。一方、図５の４Ｊ〜４Ｍの副映像データの特徴量はそれぞれ先と同様に“４．０”、“７．０”、“４．０”、“６．０”であるものとする。ここで、各スロット単位に特徴量の合計をしてみると、スロットｓ１が“９．０”、スロットｓ２が“１３．０”、スロットｓ３が“１０．０”、スロットｓ４が“１１．０”となる。スロットｓ１，ｓ３では特徴量の合計の許容閾値“１０．０”を超えていないが、スロットｓ２，ｓ４において該許容閾値を超えている。ここでは、閾値を超えた場合の副映像データの変換方式として、該当するスロットの映像を間引き、手前のスロットの副映像データを伸張して用いることとしている。この結果、多重化された映像データのうちスロットｓ１，ｓ２では副映像５Ｎ，５Ｐとして同一スロット（４Ｊ）の副映像データが使われ、スロットｓ３，ｓ４では副映像５Ｑ，５Ｒとして同一スロット（４Ｌ）の副映像データが使われている。
【００３９】
このように主映像データの動きなどに影響を与えることなく、副映像データの多重化が行われる。
【００４０】
なお、上記では、主映像データに１つの副映像データを多重化するものであったが、主映像データに指定された数（１又は複数）の副映像データを多重化する構成も可能である。この場合には、主映像データ及び全副映像データの特徴量の合計値を閾値以下に抑えるように、副映像データの全部又は一部のものを変換すればよい。
【００４１】
（第２の構成例）
次に、第２の構成例について説明する。
【００４２】
図７に、本発明の一実施形態に係る映像データ生成装置２Ａの他の構成例を示す。図７に示されるように、本映像データ生成装置２Ａは、前処理部１２Ｂ、検出部１２Ｄ、変換部１２Ｅ、符号化部１２Ｆ、多重化部１２Ｇ、蓄積部１２Ｈ、制御部１２Ｃを備えている。
【００４３】
図８に、本映像データ生成装置２Ａにおける映像データの作成の処理手順の一例を示す。
【００４４】
まず、映像データ提供装置２Ｄには、当該映像送受信システムにおいて提供する素材映像データが用意される。ここで用意される素材映像データは、主映像データと副映像データとに分類される。主映像データと副映像データについては前述と同様である。
【００４５】
映像データ提供装置２Ｄから提供された素材映像データは、映像データ生成装置２Ａの前処理部１２Ｂに入力され、前述と同様に前処理が行われる。この際、素材映像データの符号化方式などのフォーマットは事前に定めたものであればよい。主映像データか副映像データかを識別する方法については前述と同様である。
【００４６】
入力された素材映像データが副映像データである場合は、検出部１２Ｄにより該映像データの特徴量等の計測が行われた後、蓄積部１２Ｈに格納される。この際、検出部１２Ｄで検出された情報などを元に、映像データ管理テーブルが作成される。図９は、映像データ管理テーブルの一例である。この例では、各々の副映像データについて、データ番号（１０Ａ）、映像時間（１０Ｂ）、スロット毎の特徴量の最大及び平均（１０Ｃ）、付加情報（１０Ｄ）、優先度（１０Ｅ）、格納位置を示すポインタ（１０Ｆ）が保持される。
【００４７】
副映像データが、予め定められた数量を超えると、主映像データの受け入れが可能となる。副映像データと同様に、映像データ提供装置２Ｄから提供された主映像データは、映像データ生成装置２Ａの前処理部１２Ｂに入力される。該主映像に対して副映像データを多重化する区間は、予め定めておくか、あるいは予め定められたアルゴリズムにより適宜定める。
【００４８】
副映像データ管理テーブルにあるエントリーの中で該主映像データに多重可能な副映像データの映像時間のうち最も長時間のものに合わせて、主映像データのデータ多重化区間の先頭部分から該多重時間分だけ主映像データを検出部１２Ｄに送出し（ステップＳ３２）、該区間の特徴量をスロット毎に検出する（ステップＳ３３）。
【００４９】
次いで、エントリーされている該区間で多重可能な全副映像データの各々に対して、当該副映像データと主映像データとの各スロット毎の総特徴量の計算が行われる（ステップＳ３４）。
【００５０】
そして、予め定められた総特徴量の閾値、優先度、多重時間などいくつかの要素から総合的な判断がなされ、該区間で多重化される副映像データが選択される（ステップＳ３５）。各項目のいずれかが条件に満たない場合は、最も条件に近いものが多重化される副映像データとして選択され、主映像データの特徴量に応じた副映像データの変換が行われる（ステップＳ３６）。副映像データの変換方法に関しては先に示したように、映像解像度の削減、単位時間あたりの映像フレーム数の削減、映像の一部の削除などのような復号化の際の計算量が減少するような処理を、単独でまたは適宜組み合わせて、同一スロット内で閉じてまたは複数のスロットに渡って行う。
【００５１】
なお、上記の選択の際には、特徴量のみに基づく方法、特徴量及び少なくとも一つの他の要素に基づく方法、特徴量には基づかない方法などのバリエーションがある。
【００５２】
多重区間によって変換されないままの副映像データあるいは必要に応じて変換された副映像データは、主映像との多重区間の記録と共に蓄積部１２Ｈに格納される。
【００５３】
これらの操作は主映像データが終了するまで繰り返され（Ｓ３１）、主映像データに対して多重化される副映像データが多重区間ごとに定められる。
【００５４】
格納されている主映像データおよび副映像データは、符号化部１２Ｆにおいてそれぞれ符号化され、多重化部１２Ｇにおいて各が映像オブジェクトとして多重化され、該映像データ生成装置２３Ａから出力される。このような１つの映像データストリームに複数の映像オブジェクトを多重化するような場合、例えば、ＭＰＥＧ４を用いるとよい。
【００５５】
ここで、図１０および図１１の映像例を参照しながら多重化の様子を説明する。
【００５６】
図１０に、映像データ生成装置で入力データとして扱う、主映像データおよび副映像データの例を示す。図中、８Ａ〜８Ｈは、同一の主映像データ中のあるシーンを抜粋したものであり、８Ａ〜８Ｄは、川の流れる風景映像で、動きの少ない（復号化時の計算量の少ない）区間を表しており、８Ｅ〜８Ｈは馬が駆けている映像で、動きの激しい（復号化時の計算量の多い）区間を表している。図中、８Ｊ〜８Ｍは、ある副映像データとして、左側に文字情報が、右側にスキーをする映像が表示された○○スキー場の宣伝広告映像を表している。図中、８Ｎ〜８Ｒは、他の副映像データとして、映像の上に文字情報が表示された△△雪祭りの宣伝広告映像を表している。これら副映像データは前述の通り蓄積部１２Ｈに格納されている。
【００５７】
副映像データの蓄積部１２Ｈへの格納の際に作成される副映像データ管理テーブルの例が図９である。ここでは、図１０の８Ｊ〜８Ｍは、図９のデータ番号“０１０２２５１”のエントリに対応し、８Ｎ〜８Ｒは、図９のデータ番号“２２５１０１０”のエントリに対応するものとする。
【００５８】
なお、ここでは、主映像データおよび副映像データの特徴量の合計の許容閾値が“１０．０”と定められているものとする。
【００５９】
この例において、主映像データがある副映像データ多重区間の先頭であるＳｉ＋１に差し掛かると、該スロットから多重可能な副映像データの最大時間長分先のスロットまで特徴量の計測が行われる。この例では、スロットＳｉ＋１〜Ｓｉ＋４まで特徴量の計測が行われ、主映像データ８Ａ〜８Ｄの区間の特徴量はいずれも“２．０”と計測されたものとする。この区間のシーン中での動きは川の水の流れのみであるため、特徴量は低く一定である。蓄積部１２Ｈに格納されている各々の副映像データの特徴量は、データ管理テーブルにスロット毎に記述されており（図９の１０Ｃ参照）、該区間の主映像データの対応するスロットの特徴量との合計が計算される。ここでは、いずれの副映像データについても、該区間内の全てのスロットで許容閾値“１０．０”を下回ったため、例えば、予め定められた副映像データの優先度（図９の１０Ｅ参照）を参照して、最大の優先度を持つデータ番号“０１０２２５１”のデータ、すなわち図１０の８Ｊ〜８Ｍが多重化されるデータとして選択されたものとする。選択された副映像データの格納位置は、ポインタ（１０Ｆ）が示している。
【００６０】
次に、主映像データが他の副映像データ多重可能区間の先頭であるＳｊ＋１に差し掛かると、該スロットから多重可能な副映像データの最大時間長分先のスロットまで特徴量の計測が行われる。この例では、スロットＳｊ＋１〜Ｓｊ＋４まで特徴量の計測が行われ、主映像データ８Ｅ〜８Ｈの区間の特徴量はそれぞれ“５．０”、“６．０”、“６．０”、“５．０”と計測されたものとする。この区間のシーン中では馬の動きや背景の変化にばらつきがあるため、特徴量は先の主映像データよりも大きく且つばらついている。スロットＳｉ＋１〜Ｓｉ＋４の例と同様に、蓄積部１２Ｈに格納されている各々の副映像データについて、該区間の主映像データの対応するスロットの特徴量との合計を計算した結果、該合計値が許容閾値“１０．０”を下回ったのは、データ番号“２２５１０１０”のみであるとすると、多重化されるデータとしては８Ｎ〜８Ｒが選択される。
【００６１】
図１１に、映像データ生成装置２Ａにおいて上記のようにして選択された副映像データが多重化された映像データの例を示す。
【００６２】
図１１において、９Ａ〜９Ｄは、図１０の８Ａ〜８Ｄに８Ｊ〜８Ｍが多重化された映像の例であり、９Ｊ〜９Ｍは、図１０の８Ｅ〜８Ｈに８Ｎ〜８Ｒが多重化された映像の例である。
【００６３】
ここに示した例では、該当する区間の主映像データの各スロットと対応する副映像データの各スロットとの特徴量の合計が許容閾値（例えば、１０．０）を下回るものがあったため、副映像データの変換はなされなかったが、許容閾値を上回るスロットがある場合は、先に示した方法により副映像データの変換がなされる。
【００６４】
このように主映像データの被多重化区間ごとに適切に副映像データの選択および多重化が行われることで、主映像の動きなどに影響を与えることなく副映像を多重化した映像データが作成できる。
【００６５】
なお、上記では、主映像データに１つの副映像データを多重化するものであったが、主映像データに指定された数（１又は複数）の副映像データを多重化する構成も可能である。この場合には、主映像データ及び全副映像データの特徴量の合計値を閾値以下に抑えるように、選択（あるいは選択及び変換）を行えばよい。
【００６６】
（第３の構成例）
次に、第３の構成例について説明する。
【００６７】
ここでは、映像データ生成装置の構成例は、第１の構成例における図２と同様である。
【００６８】
また、図１２に、本映像データ生成装置１Ａにおける映像データの作成の処理手順の一例を示す。
【００６９】
まず、映像データ提供装置２Ｄは、当該映像送受信システムにおいて提供する素材映像データを用意する。ここで用意される素材映像データは、映像受信者にとって比較的有用な映像データを指す主映像データと、映像受信者にとって付加的な映像データを指す副映像データとに分類される。
【００７０】
映像データは、少なくとも、１又は複数の動画像データから構成されるものとする。また、１又は複数の音声データ、あるいはその他のマルチメディアデータ等を更に含むこともある。
【００７１】
映像データ提供装置２Ｄから提供された素材映像データは、映像データ生成装置１Ａの前処理部１Ｂに入力され、前処理が行われる（ステップＳ４２）。この際、素材映像データの符号化方式などのフォーマットは事前に定めたものであればよい。前処理部１Ｂでは入力された素材映像データは、該映像データを構成する動画像データ、音声データ、その他のマルチメディアデータ等に分けられる。また、映像データ生成装置１Ａの前処理部１Ｂでは、入力された素材映像データは、予め定められた該映像データ生成装置１Ａ内で処理が容易なデータ形式へと変換される場合もある。ここで、該映像データを構成する動画像データ、音声データ、その他のマルチメディアデータ等の相互に優先度が設定されている場合には、その確認も行われる。
【００７２】
なお、主映像データか副映像データかを識別する方法については前述と同様である。また、素材映像データの種類は、例えば、そのヘッダ情報等によって識別することなどが可能である。
【００７３】
次に、主映像データおよび副映像データは、データ処理単位毎に特徴量の計測・計算が行われ、主映像データの特徴量に応じた副映像データの変換（ステップＳ４３）が行われる。
【００７４】
図１３に、この副映像データの変換の処理手順の一例を示す。
【００７５】
映像データ生成装置１Ａの検出部１Ｄでは、前処理部１Ｂから順次送り出される素材映像データの種類の確認が行われ（ステップＳ５１）、同一スロットの主映像データを構成する動画像データ、音声データ、その他のマルチメディア等の各データ、副映像データを構成する動画像データ、音声データ、その他のマルチメディアデータ等の各データの順に、特徴量の計測が行われる（ステップＳ５２，Ｓ５３）。
【００７６】
ここでは、特徴量を該映像データの復号化の際の計算量と定義し、当該映像送受信システムにおいて定める単位で表現するものとする（なお、特徴量の定義は、復号化の際の計算量と映像の動きの激しさ、もしくは音質の良さ等との復号関数等のように複数の要素を組み合わせた関数として定義するなど、他の方法を用いてもよい）。
【００７７】
主映像データを構成する各データおよび副映像データを構成する各データの特徴量の計測が終わると、制御部１Ｃにて、これらの値を合計し（ステップＳ５４）し、その合計値が予め定められた閾値を超えるか否かを判断する（ステップＳ５５）。
【００７８】
ステップＳ５５で特徴量の合計値が閾値を超えないと判断された場合、主映像データを構成する各データおよび副映像データを構成する各データは、そのまま格納部１Ｆへと送られる。
【００７９】
ステップＳ５５で特徴量の合計値が閾値を超えると判断された場合、主映像データを構成する各データは、そのまま格納部１Ｆへと送られるが、副映像データを構成する各データについては、それら各データのうちどのデータに関して変換を行うかについて選択が行われ（ステップＳ５６）、変換部１Ｅにおいて該選択されたデータに関して変換がなされ（ステップＳ５７）、その後、格納部１Ｆへと送られる。この際、副映像データを構成する各データのうちどのデータに関して変換を行うかについての選択は、例えば、前処理部１Ｂで検査しておいた優先度などに基づき行うか、変換により特徴量が最も効果的に削減できるデータに関して行うか、もしくは予め定められた規則に従い行うか、またはそれらの組み合わせにより行う。
【００８０】
特徴量の検査および変換等が終了した主映像データおよび副映像データは、符号化部１Ｆにおいてそれぞれ符号化（図１２のステップＳ４４）され、多重化部１Ｇにおいて各々が映像オブジェクトとして多重化され（ステップＳ４５）、該映像データ生成装置１Ａから出力される。このような１つの映像データストリームに複数の映像オブジェクトを多重化するような場合、例えば、ＭＰＥＧ４を用いるとよい。
【００８１】
これら一連の映像データ生成作業は、入力される映像データが終了するまで行われる（Ｓ４１）。
【００８２】
ここで、図１４に、映像データ生成装置１Ａにおいて多重化された映像データの表示例を示す。
【００８３】
この例は、洗濯機の商品説明に関する情報をＷＷＷブラウザ上で表示している表示画面（６Ａ）を示す例であり、表示領域には、商品映像である主映像データ（６Ｂ）と、説明員映像である副映像データ（６Ｃ）とが重畳されずに表示されている。この場合も、商品の説明映像である主映像の特徴量に合わせて、説明員映像である副映像を適宜変換して１つのストリームとしておくことで、商品の把握に重要な主映像の品質を低下させることなく、説明員映像も付加できる。また、この際、副映像データを構成する動画像データと音声データとには優先度が設定されていて、説明員の動画像データを変換すなわちフレームレート低減の対象とし、音声データを変換対象とはしないようにすれば、音声による説明は品質を低下させることなく再生することができる。
【００８４】
以上幾つかの構成例で説明したきたように本実施形態によれば、ＭＰＥＧ４などのオブジェクトの多重化が可能な符号化方式を利用し、映像受信者にとって比較的有用な映像データを指す主映像と、映像受信者にとって付加的な映像データを指す副映像とを多重化する際、主映像の動きなどの特徴量に応じて多重化する副映像を変換し、あるいは副映像または主映像を構成するデータの一部を変換し、あるいは複数用意された副映像を選択することなどにより、主映像の動きなどに影響を与えることなく副映像の多重化が行われ、映像受信者の欲する情報もしくはデータを損なうことなく、複数の映像を多重化した映像データを生成することが可能となる。
【００８５】
なお、以上の各機能は、ソフトウェアとして実現可能である。
また、本実施形態は、コンピュータに所定の手段を実行させるための（あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるための）プログラムとして実施することもでき、該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。
【００８６】
なお、この発明の実施の形態で例示した構成は一例であって、それ以外の構成を排除する趣旨のものではなく、例示した構成の一部を他のもので置き換えたり、例示した構成の一部を省いたり、例示した構成に別の機能あるいは要素を付加したり、それらを組み合わせたりすることなどによって得られる別の構成も可能である。また、例示した構成と論理的に等価な別の構成、例示した構成と論理的に等価な部分を含む別の構成、例示した構成の要部と論理的に等価な別の構成なども可能である。また、例示した構成と同一もしくは類似の目的を達成する別の構成、例示した構成と同一もしくは類似の効果を奏する別の構成なども可能である。
また、この発明の実施の形態で例示した各種構成部分についての各種バリエーションは、適宜組み合わせて実施することが可能である。
また、この発明の実施の形態は、個別装置としての発明、関連を持つ２以上の装置についての発明、システム全体としての発明、個別装置内部の構成部分についての発明、またはそれらに対応する方法の発明等、種々の観点、段階、概念またはカテゴリに係る発明を包含・内在するものである。
従って、この発明の実施の形態に開示した内容からは、例示した構成に限定されることなく発明を抽出することができるものである。
【００８７】
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【００８８】
【発明の効果】
本発明によれば、主となる映像の特徴量を考慮して主となる映像以外の映像の多重化の仕方をコントロールすることによって、再生時に主となる映像の品質が低下されないように、複数の映像を多重化した映像データを生成することが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る映像送受信システムの構成例を示す図
【図２】同実施形態に係る映像データ生成装置の構成例を示す図
【図３】映像データの作成の処理手順の一例を示すフローチャート
【図４】映像データの変換の処理手順の一例を示すフローチャート
【図５】映像データ例を示す図
【図６】映像データ例を示す図
【図７】同実施形態に係る映像データ生成装置の他の構成例を示す図
【図８】映像データの作成の処理手順の他の例を示すフローチャート
【図９】映像データ管理テーブルの一例を示す図
【図１０】映像データ例を示す図
【図１１】映像データ例を示す図
【図１２】映像データの作成の処理手順の更に他の例を示すフローチャート
【図１３】映像データの変換の処理手順の他の例を示すフローチャート
【図１４】映像データ表示例を示す図
【符号の説明】
２Ａ…映像データ生成装置
２Ｂ…通信網
２Ｃ…映像データ視聴装置
２Ｄ…映像データ提供装置
１Ｂ，１２Ｂ…前処理部
１Ｃ，１２Ｃ…制御部
１Ｄ，１２Ｄ…検出部
１Ｅ，１２Ｅ…変換部
１Ｆ，１２Ｆ…符号化部
１Ｇ，１２Ｇ…多重化部
１２Ｈ…蓄積部
【図１】
0003790115.tif 000002
【図２】
0003790115.tif 000003
【図３】
0003790115.tif 000004
【図４】
0003790115.tif 000005
【図５】
0003790115.tif 000006
【図６】
0003790115.tif 000007
【図７】
0003790115.tif 000008
【図８】
0003790115.tif 000009
【図９】
0003790115.tif 000010
【図１０】
0003790115.tif 000011
【図１１】
0003790115.tif 000012
【図１２】
0003790115.tif 000013
【図１３】
0003790115.tif 000014
【図１４】
0003790115.tif 000015