(57)【特許請求の範囲】
【請求項１】
圧縮ビデオ信号のサブ画像を操作する方法であって、
複数のサブ画像を含むビデオ信号を生成するステップと、
前記ビデオ信号の少なくとも第１のフレームを、圧縮されていない複数の画像ブロックに分割することにより、圧縮されていない各画像ブロックが１つのサブ画像だけに関連するビデオデータを含むようにするステップと、
圧縮されていない前記画像ブロックから圧縮された圧縮画像ブロックを生成するために、ビデオブロックに基づく圧縮方式を使用することによって圧縮ビデオ信号を生成するステップと、
前記圧縮ビデオ信号の少なくとも第１のサブ画像を操作するステップであって、この操作は、前記圧縮画像ブロックの圧縮されたビデオデータを変更することなく前記第１のサブ画像の前記画像ブロックを圧縮した前記圧縮画像ブロックと制御データとの関連性を操作することにより行なわれるステップとを含み、
前記第１のフレームは複数のサブ画像を含むモザイクスクリーンであり、前記複数のサブ画像は或るビデオシーケンスにおいて時間的間隔を有することを特徴とする、方法。
【請求項２】
少なくとも前記第１のサブ画像を操作する前記ステップは、前記ビデオデータに含まれる制御データを変更することなく前記第１のサブ画像の圧縮画像ブロックを、異なる画像の圧縮画像ブロックに代えることを含むことを特徴とする請求項１に記載の方法。
【請求項３】
少なくとも第１のサブ画像を操作する前記ステップは、第２のサブ画像の制御データを前記第１のサブ画像の前記圧縮画像ブロックに関連付けることを含む請求項１に記載の方法。
【請求項４】
前記制御データは、関連するサブ画像の位置に関する情報を含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記制御データが識別データを含み、この方法は、前記圧縮ビデオ信号を解析して前記第１のサブ画像に対応する識別データを検出することにより、前記第１のサブ画像の前記圧縮データブロックを選択するステップを更に含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記圧縮ビデオ信号が複数のスライスを含んでおり、該スライスの各々は、スライスヘッダと、多数の連続する圧縮画像ブロックとを含んでいることを特徴とする請求項１に記載の方法。
【請求項７】
前記スライスの各々が１つの圧縮画像ブロックを含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記スライスの各々は、１つのサブ画像の幅に対応する多数の圧縮画像ブロックを含むことを特徴とする請求項６に記載の方法。
【請求項９】
前記スライスの各々は、１つの画像の幅に対応する多数の圧縮画像ブロックを含むことを特徴とする請求項６に記載の方法。
【請求項１０】
少なくとも第１のサブ画像を操作する前記ステップは、１つのスライスの前記圧縮画像ブロックを他のスライスの前記圧縮画像ブロックに取って代えおよび／または前記制御データを変更するシフティング操作を実行することによって、前記第１のサブ画像の位置を操作することを含むことを特徴とする請求項６に記載の方法。
【請求項１１】
少なくとも第１のサブ画像を操作する前記ステップは、前記制御データを変更するシフティング操作を行なうことにより前記第１のサブ画像の位置を操作することを含むことを特徴とする請求項６に記載の方法。
【請求項１２】
前記スライスヘッダがスライス番号を含み、少なくとも第１のサブ画像を操作する前記ステップは、前記第１のサブ画像の前記圧縮画像ブロックを含むスライスに対するスライス番号を変更することによって、前記第１のサブ画像の垂直位置を操作することを含むことを特徴とする請求項６に記載の方法。
【請求項１３】
少なくとも第１のサブ画像を操作する前記ステップは、前記ビデオデータに含まれる制御データを変更することなく前記圧縮画像ブロックを所定の圧縮画像ブロックに代えることを更に含んでおり、これにより、所定の画像を前記圧縮ビデオ信号内に挿入することができることを特徴とする請求項１に記載の方法。
【請求項１４】
所与のサブ画像が予測的にコード化され、前記所定のサブ画像内の前記複数の画像ブロックに関連付けられた全てのブロック動作ベクトルは、１つの画像と１つの基準画像との間での所与のサブ画像の変位に依存する同一値に設定されることを特徴とする請求項１に記載の方法。
【請求項１５】
前記サブ画像の変位をユーザが制御可能であることを特徴とする請求項１４に記載の方法。
【請求項１６】
請求項１から請求項１５のいずれか一項に記載の方法をコンピュータに実行させるプログラム。
【請求項１７】
圧縮ビデオ信号のサブ画像を操作するための装置であって、
複数のサブ画像を含む圧縮ビデオ信号を受信する手段を備え、前記圧縮ビデオ信号の少なくとも第１のフレームは、圧縮されていない画像ブロックのビデオブロック圧縮により複数の圧縮画像ブロックに分割され、前記圧縮されていない画像ブロックは１つのサブ画像だけに関連するビデオデータを含み、当該装置は、前記圧縮ビデオ信号の少なくとも第１のサブ画像を操作する手段を備え、前記操作は、圧縮画像ブロックの圧縮されたビデオデータを変更することなく前記第１のサブ画像に関連する圧縮画像ブロックと制御データとの関連性を操作することにより行なわれ、前記第１のフレームは複数のサブ画像を含むモザイクスクリーンであり、前記複数のサブ画像は或るビデオシーケンスにおいて時間的間隔を有することを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮ビデオ信号におけるサブ画像の操作に関する。
【背景技術】
【０００２】
デジタルビデオ信号を送信するために必要な帯域幅を減少させるためにビデオ圧縮を使用することが良く知られており、このビデオ圧縮によりビデオ信号のデータ転送速度が実質的に低下する。
【０００３】
最も広く使用されているビデオ圧縮技術のうちの１つは、ＭＰＥＧ−２（モーション・ピクチャ・エキスパート・グループ）として知られている。ＭＰＥＧ−２はブロックに基づく圧縮方式であり、１つのフレームが複数のブロックに分割され、各ブロックが８個の垂直ピクセルと８個の水平ピクセルとを含んでいる。輝度データを圧縮するため、各ブロックは、離散的コサイン変換（ＤＣＴ）を使用して個別に圧縮された後に量子化され、これにより、かなりの数の変換されたデータ値がゼロまで減少する。クロミナンスデータを圧縮するため、カラーサブサンプリングモードに応じて、１つの色差信号につき１個、２個、または４個のブロックがマクロブロック毎に使用される。フレーム内圧縮だけに基づくフレームは、イントラフレーム（Ｉ−フレーム）として知られている。
【０００４】
フレーム内圧縮に加えて、ＭＰＥＧ−２は、データ転送速度（data rate）を更に減少させるためにフレーム間圧縮を使用する。フレーム間圧縮は、前回のＩ−フレームまたはＰ−フレームに基づいて予測フレーム（Ｐ−フレーム）を生成することを含んでいる。また、ＩフレームとＰフレームとの間には一般に双方向予測フレーム（Ｂ−フレーム）が挿入される。この場合、圧縮は、Ｂ−フレームと周囲のＩ−フレームおよびＰ−フレーム（または、周囲のＰフレーム）との間の差を送信するだけで達成される。また、ＭＰＥＧ−２は、異なる位置におけるその後のフレームで見出される１つのフレームのブロックの画像が単に動作ベクトルを使用するだけで通信される動作評価を使用する。
【０００５】
これらの圧縮技術の結果として、標準的なＴＶスタジオ放送品質レベルを有するビデオ信号を約２〜４Ｍｂｐｓのデータ転送速度で送信することができる。
【０００６】
ビデオ装置のユーザによって頻繁に行なわれる操作は、特定の事象を探すためのビデオシーケンスによるナビゲーションである。現在のアナログビデオカセットレコーダは、特定の事象を見つける際にユーザをサポートするため、高速サーチモードおよびスローモーションを有している。デジタル記憶装置においては、ナビゲーションがモザイクスクリーンに基づいて可能になる。この場合、画像は、時間的な間隔を有する多数のサブ画像を含んでいる。このようにすれば、ユーザは、ビデオシーケンスの特定の部分の概要を得ることができ、また、モザイクスクリーンにわたってスクローリングすることによりビデオシーケンスの特定の部分を選択することができる。モザイクスクリーンは、一定の間隔を有するサブ画像を含んでいても良く、あるいは、シーン変化等の特定の事象に関連していても良い。具体的には、サブ画像およびモザイクスクリーンを階層状態で使用することにより、ビデオ材料にわたるナビゲーションを著しく容易にするボリューム目録（ＶＴＯＣ（Visual Table Of Content））を形成しても良い。
【０００７】
ＶＴＯＣは、ビデオ材料の記録または再生中に生成することができる。一定の間隔で或いは特定の事象において、現在のビデオ画像は抽出されて記憶される。その後、画像は、サイズおよび解像度が減少されてサブ画像に適合される。これらの複数のサブ画像から生成されるモザイクスクリーンは、圧縮されないため非常に大きく、大きな帯域幅および記憶容量を必要とする。その結果、モザイクスクリーンは、ＭＰＥＧ−２圧縮アルゴリズムを使用して圧縮される。
【０００８】
モザイクスクリーンのサブ画像が異なるモザイクスクリーンで再使用される場合には、圧縮されたモザイクスクリーンが解凍され、適切なサブ画像が選択されて新たなサブ画像と組み合わされる。
【０００９】
圧縮ビデオ信号内の圧縮されたサブ画像の操作が非常に複雑でありかつ膨大な処理能力を必要とすることは明らかである。したがって、操作が非常に遅くなり、また、必要な処理リソースに関して余計な電力消費量が更に必要となる。そのため、圧縮ビデオ信号領域におけるサブ画像の操作方法を向上させることが有益である。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
そこで、本発明は、圧縮ビデオ信号のサブ画像の操作性を向上させることを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、好ましくは、前述した欠点のうちの１つ以上を個別に或いは組み合わせて軽減または緩和する。
【００１２】
したがって、第１の態様においては、圧縮ビデオ信号のサブ画像を操作する方法であって、複数のサブ画像を含むビデオ信号を生成するステップと、上記ビデオ信号の少なくとも第１のフレームを、圧縮されていない複数の画像ブロックに分割することにより、圧縮されていない各画像ブロックが１つのサブ画像だけに関連するビデオデータを含むようにするステップと、圧縮されていない画像ブロックから圧縮された圧縮画像ブロックを生成するために、ビデオブロックに基づく圧縮方式を使用することによって圧縮ビデオ信号を生成するステップと、圧縮ビデオ信号の少なくとも第１のサブ画像を操作するステップであって、この操作は、圧縮画像ブロックの圧縮されたビデオデータを変更することなく第１のサブ画像に関連する圧縮画像ブロックと制御データとの関連性を操作することにより行なわれるステップとを含む方法が提供される。
【００１３】
したがって、この方法は、圧縮画像ブロックの圧縮されたビデオデータを変更する必要なくサブ画像を操作できる非常に簡単な方法をもたらす。これにより、既存の圧縮画像ブロックを使用して操作演算を行なうことができ、圧縮および解凍を伴う操作が不要になる。これにより自由度の高く非常に簡単なシステムを提供できる。操作のために必要な計算リソースが実質的に減少し、任意の操作によって引き起こされる遅延も同様に減少する。また、計算リソースが制限されるため、電力消費量も同様に減らすことができる。
【００１４】
本発明の１つの特徴によると、少なくとも第１のサブ画像を操作する上記ステップは、制御データを変更することなく第１のサブ画像の圧縮画像ブロックを、異なる画像の圧縮画像ブロックに代えることを含んでいる。これにより、特にビデオ信号内の圧縮画像ブロックが全体の画像内でその位置に関して順序付けられる場合において、非常に簡単で複雑度が低いサブ画像操作方法を提供できる。
【００１５】
本発明の第２の特徴によると、少なくとも１つの第１のサブ画像を操作する上記ステップは、第２のサブ画像の制御データを第１のサブ画像の圧縮画像ブロックに関連付けることを含んでいる。これにより、特に画像全体における圧縮画像ブロックの位置が制御データ内の情報から決定される場合において、非常に簡単で複雑度が低いサブ画像操作方法を提供できる。
【００１６】
本発明の第３の特徴によると、上記制御データは、関連するサブ画像の位置に関する情報を含んでいる。これにより、この情報を変更して位置変更を行なうことができるので、画像全体におけるサブ画像の位置の操作が容易になる。
【００１７】
本発明の第４の特徴によると、上記制御データが識別データを含み、この方法は、圧縮ビデオ信号を解析（parsing）して第１のサブ画像に対応する識別データを検出することにより、第１のサブ画像の圧縮データブロックを選択するステップを更に含んでいる。そのため、簡単な解析により選択を行なうことができ、簡単でかつ高速なリソース要求の低い操作となる。
【００１８】
本発明の第５の特徴によると、上記圧縮ビデオ信号が複数のスライスを含んでおり、各スライスは、スライスヘッダと、多数の連続する圧縮画像ブロックとを含んでいる。このような構成によれば、スライスの操作によって行なうことができ、具体的には、垂直スクローリングを非常に簡単に行なうことができるため、操作が簡単になる。
【００１９】
本発明の第６の特徴によると、各スライスが１つの圧縮画像ブロックを含んでいる。これにより、１つの圧縮画像ブロックの解像度と同じ程度に低い解像度で操作を行なうことができるため、自由度の高い操作を提供できる。
【００２０】
本発明の第７の特徴によると、各スライスは、１つのサブ画像の幅に対応する多数の圧縮画像ブロックを含んでいる。これにより、１つのスライスに対する操作がサブ画像の幅全体にわたって画像に影響を与えるため、サブ画像の扱いが容易になる。
【００２１】
本発明の第８の特徴によると、各スライスは、１つの画像の幅に対応する多数の圧縮画像ブロックを含んでいる。これにより、１つのスライスに対する操作が画像の幅全体にわたって画像に影響を与えるため、サブ画像の扱いが容易になる。
【００２２】
本発明の第９の特徴によると、少なくとも第１のサブ画像を操作する上記ステップは、１つのスライスの圧縮画像ブロックを他のスライスの圧縮画像ブロックに代え、制御データを変更するシフティング操作を実行することにより、第１のサブ画像の位置を操作することを含んでいる。これによれば、サブ画像を有する画像のシフティング操作を実行する複雑度の低い方法を提供できる。
【００２３】
本発明の第１０の特徴によると、少なくとも第１のサブ画像を操作する上記ステップは、制御データを変更するシフティング操作を行なうことにより第１のサブ画像の位置を操作することを含んでいる。これによれば、サブ画像を有する画像のシフティング操作を実行する複雑度の低い方法を提供できる。
【００２４】
本発明の第１１の特徴によると、上記スライスヘッダがスライス番号を含み、少なくとも第１のサブ画像を操作する上記ステップは、第１のサブ画像の圧縮画像ブロックを含むスライスに対するスライス番号を変更することによって第１のサブ画像の垂直位置を操作することを含んでいる。そのため、スライス番号を変更するという簡単な作業によって操作を行なうことができる。具体的には、スライス番号の簡単な操作により、垂直スクローリング操作を行なうことができる。
【００２５】
本発明の第１２の特徴によると、少なくとも第１のサブ画像を操作する上記ステップは、制御データを変更することなく圧縮画像ブロックを所定の圧縮画像ブロックに代えることを更に含んでおり、これにより、所定の画像を圧縮ビデオ信号内に挿入することができる。これによれば、マーカーやアイコン等の所定の画像を画像内に挿入する簡単な方法を提供できる。
【００２６】
ブロック圧縮方式はＭＰＥＧ−２方式であることが好ましく、また、圧縮画像ブロックはマクロブロックであることが好ましい。
【００２７】
本発明の第２の態様においては、圧縮ビデオ信号のサブ画像を操作するための装置であって、複数のサブ画像を含む圧縮ビデオ信号を受信する手段を備え、上記圧縮ビデオ信号の少なくとも第１のフレームは、圧縮されていない画像ブロックのビデオブロック圧縮により複数の圧縮画像ブロックに分割され、圧縮されていない画像ブロックは１つのサブ画像だけに関連するビデオデータを含み、当該装置は、前記圧縮ビデオ信号の少なくとも第１のサブ画像を操作する手段を備え、上記操作は、圧縮画像ブロックの圧縮されたビデオデータを変更することなく第１のサブ画像に関連する圧縮画像ブロックと制御データとの関連性を操作することにより行なわれることを特徴とする装置が提供される。
【発明を実施するための最良の形態】
【００２８】
本発明のこれらの態様および他の態様は以下に説明する実施形態から明らかであり、これらの実施形態を参照しながら上記態様について説明する。
【００２９】
以下、図面を参照しながら、単なる一例として本発明の一実施形態について説明する。
【００３０】
以下、特にＭＰＥＧ−２圧縮に関して本発明の実施形態を説明するが、本発明がこの用途に限定されず、また、他の多くのビデオブロックに基づく圧縮方式に対しても同様に本発明を適用できることは言うまでもない。
【００３１】
図１は、圧縮されたビデオ信号のサブ画像を操作するための本発明の一実施形態における装置１００の一例である。図２は本発明の一実施形態における図１の装置１００の操作２００のフローチャートを示している。
【００３２】
図１は、装置１００内に設けられた画像サンプラ１０３に接続されたビデオソース１０１を示している。ビデオソースは、外部カメラ、放送ビデオ信号のためのビデオ記憶ユニットまたは受信器、あるいは、他の任意の適当なビデオソースであっても良い。したがって、ビデオソース１０１は、装置１００の外部にあっても内部にあっても構わない。ビデオソース１０１からのビデオ信号は、デジタルであり、好適な実施形態においてはＭＰＥＧ−２圧縮方式を使用して圧縮されたデジタルビデオ信号である。画像サンプラ１０３はサブ画像生成器１０５に接続されており、サブ画像生成器１０５は更にモザイクスクリーン生成器１０７に接続されている。装置１００は、装置１００の他の機能ブロックの大部分に対して接続されたモザイクスクリーンコントローラ１０９を更に備えている。モザイクスクリーンコントローラ１０９は、装置１００の様々な機能ブロックを制御してモザイクスクリーンの生成および操作のために必要な動作を行なうようになっている。したがって、モザイクスクリーンコントローラ１０９はユーザ入力を受けて装置の動作を制御する。
【００３３】
図２のフローチャートのステップ２０１において、サブ画像が生成される。サブ画像はビデオソース１０１からのビデオ信号から生成される。モザイクスクリーンコントローラ１０９がサブ画像の生成を決定すると、モザイクスクリーンコントローラ１０９が画像サンプラ１０３に対して制御信号を送信し、これに応じて、画像サンプラ１０３は現時点においてビデオソースから受信している画像をサンプリングする。ビデオ信号がＭＰＥＧ−２で圧縮されたビデオ信号である好適な実施形態において、サンプリングは、ビデオ信号からの現在の画像をデコードするのに関連する全ての情報を記憶することを含む。したがって、この情報は、Ｉ−フレームからの全ての情報を単に含んでいても良いが、他の状況においては、選択された予測画像を適切にデコードするためにアンカー画像を含んでいても良い。サンプリングされたデータ値はサブ画像生成器に送られる。好適な実施形態において、画像サンプラ１０３は、サブ画像生成器１０５によってもアクセス可能なメモリ内にデータを記憶する。画像サンプラが必要な全ての情報を抽出して記憶すると、画像サンプラはモザイクスクリーンコントローラ１０９に対して制御信号を送信し、これに応じて、モザイクスクリーンコントローラ１０９はサブ画像生成器１０５を始動させる。
【００３４】
サブ画像生成器１０５は、画像サンプラ１０３によって取得された情報を使用してフレームを解凍することにより、好適な実施形態においては技術的に良く知られたＭＰＥＧ−２圧縮技術を使用することにより、サブ画像を生成する。解凍された画像が生成されると、その画像がサイズ変更され、したがって解像度が変更される。これは、周波数領域または時間領域でオリジナル画像をリサンプリングして縮小する（decimating）ことによって達成されることが好ましい。１つのモザイクスクリーンが１６個のサブ画像から構成されてサブ画像間に境界がある好適な実施形態においては、水平および垂直のピクセル解像度の両方が４のファクタだけ減少されるようにリサンプリングが行なわれる。具体的には、３８４×３２０ピクセル画像が、９６×８０ピクセル画像としてリサンプリングされる。
【００３５】
ステップ２０３において、モザイクスクリーンコントローラ１０９は、更に多くのサブ画像を生成しなければならないのか、また、そのために方法をステップ２０１に戻すのかどうかを決定する。好適な実施形態においては、任意のモザイクスクリーンが生成される前に、受信されたビデオシーケンス全体に関してサブ画像が生成される。他の実施形態においては、スクリーン内の画像の数に対応する数のサブ画像が生成されると直ぐに、モザイクスクリーンの生成が始まる。更なる実施形態においては、１つのサブ画像が受信されると直ぐに、モザイクスクリーンの生成が開始される。
【００３６】
具体的には、サブ画像の生成は、装置の記録中、再生中、アイドル時間中に行なわれても良い。したがって、装置は、記録または再生中にサブ画像を生成する機能を有していても良いが、これがコンピュータ的に厳しい場合、装置は、該装置がアイドル状態の時に、記録されたビデオ信号にアクセスしてサブ画像を生成する機能を有していても良い。これにより、記録中の圧縮、再生中の解凍、アイドル時間中のサブ画像生成のために同じコンピュータリソース（計算資源）を使用できるため、コンピュータリソースに対する要求が減る。
【００３７】
好適な実施形態において、モザイクスクリーンコントローラ１０９は、サブ画像間の時間間隔が一定となるようにサブ画像を一定の間隔で生成する。本発明においては、任意の適切なアルゴリズムまたは方式にしたがって別個の時間でサブ画像を生成することも考えられる。具体的には、ビデオ信号がシーンの変化を含む時にモザイクスクリーンコントローラが新たなサブ画像の生成を促しても良い。
【００３８】
モザイクスクリーンを生成するのに十分なサブ画像が生成されると、プロセスはステップ２０５へと移行し、サブ画像を含むビデオ信号が生成される。好適な実施形態においては、モザイクスクリーン生成器１０７がサブ画像のモザイクスクリーンを含むビデオ信号を生成する。
【００３９】
図３はモザイク３０１の一例を示している。
【００４０】
モザイクスクリーン３０１は、Ｈｍピクセルのピクセル高さと、Ｗｍピクセルの幅とを有している。好適な実施形態においては、Ｈｍが３２０ピクセルであり、Ｗｍが３８４ピクセルである。好適な実施形態では、モザイクスクリーン３０１が１６個のサブ画像３０３を含んでいる。マクロブロックサイズで整数分割された任意の数のサブ画像を使用して、モザイクスクリーンを生成することができる。各サブ画像は、Ｈｓｐピクセルのピクセル高さと、Ｗｓｐピクセルの幅とを有している。好適な実施形態においては、Ｈｓｐが８０ピクセルであり、Ｗｓｐが９６ピクセルである。したがって、１つのサブ画像のピクセルをモザイクスクリーン内の隣り合うサブ画像のピクセルに隣接して位置させることによりモザイクスクリーンが簡単に生成される。好適な実施形態において、モザイクスクリーンおよびサブ画像はメモリ内にデータ値として記憶され、モザイクスクリーンの生成は、各サブ画像におけるデータ値をモザイクスクリーンの適切な記憶域に移動させることにより達成される。
【００４１】
ステップ２０５においてモザイクスクリーンを含むビデオ信号が生成されると、方法はステップ２０７，２０９に移行し、ビデオ信号が圧縮される。好適な実施形態においては、使用される圧縮方式がＭＰＥＧ−２であり、したがって、オリジナルビデオ信号のために使用されたのと同様の圧縮方式がモザイクスクリーンを圧縮するために使用される。圧縮は、モザイクスクリーン生成器１０７からモザイクスクリーンを含む画像を受信するビデオコンプレッサ１１１内で行なわれる。好適な実施形態において、モザイクスクリーンの転送は、メモリ内のモザイクスクリーンの記憶域に対してポインタにより行なわれる。
【００４２】
ステップ２０７においては、ビデオ信号の少なくとも第１のフレームが圧縮されない複数の画像ブロックに分割され、これにより、各画像ブロックは１つのサブ画像だけに関連するビデオデータを含むようになる。したがって、好適な実施形態において、画像は、ＭＰＥＧ−２圧縮方式に適した１６×１６ピクセルの多数のマクロブロックに分割される。また、この分割は、各マクロブロックが完全に１つのサブ画像内にあり、したがって、サブ画像の境界がマクロブロックの境界と合致するように成される。そのため、９６×８０ピクセルの各サブ画像は、水平に６個配置されかつ垂直に５個配置された３０個のマクロブロックに分割される。結果として、サブ画像に関する任意の直接的な操作は、そのサブ画像のマクロブロックにだけ影響を与え、任意の他のサブ画像には影響を与えない。好適な実施形態においては、サブ画像の境界がマクロブロックのエッジと一致するが、他の実施形態において、サブ画像は、マクロブロックの境界内であるがエッジに揃わない状態で構成される。この場合、残りのピクセルは、モザイクスクリーン内で個々のサブ画像を分離する１つの境界を具備することができる。
【００４３】
ステップ２０９においては、ビデオブロック圧縮方式を使用して、圧縮されていない画像ブロックから圧縮された画像ブロックを生成することにより、圧縮されたビデオ信号が生成される。したがって、好適な実施形態においては、ブロック圧縮方式としてＭＰＥＧ−２が使用され、ステップ２０７で行なわれたマクロブロックへの分割に基づくＭＰＥＧ−２圧縮アルゴリズムを使用してモザイクスクリーンが圧縮される。ＭＰＥＧ−２を使用するブロック圧縮は、技術的に良く知られており、略してここでは更に説明しない。
【００４４】
圧縮されたビデオ信号は、例えばスクローリング、シフティング、サブ画像選択、サブ画像交換等を含む様々な操作を圧縮されたモザイクスクリーンに対して行なうように動作可能なビデオ操作プロセッサ１１３に供給される。ビデオ操作プロセッサ１１３はモザイクスクリーンコントローラに対して接続されており、ユーザインタフェースを介してこのモザイクスクリーンコントローラはユーザ入力によりビデオ操作プロセッサ１１３を制御するべく動作することができる。
【００４５】
圧縮ステップ２０９に続いて、好適な実施形態における方法はステップ２１１へ移行する。このステップにおいては、圧縮されたビデオ信号の少なくとも第１のサブ画像が操作される。この操作は、第１のサブ画像に関連付けられた圧縮画像ブロックと制御データとの関連性を操作することによって行なわれ、その場合、圧縮画像ブロックの圧縮されたビデオデータは変更されない。
【００４６】
圧縮後、圧縮されていない画像ブロックがそれぞれ圧縮画像ブロックへと圧縮され、したがって、各圧縮画像ブロックは、１つのサブ画像に関連付けられたビデオデータのみを含むという特性を保持する。そのため、圧縮画像ブロック（マクロブロック）の制御データを操作することにより、サブ画像をモザイクスクリーン内で操作することができる。この場合、マクロブロックの圧縮されたビデオデータは何ら補正されない。
【００４７】
ビデオ信号は、圧縮画像ブロックに関連付けられた制御データを含んでいる。この制御データは、一般的にはモザイクスクリーン内での圧縮画像ブロックの位置に関する情報を含む様々な情報データを含んでいる。そのため、サブ画像の圧縮画像ブロックに関連付けられた制御データの位置情報を変更するだけで、そのサブ画像をモザイクスクリーン内で移動させることができる。ＭＰＥＧ−２圧縮方式の好適な実施形態において、具体的には、制御データは、スライスヘッダ内に含まれかつ垂直位置を示すスライス番号と、マクロブロック内に含まれかつ水平位置を示すマクロブロック制御データとを含んでいる。したがって、制御データは、圧縮画像ブロック（すなわち、画像データではなく制御データを有するデータブロック）の制御データ部分であっても良い。代替的に、圧縮画像ブロックは、ＭＰＥＧ−２マクロブロックの画像データ部分だけに対応していると考えることができる。したがって、ＭＰＥＧ−２マクロブロックの制御データは、圧縮画像ブロックに属していないと考えても良い。
【００４８】
一実施形態において、第１のサブ画像の操作は、制御データを変えることなく第１のサブ画像の圧縮画像ブロックを異なる画像の画像ブロックに代えることを含んでいる。その結果、解凍または圧縮を何ら必要とすることなくマクロブロック全体またはマクロブロックの画像データ部分を取り代えるだけで、第１のサブ画像がモザイクスクリーン内において第２のサブ画像に代替される。実際には、簡単な解析を使用して、第１および第２のブロックのマクロブロックを識別することができる。制御データはそれ自体変更されないが、制御データに関連付けられたブロックのデータ内容は、第１のサブ画像のデータから第２のサブ画像のデータへと変更される。これは、特に、圧縮画像ブロックが画像内におけるその位置にしたがってビデオ信号内で順序付けられるようにビデオ信号プロトコルが規定されている実施形態においては有益である。この場合、制御データの後に、制御データに関連する圧縮画像ブロックが続く。
【００４９】
本発明の異なる実施形態において、サブ画像を操作するステップは、第２のサブ画像の制御データを第１のサブ画像の圧縮画像ブロックに関連付けることを含んでいる。この実施形態においては、制御データ内のデータを変更して、関係を第１の画像のマクロブロックに対する関係から第２の画像のマクロブロックに対する関係へと変更することにより、モザイクスクリーン内でサブ画像を水平方向に再配置することができる。これは、特に、圧縮画像ブロックが画像内におけるその位置にしたがってビデオ信号内で順序付けられないが、その位置が、対応する制御データ内の位置情報によって決定されるような実施形態において有利である。
【００５０】
ＭＰＥＧ−２圧縮が使用される好適な実施形態においては、圧縮されたビデオ信号が複数のスライスを含んでおり、各スライスがスライスヘッダと多数の連続する圧縮画像ブロックとを含んでいる。これにより、スライス上で、具体的にはスライスヘッダ内に含まれた制御データによって、サブ画像の操作を行なうことができる。
【００５１】
スライスを用いたサブ画像エンコーディングのための様々な方法を使用することができる。そのような方法としては、各スライスが１つの圧縮画像ブロックを含み、多くの圧縮画像ブロックが１つのサブ画像の幅に対応し、あるいは、多くの圧縮画像ブロックが画像全体の幅に対応するといった方法を含む。
【００５２】
図４〜図６は、サイズが異なる複数のスライスを用いて構成されたサブ画像を含むモザイクスクリーンを示している。以下では、特にＭＰＥＧ−２圧縮フォーマットに関して図面を説明する。この圧縮フォーマットにおいては、圧縮画像ブロックの位置データがスライスヘッダ内に含まれ（垂直位置）、スライスヘッダの直後に第１のマクロブロックの制御データが続く（水平位置）。以下の説明において、圧縮画像ブロックに関しては、マクロブロックの画像データ内容について言及し、制御データに関しては、スライスヘッダの制御データおよび／またはマクロブロック内に含まれる制御データ、具体的には各スライスの第１のマクロブロック内に含まれる制御データについて言及する。
【００５３】
図４は、ミニスライスを用いて構成されたサブ画像を含むモザイクスクリーンを示している。この場合、１つのスライスの幅は１つのサブ画像の幅に等しい。すなわち、好適な実施形態においては、１つのスライスの幅が９６ピクセルである。スライスの高さは１６ピクセルであり、したがって、サブ画像は５つのスライスによって形成されている。この実施形態において、サブ画像は、既存のモザイクスクリーンからフィルタ処理可能であり、サブ画像データベースから検索可能であり、あるいは、圧縮画像データを何ら変更することなくマクロブロックの制御データおよびミニスライスを操作するだけで異なる位置へ再配置可能である。例えば、第１のマクロブロックおよびスライスヘッダの制御データと（マクロブロックの画像データによって構成された）圧縮画像ブロックとの関連性を変更することにより、圧縮画像ブロックの位置がモザイクスクリーン内で変更されても良い。関連性の変更は、スライスヘッダデータ、垂直シフトおよび／またはマクロブロックの水平シフト情報の制御データを変更することにより可能である。これに代え或いはこれに加えて、関連性の変更は、スライスヘッダに続くマクロブロックが変更されるようにマクロブロックを信号内で操作することにより管理することができる。
【００５４】
ＭＰＥＧ−２において、垂直情報を含むスライスヘッダの後には、水平情報を含むマクロブロックが続く。以下のマクロブロックは絶対的な水平情報を含んでおらず、したがって、結果として生じる第２のマクロブロックは、第１のマクロブロックおよびスライスヘッダの制御データを変更することなく画像内で移動させても良い。そのため、スライスヘッダおよび第１のマクロブロックは、様々な圧縮画像ブロックを入れることができるテプレートと見なすことができる。したがって、図４から図６において、矢印はスライスヘッダの位置を示している。そのため、図４は、その後に適切な圧縮画像ブロックで満たすことができるモザイクスクリーンのためのテンプレートを示していると見ても良い。
【００５５】
異なる実施形態において、サブ画像は、例えばスライスヘッダ、マクロブロック、あるいは、スライスヘッダおよびマクロブロックの制御データの両方を単に動作させるだけで操作されても良い。これに代えおよびこれに加えて、操作は、各スライスの第１のマクロブロックの水平情報制御データおよびスライスヘッダによって形成されたテンプレート内のマクロブロックの操作によって成されても良い。
【００５６】
図４は、モザイクスクリーン内での水平シフトの一例を示している。この実施形態において、第１のサブ画像の位置は、スライスヘッダまたはスライスヘッダの直後に続くマクロブロックの制御データを変更することなく１つのスライスの圧縮画像ブロックを連続する次のスライスの圧縮画像ブロックに代えることにより操作される。したがって、１つのスライスのマクロブロックの画像データは、連続する次のスライスのマクロブロックの画像データに代わる。そのため、スライス４０１内の圧縮画像ブロックがスライス４０３へと移動され、一方、スライスの制御データは維持される。すなわち、両方のスライス４０１，４０３の第１のマクロブロックの制御データおよびスライスヘッダは変更されない。同様に、スライス４０３の圧縮画像ブロックはスライス４０５へと移動され、スライス４０５の圧縮画像ブロックはスライス４０７へと移動される。スライス４０７の圧縮画像ブロックはスライス４０９へ移動される。新たな圧縮画像ブロックはスライス４０１に加えられる。１つの実施形態において、新たな圧縮画像ブロックは単にブラック画像に対応している。他の実施形態において、スライス４０１内に挿入される新たな圧縮画像ブロックは、新たなサブ画像を表わしていても良い。更に他の実施形態において、スライス４０７の画像データは、スライス４０９へは移動されないが、スライス４０１へ移動されて水平方向に回転する。
【００５７】
先の段落の実施形態において、スクリーンの右手側のサブ画像は、モザイクスクリーンの左手側に移動されるが、１スライスレベル低下する（あるいは、スライス４０７の圧縮画像ブロックがスライス４０１へ移動されるような場合には同じスライスレベルとなる）。一般的な好適な実施形態において、モザイクスクリーンの右手側のサブ画像は、モザイクスクリーンの左手側の次の更に低いサブ画像の位置へと移動する。この実施形態において、モザイクスクリーンの右手側のサブ画像からのスライスは、１つのサブ画像内にある複数の垂直スライスレベルと同じ数だけ低いスライスレベルの左手側のサブ画像のスライスへと移動される。したがって、各サブ画像が５つのスライスを含む前述した例において、スライス４０７の圧縮画像ブロックは、スライス４０１よりも５レベル低いスライスへと移動される。
【００５８】
図５は、画像の幅と同じ幅を有する１つのスライスの実施形態を示している。ここでは、スライス５０１の圧縮画像ブロックが次のラインのスライス５０３へと移動する、などといったようにスクローリング操作が行なわれる。この実施例において、マクロブロックの水平位置は変更されず、垂直位置だけが変更される。そのため、この場合、これらのマクロブロックの制御データは、水平位置データに関して等しく、したがって、マクロブロックの制御データは、マクロブロックの画像データと共に移動させても良い。すなわち、この実施例において、圧縮画像ブロックは、ＭＰＥＧ−２圧縮方式のマクロブロックと同じでも良い。この場合、したがって、モザイクスクリーン全体は、非常に簡単にスクロールダウン（またはアップ）される。この実施形態は、スライスヘッダの変更だけを必要とし、マクロブロックの制御データの変更を必要としない。しかしながら、好適な実施形態のスライスヘッダが垂直位置情報だけを含んでいる場合、モザイクスクリーンの操作は垂直方向に限られる。
【００５９】
図６は、各スライスが１つの圧縮画像ブロックだけを含む実施形態を示している。マクロブロックおよびスライスヘッダの制御データを維持しつつ圧縮画像ブロック（すなわち、マクロブロックの画像データ）をスライス６０１からスライス６０３へ、スライス６０３からスライス６０５へといったように移動させることによりシフティング操作が行なわれる。非常に小さな画像ブロックに対して操作を行なうことができるため、１つの圧縮画像ブロックだけのスライスサイズにより自由度が高まるが、更に多くのスライスヘッダおよび制御データを操作しなければならないため、複雑度が高まる。図４の実施例と同様に、右手側のスライスの圧縮画像ブロックは、５レベル低い左手側のスライスへと移動させることが好ましい。
【００６０】
スライスヘッダの操作に基づきサブ画像に対して多くの他の操作を行なうことができる。１つの実施形態において、スライスヘッダはスライス番号を含んでおり、少なくとも第１のサブ画像の操作は、第１のサブ画像の圧縮画像ブロックを含むスライスのためのスライス番号を変更することによって第１のサブ画像の位置を操作することを含んでいる。これは、具体的には、垂直方向にサブ画像を移動させるという機能を与える。
【００６１】
本発明の一実施形態において、制御データは識別データを含んでおり、方法は、圧縮ビデオ信号を解析して第１のサブ画像に対応する識別データを検知することにより第１のサブ画像の圧縮データブロックを選択するステップを更に含んでいる。したがって、簡単な方法で既存の圧縮されたモザイクスクリーンからサブ画像をフィルタ処理することができる。この場合、ビデオ信号は、選択されるサブ画像に対応する識別情報に関して解析されるだけである。詳細には、マクロブロックの制御データおよび／またはスライスヘッダが解析され、対応する識別情報を有するスライスの圧縮画像ブロックが抽出される。
【００６２】
同様に、新たなモザクスクリーンを簡単な方法で生成することができる。例えば、図３において、対応するスライスのスライスヘッダ内のスライス番号を置き換えるだけでサブ画像２をサブ画像６に代えることができる。この番号は、ビデオ信号を解析することにより簡単に識別できる８ビットの数値が並べられた１バイトである。
【００６３】
また、複雑なリソース要求の多いサブ画像生成を1回行なうだけで済み、生成されたサブ画像を様々な目的で前述したフィルタ処理により再使用することができる。
【００６４】
１つの実施形態において、方法は、制御情報を変更することなく圧縮画像ブロックを所定の圧縮画像ブロックに代えることを含んでおり、これにより、所定の画像を圧縮ビデオ信号内に挿入することができる。したがって、これにより、マーカー、アイコン、カーソル等の合成マクロブロックを簡単に挿入できる。例えば、マーカーに対応する画像または異なるフォントのテキストを形成して、これをＭＰＥＧ−２圧縮を使用して圧縮することができる。結果として得られる圧縮画像ブロックは、メモリ内に記憶することができ、その後、検索されるとともに、ビデオ信号の適切な圧縮画像ブロックを、記憶された圧縮画像ブロックに直接代えることによりモザイクスクリーン内に挿入することができる。これにより、所定のサブ画像をモザイクスクリーン内に簡単に挿入することができる。
【００６５】
図７は本発明の有利な実施形態を示している。この実施形態において、更なるモザイクスクリーン７０１は、アンカー画像として使用されるモザイクスクリーン３０１を基準にして予測的にコード化される。モザイクスクリーン３０１は、Ｉ画像として或いはＰ画像としてエンコードされても良い。多くの用途において、更なるモザイク画像７０１内の所定のサブ画像は、所定のサブ画像の全てのブロック動作ベクトルをモザイクスクリーン７０１と基準スクリーン３０１との間の相対的なサブ画像変位に等しい値に設定することにより効率的にコード化される。相対的なサブ画像変位は、ユーザ制御下で或いは送信器側でのモザイク生成プロセスにおいて決定することができる。いずれの場合も、サブ画像変位がコーダーの外側で設定されるため、動作評価およびブロックマッチングは不要である。１または複数のサブ画像の望ましい動作は、ユーザから例えばマウスやジョイスティックを介して得ることができる。これらの望ましい動作は、対応するブロックのための動作ベクトルに対して直接的に或いは間接的にマッピングすることができる。一例として、図７はスクローリング操作を示している。スクリーン７０１においては全てのサブ画像５．．．．１６がサブ画像の高さに対応する距離にわたって上方へ移動される。スクリーン７０１の底部には新たなサブ画像１７．．．．２０が加えられる。サブ画像のブロック内の全ての動作ベクトルは、この場合には全てのサブ画像において同じであるサブ画像の変位に等しく設定される。例えば、サブ画像５内のブロックの全ての動作ベクトルは、モザイクスクリーン３０１内のサブ画像５に対するモザイクスクリーン７０１内のサブ画像５の変位ｍｖ５に等しい。実行される操作に応じて、幾つかのサブ画像をそのような方法でエンコードすることができる。対応するサブ画像をモザイクスクリーン３０１内で利用することができないサブ画像１７．．．．．２０は、内部コード化することができ、例えば内部コード化されたマクロブロックの形態を成すことができる。サブ画像１７．．．．２０内のブロックとモザイクスクリーン３０１内のブロックとの間に何らかの相関関係が存在する場合には、サブ画像１７．．．．．２０内のブロックもモザイクスクリーン３０１内のブロックを基準にして予測的にコード化することができる。
【００６６】
以上の説明は、簡単かつ明確のため、モザイクスクリーンにおける実施形態に焦点を当ててきたが、本発明が他のスクリーン、イメージ、サブ画像を有する画像にも同様に適用できることは言うまでもない。
【００６７】
本発明は、ハードウェア、ソフトウェア、ファームウェア、あるいは、これらの任意の組み合わせを含む任意の適当な形態で実施することができる。しかしながら、本発明は、１または複数のデータプロセッサで実行するソフトウェアプログラムとして実施されることが好ましい。機能、要素、構成部品は、１つのユニット内で、複数のユニット内で、あるいは、他の機能ユニットの一部として実施されても良い。
【００６８】
好適な実施形態に関して本発明を説明してきたが、本発明はここに記載された特定の形態に限定されるものではない。むしろ、本発明の範囲は、添付の請求の範囲によってのみ限定される。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施形態による圧縮ビデオ信号のサブ画像を操作する装置を示している。
【図２】本発明の一実施形態による図１の装置の動作のフローチャートを示している。
【図３】本発明の好適な実施形態によるモザイクスクリーンの一例を示している。
【図４】ミニスライスで構成されたサブ画像を含むモザイクスクリーンであって、スライスの幅がサブ画像の幅に等しいモザイクスクリーンを示している。
【図５】スライスで構成されたサブ画像を含むモザイクスクリーンであって、スライスの幅が画像全体の幅に等しいモザイクスクリーンを示している。
【図６】ミニスライスで構成されたサブ画像を含むモザイクスクリーンであって、スライスの幅が圧縮画像ブロックの幅に等しいモザイクスクリーンを示している。
【図７】本発明の一実施形態による更に有利なコーディングを示している。
【図１】
0004633464.tif 000002
【図２】
0004633464.tif 000003
【図３】
0004633464.tif 000004
【図４】
0004633464.tif 000005
【図５】
0004633464.tif 000006
【図６】
0004633464.tif 000007
【図７】
0004633464.tif 000008