(57)【要約】  エンコーダ入力部と、上記エンコーダ入力部に接続され、入力部において受け取られる画像を記憶するメモリデバイスと、上記メモリデバイスに記憶された第１の画像に基づいて予測画像を予測する画像予測器デバイスと、元の画像と予測画像との差に関する残差データを決定する結合器デバイスと、第１の特徴を決定する第１の評価器デバイスと、上記結合器デバイス及び上記第１の評価器デバイスに接続され、上記第１の特徴が第１の所定の基準に符合する場合に上記残差データを更に伝送する抑制器と、上記抑制器デバイスに接続されたエンコーダ出力部とを有する画像エンコーダである。この画像エンコーダは第２の特徴を決定する第２の評価器デバイスを有し、上記抑制器デバイスは上記第１の特徴及び上記第２の特徴に依存して上記残差データを更に伝送する。
2005513896.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのエンコーダ入力部と、
前記エンコーダ入力部に接続され、前記入力部において受け取られる少なくとも１つの画像を記憶する少なくとも１つのメモリデバイスと、
前記メモリデバイスに記憶された少なくとも１つの第１の画像に基づいて予測画像を予測する少なくとも１つの画像予測器デバイスと、
元の画像と前記予測画像との差に関する残差データを決定する結合器デバイスと、
少なくとも１つの第１の特徴を決定する第１の評価器デバイスと、
前記結合器デバイス及び前記第１の評価器デバイスに接続され、前記第１の特徴が第１の所定の基準に符合する場合に前記残差データを更に伝送する抑制器デバイスと、
前記抑制器デバイスに接続された少なくとも１つのエンコーダ出力部と
を少なくとも有する画像エンコーダであって、
少なくとも１つの第２の特徴を決定する第２の評価器デバイスを更に有し、前記抑制器デバイスが前記第１の特徴及び前記第２の特徴に依存して前記残差データを更に伝送することを特徴とする画像エンコーダ。
【請求項２】
前記第１の評価器デバイスは、前記差に関する少なくとも１つの第１の特徴を決定し、
前記第２の評価器デバイスは、前記少なくとも１つの第1の画像と比較した前記元の画像の要素の変化に対応する少なくとも１つの第２の特徴を決定する
請求項1記載の画像エンコーダ。
【請求項３】
前記第１の評価器デバイスは前記第１の特徴を第１の基準と照合し、
前記第２の評価器デバイスは前記第２の特徴を第２の基準と照合し、
前記抑制器デバイスは、前記第１の特徴が前記第１の基準に符合し、前記第２の特徴が前記第２の基準に符合する場合に、前記残差データを更に伝送する
請求項1又は２記載の画像エンコーダ。
【請求項４】
前記第１の評価器デバイスが、
平均予測誤差を決定する平均デバイスと、
前記平均予測誤差を誤差の閾値と比較する第１の比較器デバイスと
を有する請求項３記載の画像エンコーダ。
【請求項５】
前記画像予測器デバイスが、前記画像の要素の位置の変化に関する動きベクトルを予測する少なくとも１つの動きベクトル予測器デバイスを有し、
前記第２の評価器デバイスが、動きベクトル不一致性推測器と、動きベクトルの不一致性の値を所定の不一致性の閾値と比較する第２の比較器デバイスとを有する
請求項３記載の画像エンコーダ。
【請求項６】
前記動きベクトル不一致性推測器デバイスが、数学的アルゴリズム
【数１】
2005513896.tif 000013
（式中、ＶＩは前記ベクトルの不一致性を表し、
2005513896.tif 000014
は動きベクトルを表し、Ｎは前記予測画像の評価の領域の水平方向の大きさを表し、Ｍは前記空間領域の垂直方向の大きさを表し、Ｐは前のベクトルフィールドの数を表す。）により表される演算を実行する請求項５記載の画像エンコーダ。
【請求項７】
前記動きベクトル不一致性推測器デバイスが、数学的アルゴリズム
【数２】
2005513896.tif 000015
（式中、ＶＩは前記ベクトルの不一致性を表し、
2005513896.tif 000016
は動きベクトルを表し、Ｎは前記予測画像の評価の領域の水平方向の大きさを表し、Ｍは前記空間領域の垂直方向の大きさを表し、Ｐは前のベクトルフィールドの数を表す。）により表される演算を実行する請求項５記載の画像エンコーダ。
【請求項８】
前記第２の評価器が、数学的アルゴリズム
【数３】
2005513896.tif 000017
（式中、ＳＶＩは前記照合の結果を示すバイナリ値を表し、ＴＶＩは前記所定の閾値を表す。）により表される演算を実行する請求項５ないし７のいずれか１項に記載の画像エンコーダ。
【請求項９】
前記予測画像が、前記元の画像よりも前の少なくとも１つの前の画像及び前記元の画像の後に続く少なくとも１つの後の画像から予測される、挿入された画像である請求項１ないし８のいずれか１項に記載の画像エンコーダ。
【請求項１０】
前記挿入された画像がＭＰＥＧのＢ−フレームの画像である請求項９記載の画像エンコーダ。
【請求項１１】
前記動き推定器デバイスが真の動き推定器デバイスである請求項５ないし１０のいずれか１項に記載の画像エンコーダ。
【請求項１２】
前記第１の基準が前記第２の特徴に関連している請求項３ないし１１のいずれか１項に記載の画像エンコーダ。
【請求項１３】
前記ベクトルの不一致性は、正の乗算係数を伴うＴＭＡＤ（ｘ，ｙ，ｔ）＝α（ＶＩｍａｘ−ＶＩ（ｘ，ｙ，ｔ））及び可能なＶＩの値の最大値である
【数４】
2005513896.tif 000018
の数学的アルゴリズムに従って第１の閾値を計算するために用いられる請求項１２記載の画像エンコーダ。
【請求項１４】
請求項１ないし１３のいずれか１項に記載の少なくとも１つの画像エンコーダを有するＭＰＥＧ準拠の画像エンコーダ。
【請求項１５】
少なくとも１つの第１の画像及び元の画像を受け取ることと、
前記少なくとも１つの第１の画像に基づいて予測画像を予測することと、
前記元の画像と前記予測画像との差に関する残差データを決定することと、
少なくとも１つの所定の基準が満たされた場合に前記残差データを更に伝送することと
を含むコーディング方法であって、
前記少なくとも１つの基準が、
少なくとも１つの第１の特徴を決定することと、
少なくとも１つの第２の特徴を決定することと
を含むことを特徴とするコーディング方法。
【請求項１６】
入力信号受信器手段と、コーディングされた信号を送信する送信器手段と、前記入力信号受信器手段及び前記送信器手段に接続された請求項１ないし４のいずれか１項に記載の画像エンコーダデバイスとを有するデータ伝送デバイス。
【請求項１７】
データコンテナデバイスにデータを記憶するデータ記憶デバイスであって、前記データコンテナデバイスのためのホルダ手段と、前記データコンテナデバイスにデータを書き込むライタ手段と、入力信号受信器手段と、前記入力信号受信器手段及び前記ライタ手段に接続された請求項１ないし１４のいずれか１項に記載の画像エンコーダデバイスとを有するデータ記憶デバイス。
【請求項１８】
オーディオビジュアル入力手段と、データ出力手段と、請求項１ないし１４のいずれか１項に記載の画像エンコーダデバイスとを有するオーディオビジュアルレコーダデバイス。
【請求項１９】
エンコーダデバイスと、このエンコーダデバイスに通信的に接続されたデコーダデバイスとを有するコーディングシステムであって、
前記エンコーダデバイスが、少なくとも１つの請求項１ないし１４のいずれか１項に記載のインバース画像エンコーダデバイスを有することを特徴とするコーディングシステム。
【請求項２０】
請求項１ないし１４のいずれか１項に記載の画像エンコーダデバイスを用いてコーディングされた画像を表すデータを収容するデータコンテナデバイス
【請求項２１】
請求項１５記載の方法のステップを実行するコード部を含むコンピュータプログラム。
【請求項２２】
請求項２１記載のコンピュータプログラムを表すデータを含むデータキャリアデバイス。
【請求項２３】
エンコードされた画像を表す信号ストリームであって、
少なくとも１つの予測された画像を表すデータを含むとともに、前記予測された画像と元の画像との差に対応する少なくとも１つの第１の値が第１の基準に符合し、前記予測された画像の要素の予測された変化に対応する少なくとも１つの第２の値が第２の基準に符合する場合に、第１の特徴及び第２の特徴に依存する前記差に関する残差データを含む信号ストリーム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、請求項１の初めの部分に記載の画像エンコーダに関する。
【背景技術】
【０００２】
予測画像エンコーディングの技術において上述したようなエンコーダは広く知られている。動き補償がなされるビデオ圧縮は、一般に、動き補償予測を訂正するために残差情報を必要とする。この残差情報は、元のフレームと予測フレームとの画素に関する差に基づいている。
【０００３】
しかしながら、既知のエンコーダは、誤った推定の場合に合計の残差データが細部の領域において特に増大する傾向にあり、従って出力データの量が大きくなる傾向にあるので不利である。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、本発明の目的は、より少量の出力データを伴うエンコーダを提供することにある。
【課題を解決するための手段】
【０００５】
この目的を達成するために、本発明によれば、上述のエンコーダデバイスは、当該画像エンコーダが、少なくとも１つの第２の特徴を決定する第２の評価器デバイスを更に有し、上記抑制器デバイスが上記第１の特徴及び上記第２の特徴に依存して上記残差データを更に伝送することを特徴としている。
【０００６】
第１及び第２の特徴に依存して残差データが伝送されるので、出力データの量が減少する。更に、第１の特徴が元の画像と予測された画像との差に関連し、第２の特徴が第1の画像と比較した元の画像の要素の変化に対応する場合、要素の変化が空間的（及び時間的）に一致すると、予測の小さなエラーが感知されないので、画質の感知される損失を伴うことなく出力データの量が減少する。
【０００７】
本発明は、また、請求項１５記載のコーディング方法に関するものである。そのような方法の結果として、より少ないデータが出力される。
【０００８】
本発明は、更に、本発明による画像エンコーダデバイスを組み込んだ請求項１６ないし１８記載のデバイスに関するものである。また、本発明は、請求項１９記載のコーディングシステム、請求項２０記載のデータコンテナデバイス、請求項２１記載のコンピュータプログラム、請求項２２記載のデータキャリアデバイス及び請求項２３記載の信号ストリームに関するものである。このようなデバイス、システム及びプログラムは、より少ないデータを出力する。
【０００９】
本発明の特定の具体例は従属請求項に示されている。
【００１０】
それ以上の本発明の詳細、側面及び実施例は、添付の図面を参照して説明される。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明によるエンコーダデバイス１０の実施の形態の一例のブロック図を示している。このエンコーダデバイス１０は、メモリ又はバッファデバイス１２のメモリ入力部１２１に接続されたエンコーダ入力部１１を有している。上記メモリ又はバッファデバイス１２は、第１のメモリ出力部１２２を用いて画像予測器デバイス１３の予測器入力部１３１にアタッチされると共に、第２のメモリ出力部１２３を用いて結合器デバイス１５の第２の入力部１５３にアタッチされている。予測器デバイス１３は、第１の予測器出力部１３３を用いて結合器デバイス１５の第１の結合器入力部１５１に接続されている。結合器デバイス１５の結合器出力部１５２は、抑制器デバイス１８の抑制器入力部１８１及び第１の特徴器デバイス１６１の第１の特徴器入力部１６１１にアタッチされている。予測器デバイス１３は、また、第１の予測器出力部１３２を介して第２の特徴器デバイス１６２の第２の特徴器入力部１６２１に接続されている。第２の予測器出力部１３３は、第２のエンコーダ出力部１９２に接続されている。特徴器デバイス１６１は、出力部１６１２を用いて評価器デバイス１７の入力部１７１１に接続されている。第２の特徴器デバイス１６２の特徴出力部１６２２は、閾値決定器デバイス１６３の入力部１６３１に接続されている。デバイス１６３の出力部１６３２は、ＡＮＤデバイス１７の第２の入力部１７１２に接続されている。評価器デバイス１７は、出力部１７２を用いて抑制器デバイス１８の制御入力部１８３にアタッチされている。抑制器デバイス１８の出力部は、第１のエンコーダ出力部１９１に連結されている。
【００１２】
使用時には、エンコーダ入力部１１において、２次元マトリクス、例えば画像又はフレームを表す信号が受け取られる。受け取られた画像は、メモリデバイス１２に記憶される。この例では、画像Ｍｔ、前の画像Ｍｔ−１及び後の画像Ｍｔ＋１がメモリデバイス１２に記憶される。本出願において、画像、フレーム及びマトリクスという語は区別なく用いられる。
【００１３】
予測器デバイス１３は、メモリ１２に記憶されたフレームに基づいて予測画像を予測する。この例では、予測器デバイス１３は、前のフレームＭｔ−１及びフレーム画像Ｍｔ＋１に基づいて画像Ｍｔの予測画像Ｍｐｒｅｄを予測する。予測の後、予測画像Ｍｐｒｅｄは、予測器出力部１３２を介して結合器入力部１５１、第２の評価器１６２及び第２のエンコーダ出力部１９２に伝送される。画像Ｍｔは、メモリ１２から結合器デバイス１５にも伝送される。
【００１４】
結合器デバイス１５は、現在の画像及び予測画像から残差データ又はエラーデータを得る。上記残差データは、予測画像と現在の画像との差についての情報を含んでいる。結合器デバイス１５は、エラーデータを抑制器１８及び第１の特徴器デバイス１６１に出力する。上記残差データに基づいて、第１のデバイス１６１により第１の特徴が決定される。この第１の特徴は、評価器デバイス１７により第１の基準と比較される。
【００１５】
予測画像Ｍｐｒｅｄは、また、予測器デバイス１３により第２のエンコーダ出力特徴器にも伝送される。予測器１３は、前又は後の画像に対する現在の画像の要素の変化に関するベクトルデータを第２の特徴器１６２に伝送する。第２の評価器デバイス１６２は、予測画像Ｍｐｒｅｄの第２の特徴を決定する。この例では、第２の特徴は、例えば前の画像Ｍｔ−１と後の画像Ｍｔ＋１とから決定される予測画像Ｍｐｒｅｄと比較された現在又は元の画像Ｍｔの要素の変化に対応する。上記第２の特徴は、第２の特徴を第２の基準と照合する評価器１７に伝送される。
【００１６】
評価器デバイス１７は、各デバイス１６１，１６２からの信号を比較し、両方の特徴１６１，１６２がそれらの基準を満たしている場合にバイナリの１の信号を出力する。その他の場合には、デバイス１７によってバイナリのゼロが出力される。
【００１７】
評価器デバイス１７からの信号は、抑制器デバイス１８を制御する。抑制器デバイス１８は、制御ポート１８３においてバイナリの１の信号が与えられた場合に残差データが更に伝送されることを防止する。すなわち、この抑制器は、制御ポート１８３においてバイナリの１の信号が与えられた場合に残差データを廃棄する。制御ポート１８３における信号がバイナリのゼロである場合には、抑制器１８は残差データが第１のエンコーダ出力部１９１に更に伝送されることを許可する。
【００１８】
このように、第１の特徴及び第２の特徴の両方がそれぞれの所定の条件に適合する場合にのみ残差データが伝送される。そのため、エンコーダデバイス１０により出力されるデータの量は減少する。また、要素の変化の局所の変動が比較的小さい限りにおいて、エラーの変化における誤った推定による予測画像におけるエラーは画像を見ている人によって認識されないことが分かった。要素の変化の局所の変動が比較的大きいと、要素の変化は局所的に不一致であると言われる。上記第２の特徴の値は、この要素の変化の局所の不一致性（inconsistency）に比例する。従って、エンコーダにより伝送されるデータの量は、ビデオの画質の認識される損失を伴うことなく減少する。
【００１９】
図２は、本発明による画像エンコーダ１０´の第２の例を示している。図１のエンコーダの各デバイスに加えて、エンコーダ１０´はデータ処理デバイス１４を有している。デバイス１４は、入力部１４１を用いて結合器出力部１５２に接続されている。デバイス１４の出力部１４２は抑制入力部に接続されている。このデバイス１４は、量子化器１４４を用いた残差データの量子化のようなデータ処理操作又は変換器１４３を用いた例えば時間ドメインから周波数ドメインへのデータの変換を行うことが可能である。
【００２０】
図３は、本発明による予測コーディング方法の一例の流れ図を表している。受信ステップＩにおいて画像が受け取られる。記憶ステップＩＩにおいて、受け取られた画像Ｍｔ±ｎ，Ｍｔがバッファに記憶される。ベクトル化ステップＩＩＩにおいて、他の画像に対する現在の画素の要素の変化が決定される。ステップIＶにおいて、これらの変化の一致性（consistency）が決定され、これが第２の特徴を形成する。予測ステップＩＶにおいて、バッファに記憶された少なくとも１つの画像Ｍｔ±ｎ及び要素の変化に基づいて画像Ｍｔの予測画像Ｍｐｒｅｄが作られる。上記画像Ｍｔ±ｎは、画像Ｍｔに先行していてもよく、画像Ｍｔの後に続いていてもよく、これらのマトリクスの組み合わせであってもよい。結合ステップＶにおいて、予測された画像Ｍｐｒｅｄが画像Ｍｔと結合される。この結合ステップＶの結果として、残差データＭｒｅｓが得られる。評価ステップＶＩにおいて、残差データが評価され、第１の所定の基準と照合される。評価ステップＶＩＩおいて、第２の特徴もまた評価されて第２の所定の基準と照合される。上述した両方の基準が満たされている場合には、ステップＶＩＩＩにおいて残差データが更に伝送され、他の場合には残差データはステップＩＸにおいて廃棄される。
【００２１】
上記残差データは、個別のインプリメンテーションに適した任意のやり方において決定され得る。残差データは、例えばビデオ圧縮アプリケーションに用いられるような例えば元の画像Ｍｔと推定された画像Ｍｐｒｅｄとの画素に関する差であり、
Ｒ（ｘ，ｙ，ｔ）＝Ｉｅｓｔ（ｘ，ｙ，ｔ）−Ｉｏｒｉｇ（ｘ，ｙ，ｔ）  （１）
（式中、Ｒ（ｘ，ｙ，ｔ）、Ｉｅｓｔ（ｘ，ｙ，ｔ）、Ｉｏｒｉｇ（ｘ，ｙ，ｔ）は、時間インスタンスｔにおける画像のマトリクスの位置ｘ，ｙの残差データ、推定された画素の強度、元の画素の強度をそれぞれ表す。）として数学的に定義され得る。
【００２２】
残差データの評価では、エラー又は残差データからある値が決定され、例えば平均自乗誤差（ＭＳＥ）、平均絶対誤差（ＭＡＤ）又は絶対誤差和（ＳＡＤ）が用いられ得る。第１の評価器デバイス１６１は、例えばＭＳＥ、ＭＡＤ又はＳＡＤを決定し、それを所定の閾値Ｔと比較する。例として評価器デバイスの機能をＭＡＤを使用して説明するが、評価器デバイスにより他の手段も代わりに用いられ得る。
【００２３】
ＭＡＤは、
【数５】
2005513896.tif 000003
として数学的に定義され得る。
【００２４】
この式（２）において、Ｒは式（１）において定義された残差を表し、Ｎ及びＭは計算で評価された空間領域の幅及び高さをそれぞれ意味している。ＳＡＤは、積Ｎ・Ｍ・ＭＡＤ、すなわち
【数６】
2005513896.tif 000004
として数学的に記述され得る。
【００２５】
残差データの評価において用いられる第１の所定の基準として、ＭＡＤの値が閾値化され得る。上記閾値化の結果として、局所のＭＡＤが認知可能な大きさを超えているとバイナリの１の値を表す信号がリターンされ、これは
【数７】
2005513896.tif 000005
で数学的に記述される。
【００２６】
画像における要素の動きの測定法として、動きベクトルの局所の空間的な及び／又は時間的な一致性が用いられ得る。動きベクトルは、画像エンコーディングの技術において例えばＭＰＥＧ（Motion Picture Expert Group）圧縮規格から一般的に知られているように、予測器デバイス又は評価器デバイスによって推定され得る。図５の具体例の画像において、領域ＡないしＣ（例えばサッカープレーヤ、ボール等）は、動きが発生し、その結果非ゼロ動きベクトルが推定される領域を示している。ベクトルの不一致性ＶＩは、
【数８】
2005513896.tif 000006
として数学的に表され得る。ここで、
2005513896.tif 000007
は２つの連続するフレーム間の要素の変位を説明する2次元動きベクトルを表し、Ｎ及びＭはそれぞれ、評価の空間領域の水平方向及び鉛直方向の大きさを表しており、Ｐは前のベクトルフィールドの数を表している。
【００２７】
第２の所定の基準として、上記ベクトルの不一致性の値が閾値化され得る。上記ベクトルの不一致性ＶＩが認知可能な大きさを超えているとバイナリ１の値を表す信号がリターンされる。
【数９】
2005513896.tif 000008
【００２８】
動きベクトルが局所的に不一致である場合にのみ、ビューワによりエラー（すなわちＳＭＡＤ＝１）が認知される。このように、抑制基準として、上記ＭＡＤ及びＶＩの両方がそれぞれの閾値以上でなければならない、すなわちＳＭＡＤ及びＳＶＩが１の値を持つことが要求される。数学的な観点では、この条件は
【数１０】
2005513896.tif 000009
（式中、
2005513896.tif 000010
はブールの「ＡＮＤ」演算を表す。）として記述され得る。
【００２９】
強い動きベクトルの不一致性の領域（例えばサッカープレーヤ及びボール、図５、領域ＡないしＣを再度参照されたい。）においてもたらされる選択においてのみ、ＭＡＤエラーは認知可能であると識別される。図５のフレームの上部における視聴者のＭＡＤエラーは誤りにより引き起こされるが、動き補償と矛盾がなく、真の動きからの小さなずれが認知されない。可能な代替の基準は、ＭＡＤとベクトルの不一致性の値との任意の他の線形的又は非線形的な組み合わせにより得られる。例えば、局所の速度が追加のパラメータとして含まれる。
【００３０】
上記ベクトルの不一致性の測定法として式（４）の定義が用いられる場合、ベクトルフィールドの短いエッジが低いＶＩの値を引き起こし得る。その結果、ベクトルフィールド内の空間的に小さい外乱（disturbance）（又はエッジ）が検出されないままである一方で、空間的に小さい不一致による誤りは概して容易に認知される。
【００３１】
動きベクトルの時間的な不一致を説明するための代替の方法は、平均絶対ベクトル誤差を決定することではなく、代わりに最大絶対ベクトル誤差を決定することである。
【数１１】
2005513896.tif 000011
【００３２】
式（７）を用いて計算されるベクトルの一致性は、誤差の一因となるベクトルの要素の数を無視して、等しく重要である「カーネル」の範囲内の全てのベクトルの誤差を扱う。式（７）に従って計算されるベクトルの不一致性は、外乱（又はエッジ）の周囲の高いＶＩの値の広い領域を含む傾向にある。高いＶＩの値の領域の空間的（時間的）な大きさは、カーネルサイズのパラメータＮ，Ｍ及びＰにより決定される。
【００３３】
上記第１の基準は、第２の特徴又は第２の基準に関連し得る。例えば、ＭＡＤに関する閾値はベクトルの不一致性に関連し得る。例えば、ベクトルの不一致性が式（４）ではなく式（７）を用いて決定される場合、ＭＡＤの値はそのベクトルの不一致性の値
ＴＭＡＤ（ｘ，ｙ，ｔ）＝α（ＶＩｍａｘ−ＶＩ（ｘ，ｙ，ｔ））    （８）
（式中、αは正の乗算係数であり、
【数１２】
2005513896.tif 000012
は可能なＶＩの値の最大値である。）
を用いて閾値化され得る。閾値Ｔｍａｘは、ベクトルの不一致性ＶＩと反比例する。図６は、式（８）により記述されるようなベクトルの不一致性の関数として閾値を示している。閾値Ｔｍａｘとベクトルの不一致性ＶＩとの関係は、線形的である必要はない。一般に、関数ＴＭＡＤ（ＶＩ）は任意の非上昇関数であり、解析関数又はルックアップテーブルとして実現され得る。
【００３４】
固定された閾値の振舞い、すなわち式（３）及び式（５）の使用は、図７に示されている関数を用いて実現される。ＴＭＡＤ（固定）は式（３）における値ＴＭＡＤであり、ＴＶＩ（固定）は式（５）における値ＴＶＩである。ＶＩ＞ＴＶＩ（固定）及びＭＡＤ＞ＴＭＡＤ（固定）である場合、残差データは省略される。
【００３５】
画像の要素の動き及び残差データの両方は、例えばＭＰＥＧに準拠した画像エンコーディングから知られているように、ブロックベースで決定され、評価される。本発明は、既存のビデオ圧縮規格による方法又はデバイスにおいて適用され得る。ＭＰＥＧ２のような既存のビデオ圧縮規格は、通常、連続する画像又はフレーム間の時間的な相互関係を活用する動き補償予測に基づいている。例えば参考文献[１]及び[２]を参照されたい。
【００３６】
ＭＰＥＧでは、復号フレームは、以前に伝送されたフレームから得られる動き補償データのブロックからブロックに関して作成される。動き補償予測は、ビューイングオーダにおける前のフレーム又はビューイングオーダにおける前のフレームと次のフレームとの両方のいずれか一方に基づいている。一方向性の予測及び双方向性の予測は、それぞれＰ−フレーム及びＢ−フレームと呼ばれている。Ｂ−フレームの使用は、伝送オーダがビューイングオーダにもはや等しくないフレームの時間的な並べ替え（シャッフリング）を必要とする。残差データは、Ｐ−フレーム及びＢ−フレームの両方の動き補償予測におけるエラーを訂正するためにエンコーダにより出力され得る。
【００３７】
図４は、ＭＰＥＧ２規格に準拠している画像エンコーダデバイス１００の一例を示している。以後、この画像エンコーダデバイスをＭＰＥＧエンコーダデバイス１００と言う。図示されているエンコーダデバイス１００では、Ｂ−フレームが予測される。しかしながら、代わりにＩ−フレーム又はＰ−フレームが用いられ得る。
【００３８】
ＭＰＥＧエンコーダデバイス１００は、ビデオ画像の受信のためのエンコーダ入力部１１を有している。エンコーダ入力部１１には、メモリデバイス１２のメモリ入力部１２１が接続されている。メモリデバイス１２は、予測器デバイス１３の第１の予測器入力部１３１に接続された第1のメモリ出力部１２２を有している。予測器デバイス１３の第１の出力部１３２は、第１の結合器デバイス１５の第１の入力部１５１に接続されている。第１の結合器デバイス１５の第２の入力部１５３には、第２のメモリ出力部１２３が接続されている。結合器出力部１５２は、スイッチ１８のスイッチ入力部１８１に接続されている。スイッチ出力部１８２は、離散コサイン変換器デバイス（ＤＣＴ）入力部２０１を介してＤＣＴ２０に接続されている。ＤＣＴ２０のＤＣＴ出力部２０２は、量子化器デバイス２１の量子化器入力部２１１に接続されている。量子化器デバイス２１は、量子化器出力部２１２を用いてスキップデバイス２３の入力部２３１にアタッチされている。スキップデバイス２３は、スキップ出力部２３２及び可変長コーダデバイス（ＶＬＣ）入力部２４１を介してＶＬＣ２４に接続されている。ＶＬＣ２４の出力部は、エンコーダ出力部１９にアタッチされている。
【００３９】
量子化器デバイス２１はまた、量子化器出力部２１２を用いて逆量子化器デバイス（ＩＱ）２２の逆量子化器（ＩＱ）入力部２２１にもアタッチされている。ＩＱ２２は、ＩＱ出力部２２２を用いて逆離散コサイン変換器デバイス（ＩＤＣＴ）２５の入力部２５１に接続されている。ＩＤＣＴ２５は、ＩＤＣＴ出力部２５２を介して第２の結合器デバイス１５´の第１の結合器入力部１５１´にアタッチされている。第２の結合器デバイス１５´はまた、第２の結合器入力部１５３´を用いて予測器デバイス１３の予測器出力部１３２にも接続されている。第２の結合器デバイス１５の出力部１５２´は、予測器デバイス１３の第２の入力部１３３に接続されている。予測器デバイス１３の第２の予測器出力部１３９は、評価器デバイス１６の第１の評価器入力部１６０１に接続されており、評価器デバイス１６はまた、第２の評価器入力部１６０３を介して第１の結合器デバイスの結合器出力部１５２に接続されている。評価器出力部１６０２は、スイッチ１８のスイッチ制御入力部１８３及びスキップデバイス２３のスキップ制御入力部２３３に接続されている。
【００４０】
使用時には、ＭＰＥＧ２エンコーダ入力部１１において画像を表す信号が受け取られる。受け取られた画像は、メモリデバイス１２に記憶され、予測器デバイス１３及び第１の結合器デバイス１５の両方に伝送される。上記予測器デバイスはＢ−フレームを予測することが可能であり、その場合、メモリ１２において受け取られた画像の順序が予測を可能にするように並べ替えられる。
【００４１】
予測器デバイス１３は、前の及び／又は後の画像に基づいて画像を予測する。第１の結合器デバイス１５は、予測された画像をメモリ１２に記憶された元の画像と結合する。この結合が、予測された画像と元の画像との差についての情報を含む残差データをもたらす。残差データは、第１の結合器デバイス１５により評価器デバイス１６及びスイッチデバイス１８に伝送される。
【００４２】
接続状態では、上記スイッチ入力部及びスイッチ出力部は、互いに通信的に（communicatively）接続されている。切断状態では、上記スイッチ入力部及びスイッチ出力部は通信的に分離されている。上記スイッチの状態は、スイッチ制御入力部１８３において与えられる信号により制御される。図４の例では、評価器デバイスがスイッチ１８の状態を制御する。接続状態において、上記スイッチデバイスは残差データをＤＣＴデバイス２０に伝送する。スイッチ１８は省略されてもよく、図示されている例では、スイッチ１８はスキップデバイス２３により廃棄され得る残差データの無駄な処理を避けるためにエンコーダにおいて実現されていることに注意されたい。
【００４３】
ＤＣＴ２０は、離散コサイン変換（ＤＣＴ）を用いて残差データの信号を空間ドメインから周波数ドメインに変換する。周波数ドメインへの変換によってもたらされる周波数ドメインの変換係数が、量子化器デバイス２１に与えられる。
【００４４】
量子化器デバイス２１は、変換係数を表すために用いられるビット数が低減するように上記変換係数を量子化し、結果として生じる量子化されたデータをスキップデバイス２３に伝送する。
【００４５】
スキップデバイス２３は、スキップ制御入力部２３３において与えられる信号に依存して、ＭＰＥＧ２規格に定義されているようなスキップマクロブロックエスケープコード又はコード化ブロックパターンエスケープコードを挿入することを決定する。
【００４６】
可変長コーダ２４は、（任意の挿入されたスキップコードを伴う）量子化器２１からの量子化された変換係数にハフマンコーディング又はランレングスコーディングのような可変長コーディングを施す。結果として生じるコーディングされた変換係数は、出力バッファ１９を介してＤＶＤ、コンピュータハードディスク又は（ワイヤレスの）データ伝送コネクションのようなデジタル伝送媒体に予測器１３からの動きベクトルとともにビットストリームとしてフィードされる。
【００４７】
予測器デバイス１３は、２つのメモリ１３４，１３５（ＭＥＭｆｗ／ｂｗ及びＭＥＭｂｗ／ｆｗ）を有しており、これらのメモリは、それぞれのメモリ入力部１３４１，１３５１を用いて第２の予測器入力部１３３に接続されている。メモリ１３４，１３５は、前のＩ−又はＰ−フレームと次のＰ−フレームとを収容している。メモリ内のフレームは、それぞれの入力部１３６１，１３８１を用いてメモリの出力部１３４２，１３５２に接続されている動き推定器デバイス（ＭＥ）１３６及び動き補償予測器デバイス（ＭＣ）１３８に伝送される。勿論、メモリ１３４，１３５は、両方のフレームを表すデータを記憶する単一のメモリデバイスとして同様に実現され得る。
【００４８】
上記ＭＥ１３６は、動きベクトルフィールドを推定し、入力部１３７１を用いてＭＥ出力部１３６２に接続されているベクトルメモリ（ＭＥＭＭＶ）１３７に推定されたベクトルを伝送する。動き推定（ＭＥ）は、メモリ１３４，１３５に記憶されたフレーム又はシャッフリングメモリ１２のフレームに基づくものである。ＭＥＭＭＶ１３７に記憶されたベクトルは、動き補償予測器１３８に供給され、動き補償予測に用いられる。動き補償予測の結果は、第１の予測器出力部１３２に伝送される。
【００４９】
ＭＥＭＭＶ１３７に記憶されたベクトルはまた、予測器デバイス１３の第２の出力部１３９にも伝送される。このベクトルは、第１の予測器入力部１６０１を介して評価器デバイス１６のベクトル不一致性推測器１６２により受け取られる。上記ベクトル不一致性推測器は、ベクトルメモリ１３７からのベクトルに対して式（４）又は式（７）により記述される演算を実行する。
【００５０】
第２の評価器入力部１６０２は、ＳＡＤデバイス１６１を第１の結合器デバイス１５の結合器出力部１５２に接続している。ＳＡＤデバイス１６１は、第１の結合器デバイス１５の出力部における残差データから式２´により記述されるようなＳＡＤを決定する。ＳＡＤ及びベクトルの不一致性の両方は、各デバイスにより閾値化される。閾値化の結果は、ＡＮＤデバイス１６３にフィードされ、ＡＮＤデバイス１６３は上述したようなＡＮＤ演算を実行する。ＡＮＤデバイス１６３の出力信号は、スイッチデバイス１８及びスキップデバイス２３の制御入力部にフィードされる。
【００５１】
このように、ＳＡＤ及びベクトルの不一致性の結合された値が、残差データを伝送するか否か及びマクロブロックスキップコードを挿入するか否かのマクロブロック当たりのバイナリの決定（エラー基準）をもたらす。推定された動きベクトルの大きさ及び方向は、真のベクトルから局所的にずれている可能性がある。動きベクトルの小さな局所のずれの場合には、Ｒの値は高周波の細部の局所のレベルに依存する。高いレベルの局所の細部の場合には、Ｒの高い数値は、誤った推定を局所的に「訂正する」ことが必要であることを示唆する。しかしながら、動きベクトルのずれが大きな領域に及ぶ場合、及びずれの方向、大きさがその領域内において一致する場合には、小さなずれは認知されない。
【００５２】
バイナリの決定は、ＤＣＴのそれ以上の計算を避けるために用いられ、１つのマクロブロック内の空のＤＣＴブロックをスキップするようにスキップマクロブロックエスケープコード（skip ＭＢ）及びコーディングされたブロックパターンエスケープコードの生成をもたらす。上記スキップマクロブロック及びコーディングされたブロックパターンエスケープコードの使用は、残差フレームデータの効率的な記述をもたらす。新しい基準であっても、エンコーダはやはりあらゆるＭＰＥＧ２準拠のデコーダによりデコードされ得るＭＰＥＧ２ビットストリームを生成する。バイナリの決定は、１つのマクロブロック内の空のＤＣＴブロックをスキップするようにスキップマクロブロックエスケープコード（skip ＭＢ）及びコーディングされたブロックパターンエスケープコードの生成をもたらす。
【００５３】
ＭＰＥＧ２ビットストリーム及び独自の（proprietary）残差ストリームの両方は、多重化され、１つのＭＰＥＧ準拠のストリームを形成する。ＭＰＥＧ２規格は、独自のデータに関する所謂プライベートデータチャンネルを用いるための可能性を提供する。残差データが伝送されない場合には、ブールのマップＳｐｅｒｃｅｉｖｅｄ（ｘ，ｙ，ｔ）のみが伝送される。スキップマクロブロック及びコーディングされたブロックパターンのエスケープコードの使用は、ブールのマップＳｐｅｒｃｅｉｖｅｄ（ｘ，ｙ，ｔ）の分離した伝送を避けることを可能にする。各フレーム内のエスケープコードのパターンは、上記ブールのＳｐｅｒｃｅｉｖｅｄ（ｘ，ｙ，ｔ）を再生するために情報を暗黙的に保持する。
【００５４】
上記動き推定器は、個別のインプリメンテーションに適した任意のタイプものであり得る。ビデオのコーディングにおいて、動き推定に関するほとんどの方法は、フルサーチブロックマッチング（ＦＳＢＭ）方式又はその有効なずれに基づいている。動き推定はまた、フレームレート変換法から知られている推定方法にも基づく。そのような方法では、フレームは、ビデオ圧縮と同様に前の及び先のフレームを用いて時間的に挿入される。しかしながら、残差データが利用可能ではないので、フレームレート変換に関する正しい動きベクトルフィールドはほとんど常に画像平面内のオブジェクトの真の動きを表す。３次元の再帰サーチ（３ＤＲＳ）の方法は、民生用アプリケーションに適した真の動きの推定のおそらく最も有効なインプリメンテーションである（参考文献[３，４，５，６，７]）。３ＤＲＳを用いて推定される動きベクトルは、真の動きに等しい傾向にあり、動きベクトルフィールドは高度の空間的及び時間的な一致を抑制する。従って、ベクトルの不一致性が低く、これは、ＳＡＤの値に高い閾値をもたらす。ＳＡＤの値はあまり閾値化されないので、伝送される残差データの量は実際通りではない動き推定と比較して減少する。
【００５５】
本発明は、種々のデバイスに適用されることが可能であり、例えば入力信号受信器手段４１とアンテナ又は光ファイバのようなコーディングされた信号を送信する送信器手段４２とを含む無線送信機又はコンピュータネットワークルータのような図８に示したデータ伝送デバイス４０に適用され得る。このデータ伝送デバイス４０は本発明の一実施例による画像エンコーダデバイス１０を備えており、画像エンコーダデバイス１０は入力信号受信器手段４１及び送信器手段４２に接続されている。このようなデバイスは、画質の感知される損失を伴うことなくデータがエンコーディングプロセスにより圧縮されるので、小さな帯域幅を使用して大量のデータを伝送することが可能である。
【００５６】
ＳＡＣＤ、ＤＶＤ、コンパクトディスク又はコンピュータハードディスクドライブのようなデータコンテナデバイス３１に画像を記憶する光ディスクライタのような図９に示したデータ記憶デバイス３０において画像エンコーダデバイス１０を適用することが同様に可能である。このようなデバイス３０は、図９に示したように、データコンテナデバイス３１のためのホルダ手段３２と、データコンテナデバイス３１にデータを書き込むライタ手段３３と、入力信号受信器手段３４（例えばマクロフォン）と、入力信号レシーバ手段３４及びライタ手段３３に接続された本発明による予測コーダデバイス１０とを含んでいる。このデータ記憶デバイス３０は、画像又はビデオの品質の感知される損失を伴うことなくより多くのデータ、すなわち画像又はビデオをデータコンテナデバイス３１に記憶することが可能である。
【００５７】
同様に、図１０に示したように、カメラ又はテレビジョンケーブルのようなオーディオビジュアル入力手段６１とデータ出力手段６２とを有するオーディオビジュアルレコーダデバイス６０が画像エンコーダデバイス１０を備えていてもよく、これにより、同じ量のデータ記憶スペースを用いてより多くの画像又はビデオデータを記録することを可能にする。
【００５８】
更に、本発明は、フロッピーディスク（登録商標）、ＤＶＤ若しくはスーパーオーディオＣＤのようなデータコンテナデバイス又はＤＶＤ若しくはＳＡＣＤを製造するためのマスタ又はスタンパに記憶されるデータに適用され得る。
【００５９】
本発明は、コンピュータシステム上で走るときに本発明による方法のステップを実行するコード部又は汎用コンピュータシステムが本発明によるコンピュータシステムの機能を実行することを可能にするコード部を少なくとも含むコンピュータシステム上で走るコンピュータプログラムにおいても実現され得る。そのようなコンピュータプログラムは、コンピュータシステムのメモリにロード可能な、コンピュータプログラムを表すデータと共に記憶されるＣＤ−ＲＯＭ又はディスケット（登録商標）のようなデータキャリアに与えられ得る。データキャリアは更に、本発明によるコンピュータプログラムを表す信号を伝送する電話ケーブル又はワイヤレスコネクションのようなデータコネクションであり得る。
【００６０】
上述の明細書において、本発明の実施の形態の具体的な例を参照して本発明が説明された。従って、本明細書及び図面は、限定的な意味ではなく一例であるとみなされるべきである。しかしながら、添付の特許請求の範囲に述べられているような本発明のより広い精神及び範囲から逸脱することなく種々の改良及び変更がなされ得ることは明らかであろう。
【００６１】
例えば、本発明はデバイスの開示された例における実現に限定されるものではなく、他のデバイスにおいて同様に適用され得る。特に、本発明は物理的なデバイスに限定されるものではなく、より抽象的な種類の論理デバイス又はコンピュータ上で走るときにコンピュータが本発明によるデバイスの機能を実行することを可能にするコンピュータプログラムにおいても適用され得る。
【００６２】
更に、上記各デバイスは、論理的には１つのデバイスとみなされながら、いくつかの装置にわたって物理的に分散されることが可能である。また、論理的に独立したデバイスとみなされるデバイスが独立した各デバイスの機能を有する１つの物理的なデバイスに一体化され得る。
【００６３】
参考文献
[１]   D. L. Gall, “MPEG: A video compression standard for multimedia applications,” Communications of the ACM, vol. 34, no. 4, pp. 46-58, 1991
[２]   J. L. Mitchell, W. B. Pennebaker, C. E. Fogg, and D. J. LeGall, MPEG Video Compression Standard. Digital Multimedia Standards Series, New York, NY: Chapman & Hall, 1997
[３]   G. de Haan and H. Huijgen, “Method of estimating motion in a picture signal.” U.S. Patent Nr. 5,072,293, Dec. 1991
[４]   G. de Haan and H. Huijgen, “Motion vector processing device.” U.S. Patent Nr. 5,148,269, Sept. 1992
[５]   G. de Haan and H. Huijgen, “Apparatus for motion vector estimation with asymmetric update region.”
U.S. Patent Nr. 5,212,548, May 1993
[６]   G. de Haan, P. W. A. C. Biezen, H. Huijgen, and O. A. Ojo, “True-motion estimation with 3-D recursive search block matching,” IEEE transactions on Circuits and Systems for Video Technology, vol. 3, pp. 368-379, Oct. 1993
[７]   G. de Haan and P. W. A. C. Biezen, “Sub-pixel motion estimation with 3-D recursive search blockmatching,”
Signal Processing: Image Communication, vol. 6, pp. 229-239, 1994
[８]   U.S. Patent Nr. 5,057,921
【図面の簡単な説明】
【００６４】
【図１】本発明に係るデバイスの実施の形態の第１の例を表すブロック図である。
【図２】本発明に係るデバイスの実施の形態の第２の例を表すブロック図である。
【図３】本発明に係る方法の第１の例を表す流れ図である。
【図４】本発明に係るデバイスの実施の形態の一例を有するＭＰＥＧエンコーダを表すブロック図である。
【図５】具体例の画像を示す図である。
【図６】ベクトルの不一致性の関数として閾値の表し方を示した図である。
【図７】ベクトルの不一致性の関数として閾値の表し方を示した図である。
【図８】本発明に係る予測コーダデバイスを備えたデータ伝送デバイスを模式的に示した図である。
【図９】本発明に係る予測コーダデバイスを備えたデータ記憶デバイスを模式的に示した図である。
【図１０】本発明に係る予測デコーダデバイスを備えたオーディオビジュアルレコーダデバイスを模式的に示した図である。
【図１】
2005513896.tif 000019
【図２】
2005513896.tif 000020
【図３】
2005513896.tif 000021
【図４】
2005513896.tif 000022
【図５】
2005513896.tif 000023
【図６】
2005513896.tif 000024
【図７】
2005513896.tif 000025
【図８】
2005513896.tif 000026
【図９】
2005513896.tif 000027
【図１０】
2005513896.tif 000028
【国際調査報告】
2005513896.tif 000029
2005513896.tif 000030
2005513896.tif 000031