(57)【要約】【課題】符号化、復号が繰り返されることにより、画像データの劣化の程度を大きくすることができるようにする。【解決手段】  動き推定部１１４は、デジタルの画像データVdg1の探索元のブロックの頻度分布上位３位までの画素のみを用いて、動き探索を行い、動きベクトルを算出する。残差ベクトル量子化部１１６は、動き推定後の残差をベクトル量子化し、量子化コードデータを得る。データ合成部１１７は、動きベクトル、量子化コードデータ、およびベクトル量子化に用いられたコードブック１２１を、符号化データVcdとして後段に出力する。この動き探索に用いられる画素は、対象となる画像データVdg1に付加されている位相ずれにより大きく変化し、正確に動き推定を行うことが困難になる。本発明は、記録媒体からの画像データを復号し表示したり、画像データを符号化し、記録媒体に記録する画像処理システムに適用できる。【選択図】図５
2006229623.tif 000002
【特許請求の範囲】
【請求項１】
画像データを符号化する符号化装置において、
入力される画像データ中の第１のフレームをブロック化するブロック化手段と、
前記ブロック化手段によりブロック化されたブロックの画素値の頻度分布に基づいて、前記ブロックを代表する画素を抽出する画素抽出手段と、
前記画素抽出手段により抽出された前記画素を用いて、前記ブロックの動きベクトルを推定する動き推定手段と、
前記動き推定手段により推定された前記動きベクトルを用いて、前記ブロックに対応する第２のフレームの画像データと、前記ブロックにおける画像データとの差分を算出する差分算出手段と、
前記差分算出手段により算出された前記差分に対して、ベクトル量子化を行うベクトル量子化手段と
を備えることを特徴とする符号化装置。
【請求項２】
前記画像データにノイズを付加し、前記ノイズが付加された前記画像データを出力するノイズ付加手段をさらに備え、
前記ブロック化手段は、前記ノイズ付加手段により前記ノイズが付加された前記画像データの第１のフレームをブロック化する
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記動き推定手段は、前記画素抽出手段により抽出された前記画素を用いて、前記第２のフレームから、画素差分２乗総和の最小となるブロックを探索することにより、前記動きベクトルを推定する
ことを特徴とする請求項１に記載の符号化装置。
【請求項４】
前記ベクトル量子化手段による前記ベクトル量子化に用いられるコードブックは、前記入力される画像データに基づいて生成される
ことを特徴とする請求項１に記載の符号化装置。
【請求項５】
前記ベクトル量子化手段による前記ベクトル量子化に用いられる前記コードブック、前記ベクトル量子化手段により前記ベクトル量子化が行われることにより得られる量子化データ、および前記動き推定手段により推定された前記動きベクトルを、符号化データとして後段に出力するデータ出力手段を
さらに備えることを特徴とする請求項４に記載の符号化装置。
【請求項６】
前記画素抽出手段は、前記ブロックの画素値の頻度分布が上位３位以内の画素を、前記ブロックを代表する画素として抽出する
ことを特徴とする請求項１に記載の符号化装置。
【請求項７】
画像データを符号化する符号化装置の符号化方法において、
入力される画像データ中の第１のフレームをブロック化するブロック化ステップと、
前記ブロック化ステップの処理によりブロック化されたブロックの画素値の頻度分布に基づいて、前記ブロックを代表する画素を抽出する画素抽出ステップと、
前記画素抽出ステップの処理により抽出された前記画素を用いて、前記ブロックの動きベクトルを推定する動き推定ステップと、
前記動き推定ステップの処理により推定された前記動きベクトルを用いて、前記ブロックに対応する第２のフレームの画像データと、前記ブロックにおける画像データとの差分を算出する差分算出ステップと、
前記差分算出ステップの処理により算出された前記差分に対して、ベクトル量子化を行うベクトル量子化ステップと
を含むことを特徴とする符号化方法。
【請求項８】
前記画像データにノイズを付加し、前記ノイズが付加された前記画像データを出力するノイズ付加ステップをさらに含み、
前記ブロック化ステップの処理では、前記ノイズ付加ステップの処理により前記ノイズが付加された前記画像データの第１のフレームをブロック化する
ことを特徴とする請求項７に記載の符号化方法。
【請求項９】
前記動き推定ステップの処理では、前記画素抽出ステップの処理により抽出された前記画素を用いて、前記第２のフレームから、画素差分２乗総和の最小となるブロックを探索することにより、前記動きベクトルを推定する
ことを特徴とする請求項７に記載の符号化方法。
【請求項１０】
前記ベクトル量子化ステップの処理による前記ベクトル量子化に用いられるコードブックは、前記入力される画像データに基づいて生成される
ことを特徴とする請求項７に記載の符号化方法。
【請求項１１】
前記ベクトル量子化ステップの処理による前記ベクトル量子化に用いられる前記コードブック、前記ベクトル量子化ステップの処理により前記ベクトル量子化が行われることにより得られる量子化データ、および前記動き推定ステップの処理により推定された前記動きベクトルを、符号化データとして後段に出力するデータ出力ステップを
さらに含むことを特徴とする請求項１０に記載の符号化方法。
【請求項１２】
前記画素抽出ステップの処理では、前記ブロックの画素値の頻度分布が上位３位以内の画素を、前記ブロックを代表する画素として抽出する
ことを特徴とする請求項７に記載の符号化方法。
【請求項１３】
画像データを符号化する処理をコンピュータに行わせるプログラムが記録される記録媒体であって、
入力される画像データ中の第１のフレームをブロック化するブロック化ステップと、
前記ブロック化ステップの処理によりブロック化されたブロックの画素値の頻度分布に基づいて、前記ブロックを代表する画素を抽出する画素抽出ステップと、
前記画素抽出ステップの処理により抽出された前記画素を用いて、前記ブロックの動きベクトルを推定する動き推定ステップと、
前記動き推定ステップの処理により推定された前記動きベクトルを用いて、前記ブロックに対応する第２のフレームの画像データと、前記ブロックにおける画像データとの差分を算出する差分算出ステップと、
前記差分算出ステップの処理により算出された前記差分に対して、ベクトル量子化を行うベクトル量子化ステップと
を含むことを特徴とするプログラムが記録される記録媒体。
【請求項１４】
画像データを符号化する処理をコンピュータに行わせるプログラムであって、
入力される画像データ中の第１のフレームをブロック化するブロック化ステップと、
前記ブロック化ステップの処理によりブロック化されたブロックの画素値の頻度分布に基づいて、前記ブロックを代表する画素を抽出する画素抽出ステップと、
前記画素抽出ステップの処理により抽出された前記画素を用いて、前記ブロックの動きベクトルを推定する動き推定ステップと、
前記動き推定ステップの処理により推定された前記動きベクトルを用いて、前記ブロックに対応する第２のフレームの画像データと、前記ブロックにおける画像データとの差分を算出する差分算出ステップと、
前記差分算出ステップの処理により算出された前記差分に対して、ベクトル量子化を行うベクトル量子化ステップと
を含むことを特徴とするプログラム。
【請求項１５】
画像データを復号する復号装置において、
画像データ中のブロック内での画素値の頻度分布に基づいて抽出された前記ブロックを代表する画素を用いて得られる動きベクトルと、前記動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力手段と、
前記データ入力手段により入力された前記量子化データを逆量子化することにより前記差分値を抽出する差分値抽出手段と、
前記データ入力手段により入力された前記動きベクトルに応じて、第１のフレームの画像データに、前記差分値抽出手段により抽出された前記差分値を加算することで、第２のフレームの画像データを生成するデータ加算手段と
を備えることを特徴とする復号装置。
【請求項１６】
前記データ加算手段により生成された前記画像データにノイズを付加し、前記ノイズが付加された画像データを後段に出力するノイズ付加手段を
さらに備えることを特徴とする請求項１５に記載の復号装置。
【請求項１７】
前記データ入力手段は、前記ベクトル量子化に用いられたコードブックも入力し、
前記差分値抽出手段は、前記データ入力手段により入力された前記コードブックを用いて、前記量子化データを逆量子化する
ことを特徴とする請求項１５に記載の復号装置。
【請求項１８】
前記データ入力手段により入力された前記動きベクトルに応じて、前記第１のフレームの画像データから、予測ブロックの画像データを予測する動き補償手段をさらに備え、
前記データ加算手段は、前記動き補償手段により予測された予測ブロックの画像データに、前記差分値抽出手段により抽出された前記差分値を加算することで、前記第２のフレームの画像データを生成する
ことを特徴とする請求項１５に記載の復号装置。
【請求項１９】
画像データを復号する復号装置の復号方法において、
画像データ中のブロック内での画素値の頻度分布に基づいて抽出された前記ブロックを代表する画素を用いて得られる動きベクトルと、前記動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力ステップと、
前記データ入力ステップの処理により入力された前記量子化データを逆量子化することにより前記差分値を抽出する差分値抽出ステップと、
前記データ入力ステップの処理により入力された前記動きベクトルに応じて、第１のフレームの画像データに、前記差分値抽出ステップの処理により抽出された前記差分値を加算することで、第２のフレームの画像データを生成するデータ加算ステップと
を含むことを特徴とする復号方法。
【請求項２０】
前記データ加算ステップの処理により生成された前記画像データにノイズを付加し、前記ノイズが付加された画像データを後段に出力するノイズ付加ステップを
さらに含むことを特徴とする請求項１９に記載の復号方法。
【請求項２１】
前記データ入力ステップの処理では、前記ベクトル量子化に用いられたコードブックも入力し、
前記差分値抽出ステップの処理では、前記データ入力ステップの処理により入力された前記コードブックを用いて、前記量子化データを逆量子化する
ことを特徴とする請求項１９に記載の復号方法。
【請求項２２】
前記データ入力ステップの処理により入力された前記動きベクトルに応じて、前記第１のフレームの画像データから、予測ブロックの画像データを予測する動き補償ステップをさらに含み、
前記データ加算ステップの処理では、前記動き補償ステップの処理により予測された予測ブロックの画像データに、前記差分値抽出ステップの処理により抽出された前記差分値を加算することで、前記第２のフレームの画像データを生成する
ことを特徴とする請求項１９に記載の復号装置。
【請求項２３】
画像データを復号する処理をコンピュータに行わせるプログラムが記録される記録媒体であって、
画像データ中のブロック内での画素値の頻度分布に基づいて抽出された前記ブロックを代表する画素を用いて得られる動きベクトルと、前記動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力ステップと、
前記データ入力ステップの処理により入力された前記量子化データを逆量子化することにより前記差分値を抽出する差分値抽出ステップと、
前記データ入力ステップの処理により入力された前記動きベクトルに応じて、第１のフレームの画像データに、前記差分値抽出ステップの処理により抽出された前記差分値を加算することで、第２のフレームの画像データを生成するデータ加算ステップと
を含むことを特徴とするプログラムが記録される記録媒体。
【請求項２４】
画像データを復号する処理をコンピュータに行わせるプログラムであって、
画像データ中のブロック内での画素値の頻度分布に基づいて抽出された前記ブロックを代表する画素を用いて得られる動きベクトルと、前記動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力ステップと、
前記データ入力ステップの処理により入力された前記量子化データを逆量子化することにより前記差分値を抽出する差分値抽出ステップと、
前記データ入力ステップの処理により入力された前記動きベクトルに応じて、第１のフレームの画像データに、前記差分値抽出ステップの処理により抽出された前記差分値を加算することで、第２のフレームの画像データを生成するデータ加算ステップと
を含むことを特徴とするプログラム。
【請求項２５】
符号化装置および復号装置からなり、画像データに対して符号化および復号を行う画像処理システムにおいて、
前記符号化装置は、
入力される画像データ中の第１のフレームをブロック化するブロック化手段と、
前記ブロック化手段によりブロック化されたブロックの画素値の頻度分布に基づいて、前記ブロックを代表する画素を抽出する画素抽出手段と、
前記画素抽出手段により抽出された前記画素を用いて、前記ブロックの動きベクトルを推定する動き推定手段と、
前記動き推定手段により推定された前記動きベクトルを用いて、前記ブロックに対応する第２のフレームの画像データと、前記ブロックにおける画像データとの差分を算出する差分算出手段と、
前記差分算出手段により算出された前記差分に対して、ベクトル量子化を行うベクトル量子化手段と
を備えることを特徴とする画像処理システム。
【請求項２６】
前記復号装置からの前記画像データにノイズを付加し、前記ノイズが付加された前記画像データを、前記符号化装置に入力するノイズ付加手段を
さらに備えることを特徴とする請求項２５に記載の画像処理システム。
【請求項２７】
符号化装置および復号装置からなり、画像データに対して符号化および復号を行う画像処理システムの画像処理方法において、
前記符号化装置の符号化方法は、
入力される画像データ中の第１のフレームをブロック化するブロック化ステップと、
前記ブロック化ステップの処理によりブロック化されたブロックの画素値の頻度分布に基づいて、前記ブロックを代表する画素を抽出する画素抽出ステップと、
前記画素抽出ステップの処理により抽出された前記画素を用いて、前記ブロックの動きベクトルを推定する動き推定ステップと、
前記動き推定ステップの処理により推定された前記動きベクトルを用いて、前記ブロックに対応する第２のフレームの画像データと、前記ブロックにおける画像データとの差分を算出する差分算出ステップと、
前記差分算出ステップの処理により算出された前記差分に対して、ベクトル量子化を行うベクトル量子化ステップと
を含むことを特徴とする画像処理方法。
【請求項２８】
前記復号装置からの前記画像データにノイズを付加し、前記ノイズが付加された前記画像データを、前記符号化装置に入力するノイズ付加ステップを
さらに含むことを特徴とする請求項２７に記載の画像処理方法。
【請求項２９】
符号化装置および復号装置からなり、画像データに対して符号化および復号を行う画像処理システムにおいて、
前記復号装置は、
画像データ中のブロック内での画素値の頻度分布に基づいて抽出された前記ブロックを代表する画素を用いて得られる動きベクトルと、前記動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力手段と、
前記データ入力手段により入力された前記量子化データを逆量子化することにより前記差分値を抽出する差分値抽出手段と、
前記データ入力手段により入力された前記動きベクトルに応じて、第１のフレームの画像データに前記差分値抽出手段により抽出された前記差分値を加算することで、第２のフレームの画像データを生成するデータ加算手段と
を備えることを特徴とする画像処理システム。
【請求項３０】
前記復号装置からの前記画像データにノイズを付加し、前記ノイズが付加された前記画像データを、前記符号化装置に出力するノイズ付加手段を
さらに備えることを特徴とする請求項２９に記載の画像処理システム。
【請求項３１】
符号化装置および復号装置からなり、画像データに対して符号化および復号を行う画像処理システムの画像処理方法において、
前記復号装置の復号方法は、
画像データ中のブロック内での画素値の頻度分布に基づいて抽出された前記ブロックを代表する画素を用いて得られる動きベクトルと、前記動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力ステップと、
前記データ入力ステップの処理により入力された前記量子化データを逆量子化することにより前記差分値を抽出する差分値抽出ステップと、
前記データ入力ステップの処理により入力された前記動きベクトルに応じて、第１のフレームの画像データに前記差分値抽出ステップの処理により抽出された前記差分値を加算することで、第２のフレームの画像データを生成するデータ加算ステップと
を含むことを特徴とする画像処理方法。
【請求項３２】
前記復号装置からの前記画像データにノイズを付加し、前記ノイズが付加された前記画像データを、前記符号化装置に出力するノイズ付加ステップを
さらに含むことを特徴とする請求項３１に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法に関し、特に、ブロック内の画素頻度分布に着目して動き推定を行い、残差をベクトル量子化することにより、コピー前のデータによる出力の品質を落とすことなく、良好な質を維持したままで、コピーを抑制することができるようにした符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法に関する。
【背景技術】
【０００２】
図１は、従来の画像処理システム１の構成例を示している。この画像処理システム１は、アナログの画像データVanを出力する再生装置１１と、この再生装置１１から出力される画像データVanに対応する画像を表示するディスプレイ１２により構成されている。
【０００３】
再生装置１１は、復号部２１とＤ／Ａ(Digital-to-Analog)変換部２２により構成される。復号部２１は、図示せぬ光ディスクなどの記録媒体から再生される、符号化された画像データを復号し、復号したデジタルの画像データを、Ｄ／Ａ変換部２２に供給する。Ｄ／Ａ変換部２２は、復号部２１からのデジタルの画像データを、アナログの画像データに変換し、アナログの画像データVanとして、ディスプレイ１２に供給する。
【０００４】
ディスプレイ１２は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などで構成される。
【０００５】
ところで、従来においては、このような画像処理システム１の再生装置１１により出力されるアナログの画像データVanを利用して、不正コピーが行われる恐れがあった。
【０００６】
すなわち、再生装置１１から出力されるアナログの画像データVanは、Ａ／Ｄ変換部３１によりデジタルの画像データVdgに変換されて符号化部３２に供給される。符号化部３２は、デジタルの画像データVdgを符号化し、符号化された画像データVcdを、記録部３３に供給する。記録部３３は、符号化された画像データVcdを光ディスクなどの記録媒体に記録する。
【０００７】
以上のように行われてしまうアナログの画像データVanを用いた不正コピーを防止するためには、従来、著作権保護がなされている場合、アナログの画像データVanをスクランブル処理して出力したり（例えば、特許文献１）、あるいはアナログの画像データVdgの出力を抑制したりしていた。しかしながら、この場合、ディスプレイ１２に正常な映像が移らないという問題が発生していた。
【０００８】
また、特許文献２に示されるＡＤＲＣ(Adaptive Dynamic Range Coding)を用いて符号化、復号を行う場合にも、符号化、復号によりダイナミックレンジが減少していくことにより、画像データが劣化するが、ＡＤＲＣによるダイナミックレンジの減少の程度は、それほど大きな劣化ではない。また、ＡＤＲＣの場合は、動画像に対しても適用可能ではあるが、動きの特性を利用したものではないので、動画像に対してあまり大きな劣化は得られない。
【０００９】
そこで、画像が表示されなくなること等の不都合を発生することなく、アナログ画像信号を利用した不正コピーを防止する手法が、本出願人により提案されている（例えば、特許文献３参照）。
【００１０】
【特許文献１】特開２００１−２４５２７０公報
【特許文献２】特開昭６１−１４４９８９公報
【特許文献３】特開２００４−２８９６８５公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
特許文献３に記載の手法では、アナログ画像信号をA/D変換することにより得られるデジタル画像信号の位相ずれ等のアナログノイズ（歪み）に着目し、そのデジタル画像信号に対してアナログノイズに着目した符号化を行うことによってコピー前の画像の質を落とさずに、良好な質を維持したままでのコピーを不可能とし、これによりアナログ画像信号を利用した不正コピーを防止するが、デジタルコンテンツの流通が一般的になっている近年においては、上述のように不正コピーを防止するための別の手法の提案が要請されている。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、コピー前のデータによる出力の品質を落とすことなく、良好な質を維持したままで、コピーを簡単に抑制することができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の符号化装置は、入力される画像データ中の第１のフレームをブロック化するブロック化手段と、ブロック化手段によりブロック化されたブロックの画素値の頻度分布に基づいて、ブロックを代表する画素を抽出する画素抽出手段と、画素抽出手段により抽出された画素を用いて、ブロックの動きベクトルを推定する動き推定手段と、動き推定手段により推定された動きベクトルを用いて、ブロックに対応する第２のフレームの画像データと、ブロックにおける画像データとの差分を算出する差分算出手段と、差分算出手段により算出された差分に対して、ベクトル量子化を行うベクトル量子化手段とを備えることを特徴とする。
【００１４】
画像データにノイズを付加し、ノイズが付加された画像データを出力するノイズ付加手段をさらに備え、ブロック化手段は、ノイズ付加手段によりノイズが付加された画像データの第１のフレームをブロック化するようにすることができる。
【００１５】
動き推定手段は、画素抽出手段により抽出された画素を用いて、第２のフレームから、画素差分２乗総和の最小となるブロックを探索することにより、動きベクトルを推定するようにすることができる。
【００１６】
ベクトル量子化手段によるベクトル量子化に用いられるコードブックは、入力される画像データに基づいて生成されるようにすることができる。
【００１７】
ベクトル量子化手段によるベクトル量子化に用いられるコードブック、ベクトル量子化手段によりベクトル量子化が行われることにより得られる量子化データ、および動き推定手段により推定された動きベクトルを、符号化データとして後段に出力するデータ出力手段をさらに備えるようにすることができる。
【００１８】
画素抽出手段は、ブロックの画素値の頻度分布が上位３位以内の画素を、ブロックを代表する画素として抽出するようにすることができる。
【００１９】
本発明の符号化方法は、入力される画像データ中の第１のフレームをブロック化するブロック化ステップと、ブロック化ステップの処理によりブロック化されたブロックの画素値の頻度分布に基づいて、ブロックを代表する画素を抽出する画素抽出ステップと、画素抽出ステップの処理により抽出された画素を用いて、ブロックの動きベクトルを推定する動き推定ステップと、動き推定ステップの処理により推定された動きベクトルを用いて、ブロックに対応する第２のフレームの画像データと、ブロックにおける画像データとの差分を算出する差分算出ステップと、差分算出ステップの処理により算出された差分に対して、ベクトル量子化を行うベクトル量子化ステップとを含むことを特徴とする。
【００２０】
画像データにノイズを付加し、ノイズが付加された画像データをブロック化ステップの処理に入力するノイズ付加ステップをさらに含み、ブロック化ステップの処理では、ノイズ付加ステップの処理によりノイズが付加された画像データの第１のフレームをブロック化するようにすることができる。
【００２１】
動き推定ステップの処理では、画素抽出ステップの処理により抽出された画素を用いて、第２のフレームから、画素差分２乗総和の最小となるブロックを探索することにより、動きベクトルを推定するようにすることができる。
【００２２】
ベクトル量子化ステップの処理によるベクトル量子化に用いられるコードブックは、入力される画像データに基づいて生成されるようにすることができる。
【００２３】
ベクトル量子化ステップの処理によるベクトル量子化に用いられるコードブック、ベクトル量子化ステップの処理によりベクトル量子化が行われることにより得られる量子化データ、および動き推定ステップの処理により推定された動きベクトルを、符号化データとして後段に出力するデータ出力ステップをさらに含むようにすることができる。
【００２４】
画素抽出ステップの処理では、ブロックの画素値の頻度分布が上位３位以内の画素を、ブロックを代表する画素として抽出するようにすることができる。
【００２５】
本発明の第１のプログラムが記録される記録媒体は、入力される画像データ中の第１のフレームをブロック化するブロック化ステップと、ブロック化ステップの処理によりブロック化されたブロックの画素値の頻度分布に基づいて、ブロックを代表する画素を抽出する画素抽出ステップと、画素抽出ステップの処理により抽出された画素を用いて、ブロックの動きベクトルを推定する動き推定ステップと、動き推定ステップの処理により推定された動きベクトルを用いて、ブロックに対応する第２のフレームの画像データと、ブロックにおける画像データとの差分を算出する差分算出ステップと、差分算出ステップの処理により算出された差分に対して、ベクトル量子化を行うベクトル量子化ステップとを含むことを特徴とする。
【００２６】
本発明の第１のプログラムは、入力される画像データ中の第１のフレームをブロック化するブロック化ステップと、ブロック化ステップの処理によりブロック化されたブロックの画素値の頻度分布に基づいて、ブロックを代表する画素を抽出する画素抽出ステップと、画素抽出ステップの処理により抽出された画素を用いて、ブロックの動きベクトルを推定する動き推定ステップと、動き推定ステップの処理により推定された動きベクトルを用いて、ブロックに対応する第２のフレームの画像データと、ブロックにおける画像データとの差分を算出する差分算出ステップと、差分算出ステップの処理により算出された差分に対して、ベクトル量子化を行うベクトル量子化ステップとを含むことを特徴とする。
【００２７】
本発明の復号装置は、画像データ中のブロック内での画素値の頻度分布に基づいて抽出されたブロックを代表する画素を用いて得られる動きベクトルと、動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力手段と、データ入力手段により入力された量子化データを逆量子化することにより差分値を抽出する差分値抽出手段と、データ入力手段により入力された動きベクトルに応じて、第１のフレームの画像データに、差分値抽出手段により抽出された差分値を加算することで、第２のフレームの画像データを生成するデータ加算手段とを備えることを特徴とする。
【００２８】
データ加算手段により生成された画像データにノイズを付加し、ノイズが付加された画像データを後段に出力するノイズ付加手段をさらに備えるようにすることができる。
【００２９】
データ入力手段は、ベクトル量子化に用いられたコードブックも入力し、差分値抽出手段は、データ入力手段により入力されたコードブックを用いて、量子化データを逆量子化するようにすることができる。
【００３０】
データ入力手段により入力された動きベクトルに応じて、第１のフレームの画像データから、予測ブロックの画像データを予測する動き補償手段をさらに備え、データ加算手段は、動き補償手段により予測された予測ブロックの画像データに、差分値抽出手段により抽出された差分値を加算することで、第２のフレームの画像データを生成するようにすることができる。
【００３１】
本発明の復号方法は、画像データ中のブロック内での画素値の頻度分布に基づいて抽出されたブロックを代表する画素を用いて得られる動きベクトルと、動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力ステップと、データ入力ステップの処理により入力された量子化データを逆量子化することにより差分値を抽出する差分値抽出ステップと、データ入力ステップの処理により入力された動きベクトルに応じて、第１のフレームの画像データに、差分値抽出ステップの処理により抽出された差分値を加算することで、第２のフレームの画像データを生成するデータ加算ステップとを含むことを特徴とする。
【００３２】
データ加算ステップの処理により生成された画像データにノイズを付加し、ノイズが付加された画像データを後段に出力するノイズ付加ステップをさらに含むようにすることができる。
【００３３】
データ入力ステップの処理では、ベクトル量子化に用いられたコードブックも入力し、差分値抽出ステップの処理では、データ入力ステップの処理により入力されたコードブックを用いて、量子化データを逆量子化するようにすることができる。
【００３４】
データ入力ステップの処理により入力された動きベクトルに応じて、第１のフレームの画像データから、予測ブロックの画像データを予測する動き補償ステップをさらに含み、データ加算ステップの処理では、動き補償ステップの処理により予測された予測ブロックの画像データに、差分値抽出ステップの処理により抽出された差分値を加算することで、第２のフレームの画像データを生成するようにすることができる。
【００３５】
本発明の第２のプログラムが記録される記録媒体は、画像データ中のブロック内での画素値の頻度分布に基づいて抽出されたブロックを代表する画素を用いて得られる動きベクトルと、動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力ステップと、データ入力ステップの処理により入力された量子化データを逆量子化することにより差分値を抽出する差分値抽出ステップと、データ入力ステップの処理により入力された動きベクトルに応じて、第１のフレームの画像データに、差分値抽出ステップの処理により抽出された差分値を加算することで、第２のフレームの画像データを生成するデータ加算ステップとを含むことを特徴とする。
【００３６】
本発明の第２のプログラムは、画像データ中のブロック内での画素値の頻度分布に基づいて抽出されたブロックを代表する画素を用いて得られる動きベクトルと、動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力ステップと、データ入力ステップの処理により入力された量子化データを逆量子化することにより差分値を抽出する差分値抽出ステップと、データ入力ステップの処理により入力された動きベクトルに応じて、第１のフレームの画像データに、差分値抽出ステップの処理により抽出された差分値を加算することで、第２のフレームの画像データを生成するデータ加算ステップとを含むことを特徴とする。
【００３７】
本発明の第１の画像処理システムは、符号化装置は、入力される画像データ中の第１のフレームをブロック化するブロック化手段と、ブロック化手段によりブロック化されたブロックの画素値の頻度分布に基づいて、ブロックを代表する画素を抽出する画素抽出手段と、画素抽出手段により抽出された画素を用いて、ブロックの動きベクトルを推定する動き推定手段と、動き推定手段により推定された動きベクトルを用いて、ブロックに対応する第２のフレームの画像データと、ブロックにおける画像データとの差分を算出する差分算出手段と、差分算出手段により算出された差分に対して、ベクトル量子化を行うベクトル量子化手段とを備えることを特徴とする。
【００３８】
復号装置からの画像データにノイズを付加し、ノイズが付加された画像データを、符号化装置に入力するノイズ付加手段をさらに備えるようにすることができる。
【００３９】
本発明の第１の画像処理方法は、符号化装置の符号化方法は、入力される画像データ中の第１のフレームをブロック化するブロック化ステップと、ブロック化ステップの処理によりブロック化されたブロックの画素値の頻度分布に基づいて、ブロックを代表する画素を抽出する画素抽出ステップと、画素抽出ステップの処理により抽出された画素を用いて、ブロックの動きベクトルを推定する動き推定ステップと、動き推定ステップの処理により推定された動きベクトルを用いて、ブロックに対応する第２のフレームの画像データと、ブロックにおける画像データとの差分を算出する差分算出ステップと、差分算出ステップの処理により算出された差分に対して、ベクトル量子化を行うベクトル量子化ステップとを含むことを特徴とする。
【００４０】
復号装置からの画像データにノイズを付加し、ノイズが付加された画像データを、符号化装置に入力するノイズ付加ステップをさらに含むようにすることができる。
【００４１】
本発明の第２の画像処理システムは、復号装置は、画像データ中のブロック内での画素値の頻度分布に基づいて抽出されたブロックを代表する画素を用いて得られる動きベクトルと、動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力手段と、データ入力手段により入力された量子化データを逆量子化することにより差分値を抽出する差分値抽出手段と、データ入力手段により入力された動きベクトルに応じて、第１のフレームの画像データに差分値抽出手段により抽出された差分値を加算することで、第２のフレームの画像データを生成するデータ加算手段とを備えることを特徴とする。
【００４２】
復号装置からの画像データにノイズを付加し、ノイズが付加された画像データを、符号化装置に出力するノイズ付加手段をさらに備えるようにすることができる。
【００４３】
本発明の第２の画像処理方法は、復号装置の復号方法は、画像データ中のブロック内での画素値の頻度分布に基づいて抽出されたブロックを代表する画素を用いて得られる動きベクトルと、動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力ステップと、データ入力ステップの処理により入力された量子化データを逆量子化することにより差分値を抽出する差分値抽出ステップと、データ入力ステップの処理により入力された動きベクトルに応じて、第１のフレームの画像データに差分値抽出ステップの処理により抽出された差分値を加算することで、第２のフレームの画像データを生成するデータ加算ステップとを含むことを特徴とする。
【００４４】
復号装置からの画像データにノイズを付加し、ノイズが付加された画像データを、符号化装置に出力するノイズ付加ステップをさらに含むようにすることができる。
【００４５】
第１の本発明においては、入力される画像データ中の第１のフレームがブロック化され、ブロック化されたブロックの画素値の頻度分布に基づいて、ブロックを代表する画素が抽出され、抽出された画素を用いて、ブロックの動きベクトルが推定される。そして、推定された動きベクトルを用いて、ブロックに対応する第２のフレームの画像データと、ブロックにおける画像データとの差分が算出され、算出された差分に対して、ベクトル量子化が行われる。
【００４６】
第２の本発明においては、画像データ中のブロック内での画素値の頻度分布に基づいて抽出されたブロックを代表する画素を用いて得られる動きベクトルと、動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データが入力される。そして、入力された量子化データを逆量子化することにより差分値が抽出され、入力された動きベクトルに応じて、第１のフレームの画像データに、抽出された差分値を加算することで、第２のフレームの画像データが生成される。
【００４７】
第３の本発明においては、入力される画像データ中の第１のフレームがブロック化され、ブロック化されたブロックの画素値の頻度分布に基づいて、ブロックを代表する画素が抽出され、抽出された画素を用いて、ブロックの動きベクトルが推定される。そして、推定された動きベクトルを用いて、ブロックに対応する第２のフレームの画像データと、ブロックにおける画像データとの差分が算出され、算出された差分に対して、ベクトル量子化が行われる。
【００４８】
第４の本発明においては、画像データ中のブロック内での画素値の頻度分布に基づいて抽出されたブロックを代表する画素を用いて得られる動きベクトルと、動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データが入力される。そして、入力された量子化データを逆量子化することにより差分値が抽出され、入力された動きベクトルに応じて、第１のフレームの画像データに、抽出された差分値を加算することで、第２のフレームの画像データが生成される。
【発明の効果】
【００４９】
本発明によれば、符号化、復号の繰り返しにより、画像データの劣化の程度を大きくすることができる。これにより、本発明によれば、コピー前のデータによる出力の品質を落とすことなく、良好な質を維持したままで、コピーを簡単に抑制することができる。
【発明を実施するための最良の形態】
【００５０】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００５１】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００５２】
請求項１に記載の符号化装置（例えば、図２の符号化装置６３）は、入力される画像データ中の第１のフレームをブロック化するブロック化手段（例えば、図５のブロック化部１１１）と、ブロック化手段によりブロック化されたブロックの画素値の頻度分布に基づいて、ブロックを代表する画素を抽出する画素抽出手段（例えば、図５の動き推定ブロック生成部１１３）と、画素抽出手段により抽出された画素を用いて、ブロックの動きベクトルを推定する動き推定手段（例えば、図５の動き推定部１１４）と、動き推定手段により推定された動きベクトルを用いて、ブロックに対応する第２のフレームの画像データと、ブロックにおける画像データとの差分を算出する差分算出手段（例えば、図５の残差算出部１１５）と、差分算出手段により算出された差分に対して、ベクトル量子化を行うベクトル量子化手段（例えば、図５の残差ベクトル量子化部１１６）とを備えることを特徴とする。
【００５３】
請求項２に記載の符号化装置は、画像データにノイズを付加し、ノイズが付加された画像データを出力するノイズ付加手段（例えば、図２のＡ／Ｄ変換部８１）をさらに備え、ブロック化手段は、ノイズ付加手段によりノイズが付加された画像データの第１のフレームをブロック化することを特徴とする。
【００５４】
請求項４に記載の符号化装置は、ベクトル量子化手段によるベクトル量子化に用いられるコードブック（例えば、図５のベクトル量子化用コードブック１２１）は、入力される画像データに基づいて生成されることを特徴とする。
【００５５】
請求項５に記載の符号化装置は、ベクトル量子化手段によるベクトル量子化に用いられるコードブック、ベクトル量子化手段によりベクトル量子化が行われることにより得られる量子化データ、および動き推定手段により推定された動きベクトルを、符号化データとして後段に出力するデータ出力手段（例えば、図５のデータ合成部１１７）をさらに備えることを特徴とする。
【００５６】
請求項７に記載の符号化方法は、入力される画像データ中の第１のフレームをブロック化するブロック化ステップ（例えば、図１０のステップＳ２１）と、ブロック化ステップの処理によりブロック化されたブロックの画素値の頻度分布に基づいて、ブロックを代表する画素を抽出する画素抽出ステップ（例えば、図１０のステップＳ２２）と、画素抽出ステップの処理により抽出された画素を用いて、ブロックの動きベクトルを推定する動き推定ステップ（例えば、図１０のステップＳ２３）と、動き推定ステップの処理により推定された動きベクトルを用いて、ブロックに対応する第２のフレームの画像データと、ブロックにおける画像データとの差分を算出する差分算出ステップ（例えば、図１０のステップＳ２４）と、差分算出ステップの処理により算出された差分に対して、ベクトル量子化を行うベクトル量子化ステップ（例えば、図１０のステップＳ２５）とを含むことを特徴とする。
【００５７】
請求項８に記載の符号化方法は、画像データにノイズを付加し、ノイズが付加された画像データをブロック化ステップの処理に入力するノイズ付加ステップ（例えば、図４のステップＳ４）をさらに含み、ブロック化ステップの処理では、ノイズ付加ステップの処理によりノイズが付加された画像データの第１のフレームをブロック化することを特徴とする。
【００５８】
請求項１１に記載の符号化方法は、ベクトル量子化ステップの処理によるベクトル量子化に用いられるコードブック、ベクトル量子化ステップの処理によりベクトル量子化が行われることにより得られる量子化データ、および動き推定ステップの処理により推定された動きベクトルを、符号化データとして後段に出力するデータ出力ステップ（例えば、図１０のステップＳ２６）をさらに含むことを特徴とする。
【００５９】
なお、請求項１３に記載の記録媒体および請求項１４に記載のプログラムも、上述した請求項７に記載の符号化方法と基本的に同様の処理であるため、繰り返しになるのでその説明は省略する。
【００６０】
請求項１５に記載の復号装置（例えば、図２の符号化装置６３）は、画像データ中のブロック内での画素値の頻度分布に基づいて抽出されたブロックを代表する画素を用いて得られる動きベクトルと、動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力手段（例えば、図１７のデータ分解部２１１）と、データ入力手段により入力された量子化データを逆量子化することにより差分値を抽出する差分値抽出手段（例えば、図１７の残差逆ベクトル量子化部２１２）と、データ入力手段により入力された動きベクトルに応じて、第１のフレームの画像データに、差分値抽出手段により抽出された差分値を加算することで、第２のフレームの画像データを生成するデータ加算手段（例えば、図１７の残差加算部２１５）とを備えることを特徴とする。
【００６１】
請求項１６に記載の復号装置は、データ加算手段により生成された画像データにノイズを付加し、ノイズが付加された画像データを後段に出力するノイズ付加手段（例えば、図２のＤ／Ａ変換部８５）をさらに備えることを特徴とする。
【００６２】
請求項１７に記載の復号装置は、データ入力手段は、ベクトル量子化に用いられたコードブック（例えば、図５のベクトル量子化用コードブック１２１）も入力し、差分値抽出手段は、データ入力手段により入力されたコードブックを用いて、量子化データを逆量子化することを特徴とする。
【００６３】
請求項１８に記載の復号装置は、データ入力手段により入力された動きベクトルに応じて、第１のフレームの画像データから、予測ブロックの画像データを予測する動き補償手段（例えば、図１７の動き補償部２１４）をさらに備え、データ加算手段は、動き補償手段により予測された予測ブロックの画像データに、差分値抽出手段により抽出された差分値を加算することで、第２のフレームの画像データを生成することを特徴とする。
【００６４】
請求項１９に記載の復号方法は、画像データ中のブロック内での画素値の頻度分布に基づいて抽出されたブロックを代表する画素を用いて得られる動きベクトルと、動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力ステップ（例えば、図２１のステップＳ２１１）と、データ入力ステップの処理により入力された量子化データを逆量子化することにより差分値を抽出する差分値抽出ステップ（例えば、図２１のステップＳ２１２）と、データ入力ステップの処理により入力された動きベクトルに応じて、第１のフレームの画像データに、差分値抽出ステップの処理により抽出された差分値を加算することで、第２のフレームの画像データを生成するデータ加算ステップ（例えば、図２１のステップＳ２１４）とを含むことを特徴とする。
【００６５】
請求項２０に記載の復号方法は、データ加算ステップの処理により生成された画像データにノイズを付加し、ノイズが付加された画像データを後段に出力するノイズ付加ステップ（例えば、図４のステップＳ７（またはＳ２））をさらに含むことを特徴とする。
【００６６】
請求項２２に記載の復号方法は、データ入力ステップの処理により入力された動きベクトルに応じて、第１のフレームの画像データから、予測ブロックの画像データを予測する動き補償ステップ（例えば、図２１のステップＳ２１３）をさらに含み、データ加算ステップの処理では、動き補償ステップの処理により予測された予測ブロックの画像データに、差分値抽出ステップの処理により抽出された差分値を加算することで、第２のフレームの画像データを生成することを特徴とする。
【００６７】
なお、請求項２３に記載の記録媒体および請求項２４に記載のプログラムも、上述した請求項１９に記載の復号方法と基本的に同様の処理であるため、繰り返しになるのでその説明は省略する。
【００６８】
請求項２５に記載の画像処理システム（例えば、図２の画像処理システム５１）は、符号化装置（例えば、図２の符号化部８２）は、入力される画像データ中の第１のフレームをブロック化するブロック化手段（例えば、図５のブロック化部１１１）と、ブロック化手段によりブロック化されたブロックの画素値の頻度分布に基づいて、ブロックを代表する画素を抽出する画素抽出手段（例えば、図５の動き推定ブロック生成部１１３）と、画素抽出手段により抽出された画素を用いて、ブロックの動きベクトルを推定する動き推定手段（例えば、図５の動き推定部１１４）と、動き推定手段により推定された動きベクトルを用いて、ブロックに対応する第２のフレームの画像データと、ブロックにおける画像データとの差分を算出する差分算出手段（例えば、図５の残差算出部１１５）と、差分算出手段により算出された差分に対して、ベクトル量子化を行うベクトル量子化手段（例えば、図５の残差ベクトル量子化部１１６）とを備えることを特徴とする。
【００６９】
請求項２６に記載の画像処理システムは、復号装置（例えば、図２の復号部７１または復号部８４）からの画像データにノイズを付加し、ノイズが付加された画像データを、符号化装置に入力するノイズ付加手段（例えば、図２のＡ／Ｄ変換部８１）をさらに備えることを特徴とする。
【００７０】
請求項２７に記載の画像処理方法は、符号化装置の符号化方法は、入力される画像データ中の第１のフレームをブロック化するブロック化ステップ（例えば、図１０のステップＳ２１）と、ブロック化ステップの処理によりブロック化されたブロックの画素値の頻度分布に基づいて、ブロックを代表する画素を抽出する画素抽出ステップ（例えば、図１０のステップＳ２２）と、画素抽出ステップの処理により抽出された画素を用いて、ブロックの動きベクトルを推定する動き推定ステップ（例えば、図１０のステップＳ２３）と、動き推定ステップの処理により推定された動きベクトルを用いて、ブロックに対応する第２のフレームの画像データと、ブロックにおける画像データとの差分を算出する差分算出ステップ（例えば、図１０のステップＳ２４）と、差分算出ステップの処理により算出された差分に対して、ベクトル量子化を行うベクトル量子化ステップ（例えば、図１０のステップＳ２５）とを含むことを特徴とする。
【００７１】
請求項２８に記載の画像処理方法は、復号装置からの画像データにノイズを付加し、ノイズが付加された画像データを、符号化装置に入力するノイズ付加ステップ（例えば、図４のステップＳ４）をさらに含むことを特徴とする。
【００７２】
請求項２９に記載の画像処理システムは、復号装置（例えば、図２の復号部８４）は、入力される画像データ中のブロック内での画素値の頻度分布に基づいて抽出されたブロックを代表する画素を用いて得られる動きベクトルと、動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力手段（例えば、図１７のデータ分解部２１１）と、データ入力手段により入力された量子化データを逆量子化することにより差分値を抽出する差分値抽出手段（例えば、図１７の残差逆ベクトル量子化部２１２）と、データ入力手段により入力された動きベクトルに応じて、第１のフレームの画像データに差分値抽出手段により抽出された差分値を加算することで、第２のフレームの画像データを生成するデータ加算手段（例えば、図１７の残差加算部２１５）とを備えることを特徴とする。
【００７３】
請求項３０に記載の画像処理システムは、復号装置からの画像データにノイズを付加し、ノイズが付加された画像データを、符号化装置に出力するノイズ付加手段（例えば、図２のＤ／Ａ変換部８５）をさらに備えることを特徴とする。
【００７４】
請求項３１に記載の画像処理方法は、復号装置の復号方法は、入力される画像データ中のブロック内での画素値の頻度分布に基づいて抽出されたブロックを代表する画素を用いて得られる動きベクトルと、動きベクトルを用いて算出される複数フレーム間の差分値に対してベクトル量子化が行われることにより得られる量子化データを入力するデータ入力ステップ（例えば、図２１のステップＳ２１１）と、データ入力ステップの処理により入力された量子化データを逆量子化することにより差分値を抽出する差分値抽出ステップ（例えば、図２１のステップＳ２１２）と、データ入力ステップの処理により入力された動きベクトルに応じて、第１のフレームの画像データに差分値抽出ステップの処理により抽出された差分値を加算することで、第２のフレームの画像データを生成するデータ加算ステップ（例えば、図２１のステップＳ２１４）とを含むことを特徴とする。
【００７５】
請求項３２に記載の画像処理方法は、復号装置からの画像データにノイズを付加し、ノイズが付加された画像データを、符号化装置に出力するノイズ付加ステップ（例えば、図４のステップＳ７（またはＳ２））をさらに含むことを特徴とする。
【００７６】
以下、図を参照して本発明の実施の形態について説明する。
【００７７】
図２は、本発明を適用した画像処理システム５１の構成例を表している。この画像処理システム５１は、アナログの画像データVan1を出力する再生装置６１、再生装置６１から出力される画像データVan1に対応する画像を表示するディスプレイ６２、およびアナログの画像データVan1を用いて、再び符号化処理を行い、符号化された画像データVcd（以下、符号化データVcdとも称する）を、図示せぬ光ディスクなどの記録媒体に記録する符号化装置６３により構成される。
【００７８】
再生装置６１は、復号部７１およびＤ／Ａ(Digital-to-Analog)変換部７２により構成される。復号部７１は、図示せぬ光ディスクなどの記録媒体から再生される、符号化された画像データを復号し、復号したデジタルの画像データVdg0を、Ｄ／Ａ変換部７２に供給する。Ｄ／Ａ変換部７２は、復号部７１からのデジタルの画像データVdg0を、アナログの画像データVan1に変換し、変換されたアナログの画像データVan1をディスプレイ６２に供給する。
【００７９】
ディスプレイ６２は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などで構成され、Ｄ／Ａ変換部７２からのアナログの画像データVan1に対応する画像を表示する。
【００８０】
符号化装置６３は、Ａ／Ｄ(Analog-to-Digital)変換部８１、符号化部８２、記録部８３、復号部８４、Ｄ／Ａ変換部８５、およびディスプレイ８６により構成される。
【００８１】
Ａ／Ｄ変換部８１は、再生装置６１からのアナログの画像データVan1をデジタルの画像データVdg1に変換し、符号化部８２に供給する。
【００８２】
符号化部８２は、Ａ／Ｄ変換部８１からのデジタルの画像データVdg1を符号化し、符号化データVcdを記録部８３または復号部８４に供給する。符号化部８２においては、再生装置６１において記録媒体から再生されて得られる符号化された画像データと同様の符号化処理が実行される。すなわち、符号化部８２は、デジタルの画像データVdg1の探索元のブロックの頻度分布上位３位までの画素のみを用いて、ブロックマッチングによる動き探索を行うとともに、動き推定後の残差をベクトル量子化することにより、符号化データVcdを得る。符号化部８２の構成の詳細は、後述する。
【００８３】
記録部８３は、符号化部８２からの符号化データVcdを、図示せぬ光ディスクなどの記録媒体に記録する。なお、記録部８３により記録媒体に記録された符号化データVcdが記録部８３により読み出され、復号部８４に供給されるようにしてもよい。
【００８４】
復号部８４は、符号化部８２または記録部８３からの符号化データVcdを復号し、復号したデジタルの画像データVdg2をＤ／Ａ変換部８５に供給する。復号部８４においては、復号部７１における復号と同様の復号処理が実行される。すなわち、復号部８４は、符号化部８２からの符号化データVcdを用いて、動き補償および逆ベクトル量子化を行うことによりそれぞれ得られる予測ブロックおよび残差ブロックを足し合わせた出力ブロックで構成されるデジタルの画像データVdg2を取得する。復号部８４の構成の詳細は、後述する。
【００８５】
Ｄ／Ａ変換部８５は、復号部８４からのデジタルの画像データVdg2を、アナログの画像データVan2に変換し、変換されたアナログの画像データVan2を、ディスプレイ８６に供給する。ディスプレイ８６は、例えば、ＣＲＴやＬＣＤなどで構成され、Ｄ／Ａ変換部８５からのアナログの画像データVan2に対応する画像を表示する。
【００８６】
この画像処理システム５１において、Ｄ／Ａ変換部７２やＤ／Ａ変換部８５においてアナログデータに変換される際、Ａ／Ｄ変換部８１においてデジタルデータに変換される際、並びにＤ／Ａ変換部７２とＡ／Ｄ変換部８１の間の通信路などにおいてデータが通信される際、変換された画像データには、ホワイトノイズなどのノイズ（による高周波成分の歪み）や、画像データの位相がずれることによる歪み（以下、位相ずれと称する）が生じる。すなわち、ホワイトノイズによる高周波成分の歪みや位相ずれによる歪みが、ノイズとして変換後の画像データに付加される。なお、これらのホワイトノイズおよび位相ずれ（による歪み）をまとめてアナログノイズ（または、アナログ歪み）ともいう。
【００８７】
ここで、ホワイトノイズに起因する高周波成分の歪みについて説明する。デジタルの画像データがアナログの画像データに変換される過程において、周波数成分がほぼ均一なホワイトノイズが画像データに付加される。ホワイトノイズのレベルは、時系列でランダムに変化し、その分布はほぼ正規分布に従う。すなわち、各画素に対応するアナログの画像データに付加されるホワイトノイズのレベルはランダムに変化する。
【００８８】
したがって、例えば、変換前のデジタルの画像データVdg0において、水平方向１ラインの複数の画素の画素値が同一の値を有していたとしても、Ｄ／Ａ変換部７２によりＤ／Ａ変換され、さらに、Ａ／Ｄ変換部８１によりＡ／Ｄ変換された後のデジタルの画像データ画像データVdg1における、その同一の値であった画素の画素値は、もとの値（同一の値）を中心値としたある程度の範囲内に分散された値となってしまい、その結果、画像データに高周波成分の歪みが生じる。また、水平方向だけでなく、垂直方向にも同様に高周波成分の歪みが生じる。なお、各画素に付加されるホワイトノイズのレベルの散らばり具合によっては、高周波成分以外の成分の歪みが生じる場合もある。
【００８９】
このように、Ｄ／Ａ変換部７２やＤ／Ａ変換部８５においては、デジタルの画像データがアナログの画像データに変換される過程において、ホワイトノイズが付加されることで、水平方向と垂直方向の２次元に、データの歪みが生じる。なお、画像データに付加されるノイズは、ホワイトノイズに限らず、他の有色のノイズも含まれる。
【００９０】
一方、位相ずれによる歪みとは、画像データVan1に位相ずれによる歪みが付加され、画像データVan1をＡ／Ｄ変換する際に、画像データが量子化される位置がずれることにより、画像データVdg1の画素の位置は、本来の画像データVdg0の画素の位置と比べて、例えば、水平方向にφhおよび垂直方向にφvだけずれてしまうことをいう。なお、水平方向の位相ずれ幅φhは、水平方向の画素間隔より小さくなったり大きくなったりする一方、垂直方向の位相ずれ幅φvは、垂直方向の画素間隔の整数倍となる。また、位相ずれは、水平方向または垂直方向の一方向のみ生じる場合がある。
【００９１】
なお、位相ずれが発生することにより、位相ずれの範囲だけ画像の表示位置がずれることになるが、表示位置のずれはわずかであり、ユーザが視認することができるレベルの画像の画質にはほとんど影響を及ぼさない。
【００９２】
以上のように、Ｄ／Ａ変換部７２から出力されるアナログの画像データVan1や、Ａ／Ｄ変換部８１からのデジタルの画像データVdg1は、デジタルの画像データVdg0に較べて、ホワイトノイズおよび位相ずれを伴っており、Ｄ／Ａ変換部８５から出力されるアナログの画像データVan2は、デジタルの画像データVdg1に較べて、さらに、ホワイトノイズおよび位相ずれを伴っている。
【００９３】
これらのホワイトノイズおよび位相ずれによる画質の劣化度合いとしては、それほど大きいものではないが、符号化部８２において、アナログノイズのうちの特に位相ずれを伴うデジタルの画像データVdg1を用いて符号化処理が実行されることにより、符号化部８２における動き推定やベクトル量子化が正確に行われることが抑制される。
【００９４】
これにより、符号化部８２から得られる符号化データVcdや復号部８４から得られるアナログの画像データVan2の画質は、デジタルの画像データVdg0やVdg1の画質と較べて大きく劣化するので、ディスプレイ６２に、画質の劣化度合いの少ない画像を表示させつつ、アナログコピー防止に寄与することが可能になる。
【００９５】
さらに、上述したように、ホワイトノイズや位相ずれは、アナログおよびデジタルの変換の際に発生するため、デジタルデータをコピーする際には、あまり影響がない。したがって、この画像処理システム５１によれば、アナログコピーのみ制限が可能であり、アナログコピーの際に、画像データの画質を劣化させることができる。
【００９６】
なお、図２の画像処理システム５１において、Ｄ／Ａ変換部７２やＤ／Ａ変換部８５におけるアナログ変換の際、Ａ／Ｄ変換部８１におけるデジタル変換の際、ホワイトノイズの付加や位相ずれは、自然に発生するが、自然に発生する以上のホワイトノイズの付加や位相ずれの発生を強制的にかける（付加する）ようにしてもよい。
【００９７】
これにより、さらに、アナログコピー防止の効果を向上させることができる。
【００９８】
図３は、本発明に係る画像処理システム５１において処理される画像データのフレームの構成を示している。
【００９９】
図３の例においては、画像データのフレームが時間軸に沿って示されている。画像データは、０フレーム目と５フレーム目の基準フレーム（図中ハッチングされている）と基準フレーム以外のフレームにより構成されている。基準フレームの間隔は、５フレーム間隔であり、ユーザにより設定可能である。
【０１００】
画像処理システム５１においては、これらのフレームのうち、基準フレームには、例えば、符号化、復号によりダイナミックレンジが減少していく、特許文献２に示されるＡＤＲＣ(Adaptive Dynamic Range Coding)が用いられて、フレーム内符号化が実行される。そして、基準フレーム以外のフレームには、以下に説明するフレーム間符号化が実行される。すなわち、以降における説明は、フレーム間符号化を対象とするものである。
【０１０１】
次に、図４のフローチャートを参照して、画像処理システム５１における処理の例を説明する。
【０１０２】
ステップＳ１において、復号部７１は、図示せぬ光ディスクなどの記録媒体から再生される、符号化された画像データを復号し、復号したデジタルの画像データVdg0を、Ｄ／Ａ変換部７２に供給し、ステップＳ２に進む。なお、ステップＳ１においては、後述するステップＳ６の復号処理と同様の処理が実行される。
【０１０３】
ステップＳ２において、Ｄ／Ａ変換部７２は、復号部７１からのデジタルの画像データVdg0を、アナログの画像データVan1に変換し、変換されたアナログの画像データVan1をディスプレイ６２およびＡ／Ｄ変換部８１に供給し、ステップＳ３に進む。
【０１０４】
これにより、ステップＳ３において、ディスプレイ６２には、アナログの画像データVan1に対応する画像が表示される。
【０１０５】
ステップＳ４において、Ａ／Ｄ変換部８１は、Ｄ／Ａ変換部７２からのアナログの画像データVan1をデジタルの画像データVdg1に変換し、符号化部８２に供給し、ステップＳ５に進む。すなわち、ステップＳ２におけるＤ／Ａ変換部７２の変換およびステップＳ４におけるＡ／Ｄ変換部８１の変換により、デジタルの画像データVdg1には、デジタルの画像データVdg0と比して、ホワイトノイズおよび位相ずれが付加されている。
【０１０６】
ステップＳ５において、符号化部８２は、Ａ／Ｄ変換部８１からのデジタルの画像データVdg1を符号化し、符号化データVcdを復号部８４に供給し、ステップＳ６に進む。符号化部８２の処理の詳細は、後述する。
【０１０７】
ステップＳ５の符号化処理により、ホワイトノイズおよび位相ずれが付加されたデジタルの画像データVdg1の探索元のブロックの頻度分布上位３位までの画素のみを用いて、ブロックマッチングによる動き探索が行われるとともに、動き推定後の残差がベクトル量子化されることで、符号化データVcdが得られ、得られた符号化データVcdが復号部８４に供給される。
【０１０８】
ステップＳ６において、復号部８４は、画像データ符号化部８２からの符号化データVcdを復号し、復号したデジタルの画像データVdg2をＤ／Ａ変換部８５に供給し、ステップＳ７に進む。復号部８４の処理の詳細は、後述する。
【０１０９】
ステップＳ６の復号処理により、符号化部８２により符号化された符号化データVcdを用いて、動き補償および逆ベクトル量子化を行うことにより得られる予測ブロックおよび残差ブロックを足し合わせた出力ブロックが生成され、生成された出力ブロックで構成されるデジタルの画像データVdg2が取得される。
【０１１０】
ステップＳ７において、Ｄ／Ａ変換部８５は、復号部８４からのデジタルの画像データVdg2を、アナログの画像データVan2に変換し、変換されたアナログの画像データVan2を、ディスプレイ８６に供給し、ステップＳ８に進む。
【０１１１】
これにより、ステップＳ８において、ディスプレイ８６には、アナログの画像データVan2に対応する画像が表示され、画像処理システム５１において、画像処理は、終了される。
【０１１２】
以上のように、本発明に係る画像処理システム５１においては、ホワイトノイズおよび位相ずれが付加されたデジタルの画像データVdg1を用いて、上述した符号化処理が実行されるため、特に、位相ずれにより、動き推定やベクトル量子化が正確に行われることが抑制される。そして、さらに、ホワイトノイズおよび位相ずれが付加されたデジタルの画像データVdg1を符号化処理した符号化データVcdを用いて、復号処理が実行されるので、特に、位相ずれにより、動き補償や残差補償が正確に行われることが抑制される。
【０１１３】
これにより、ステップＳ４においてディスプレイ６２に表示される画像よりも、符号化部８２から得られる符号化データVcdと、それを復号した復号部８４からのデジタルの画像データVdg2が、デジタルの画像データVdg0やアナログの画像データVan1よりも画質が大きく劣化するため、ステップＳ８においてディスプレイ８６に表示される画像の画質が劣化し、アナログコピー防止を図ることができる。
【０１１４】
なお、画質が大きく劣化した符号化データVcdが、記録部８３により記録された記録媒体から画像データを読み出して、復号した結果も、ステップＳ８においてディスプレイ８６に表示される画像と同等のものとなる。
【０１１５】
したがって、上述したステップＳ１において、記録部８３により記録された記録媒体から符号化部３２により符号化された画像データを読み出して、復号した画像データに対して、再度、ステップＳ５およびＳ６の符号化、および復号が行われた画像データは、デジタルの画像データVdg2よりもさらに画質が劣化する。すなわち、本発明に係る符号化、復号が繰り返される毎に、その結果得られる画像データの画質は、ますます劣化する。
【０１１６】
以上により、アナログコピー防止に寄与することが可能になる。
【０１１７】
次に、図２の符号化部８２の構成の詳細について説明する。
【０１１８】
図５は、符号化部８２の構成を示すブロック図である。符号化部８２には、Ａ／Ｄ変換部８１からのホワイトノイズや位相ずれを伴うデジタルの画像データVdg1が入力され、入力されたデジタルの画像データVdg1が符号化され、符号化データVcdが後段の記録部８３または復号部８４に供給される。
【０１１９】
符号化部８２は、ブロック化部１１１、フレームメモリ１１２、動き推定ブロック生成部１１３、動き推定部１１４、残差算出部１１５、残差ベクトル量子化部１１６、およびデータ合成部１１７により構成される。
【０１２０】
Ａ／Ｄ変換部８１からのデジタルの画像データVdg1は、ブロック化部１１１およびフレームメモリ１１２に入力される。ブロック化部１１１は、入力画像を読み込み、指定ブロックサイズ（例えば、４×４画素または８×８画素など）に分割し、指定ブロックサイズの画像データを、入力ブロックとして、ブロック毎に、動き推定ブロック生成部１１３および残差算出部１１５に供給する。
【０１２１】
フレームメモリ１１２は、１フレーム前（以下、前フレームとも称する）の画像データを蓄積し、動き推定部１１４および残差算出部１１５に供給する。
【０１２２】
動き推定ブロック生成部１１３は、動き推定部１１４が行う動き推定のための動き推定ブロックを生成する。すなわち、動き推定ブロック生成部１１３は、ブロック化部１１１から供給される入力ブロックを読み込み、入力ブロックの画素のブロック内頻度分布を生成する。動き推定ブロック生成部１１３は、生成したブロック内頻度分布に基づいて、動き推定ブロックの画素を生成し、生成した動き推定ブロックを、動き推定部１１４に供給する。
【０１２３】
動き推定部１１４は、フレームメモリ１１２からの前フレームと、動き推定ブロック生成部１１３からの動き推定ブロックを読み込み、動き推定ブロックの画素値（０以外）を用いて、ブロックマッチングによる前フレームの動き探索を行い、その結果、動きベクトルを算出し、算出した動きベクトルを、残差算出部１１５およびデータ合成部１１７に供給する。
【０１２４】
残差算出部１１５は、動き推定後の残差を求める。すなわち、残差算出部１１５は、ブロック化部１１１からの入力ブロック、動き推定部１１４からの動きベクトル、およびフレームメモリ１１２からの前フレームを読み込む。残差算出部１１５は、動きベクトルと前フレームを用いて、予測ブロックの画素値を生成し、予測ブロックを求める。残差算出部１１５は、求めた予測ブロックと、入力ブロックの残差を、残差ブロックとして、残差ベクトル量子化部１１６に供給する。
【０１２５】
残差ベクトル量子化部１１６は、残差算出部１１５からの残差ブロックを読み込み、ベクトル量子化用コードブック１２１を用いて、ＬＢＧアルゴリズムを利用したベクトル量子化を行う。残差ベクトル量子化部１１６は、ベクトル量子化により得られた量子化コードデータをデータ合成部１１７に供給する。
【０１２６】
なお、このベクトル量子化用コードブック１２１は、符号化部８２に内蔵される図示せぬコードブック生成部により、入力画像から生成されたものである。以下、単に、コードブック１２１とも称する。
【０１２７】
データ合成部１１７は、動き推定部１１４からの動きベクトル、残差ベクトル量子化部１１６からの量子化コードデータ、およびコードブック１２１を読み込み、動きベクトル、量子化コードデータ、およびコードブック１２１を、符号化データVcdとして、後段の記録部８３または復号部８４に出力する。
【０１２８】
以上のように、動き推定ブロック生成部１１３においては、デジタルの画像データVdg1の入力ブロックのブロック内頻度分布に応じて、動き推定部１１４が行う動き推定のための動き推定ブロックが生成されて、動き推定部１１４により用いられる画素が選択されるが、Ａ／Ｄ変換部８１から入力されるデジタルの画像データVdg1には、位相ずれが付加されているため、動き推定部１１４により用いられる画素は、記録媒体に記録されている元の画像データが符号化されたときにブロック内頻度分布に応じて用いられる画素と異なるってしまい、正確に動き推定を行うことが困難となる。
【０１２９】
すなわち、動き推定部１１４により求められた動きベクトルは、必ずしも正確ではなく、その動きベクトルを用いて得られる動き推定後の残差と、入力されたデジタルの画像データVdg1から生成されたコードブックが用いられて量子化された量子化コードデータも、必ずしも正確ではない。
【０１３０】
したがって、復号部８４により符号化データVcdが用いられて復号されて得られるデジタルの画像データVdg2の画質は、劣化してしまう。これによりアナログコピーが抑制される。
【０１３１】
さらに、復号部８４に供給される符号化データVcdには、入力されたデジタルの画像データVdg1から生成され、動き推定後の残差の量子化に用いられたコードブックも含まれる。すなわち、復号部８４においては、符号化部８２において、入力されたデジタルの画像データVdg1から生成されたコードブックが用いられて残差補償が実行されるため、残差補償が正確に行われず、デジタルの画像データVdg2の画質は、劣化してしまう。これによりアナログコピーがさらに抑制される。
【０１３２】
図６は、図５の動き推定ブロック生成部１１３の構成例を示している。
【０１３３】
図６の例において、動き推定ブロック生成部１１３は、頻度判定部１３１、動き推定画素生成部１３２、およびラスタスキャン１３３により構成されている。
【０１３４】
頻度判定部１３１は、ブロック化部１１１から供給される入力ブロックを読み込み、入力ブロックの画素のブロック内頻度分布を生成する。頻度判定部１３１は、入力ブロックにおいて、注目画素を選択し、選択した注目画素の画素値がブロック内頻度分布の上位３位以内であるか否かを判定し、判定結果に応じて、動き推定画素生成部１３２を制御し、動き推定ブロックの画素値を設定させる。なお、いまの場合、判定の基準として上位３位以内としたが、上位２位としてもよいし、上位４位としてもよい。すなわち、判定の基準は、上位３位に限定されない。
【０１３５】
動き推定画素生成部１３２は、頻度判定部１３１の制御のもと、動き推定ブロックの画素値を設定することにより、動き推定ブロックを生成し、生成した動き推定ブロックを、動き推定部１１４に供給する。
【０１３６】
すなわち、動き推定画素生成部１３２は、頻度判定部１３１により注目画素の画素値がブロック内頻度分布の上位３位以内であると判定された場合、入力ブロックの注目画素の画素値を、動き推定ブロックにおける注目画素の画素値として設定し、頻度判定部１３１により注目画素の画素値がブロック内頻度分布の上位３位以内ではないと判定された場合、動き推定ブロックにおける注目画素の画素値として０を設定する。
【０１３７】
ラスタスキャン部１３３は、頻度判定部１３１に、次の注目画素をラスタスキャン順に選択させるため、入力ブロックの画素をラスタスキャン順に移動させる。
【０１３８】
図７は、図５の動き推定部１１４の構成例を示している。
【０１３９】
図７の例において、動き推定部１１４は、動き探索部１４１により構成されている。
【０１４０】
動き探索部１４１は、フレームメモリ１１２からの前フレームと、動き推定ブロック生成部１１３からの動き推定ブロックを読み込む。動き探索部１４１は、動き推定ブロックの０以外の画素値を用いて、前フレームから、ブロックマッチングにより、画素差分２乗総和最小規範で、動きを探索し、動きを探索した結果、動きベクトルを算出する。そして、動き探索部１４１は、算出した動きベクトルを、残差算出部１１５およびデータ合成部１１７に供給する。
【０１４１】
図８は、図５の残差算出部１１５の構成例を示している。
【０１４２】
図８の例において、残差算出部１１５は、予測ブロック演算部１５１および残差演算部１５２により構成されている。
【０１４３】
予測ブロック演算部１５１は、動き推定部１１４からの動きベクトル、およびフレームメモリ１１２からの前フレームを読み込み、動きベクトルと前フレームを用いて、予測ブロックの画素値を生成し、予測ブロックを求め、求めた予測ブロックを残差演算部１５２に供給する。
【０１４４】
残差演算部１５２は、ブロック化部１１１からの入力ブロック、および予測ブロック演算部１５１からの予測ブロックを読み込み、入力ブロックと予測ブロックの残差を算出し、算出した残差を、残差ブロックとして、残差ベクトル量子化部１１６に供給する。
【０１４５】
図９は、図５の残差ベクトル量子化部１１６の構成例を示している。
【０１４６】
図９の例において、残差ベクトル量子化部１１６は、ベクトル量子化部１６１により構成されている。
【０１４７】
ベクトル量子化部１６１は、残差演算部１５２からの残差ブロックを読み込み、コードブック１２１を用いて、残差ブロックを、ＬＢＧアルゴリズムによりベクトル量子化し、ベクトル量子化により得られた量子化コードデータを、データ合成部１１７に供給する。
【０１４８】
次に、図１０のフローチャートを参照して、図５の符号化部８２の符号化処理を説明する。なお、この符号化処理は、図４を参照して上述した符号化装置６３の処理におけるステップＳ５の符号化処理である。
【０１４９】
符号化部８２のブロック化部１１１およびフレームメモリ１１２には、Ａ／Ｄ変換部８１からのデジタルの画像データVdg1が入力される。フレームメモリ１１２に入力され、蓄積された前フレームの画像データは、動き推定部１１４および残差算出部１１５に供給される。
【０１５０】
Ａ／Ｄ変換部８１からのデジタルの画像データVdg1が入力されると、ブロック化部１１１は、ステップＳ２１において、ブロック化処理を実行する。このブロック化処理は、図１１を参照して詳しく後述する。
【０１５１】
ステップＳ２１のブロック化処理により、読み込まれた入力画像が指定ブロックサイズに分割され、分割された画像データが入力ブロックとして、ブロック毎に動き推定ブロック生成部１１３および残差算出部１１５に供給され、処理は、ステップＳ２２に進む。
【０１５２】
動き推定ブロック生成部１１３は、ブロック化部１１１から入力ブロックが入力されると、ステップＳ２２において、動き推定部１１４が行う動き推定のための動き推定ブロックを生成する動き推定ブロック生成処理を実行する。この動き推定ブロック生成処理は、図１２を参照して詳しく後述する。
【０１５３】
ステップＳ２２の動き推定ブロック生成処理により、入力ブロックの画素のブロック内頻度分布が生成され、生成されたブロック内頻度分布に基づいて、動き推定ブロックの画素が生成される。そして、生成された動き推定ブロックが、動き推定部１１４に供給され、処理は、ステップＳ２３に進む。
【０１５４】
動き推定部１１４は、動き推定ブロック生成部１１３から動き推定ブロックが供給されると、ステップＳ２３において、動き推定ブロック生成部１１３により生成された動き推定ブロックを用いて、ブロックマッチング法による動き推定処理を実行する。この動き推定処理は、図１３を参照して詳しく後述する。
【０１５５】
ステップＳ２３の動き推定処理により、動き推定ブロックの画素値（０以外）を用いて、フレームメモリ１１２からの前フレームの動き探索が行われ、その結果、動きベクトルが算出される。そして、算出された動きベクトルが、残差算出部１１５およびデータ合成部１１７に供給され、処理は、ステップＳ２４に進む。
【０１５６】
残差算出部１１５は、動き推定部１１４から動きベクトルが供給されると、ステップＳ２４において、残差算出処理を実行する。この残差算出処理は、図１４を参照して詳しく後述する。
【０１５７】
ステップＳ２４の残差算出処理により、動き推定部１１４からの動きベクトルと、フレームメモリ１１２からの前フレームを用いて、予測ブロックの画素値が生成され、予測ブロックが求められる。そして、求められた予測ブロックと、ブロック化部１１１からの入力ブロックの残差が、残差ブロックとして、残差ベクトル量子化部１１６に供給され、処理は、ステップＳ２５に進む。
【０１５８】
残差ベクトル量子化部１１６は、残差算出部１１５から残差ブロックが供給されると、ステップＳ２５において、残差量子化処理を実行する。この残差量子化処理は、図１５を参照して詳しく後述する。
【０１５９】
ステップＳ２５の残差量子化処理により、残差算出部１１５からの残差ブロックが、ベクトル量子化用コードブック１２１を用いて、ベクトル量子化され、ベクトル量子化により得られた量子化コードデータが、データ合成部１１７に供給され、処理は、ステップＳ２６に進む。
【０１６０】
データ合成部１１７は、残差ベクトル量子化部１１６から量子化コードデータが入力されると、ステップＳ２６においてデータ合成処理を実行する。このデータ合成処理は、図１６を参照して詳しく後述する。
【０１６１】
ステップＳ２６のデータ合成処理により、動き推定部１１４からの動きベクトル、残差ベクトル量子化部１１６からの量子化コードデータ、およびベクトル量子化用コードブック１２１が、符号化データVcdとして合成され、後段の記録部８３または復号部８４に出力される。
【０１６２】
以上により、符号化部８２の符号化処理は、終了され、処理は、図４のステップＳ５に戻り、ステップＳ６に進み、復号処理が実行される。
【０１６３】
次に、図１１のフローチャートを参照して、図１０のステップＳ２１における、図５のブロック化部１１１のブロック化処理を説明する。
【０１６４】
ブロック化部１１１は、ステップＳ４１において、Ａ／Ｄ変換部８１から入力されたデジタルの画像データVdg1を入力画像として読み込み、ステップＳ４２に進み、入力画像を指定ブロック（例えば、４×４画素または８×８画素など）に分割し、ステップＳ４３に進む。
【０１６５】
ブロック化部１１１は、ステップＳ４３において、分割した指定ブロックサイズの画像データを、入力ブロックとして、ブロック毎に、動き推定ブロック生成部１１３および残差算出部１１５に供給し、ブロック化処理を終了し、図１０のステップＳ２１に戻り、ステップＳ２２に進む。
【０１６６】
次に、図１２のフローチャートを参照して、図１０のステップＳ２２における、図５の動き推定ブロック生成部１１３の動き推定ブロック生成処理を説明する。
【０１６７】
頻度判定部１３１は、ステップＳ６１において、ブロック化部１１１から供給される入力ブロックを読み込み、ステップＳ６２に進み、入力ブロックの画素値のブロック内頻度分布を生成し、ステップＳ６３に進む。
【０１６８】
頻度判定部１３１は、ステップＳ６３において、入力ブロックから、注目画素を選択し、ステップＳ６４に進む。なお、注目画素は、入力ブロックの左上の画素からラスタスキャン順に選択される。
【０１６９】
頻度判定部１３１は、ステップＳ６４において、選択した注目画素の画素値がブロック内頻度分布の上位３位以内であるか否かを判定し、選択した注目画素の画素値がブロック内頻度分布の上位３位以内であると判定した場合、ステップＳ６５に進み、動き推定画素生成部１３２を制御し、入力ブロックの注目画素の画素値を、動き推定ブロックにおける注目画素の画素値として設定させ、ステップＳ６７に進む。
【０１７０】
また、頻度判定部１３１は、ステップＳ６４において、選択した注目画素の画素値がブロック内頻度分布の上位３位以内ではないと判定した場合、ステップＳ６６に進み、動き推定画素生成部１３２を制御し、０を、動き推定ブロックにおける注目画素の画素値として設定させ、ステップＳ６７に進む。
【０１７１】
すなわち、動き推定ブロックにおいて、画素値がブロック内頻度分布の上位３位以内である画素には、入力ブロックの対応する画素値が設定され、画素値がブロック内頻度分布の上位３位に入らない画素には、０が設定される。
【０１７２】
動き推定画素生成部１３２は、ステップＳ６７において、動き推定ブロックの全画素の処理が終了したか（すなわち、動き推定ブロックの画素値がすべて設定されたか）否かを判定し、動き推定ブロックの全画素の処理が終了していないと判定した場合、ラスタスキャン部１３３に、入力ブロックの画素を、ラスタスキャン順に移動させ、ステップＳ６３に戻る。
【０１７３】
これにより、ステップＳ６３においては、頻度判定部１３１により、入力ブロックにおける次の注目画素が選択される。
【０１７４】
動き推定画素生成部１３２は、ステップＳ６７において、動き推定ブロックの全画素の処理が終了したと判定した場合、動き推定ブロックの画素値がすべて設定され、動き推定ブロックが生成されたので、ステップＳ６８に進み、生成された動き推定ブロックを、動き推定部１１４に供給する。そして、動き推定画素生成部１３２は、動き推定ブロック生成処理を終了し、図１０のステップＳ２２に戻り、ステップＳ２３に進む。
【０１７５】
次に、図１３のフローチャートを参照して、図１０のステップＳ２３における、図５の動き推定部１１４の動き推定処理を説明する。
【０１７６】
動き探索部１４１は、ステップＳ８１において、動き推定ブロック生成部１１３からの動き推定ブロックを読み込み、ステップＳ８２に進み、フレームメモリ１１２からの前フレームを読み込み、ステップＳ８３に進む。
【０１７７】
動き探索部１４１は、ステップＳ８３において、動き推定ブロックの０以外の画素値を用いて、前フレームから、画素差分２乗総和最小規範で、動きを探索し、ステップＳ８４に進み、動きを探索した結果、動きベクトルを算出し、算出した動きベクトルを、残差算出部１１５およびデータ合成部１１７に供給し、動き推定処理を終了し、図１０のステップＳ２３に戻り、ステップＳ２４に進む。
【０１７８】
次に、図１４のフローチャートを参照して、図１０のステップＳ２４における、図５の残差算出部１１５の残差算出処理を説明する。
【０１７９】
残差演算部１５２は、ステップＳ１０１において、ブロック化部１１１から供給される入力ブロックを読み込み、ステップＳ１０２に進む。
【０１８０】
予測ブロック演算部１５１は、ステップＳ１０２において、動き推定部１１４から供給される動きベクトルを読み込み、ステップＳ１０３に進み、フレームメモリ１１２から供給される前フレームを読み込み、ステップＳ１０４に進む。
【０１８１】
予測ブロック演算部１５１は、ステップＳ１０４において、動き推定部１１４からの動きベクトルと、フレームメモリ１１２からの前フレームを用いて、予測ブロックの画素値を生成し、予測ブロックを求め、求めた予測ブロックを残差演算部１５２に供給し、ステップＳ１０５に進む。
【０１８２】
残差演算部１５２は、ブロック化部１１１からの入力ブロック、および予測ブロック演算部１５１からの予測ブロックの残差を算出し、算出した残差を、残差ブロックとして、残差ベクトル量子化部１１６のベクトル量子化部１６１に供給し、残差算出処理を終了し、図１０のステップＳ２４に戻り、ステップＳ２５に進む。
【０１８３】
次に、図１５のフローチャートを参照して、図１０のステップＳ２５における、図５の残差ベクトル量子化部１１６の残差量子化処理を説明する。
【０１８４】
ベクトル量子化部１６１は、ステップＳ１２１において、残差演算部１５２からの残差ブロックを読み込み、ステップＳ１２２に進み、図示せぬコードブック生成部から、コードブック１２１を読み込み、ステップＳ１２３に進む。
【０１８５】
なお、コードブック１２１は、符号化部８２に内蔵される図示せぬコードブック生成部により入力画像が用いられて生成されたものである。
【０１８６】
ベクトル量子化部１６１は、ステップＳ１２３において、コードブック１２１を用いて、ＬＢＧアルゴリズムを利用したベクトル量子化により、量子化コードデータを取得し、取得した量子化コードデータをデータ合成部１１７に供給し、残差量子化処理を終了し、図１０のステップＳ２５に戻り、ステップＳ２６に進む。
【０１８７】
次に、図１６のフローチャートを参照して、図１０のステップＳ２６における、図５のデータ合成部１１７のデータ合成処理を説明する。
【０１８８】
データ合成部１１７は、ステップＳ１４１において、ベクトル量子化部１６１から供給される量子化コードデータを読み込み、ステップＳ１４２に進み、動き推定部１１４から供給される動きベクトルを読み込み、ステップＳ１４３に進む。
【０１８９】
データ合成部１１７は、ステップＳ１４３において、図示せぬコードブック生成部から、コードブック１２１を読み込み、ステップＳ１４４に進み、量子化コードデータ、動きベクトル、およびコードブック１２１を合成し、符号化データVcdとして、後段の記録部８３または復号部８４に供給する。
【０１９０】
そして、データ合成部１１７は、データ合成処理を終了し、図１０のステップＳ２６に戻り、図１０の符号化処理を終了し、図４のステップＳ５に戻り、ステップＳ６に進む。
【０１９１】
以上のように、符号化部８２においては、ブロック内頻度分布の上位３位以内である画素だけが用いられて探索された動きベクトル、その動きベクトルに基づいて生成された予測ブロックで算出される残差ブロックが量子化された量子化コードデータ、そして、入力画像から生成され、量子化処理に用いられたコードブック１２１が、符号化データVcdとして後段に供給される。
【０１９２】
すなわち、この動きベクトルは、動き推定ブロック生成部１１３において、デジタルの画像データVdg1の入力ブロックのブロック内頻度分布に応じて生成された動き推定ブロックが用いられて、動き推定部１１４により求められたものであり、Ａ／Ｄ変換部８１から入力されるデジタルの画像データVdg1には、ホワイトノイズや位相ずれが付加されており、その位相ずれにより、動き推定部１１４により用いられる画素と、記録媒体に記録されている元の画像データが符号化されたときに、ブロック内頻度分布に応じて用いられる画素が異なってしまうため、必ずしも正確ではない。
【０１９３】
したがって、この動きベクトルを用いて得られる動き推定後の残差が、入力されたデジタルの画像データVdg1から生成されたコードブックを用いて量子化された量子化コードデータも必ずしも正確ではない。
【０１９４】
これにより、復号部８４により符号化データVcdが用いられて復号されて得られるデジタルの画像データVdg2の画質は、劣化してしまう。
【０１９５】
さらに、復号部８４に供給される符号化データVcdには、入力されたデジタルの画像データVdg1から生成され、動き推定後の残差の量子化に用いられたコードブックも含まれる。すなわち、復号部８４においては、このコードブックが用いられて残差補償が実行されるため、残差補償が正確に行われず、デジタルの画像データVdg2の画質は、劣化してしまう。      
【０１９６】
以上により、符号化部８２による符号化により、アナログコピーが抑制される。
【０１９７】
次に、図２の復号部８４の構成の詳細について説明する。
【０１９８】
図１７は、復号部８４の構成を示すブロック図である。復号部８４には、符号化部８２または記録部８３から符号化データVcdが入力され、符号化データVcdが復号され、デジタルの画像データVdg2として、後段のＤ／Ａ変換部８５に供給される。
【０１９９】
復号部８４は、データ分解部２１１、残差逆ベクトル量子化部２１２、フレームメモリ２１３、動き補償部２１４、残差加算部２１５、およびデータ結合部２１６により構成される。
【０２００】
データ分解部２１１は、符号化部８２（あるいは記録部８３）からの符号化データVcdを入力し、符号化データVcdから、動きベクトル、および量子化コードデータとコードブック１２１を分解し、動きベクトルを、動き補償部２１４に供給し、量子化コードデータとコードブック１２１を、残差逆ベクトル量子化部２１２に供給する。
【０２０１】
残差逆ベクトル量子化部２１２は、データ分解部２１１からの量子化コードデータとコードブック１２１を読み込み、残差補償を行う。すなわち、残差逆ベクトル量子化部２１２は、量子化コードデータとコードブック１２１を用いて、逆量子化を行い、逆量子化により得られた値から残差ブロックを求め、求めた残差ブロックを残差加算部２１５に供給する。
【０２０２】
フレームメモリ２１３には、データ結合部２１６からのデジタルの画像データVdg2が蓄積され、フレームメモリ２１３は、前フレームの画像データを動き補償部２１４に供給する。
【０２０３】
動き補償部２１４は、データ分解部２１１からの動きベクトルに基づいて、フレームメモリ２１３から読み込んだ前フレームから、動き推定先のブロックを求め、求めたブロックから、予測ブロックを取得し、取得した予測ブロックを残差加算部２１５に供給する。
【０２０４】
残差加算部２１５は、動き補償部２１４により求められた予測ブロックに、残差逆ベクトル量子化部２１２により求められた残差ブロックを加算し、出力ブロックを求め、求めた出力ブロックを、データ結合部２１６に供給する。
【０２０５】
データ結合部２１６は、内蔵する図示せぬメモリに出力画像領域を有し、残差加算部２１５からの出力ブロックの画像データを、出力画像領域に書き込み、すべての出力ブロックの分が書き込まれたとき、出力画像領域に書き込まれた画像データを、デジタルの画像データVdg2として、後段のＤ／Ａ変換部８５に供給するとともに、フレームメモリ２１３に書き込む。
【０２０６】
以上のように、図１７の復号部８４において、動き補償部２１４により求められた予測ブロックは、符号化部８２により求められたあまり確かではない動きベクトルに基づいて取得されている。また、残差逆ベクトル量子化部２１２により求められた残差ブロックは、符号化部８２において入力画像から生成されたコードブック１２１を用いて求められている。
【０２０７】
すなわち、動き補償部２１４が実行する動き補償も、残差逆ベクトル量子化部２１２が実行する残差補償も、必ずしも正確ではない。したがって、予測ブロックと残差ブロックが加算されて生成される出力ブロックからなるデジタルの画像データVdg2の画質は劣化してしまう。これにより、アナログコピーが抑制される。
【０２０８】
図１８は、図１７の残差逆ベクトル量子化部２１２の構成例を示している。
【０２０９】
図１８の例において、残差逆ベクトル量子化部２１２は、逆ベクトル量子化部２２１により構成されている。
【０２１０】
逆ベクトル量子化部２２１は、データ分解部２１１からの量子化コードデータとコードブック１２１を読み込み、量子化コードデータとコードブック１２１を用いて、逆量子化を行う。逆ベクトル量子化部２２１は、逆量子化により得られた値から残差ブロックを求め、求めた残差ブロックを残差加算部２１５に供給する。
【０２１１】
なお、このコードブック１２１は、符号化部８２において、入力画像が用いられて生成されたコードブックである。すなわち、逆ベクトル量子化部２２１においては、動き推定前の画像が用いられたコードブックにより残差補償用の逆量子化が実行される。
【０２１２】
図１９は、図１７の動き補償部２１４の構成例を示している。
【０２１３】
図１９の例において、動き補償部２１４は、動き補償処理部２３１および予測ブロック取得部２３２により構成されている。
【０２１４】
動き補償処理部２３１は、データ分解部２１１から供給される動きベクトルを読み込み、フレームメモリ２１３から前フレームを読み込む。そして、動き補償処理部２３１は、データ分解部２１１からの動きベクトルに基づいて、フレームメモリ２１３からの前フレームから、動き推定先のブロックを求める。
【０２１５】
予測ブロック取得部２３２は、動き補償処理部２３１により求められた動き推定先のブロックから、予測ブロックを取得し、取得した予測ブロックを残差加算部２１５に供給する。
【０２１６】
図２０は、図１７の残差加算部２１５の構成例を示している。
【０２１７】
図２０の例において、残差加算部２１５は、残差演算部２４１により構成されている。
【０２１８】
残差演算部２４１は、動き補償部２１４から供給される予測ブロックを読み込み、残差逆ベクトル量子化部２１２から供給される残差ブロックを読み込む。残差演算部２４１は、動き補償部２１４からの予測ブロックに、残差逆ベクトル量子化部２１２からの残差ブロックを加算することにより、出力ブロックを求め、求めた出力ブロックを、データ結合部２１６に供給する。
【０２１９】
次に、図２１のフローチャートを参照して、図１７の復号部８４の復号処理を説明する。なお、この符号化処理は、図４を参照して上述した符号化装置６３の処理におけるステップＳ６の復号処理である。
【０２２０】
復号部８４のデータ分解部２１１には、符号化部８２（あるいは記録部８３）から符号化データVcdが供給される。データ分解部２１１は、符号化データVcdが供給されると、ステップＳ２１１において、データ分解処理を実行する。このデータ分解処理は、図２２を参照して詳しく後述する。
【０２２１】
ステップＳ２１１のデータ分解処理により、符号化部８２からの符号化データVcdが分解され、分解された動きベクトルが、動き補償部２１４に供給され、量子化コードデータとコードブック１２１が、残差逆ベクトル量子化部２１２に供給され、処理は、ステップＳ２１２に進む。
【０２２２】
残差逆ベクトル量子化部２１２は、データ分解部２１１から量子化コードデータとコードブック１２１が供給されると、ステップＳ２１２において、残差逆量子化処理を実行する。この残差逆量子化処理は、図２３を参照して詳しく後述する。
【０２２３】
ステップＳ２１２の残差逆量子化処理により、量子化コードデータとコードブック１２１を用いて、ベクトル逆量子化が行われ、ベクトル逆量子化により得られた値から残差ブロックが求められ、残差加算部２１５に供給され、処理は、ステップＳ２１３に進む。
【０２２４】
動き補償部２１４は、データ分解部２１１から動きベクトルが供給されると、ステップＳ２１３において、動き補償処理を実行する。この動き補償処理は、図２４を参照して詳しく後述する。
【０２２５】
ステップＳ２１３の動き補償処理により、データ分解部２１１からの動きベクトルに基づいて、フレームメモリ２１３から読み込んだ前フレームから、動き推定先のブロックが求められ、求められたブロックから、予測ブロックが取得され、取得された予測ブロックが残差加算部２１５に供給され、処理は、ステップＳ２１４に進む。
【０２２６】
残差加算部２１５は、動き補償部２１４から予測ブロックが供給されると、ステップＳ２１４において、残差加算処理を実行する。この残差加算処理は、図２５を参照して詳しく後述する。
【０２２７】
ステップＳ２１４の残差加算処理により、動き補償部２１４からの予測ブロックに、残差逆ベクトル量子化部２１２からの残差ブロックが加算され、出力ブロックとしてデータ結合部２１６に供給され、処理は、ステップＳ２１５に進む。
【０２２８】
残差加算部２１５から出力ブロックが供給されると、データ結合部２１６は、ステップＳ２１５において、データ結合処理を実行する。このデータ結合処理は、図２６を参照して詳しく後述する。
【０２２９】
ステップＳ２１５のデータ結合処理により、残差加算部２１５からの出力ブロックの画像データが、出力画像領域に書き込まれ、すべての出力ブロックの分が書き込まれたとき、出力画像領域に書き込まれた画像データが、デジタルの画像データVdg2として、後段のＤ／Ａ変換部８５に供給され、復号処理は終了し、図４のステップＳ６に戻り、ステップＳ７に進む。
【０２３０】
次に、図２２のフローチャートを参照して、図２１のステップＳ２１１における図１７のデータ分解部２１１のデータ分解処理を説明する。
【０２３１】
データ分解部２１１は、ステップＳ２３１において、符号化部８２から供給される符号化データVcdを入力し、ステップＳ２３２に進み、入力した符号化データVcdを分解する。
【０２３２】
すなわち、データ分解部２１１は、ステップＳ２３２において、符号化データVcdから、動きベクトル、および量子化コードデータとコードブック１２１を分解し、ステップＳ２３３に進む。
【０２３３】
データ分解部２１１は、ステップＳ２３３において、分解した動きベクトルを、動き補償部２１４に供給し、分解した量子化コードデータとコードブック１２１を、残差逆ベクトル量子化部２１２に供給し、データ分解処理を終了し、図２１のステップＳ２１１に戻り、ステップＳ２１２に進む。
【０２３４】
次に、図２３のフローチャートを参照して、図２１のステップＳ２１２における、図１７の残差逆ベクトル量子化部２１２の残差逆量子化処理を説明する。
【０２３５】
逆ベクトル量子化部２２１は、ステップＳ２５１において、データ分解部２１１から供給される量子化コードデータを読み込み、ステップＳ２５２に進み、データ分解部２１１から供給されるコードブック１２１を読み込み、ステップＳ２５３に進む。
【０２３６】
逆ベクトル量子化部２２１は、ステップＳ２５３において、量子化コードデータとコードブック１２１を用いて、逆量子化を行い、ステップＳ２５４に進み、逆量子化により得られた値から残差ブロックを求め、求めた残差ブロックを残差加算部２１５に供給し、残差逆量子化処理を終了し、図２１のステップＳ２１２に戻り、ステップＳ２１３に進む。
【０２３７】
次に、図２４のフローチャートを参照して、図２１のステップＳ２１３における、図１７の動き補償部２１４の動き補償処理を説明する。
【０２３８】
動き補償処理部２３１は、ステップＳ２７１において、データ分解部２１１から供給される動きベクトルを読み込み、ステップＳ２７２に進み、フレームメモリ２１３から前フレームを読み込み、ステップＳ２７３に進む。
【０２３９】
動き補償処理部２３１は、ステップＳ２７３において、データ分解部２１１からの動きベクトルに基づいて、フレームメモリ２１３からの前フレームから、動き推定先のブロックを求め、ステップＳ２７４に進む。
【０２４０】
予測ブロック取得部２３２は、ステップＳ２７４において、動き補償処理部２３１により求められた動き推定先のブロックから、予測ブロックを取得し、取得した予測ブロックを残差演算部２４１に供給し、動き補償処理を終了し、図２１のステップＳ２１３に戻り、ステップＳ２１４に進む。
【０２４１】
次に、図２５のフローチャートを参照して、図２１のステップＳ２１４における、図１７の残差加算部２１５の残差加算処理を説明する。
【０２４２】
残差演算部２４１は、ステップＳ２９１において、残差逆ベクトル量子化部２１２から供給される残差ブロックを読み込み、ステップＳ２９２に進み、動き補償部２１４から供給される予測ブロックを読み込み、ステップＳ２９３に進む。
【０２４３】
残差演算部２４１は、ステップＳ２９３において、動き補償部２１４からの予測ブロックに、残差逆ベクトル量子化部２１２からの残差ブロックを加算することにより、出力ブロックを求め、求めた出力ブロックを、データ結合部２１６に供給し、残差加算処理を終了し、図２１のステップＳ２１４に戻り、ステップＳ２１５に進む。
【０２４４】
次に、図２６のフローチャートを参照して、図２１のステップＳ２１５における、図１７のデータ結合部２１６のデータ結合処理を説明する。
【０２４５】
データ結合部２１６は、ステップＳ３１１において、残差加算部２１５から供給されるすべての出力ブロック（すなわち、符号化部８２のブロック化部１１１が入力した入力画像に対応するすべてのブロック）を入力し、ステップＳ３１２に進む。
【０２４６】
データ結合部２１６は、ステップＳ３１２において、出力ブロックの画像データを出力画像領域に書き込み、ステップＳ３１３に進み、すべての出力ブロックの書き込みが終了したか否かを判定し、すべての出力ブロックの書き込みが終了していないと判定した場合、ステップＳ３１２に戻り、それ以降の処理を繰り返す。
【０２４７】
データ結合部２１６は、ステップＳ３１３において、すべての出力ブロックの書き込みが終了したと判定した場合、ステップＳ３１４に進み、出力画像領域に書き込まれた画像データを、デジタルの画像データVdg2として、後段のＤ／Ａ変換部８５に供給するとともにフレームメモリ２１３に書き込み、図２１のステップＳ２１５に進み、図２１の復号処理を終了し、図４のステップＳ６に戻り、ステップＳ７に進む。
【０２４８】
以上のように、復号部８４においては、符号化部８２により位相ずれが付加された画像データのブロック内頻度分布の上位３位以内である画素だけが用いられて探索された動きベクトルを用いて、動き補償されるので、動き補償により得られる予測ブロックが用いられて生成される画像データの画質は、劣化してしまう。
【０２４９】
また、復号部８４においては、符号化部８２により動きベクトルを用いて得られる動き推定後の残差が量子化された量子化コードデータと、入力されたデジタルの画像データVdg1から生成されたコードブックを用いて、残差補償が実行されるので、残差補償により得られる残差ブロックが用いられて生成される画像データの画質は、劣化してしまう。
【０２５０】
したがって、アナログコピーを抑制することができる。
【０２５１】
以上のように、本発明に係る画像処理システム５１においては、ホワイトノイズおよび位相ずれが付加されたデジタルの画像データVdg1を用いて符号化処理が実行されるため、特に位相ずれにより、符号化部８２における動き推定やベクトル量子化が正確に行われることが抑制される。
【０２５２】
また、本発明に係る画像処理システム５１においては、ホワイトノイズおよび位相ずれが付加されたデジタルの画像データVdg1を符号化処理した符号化データVcdを用いて、復号処理が実行されるので、動き補償や残差補償が正確に行われることが抑制される。
【０２５３】
以上により、符号化部８２から得られる符号化データVcdと、それを復号した復号部８４からのデジタルの画像データVdg2は、デジタルの画像データVdg0やアナログの画像データVan1よりも画質が大きく劣化してしまう。これにより、アナログコピーの防止に寄与することができる。
【０２５４】
なお、上記説明においては、符号化装置６３の復号部８４を用いて説明したが、再生装置６１の復号部７１も同様の構成であり、同様の処理が実行される。したがって、本発明に係る符号化および復号は、繰り返し実行されることもあり、その場合には、繰り返される毎に、その結果得られる画像データの画質は、ますます劣化するので、さらにアナログコピーの防止の寄与に効果がある。
【０２５５】
また、本実施の形態においては、各処理を行うブロックを、例えば、８画素×８画素や４画素×４画素などにより構成するようにして説明したが、これらは、一例であり、各処理を行うブロックを構成する画素は、上記画素数に限定されない。
【０２５６】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、図２の再生装置６１や符号化装置６３は、例えば、図２７に示されるようなパーソナルコンピュータ３０１により構成される。
【０２５７】
図２７に示されるように、CPU３１１は、ROM（Read Only Memory）３１２に記録されているプログラム、または記憶部３１８からRAM（Random Access Memory）３１３にロードされたプログラムに従って各種の処理を実行する。RAM３１３にはまた、CPU３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２５８】
CPU３１１、ROM３１２、およびRAM３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０２５９】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ＣＲＴ、ＬＣＤなどよりなるディスプレイ（例えば、図２のディスプレイ６２やディスプレイ８６）、並びにスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含む図示せぬネットワークを介して他の情報処理装置との通信処理を行う。
【０２６０】
入出力インタフェース３１５にはまた、必要に応じて、ドライブ３２０が接続され、磁気ディスク３２１、光ディスク３２２、光磁気ディスク３２３、或いは半導体メモリ３２４などよりなるリムーバブル記録媒体が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８などにインストールされる。
【０２６１】
すなわち、ドライブ３２０が、図２の記録部８３に相当することになる。
【０２６２】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２６３】
例えば、上述した図２の復号部７１およびＤ／Ａ変換部７２、並びに、Ａ/Ｄ変換部８１、符号化部８２、復号部８４、およびＤ／Ａ変換部８５などの機能を有するソフトウェアを構成するプログラムがインストールされる。なお、このプログラムは、全体として上述した一連の処理を実行できれば、その形態は特に限定されない。例えば、上述した各ブロックのそれぞれに対応するモジュールのそれぞれからなるモジュール構成とされてもよいし、幾つかのブロックの機能の一部または全部が組み合わされたモジュール、若しくは、ブロックの機能が分割されたモジュールからなるモジュール構成とされてもよい。或いは、単に１つのアルゴリズムを有するプログラムでもよい。
【０２６４】
このようなプログラムを含む記録媒体は、図２７に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３２１（フロッピディスクを含む）、光ディスク３２２（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク３２３（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリ３２４などよりなるリムーバブル記録媒体（パッケージメディア）により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３１２や、記憶部３１８などで構成される。
【０２６５】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２６６】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０２６７】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０２６８】
【図１】従来の画像処理システムの構成例を示すブロック図である。
【図２】本発明を適用した画像処理システムの構成例を示すブロック図である。
【図３】画像データのフレームの構成を示す図である。
【図４】図２の画像処理システムの処理を説明するフローチャートである。
【図５】図２の符号化装置の符号化部の構成例を示すブロック図である。
【図６】図５の動き推定ブロック生成部の構成例を示すブロック図である。
【図７】図５の動き推定部の構成例を示すブロック図である。
【図８】図５の残差算出部の構成例を示すブロック図である。
【図９】図５の残差ベクトル量子化部の構成例を示すブロック図である。
【図１０】図４のステップＳ５における図２の符号化部の符号化処理を説明するフローチャートである。
【図１１】図１０のステップＳ２１のブロック化処理を説明するフローチャートである。
【図１２】図１０のステップＳ２２の動き推定ブロック生成処理を説明するフローチャートである。
【図１３】図１０のステップＳ２３の動き推定処理を説明するフローチャートである。
【図１４】図１０のステップＳ２４の残差算出処理を説明するフローチャートである。
【図１５】図１０のステップＳ２５の残差量子化処理を説明するフローチャートである。
【図１６】図１０のステップＳ２６のデータ合成処理を説明するフローチャートである。
【図１７】図２の符号化装置の復号部の構成例を示すブロック図である。
【図１８】図１７の残差逆ベクトル量子化部の構成例を示すブロック図である。
【図１９】図１７の動き補償部の構成例を示すブロック図である。
【図２０】図１７の残差加算部の構成例を示すブロック図である。
【図２１】図４のステップＳ６における図２の復号部の復号処理を説明するフローチャートである。
【図２２】図２１のステップＳ２１１のデータ分解処理を説明するフローチャートである。
【図２３】図２１のステップＳ２１２の残差逆量子化処理を説明するフローチャートである。
【図２４】図２１のステップＳ２１３の動き補償処理を説明するフローチャートである。
【図２５】図２１のステップＳ２１４の残差加算処理を説明するフローチャートである。
【図２６】図２１のステップＳ２１５のデータ結合処理を説明するフローチャートである。
【図２７】本発明を適用するパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０２６９】
５１  画像処理システム，６１  再生装置，６２  ディスプレイ，６３  符号化装置，８１  Ａ／Ｄ変換部，８２  符号化部，８３  記録部，８４  復号部，８５  Ｄ／Ａ変換部，８６  ディスプレイ，１１１  ブロック化部，１１２  フレームメモリ，１１３  動き推定ブロック生成部，１１４  動き推定部，１１５  残差算出部，１１６  残差ベクトル量子化部，１１７  データ合成部，１２１  ベクトル量子化用コードブック，２１１  データ分解部，２１２  残差逆ベクトル量子化部，２１３  フレームメモリ，２１４  動き補償部，２１５  残差加算部，２１６  データ結合部
【図１】
2006229623.tif 000003
【図２】
2006229623.tif 000004
【図３】
2006229623.tif 000005
【図４】
2006229623.tif 000006
【図５】
2006229623.tif 000007
【図６】
2006229623.tif 000008
【図７】
2006229623.tif 000009
【図８】
2006229623.tif 000010
【図９】
2006229623.tif 000011
【図１０】
2006229623.tif 000012
【図１１】
2006229623.tif 000013
【図１２】
2006229623.tif 000014
【図１３】
2006229623.tif 000015
【図１４】
2006229623.tif 000016
【図１５】
2006229623.tif 000017
【図１６】
2006229623.tif 000018
【図１７】
2006229623.tif 000019
【図１８】
2006229623.tif 000020
【図１９】
2006229623.tif 000021
【図２０】
2006229623.tif 000022
【図２１】
2006229623.tif 000023
【図２２】
2006229623.tif 000024
【図２３】
2006229623.tif 000025
【図２４】
2006229623.tif 000026
【図２５】
2006229623.tif 000027
【図２６】
2006229623.tif 000028
【図２７】
2006229623.tif 000029