(57)【要約】【課題】  アナログ信号を利用した不正コピーを防止することができるようにする。【解決手段】  記録装置１１３では、再生装置１１１からのアナログ画像信号Van1を利用して、符号化デジタル画像信号Vcd1を記録媒体１２２に記録するとともに、その記録媒体１２２に記録された符号化デジタル画像信号Vcd1が、例えば、再生装置１１１などの所定の再生装置において再生されてディスプレイ１１２に表示されたときの画像をディスプレイ１４３に表示する。記録媒体１２２を再生装置１１１で再生したときにディスプレイ１１２に表示される画像の画質は、コピー元の記録媒体１２１を再生装置１１１で再生したときにディスプレイ１１２に表示される画像の画質よりも、著しく劣化したものとなる。本発明は、例えば、画像信号を符号化または復号する符号化装置または復号装置に適用できる。【選択図】図２
2006217426.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像と第２の画像を少なくとも有する入力画像データを符号化する符号化装置において、
前記第１の画像を符号化する第１の符号化手段と、
前記第２の画像を符号化する第２の符号化手段と
を備え、
前記第１の符号化手段において符号化された前記第１の画像を復号した第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の符号化手段において符号化された前記第２の画像を復号した第４の画像の画質は、前記第２の画像の画質と同程度に維持される
ことを特徴とする符号化装置。
【請求項２】
前記入力画像データにノイズを付加するノイズ付加手段をさらに備える
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記第１の符号化手段は、
前記第１の画像を複数のブロックに分割するブロック分割手段と、
前記ブロックを構成する画素の画素値の最大値および最小値を検出する検出手段と、
前記最大値および最小値に基づいて、前記ブロックを構成する画素の画素値のダイナミックレンジを算出する算出手段と、
前記画素値と前記最小値との差分データを算出する差分データ算出手段と、
前記ダイナミックレンジに応じて前記差分データを符号化する符号化手段と
を有する
ことを特徴とする請求項１に記載の符号化装置。
【請求項４】
前記第１の符号化手段は、
前記第１の画像を複数のブロックに分割するブロック分割手段と、
前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、および前記ブロックを構成する画素の特徴量を表すパラメータを算出するソート順算出手段と、
前記ソート順情報と前記パラメータとに基づいて、ソートされる前の空間位相に配置された、前記ブロックを構成する各画素の予測画素値を生成する予測画素値生成手段と、
前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出する差分データ算出手段と、
前記差分データを符号化する符号化手段と
を有する
ことを特徴とする請求項１に記載の符号化装置。
【請求項５】
前記予測画素値生成手段は、
前記パラメータに基づいて、画素値の大きさに応じてソートされている、前記ブロックを構成する各画素の予測画素値を生成する画素値生成手段と、
前記ソート順情報に基づいて、前記画素値生成手段により生成された前記予測画素値を、前記ブロックを構成する各画素がソートされる前の空間位相に逆ソートする逆ソート手段と
を有する
ことを特徴とする請求項４に記載の符号化装置。
【請求項６】
前記第２の符号化手段は、
前記第２の画像を複数のブロックに分割するブロック分割手段と、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から、前記ブロックの動きベクトルを検出する動きベクトル検出手段と、
前記ブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差を算出する残差算出手段と、
前記ブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出する最小値算出手段と、
前記ブロックを構成する各画素の残差と前記残差の最小値との差分データを算出する差分データ算出手段と、
前記ダイナミックレンジに応じて前記差分データを符号化する符号化手段と
を有する
ことを特徴とする請求項１に記載の符号化装置。
【請求項７】
前記最小値算出手段は、前記残差の回帰式を算出し、前記回帰式の係数として得られる前記ブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出する
ことを特徴とする請求項６に記載の符号化装置。
【請求項８】
前記第２の符号化手段は、
前記第２の画像を複数のブロックに分割するブロック分割手段と、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から、前記ブロックの動きベクトルを検出する動きベクトル検出手段と、
前記ブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差を算出する残差算出手段と、
前記残差を第１の符号化方式で符号化する第１の残差符号化手段と、
前記残差を第２の符号化方式で符号化する第２の残差符号化手段と、
前記第１または第２の方式のどちらを採用するかを判定する判定手段と、
前記判定手段の判定結果に応じて、前記第１または第２の残差符号化手段の出力を選択する選択手段と
を有する
ことを特徴とする請求項１に記載の符号化装置。
【請求項９】
第１の画像と第２の画像を少なくとも有する入力画像データを符号化する符号化装置の符号化方法において、
前記第１の画像を符号化する第１の符号化ステップと、
前記第２の画像を符号化する第２の符号化ステップと
を含み、
前記第１の符号化ステップにおいて符号化された前記第1の画像を復号した第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の符号化ステップにおいて符号化された前記第２の画像を復号した第４の画像の画質は、前記第２の画像の画質と同程度に維持される
ことを特徴とする符号化方法。
【請求項１０】
前記入力画像データにノイズを付加するノイズ付加ステップをさらに含む
ことを特徴とする請求項９に記載の符号化方法。
【請求項１１】
前記第１の符号化ステップの処理は、
前記第１の画像を複数のブロックに分割するブロック分割ステップと、
前記ブロックを構成する画素の画素値の最大値および最小値を検出する検出ステップと、
前記最大値および最小値に基づいて、前記ブロックを構成する画素の画素値のダイナミックレンジを算出する算出ステップと、
前記画素値と前記最小値との差分データを算出する差分データ算出ステップと、
前記ダイナミックレンジに応じて前記差分データを符号化する符号化ステップと
を含む
ことを特徴とする請求項９に記載の符号化方法。
【請求項１２】
前記第１の符号化ステップの処理は、
前記第１の画像を複数のブロックに分割するブロック分割ステップと、
前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、および前記ブロックを構成する画素の特徴量を表すパラメータを算出するソート順算出ステップと、
前記ソート順情報と前記パラメータとに基づいて、ソートされる前の空間位相に配置された、前記ブロックを構成する各画素の予測画素値を生成する予測画素値生成ステップと、
前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出する差分データ算出ステップと、
前記差分データを符号化する符号化ステップと
を含む
ことを特徴とする請求項９に記載の符号化方法。
【請求項１３】
前記予測画素値生成ステップの処理は、
前記パラメータに基づいて、画素値の大きさに応じてソートされている、前記ブロックを構成する各画素の予測画素値を生成する画素値生成ステップと、
前記ソート順情報に基づいて、前記画素値生成ステップの処理により生成された前記予測画素値を、前記ブロックを構成する各画素がソートされる前の空間位相に逆ソートする逆ソートステップと
を含む
ことを特徴とする請求項１２に記載の符号化方法。
【請求項１４】
前記第２の符号化ステップの処理は、
前記第２の画像を複数のブロックに分割するブロック分割ステップと、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から、前記ブロックの動きベクトルを検出する動きベクトル検出ステップと、
前記ブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差を算出する残差算出手段と、
前記ブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出する最小値算出ステップと、
前記ブロックを構成する各画素の残差と前記残差の最小値との差分データを算出する差分データ算出ステップと、
前記ダイナミックレンジに応じて前記差分データを符号化する符号化ステップと
を含む
ことを特徴とする請求項９に記載の符号化方法。
【請求項１５】
前記最小値算出ステップの処理は、前記残差の回帰式を算出し、前記回帰式の係数として得られる前記ブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出する
ことを特徴とする請求項１４に記載の符号化方法。
【請求項１６】
前記第２の符号化ステップの処理は、
前記第２の画像を複数のブロックに分割するブロック分割ステップと、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から、前記ブロックの動きベクトルを検出する動きベクトル検出ステップと、
前記ブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差を算出する残差算出ステップと、
前記残差を第１の方式で符号化する第１の残差符号化ステップと、
前記残差を第２の方式で符号化する第２の残差符号化ステップと、
前記第１または第２の方式のどちらを採用するか判定する判定ステップと、
前記判定ステップの処理の判定結果に応じて、前記第１または第２の残差符号化ステップの処理の出力を選択する選択ステップと
を含む
ことを特徴とする請求項９に記載の符号化方法。
【請求項１７】
第１の画像と第２の画像を少なくとも有する入力画像データを符号化する処理を、コンピュータに実行させるプログラムが記録されている記録媒体において、
前記第１の画像を符号化する第１の符号化ステップと、
前記第２の画像を符号化する第２の符号化ステップと
を含み、
前記第１の符号化ステップにおいて符号化された前記第1の画像を復号した第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の符号化ステップにおいて符号化された前記第２の画像を復号した第４の画像の画質は、前記第２の画像の画質と同程度に維持される
ことを特徴とするプログラムが記録されている記録媒体。
【請求項１８】
第第１の画像と第２の画像を少なくとも有する入力画像データを符号化する処理を、コンピュータに実行させるプログラムにおいて、
前記第１の画像を符号化する第１の符号化ステップと、
前記第２の画像を符号化する第２の符号化ステップと
を含み、
前記第１の符号化ステップにおいて符号化された前記第１の画像を復号した第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の符号化ステップにおいて符号化された前記第２の画像を復号した第４の画像の画質は、前記第２の画像の画質と同程度に維持される
ことを特徴とするプログラム。
【請求項１９】
第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得手段と、
前記第１の符号化データを復号する第１の復号手段と、
前記第２の符号化データを復号する第２の復号手段と
を備え、
前記第１の復号手段において復号された第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の復号手段において復号された第４の画像の画質は、前記第２の画像の画質と同程度に維持される
ことを特徴とする復号装置。
【請求項２０】
前記第１または第２の復号手段の出力にノイズを付加するノイズ付加手段をさらに備える
ことを特徴とする請求項１９に記載の復号装置。
【請求項２１】
前記第１の復号手段は、
前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する画素の画素値の最小値およびダイナミックレンジと、
前記画素値と前記最小値との差分データが符号化された符号化差分データとを取得する取得手段と、
前記ダイナミックレンジに応じて前記符号化差分データを前記差分データに復号する差分データ復号手段と、
前記差分データ復号手段により復号された前記差分データと前記最小値とを加算する加算手段と
を有する
ことを特徴とする請求項１９に記載の復号装置。
【請求項２２】
前記第１の復号手段は、
前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、
前記１のブロックを構成する画素の特徴量を表すパラメータ、
および、前記パラメータを用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データを取得する取得手段と、
前記ソート順情報と前記パラメータとに基づいて、ソートされる前の空間位相に配置された、前記１のブロックを構成する各画素の予測画素値を生成する予測画素値生成手段と、
前記符号化差分データを前記差分データに復号する差分データ復号手段と、
前記差分データ復号手段により復号された前記差分データと前記予測画素値とを加算する加算手段と
を有する
ことを特徴とする請求項１９に記載の復号装置。
【請求項２３】
前記予測画素値生成手段は、
前記パラメータに基づいて、画素値の大きさに応じてソートされている、前記ブロックを構成する各画素の予測画素値を生成する予測値生成手段と、
前記ソート順情報に基づいて、前記予測値生成手段により生成された前記予測画素値を、ソートされる前の空間位相に逆ソートする逆ソート手段と
を有する
ことを特徴とする請求項２２に記載の復号装置。
【請求項２４】
前記第２の復号手段は、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から検出された動きベクトル、
前記第２の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差、
前記残差の最小値、
および、前記残差と前記残差の最小値との差分データが符号化された符号化差分データを取得する取得手段と、
前記符号化差分データを前記差分データに復号する差分データ復号手段と、
前記差分データ復号手段により復号された前記差分データと前記残差の最小値とを加算する残差加算手段と、
前記残差加算手段の出力と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値とを加算する画素値加算手段と
を有する
ことを特徴とする請求項１９に記載の復号装置。
【請求項２５】
前記第２の復号手段は、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から検出された動きベクトル、
前記第２の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差が符号化された符号化残差データ、
および、前記符号化残差データが第１の符号化方式か、または第２の符号化方式のどちらで符号化されたかを表す符号化方式判定結果を取得する取得手段と、
前記符号化方式判定結果が前記第１の符号化方式を表す場合に、前記符号化残差データを前記残差データに復号する第１の残差データ復号手段と、
前記符号化方式判定結果が前記第２の符号化方式を表す場合に、前記符号化残差データを前記残差データに復号する第２の残差データ復号手段と、
前記第１または第２の残差データ復号手段により復号された前記残差データと、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値とを加算する画素値加算手段と
を有する
ことを特徴とする請求項１９に記載の復号装置。
【請求項２６】
第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得ステップと、
前記第１の符号化データを復号する第１の復号ステップと、
前記第２の符号化データを復号する第２の復号ステップと
を含み、
前記第１の復号ステップにおいて復号された第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の復号ステップにおいて復号された第４の画像の画質は、前記第２の画像の画質と同程度に維持される
ことを特徴とする復号方法。
【請求項２７】
前記第１または第２の復号ステップの出力にノイズを付加するノイズ付加ステップをさらに含む
ことを特徴とする請求項２６に記載の復号方法。
【請求項２８】
前記第１の復号ステップの処理は、
前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する画素の画素値の最小値およびダイナミックレンジと、
前記画素値と前記最小値との差分データが符号化された符号化差分データとを取得する取得ステップと、
前記ダイナミックレンジに応じて前記符号化差分データを復号する差分データ復号ステップと、
前記差分データ復号ステップの処理により復号された前記差分データと前記最小値とを加算する加算ステップと
を含む
ことを特徴とする請求項２６に記載の復号方法。
【請求項２９】
前記第１の復号ステップの処理は、
前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、
前記１のブロックを構成する画素の特徴量を表すパラメータ、
および、前記パラメータを用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データを取得する取得ステップと、
前記ソート順情報と前記パラメータとに基づいて、ソートされる前の空間位相に配置された、前記１のブロックを構成する各画素の予測画素値を生成する予測画素値生成ステップと、
前記符号化差分データを前記差分データに復号する差分データ復号ステップと、
前記差分データ復号ステップの処理により復号された前記差分データと前記予測画素値とを加算する加算ステップと
を含む
ことを特徴とする請求項２６に記載の復号方法。
【請求項３０】
前記予測画素値生成ステップの処理は、
前記パラメータに基づいて、画素値の大きさに応じてソートされている、前記ブロックを構成する各画素の予測画素値を生成する予測値生成ステップと、
前記ソート順情報に基づいて、前記予測値生成ステップの処理により生成された前記予測画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップと
をさらに含む
ことを特徴とする請求項２９に記載の復号方法。
【請求項３１】
前記第２の復号ステップの処理は、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から検出された動きベクトル、
前記第２の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差、
前記残差の最小値、
および、前記残差と前記残差の最小値との差分データが符号化された符号化差分データを取得する取得ステップと、
前記符号化差分データを前記差分データに復号する差分データ復号ステップと、
前記差分データ復号ステップの処理により復号された前記差分データと前記残差の最小値とを加算する残差加算ステップと、
前記残差加算ステップによる出力と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値とを加算する画素値加算ステップと
を含む
ことを特徴とする請求項２６に記載の復号方法。
【請求項３２】
前記第２の復号ステップの処理は、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から検出された動きベクトル、
前記第２の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差が符号化された符号化残差データ、
および、前記符号化残差データが第１の符号化方式か、または第２の符号化方式のどちらで符号化されたかを表す符号化方式判定結果を取得する取得ステップと、
前記符号化方式判定結果が前記第１の符号化方式を表す場合に、前記符号化残差データを前記残差データに復号する第１の残差データ復号ステップと、
前記符号化方式判定結果が前記第２の符号化方式を表す場合に、前記符号化残差データを前記残差データに復号する第２の残差データ復号ステップと、
前記第１または第２の残差データ復号ステップの処理により復号された前記残差データと、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値とを加算する画素値加算ステップと
を含む
ことを特徴とする請求項２６に記載の復号方法。
【請求項３３】
第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得ステップと、
前記第１の符号化データを復号する第１の復号ステップと、
前記第２の符号化データを復号する第２の復号ステップと
を含み、
前記第１の復号ステップにおいて復号された第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の復号ステップにおいて復号された第４の画像の画質は、前記第２の画像の画質と同程度に維持される
処理を、コンピュータに実行させることを特徴とするプログラムが記録されている記録媒体。
【請求項３４】
第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得ステップと、
前記第１の符号化データを復号する第１の復号ステップと、
前記第２の符号化データを復号する第２の復号ステップと
を含み、
前記第１の復号ステップにおいて復号された第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の復号ステップにおいて復号された第４の画像の画質は、前記第２の画像の画質と同程度に維持される
処理を、コンピュータに実行させることを特徴とするプログラム。
【請求項３５】
第１の画像と第２の画像を少なくとも有する入力画像データを符号化する符号化部および符号化された前記入力画像データを復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムにおいて、
前記符号化部は、
前記第１の画像を符号化する第１の符号化手段と、
前記第２の画像を符号化する第２の符号化手段と
を備え、
前記第１の符号化手段において符号化された前記第１の画像を復号した第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の符号化手段において符号化された前記第２の画像を復号した第４の画像の画質は、前記第２の画像の画質と同程度に維持される
ことを特徴とする画像処理システム。
【請求項３６】
前記入力画像データにノイズを付加するノイズ付加手段をさらに備え、
前記ノイズ付加手段を介して、前記復号部から前記符号化部に前記入力画像データが出力される
ことを特徴とする請求項３５に記載の画像処理システム。
【請求項３７】
第１の画像と第２の画像を少なくとも有する入力画像データを符号化する符号化部および符号化された前記入力画像データを復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムの画像処理方法において、
前記符号化部の符号化方法は、
前記第１の画像を符号化する第１の符号化ステップと、
前記第２の画像を符号化する第２の符号化ステップと
を含み、
前記第１の符号化ステップの処理により符号化された前記第１の画像を復号した第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の符号化ステップの処理により符号化された前記第２の画像を復号した第４の画像の画質は、前記第２の画像の画質と同程度に維持される
ことを特徴とする画像処理方法。
【請求項３８】
第１の画像と第２の画像を少なくとも有する入力画像データを符号化する符号化部および符号化された前記入力画像データを復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムにおいて、
前記復号部は、
第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得手段と、
前記第１の符号化データを復号する第１の復号手段と、
前記第２の符号化データを復号する第２の復号手段と
を備え、
前記第１の復号手段において復号された第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の復号手段において復号された第４の画像の画質は、前記第２の画像の画質と同程度に維持される
ことを特徴とする画像処理システム。
【請求項３９】
前記第１または第２の復号手段の出力にノイズを付加するノイズ付加手段をさらに備え、
前記ノイズ付加手段を介して、前記復号部から前記符号化部に前記入力画像データが出力される
ことを特徴とする請求項３８に記載の画像処理システム。
【請求項４０】
第１の画像と第２の画像を少なくとも有する入力画像データを符号化する符号化部および符号化された画像信号を復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムの画像処理方法において、
前記復号部の復号方法は、
第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得ステップと、
前記第１の符号化データを復号する第１の復号ステップと、
前記第２の符号化データを復号する第２の復号ステップと
を含み、
前記第１の復号ステップの処理により復号された第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の復号ステップの処理により復号された第４の画像の画質は、前記第２の画像の画質と同程度に維持される
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラムに関し、特に、アナログ信号を利用した不正コピーを防止する符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
近年、テレビ番組などのコンテンツをデジタル信号でHD（ハードディスク）やDVD(Digital Versatile Disk)などの記録媒体に記録するデジタル記録再生装置が急速に普及してきている。
【０００３】
HDやDVDを記録媒体とするデジタル記録再生装置の普及により、視聴者であるユーザが、テレビ番組などを高品質に記録媒体に記録することが容易にできるようになった。
【０００４】
一方で、デジタル記録再生装置の普及により、DVDなどで販売されている、テレビ番組や映画などのコンテンツを不正にコピーすることが容易になるという側面もある。
【０００５】
図１は、記録媒体に記録されたコンテンツを再生し、ディスプレイに表示させるとともに、再生されたコンテンツを他の記録媒体に記録する画像処理システムの構成の一例を示している。
【０００６】
図１において、画像処理システム１は、DVDなどの光ディスク等の記録媒体に記録されたコンテンツの画像信号を再生し、その結果得られるアナログ画像信号Vanを出力する再生装置１１、再生装置１１が出力するアナログ画像信号Vanを画像として表示するディスプレイ１２、および、再生装置１１が出力するアナログ画像信号Vanを利用して、光ディスク等の記録媒体に記録する記録装置１３により構成されている。
【０００７】
再生装置１１は、復号化部２１とD/A（Digital-to-Analog）変換部２２とから構成されている。復号化部２１は、図示せぬ記録媒体から読み出した符号化デジタル画像信号を復号化し、その結果得られるデジタル画像信号をD/A変換部２２に供給する。D/A変換部２２は、復号化部２１から供給されたデジタル画像信号をアナログ信号に変換し、その結果得られるアナログ画像信号Vanを出力する。
【０００８】
ディスプレイ１２は、例えばCRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)等で構成され、D/A変換部２２からのアナログ画像信号Vanを画像として表示する。これにより、ユーザは、記録媒体に記録されている画像信号に対応する画像を見ることができる。
【０００９】
また、再生装置１１から出力されたアナログ画像信号Vanは、記録装置１３にも供給(入力)される。
【００１０】
記録装置１３は、A/D（Analog-to-Digital）変換部３１、符号化部３２、および記録部３３により構成され、入力されるアナログ画像信号Vanを光ディスク等の図示せぬ記録媒体に記録する。
【００１１】
A/D変換部３１には、再生装置１１が出力するアナログ画像信号Vanが入力される。A/D変換部３１は、入力されたアナログ画像信号Vanをデジタル信号に変換し、その結果得られるデジタル画像信号Vdgを符号化部３２に供給する。符号化部３２は、A/D変換部３１からのデジタル画像信号Vdgを符号化し、その結果得られる符号化デジタル画像信号Vcdを記録部３３に供給する。記録部３３は、符号化デジタル画像信号Vcdを記録媒体に記録する。
【００１２】
以上のように構成される画像処理システム１では、再生装置１１から出力されたアナログ画像信号Vanを利用して、再生された記録媒体と異なる記録媒体に画像信号を記録することができる。即ち、再生装置１１が出力するアナログ画像信号Vanを利用して、コンテンツ（の画像信号）が、不正にコピーされるおそれがある。
【００１３】
従来、このようなアナログ画像信号Vanを利用した不正コピーを防止するために、著作権保護がなされている場合には、アナログ画像信号Vanをスクランブル処理して出力する、あるいはアナログ画像信号Vanの出力を禁止することが提案されている（例えば、特許文献１参照）。
【００１４】
また、再生側の圧縮復号部または記録側の圧縮符号化部のいずれか一方もしくは両方に雑音情報発生部を設け、デジタルビデオデータに１回の処理では画像再生時に識別できない程度の雑音情報を埋め込むことにより、コピー自体は可能であるが、複数回繰り返すと画像が著しく劣化し、これによって実質的にコピーの回数を制限するデジタルビデオ装置が提案されている（例えば、特許文献２参照）。
【００１５】
しかしながら、上述した特許文献１のようにアナログ画像信号Vanをスクランブル処理して出力する、あるいはアナログ画像信号Vanの出力を禁止する方法では、不正コピーを防止することはできるが、ディスプレイ１２に正常な画像を表示することもできなくなるという問題が発生する。
【００１６】
また、上述した特許文献２のように、再生側の圧縮復号部または記録側の圧縮符号化部で雑音情報を埋め込む方法では、雑音情報発生部とこれを埋め込むための回路が必要となり、回路規模が増大するという問題がある。
【００１７】
そこで、画像が表示されなくなることや回路規模の増大を招くこと等の不都合を発生することなく、アナログ画像信号を利用した不正コピーを防止する手法が、本出願人により提案されている（例えば、特許文献３参照）。
【００１８】
【特許文献１】特開２００１−２４５２７０号公報
【特許文献２】特開平１０−２８９５２２号公報
【特許文献３】特開２００４−２８９６８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
特許文献３に記載の手法では、アナログ画像信号をA/D変換することにより得られるデジタル画像信号の位相ズレ等のアナログノイズに着目し、そのデジタル画像信号に対してアナログノイズに着目した符号化を行うことによってコピー前の画像の質を落とさずに、良好な質を維持したままでのコピーを不可能とし、これによりアナログ画像信号を利用した不正コピーを防止するが、デジタルコンテンツの流通が一般的になっている近年においては、上述のように不正コピーを防止するための別の手法の提案が要請されている。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、アナログ信号を利用した不正コピーを防止することができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の符号化装置は、第１の画像を符号化する第１の符号化手段と、第２の画像を符号化する第２の符号化手段とを備え、第１の符号化手段において符号化された第１の画像を復号した第３の画像の画質は、第１の画像の画質より劣化し、第２の符号化手段において符号化された第２の画像を復号した第４の画像の画質は、第２の画像の画質と同程度に維持されることを特徴とする。
【００２２】
この符号化装置には、入力画像データにノイズを付加するノイズ付加手段をさらに設けることができる。
【００２３】
第１の符号化手段は、第１の画像を複数のブロックに分割するブロック分割手段と、ブロックを構成する画素の画素値の最大値および最小値を検出する検出手段と、最大値および最小値に基づいて、ブロックを構成する画素の画素値のダイナミックレンジを算出する算出手段と、画素値と最小値との差分データを算出する差分データ算出手段と、ダイナミックレンジに応じて差分データを符号化する符号化手段とを有することができる。
【００２４】
第１の符号化手段は、第１の画像を複数のブロックに分割するブロック分割手段と、記ブロックを構成する各画素の画素値の大きさに応じて各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、およびブロックを構成する画素の特徴量を表すパラメータを算出するソート順算出手段と、ソート順情報とパラメータとに基づいて、ソートされる前の空間位相に配置された、ブロックを構成する各画素の予測画素値を生成する予測画素値生成手段と、ブロックを構成する各画素の画素値と予測画素値との差分データを算出する差分データ算出手段と、差分データを符号化する符号化手段とを有することができる。
【００２５】
予測画素値生成手段は、パラメータに基づいて、画素値の大きさに応じてソートされている、ブロックを構成する各画素の予測画素値を生成する画素値生成手段と、ソート順情報に基づいて、画素値生成手段により生成された予測画素値を、ブロックを構成する各画素がソートされる前の空間位相に逆ソートする逆ソート手段とを有することができる。
【００２６】
第２の符号化手段は、第２の画像を複数のブロックに分割するブロック分割手段と、記第２の画像より所定時間前の画像で第２の画像との比較の対象となる参照画像から、ブロックの動きベクトルを検出する動きベクトル検出手段と、ブロックを構成する各画素の画素値と、参照画像の動きベクトルが表すブロック内の、各画素に対応する画素の画素値との残差を算出する残差算出手段と、ブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出する最小値算出手段と、ブロックを構成する各画素の残差と残差の最小値との差分データを算出する差分データ算出手段と、ダイナミックレンジに応じて差分データを符号化する符号化手段とを有することができる。
【００２７】
最小値算出手段には、残差の回帰式を算出し、回帰式の係数として得られるブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出させることができる。
【００２８】
第２の符号化手段は、第２の画像を複数のブロックに分割するブロック分割手段と、記第２の画像より所定時間前の画像で第２の画像との比較の対象となる参照画像から、ブロックの動きベクトルを検出する動きベクトル検出手段と、ブロックを構成する各画素の画素値と、参照画像の動きベクトルが表すブロック内の、各画素に対応する画素の画素値との残差を算出する残差算出手段と、残差を第１の符号化方式で符号化する第１の残差符号化手段と、残差を第２の符号化方式で符号化する第２の残差符号化手段と、第１または第２の方式のどちらを採用するかを判定する判定手段と、判定手段の判定結果に応じて、第１または第２の残差符号化手段の出力を選択する選択手段とを有することができる。
【００２９】
本発明符号化方法は、第１の画像を符号化する第１の符号化ステップと、第２の画像を符号化する第２の符号化ステップとを含み、第１の符号化ステップにおいて符号化された第1の画像を復号した第３の画像の画質は、第１の画像の画質より劣化し、第２の符号化ステップにおいて符号化された第２の画像を復号した第４の画像の画質は、第２の画像の画質と同程度に維持されることを特徴とする。
【００３０】
この符号化方法には、入力画像データにノイズを付加するノイズ付加ステップを含むことができる。
【００３１】
第１の符号化ステップの処理は、第１の画像を複数のブロックに分割するブロック分割ステップと、ブロックを構成する画素の画素値の最大値および最小値を検出する検出ステップと、最大値および最小値に基づいて、ブロックを構成する画素の画素値のダイナミックレンジを算出する算出ステップと、画素値と最小値との差分データを算出する差分データ算出ステップと、ダイナミックレンジに応じて差分データを符号化する符号化ステップとを含むことができる。
【００３２】
第１の符号化ステップの処理は、第１の画像を複数のブロックに分割するブロック分割ステップと、ブロックを構成する各画素の画素値の大きさに応じて各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、およびブロックを構成する画素の特徴量を表すパラメータを算出するソート順算出ステップと、ソート順情報とパラメータとに基づいて、ソートされる前の空間位相に配置された、ブロックを構成する各画素の予測画素値を生成する予測画素値生成ステップと、ブロックを構成する各画素の画素値と予測画素値との差分データを算出する差分データ算出ステップと、差分データを符号化する符号化ステップとを含むことができる。
【００３３】
予測画素値生成ステップの処理は、パラメータに基づいて、画素値の大きさに応じてソートされている、ブロックを構成する各画素の予測画素値を生成する画素値生成ステップと、ソート順情報に基づいて、画素値生成ステップの処理により生成された予測画素値を、ブロックを構成する各画素がソートされる前の空間位相に逆ソートする逆ソートステップとを含むことができる。
【００３４】
第２の符号化ステップの処理は、第２の画像を複数のブロックに分割するブロック分割ステップと、第２の画像より所定時間前の画像で第２の画像との比較の対象となる参照画像から、ブロックの動きベクトルを検出する動きベクトル検出ステップと、ブロックを構成する各画素の画素値と、参照画像の動きベクトルが表すブロック内の、各画素に対応する画素の画素値との残差を算出する残差算出手段と、ブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出する最小値算出ステップと、ブロックを構成する各画素の残差と残差の最小値との差分データを算出する差分データ算出ステップと、ダイナミックレンジに応じて差分データを符号化する符号化ステップとを含むことができる。
【００３５】
最小値算出ステップの処理には、残差の回帰式を算出し、回帰式の係数として得られるブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出させることができる。
【００３６】
第２の符号化ステップの処理は、第２の画像を複数のブロックに分割するブロック分割ステップと、第２の画像より所定時間前の画像で第２の画像との比較の対象となる参照画像から、ブロックの動きベクトルを検出する動きベクトル検出ステップと、ブロックを構成する各画素の画素値と、参照画像の動きベクトルが表すブロック内の、各画素に対応する画素の画素値との残差を算出する残差算出ステップと、残差を第１の方式で符号化する第１の残差符号化ステップと、残差を第２の方式で符号化する第２の残差符号化ステップと、第１または第２の方式のどちらを採用するか判定する判定ステップと、判定ステップの処理の判定結果に応じて、第１または第２の残差符号化ステップの処理の出力を選択する選択ステップとを含むことができる。
【００３７】
本発明の第１の記録媒体に記録されているプログラムは、第１の画像を符号化する第１の符号化ステップと、第２の画像を符号化する第２の符号化ステップとを含み、第１の符号化ステップにおいて符号化された第1の画像を復号した第３の画像の画質は、第１の画像の画質より劣化し、第２の符号化ステップにおいて符号化された第２の画像を復号した第４の画像の画質は、第２の画像の画質と同程度に維持されることを特徴とする。
【００３８】
本発明の第１のプログラムは、第１の画像を符号化する第１の符号化ステップと、第２の画像を符号化する第２の符号化ステップとを含み、第１の符号化ステップにおいて符号化された第1の画像を復号した第３の画像の画質は、第１の画像の画質より劣化し、第２の符号化ステップにおいて符号化された第２の画像を復号した第４の画像の画質は、第２の画像の画質と同程度に維持される処理をコンピュータに実行させることを特徴とする。
【００３９】
本発明の符号化装置および方法、第１の記録媒体、並びに第１のプログラムにおいては、第１の画像および第２の画像が符号化される。この場合、符号化された第1の画像を復号した第３の画像の画質は、第１の画像の画質より劣化し、符号化された第２の画像を復号した第４の画像の画質は、第２の画像の画質と同程度に維持される。
【００４０】
本発明の復号装置は、第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得手段と、第１の符号化データを復号する第１の復号手段と、第２の符号化データを復号する第２の復号手段とを備え、第１の復号手段において復号された第３の画像の画質は、第１の画像の画質より劣化し、第２の復号手段において復号された第４の画像の画質は、第２の画像の画質と同程度に維持されることを特徴とする。
【００４１】
この復号装置には、第１または第２の復号手段の出力にノイズを付加するノイズ付加手段をさらに設けることができる。
【００４２】
第１の復号手段は、第１の画像が分割された複数のブロックのうちの１のブロックについての、１のブロックを構成する画素の画素値の最小値およびダイナミックレンジと、画素値と最小値との差分データが符号化された符号化差分データとを取得する取得手段と、ダイナミックレンジに応じて符号化差分データを差分データに復号する差分データ復号手段と、差分データ復号手段により復号された差分データと最小値とを加算する加算手段とを有することができる。
【００４３】
第１の復号手段は、第１の画像が分割された複数のブロックのうちの１のブロックについての、１のブロックを構成する各画素の画素値の大きさに応じて各画素をソートしたときのソート結果を表すソート順情報、１のブロックを構成する画素の特徴量を表すパラメータ、および、パラメータを用いて生成される１のブロックを構成する各画素の予測画素値と画素値との差分データが符号化された符号化差分データを取得する取得手段と、ソート順情報とパラメータとに基づいて、ソートされる前の空間位相に配置された、１のブロックを構成する各画素の予測画素値を生成する予測画素値生成手段と、符号化差分データを差分データに復号する差分データ復号手段と、差分データ復号手段により復号された差分データと予測画素値とを加算する加算手段とを有することができる。
【００４４】
予測画素値生成手段は、パラメータに基づいて、画素値の大きさに応じてソートされている、ブロックを構成する各画素の予測画素値を生成する予測値生成手段と、ソート順情報に基づいて、予測値生成手段により生成された予測画素値を、ソートされる前の空間位相に逆ソートする逆ソート手段とを有することができる。
【００４５】
第２の復号手段は、第２の画像より所定時間前の画像で第２の画像との比較の対象となる参照画像から検出された動きベクトル、第２の画像が分割された複数のブロックのうちの１のブロックについての、１のブロックを構成する各画素の画素値と、参照画像の動きベクトルが表すブロック内の、各画素に対応する画素の画素値との残差、残差の最小値、および、残差と残差の最小値との差分データが符号化された符号化差分データを取得する取得手段と、符号化差分データを差分データに復号する差分データ復号手段と、差分データ復号手段により復号された差分データと残差の最小値とを加算する残差加算手段と、残差加算手段の出力と、参照画像の動きベクトルが表すブロック内の、各画素に対応する画素の画素値とを加算する画素値加算手段とを有することができる。
【００４６】
第２の復号手段は、第２の画像より所定時間前の画像で第２の画像との比較の対象となる参照画像から検出された動きベクトル、第２の画像が分割された複数のブロックのうちの１のブロックについての、１のブロックを構成する各画素の画素値と、参照画像の動きベクトルが表すブロック内の、各画素に対応する画素の画素値との残差が符号化された符号化残差データ、および、符号化残差データが第１の符号化方式か、または第２の符号化方式のどちらで符号化されたかを表す符号化方式判定結果を取得する取得手段と、符号化方式判定結果が第１の符号化方式を表す場合に、符号化残差データを残差データに復号する第１の残差データ復号手段と、符号化方式判定結果が第２の符号化方式を表す場合に、符号化残差データを残差データに復号する第２の残差データ復号手段と、第１または第２の残差データ復号手段により復号された残差データと、参照画像の動きベクトルが表すブロック内の、各画素に対応する画素の画素値とを加算する画素値加算手段とを有することができる。
【００４７】
本発明の復号方法は、第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得ステップと、第１の符号化データを復号する第１の復号ステップと、第２の符号化データを復号する第２の復号ステップとを含み、第１の復号ステップにおいて復号された第３の画像の画質は、第１の画像の画質より劣化し、第２の復号ステップにおいて復号された第４の画像の画質は、第２の画像の画質と同程度に維持されることを特徴とする。
【００４８】
この復号方法には、第１または第２の復号ステップの出力にノイズを付加するノイズ付加ステップをさらに含むことができる。
【００４９】
第１の復号ステップの処理は、第１の画像が分割された複数のブロックのうちの１のブロックについての、１のブロックを構成する画素の画素値の最小値およびダイナミックレンジと、画素値と最小値との差分データが符号化された符号化差分データとを取得する取得ステップと、ダイナミックレンジに応じて符号化差分データを復号する差分データ復号ステップと、差分データ復号ステップの処理により復号された差分データと最小値とを加算する加算ステップとを含むことができる。
【００５０】
第１の復号ステップの処理は、第１の画像が分割された複数のブロックのうちの１のブロックについての、１のブロックを構成する各画素の画素値の大きさに応じて各画素をソートしたときのソート結果を表すソート順情報、１のブロックを構成する画素の特徴量を表すパラメータ、および、パラメータを用いて生成される１のブロックを構成する各画素の予測画素値と画素値との差分データが符号化された符号化差分データを取得する取得ステップと、ソート順情報とパラメータとに基づいて、ソートされる前の空間位相に配置された、１のブロックを構成する各画素の予測画素値を生成する予測画素値生成ステップと、符号化差分データを差分データに復号する差分データ復号ステップと、差分データ復号ステップの処理により復号された差分データと予測画素値とを加算する加算ステップとを含むことができる。
【００５１】
予測画素値生成ステップの処理は、パラメータに基づいて、画素値の大きさに応じてソートされている、ブロックを構成する各画素の予測画素値を生成する予測値生成ステップと、ソート順情報に基づいて、予測値生成ステップの処理により生成された予測画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップとをさらに含むことができる。
【００５２】
第２の復号ステップの処理は、第２の画像より所定時間前の画像で第２の画像との比較の対象となる参照画像から検出された動きベクトル、第２の画像が分割された複数のブロックのうちの１のブロックについての、１のブロックを構成する各画素の画素値と、参照画像の動きベクトルが表すブロック内の、各画素に対応する画素の画素値との残差、残差の最小値、および、残差と残差の最小値との差分データが符号化された符号化差分データを取得する取得ステップと、符号化差分データを差分データに復号する差分データ復号ステップと、差分データ復号ステップの処理により復号された差分データと残差の最小値とを加算する残差加算ステップと、残差加算ステップによる出力と、参照画像の動きベクトルが表すブロック内の、各画素に対応する画素の画素値とを加算する画素値加算ステップとを含むことができる。
【００５３】
第２の復号ステップの処理は、第２の画像より所定時間前の画像で第２の画像との比較の対象となる参照画像から検出された動きベクトル、第２の画像が分割された複数のブロックのうちの１のブロックについての、１のブロックを構成する各画素の画素値と、参照画像の動きベクトルが表すブロック内の、各画素に対応する画素の画素値との残差が符号化された符号化残差データ、および、符号化残差データが第１の符号化方式か、または第２の符号化方式のどちらで符号化されたかを表す符号化方式判定結果を取得する取得ステップと、符号化方式判定結果が第１の符号化方式を表す場合に、符号化残差データを残差データに復号する第１の残差データ復号ステップと、符号化方式判定結果が第２の符号化方式を表す場合に、符号化残差データを残差データに復号する第２の残差データ復号ステップと、第１または第２の残差データ復号ステップの処理により復号された残差データと、参照画像の動きベクトルが表すブロック内の、各画素に対応する画素の画素値とを加算する画素値加算ステップとを含むことができる。
【００５４】
本発明の第２の記録媒体に記録されているプログラムは、第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得ステップと、第１の符号化データを復号する第１の復号ステップと、第２の符号化データを復号する第２の復号ステップとを含み、第１の復号ステップにおいて復号された第３の画像の画質は、第１の画像の画質より劣化し、第２の復号ステップにおいて復号された第４の画像の画質は、第２の画像の画質と同程度に維持されることを特徴とする。
【００５５】
本発明の第２のプログラムは、第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得ステップと、第１の符号化データを復号する第１の復号ステップと、第２の符号化データを復号する第２の復号ステップとを含み、第１の復号ステップにおいて復号された第３の画像の画質は、第１の画像の画質より劣化し、第２の復号ステップにおいて復号された第４の画像の画質は、第２の画像の画質と同程度に維持される処理をコンピュータに実行させることを特徴とする。
【００５６】
本発明の復号装置および方法、第２の記録媒体、並びに第２のプログラムにおいては、第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとが取得され、第１の符号化データおよび第２の符号化データが復号されて、それぞれ、第３の画像および第４の画像とされる。第３の画像の画質は、第１の画像の画質より劣化し、第４の画像の画質は、第２の画像の画質と同程度に維持される。
【００５７】
本発明の第１の情報処理システムの符号化部は、第１の画像を符号化する第１の符号化手段と、第２の画像を符号化する第２の符号化手段とを備え、第１の符号化手段において符号化された第１の画像を復号した第３の画像の画質は、第１の画像の画質より劣化し、第２の符号化手段において符号化された第２の画像を復号した第４の画像の画質は、第２の画像の画質と同程度に維持されることを特徴とする。
【００５８】
この第１の情報処理システムには、入力画像データにノイズを付加するノイズ付加手段をさらに設け、ノイズ付加手段を介して、復号部から符号化部に入力画像データが出力されるようにすることができる。
【００５９】
本発明の第１の情報処理方法は、符号化部の符号化方法において、第１の画像を符号化する第１の符号化ステップと、第２の画像を符号化する第２の符号化ステップとを含み、第１の符号化ステップの処理により符号化された第１の画像を復号した第３の画像の画質は、第１の画像の画質より劣化し、第２の符号化ステップの処理により符号化された第２の画像を復号した第４の画像の画質は、第２の画像の画質と同程度に維持されることを特徴とする。
【００６０】
本発明の第１の情報処理システムおよび方法においては、第１の画像および第２の画像が符号化される。この場合、符号化された第1の画像を復号した第３の画像の画質は、第１の画像の画質より劣化し、符号化された第２の画像を復号した第４の画像の画質は、第２の画像の画質と同程度に維持される。
【００６１】
本発明の第２の情報処理システムの復号部は、第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得手段と、第１の符号化データを復号する第１の復号手段と、第２の符号化データを復号する第２の復号手段とを備え、第１の復号手段において復号された第３の画像の画質は、第１の画像の画質より劣化し、第２の復号手段において復号された第４の画像の画質は、第２の画像の画質と同程度に維持されることを特徴とする。
【００６２】
この第２の情報処理システムには、第１または第２の復号手段の出力にノイズを付加するノイズ付加手段をさらに設け、ノイズ付加手段を介して、復号部から符号化部に入力画像データが出力されるようにすることができる。
【００６３】
本発明の第２の情報処理方法は、復号部の復号方法において、第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得ステップと、第１の符号化データを復号する第１の復号ステップと、第２の符号化データを復号する第２の復号ステップとを含み、第１の復号ステップの処理により復号された第３の画像の画質は、第１の画像の画質より劣化し、第２の復号ステップの処理により復号された第４の画像の画質は、第２の画像の画質と同程度に維持されることを特徴とする。
【００６４】
本発明の第２の情報処理システムおよび方法においては、第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとが取得され、第１の符号化データおよび第２の符号化データが復号されて、それぞれ、第３の画像および第４の画像とされる。第３の画像の画質は、第１の画像の画質より劣化し、第４の画像の画質は、第２の画像の画質と同程度に維持される。
【発明の効果】
【００６５】
本発明によれば、アナログ信号を利用した不正コピーを防止することができる。
【発明を実施するための最良の形態】
【００６６】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００６７】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。
【００６８】
請求項１に記載の符号化装置は、
第１の画像と第２の画像を少なくとも有する入力画像データを符号化する符号化装置（例えば、図２の記録部１４１）において、
前記第１の画像（例えば、図３の基準フレームの画像）を符号化する第１の符号化手段（例えば、図４の基準フレーム符号化部２０３）と、
前記第２の画像（例えば、図３の予測フレームの画像）を符号化する第２の符号化手段（例えば、図２の予測フレーム符号化部２０５）と
を備え、
前記第１の符号化手段において符号化された前記第１の画像を復号した第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の符号化手段において符号化された前記第２の画像を復号した第４の画像の画質は、前記第２の画像の画質と同程度に維持される
ことを特徴とする。
【００６９】
請求項２に記載の符号化装置は、
前記入力画像データにノイズを付加するノイズ付加手段（例えば、図２のA/D変換部１５１または図５０のノイズ付加部５０１）をさらに備える
ことを特徴とする。
【００７０】
請求項３に記載の符号化装置は、
前記第１の符号化手段は、
前記第１の画像を複数のブロックに分割するブロック分割手段（例えば、図５のブロック化回路２２２）と、
前記ブロックを構成する画素の画素値の最大値および最小値を検出する検出手段（例えば、図５の最大値検出回路２２３および最小値検出回路２２４）と、
前記最大値および最小値に基づいて、前記ブロックを構成する画素の画素値のダイナミックレンジを算出する算出手段（例えば、図５の減算器２２５）と、
前記画素値と前記最小値との差分データを算出する差分データ算出手段（例えば、図５の減算器２２６）と、
前記ダイナミックレンジに応じて前記差分データを符号化する符号化手段（例えば、図５のブロック符号化回路２２７）と
を有する
ことを特徴とする。
【００７１】
請求項４に記載の符号化装置は、
前記第１の符号化手段は、
前記第１の画像を複数のブロックに分割するブロック分割手段（例えば、図２２のブロック化回路２２２）と、
前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、および前記ブロックを構成する画素の特徴量を表すパラメータを算出するソート順算出手段（例えば、図２２のソート順算出回路３２１）と、
前記ソート順情報と前記パラメータとに基づいて、ソートされる前の空間位相に配置された、前記ブロックを構成する各画素の予測画素値を生成する予測画素値生成手段（例えば、図２２の予測画素値生成回路３２２）と、
前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出する差分データ算出手段（例えば、図２２の減算器３２３）と、
前記差分データを符号化する符号化手段（例えば、図２２のブロック符号化回路３２４）と
を有する
ことを特徴とする。
【００７２】
請求項５に記載の符号化装置は、
前記予測画素値生成手段は、
前記パラメータに基づいて、画素値の大きさに応じてソートされている、前記ブロックを構成する各画素の予測画素値を生成する画素値生成手段（例えば、図２２の予測回路３３１）と、
前記ソート順情報に基づいて、前記画素値生成手段により生成された前記予測画素値を、前記ブロックを構成する各画素がソートされる前の空間位相に逆ソートする逆ソート手段（例えば、図２２の逆ソート回路３２２）と
を有する
ことを特徴とする。
【００７３】
請求項６に記載の符号化装置は、
前記第２の符号化手段は、
前記第２の画像を複数のブロックに分割するブロック分割手段（例えば、図９のブロック化回路２４２）と、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から、前記ブロックの動きベクトルを検出する動きベクトル検出手段（例えば、図９の動きベクトル検出回路２４３）と、
前記ブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差を算出する残差算出手段（例えば、図９の残差算出回路２４４）と、
前記ブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出する最小値算出手段（例えば、図９の回帰回路２４６）と、
前記ブロックを構成する各画素の残差と前記残差の最小値との差分データを算出する差分データ算出手段（例えば、図９の減算器２４７）と、
前記ダイナミックレンジに応じて前記差分データを符号化する符号化手段（例えば、図９のブロック符号化回路２４８）と
を有する
ことを特徴とする。
【００７４】
請求項８に記載の符号化装置は、
前記第２の符号化手段は、
前記第２の画像を複数のブロックに分割するブロック分割手段（例えば、図３１のブロック化回路２４２）と、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から、前記ブロックの動きベクトルを検出する動きベクトル検出手段（例えば、図３１の動きベクトル検出回路２４３）と、
前記ブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差を算出する残差算出手段（例えば、図３１の残差算出回路２４４）と、
前記残差を第１の符号化方式で符号化する第１の残差符号化手段（例えば、図３１のADRC符号化部３４１）と、
前記残差を第２の符号化方式で符号化する第２の残差符号化手段（例えば、図３１の直交変換符号化部３４２）と、
前記第１または第２の方式のどちらを採用するかを判定する判定手段（例えば、図３１の符号化判定回路３４５）と、
前記判定手段の判定結果に応じて、前記第１または第２の残差符号化手段の出力を選択する選択手段（例えば、図３１の選択回路３４６）と
を有する
ことを特徴とする。
【００７５】
請求項９に記載の符号化方法は、
第１の画像と第２の画像を少なくとも有する入力画像データを符号化する符号化装置の符号化方法において、
前記第１の画像を符号化する第１の符号化ステップ（例えば、図４１のステップＳ１７４の処理）と、
前記第２の画像を符号化する第２の符号化ステップ（例えば、図４１のステップＳ１７７の処理）と
を含み、
前記第１の符号化ステップにおいて符号化された前記第1の画像を復号した第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の符号化ステップにおいて符号化された前記第２の画像を復号した第４の画像の画質は、前記第２の画像の画質と同程度に維持される
を含むことを特徴とする。
【００７６】
請求項１７に記載の記録媒体のプログラム、請求項１８に記載のプログラムの各ステップの具体例も、請求項９に記載の符号化方法の各ステップの発明の実施の形態における具体例と同様である。
【００７７】
請求項１９に記載の復号装置（例えば、図２の再生部１４２）は、
第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得手段（例えば、図１７の復号化選択回路２７２）と、
前記第１の符号化データ（基準フレームの符号化デジタル画像信号Vcd1）を復号する第１の復号手段（例えば、図１７の基準フレーム復号化部２７３）と、
前記第２の符号化データ（予測フレームの符号化デジタル画像信号Vcd1）を復号する第２の復号手段（例えば、図１７の予測フレーム復号化部２７４）と
を備え、
前記第１の復号手段において復号された第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の復号手段において復号された第４の画像の画質は、前記第２の画像の画質と同程度に維持される
を備えることを特徴とする。
【００７８】
請求項２０に記載の復号装置は、
前記第１または第２の復号手段の出力にノイズを付加するノイズ付加手段（例えば、図２のD/A変換部１５６または図５２のノイズ付加部５０３）をさらに備える
ことを特徴とする。
【００７９】
請求項２１に記載の復号装置は、
前記第１の復号手段は、
前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する画素の画素値の最小値およびダイナミックレンジと、
前記画素値と前記最小値との差分データが符号化された符号化差分データとを取得する取得手段（例えば、図１８のデータ分解回路２９２）と、
前記ダイナミックレンジに応じて前記符号化差分データを前記差分データに復号する差分データ復号手段（例えば、図１８のブロック復号化回路２９３）と、
前記差分データ復号手段により復号された前記差分データと前記最小値とを加算する加算手段（例えば、図１８の加算器２９４）と
を有する
ことを特徴とする。
【００８０】
請求項２２に記載の復号装置は、
前記第１の復号手段は、
前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、
前記１のブロックを構成する画素の特徴量を表すパラメータ、
および、前記パラメータを用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データを取得する取得手段（例えば、図３５のデータ分解回路４０２）と、
前記ソート順情報と前記パラメータとに基づいて、ソートされる前の空間位相に配置された、前記１のブロックを構成する各画素の予測画素値を生成する予測画素値生成手段（例えば、図３５の予測画素値生成回路４０３）と、
前記符号化差分データを前記差分データに復号する差分データ復号手段（例えば、図３５のブロック復号化回路４０４）と、
前記差分データ復号手段により復号された前記差分データと前記予測画素値とを加算する加算手段（例えば、図３５の加算器４０５）と
を有する
ことを特徴とする。
【００８１】
請求項２３に記載の復号装置は、
前記予測画素値生成手段は、
前記パラメータに基づいて、画素値の大きさに応じてソートされている、前記ブロックを構成する各画素の予測画素値を生成する予測値生成手段（例えば、図３５の予測回路４１１）と、
前記ソート順情報に基づいて、前記予測値生成手段により生成された前記予測画素値を、ソートされる前の空間位相に逆ソートする逆ソート手段（例えば、図３５の逆ソート回路４１２）と
を有する
ことを特徴とする。
【００８２】
請求項２４に記載の復号装置は、
前記第２の復号手段は、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から検出された動きベクトル、
前記第２の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差、
前記残差の最小値、
および、前記残差と前記残差の最小値との差分データが符号化された符号化差分データを取得する取得手段（例えば、図２０のデータ分解回路３０２）と、
前記符号化差分データを前記差分データに復号する差分データ復号手段（例えば、図２０のブロック復号化回路３０４）と、
前記差分データ復号手段により復号された前記差分データと前記残差の最小値とを加算する残差加算手段（例えば、図２０の加算器３０５）と、
前記残差加算手段の出力と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値とを加算する画素値加算手段（例えば、図２０の加算器３０６）と
を有する
ことを特徴とする。
【００８３】
請求項２５に記載の復号装置は、
前記第２の復号手段は、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から検出された動きベクトル、
前記第２の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差が符号化された符号化残差データ、
および、前記符号化残差データが第１の符号化方式か、または第２の符号化方式のどちらで符号化されたかを表す符号化方式判定結果を取得する取得手段（例えば、図３７のデータ分解回路４３２）と、
前記符号化方式判定結果が前記第１の符号化方式を表す場合に、前記符号化残差データを前記残差データに復号する第１の残差データ復号手段（例えば、図３７のADRC復号化部４３５）と、
前記符号化方式判定結果が前記第２の符号化方式を表す場合に、前記符号化残差データを前記残差データに復号する第２の残差データ復号手段（例えば、図３７の直交変換復号化部４３６）と、
前記第１または第２の残差データ復号手段により復号された前記残差データと、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値とを加算する画素値加算手段（例えば、図３７の加算器３０６）と
を有する
ことを特徴とする。
【００８４】
請求項２６に記載の復号方法は、
第１の画像が符号化された第１の符号化データと、第２の画像が符号化された第２の符号化データとを取得する取得ステップ（例えば、図４１のステップＳ１７９の処理）と、
前記第１の符号化データを復号する第１の復号ステップ（例えば、図４１のステップＳ１８１の処理）と、
前記第２の符号化データを復号する第２の復号ステップ（例えば、図４１のステップＳ１８３の処理）と
を含み、
前記第１の復号ステップにおいて復号された第３の画像の画質は、前記第１の画像の画質より劣化し、
前記第２の復号ステップにおいて復号された第４の画像の画質は、前記第２の画像の画質と同程度に維持される
を含むことを特徴とする。
【００８５】
請求項３３に記載の記録媒体のプログラム、請求項３４に記載のプログラムの各ステップの具体例も、請求項２６に記載の復号方法の各ステップの発明の実施の形態における具体例と同様である。
【００８６】
以下、図を参照して、本発明の実施の形態について説明する。
【００８７】
図２は、本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【００８８】
図２において、画像処理システム１０１は、DVDなどの光ディスク等の記録媒体１２１に記録された画像信号を再生し、その結果得られるアナログ画像信号Van1を出力する再生装置１１１、再生装置１１１が出力するアナログ画像信号Van1を画像として表示するディスプレイ１１２、および、再生装置１１１が出力するアナログ画像信号Van1を利用して、光ディスク等の記録媒体１２２に画像信号を記録する記録装置１１３により構成されている。
【００８９】
再生装置１１１は、復号化部１３１とD/A（Digital-to-Analog）変換部１３２とから構成されている。復号化部１３１は、記録媒体１２１から読み出した符号化デジタル画像信号を復号化し（復号し）、その結果得られる復号化デジタル画像信号Vdg0をD/A変換部１３２に供給する。D/A変換部１３２は、復号化部１３１から供給された復号化デジタル画像信号Vdg0をアナログ信号に変換し、その結果得られるアナログ画像信号Van1を出力する。
【００９０】
ここで、再生装置１１１（のD/A変換部１３２）から出力されるアナログ画像信号Van1は、復号化デジタル画像信号Vdg0をアナログ信号に変換したときに自然に生じる信号の歪み（以下、アナログ歪みと称する）を伴うものとなっている。例えば、アナログ歪みには、D/A変換器１３２でアナログ信号に変換する際に高周波成分が除去されることで生じる歪み、D/A変換器１３２でアナログ信号に変換する際に信号の位相がずれることで生じる歪み等がある。なお、このアナログ歪みによる画像の劣化（画質）を評価する方法としては、S/N(Signal-to-Noise)評価、視覚評価（視覚的劣化の評価）等がある。
【００９１】
ディスプレイ１１２は、例えばCRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)等で構成され、D/A変換部１３２からのアナログ画像信号Van1に対応する画像を表示する。これにより、ユーザは、記録媒体１２１に記録された画像信号に対応する画像を見ることができる。
【００９２】
また、再生装置１１１から出力されたアナログ画像信号Van1（入力画像データ）は、記録装置１１３にも供給(入力)される。
【００９３】
記録装置１１３は、再生装置１１１からのアナログ画像信号Van1を符号化デジタル画像信号Vcd1に符号化して、記録媒体１２２に記録する記録部１４１（符号化装置）、記録媒体１２２に記録された符号化デジタル画像信号Vcd1が復号化されてディスプレイに表示されたときの画像を確認するために、符号化デジタル画像信号Vcd1を再生する再生部１４２（復号装置）、および、再生部１４２が再生した画像を表示するディスプレイ１４３により構成されている。
【００９４】
記録部１４１は、A/D（Analog-to-Digital）変換部１５１、符号化部１５２、および媒体記録部１５３により構成され、入力されるアナログ画像信号Van1をデジタル信号に変換して符号化した符号化デジタル画像信号Vcd1を記録媒体１２２に記録する。これにより、再生装置１１１からのアナログ画像信号Van1を利用したコピーが行われることとなる。
【００９５】
A/D変換部１５１には、再生装置１１１が出力するアナログ画像信号Van1が入力される。A/D変換部１５１は、入力されたアナログ画像信号Van1をデジタル信号に変換し、その結果得られるデジタル画像信号Vdg1を符号化部１５２に供給する。
【００９６】
符号化部１５２は、A/D変換部１５１からのデジタル画像信号Vdg1を符号化し、その結果得られる符号化デジタル画像信号Vcd1を媒体記録部１５３および再生部１４２（の復号化部１５５）に供給する。媒体記録部１５３は、符号化部１５２からの符号化デジタル画像信号Vcd1を記録媒体１２２に記録する。
【００９７】
再生部１４２は、上述したように、記録媒体１２２に記録された符号化デジタル画像信号Vcd1が（例えば、再生装置１１１などの）所定の再生装置において、復号化されてディスプレイに表示されたときの画像を確認するためのものである。従って、再生部１４２は、再生装置１１１の復号化部１３１およびD/A変換部１３２それぞれと同様の構成を有する、復号化部１５５およびD/A変換部１５６により構成されている。
【００９８】
復号化部１５５は、符号化部１５２からの符号化デジタル画像信号Vcd1を復号化し（復号し）、その結果得られる復号化デジタル画像信号Vdg2をD/A変換部１５６に供給する。D/A変換部１５６は、復号化部１５５から供給された復号化デジタル画像信号Vdg2をアナログ信号に変換し、その結果得られるアナログ画像信号Van2をディスプレイ１４３に出力する。
【００９９】
ディスプレイ１４３は、例えばCRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)等で構成され、D/A変換部１５６からのアナログ画像信号Van2に対応する画像を表示する。これにより、ユーザは、記録媒体１２２に記録された符号化デジタル画像信号Vcd1が再生されたときの画像を確認する（見る）ことができる。
【０１００】
以上のように構成される記録装置１１３では、再生装置１１１からのアナログ画像信号Van1を利用して、符号化デジタル画像信号Vcd1を記録媒体１２２に記録するとともに、その記録媒体１２２に記録された符号化デジタル画像信号Vcd1が、（例えば、再生装置１１１などの）所定の再生装置において再生されてディスプレイ１１２に表示されたときの画像を確認することができる。なお、符号化部１５２または復号化部１５５では、それぞれに入力されるデジタル画像信号Vdg1または符号化デジタル画像信号Vcd1を、フレーム単位で処理するものとする。
【０１０１】
図２の画像処理システム１０１において、記録装置１１３で記録された（コピーされた）記録媒体１２２を再生装置１１１で再生したときにディスプレイ１１２に表示される（再生部１４２から出力されるアナログ画像信号Van2と同一のアナログ画像信号による）画像の画質（例えば、S/N比など）は、コピー元の記録媒体１２１を再生装置１１１で再生したときにディスプレイ１１２に表示される（アナログ画像Van1による）画像の画質よりも、著しく劣化したものとなる。
【０１０２】
そこで、以下では、再生装置１１１から出力されるアナログ画像信号Van1を利用して画像信号をコピーした場合に、コピーされた画像信号を再生した画像の画質が劣化するような符号化および復号化を行う符号化部１５２および復号化部１５５について詳しく説明する。
【０１０３】
なお、記録装置１１３の符号化部１５２は、図３に示すように、所定の枚数ごとに（所定の時間間隔で）フレーム単位の画像（フレーム画像）を基準フレームに設定し、基準フレーム以外の画像を予測フレームとする。図３においては、５枚ごとに基準フレームが設定されている。
【０１０４】
また、符号化部１５２は、基準フレームの画像と予測フレームの画像とで、異なる符号化を行い、基準フレームの画像の画質を劣化させ、予測フレームの画像に対しては画質を劣化させない（画質が同程度に維持される）ようにして、基準フレームの画像と予測フレームの画像とが連続して再生されたときに、画質の異なる画像が交互に再生（表示）されることにより、全体として違和感を生じるような画質の劣化をさせる。
【０１０５】
（符号化部１５２の実施形態）
図４は、図２の記録装置１１３における、符号化部１５２の構成例を示すブロック図である。
【０１０６】
図４の符号化部１５２は、入力端子２０１、符号化選択回路２０２、基準フレーム符号化部２０３、ローカルデコード部２０４、予測フレーム符号化部２０５、および出力端子２０６により構成されている。
【０１０７】
A/D変換部１５１（図２）からのデジタル画像信号Vdg1は、入力端子２０１を介して、符号化選択回路２０２に供給される。符号化選択回路２０２は、入力端子２０１から供給されるデジタル画像信号Vdg1を、基準フレーム符号化部２０３または予測フレーム符号化部２０５に供給する。この場合、符号化選択回路２０２は、デジタル画像信号Vdg1に対応する画像が、図３で上述した基準フレームの画像であるか、または予測フレームの画像であるかに応じて、それぞれ、基準フレーム符号化部２０３または予測フレーム符号化部２０５にデジタル画像信号Vdg1を供給する。
【０１０８】
即ち、符号化選択回路２０２は、デジタル画像信号Vdg1に対応する画像が基準フレームの画像（第1の画像）である場合、そのデジタル画像信号Vdg1を基準フレーム符号化部２０３に供給し、デジタル画像信号Vdg1に対応する画像が予測フレームの画像（第２の画像）である場合、そのデジタル画像信号Vdg1を予測フレーム符号化部２０５に供給する。
【０１０９】
基準フレーム符号化部２０３は、符号化選択回路２０２から供給される、基準フレームのデジタル画像信号Vdg1を符号化し、それにより得られるデジタル画像信号を符号化デジタル画像信号Vcd1としてローカルデコード部２０４および出力端子２０６に供給する。
【０１１０】
ローカルデコード部２０４は、基準フレーム符号化部２０３から供給される符号化デジタル画像信号Vcd1を復号化し（ローカルデコードし）、予測フレーム符号化部２０５に供給する。この符号化デジタル画像信号Vcd1が復号化された復号化デジタル画像信号は、予測フレーム符号化部２０５が動き補償を行うための参照画像となる。なお、ローカルデコード部２０４が予測フレーム符号化部２０５に供給する復号化デジタル画像信号は、復号化部１５５（図２）で復号されて、出力される復号化デジタル画像信号Vdg2と同一の画像信号であり、ローカルデコード部２０４は、図１８を参照して後述する基準フレーム復号化部２７３の構成と同様の構成を有している。
【０１１１】
予測フレーム符号化部２０５は、符号化選択回路２０２から供給されたデジタル画像信号Vdg1に対応するフレーム（以下、現フレームとも称する）の画像の１つ前のフレーム（以下、前フレームとも称する）の画像から動き補償を行うことにより、符号化選択回路２０２からの予測フレーム（現フレーム）のデジタル画像信号Vdg1を符号化する。即ち、予測フレーム符号化部２０５は、符号化選択回路２０２から供給される、現フレームのデジタル画像信号Vdg1と、前フレームのデジタル画像信号との差分データを符号化し、それにより得られるデジタル画像信号を符号化デジタル画像信号Vcd1として出力端子２０６に供給する。
【０１１２】
なお、予測フレーム符号化部２０５において、前フレームの画像が基準フレームの画像である場合、予測フレーム符号化部２０５は、符号化選択回路２０２から供給されるデジタル画像信号Vdg1と、ローカルデコード部２０４から供給される復号化デジタル画像信号との差分データを符号化する。また、前フレームの画像が予測フレームの画像である場合、予測フレーム符号化部２０５は、符号化選択回路２０２から供給されるデジタル画像信号Vdg1と、自身で内部に記憶しておいた前フレームの復号化デジタル画像信号との差分データを符号化する。
【０１１３】
出力端子２０６は、基準フレーム符号化部２０３または予測フレーム符号化部２０５からの符号化デジタル画像信号Vcd1を出力する。
【０１１４】
（基準フレーム符号化部２０３の第１の実施形態）
図５は、図４の基準フレーム符号化部２０３の第１の実施形態の構成例を示すブロック図である。
【０１１５】
図５の基準フレーム符号化部２０３は、入力端子２２１、ブロック化回路２２２、最大値検出回路２２３、最小値検出回路２２４、減算器２２５および２２６、ブロック符号化回路２２７、データ合成回路２２８、および出力端子２２９により構成されている。
【０１１６】
符号化選択回路２０２（図４）からのデジタル画像信号Vdg1は、入力端子２２１を介して、ブロック化回路２２２に供給される。
【０１１７】
ブロック化回路２２２は、基準フレームの画像を、それぞれが所定の画素数を有する複数のブロックBLに分割し、最大値検出回路２２３、最小値検出回路２２４、および減算器２２６に供給する。これにより、ブロック化回路２２２以降では、ブロック化回路２２２によって分割された複数のブロックBLのそれぞれが注目ブロックBLcとされ、注目ブロックBLcに対して処理が行われる。なお、本実施の形態では、ブロックBLのサイズは、例えば、４×４画素（水平方向×垂直方向）であるとする。
【０１１８】
最大値検出回路２２３は、注目ブロックBLcを構成する画素の画素値（以下、入力画素値とも称する）の最大値Vcdmaxを検出し、減算器２２５に供給する。また、最小値検出回路２２４は、注目ブロックBLcを構成する画素の画素値の最小値Vcdmin（以下、単に注目ブロックBLcの最小値Vcdminと称する）を検出し、減算器２２５および２２６、並びにデータ合成回路２２８に供給する。
【０１１９】
減算器２２５は、画素値の最大値Vcdmaxから最小値Vcdminを減算し、注目ブロックBLcを構成する画素の画素値のダイナミックレンジVcddr（＝Vcdmax−Vcdmin）（以下、単に注目ブロックBLcのダイナミックレンジVcddrと称する）を算出し、ブロック符号化回路２２７およびデータ合成回路２２８に供給する。
【０１２０】
減算器２２６は、ブロック回路２２２から供給される、注目ブロックBLcを構成する各画素の画素値から、注目ブロックBLcの最小値Vcdminを減算し、その結果得られる差分データをブロック符号化回路２２７に供給する。
【０１２１】
ブロック符号化回路２２７は、注目ブロックBLcを構成する各画素について、減算器２２６からの差分データを符号化し、その結果得られる符号化データVcdoをデータ合成回路２２８に供給する。
【０１２２】
具体的には、ブロック符号化回路２２７は、注目ブロックBLcを構成する各画素について、減算器２２５からのダイナミックレンジVcddrに応じた量子化ステップ（量子化ビット数）で、減算器２２６からの差分データを量子化する。
【０１２３】
例えば、入力画素値が０乃至２５５の値を取り得る場合、０< Vcddr <４のときの量子化ビット数ｎを０、５< Vcddr <１３のときの量子化ビット数ｎを１、１４< Vcddr <３５のときの量子化ビット数ｎを２、３６< Vcddr <１０３のときの量子化ビット数ｎを３、１０４< Vcddr <２５５のときの量子化ビット数ｎを４とするように、ダイナミックレンジVcddrが大きいほど量子化ビット数ｎを大きくなるように量子化ステップが決定される。なお、量子化ビット数は、固定とすることも可能である。
【０１２４】
そして、ブロック符号化回路２２７では、ダイナミックレンジVcddrを２n等分するようにレベルの範囲が設定され、差分データがどのレベルの範囲に属するかによって、ｎビットのADRCコードが割り当てられる。この割り当てられたADRCコードが符号化データVcdoとして、データ合成回路２２８に供給される。
【０１２５】
データ合成回路２２８は、１フレーム（基準フレーム）を構成する複数のブロックBLそれぞれの、減算器２２５からのダイナミックレンジVcddr、最小値検出回路２２４からの最小値Vcdmin、およびブロック符号化回路２２７からの符号化データVcdoを合成し、符号化デジタル画像信号Vcd1として出力端子２２９に供給する。
【０１２６】
出力端子２２９は、データ合成回路２２８から供給される符号化デジタル画像信号Vcd1を出力する。
【０１２７】
図６は、ブロック化回路２２２がデジタル画像信号Vdg1に対応する画像を複数のブロックBLに分割した例を示している。
【０１２８】
ブロック化回路２２２では、例えば、６４０×４８０画素などの所定の画素数を有する画像が、図６に示すように、４×４画素の複数のブロックBLに分割される。そして、この複数のブロックBLそれぞれが、注目ブロックBLcとされることになる。なお、図６における丸（○）は、画像を構成する各画素を表している。
【０１２９】
図７は、量子化ビット数ｎが２である場合の、ブロック符号化回路２２７における符号化（量子化）とそれに対応する復号化（逆量子化）を説明する図である。
【０１３０】
量子化ビット数ｎが２である場合、ダイナミックレンジVcddrが４（＝２2）等分されるようにレベルの範囲が設定され、差分データが４等分されたどの範囲に属するかによって、２ビットのADRCコードが割り当てられる。
【０１３１】
即ち、差分データの最小値Min乃至閾値th1の最も下のレベルの範囲に、差分データが属する場合、「００」のADRCコードが割り当てられる。また、閾値th1乃至th2の下から２番目のレベルの範囲に、差分データが属する場合、「０１」のADRCコードが割り当てられる。さらに、閾値th2乃至th3の下から３番目のレベルの範囲に、差分データが属する場合、「１０」のADRCコードが割り当てられる。そして、閾値th3乃至差分データの最大値Maxの最も上のレベルの範囲に属する場合、「１１」のADRCコードが割り当てられる。
【０１３２】
また、後述する基準フレーム復号化部２７３のブロック復号化回路２９３（図１８）でADRCコード（符号化データVcdo）が復号化される際には、「００」，「０１」，「１０」、または「１１」のADRCコード（符号化データVcdo）は、それぞれ、ダイナミックレンジVcddrを４等分して得られる最も下のレベルの範囲の中心値L1、下から２番目のレベルの範囲の中心値L2、下から３番目のレベルの範囲の中心値L3、または最も上のレベルの範囲の中心値L4に、逆量子化される。
【０１３３】
上述した量子化の処理は、いわゆるADRC（Adaptive Dynamic Range Coding）処理による符号化処理（ADRC符号化処理）である。
【０１３４】
次に、図８のフローチャートを参照して、図５の基準フレーム符号化部２０３の基準フレーム符号化処理について説明する。
【０１３５】
初めに、ステップＳ１において、ブロック化回路２２２は、入力端子２２１を介して符号化選択回路２０２から供給されるデジタル画像信号Vdg1に対応する１フレームの画像を、それぞれが４×４画素で構成される複数のブロックBL単位に分割し、最大値検出回路２２３、最小値検出回路２２４、および減算器２２６に供給する。
【０１３６】
ステップＳ２において、複数に分割されたブロックBLのうちの１のブロックBLが注目ブロックBLcとされる。また、ステップＳ２において、最大値検出回路２２３は、その注目ブロックBLcを構成する画素の画素値（入力画素値）の最大値Vcdmaxを検出し、減算器２２５に供給する。
【０１３７】
ステップＳ３において、最小値検出回路２２４は、注目ブロックBLcを構成する画素の画素値の最小値Vcdmin（注目ブロックBLcの最小値Vcdmin）を検出し、減算器２２５、減算器２２６、およびデータ合成回路２２８に供給する。
【０１３８】
ステップＳ４において、減算器２２５は、注目ブロックBLcのダイナミックレンジVcddr（＝Vcdmax−Vcdmin）を算出し、ブロック符号化回路２２７およびデータ合成回路２２８に供給する。
【０１３９】
ステップＳ５において、減算器２２６は、注目ブロックBLcを構成する各画素の差分データを算出する。即ち、減算器２２６は、注目ブロックBLcを構成する各画素の画素値から、注目ブロックBLcの最小値Vcdminを減算し、その結果得られる差分データをブロック符号化回路２２７に供給する。
【０１４０】
ステップＳ６において、ブロック符号化回路２２７は、減算器２２６からの差分データを符号化し、その結果得られる符号化データVcdoをデータ合成回路２２８に供給する。即ち、ステップＳ６において、ブロック符号化回路２２７は、減算器２２５からのダイナミックレンジVcddrに応じた量子化ステップ（量子化ビット数）で、減算器２２６からの差分データを量子化する。そして、ブロック符号化回路２２７は、符号化データVcdoをデータ合成回路２２８に供給する。
【０１４１】
ステップＳ７において、データ合成回路２２８は、符号化選択回路２０２から供給された１フレームを構成する画像の全てのブロックBLについて処理したか、即ち、１フレームの画像の全てのブロックBLを注目ブロックBLcとして上述したステップＳ２乃至Ｓ６の処理を行ったか否かを判定する。
【０１４２】
ステップＳ７で、全てのブロックBLについて処理していないと判定された場合、ステップＳ２に戻り、まだ処理していないブロックBLが注目ブロックBLcとされる。そして、その注目ブロックBLcに対して、ステップＳ２乃至Ｓ７の処理が繰り返される。
【０１４３】
一方、ステップＳ７で、全てのブロックBLについて処理したと判定された場合、ステップＳ８に進み、データ合成回路２２８は、１フレーム分の符号化デジタル画像信号Vcd1を、出力端子２２９を介して出力する。
【０１４４】
ステップＳ８の処理後、ステップＳ９に進み、基準フレーム符号化部２０３は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されたか否かを判定する。
【０１４５】
ステップＳ９で、まだ処理するフレームの画像があると判定された場合、ステップＳ１に戻り、それ以降の処理が繰り返される。
【０１４６】
一方、ステップＳ９で、処理するフレームの画像がないと判定された場合、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されない場合、処理を終了する。
【０１４７】
（予測フレーム符号化部２０５の第１の実施形態）
図９は、図４の予測フレーム符号化部２０５の第１の実施形態の構成例を示すブロック図である。
【０１４８】
図９の予測フレーム符号化部２０５は、入力端子２４１、ブロック化回路２４２、動きベクトル検出回路２４３、残差算出回路２４４、ソート処理回路２４５、回帰回路２４６、減算器２４７、ブロック符号化回路２４８、データ合成回路２４９、ローカルデコード部２５０、フレームメモリ２５１、および出力端子２５２により構成されている。
【０１４９】
符号化選択回路２０２（図４）からのデジタル画像信号Vdg1は、入力端子２４１を介して、ブロック化回路２４２に供給される。
【０１５０】
ブロック化回路２４２は、予測フレームの画像を、それぞれが所定の画素数を有する複数のブロックBL’に分割し、動きベクトル検出回路２４３および残差算出回路２４４に供給する。これにより、ブロック化回路２４２以降では、ブロック化回路２４２によって分割された複数のブロックBL’のそれぞれを注目ブロックBLc’として、処理が行われる。なお、本実施の形態では、ブロックBL’のサイズは、例えば、８×８画素（水平方向×垂直方向）であるとする。
【０１５１】
動きベクトル検出回路２４３は、注目ブロックBLc’について、フレームメモリ２５１から供給される前フレームの画像（参照画像）から、注目ブロックBLc’の動きベクトルVcdmvを検出し、残差算出回路２４４およびデータ合成回路２４９に供給する。
【０１５２】
残差算出回路２４４は、注目ブロックBLc’を構成する各画素の画素値と、前フレームの画像内の動きベクトルVcdmvが表すブロックBL’mv内の、注目ブロックBLc’を構成する各画素に対応する画素の画素値との残差（差分）を算出し、ソート処理回路２４５および減算器２４７に供給する。
【０１５３】
ソート処理回路２４５は、残差算出回路２４４からの注目ブロックBLc’を構成する各画素の残差を、画素値の小さい順にソートし、ソートされた残差を回帰回路２４６に供給する。
【０１５４】
回帰回路２４６は、ソートされた残差を直線として表す回帰式を演算する。この場合、後述するように、残差の最小値VcdminおよびダイナミックレンジVcddrが、回帰式の係数として得られる。回帰回路２４６は、回帰式の係数として得られる残差の最小値Vcdminを減算器２４７およびデータ合成回路２４９に、残差のダイナミックレンジVcddrをブロック符号化回路２４８およびデータ合成回路２４９に、それぞれ供給する。
【０１５５】
減算器２４７は、残差算出回路２４４からの、注目ブロックBLc’を構成する各画素の残差から、残差の最小値Vcdminを減算し（残差の最小値Vcdmin分オフセットし）、その結果得られる差分データをブロック符号化回路２４８に供給する。
【０１５６】
ブロック符号化回路２４８は、減算器２４７からの差分データを符号化し、その結果得られる符号化データVcdoをデータ合成回路２４９に供給する。
【０１５７】
具体的には、ブロック符号化回路２４８は、減算器２４７からのダイナミックレンジVcddrに応じた量子化ステップ（量子化ビット数）で、減算器２４７からの差分データを量子化（符号化）する。
【０１５８】
例えば、残差算出回路２４４の出力である残差が−２５５乃至２５５の値を取り得る場合、０< Vcddr <８のときの量子化ビット数ｎを０、９< Vcddr <２６のときの量子化ビット数ｎを１、２７< Vcddr <７０のときの量子化ビット数ｎを２、７１< Vcddr <２０６のときの量子化ビット数ｎを３、２０７< Vcddr <５１１のときの量子化ビット数ｎを４とするように、ダイナミックレンジVcddrが大きいほど量子化ビット数ｎを大きくなるように量子化ステップが決定される。なお、量子化ビット数は、固定とすることも可能である。
【０１５９】
そして、ブロック符号化回路２４８では、ダイナミックレンジVcddrを２n分類するようにレベルの範囲が設定され、差分データが２n分類された、どのレベルの範囲に属するかによって、ｎビットのADRCコードが割り当てられる。この割り当てられたADRCコードが符号化データVcdoとして、データ合成回路２２８に供給される。
【０１６０】
データ合成回路２４９は、１フレーム（予測フレーム）を構成する複数のブロックBL’それぞれの、動きベクトル検出回路２４３からの動きベクトルVcdmv、回帰回路２４６からの残差の最小値VcdminおよびダイナミックレンジVcddr、並びにブロック符号化回路２４８からの符号化データVcdoを合成し、符号化デジタル画像信号Vcd1としてローカルデコード部２５０および出力端子２５２に供給（出力）する。
【０１６１】
ローカルデコード部２５０は、フレームメモリ２５１に記憶されている復号化デジタル画像信号による画像を用いて、データ合成回路２４９からの符号化デジタル画像信号Vcd1を復号化し、復号化デジタル画像信号としてフレームメモリ２５１に供給する（フレームメモリ２５１を更新する）。フレームメモリ２５１に記憶される復号化デジタル画像信号は、予測フレーム符号化部２０５が次の予測フレームのデジタル画像信号Vdg1を符号化する際の参照画像となる画像信号である。なお、ローカルデコード部２５０は、後述する予測フレーム復号化部２７４（図２０）が有する構成の一部と同様の構成を有している。
【０１６２】
フレームメモリ２５１は、動きベクトル検出回路２４３が上述した動きベクトルVcdmvを検出するために現フレームの画像との比較の対象となる参照画像を記憶する。ここで、参照画像は、現フレームより１フレーム前（所定時間前）の画像であり、前フレームの画像が基準フレームの画像である場合には、その画像信号が、ローカルデコード部２０４（図４）からフレームメモリ２５１に供給される。また、前フレームの画像が予測フレームの画像である場合には、その画像信号が、ローカルデコード部２５０からフレームメモリ２５１に供給される。
【０１６３】
図１０乃至図１５を参照して、予測フレーム符号化部２０５の処理についてさらに説明する。
【０１６４】
図１０は、ブロック化回路２４２がデジタル画像信号Vdg1に対応する画像を複数のブロックBL’に分割した例を示している。
【０１６５】
ブロック化回路２４２では、例えば、６４０×４８０画素などの所定の画素数を有する画像が、図１０に示すように、８×８画素の複数のブロックBL’に分割される。そして、この複数のブロックBL’それぞれが、注目ブロックBLc’とされることになる。なお、図１０における丸（○）は、画像を構成する各画素を表している。
【０１６６】
動きベクトル検出回路２４３は、ブロック化回路２４２から供給される現フレームのブロックBL’の１つを注目ブロックBLc’とし、フレームメモリ２５１から供給される前フレームの画像に対して、サーチ範囲SRを設定する。ここで、サーチ範囲SRは、例えば、図１１に示すように、前フレームの画像の注目ブロックBLc’と同一の位置BLP’から、左右（水平方向）および上下（垂直方向）に所定の画素数だけ大きい範囲とする。図１１では、注目ブロックBLc’より左右および上下方向の両側にそれぞれ８画素だけ大きい範囲がサーチ範囲SRとされている。
【０１６７】
そして、動きベクトル検出回路２４３は、図１２に示すように、例えば、注目ブロックBLc’と、サーチ範囲SR内の注目ブロックBLc’と同一サイズを有するブロックとのブロックマッチングなどを行うことにより、注目ブロックBLc’の動きベクトルVcdmvを検出する。ブロックマッチングでは、例えば、注目ブロックBLc’とサーチ範囲SR内のブロックとの対応する画素どうしの画素値の差分絶対値の総和が最小となるサーチ範囲SR内のブロックがブロックBL’mvとして検出される
【０１６８】
残差算出回路２４４は、注目ブロックBLc’と、動きベクトル検出回路２４３から供給される動きベクトルVcdmvによって特定されるブロックBL’mv（動きベクトル先のブロックBL’mvとも称する）との、対応する画素どうしの画素値の残差（差分）を算出する。
【０１６９】
図１３左上のマトリックスは、残差算出回路２４４で算出された、注目ブロックBLc’とブロックBL’ｍｖとの残差を示している。
【０１７０】
ソート処理回路２４５は、この６４個の残差を、図１３右上に示すように、その値が小さい順となるようにソートする。そして、ソート処理回路２４５は、重複している残差のデータを除去する。その結果、残差のデータの個数は、図１３左下に示すように、２８個（０乃至２７のソート順）に削減されている。
【０１７１】
さらに、ソート処理回路２４５は、横軸のソート順の値を正規化する。即ち、図１３右下に示すように、ソート順の最小値（０）が０、最大値（２７）が１となるように、０乃至２７のソート順それぞれを変換する。
【０１７２】
ソート処理回路２４５は、正規化されたソート順の順番と残差の組を回帰回路２４６に供給する。具体的には、ソート処理回路２４５は、重複が除去された後のすべての残差について、０乃至１の範囲内の値で表されるソート順をX、そのときの残差の値をYとするXとYの全ての組を回帰回路２４６に供給する。
【０１７３】
回帰回路２４６は、図１４に示すように、ソート処理回路２４５から供給されるXとYの組のデータ（残差）から、XY平面における１次の回帰式Y＝aX＋ｂを算出する。この場合、X軸は、上述したように、０乃至１の範囲に正規化されているため、得られる回帰式の係数aは、残差の最小値Vcdminを表し、係数ｂは、残差のダイナミックレンジVcddrを表すことになる。このようにして算出された残差の最小値Vcdminが減算器２４７およびデータ合成回路２４９に供給されるとともに、残差のダイナミックレンジVcddrがブロック符号化回路２４８およびデータ合成回路２４９に供給される。
【０１７４】
なお、回帰式によって算出される残差の最小値VcdminおよびダイナミックレンジVcddrは、図１４に示すように、実際の残差からそのまま算出した場合の最小値およびダイナミックレンジとは異なる場合が多い。
【０１７５】
図１５は、量子化ビット数ｎが２である場合の、ブロック符号化回路２２７における符号化（量子化）とそれに対応する復号化（逆量子化）を説明する図である。
【０１７６】
量子化ビット数ｎが２である場合、ダイナミックレンジVcddrが４（＝２2）に分類されるようにレベルの範囲が設定され、差分データが４つに分類されたどの範囲に属するかによって、２ビットのADRCコードが割り当てられる。
【０１７７】
即ち、差分データの最小値Min乃至閾値th1の最も下のレベルの範囲に差分データが属する場合、「００」のADRCコードが割り当てられる。また、閾値th1乃至th2の下から２番目のレベルの範囲に差分データが属する場合、「０１」のADRCコードが割り当てられる。さらに、閾値th2乃至th3の下から３番目のレベルの範囲に差分データが属する場合、「１０」のADRCコードが割り当てられる。そして、閾値th3乃至差分データの最大値Maxの最も上のレベルの範囲に差分データが属する場合に、「１１」のADRCコードが割り当てられる。
【０１７８】
なお、下から２番目のレベルの範囲および下から３番目のレベルの範囲それぞれのデータの幅は、最も下のレベルの範囲のデータの幅と、最も上のレベルの範囲のデータの幅とを合わせたデータの幅と等しくなっている。即ち、ダイナミックレンジVcddrが、下から２番目のレベルの範囲、下から３番目のレベルの範囲、および、最も下のレベルの範囲と最も上のレベルの範囲とを合わせた範囲で、３（＝２2−１）等分されるように４つのレベルの範囲に分類されている。
【０１７９】
また、ブロック符号化回路２４８で用いられるダイナミックレンジVcddrは、回帰回路２４６で算出された回帰式から得られた値であり、実際の残差から算出した値ではないため、上述したように、差分データが最小値Minより小さいものや、最大値Maxより大きいものが存在する場合が考えられる。この場合、最小値Minより小さい差分データは、最小値Minに、最大値Maxより大きい差分データは、最大値Maxに置き換えられる。
【０１８０】
後述する予測フレーム復号化部２７４のブロック復号化回路３０４（図２０）では、「００」，「０１」，「１０」、または「１１」のADRCコード（符号化データVcdo）は、それぞれ、ダイナミックレンジVcddrを３（＝２2−１）等分して得られる最も下のレベルの範囲の下限値L1、最も下のレベルの範囲と真ん中のレベルの範囲との境界値L2、真ん中のレベルの範囲と最も上のレベルの範囲との境界値L3、または最も上のレベルの範囲の上限値L4に、逆量子化される。
【０１８１】
次に、図１６のフローチャートを参照して、図９の予測フレーム符号化部２０５の予測フレーム符号化処理について説明する。
【０１８２】
初めに、ステップＳ２１において、ブロック化回路２４２は、入力端子２４１を介して符号化選択回路２０２から供給される、デジタル画像信号Vdg1に対応する１フレームの画像を、それぞれが８×８画素で構成される複数のブロックBL’に分割し、動きベクトル検出回路２４３および残差算出回路２４４に供給する。
【０１８３】
ステップＳ２２において、複数に分割されたブロックBL’のうちの１のブロックBL’が注目ブロックBLc’とされる。また、ステップＳ２２において、動きベクトル検出回路２４３は、注目ブロックBLc’について、フレームメモリ２５１から供給される前フレームの画像から、注目ブロックBLc’の動きベクトルVcdmvを検出し、残差算出回路２４４およびデータ合成回路２４９に供給する。
【０１８４】
ステップＳ２３において、残差算出回路２４４は、注目ブロックBLc’を構成する各画素の画素値と、前フレームの画像内の動きベクトルVcdmvが表すブロックBL’mv（動きベクトル先のブロックBL’mv）内の、注目ブロックBLc’を構成する各画素に対応する画素の画素値との残差を算出し、ソート処理回路２４５および減算器２４７に供給する。
【０１８５】
ステップＳ２４において、ソート処理回路２４５は、残差算出回路２４４からの注目ブロックBLc’を構成する各画素の残差を小さい順にソートし、ソートされた残差を回帰回路２４６に供給する。
【０１８６】
ステップＳ２５において、回帰回路２４６は、ソートされた残差の回帰式を演算する。即ち、回帰回路２４６は、回帰式の係数aで表される残差の最小値Vcdmin、および回帰式の係数ｂで表される残差のダイナミックレンジVcddrを演算し、残差の最小値Vcdminを減算器２４７およびデータ合成回路２４９に、残差のダイナミックレンジVcddrをブロック符号化回路２４８およびデータ合成回路２４９に、それぞれ供給する。
【０１８７】
ステップＳ２６において、減算器２４７は、注目ブロックBLc’を構成する各画素の差分データを算出する。即ち、減算器２４７は、残差算出回路２４４からの、注目ブロックBLc’を構成する各画素の残差から、残差の最小値Vcdminを減算し、その結果得られる差分データをブロック符号化回路２４８に供給する。
【０１８８】
ステップＳ２７において、ブロック符号化回路２４８は、減算器２４７からの差分データを符号化し、その結果得られる符号化データVcdoをデータ合成回路２４９に供給する。
【０１８９】
ステップＳ２８において、データ合成回路２４９は、符号化選択回路２０２から供給された１フレームの画像を構成する全てのブロックBL’について処理したか、即ち、１フレームの画像の全てのブロックBL’を注目ブロックBLc’として上述したステップＳ２２乃至Ｓ２７の処理を行ったか否かを判定する。
【０１９０】
ステップＳ２８で、全てのブロックBL’について処理していないと判定された場合、ステップＳ２２に戻り、まだ処理していないブロックBL’が注目ブロックBLc’とされる。そして、その注目ブロックBLc’に対して、ステップＳ２２乃至Ｓ２８の処理が繰り返される。
【０１９１】
一方、ステップＳ２８で、全てのブロックBL’について処理したと判定された場合、ステップＳ２９に進み、データ合成回路２４９は、１フレーム分の符号化デジタル画像信号Vcd1をローカルデコード部２５０および出力端子２５２に供給（出力）する。
【０１９２】
ステップＳ２９の処理後、ステップＳ３０に進み、予測フレーム符号化部２０５は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されたか否かを判定する。
【０１９３】
ステップＳ３０で、まだ処理するフレームの画像があると判定された場合、ステップＳ３１に進み、ローカルデコード部２５０は、符号化デジタル画像信号Vcd1をローカルデコードする。そして、ステップＳ３２に進み、ローカルデコード部２５０は、符号化デジタル画像信号Vcd1をローカルデコードして得られる復号化デジタル画像信号をフレームメモリ２５１に記憶させて、ステップＳ２１に戻る。なお、ステップＳ３２において、次に（現フレームとして）予測フレーム符号化部２０５に入力される画像の１つ前のフレームの画像が基準フレームとなる場合には、その前フレームの画像は、ローカルデコード部２０４（図４）から供給されるため、予測フレーム符号化部２０５のローカルデコード部２５０は、復号化デジタル画像信号をフレームメモリ２５１に記憶させない。
【０１９４】
一方、ステップＳ３０で、処理するフレームの画像がないと判定された場合、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されない場合、処理を終了する。
【０１９５】
以上のように、図１６の予測フレーム符号化処理によれば、予測フレーム符号化部２０５は、予測フレームを構成する複数のブロックBL’それぞれを注目ブロックBLc’とし、注目ブロックBLc’と動きベクトル先のブロックBL’mvとの対応する画素の残差を算出する。そして、予測フレーム符号化部２０５は、残差の回帰式を求めて、注目ブロックBLc’の残差の最小値VcdminおよびダイナミックレンジVcddrを演算する。そして、予測フレーム符号化部２０５は、注目ブロックBLc’の差分データ（注目ブロックBLc’を構成する各画素の残差と残差の最小値Vcdminとの差分のデータ）を符号化する。
【０１９６】
ここで、予測フレーム符号化部２０５において演算される、注目ブロックBLc’における残差の最小値VcdminおよびダイナミックレンジVcddは、注目ブロックBLc’の実際の残差の最小値およびダイナミックレンジとは異なる、いわば理想的な残差の最小値およびダイナミックレンジであると言える。従って、予測フレーム符号化処理では、ブロックBL’ごとに残差の特性に合わせた最適な（理想的な）符号化（量子化）を行うことができる。これにより、予測フレーム符号化部２０５の予測フレーム符号化処理によって符号化された符号化デジタル画像信号Vcd1を復号化したときの画像の画質の劣化は少ない（生じない）。
【０１９７】
（復号化部１５５の実施形態）
図１７は、図２の記録装置１１３における、復号化部１５５の構成例を示すブロック図である。
【０１９８】
図１７の復号化部１５５は、入力端子２７１、復号化選択回路２７２、基準フレーム復号化部２７３、予測フレーム復号化部２７４、および出力端子２７５により構成されている。
【０１９９】
符号化部１５２（図２）からの符号化デジタル画像信号Vcd1は、入力端子２７１を介して、復号化選択回路２７２に供給される。この符号化デジタル画像信号Vcd1は、上述した符号化部１５２と同様に、基準フレームの画像と予測フレームの画像とに設定される。復号化選択回路２７２は、符号化デジタル画像信号Vcd1に対応する画像が基準フレームの画像である場合、入力端子２７１から供給される符号化デジタル画像信号Vcd1を基準フレーム復号化部２７３に供給し、符号化デジタル画像信号Vcd1に対応する画像が予測フレームの画像である場合、入力端子２７１から供給される符号化デジタル画像信号Vcd1を予測フレーム復号化部２７４に供給する。
【０２００】
基準フレーム復号化部２７３は、復号化選択回路２７２から供給される、基準フレームの符号化デジタル画像信号Vcd1を復号化し、それにより得られるデジタル画像信号を復号化デジタル画像信号Vdg2として予測フレーム復号化部２７４および出力端子２７５に供給する。
【０２０１】
予測フレーム復号化部２７４は、復号化選択回路２７２から供給される、予測フレームの符号化デジタル画像信号Vcd1を復号化し、それにより得られるデジタル画像信号を復号化デジタル画像信号Vdg2として出力端子２７５に供給する。
【０２０２】
（基準フレーム復号化部２７３の第１の実施形態）
図１８は、図１７の基準フレーム復号化部２７３の第１の実施形態の構成例を示すブロック図である。
【０２０３】
図１８の基準フレーム復号化部２７３は、入力端子２９１、データ分解回路２９２、ブロック復号化回路２９３、加算器２９４、ブロック分解回路２９５、および出力端子２９６により構成される。
【０２０４】
復号化選択回路２７２（図１７）からの符号化デジタル画像信号Vcd1は、入力端子２９１を介して、データ分解回路２９２に供給（入力）される。
【０２０５】
データ分解回路２９２は、符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBLそれぞれの、ブロックBLを構成する画素の画素値のダイナミックレンジVcddrおよび最小値Vcdmin、並びに各画素の差分データが符号化された符号化データVcdoに分解し、取得する。
【０２０６】
そして、データ分解回路２９２は、複数のブロックBLそれぞれの、画素値のダイナミックレンジVcddrおよび符号化データVcdoをブロック復号化回路２９３に供給するとともに、画素値の最小値Vcdminを加算器２９４に供給する。
【０２０７】
これにより、データ分解回路２９２以降の、ブロック復号化回路２９３、加算器２９４、およびブロック分解回路２９５では、基準フレーム符号化部２０３と同様に、分解された複数のブロックBLのそれぞれを注目ブロックBLcとして、処理が行われる。
【０２０８】
ブロック復号化回路２９３は、図７を参照して説明したように、注目ブロックBLcを構成する各画素について、画素値のダイナミックレンジVcddrに応じて注目ブロックBLcの符号化データVcdoを復号化（逆量子化）し、その結果得られる差分データを加算器２９４に供給する。
【０２０９】
加算器２９４は、注目ブロックBLcを構成する各画素について、差分データと画素値の最小値Vcdminとを加算して、注目ブロックBLcを構成する各画素の出力画素値を得る。そして、加算器２９４は、注目ブロックBLcを構成する各画素の出力画素値をブロック分解回路２９５に供給する。
【０２１０】
ブロック分解回路２９５は、加算器２９４から供給される注目ブロックBLcを構成する各画素の出力画素値を、複数のブロックBLに分割する前のフレーム上の位置（ラスター順）に戻し、分割された複数のブロックBLから１フレームの画像を構成する。そして、ブロック分解回路２９５は、１フレーム分の画像としての復号化デジタル画像信号Vdg2を出力端子２９６に供給する。出力端子２９６は、ブロック分解回路２９５からの復号化デジタル画像信号Vdg2を出力する。
【０２１１】
次に、図１９のフローチャートを参照して、基準フレーム復号化部２７３の基準フレーム復号化処理について説明する。
【０２１２】
初めに、ステップＳ４１において、データ分解回路２９２は、入力端子２９１を介して供給される符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBLそれぞれの、ブロックBLを構成する画素の画素値のダイナミックレンジVcddrおよび最小値Vcdmin、並びに差分データが符号化された符号化データVcdoに分解し、取得する。
【０２１３】
また、ステップＳ４１において、データ分解回路２９２は、複数のブロックBLそれぞれの、画素値のダイナミックレンジVcddrおよび符号化データVcdoをブロック復号化回路２９３に供給するとともに、画素値の最小値Vcdminを加算器２９４に供給する。
【０２１４】
ステップＳ４２において、複数に分解されたブロックBLのうちの１つのブロックBLが注目ブロックBLcとされる。また、ステップＳ４２において、ブロック復号化回路２９３は、注目ブロックBLcを構成する各画素について、画素値のダイナミックレンジVcddrに応じて注目ブロックBLcの符号化データVcdoを復号化（逆量子化）し、その結果得られる差分データを加算器２９４に供給する。
【０２１５】
ステップＳ４３において、加算器２９４は、注目ブロックBLcを構成する各画素について、差分データと画素値の最小値Vcdminとを加算して、注目ブロックBLcを構成する各画素の出力画素値を得る。また、ステップＳ４３において、加算器２９４は、注目ブロックBLcを構成する各画素の出力画素値をブロック分解回路２９５に供給する。
【０２１６】
ステップＳ４４において、ブロック分解回路２９５は、加算器２９４から供給される注目ブロックBLcを構成する各画素の出力画素値を、ブロックBLに分割する前のフレーム上の位置に戻す。
【０２１７】
ステップＳ４５において、ブロック分解回路２９５は、１フレームの画像を構成する全てのブロックBLについて処理したか、即ち、１フレームの画像の全てのブロックBLを注目ブロックBLcとして上述したステップＳ４２乃至Ｓ４４の処理を行ったか否かを判定する。
【０２１８】
ステップＳ４５で、全てのブロックBLについて処理していないと判定された場合、ステップＳ４２に戻り、まだ処理していないブロックBLが注目ブロックBLcとされる。そして、その注目ブロックBLcに対して、ステップＳ４２乃至Ｓ４５の処理が繰り返される。
【０２１９】
一方、ステップＳ４５で、全てのブロックBLについて処理したと判定された場合、ステップＳ４６に進み、ブロック分解回路２９５は、１フレーム分の復号化デジタル画像信号Vdg2を、出力端子２９６を介して出力する。
【０２２０】
そして、ステップＳ４７に進み、基準フレーム復号化部２７３は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が復号化選択回路２７２から供給されたか否かを判定する。
【０２２１】
ステップＳ４７において、まだ処理するフレームの画像があると判定された場合、ステップＳ４１に戻り、それ以降の処理が繰り返される。
【０２２２】
一方、ステップＳ４７において、処理するフレームの画像がないと判定された場合、即ち、次に処理するフレームの画像が復号化選択回路２７２から供給されない場合、処理を終了する。
【０２２３】
（予測フレーム復号化部２７４の第１の実施形態）
図２０は、図１７の予測フレーム復号化部２７４の第１の実施形態の構成例を示すブロック図である。
【０２２４】
図２０の予測フレーム復号化部２７４は、入力端子３０１、データ分解回路３０２、動きベクトル先抽出回路３０３、ブロック復号化回路３０４、加算回路３０５および３０６、ブロック分解回路３０７、フレームメモリ３０８、並びに出力端子３０９により構成されている。
【０２２５】
復号化選択回路２７２（図１７）からの符号化デジタル画像信号Vcd1は、入力端子３０１を介して、データ分解回路３０２に供給（入力）される。
【０２２６】
データ分解回路３０２は、符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBL’それぞれの、動きベクトルVcdmv、注目ブロックBLc’と動きベクトル先のブロックBL’mvとの対応する画素どうしの残差（差分）の最小値VcdminおよびダイナミックレンジVcddr、並びに符号化データVcdoに分解し、取得する。
【０２２７】
そして、データ分解回路３０２は、複数のブロックBL’それぞれの、動きベクトルVcdmvを動きベクトル先抽出回路３０３に供給し、残差のダイナミックレンジVcddrと符号化データVcdoとをブロック復号化回路３０４に供給し、残差の最小値Vcdminを加算器３０５に供給する。
【０２２８】
これにより、データ分解回路３０２以降の、動きベクトル先抽出回路３０３、ブロック復号化回路３０４、加算回路３０５および３０６、並びにブロック分解回路３０７では、予測フレーム符号化部２０５と同様に、分解された複数のブロックBL’のそれぞれを注目ブロックBLc’として、処理が行われる。
【０２２９】
動きベクトル先抽出回路３０３は、フレームメモリ３０８に記憶されている前フレームの画像（参照画像）から、動きベクトルVcdmvによって特定されるブロックBL’mv（注目ブロックBLc’に対応する動きベクトル先のブロックBL’mv）を抽出し、加算器３０６に供給する。
【０２３０】
ブロック復号化回路３０４は、図１５を参照して説明したように、注目ブロックBLc’を構成する各画素について、残差のダイナミックレンジVcddrに応じて符号化データVcdoを復号化（逆量子化）し、その結果得られる差分データを加算器３０５に供給する。
【０２３１】
加算器３０５は、注目ブロックBLc’を構成する各画素について、差分データと残差の最小値Vcdminとを加算して、その加算結果を加算器３０６に供給する。
【０２３２】
加算器３０６は、注目ブロックBLc’を構成する各画素について、加算器３０５の加算結果（加算器３０５の出力）と、動きベクトル先のブロックBL’mvの、注目ブロックBLc’の画素と対応する画素の画素値とを加算して、注目ブロックBLc’を構成する各画素の出力画素値を得る。そして、加算器３０６は、注目ブロックBLc’を構成する各画素の出力画素値をブロック分解回路３０７に供給する。
【０２３３】
ブロック分解回路３０７は、加算器３０６から供給される注目ブロックBLc’を構成する各画素の出力画素値を、複数のブロックBL’に分割する前のフレーム上の位置（ラスター順）に戻し、分割された複数のブロックBLから１フレームの画像を構成する。そして、ブロック分解回路２９５は、１フレーム分の画像としての復号化デジタル画像信号Vdg2を、フレームメモリ３０８および出力端子３０９に供給する。
【０２３４】
フレームメモリ３０８は、動きベクトル先抽出回路３０３が動きベクトル先のブロックBL’mvを抽出するための参照画像（前フレームの画像）を記憶する。ここで、前フレームの画像が基準フレームの画像である場合には、その画像信号が、基準フレーム復号化部２７３（図１７）からフレームメモリ３０８に供給される。また、前フレームの画像が予測フレームの画像である場合には、その画像信号が、ブロック分解回路３０７からフレームメモリ３０８に供給される。
【０２３５】
出力端子３０９は、ブロック分解回路３０７からの復号化デジタル画像信号Vdg2を出力する。
【０２３６】
なお、上述した図９のローカルデコード部２５０は、図２０において点線で示されている、データ分解回路３０２、動きベクトル先抽出回路３０３、ブロック復号化回路３０４、加算回路３０５および３０６、並びにブロック分解回路３０７の構成と同様に構成されている。
【０２３７】
次に、図２１のフローチャートを参照して、図２０の予測フレーム復号化部２７４の予測フレーム復号化処理について説明する。
【０２３８】
初めに、ステップＳ６１において、データ分解回路３０２は、入力端子３０１を介して供給される符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBL’それぞれの、ブロックBL’の動きベクトルVcdmv、残差の最小値VcdminおよびダイナミックレンジVcddr、並びに符号化データVcdoに分解して、取得する。
【０２３９】
また、ステップＳ６１において、データ分解回路３０２は、複数のブロックBL’それぞれの、動きベクトルVcdmvを動きベクトル先抽出回路３０３に供給し、残差のダイナミックレンジVcddrおよび符号化データVcdoをブロック復号化回路３０４に供給し、残差の最小値Vcdminを加算器３０５に供給する。
【０２４０】
ステップＳ６２において、複数のブロックBL’のうちの１のブロックBL’が注目ブロックBLc’とされる。また、ステップＳ６２において、動きベクトル先抽出回路３０３は、フレームメモリ３０８に記憶されている前フレームの画像から、動きベクトルVcdmvによって特定されるブロックBL’mv（動きベクトル先のブロックBL’mv）を抽出し、加算器３０６に供給する。
【０２４１】
ステップＳ６３において、ブロック復号化回路３０４は、注目ブロックBLc’を構成する各画素について、残差のダイナミックレンジVcddrに応じて符号化データVcdoを復号化（逆量子化）し、その結果得られる各画素の差分データを加算器３０５に供給する。
【０２４２】
ステップＳ６４において、加算器３０５は、注目ブロックBLc’を構成する各画素について、差分データと残差の最小値Vcdminとを加算して、その加算結果を加算器３０６に供給する。
【０２４３】
ステップＳ６５において、加算器３０６は、注目ブロックBLc’を構成する各画素について、加算器３０５の加算結果と、動きベクトル先のブロックBL’mvの、注目ブロックBLc’の画素と対応する画素の画素値とを加算して、注目ブロックBLc’を構成する各画素の出力画素値を得る。また、ステップＳ６５において、加算器３０６は、注目ブロックBLc’を構成する各画素の出力画素値をブロック分解回路３０７に供給する。
【０２４４】
ステップＳ６６において、ブロック分解回路３０７は、加算器３０６から供給される注目ブロックBLc’を構成する各画素の出力画素値を、複数のブロックBL’に分割する前のフレーム上の位置（ラスター順）に戻す。
【０２４５】
ステップＳ６７において、ブロック分解回路３０７は、１フレームの画像を構成する全てのブロックBL’について処理したか、即ち、１フレームの画像の全てのブロックBL’を注目ブロックBLc’として上述したステップＳ６２乃至Ｓ６６の処理を行ったか否かを判定する。
【０２４６】
ステップＳ６７で、全てのブロックBL’について処理していないと判定された場合、ステップＳ６２に戻り、まだ処理していないブロックBL’が注目ブロックBLc’とされる。そして、その注目ブロックBLc’に対して、ステップＳ６２乃至Ｓ６７の処理が繰り返される。
【０２４７】
一方、ステップＳ６７で、全てのブロックBL’について処理したと判定された場合、ステップＳ６８に進み、ブロック分解回路３０７は、１フレーム分の復号化デジタル画像信号Vdg2を出力端子３０９に供給（出力）する。
【０２４８】
そして、ステップＳ６９に進み、予測フレーム復号化部２７４は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が復号化選択回路２７２から供給されたか否かを判定する。
【０２４９】
ステップＳ６９において、まだ処理するフレームの画像があると判定された場合、ステップＳ７０に進み、ブロック分解回路３０７は、１フレーム分の復号化デジタル画像信号Vdg2を、フレームメモリ３０８に供給し、記憶させる。なお、次に(現フレームとして)予測フレーム復号化部２７４に入力される画像の１つ前のフレームの画像が基準フレームの画像となる場合には、その前フレームの画像（復号化デジタル画像信号Vdg2）は、基準フレーム復号化部２７３（図１７）から供給されるため、ブロック分解回路３０７は、１フレーム分の復号化デジタル画像信号Vdg2をフレームメモリ３０８に供給しない。
【０２５０】
一方、ステップＳ６９において、処理するフレームの画像がないと判定された場合、即ち、次に処理するフレームが復号化選択回路２７２から供給されない場合、処理を終了する。
【０２５１】
（基準フレーム符号化部２０３の第２の実施形態）
図２２は、図４の基準フレーム符号化部２０３の第２の実施形態の構成例を示すブロック図である。
【０２５２】
基準フレーム符号化部２０３は、入力端子２２１、ブロック化回路２２２、ソート順算出回路３２１、予測画素値生成回路３２２、減算器３２３、ブロック符号化回路３２４、データ合成回路３２５、および出力端子２２９により構成されている。
【０２５３】
符号化選択回路２０２（図４）からのデジタル画像信号Vdg1は、入力端子２２１を介して、ブロック化回路２２２に供給される。
【０２５４】
ブロック化回路２２２は、基準フレームの画像を、複数のブロックBL’に分割し、ソート順算出回路３２１および減算器３２３に供給する。これにより、ブロック化回路２２２以降では、ブロック化回路２２２が分割した複数のブロックBL’それぞれを注目ブロックBLc’として、処理が行われる。なお、本実施の形態では、ブロックBL’のサイズは、上述した実施の形態と同様に、例えば、８×８画素（水平方向×垂直方向）である。
【０２５５】
ソート順算出回路３２１は、注目ブロックBLc’を構成する各画素を、画素値（入力画素値）の大きい順に並び換える。より詳しく言えば、ソート順算出回路３２１は、ブロック化回路２２２から供給されたときのラスター順に並んでいる注目ブロックBLc’を構成する各画素を、画素値の大きい順（ソート順）に並び換えるとともに、注目ブロックBLc’を構成する画素の画素値の最大値Vcdmaxおよび最小値Vcdmin（注目ブロックBLc’を構成する画素の特徴量を表すパラメータ）を算出する。また、ソート順算出回路３２１は、ソート順に並び換えられた各画素が、並び換えられる前の空間位相（以下、適宜、元の空間位相という）では（ラスター順では）、どこに存在していたかを表すソート順情報Vcdsを算出する。
【０２５６】
ソート順算出回路３２１は、注目ブロックBLc’を構成する画素の画素値の最大値Vcdmaxおよび最小値Vcdminを予測回路３３１およびデータ合成回路３２５に供給し、注目ブロックBLc’のソート順情報Vcdsを逆ソート回路３３２およびデータ合成回路３２５に供給する。
【０２５７】
予測画素値生成回路３２２は、予測回路３３１および逆ソート回路３３２により構成され、画素値の最大値Vcdmaxおよび最小値Vcdmin（パラメータ）、並びにソート順情報Vcdsに基づいて、ソートされる前の空間位相に配置された、注目ブロックBLc’を構成する各画素の予測画素値を算出（生成）する。
【０２５８】
予測回路３３１には、上述したように、画素値の最大値Vcdmaxおよび最小値Vcdminがソート順算出回路３２１から供給される。予測回路３３１は、画素値の最大値Vcdmaxと最小値Vcdminとを用いて直線を算出し、その直線によって求められる画素値を注目ブロックBLc’を構成する各画素の予測画素値として、逆ソート回路３３２に供給する。なお、ここでは、注目ブロックBLc’を構成する各画素の予測画素値は、画素値の大きい順にソートされた状態となっている。
【０２５９】
逆ソート回路３３２は、ソート順算出回路３２１からのソート順情報Vcdsに基づいて、予測回路３３１からの注目ブロックBLc’を構成する各画素の予測画素値を、元の空間位相（ラスター順）に並び換える（ソートされる前の空間位相に逆ソートする）。そして、逆ソート回路３３２は、元の空間位相に並び換えられた、注目ブロックBLc’を構成する各画素の予測画素値を減算器３２３に供給する。
【０２６０】
減算器３２３は、注目ブロックBLc’を構成する各画素について、差分データを算出し、ブロック符号化回路３２４に供給する。即ち、減算器３２３は、注目ブロックBLc’を構成する各画素について、ブロック化回路２２２からの入力画素値から、逆ソート回路３３２からの予測画素値を減算し、その結果得られる差分データをブロック符号化回路３２４に供給する。
【０２６１】
ブロック符号化回路３２４は、減算器３２３からの供給される、注目ブロックBLc’を構成する各画素の差分データを符号化し、符号化データVcdoをデータ合成回路３２５に供給する。
【０２６２】
即ち、ブロック符号化回路３２４は、減算器１４６から供給される注目ブロックBLc’を構成する各画素の差分データに対して、DCT（Discrete Cosine Transform）変換を施し、その結果得られるDCT係数を量子化する。また、ブロック符号化回路３２４は、量子化されたDCT係数を、例えばハフマン符号などによるエントロピー符号化（可変長符号化）を行い、その結果得られる符号化データVcdoをデータ合成回路３２５に供給する。なお、ブロック符号化回路３２４は、後述するように、高周波成分を除去する符号化を行う。
【０２６３】
データ合成回路３２５は、１フレーム（基準フレーム）を構成する複数のブロックBL’の、ソート順算出回路３２１からの画素値の最大値Vcdmax、画素値の最小値Vcdmin、ソート順情報Vcdsと、ブロック符号化回路３２４からの符号化データVcdoとを合成し、符号化デジタル画像信号Vcd1として出力端子２２９に供給する。
【０２６４】
出力端子２２９は、データ合成回路３２５から供給される符号化デジタル画像信号Vcd1を出力する。
【０２６５】
図２３乃至図２９を参照して、基準フレーム符号化部２０３の処理についてさらに説明する。
【０２６６】
図２３は、ブロック化回路２２２がデジタル画像信号Vdg1に対応する画像を複数のブロックBL’に分割した例を示している。
【０２６７】
ブロック化回路２２２では、例えば、６４０×４８０画素などの所定の画素数を有する画像が、図２３に示すように、８×８画素の複数のブロックBL’に分割される。この複数のブロックBL’のそれぞれが注目ブロックBLc’とされることになる。なお、図２３における丸（○）は、画像を構成する各画素を表している。
【０２６８】
図２４および図２５は、ソート順算出回路３２１が算出する、注目ブロックBLc’を構成する画素の画素値の最大値Vcdmaxおよび最小値Vcdmin、並びにソート順情報Vcdsを説明する図である。
【０２６９】
ソート順算出回路３２１には、ラスター順に並んでいる注目ブロックBLc’の各画素の画素値が、ブロック化回路２２２から供給される。そこで、横軸を、ラスター順の０乃至６３の順番で表す各画素の位置、縦軸を、その画素の画素値（入力画素値）として注目ブロックBLc’を構成する各画素の画素値をプロットすると、例えば、図２４左側に示すようになる。
【０２７０】
ソート順算出回路３２１は、入力画素値の大きい順に注目ブロックBLc’を構成する各画素を並び換える（ソートする）。この場合、横軸を各画素のソート順（０乃至６３）、縦軸を入力画素値とする図２４右側のグラフからわかるように、ソート順の０番目の入力画素値が、注目ブロックBLc’における入力画素値の最大値Vcdmaxとなり、ソート順の６３番目の入力画素値が、注目ブロックBLc’における入力画素値の最小値Vcdminとなる。
【０２７１】
また、ソート順算出回路３２１は、ソート順に並び換えられた各画素が、並び換えられる前の空間位相では（即ち、ラスター順では）、どこに存在していたかを表すソート順情報Vcdsを算出する。図２４では、注目ブロックBLc’を構成する各画素の位置に、その画素のソート後の順番（ソート順）が記憶されるようにして、ソート順情報Vcdsが提供されるようになされている。
【０２７２】
例えば、図２４のソート順情報Vcdsにおいて四角で囲まれている、注目ブロックBLc’の一番左上角の位置の画素には、「４０」のソート順が対応付けられており、元の空間位相でその位置にあった画素のソート順が、４０番目であることを表している。また、図２４のソート順情報Vcdsにおいて丸で囲まれている、注目ブロックBLc’の左上角の位置の画素から、右に４番目および下に２番目の位置の画素には、「０」のソート順が対応付けられており、元の空間位相において、その位置にあった画素のソート順が、０番目であることを表している。即ち、丸で囲まれている画素が、注目ブロックBLc’を構成する画素の画素値の最大値Vcdmaxを有する画素であることを表している。
【０２７３】
従って、ソート順に並べ換えられた注目ブロックBLc’を構成する各画素は、図２５に示すように、ソート順情報Vcdsを利用することにより、元の空間位相（ラスター順）に戻すことが可能となる。
【０２７４】
予測回路３３１は、図２６に示すように注目ブロックBLc’を構成する各画素をソートして得られる画素値の最大値Vcdmaxおよび最小値Vcdminを用いて直線を算出し、その直線によって求められる注目ブロックBLc’を構成する各画素の予測画素値を得る。
【０２７５】
即ち、予測回路３３１は、図２６に示すように、横軸を、注目ブロックBLc’を構成する各画素のソート順（０乃至６３）とし、縦軸を、注目ブロックBLc’を構成する各画素の予測画素値とした場合に、画素値の最大値Vcdmaxをソート順の０番目の予測画素値に割り当て、画素値の最小値Vcdminをソート順の６３番目の予測画素値に割り当てる。また、予測回路３３１は、ソート順が１乃至６２番目の画素の予測画素値それぞれを、最大値Vcdmaxの点と最小値Vcdminの点との２点を結ぶ直線上の値とする。
【０２７６】
即ち、予測回路３１における、ソート順Si番目の予測画素値PSiは、次式で求められる。
【０２７７】
PSi＝｛Vcdmax×（N−１−Si）＋Vcdmin×Si｝／（N-1）
【０２７８】
ここで、Nは、注目ブロックBLc’の総画素数（ここでは、６４）を表す。
【０２７９】
図２６では、Vcdmax＝２３８，Vcdmin＝１６７であるので、例えば、ソート順０，１，・・・，６２，６３番目の予測画素値P0，P1，・・・，P62，P63は、それぞれ次のようになる。
【０２８０】
P0＝｛２３８×（６３−０）＋１６７×０｝／６３＝２３８
P1＝｛２３８×（６３−１）＋１６７×１｝／６３＝２３７
・
P62＝｛２３８×（６３−６２）＋１６７×６２｝／６３＝１６８
P63＝｛２３８×（６３−６３）＋１６７×６３｝／６３＝１６７
【０２８１】
以上のようにして算出される注目ブロックBLc’を構成する各画素の予測画素値が、逆ソート回路３３２に供給される。
【０２８２】
逆ソート回路３３２は、図２７に示すように、ソート順算出回路３２１からのソート順情報Vcdsに基づいて、予測回路３３１からの予測画素値を、元の空間位相（ラスター順）に並び換える。
【０２８３】
図２７下側に示す２次元波形は、予測回路３３１からのソート順に応じた予測画素値を、元の空間位相（ラスター順）に並び換えた、注目ブロックBLc’を構成する各画素の予測画素値の波形（以下、予測波形と称する）を示している。ここで、X軸は、注目ブロックBLc’を構成する画素の水平方向の位置を表し、Y軸は、注目ブロックBLc’を構成する画素の垂直方向の位置を表し、Z軸は、予測回路３３１により計算された予測画素値を表す。なお、図２７下側の２次元波形では、例えば、ソート順情報Vcdsの左上角の位置にある画素は、左下角（座標（０，０））の位置に配置されており、注目ブロックBLc’を構成する各画素の配置が、図２７右上に示すソート情報Vcdsの配置と異なっている。
【０２８４】
逆ソート回路３３２で元の空間位相に並び換えられた注目ブロックBLc’を構成する各画素の予測画素値は、減算器３２３に供給される。
【０２８５】
そして、減算器３２３において、注目ブロックBLc’を構成する各画素について、図２８に示すように、ブロック化回路２２２が出力する入力画素値から、予測画素値が減算され、差分データとなる。この注目ブロックBLc’を構成する各画素の差分データがブロック符号化回路３２４に供給される。以下において、図２８左上側に示される注目ブロックBLc’を構成する各画素の画素値で表される２次元波形を入力波形と称し、図２８下側に示される注目ブロックBLc’を構成する各画素の差分データで表される２次元波形を差分波形と称する。
【０２８６】
ブロック符号化回路３２４は、減算器３２３から供給される差分データを符号化し、その結果得られる符号化データVcdoをデータ合成回路３２５に供給する。
【０２８７】
即ち、ブロック符号化回路３２４は、減算器３２３から供給される注目ブロックBLc’を構成する各画素の差分データに対して、DCT（Discrete Cosine Transform）変換を施し、その結果得られるDCT係数を量子化する。ここで、ブロック符号化回路３２４は、DCT係数の量子化を行う際、例えば、図２９に示すような高周波成分を除去する量子化テーブルを用いて量子化を行う。
【０２８８】
さらに、ブロック符号化回路３２４は、量子化されたDCT係数を、例えばハフマン符号などによるエントロピー符号化（可変長符号化）を行い、その結果得られる符号化データVcdoをデータ合成回路３２５に供給する。
【０２８９】
次に、図３０のフローチャートを参照して、図２２の基準フレーム符号化部２０３の符号化処理について説明する。
【０２９０】
初めに、ステップＳ８１において、ブロック化回路２２２は、入力端子２２１を介して符号化選択回路２０２から供給される、デジタル画像信号Vdg1に対応する画像を、それぞれが８×８画素で構成される複数のブロックBL’に分割し、ソート順算出回路３２１および減算器３２３に供給する。
【０２９１】
ステップＳ８２において、ソート順算出回路３２１は、ブロック化回路２２２から供給された複数のブロックBL’のうちの１のブロックBL’を注目ブロックBLc’として、注目ブロックBLc’を構成する各画素を、画素値の大きい順にソートする。また、ステップＳ８２において、ソート順算出回路３２１は、注目ブロックBLc’を構成する画素の画素値の最大値Vcdmaxおよび最小値Vcdmin、並びに注目ブロックBLc’のソート順情報Vcdsを算出する。算出された画素値の最大値Vcdmaxおよび最小値Vcdminは、予測回路３３１およびデータ合成回路３２５に供給され、ソート順情報Vcdsは、逆ソート回路３３２およびデータ合成回路３２５に供給される。
【０２９２】
ステップＳ８３において、予測回路３３１は、注目ブロックBLc’を構成する各画素について、画素値の最大値Vcdmaxと最小値Vcdminとを用いた直線により予測画素値を算出し、逆ソート回路３３２に供給する。
【０２９３】
ステップＳ８４において、逆ソート回路３３２は、注目ブロックBLc’を構成する各画素について、ソート順算出回路３２１からのソート順情報Vcdsに基づいて、予測回路３３１からの予測画素値を、元の空間位相（ラスター順）に並び換える（逆ソートする）。
【０２９４】
ステップＳ８５において、減算器３２３は、注目ブロックBLc’を構成する各画素について、ブロック化回路２２２からの入力画素値から、逆ソート回路３３２からの予測画素値を減算して、入力画素値と予測画素値との差分データを算出し、ブロック符号化回路３２４に供給する。
【０２９５】
ステップＳ８６において、ブロック符号化回路３２４は、減算器１４６から供給される、注目ブロックBLc’を構成する各画素の差分データを符号化し、その結果得られる符号化データVcdoを、データ合成回路３２５に供給する。即ち、ステップＳ８６において、ブロック符号化回路３２４は、減算器１４６から供給される注目ブロックBLc’を構成する各画素の差分データに対して、DCT変換を施し、その結果得られるDCT係数を量子化する。また、ブロック符号化回路３２４は、量子化されたDCT係数を、例えばハフマン符号などによるエントロピー符号化（可変長符号化）を行い、その結果得られる符号化データVcdoをデータ合成回路３２５に供給する。
【０２９６】
ステップＳ８７において、基準フレーム符号化部２０３は、符号化選択回路２０２から供給された１フレームの画像を構成する全てのブロックBL’について処理したか、即ち、１フレームの画像の全てのブロックBL’を注目ブロックBLc’として上述したステップＳ８２乃至Ｓ８６の処理を行ったか否かを判定する。
【０２９７】
ステップＳ８７で、全てのブロックBL’について処理していないと判定された場合、ステップＳ８２に戻り、まだ処理していないブロックBL’が注目ブロックBLc’とされる。そして、その注目ブロックBLc’に対して、ステップＳ８２乃至Ｓ８７の処理が繰り返される。
【０２９８】
一方、ステップＳ８７で、全てのブロックBL’について処理したと判定された場合、ステップＳ８８に進み、データ合成回路３２５は、１フレーム分の符号化デジタル画像信号Vcd1を、出力端子２２９を介して出力する。
【０２９９】
ステップＳ８８の処理後、ステップＳ８９に進み、基準フレーム符号化部２０３は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されたか否かを判定する。
【０３００】
ステップＳ８９で、まだ処理するフレームの画像があると判定された場合、ステップＳ８１に戻り、それ以降の処理が繰り返される。
【０３０１】
一方、ステップＳ８９で、処理するフレームの画像がない、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されない場合、処理を終了する。
【０３０２】
（予測フレーム符号化部２０５の第２の実施形態）
図３１は、図４の予測フレーム符号化部２０５の第２の実施形態の構成例を示すブロック図である。
【０３０３】
図３１の予測フレーム符号化部２０５は、入力端子２４１、ブロック化回路２４２、動きベクトル検出回路２４３、残差算出回路２４４、フレームメモリ２５１、出力端子２５２、ADRC符号化部３４１、直交変換符号化部３４２、ADRCローカルデコード部３４３、直交変換ローカルデコード部３４４、符号化判定回路３４５、選択回路３４６、データ合成回路３４７、およびローカルデコード部３４８により構成されている。
【０３０４】
図３１の予測フレーム符号化部２０５において、図９で示した予測フレーム符号化部２０５と対応する部分については同一の符号を付してあり、その説明を適宜省略する。即ち、図３１のブロック化回路２４２、動きベクトル検出回路２４３、残差算出回路２４４、フレームメモリ２５１、および出力端子２５２は、図９の予測フレーム符号化部２０５と同様に構成されている。
【０３０５】
残差算出回路２４４では、注目ブロックBLc’を構成する各画素の画素値と、前フレームの画像内の動きベクトルVcdmvが表すブロックBL’mvの、注目ブロックBLc’を構成する各画素に対応する画素の画素値との残差が算出される。その残差が、ADRC符号化部３４１、直交変換符号化部３４２、および符号化判定回路３４５に供給される。
【０３０６】
ADRC符号化部３４１は、残差算出回路２４４からの残差をADRC符号化方式による符号化を行い、残差が符号化された符号化データVcdo’をADRCローカルデコード部３４３および選択回路３４６に供給する。
【０３０７】
直交変換符号化部３４２は、残差算出回路２４４からの残差をDCT変換またはDST（Discrete sine Transform）変換などの直交変換符号化方式による符号化を行い、残差が符号化された符号化データVcdo”を直交変換ローカルデコード部３４４および選択回路３４６に供給する。
【０３０８】
ADRCローカルデコード部３４３は、ADRC符号化部３４１から供給される符号化データVcdo’を復号化し（ローカルデコードし）、その結果得られる復号化データ（残差）を符号化判定回路３４５に供給する。
【０３０９】
直交変換ローカルデコード部３４４は、直交変換符号化部３４２から供給される符号化データVcdo”を復号化し（ローカルデコードし）、その結果得られる復号化データ（残差）を符号化判定回路３４５に供給する。
【０３１０】
符号化判定回路３４５は、ADRCローカルデコード部３４３から供給される復号化データ（残差）と直交変換ローカルデコード部３４４から供給される復号化データ（残差）とを比較し、ADRC符号化方式と直交変換符号化方式のうちのどちらの符号化方式を採用するかを判定し、その判定結果を表す判定情報Vcdjgを選択回路３４６およびデータ合成回路３４７に供給する。
【０３１１】
即ち、符号化判定回路３４５は、残差算出回路２４４からの注目ブロックBLc’を構成する各画素の残差と、各画素に対応するADRCローカルデコード部３４３によりデコードされた残差、または、直交変換ローカルデコード部３４４によりデコードされた残差とを比較して、符号化歪みの少ない符号化方式を採用する。そして、採用された符号化方式を表す判定情報Vcdjgが選択回路３４６およびデータ合成回路３４７に供給される。
【０３１２】
選択回路３４６は、符号化判定回路３４５からの判定情報Vcdjgに基づいて、ADRC符号化部３４１の出力（符号化データVcdo’）、または、直交変換符号化部３４２の出力（符号化データ”）のいずれか一方を選択し、その出力を符号化データVcdoとして、データ合成回路３４７に供給する。
【０３１３】
データ合成回路２４９は、上述した各ブロックにおいて１フレーム（予測フレーム）を構成する複数のブロックBL’それぞれを注目ブロックBLc’として処理することによって得られる、１フレームの画像の全てのブロックBL’の、動きベクトル検出回路２４３からの動きベクトルVcdmv、符号化判定回路３４５からの判定情報Vcdjg、および、選択回路３４６からの符号化データVcdoを合成し、その結果を１フレームの符号化デジタル画像信号Vcd1として、ローカルデコード部３４８および出力端子２５２に供給（出力）する。
【０３１４】
ローカルデコード部３４８は、図９（予測フレーム符号化部２０５の第１の実施形態）のローカルデコード部２５０と同様に、フレームメモリ２５１に記憶されている復号化デジタル画像信号による参照画像を用いて、データ合成回路３４７からの符号化デジタル画像信号Vcd1を復号化し、復号化デジタル画像信号としてフレームメモリ２５１に供給する（フレームメモリ２５１を更新する）。なお、ローカルデコード部３４８は、後述する予測フレーム復号化部２７４（図３７）が有する構成の一部と同様の構成を有している。
【０３１５】
図３２は、図３１のADRC符号化部３４１の詳細な構成例を示すブロック図である。
【０３１６】
図３２のADRC符号化部３４１は、入力端子３６１、最大値検出回路３６２、最小値検出回路３６３、減算器３６４および３６５、ブロック符号化回路３６６、データ合成回路３６７、および出力端子３６８により構成されている。
【０３１７】
入力端子３６１には、残差算出回路２４４（図３１）から注目ブロックBLc’を構成する各画素の残差が入力される。入力端子３６１は、注目ブロックBLc’を構成する各画素の残差を最大値検出回路３６２、最小値検出回路３６３、および減算器３６５に供給する。
【０３１８】
最大値検出回路３６２は、注目ブロックBLc’を構成する画素の残差の最大値Vblmaxを検出し、減算器２２５に供給する。また、最小値検出回路２６３は、注目ブロックBLc’を構成する画素の残差の最小値Vblminを検出し、減算器３６４および３６５、並びにデータ合成回路３６７に供給する。
【０３１９】
減算器３６４は、残差の最大値Vblmaxから最小値Vblminを減算し、注目ブロックBLc’を構成する画素の残差のダイナミックレンジVbldr（＝Vblmax−Vblmin）を算出し、ブロック符号化回路３６６およびデータ合成回路３６７に供給する。
【０３２０】
減算器３６５は、入力端子３６１から供給される注目ブロックBLc’を構成する各画素の残差から、残差の最小値Vcdminをそれぞれ減算し、その結果得られる、注目ブロックBLc’を構成する各画素の残差データをブロック符号化回路３６６に供給する。
【０３２１】
ブロック符号化回路３６６は、注目ブロックBLc’を構成する各画素について、減算器３６５からの残差データを符号化し、その結果得られる符号化データVbloをデータ合成回路３６７に供給する。換言すれば、ブロック符号化回路３６６は、注目ブロックBLc’を構成する各画素について、減算器３６４からのダイナミックレンジVbldrに応じた量子化ステップ（量子化ビット数）で、減算器３６５からの残差データを量子化する。
【０３２２】
例えば、残差データが−２５５乃至２５５の値を取り得る場合、０< Vcddr <８のときの量子化ビット数ｎを０、９< Vcddr <２６のときの量子化ビット数ｎを１、２７< Vcddr <７０のときの量子化ビット数ｎを２、７１< Vcddr <２０６のときの量子化ビット数ｎを３、２０７< Vcddr <５１１のときの量子化ビット数ｎを４とするように、ダイナミックレンジVcddrが大きいほど量子化ビット数ｎを大きくなるように量子化ステップが決定される。なお、量子化ビット数は、固定とすることも可能である。
【０３２３】
そして、ブロック符号化回路３６６では、図１５を参照して上述したように、ダイナミックレンジVcddrを２n分類するようにレベルの範囲が設定され、残差データが２n分類された、どのレベルの範囲に属するかによって、ｎビットのADRCコードが割り当てられる。この割り当てられたADRCコードが、注目ブロックBLc’の符号化データVcdo’として出力端子３６８から出力される。
【０３２４】
データ合成回路３６７は、注目ブロックBLc’の、減算器３６４からのダイナミックレンジVbldr、最小値検出回路３６３からの残差の最小値Vblmin、およびブロック符号化回路３６６からの符号化データVbloを合成し、符号化データVcdo’として出力端子２２９に供給する。
【０３２５】
出力端子２２９は、データ合成回路２２８から供給される符号化データVcdo’を出力する。
【０３２６】
以上のように構成されるADRC符号化部３４１では、注目ブロックBLc’を構成する各画素の残差を、ADRC符号化処理による符号化を行うことにより、符号化データVcdo’としてADRCローカルデコード部３４３および選択回路３４６に供給される。
【０３２７】
図３３は、例えば、DCT変換を行う直交変換符号化部３４２の詳細な構成例を示すブロック図である。
【０３２８】
図３３の直交変換符号化部３４２は、入力端子３８１、DCT回路３８２、量子化回路３８３、エントロピー符号化回路３８４、および出力端子３８５により構成されている。
【０３２９】
入力端子３８１には、残差算出回路２４４（図３１）から注目ブロックBLc’を構成する各画素の残差が入力される。入力端子３８１は、注目ブロックBLc’を構成する各画素の残差をDCT回路３８２に供給する。
【０３３０】
DCT回路３８２は、注目ブロックBLc’を構成する各画素の残差に対して、直交変換としてのDCT変換を行うことにより、DCT係数を算出し、量子化回路３８３に供給する。
【０３３１】
量子化回路３８３は、DCT回路３８２からのDCT係数を所定の量子化テーブルを用いて、量子化を行う。また、量子化回路３８３は、量子化されたDCT係数をエントロピー符号化回路３８４に供給する。ここで、量子化回路３８３は、DCT係数を量子化する場合、高周波成分を除去する量子化テーブルを採用する。
【０３３２】
エントロピー符号化回路３８４は、量子化されたDCT係数を、例えば、ハフマン符号などによるエントロピー符号化（可変長符号化）を行い、その結果得られる符号化データVcdo”を出力端子３８５に供給する。
【０３３３】
出力端子３８５は、エントロピー符号化回路３８４から供給される符号化データVcdo”を出力する。
【０３３４】
以上のように構成される直交変換符号化部３４２では、残差算出回路２４４からの注目ブロックBLc’を構成する各画素の残差を、DCT変換またはDST（Discrete sine Transform）変換などの直交変換符号化方式による符号化を行うことにより、注目ブロックBLc’の符号化データVcdo”が直交変換ローカルデコード部３４４および選択回路３４６に供給される。
【０３３５】
次に、図３４のフローチャートを参照して、図３１の予測フレーム符号化部２０５の予測フレーム符号化処理について説明する。
【０３３６】
初めに、ステップＳ１０１において、ブロック化回路２４２は、入力端子２４１を介して符号化選択回路２０２から供給される、デジタル画像信号Vdg1に対応する１フレームの画像を、それぞれが８×８画素を有する複数のブロックBL’に分割し、動きベクトル検出回路２４３および残差算出回路２４４に供給する。
【０３３７】
ステップＳ１０２において、複数に分割されたブロックBL’のうちの１のブロックBL’が注目ブロックBLc’とされる。また、ステップＳ１０２において、動きベクトル検出回路２４３は、注目ブロックBLc’について、フレームメモリ２５１から供給される前フレームの画像から、注目ブロックBLc’の動きベクトルVcdmvを検出し、残差算出回路２４４およびデータ合成回路３４７に供給する。
【０３３８】
ステップＳ１０３において、残差算出回路２４４は、注目ブロックBLc’を構成する各画素の画素値と、前フレームの画像内の動きベクトルVcdmvが表すブロックBL’mv（動きベクトル先のブロックBL’mv）内の、注目ブロックBLc’を構成する各画素に対応する画素の画素値との残差を算出し、ADRC符号化部３４１、直交変換符号化部３４２、および符号化判定回路３４５に供給する。
【０３３９】
ステップＳ１０４において、ADRC符号化部３４１は、残差算出回路２４４からの残差をADRC符号化する。ステップＳ１０４において残差が符号化された符号化データVcdo’は、ADRCローカルデコード部３４３および選択回路３４６に供給される。
【０３４０】
ステップＳ１０５において、ADRCローカルデコード部３４３は、ADRC符号化部３４１から供給される符号化データVcdo’をローカルデコードする。ステップＳ１０５でローカルデコードされた復号化データ（残差）は、符号化判定回路３４５に供給される。
【０３４１】
ステップＳ１０６において、直交変換符号化部３４２は、残差算出回路２４４からの残差をDCT変換などの直交変換符号化する。ステップＳ１０６において残差が符号化された符号化データVcdo”は、直交変換ローカルデコード部３４４および選択回路３４６に供給される。
【０３４２】
ステップＳ１０７において、ADRCローカルデコード部３４３は、ADRC符号化部３４１から供給される符号化データVcdo’をローカルデコードする。ステップＳ１０７でローカルデコードされた復号化データ（残差）は、符号化判定回路３４５に供給される。
【０３４３】
ステップＳ１０８において、符号化判定回路３４５は、ADRCローカルデコード部３４３から供給される復号化データと直交変換ローカルデコード部３４４から供給される復号化データとを比較し、ADRC符号化方式または直交変換符号化方式のうちの、より符号化歪みの少ない符号化方式を選択する。そして、符号化判定回路３４５は、より符号化歪みの少ない符号化方式を表す判定情報Vcdjgを選択回路３４６およびデータ合成回路３４７に供給して、ステップＳ１０９に進む。
【０３４４】
ステップＳ１０９において、データ合成回路３４７は、符号化選択回路２０２（図４）から供給された１フレームの画像を構成する全てのブロックBL’について処理したか、即ち、１フレームの画像の全てのブロックBL’を注目ブロックBLc’として上述したステップＳ１０２乃至Ｓ１０８の処理を行ったか否かを判定する。
【０３４５】
ステップＳ１０９で、全てのブロックBL’について処理していないと判定された場合、ステップＳ１０２に戻り、まだ処理していないブロックBL’が注目ブロックBLc’とされる。そして、その注目ブロックBLc’に対して、ステップＳ１０２乃至Ｓ１０９の処理が繰り返される。
【０３４６】
一方、ステップＳ１０９で、全てのブロックBL’について処理したと判定された場合、ステップＳ１１０に進み、データ合成回路３４７は、１フレーム分の符号化デジタル画像信号Vcd1をローカルデコード部３４８および出力端子２５２に供給（出力）する。
【０３４７】
ステップＳ１１０の処理後、ステップＳ１１１に進み、予測フレーム符号化部２０５は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されたか否かを判定する。
【０３４８】
ステップＳ１１１で、まだ処理するフレームの画像があると判定された場合、ステップＳ１１２に進み、ローカルデコード部３４８は、符号化デジタル画像信号Vcd1をローカルデコードする。そして、ステップＳ１１３に進み、ローカルデコード部３４８は、符号化デジタル画像信号Vcd1をローカルデコードして得られる復号化デジタル画像信号をフレームメモリ２５１に記憶させて、ステップＳ１０１に戻る。なお、ステップＳ１１３において、次に（現フレームとして）予測フレーム符号化部２０５に入力される画像の１つ前のフレームの画像が基準フレームとなる場合には、その前フレームの画像は、ローカルデコード部２０４（図４）から供給されるため、予測フレーム符号化部２０５のローカルデコード部３４８は、復号化デジタル画像信号をフレームメモリ２５１に記憶させない。
【０３４９】
一方、ステップＳ１１１で、処理するフレームの画像がないと判定された場合、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されない場合、処理を終了する。
【０３５０】
以上のように、図１６の予測フレーム符号化処理によれば、予測フレーム符号化部２０５は、予測フレームを構成する複数のブロックBL’それぞれを注目ブロックBLc’とし、注目ブロックBLc’と動きベクトル先のブロックBL’mvとの対応する画素の画素値の残差を算出する。そして、予測フレーム符号化部２０５は、残差をADRC符号化および直交変換符号化（CDT変換符号化）するとともに、ADRC符号化および直交変換符号化により符号化された符号化データVcdo’およびVcdo”のそれぞれをローカルデコードする。そして、予測フレーム符号化部２０５は、ローカルデコードした結果から、ADRC符号化方式または直交変換符号化方式のうちの、より符号化歪みの少ない符号化方式を選択し、選択された符号化方式で符号化された符号化データを出力する。即ち、予測フレーム符号化処理では、ブロックBL’ごとに残差の特性に合わせた最適な符号化方式を選択し、符号化を行うことができる。
【０３５１】
これにより、予測フレーム符号化部２０５の予測フレーム符号化処理によって符号化された符号化デジタル画像信号Vcd1を復号化したときの画質の劣化は少ない（生じない）。
【０３５２】
（基準フレーム復号化部２７３の第２の実施形態）
図３５は、図１７の基準フレーム復号化部２７３の第２の実施形態の構成例を示すブロック図である。
【０３５３】
図３５の基準フレーム復号化部２７３は、入力端子４０１、データ分解回路４０２、予測画素値生成回路４０３、ブロック復号化回路４０４、加算器４０５、ブロック分解回路２９５、および出力端子２９６により構成されている。
【０３５４】
復号化選択回路２７２（図１７）からの符号化デジタル画像信号Vcd1は、入力端子４０１を介して、データ分解回路４０２に供給される。
【０３５５】
データ分解回路４０２は、符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBL’それぞれの、画素値の最大値Vcdmaxおよび最小値Vcdmin、ソート順情報Vcds、並びに符号化データVcdoのそれぞれに分解し、取得する。そして、データ分解回路４０２は、複数のブロックBL’それぞれの、画素値の最大値Vcdmaxおよび最小値Vcdminと、ソート順情報Vcdsとを予測画素値生成回路４０３に供給し、符号化データVcdoをブロック復号化回路４０４に供給する。
【０３５６】
これによりデータ分解回路４０２以降の、予測画素値生成回路４０３（予測回路４１１および逆ソート回路４１２）、ブロック復号化回路４０４、加算器４０５、およびブロック分解回路２９５では、基準フレーム符号化部２０３と同様に、分解された複数のブロックBL’のそれぞれを注目ブロックBLc’として、処理が行われる。
【０３５７】
予測画素値生成回路４０３は、図２２の基準フレーム符号化部２０３の予測画素値生成回路３２２の予測回路３３１および逆ソート回路３３２とそれぞれ同様の、予測回路４１１および逆ソート回路４１２を有し、データ分解回路４０２から供給される画素値の最大値Vcdmaxおよび最小値Vcdmin、並びにソート順情報Vcdsから、ソートされる前の空間位相に配置された、注目ブロックBLc’を構成する各画素の予測画素値を算出（生成）する。
【０３５８】
即ち、予測回路４１１には、画素値の最大値Vcdmaxおよび最小値Vcdminがデータ分解回路４０２から供給される。予測回路４１１は、図２６を参照して説明したように、画素値の最大値Vcdmaxと最小値Vcdminとを用いて直線を算出し、その直線によって求められる画素値を（画素値の大きさに応じてソートされている）予測画素値として、逆ソート回路４１２に供給する。
【０３５９】
逆ソート回路４１２は、データ分解回路４０２からのソート順情報Vcdsに基づいて、予測回路４１１からの予測画素値を、元の空間位相（ラスター順）に並び換える（逆ソートする）。そして、逆ソート回路４１２は、元の空間位相に並び換えられた予測画素値を加算器４０５に供給する。
【０３６０】
ブロック復号化回路４０４は、データ分解回路４０２からの符号化データVcdoを復号する。即ち、ブロック復号化回路４０４は、データ分解回路４０２からの符号化データVcdoを逆量子化し、逆量子化された符号化データVcdoに対し、逆DCT変換を施すことにより、注目ブロックBLc’を構成する各画素の差分データを算出し、加算器４０５に供給する。
【０３６１】
加算器４０５は、注目ブロックBLc’を構成する各画素について、ブロック復号化回路４０４からの差分データと、逆ソート回路４１２からの予測画素値とを加算して、注目ブロックBLc’を構成する各画素の出力画素値を得る。そして、加算器４０５は、注目ブロックBLc’を構成する各画素の出力画素値をブロック分解回路２９５に供給する。
【０３６２】
ブロック分解回路２９５は、加算器４０５から供給される注目ブロックBLc’を構成する各画素の出力画素値を、複数のブロックBL’に分割する前のフレーム上の位置（ラスター順）に戻し、分割された複数のブロックBL’から１フレームを構成する。そして、ブロック分解回路２９５は、１フレーム分の画像としての復号化デジタル画像信号Vdg2を出力端子２９６に供給する。出力端子２９６は、ブロック分解回路２９５からの復号化デジタル画像信号Vdg2を出力する。
【０３６３】
次に、図３６のフローチャートを参照して、図３５の基準フレーム復号化部２７３の復号化処理を説明する。
【０３６４】
初めに、ステップＳ１３１において、データ分解回路４０２は、入力端子４０１を介して供給される符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBL’それぞれの、画素値の最大値Vcdmaxおよび最小値Vcdmin、ソート順情報Vcds、並びに符号化データVcdoのそれぞれに分解し、取得する。また、ステップＳ１３１において、データ分解回路４０２は、複数のブロックBL’それぞれの、画素値の最大値Vcdmaxおよび最小値Vcdmin、並びにソート順情報Vcdsを予測画素値生成回路４０３に供給するとともに、符号化データVcdoをブロック復号化回路４０４に供給する。
【０３６５】
ステップＳ１３２において、複数のブロックBL’のうちの１のブロックBL’が注目ブロックBLc’とされる。また、ステップＳ１３２において、予測回路４１１は、画素値の最大値Vcdmaxと最小値Vcdminとを用いて直線を算出し、その直線から、注目ブロックBLc’を構成する各画素の予測画素値を算出して、逆ソート回路４１２に供給する。
【０３６６】
ステップＳ１３３において、逆ソート回路４１２は、ソート順情報Vcdsに基づいて、注目ブロックBLc’を構成する各画素の予測画素値を、元の空間位相（ラスター順）に並び換える（逆ソートする）。また、ステップＳ１３３において、逆ソート回路４１２は、元の空間位相に並び換えられた予測画素値を加算器４０５に供給する。
【０３６７】
ステップＳ１３４において、ブロック復号化回路４０４は、符号化データVcdoを復号化し（逆量子化および逆DCT変換を施し）、注目ブロックBLc’を構成する各画素の差分データを算出する。ブロック復号化回路４０４は、算出された注目ブロックBLc’を構成する各画素の差分データを加算器４０５に供給する。
【０３６８】
ステップＳ１３５において、加算器４０５は、注目ブロックBLc’を構成する各画素について、ブロック復号化回路４０４からの差分データと、逆ソート回路４１２からの予測画素値とを加算し、出力画素値としてブロック分解回路２９５に供給する。
【０３６９】
ステップＳ１３６において、ブロック分解回路２９５は、加算器４０５から供給される、注目ブロックBLc’を構成する各画素の出力画素値を、複数のブロックBL’に分割する前のフレーム上の位置に戻す。
【０３７０】
ステップＳ１３７において、復号化部１５５は、１フレームを構成する全てのブロックBL’について処理したか、即ち、１フレームの画像の全てのブロックBL’それぞれを注目ブロックBLc’としたか否かを判定する。ステップＳ１３７において、１フレームの画像の全てのブロックBL’について処理していないと判定された場合、ステップＳ１３２に戻り、まだ注目ブロックBLc’とされていないブロックBL’が注目ブロックBLc’とされ、ステップＳ１３２乃至Ｓ１３７の処理が繰り返される。
【０３７１】
一方、ステップＳ１３７で、１フレームの画像の全てのブロックBL’について処理したと判定された場合、ステップＳ１３８に進み、ブロック分解回路２９５は、１フレーム分の復号化デジタル画像信号Vdg2を、出力端子２９６を介して出力する。
【０３７２】
ステップＳ１３９において、復号部１５５は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が符号化部１５２から供給されたか否かを判定する。
【０３７３】
ステップＳ１３９において、まだ処理するフレームの画像があると判定された場合、ステップＳ１３１に戻り、それ以降の処理が繰り返される。
【０３７４】
一方、ステップＳ１３９において、処理するフレームの画像がない、即ち、次に処理するフレームの画像が符号化部１５２から供給されない場合、処理を終了する。
【０３７５】
（予測フレーム復号化部２７４の第２の実施形態）
図３７は、図１７の予測フレーム復号化部２７４の第２の実施形態の構成例を示すブロック図である。
【０３７６】
図３７の予測フレーム復号化部２７４は、入力端子４３１、データ分解回路４３２、動きベクトル先抽出回路３０３、選択回路４３４、ADRC復号化部４３５、直交変換復号化部４３６、加算回路３０６、ブロック分解回路３０７、フレームメモリ３０８、および出力端子３０９により構成されている。
【０３７７】
ここで、図３７の予測フレーム復号化部２７４において、図２０で示した予測フレーム復号化部２７４と対応する部分については同一の符号を付してあり、その説明を適宜省略する。即ち、図３７の動きベクトル先抽出回路３０３、加算回路３０６、ブロック分解回路３０７、フレームメモリ３０８、および出力端子３０９は、図２０の予測フレーム復号化部２７４と同様に構成されている。
【０３７８】
復号化選択回路２７２（図１７）からの符号化デジタル画像信号Vcd1は、入力端子４３１を介して、データ分解回路４３２に供給される。
【０３７９】
データ分解回路４３２は、符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBL’それぞれの、動きベクトルVcdmv、ADRC符号化方式または直交変換符号化方式のいずれか一方を表す判定情報Vcdjg、および符号化データVcdoに分解して、取得する。
【０３８０】
そして、データ分解回路４３２は、複数のブロックBL’それぞれの、動きベクトルVcdmvを動きベクトル先抽出回路３０３に供給し、判定情報Vcdjgおよび符号化データVcdoを選択回路４３４に供給する。
【０３８１】
これにより、データ分解回路４３２以降の、動きベクトル先抽出回路３０３、選択回路４３４、ADRC復号化部４３５、直交変換復号化部４３６、加算器３０６、およびブロック分解回路３０７では、予測フレーム符号化部２０５と同様に、複数のブロックBLのそれぞれを注目ブロックBLc’として、処理が行われる。
【０３８２】
動きベクトル先抽出回路３０３は、注目ブロックBLc’について、フレームメモリ３０８に記憶されている前フレームの画像（参照画像）から、動きベクトルVcdmvによって特定されるブロックBL’mv（動きベクトル先のブロックBL’mv）を抽出し、加算器３０６に供給する。
【０３８３】
選択回路４３４は、判定情報Vcdjgに応じて、ADRC復号化部４３５または直交変換復号化部４３６を選択する。即ち、選択回路４３４は、判定情報VcdjgがADRC符号化方式を表す場合、データ分解回路４３２から判定情報Vcdjgと同時に供給される、注目ブロックBLc’の符号化データVcdoがADRC復号化部４３５に供給されるようする。また、選択回路４３４は、判定情報Vcdjgが直交変換符号化方式を表す場合、データ分解回路４３２から判定情報Vcdjgと同時に供給される、注目ブロックBLc’の符号化データVcdoが直交変換復号化部４３６に供給されるようする。
【０３８４】
ADRC復号化部４３５は、選択回路４３４を介して、データ分解回路４３２から供給される符号化データVcdoを復号化する。ここでは、図３１のADRC符号化処理に対応する復号化が行われる。これにより、注目ブロックBLc’と動きベクトル先のブロックBL’mvとの各画素の残差が得られる。
【０３８５】
直交変換復号化部４３６は、選択回路４３４を介して、データ分解回路４３２から供給される符号化データVcdoを復号化する。ここで、図３１の直交変換符号化処理に対応する復号化が行われる。これにより、注目ブロックBLc’と動きベクトル先のブロックBL’mvとの各画素の残差が得られる。
【０３８６】
ADRC復号化部４３５または直交変換復号化部４３６で得られた、注目ブロックBLc’と動きベクトルVcdmv先のブロックBL’mvとの各画素の残差は、加算器３０６に供給される。
【０３８７】
加算器３０６は、注目ブロックBLc’を構成する各画素について、ADRC復号化部４３５または直交変換復号化部４３６からの残差と、動きベクトル先のブロックBL’mvの画素値とを加算して、注目ブロックBLc’を構成する各画素の出力画素値を得る。そして、加算器３０６は、注目ブロックBLc’を構成する各画素の出力画素値をブロック分解回路３０７に供給する。
【０３８８】
ブロック分解回路３０７は、加算器３０６から供給される注目ブロックBLc’を構成する各画素の出力画素値を、複数のブロックBL’に分割する前のフレーム上の位置（ラスター順）に戻し、分割された複数のブロックBL’から１フレームの画像を構成する。そして、ブロック分解回路３０７は、１フレーム分の画像としての復号化デジタル画像信号Vdg2を、フレームメモリ３０８および出力端子３０９に供給する。
【０３８９】
なお、上述した図３１のローカルデコード部３４８は、図３７において点線で示されている、データ分解回路４３２、動きベクトル先抽出回路３０３、選択回路４３４、ADRC復号化部４３５、直交変換復号化部４３６、加算回路３０６、並びにブロック分解回路３０７の構成と同様に構成されている。
【０３９０】
図３８は、図３７のADRC復号化部４３５の詳細な構成例を示すブロック図である。
【０３９１】
図３８のADRC復号化部４３５は、入力端子４５１、データ分解回路４５２、ブロック復号化回路４５３、加算器４５４、および出力端子４５５により構成されている。
【０３９２】
データ分解回路４５２は、入力端子４５１を介して、ADRC符号化方式（ADRC符号化処理）により符号化された、注目ブロックBLc’の符号化データVcdo（Vcdo’）を、注目ブロックBLc’を構成する画素の残差のダイナミックレンジVbldrおよび最小値Vblmin、並びに注目ブロックBLc’を構成する各画素の残差データが符号化された符号化データVbloに分解し、取得する。
【０３９３】
そして、データ分解回路４５２は、残差のダイナミックレンジVbldrおよび符号化データVbloをブロック復号化回路４５３に供給するとともに、残差の最小値Vblminを加算器４５４に供給する。
【０３９４】
ブロック復号化回路４５３は、図１５を参照して説明したように、注目ブロックBLc’を構成する各画素について、残差のダイナミックレンジVbldrに応じて符号化データVbloを復号化（逆量子化）し、その結果得られる注目ブロックBLc’を構成する各画素の残差データを加算器４５４に供給する。
【０３９５】
加算器４５４は、注目ブロックBLc’を構成する各画素について、残差データと残差の最小値Vblminとを加算して、注目ブロックBLc’を構成する各画素の残差（注目ブロックBLc’と動きベクトル先のブロックBL’mvとの各画素の残差）を得る。そして、加算器４５４は、注目ブロックBLc’を構成する各画素の残差を出力端子４５５に供給する。出力端子４５５は、注目ブロックBLc’を構成する各画素の残差を出力する。
【０３９６】
以上のように構成されるADRC復号化部４３５では、符号化データVcdoを復号化することより、注目ブロックBLc’を構成する各画素の残差（注目ブロックBLc’と動きベクトル先のブロックBL’mvとの各画素の残差）が得られる。
【０３９７】
図３９は、図３７の直交変換復号化部４３６の詳細な構成例を示すブロック図である。
【０３９８】
図３９の直交変換復号化部４３６は、出力端子４７１、エントロピー復号化回路４７２、逆量子化回路４７３、逆DCT回路４７４、および出力端子４７５により構成される。
【０３９９】
エントロピー復号化回路４７２は、入力端子４７１を介して、直交変換符号化方式（直交変換符号化処理）により符号化され、例えば、ハフマン符号などで表された、注目ブロックBLc’を構成する各画素の残差が符号化された符号化データVcdo（Vcdo”）を、エントロピー復号化し、その結果得られる量子化されたDCT係数を逆量子化回路４７３に供給する。
【０４００】
逆量子化回路４７３は、エントロピー復号化回路４７２からの量子化されたDCT係数の逆量子化を行う。そして、逆量子化回路４７３は、逆量子化により得られるDCT係数を逆DCT回路４７４に供給する。
【０４０１】
逆DCT回路４７４は、逆量子化回路４７３からのDCT係数の逆DCT変換を行うことにより、注目ブロックBLc’を構成する各画素の残差（注目ブロックBLc’と動きベクトル先のブロックBL’mvとの各画素の残差）を算出し、出力端子４７５に供給する。出力端子４７５は、注目ブロックBLc’を構成する各画素の残差を出力する。
【０４０２】
以上のように構成される直交変換復号化部４３６では、符号化データVcdoを復号化することにより、注目ブロックBLc’を構成する各画素の残差（注目ブロックBLc’と動きベクトル先のブロックBL’mvとの各画素の残差）が得られる。
【０４０３】
次に、図４０のフローチャートを参照して、図３７の予測フレーム復号化部２７４の予測フレーム復号化処理について説明する。
【０４０４】
初めに、ステップＳ１５１において、データ分解回路４３２は、入力端子４３１を介して供給される符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBL’それぞれの、動きベクトルVcdmv、ADRC符号化方式または直交変換符号化方式のいずれか一方を表す判定情報Vcdjg、および符号化データVcdoに分解し、取得する。
【０４０５】
また、ステップＳ１５１において、データ分解回路４３２は、複数のブロックBL’それぞれの、動きベクトルVcdmvを動きベクトル先抽出回路３０３に供給し、判定情報Vcdjgおよび符号化データVcdoを選択回路４３４に供給する。
【０４０６】
ステップＳ１５２において、複数に分解されたブロックBL’のうちの１のブロックBL’が注目ブロックBLc’とされる。また、ステップＳ１５２において、動きベクトル先抽出回路３０３は、フレームメモリ３０８に記憶されている前フレームの画像から、動きベクトルVcdmvによって特定されるブロックBL’mv（動きベクトル先のブロックBL’mv）を抽出し、加算器３０６に供給する。
【０４０７】
ステップＳ１５３において、選択回路４３４は、判定情報Vcdjgに応じて、ADRC復号化部４３５または直交変換復号化部４３６（復号化方式）を選択する。
【０４０８】
ステップＳ１５４において、選択回路４３４により選択され、符号化データVcdoが供給されたADRC復号化部４３５または直交変換復号化部４３６は、符号化データVcdoを復号化する。そして、ADRC復号化部４３５または直交変換復号化部４３６は、復号化した結果得られる、注目ブロックBLc’を構成する各画素の残差（注目ブロックBLc’と動きベクトルVcdmv先のブロックBL’mvとの各画素の残差）を加算器３０６に供給する。
【０４０９】
ステップＳ１５５において、加算器３０６は、注目ブロックBLc’を構成する各画素について、ADRC復号化部４３５または直交変換復号化部４３６からの残差と、動きベクトル先のブロックBL’mvの画素値とを加算して、注目ブロックBLc’を構成する各画素の出力画素値を得る。また、ステップＳ１５５において、加算器３０６は、注目ブロックBLc’を構成する各画素の出力画素値をブロック分解回路３０７に供給する。
【０４１０】
ステップＳ１５６において、ブロック分解回路３０７は、加算器３０６から供給される注目ブロックBLc’を構成する各画素の出力画素値を、複数のブロックBL’に分割する前のフレーム上の位置（ラスター順）に戻す。
【０４１１】
ステップＳ１５７において、ブロック分解回路３０７は、１フレームの画像を構成する全てのブロックBL’について処理したか、即ち、１フレームの画像の全てのブロックBL’を注目ブロックBLc’として上述したステップＳ１５２乃至Ｓ１５６の処理を行ったか否かを判定する。
【０４１２】
ステップＳ１５７で、全てのブロックBL’について処理していないと判定された場合、ステップＳ１５２に戻り、まだ処理していないブロックBL’が注目ブロックBLc’とされる。そして、その注目ブロックBLc’に対して、ステップＳ１５２乃至Ｓ１５７の処理が繰り返される。
【０４１３】
一方、ステップＳ１５７で、全てのブロックBL’について処理したと判定された場合、ステップＳ１５８に進み、ブロック分解回路３０７は、１フレーム分の復号化デジタル画像信号Vdg2を出力端子３０９に供給（出力）する。
【０４１４】
そして、ステップＳ１５９に進み、予測フレーム復号化部２７４は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が復号化選択回路２７２から供給されたか否かを判定する。
【０４１５】
ステップＳ１５９において、まだ処理するフレームの画像があると判定された場合、ステップＳ１６０に進み、ブロック分解回路３０７は、１フレーム分の復号化デジタル画像信号Vdg2を、フレームメモリ３０８に供給し、記憶させる。なお、次に(現フレームとして)予測フレーム復号化部２７４に入力される画像の１つ前のフレームの画像が基準フレームの画像となる場合には、その画像信号が基準フレーム復号化部２７３（図１７）から供給されるため、ブロック分解回路３０７は、１フレーム分の復号化デジタル画像信号Vdg2をフレームメモリ３０８に供給しない。
【０４１６】
一方、ステップＳ１５９において、処理するフレームの画像がないと判定された場合、即ち、次に処理するフレームが復号化選択回路２７２から供給されない場合、処理を終了する。
【０４１７】
次に、図４１のフローチャートを参照して、図２の記録装置１１３による、再生装置１１１から出力されるアナログ画像信号Van1を利用して、画像信号を記録媒体１２２に記録する（コピーする）とともに、記録媒体１２２に記録された符号化デジタル画像信号Vcd1が所定の再生装置において、復号化されてディスプレイに表示されるときの画像をディスプレイ１４３で確認する記録確認処理について説明する。
【０４１８】
初めに、ステップＳ１７１において、A/D変換部１５１は、入力されたアナログ画像信号Van1をデジタル信号に変換し、その結果得られるデジタル画像信号Vdg1を符号化部１５２に供給する。
【０４１９】
ステップＳ１７２において、符号化部１５２の符号化選択回路２０２は、図３を参照して上述したように、A/D変換部１５１から供給されたデジタル画像信号Vdg1に対応するフレーム単位の画像を基準フレームまたは予測フレームの画像に設定する。また、ステップＳ１７２において、符号化選択回路２０２は、その画像が基準フレームに設定された画像であるか否かを判定する。
【０４２０】
ステップＳ１７２で、画像が基準フレームに設定された画像であると判定された場合、ステップＳ１７３に進み、符号化選択回路２０２は、そのデジタル画像信号Vdg1を基準フレーム符号化部２０３に供給する。
【０４２１】
そして、ステップＳ１７４において、基準フレーム符号化部２０３は、A/D変換部１５１からの基準フレームのデジタル画像信号Vdg1を符号化し、その結果得られる符号化デジタル画像信号Vcd1を、符号化部１５２のローカルデコード部２０４、媒体記録部１５３、および再生部１４２（の復号化部１５５）に供給する。
【０４２２】
ステップＳ１７５において、符号化部１５２のローカルデコード部２０４は、デジタル画像信号Vdg1をローカルデコードして、予測フレーム符号化部２０５に供給する。
【０４２３】
一方、ステップＳ１７２で、画像が予測フレームに設定された画像であると判定された場合、ステップＳ１７６に進み、符号化選択回路２０２は、そのデジタル画像信号Vdg1を予測フレーム符号化部２０５に供給する。
【０４２４】
そして、ステップＳ１７７において、予測フレーム符号化部２０５は、A/D変換部１５１からの予測フレームのデジタル画像信号Vdg1を符号化し、その結果得られる符号化デジタル画像信号Vcd1を、媒体記録部１５３および再生部１４２（の復号化部１５５）に供給する。
【０４２５】
ステップＳ１７５またはＳ１７７の処理後、ステップＳ１７８において、媒体記録部１５３は、符号化部１５２からの符号化デジタル画像信号Vcd1を記録媒体１２２に記録する。
【０４２６】
ステップＳ１７９において、復号化部１５５の復号化選択回路２７２は、符号化部１５２の符号化選択回路２０２と同様に、符号化部１５２から供給された符号化デジタル画像信号Vcd1に対応するフレーム単位の画像を取得し、基準フレームまたは予測フレームの画像に設定する。また、ステップＳ１７９において、復号化選択回路２７２は、その画像が基準フレームに設定された画像であるか否かを判定する。
【０４２７】
ステップＳ１７９で、画像が基準フレームに設定された画像であると判定された場合、ステップＳ１８０に進み、復号化選択回路２７２は、その符号化デジタル画像信号Vcd1を基準フレーム復号化部２７３に供給する。
【０４２８】
ステップＳ１８１において、基準フレーム復号化部２７３は、符号化部１５２からの符号化デジタル画像信号Vcd1を復号化し、その結果得られる復号化デジタル画像信号Vdg2を予測フレーム復号化部２７４およびD/A変換部１５６に供給する。
【０４２９】
一方、ステップＳ１７９で、画像が予測フレームに設定された画像であると判定された場合、ステップＳ１８２に進み、復号化選択回路２７２は、その符号化デジタル画像信号Vcd1を予測フレーム復号化部２７４に供給する。
【０４３０】
ステップＳ１８３において、予測フレーム復号化部２７４は、符号化部１５２からの符号化デジタル画像信号Vcd1を復号化し、その結果得られる復号化デジタル画像信号Vdg2をD/A変換部１５６に供給する。
【０４３１】
ステップＳ１８１またはＳ１８３の処理後、ステップＳ１８４において、D/A変換部１５６は、復号化部１５５から供給された復号化デジタル画像信号Vdg2をアナログ信号に変換し、その結果得られるアナログ画像信号Van2をディスプレイ１４３に出力する。
【０４３２】
ステップＳ１８５において、ディスプレイ１４３は、D/A変換部１５６からのアナログ画像信号Van2に対応する画像を表示する。
【０４３３】
以上のようにして、再生装置１１１で再生され、出力されたアナログ歪みを伴うアナログ画像信号Van1がデジタル画像信号Vdg1にA/D変換され、そのデジタル画像信号Vdg1が、フレームごとに基準フレームまたは予測フレームに設定される。そして、基準フレームまたは予測フレームに応じたデジタル画像信号Vdg1の符号化が行われ、記録媒体１２２に記録される。即ち、アナログ歪みを伴うアナログ画像信号Van1に基づくコピーが行われる。
【０４３４】
ここで、再生装置１１１から出力されるアナログ歪みを伴うアナログ画像信号Van1は、記録媒体１２１に記録されている符号化デジタル画像信号が復号化部１３１で復号化されて、出力される信号である。即ち、再生装置１１１から出力されるアナログ歪みを伴うアナログ画像信号Van1は、１回目の符号化および復号化が行われた信号である。
【０４３５】
また、１回目の符号化および復号化が行われたアナログ画像信号Van1に基づいてコピーされ、記録媒体１２２に記録された符号化デジタル画像信号Vcd1が、再生装置１１１において再生（復号化）され、出力された場合、再生装置１１１から出力されることになるアナログ画像信号は、再生部１４２から出力されるアナログ画像信号Van2と同様に、２回目の符号化および復号化が行われた信号となる。
【０４３６】
この場合、基準フレームのデジタル画像信号Vdg1に対して、２回目の符号化および復号化が行われた復号化デジタル画像信号Vdg2は、コピー元の記録媒体１２１から再生された信号である、１回目の符号化および復号化が行われた復号化デジタル画像信号Vdg0に比べて、画質が大幅に劣化したものとなる。
【０４３７】
そこで、図４２乃至図４８を参照して、基準フレームのデジタル画像信号Vdg1に対する、１回目の符号化および復号化に対する、２回目の符号化および復号化の画質の劣化について説明する。
【０４３８】
図４２を参照して、基準フレーム符号化部２０３および基準フレーム復号化部２７３の第1の実施形態による、２回目の符号化および復号化による画質の劣化について説明する。
【０４３９】
基準フレーム符号化部２０３および基準フレーム復号化部２７３の第1の実施形態によれば、図４２に示すように、１回目の復号化後のブロックBL（基準フレームを構成する所定のブロックBL）を構成する画素の画素値のダイナミックレンジDR’は、１回目の符号化前のブロックBLを構成する画素の画素値のダイナミックレンジDRより小さくなる（１回目の符号化前のブロックBLを構成する画素の画素値の最大値MAXおよび最小値MINが、１回目の復号化後には、最大値MAX’およびMIN’にそれぞれ変更される）。
【０４４０】
これにより、２回目のデジタル画像信号Vdg1の符号化において、ブロックBLを構成する各画素を量子化した際に、新たな量子化歪みが発生するとともに、２回目の復号化後のブロックBLを構成する画素の画素値のダイナミックレンジも、図４２で示す１回目の復号化後と同様に、２回目の符号化前のダイナミックレンジよりさらに小さくなるため、２回目の符号化により符号化された符号化デジタル画像信号Vcd1を復号した復号化デジタル画像信号Vdg2は、１回目の符号化および復号化が行われた復号化デジタル画像信号Vdg0に比べて、画質が大幅に劣化したものとなる。
【０４４１】
上述したように、２回目の復号化後のブロックBLを構成する画素の画素値のダイナミックレンジも、図４２で示す１回目の復号化後と同様に、２回目の符号化前のダイナミックレンジよりさらに小さくなるため、３回目の符号化および復号化後の復号化デジタル画像信号は、２回目の符号化および復号化後の復号化デジタル画像信号Vdg2に比べて、さらに画質が劣化したものとなる。
【０４４２】
これに対して、予測フレーム符号化部２０５および予測フレーム復号化部２７４の第１の実施形態では、上述したように、１回目および２回目のいずれの符号化においても、ブロックBL’ごとに残差の特性に合わせた最適な符号化を行うため、予測フレーム符号化部２０５において符号化された符号化デジタル画像信号Vcd1を復号化したときの画質の劣化は少ない（生じない）。
【０４４３】
次に、図４３乃至図４８を参照して、基準フレーム符号化部２０３および基準フレーム復号化部２７３の第２の実施形態による、２回目の符号化および復号化による画質の劣化について説明する。
【０４４４】
図４３左側は、１回目の符号化前の基準フレーム内の所定のブロックBLの差分波形を示しており、図４３右側は、そのブロックBLの差分波形を符号化してから、復号化された後の差分波形を示している。即ち、図４３右側に示す差分波形が１回目の符号化および復号化を行った後の差分波形（ブロックBLを構成する各画素の差分データ）を示している。
【０４４５】
１回目の符号化および復号化では、図４３に示すように、ブロックBLの差分波形に大きな変化（歪み）は見られない。従って、１回目の符号化および復号化では、符号化歪み（量子化歪み）による僅かな歪みが生じるものの、基本的にはデジタル画像信号の劣化は起こらない。また、このことは、見方を変えれば、基準フレーム符号化部２０３および基準フレーム復号化部２７３を用いてデジタル画像信号のままコピーをする場合には、画質の劣化が発生しない（画質の劣化を防止することができる）とも言える。
【０４４６】
図４３左側と同一の、図４４右上側に示す復号化後のブロックBLの差分波形が、基準フレーム復号化部２７３において、予測画素値生成回路４０３によるブロックBLの予測波形（図４４左上側）と加算器４０５で加算され、出力波形（図４４下側）となって出力される。図４４下側に示すブロックBLの出力波形が、再生装置１１１の復号化部１３１から出力されるブロックBLの復号化デジタル画像信号Vdg0に相当する。
【０４４７】
再生装置１１１では、復号化デジタル画像信号Vdg0が、アナログ信号に変換されたときのアナログ歪みを伴うアナログ画像信号Van1として出力される。そして、記録装置１１３において、アナログ画像信号Van1がデジタル信号に変換されたデジタル画像信号Vdg1が、基準フレーム符号化部２０３で符号化される。
【０４４８】
基準フレーム符号化部２０３は、１回目の符号化と同様の符号化を行うものの、デジタル画像信号Vdg1がアナログ歪みと１回目の符号化歪みによって、ソート順算出回路１６３において算出されるソート順情報Vcds（ソート順）が、１回目のソート順情報Vcds（ソート順）と大きく異なるものとなる。
【０４４９】
図４５は、２回目の符号化において、ソート順算出回路３２１で求められたブロックBLを構成する画素の画素値の最大値Vcdmax、最小値Vcdmin、およびブロックBLのソート順情報Vcdsに基づく、予測画素値生成回路３２２の処理結果を示した図である。
【０４５０】
図４５に示すブロックBLのソート順情報Vcdsにおいて、例えば、丸の点線で示されているソート順が「３９」番目の画素の左隣には、ソート順が「１」番目の画素が配置され、丸の点線で示されているソート順が「３９」番目の画素の右隣には、ソート順が「２」番目の画素が配置されている。これは、ソート順が「３９」番目の画素と両隣の画素は、ソート順が大きく異なることを表している。ある画素の画素値と、その画素の近傍の画素の画素値の間には相関があり、ソート順において大きな変化が少ないのが一般的である。しかしながら、アナログ歪みと１回目の符号化歪みによって、２回目の符号化におけるソート順情報Vcds（ソート順）が、１回目のソート順情報Vcds（ソート順）と大きく異なるようになり、丸の点線で示されている画素のように、近傍の画素のソート順との差が大きい画素が発生する。なお、図４５のソート順情報Vcdsにおいて、例えば、四角の点線で示されているソート順が「４３」番目の画素や、「４」番目の画素も、近傍の画素のソート順との差が大きい画素となっている。これにより、符号化部１５２の予測画素値生成回路１６４において生成される予測波形は、図４５下側に示すように、ギザギザしたような高周波成分を有する波形となる。
【０４５１】
そして、図４５下側と同一の、図４６右上側示す予測波形が、ブロックBLの入力波形（図４６左上側）から減算され、ブロックBLの差分波形（図４６下側）となる。入力波形から予測波形が減算された差分波形は、予測波形の高周波成分が残るため、同様に、高周波成分を有する波形となる。
【０４５２】
しかしながら、基準フレーム符号化部２０３のブロック符号化回路３２４における符号化は、上述したように高周波成分を除去する符号化を行うため、図４７に示すように、高周波成分を有する符号化前のブロックBLの差分波形（図４７左側）を符号化し、さらにそれを復号化した場合、復号化後のブロックBLの差分波形は、図４７右側に示すように、大きく歪んだ（高周波成分が除去された）波形となる。
【０４５３】
従って、図４８に示すように、２回目の復号化において、ブロックBLの予測波形（図４８左上側）と、復号化後のブロックBLの差分波形（図４８右上側）とを加算して得られるブロックBLの出力波形も大きく歪んだ波形となる。即ち、図４４に示した１回目のブロックBLの出力波形と比較して、２回目のブロックBLの出力波形（図４８下側）は、大きく歪んだ波形となり、画質が劣化したものとなる。
【０４５４】
以上のように、コピーされた記録媒体１２２から再生された信号である、２回目の符号化および復号化が行われた基準フレームの復号化デジタル画像信号Vdg2は、コピー元の記録媒体１２１から再生された信号である、１回目の符号化および復号化が行われた基準フレームの復号化デジタル画像信号Vdg0に比べて、画質が大幅に劣化したものとなる。
【０４５５】
なお、再生装置１１１から出力されるアナログ画像信号Van1が２回目の符号化および復号化が行われた信号である場合には、次にコピーされた記録媒体１２２から再生される信号は、３回目の符号化および復号化が行われたアナログ画像信号Van2となり、その画像は、より一層劣化したものとなる。即ち、符号化および復号化を繰り返す度に、記録媒体１２２に記録される画像信号による画質が劣化していくことになる。
【０４５６】
これに対して、予測フレーム符号化部２０５および予測フレーム復号化部２７４の第２の実施形態では、上述したように、１回目および２回目のいずれの符号化においても、ブロックBL(BL’)ごとに残差の特性に合わせた最適な符号化方式を選択し、符号化を行うため、予測フレーム符号化部２０５において符号化された符号化デジタル画像信号Vcd1を復号化したときの画質の劣化は少ない（生じない）。
【０４５７】
従って、図４９に示すように、２回目の符号化および復号化を経た画像は、画質が劣化した（基準フレームの）画像が所定枚数ごとに（所定間隔で）表示されるため、画像を連続して見たときに一定の間隔で劣化した画像が知覚され、視覚的に大きな劣化を生じる結果（劣化効果）となる。
【０４５８】
従って、記録再生装置１１３によれば、良好な画質を維持したままでのアナログ画像信号を利用したコピーは不可能となり、２回目以降の符号化および復号化された画像信号に対応する画像の画質を著しく劣化させることにより、アナログ画像信号（アナログ信号）を利用した不正コピーを防止することができる。
【０４５９】
また、図２の画像処理システム１０１では、自然に生じるアナログ歪みを使って画質を劣化させて不正コピーを防止するため、アナログ画像信号Van1に対して（画質を劣化させる等の）特別の処理を行っていない。従って、不正コピーを防止するための特別の回路など（手段）を必要とせず構成が複雑となる（回路規模が増大する）というような問題も発生しない。なお、図２の画像処理システム１０１では、再生装置１１１のD/A変換部１３２において復号化デジタル画像信号Vdg0をアナログ信号に変換したときに生じるアナログ歪みを利用した例について説明したが、D/A変換部１３２からA/D変換部１５１までの伝送路において生じるアナログ歪み、またはA/D変換部１５１において生じるアナログ歪みについても同様の効果（復号化デジタル画像信号Vdg2の画質の大幅な劣化）となる。
【０４６０】
さらに、上述した図２の画像処理システム１０１では、自然に生じるアナログ歪みの他に、再生装置１１１から出力されるアナログ画像信号Van1に対して、意図的にアナログ歪みを生じさせるノイズ（アナログノイズ）を付加させるようにすることも可能である。
【０４６１】
図５０は、本発明を適用した画像処理システムのその他の実施の形態の構成例を示すブロック図である。
【０４６２】
なお、図５０において、図２の画像処理システム１０１と対応する部分については、同一の符号を付してあり、その説明を省略する。
【０４６３】
即ち、図５０の画像処理システム１０１では、記録装置１１３の記録部１４１において、ノイズ付加部５０１が新たに設けられている他は、図２の画像処理システム１０１と同様に構成されている。
【０４６４】
再生装置１１１から出力されるアナログ画像信号Van1は、記録装置１のノイズ付加部５０１に入力される。ノイズ付加部５０１は、入力されるアナログ画像信号Van1にノイズを付加して、A/D変換部１５１に供給する。
【０４６５】
図５１のフローチャートを参照して、図５０の記録装置１１３による記録確認処理について説明する。
【０４６６】
初めに、ステップＳ２０１において、ノイズ付加部５０１は、再生装置１１１からのアナログ画像信号Van1にノイズを付加して、A/D変換部１５１に供給する。
【０４６７】
ステップＳ２０２乃至Ｓ２１６では、図４１のステップＳ１７１乃至Ｓ１８５と同様の処理が行われる。即ち、A/D変換部１５１において、ノイズが付加されることにより、さらに大きなアナログ歪みを伴うアナログ画像信号Van1がデジタル信号に変換され、符号化部１５２において、デジタル画像信号Vdg1が符号化デジタル画像信号Vcd1に符号化される。そして、その符号化デジタル画像信号Vcd1が記録媒体１２２に記録される。また、符号化デジタル画像信号Vcd1は、復号化デジタル画像信号Vdg2に復号化され、さらにアナログ信号（アナログ画像信号Van2）に変換され、ディスプレイ１４３に画像として表示される。
【０４６８】
以上のように、図５０の記録装置１１３では、自然に生じるアナログ歪みだけでなく、意図的にノイズを付加することによりアナログ歪みを生じさせた（アナログ歪みを伴う）アナログ画像信号Van1を符号化する。この場合、２回目以降の符号化および復号化によって、画質をさらに著しく劣化させることになり、アナログ画像信号を利用した不正コピーを防止することができる。
【０４６９】
なお、アナログ画像信号にノイズを意図的に付加する場合、再生装置１１１がノイズを付加してからアナログ画像信号Van1を出力するようにしてもよい。
【０４７０】
即ち、図５２は、本発明を適用した画像処理システムのさらにその他の実施の形態の構成例を示すブロック図である。
【０４７１】
なお、図５２において、図２の画像処理システム１０１と対応する部分については、同一の符号を付してあり、その説明を省略する。
【０４７２】
即ち、図５２の画像処理システム１０１では、再生装置１１１において、ノイズ付加部５０２が新たに設けられており、それに対応して、再生装置１１１と同様の構成とされる記録装置１１３の再生部１４２においても、ノイズ付加部５０３が設けられている他は、図２の画像処理システム１０１と同様に構成されている。
【０４７３】
再生装置１１１のノイズ付加部５０２には、記録媒体１２１から再生されたアナログ画像信号がD/A変換部１３２から供給される。ノイズ付加部５０２は、D/A変換部１３２からのアナログ画像信号にノイズを付加し、その結果得られるアナログ画像信号Van1をディスプレイ１１２および記録装置１１３に出力する。
【０４７４】
記録装置１１３の再生部１４２においても同様に、アナログ画像信号がD/A変換部１５６からノイズ付加部５０３に供給される。ノイズ付加部５０３は、D/A変換部１５６からのアナログ画像信号にノイズを付加し、その結果得られるアナログ画像信号Van2をディスプレイ１４３に出力する。
【０４７５】
図５３のフローチャートを参照して、図５２の記録装置１１３による記録確認処理について説明する。
【０４７６】
ステップＳ２３１乃至Ｓ２４４では、図４１のステップＳ１７１乃至Ｓ１８４と同様の処理が行われる。即ち、A/D変換部１５１において、再生装置１１１からのアナログ画像信号Van1がデジタル信号に変換され、符号化部１５２において、デジタル画像信号Vdg1が符号化デジタル画像信号Vcd1に符号化される。そして、その符号化デジタル画像信号Vcd1が記録媒体１２２に記録される。また、符号化デジタル画像信号Vcd1は、復号化デジタル画像信号Vdg2に復号化され、さらにアナログ信号に変換される。
【０４７７】
そして、ステップＳ２４４の処理後、ステップＳ２４５に進み、ノイズ付加部５０３は、D/A変換部１５６からのアナログ画像信号にノイズを付加し、その結果得られるアナログ画像信号Van2をディスプレイ１４３に出力する。
【０４７８】
ステップＳ２４６において、ディスプレイ１４３は、ノイズ付加部５０３からのアナログ画像信号Van2による画像を表示して、処理を終了する。
【０４７９】
以上のように、アナログ画像信号Van1が、自然に生じるアナログ歪みだけでなく、意図的にノイズを付加したことにより、さらに大きなアナログ歪みを伴う場合においても、良好な画質を維持したままでのアナログ画像信号を利用したコピーは不可能となる。即ち、２回目以降の符号化および復号化された画像信号に対応する画像の画質をさらに著しく劣化させることにより、アナログ画像信号を利用した不正コピーを防止することができる。
【０４８０】
上述した図２２のブロック符号化回路３２４では、減算器３２３から供給される注目ブロックBL’の各画素の残差データに対して、DCT変換を行うことにより、高周波成分を除去する符号化を行うようにしたが、ブロック符号化回路３２４では、高周波成分を除去するものであれば、その他のDST（Discrete sine Transform）変換やFFT(Fast Fourier Transform)変換などを採用することができる。この場合、図３５のブロック復号化回路４０４では、ブロック符号化回路３２４に対応する復号化が行われる。
【０４８１】
また、上述した実施の形態では、１フレームを構成する複数のブロックBL（BL’）それぞれを順次注目ブロックBLc（BLc’）として処理するようにしたが、１フレームの全てのブロックBLが、同時に（並行して）処理するようにしてもよい。さらに、符号化部１５２および復号化部１５５は、フレーム単位で画像を処理するようにしたが、フレーム単位に限定されない。例えば、フィールド単位や複数フレーム単位で並行に処理するようにしてもよい。
【０４８２】
上述した記録確認処理、符号化処理、復号化処理などの一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアによって行う場合、例えば、その一連の処理は、図５４に示されるような（パーソナル）コンピュータにプログラムを実行させることにより実現することができる。
【０４８３】
図５４において、CPU（Central Processing Unit）６０１は、ROM（Read Only Memory）６０２に記憶されているプログラム、または記憶部６０８からRAM（Random Access Memory）６０３にロードされたプログラムに従って各種の処理を実行する。RAM６０３にはまた、CPU６０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０４８４】
CPU６０１、ROM６０２、およびRAM６０３は、バス６０４を介して相互に接続されている。このバス６０４にはまた、入出力インタフェース６０５も接続されている。
【０４８５】
入出力インタフェース６０５には、キーボード、マウス、入力端子などよりなる入力部６０６、CRT(Cathode Ray Tube)，LCD(Liquid Crystal display)などよりなるディスプレイ、出力端子、並びにスピーカなどよりなる出力部６０７、ハードディスクなどより構成される記憶部６０８、ターミナルアダプタ、ADSL（Asymmetric Digital Subscriber Line）モデムや、LAN (Local Area Network)カード等より構成される通信部６０９が接続されている。通信部６０９は、インターネットなどの各種のネットワークを介しての通信処理を行う。
【０４８６】
入出力インタフェース６０５にはまた、ドライブ７１０が接続され、磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory) DVD Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、或いは半導体メモリなどのリムーバブルメディア（記録媒体）７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部６０８にインストールされる。
【０４８７】
図５４において、プログラムを実行するCPU６０１が、例えば、図２のA/D変換部１５１、符号化部１５２、復号化部１５５（復号化部１３１）、およびD/A変換部１５６（D/A変換部１３２）に対応し、ドライブ３１０が媒体記録部１５３に対応する。また、ディスプレイ１４３は、出力部６０７に対応する。
【０４８８】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４８９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０４９０】
【図１】従来の画像処理システムの構成の一例を示すブロック図である。
【図２】本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図３】基準フレームと予測フレームを説明する図である。
【図４】図２の符号化部１５２の構成例を示すブロック図である。
【図５】図４の基準フレーム符号化部２０３の第１の実施形態の構成例を示すブロック図である。
【図６】基準フレームの画像をブロックBLに分割した例を示す図である。
【図７】ブロック符号化回路２２７における符号化とそれに対応する復号化を説明する図である。
【図８】基準フレーム符号化部２０３の基準フレーム符号化処理について説明するフローチャートである。
【図９】図４の予測フレーム符号化部２０５の第１の実施形態の構成例を示すブロック図である。
【図１０】予測フレームの画像をブロックBL’に分割した例を示す図である。
【図１１】動きベクトル先のブロックBL’mvの検出について説明する図である。
【図１２】動きベクトル先のブロックBL’mvの検出について説明する図である。
【図１３】ソート処理回路２４５のソート処理について説明する図である。
【図１４】回帰回路２４６の回帰式の算出について説明する図である。
【図１５】ブロック符号化回路２２７の符号化およびそれに対応する復号化を説明する図である。
【図１６】図９の予測フレーム符号化部２０５の予測フレーム符号化処理について説明するフローチャートである。
【図１７】図２の復号化部１５５の構成例を示すブロック図である。
【図１８】図１７の基準フレーム復号化部２７３の第１の実施形態の構成例を示すブロック図である。
【図１９】基準フレーム復号化部２７３の基準フレーム復号化処理について説明するフローチャートである。
【図２０】図１７の予測フレーム復号化部２７４の第１の実施形態の構成例を示すブロック図である。
【図２１】図２０の予測フレーム復号化部２７４の予測フレーム復号化処理について説明するフローチャートである。
【図２２】図４の基準フレーム符号化部２０３の第２の実施形態の構成例を示すブロック図である。
【図２３】基準フレームの画像をブロックBL’に分割した例を示す図である。
【図２４】ソート順算出回路３２１のソート処理について説明する図である。
【図２５】ソート順算出回路３２１のソート処理について説明する図である。
【図２６】予測回路３３１による処理を説明する図である。
【図２７】逆ソート回路３３２による処理を説明する図である。
【図２８】注目ブロックBLc’の差分波形を説明する図である。
【図２９】ブロック符号化回路３２４で用いられる量子化テーブルの例を示す図である。
【図３０】図２２の基準フレーム符号化部２０３の符号化処理について説明するフローチャートである。
【図３１】図４の予測フレーム符号化部２０５の第２の実施形態の構成例を示すブロック図である。
【図３２】図３１のADRC符号化部３４１の詳細な構成例を示すブロック図である。
【図３３】図３１の直交変換符号化部３４２の詳細な構成例を示すブロック図である。
【図３４】図３１の予測フレーム符号化部２０５の予測フレーム符号化処理について説明するフローチャートである。
【図３５】図１７の基準フレーム復号化部２７３の第２の実施形態の構成例を示すブロック図である。
【図３６】図３５の基準フレーム復号化部２７３の復号化処理を説明するフローチャートである。
【図３７】図１７の予測フレーム復号化部２７４の第２の実施形態の構成例を示すブロック図である。
【図３８】図３７のADRC復号化部４３５の詳細な構成例を示すブロック図である。
【図３９】図３７の直交変換復号化部４３６の詳細な構成例を示すブロック図である。
【図４０】図３７の予測フレーム復号化部２７４の予測フレーム復号化処理を説明するフローチャートである。
【図４１】図２の記録装置１１３の記録確認処理を説明するフローチャートである。
【図４２】２回目の符号化および復号化による画質の劣化について説明する図である。
【図４３】２回目の符号化および復号化による画質の劣化について説明する図である。
【図４４】２回目の符号化および復号化による画質の劣化について説明する図である。
【図４５】２回目の符号化および復号化による画質の劣化について説明する図である。
【図４６】２回目の符号化および復号化による画質の劣化について説明する図である。
【図４７】２回目の符号化および復号化による画質の劣化について説明する図である。
【図４８】２回目の符号化および復号化による画質の劣化について説明する図である。
【図４９】２回目以降の符号化および復号化による画質の劣化について説明する図である。
【図５０】本発明を適用した画像処理システムのその他の実施の形態の構成例を示すブロック図である。
【図５１】図５０の記録装置１１３による記録確認処理を説明するフローチャートである。
【図５２】本発明を適用した画像処理システムのさらにその他の実施の形態の構成例を示すブロック図である。
【図５３】図５２の記録装置１１３による記録確認処理を説明するフローチャートである。
【図５４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０４９１】
１０１    画像処理システム，  １１３    記録装置，  １４１    記録部，  １４２    再生部，  １５２    符号化部，  １５５    復号化部，  ２０１    入力端子，  ２０２    符号化選択回路，  ２０３    基準フレーム符号化部，  ２０４    ローカルデコード部，  ２０５    予測フレーム符号化部，  ２０６  出力端子，  ２２１    入力端子，  ２２２    ブロック化回路，  ２２３    最大値検出回路，  ２２４    最小値検出回路，  ２２５，２２６    減算器，  ２２７    ブロック符号化回路，  ２２８    データ合成回路，  ２２９    出力端子，  ２４１    入力端子，  ２４２    ブロック化回路，  ２４３    動きベクトル検出回路，  ２４４    残差算出回路，  ２４５    ソート処理回路，  ２４６    回帰回路，  ２４７    減算器，  ２４８    ブロック符号化回路，  ２４９    データ合成回路，  ２５０    ローカルデコード部，  ２７１    入力端子，  ２７２    復号化選択回路，  ２７３    基準フレーム復号化部，  ２７４    予測フレーム復号化部，  ２９１    入力端子，  ２９２    データ分解回路，  ２９３    ブロック復号化回路，  ２９４    加算器，  ２９５    ブロック分解回路，  ２９６    出力端子，  ３０１    入力端子，  ３０２    データ分解回路，  ３０３    動きベクトル先抽出回路，  ３０４    ブロック復号化回路，  ３０５，３０６    加算器，  ３０７    ブロック分解回路，  ３０９    出力端子，  ３２１    ソート順算出回路，  ３２２    予測画素値生成回路，  ３２３    減算器，  ３２４    ブロック符号化回路，  ３２５    データ合成回路，  ３３１    予測回路，  ３３２    逆ソート回路，  ３４１    ADRC符号化部，  ３４２    直交変換符号化部，  ３４３    ADRCローカルデコード部，  ３４４    直交変換ローカルデコード部，  ３４５    符号化判定回路，  ３４６    選択回路，  ３４７    データ合成回路，  ３４８    ローカルデコード部，  ４０１    入力端子，  ４０２    データ分解回路，  ４０３    予測画素値生成回路，  ４０４    ブロック復号化回路，  ４０５    加算器，  ４１１    予測回路，  ４１２    逆ソート回路，  ４３１    入力端子，  ４３２    データ分解回路，  ４３４    選択回路，  ４３５    ADRC復号化部，  ４３６    直行変換復号化部，  ５０１乃至５０３    ノイズ付加部
【図１】
2006217426.tif 000003
【図２】
2006217426.tif 000004
【図３】
2006217426.tif 000005
【図４】
2006217426.tif 000006
【図５】
2006217426.tif 000007
【図６】
2006217426.tif 000008
【図７】
2006217426.tif 000009
【図８】
2006217426.tif 000010
【図９】
2006217426.tif 000011
【図１０】
2006217426.tif 000012
【図１１】
2006217426.tif 000013
【図１２】
2006217426.tif 000014
【図１３】
2006217426.tif 000015
【図１４】
2006217426.tif 000016
【図１５】
2006217426.tif 000017
【図１６】
2006217426.tif 000018
【図１７】
2006217426.tif 000019
【図１８】
2006217426.tif 000020
【図１９】
2006217426.tif 000021
【図２０】
2006217426.tif 000022
【図２１】
2006217426.tif 000023
【図２２】
2006217426.tif 000024
【図２３】
2006217426.tif 000025
【図２４】
2006217426.tif 000026
【図２５】
2006217426.tif 000027
【図２６】
2006217426.tif 000028
【図２７】
2006217426.tif 000029
【図２８】
2006217426.tif 000030
【図２９】
2006217426.tif 000031
【図３０】
2006217426.tif 000032
【図３１】
2006217426.tif 000033
【図３２】
2006217426.tif 000034
【図３３】
2006217426.tif 000035
【図３４】
2006217426.tif 000036
【図３５】
2006217426.tif 000037
【図３６】
2006217426.tif 000038
【図３７】
2006217426.tif 000039
【図３８】
2006217426.tif 000040
【図３９】
2006217426.tif 000041
【図４０】
2006217426.tif 000042
【図４１】
2006217426.tif 000043
【図４２】
2006217426.tif 000044
【図４３】
2006217426.tif 000045
【図４４】
2006217426.tif 000046
【図４５】
2006217426.tif 000047
【図４６】
2006217426.tif 000048
【図４７】
2006217426.tif 000049
【図４８】
2006217426.tif 000050
【図４９】
2006217426.tif 000051
【図５０】
2006217426.tif 000052
【図５１】
2006217426.tif 000053
【図５２】
2006217426.tif 000054
【図５３】
2006217426.tif 000055
【図５４】
2006217426.tif 000056