(57)【要約】【課題】アナログ信号を利用したコンテンツデータの不正な複製を抑制することができるようにする。【解決手段】  符号化部４５は、ブロック化された画素データにおいて、前フレームより４隅の画素の画素値が一致するブロックを検出し、動きベクトルを求める。また、符号化部４５は、その２つのフレームの対応するブロック間で残差を求め、その残差を符号化する。さらに、符号化部４５は、その符号化データを復号し、元のフレームを復元し、次のフレームの符号化に利用する。復号部４１は、動きベクトルに基づいて前フレームから対応するブロックの位置を求め、そのブロックを用いて符号化データを復号する。本発明は、画像データの再生を行う画像処理システムに適用することができる。【選択図】図２
2006217405.tif 000002
【特許請求の範囲】
【請求項１】
入力された入力画像データを符号化する符号化装置であって、
前記入力画像データの各フレーム画像を複数の領域に分割するように前記入力画像データを複数のブロックにブロック化するブロック化手段と、
前記ブロック化手段により前記入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、前記特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、前記特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出手段と、
前記第１のブロックと、前記検出手段により検出された前記第２のブロックとの間で各画素の画素値の差分を算出する差分算出手段と、
前記差分算出手段により得られた前記差分を前記ブロック毎に符号化する差分符号化手段と
を備えることを特徴とする符号化装置。
【請求項２】
前記検出手段は、各ブロックの４隅の画素を特定画素として特定する
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記検出手段は、前記第２のフレームにおいて前記第２のブロックを検索する検索範囲を設定する検索範囲設定手段を備える
ことを特徴とする請求項１に記載の符号化装置。
【請求項４】
前記検出手段は、前記第１のブロックの各特定画素と前記第２のフレームのブロックの各特定画素の差分の絶対値の総和を算出する差分絶対値総和算出手段を備え、
前記差分絶対値総和算出手段により算出された前記差分の絶対値の総和の値が最小となる前記第２のフレームのブロックを前記第２のブロックとして検出する
ことを特徴とする請求項１に記載の符号化装置。
【請求項５】
前記検出手段は、
それまでに前記差分絶対値算出手段により算出された前記差分の絶対値の総和の最小値を最小値の候補として保持する候補保持手段と、
前記差分絶対値算出手段により算出された前記差分の絶対値の総和の値を、前記候補保持手段により保持されている前記最小値の候補と比較する比較手段と
をさらに備え、
前記候補保持手段は、前記比較手段による比較結果に基づいて、より値が小さい方の前記差分の絶対値の総和を最小値の候補として保持する
ことを特徴とする請求項４に記載の符号化装置。
【請求項６】
前記検出手段は、検出した前記第２のブロックの前記第１のブロックの位置を基準とした相対位置を算出するブロック位置算出手段を備える
ことを特徴とする請求項１に記載の符号化装置。
【請求項７】
前記差分算出手段は、前記特定画素の前記差分を「０」に設定する
ことを特徴とする請求項１に記載の符号化装置。
【請求項８】
前記差分符号化手段は、
前記差分算出手段により得られた前記差分を直交変換する直交変換手段と、
前記直交変換手段により前記差分が直交変換されて得られた係数データを量子化する量子化手段と、
前記量子化手段により前記係数データが量子化されて得られた量子化係数データを可変長符号化する可変長符号化手段と
を備える
ことを特徴とする請求項１に記載の符号化装置。
【請求項９】
前記直交変換手段は前記差分を離散サイン変換する
ことを特徴とする請求項８に記載の符号化装置。
【請求項１０】
前記検出手段において検出された、前記第１のブロックの位置に対する前記第２のブロックの相対位置情報であるブロック位置データ、および、前記差分符号化手段により前記差分が符号化されて得られた符号化データを前記符号化装置の外部に出力する出力手段をさらに備える
ことを特徴とする請求項１に記載の符号化装置。
【請求項１１】
前記差分符号化手段により前記差分が符号化されて得られた符号化データを復号し、前記ブロック位置データに基づいてフレーム画像を得る復号手段と、
前記復号手段による復号により得られたフレーム画像を、次回の第２のブロックの検出における前記第２のフレーム画像として保持するフレーム画像保持手段と
をさらに備え、
前記検出手段は、前記フレーム画像保持手段が保持している前記フレーム画像を前記第２のフレーム画像として利用し、前記第２のブロックを検出する
ことを特徴とする請求項１に記載の符号化装置。
【請求項１２】
アナログ信号の入力画像データに対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加手段と、
前記ノイズ付加手段によりアナログノイズが付加された前記アナログ信号の入力画像データをA/D変換し、デジタルデータの入力画像データを得るA/D変換手段と
をさらに備え、
前記ブロック化手段は、前記A/D変換手段によりA/D変換されて得られた前記デジタルデータの入力画像データを複数のブロックにブロック化する
ことを特徴とする請求項１に記載の符号化装置。
【請求項１３】
入力された入力画像データを符号化する符号化装置の符号化方法であって、
前記入力画像データの各フレーム画像を複数の領域に分割するように前記入力画像データを複数のブロックにブロック化するブロック化ステップと、
前記ブロック化ステップの処理により前記入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、前記特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、前記特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出ステップと、
前記第１のブロックと、前記検出ステップの処理により検出された前記第２のブロックとの間で各画素の画素値の差分を算出する差分算出ステップと、
前記差分算出ステップの処理により得られた前記差分を前記ブロック毎に符号化する差分符号化ステップと
を含むことを特徴とする符号化方法。
【請求項１４】
前記検出ステップは、各ブロックの４隅の画素を特定画素として特定する
ことを特徴とする請求項１３に記載の符号化方法。
【請求項１５】
前記検出ステップは、前記第２のフレームにおいて前記第２のブロックを検索する検索範囲を設定する検索範囲設定ステップを含む
ことを特徴とする請求項１３に記載の符号化方法。
【請求項１６】
前記検出ステップは、前記第１のブロックの各特定画素と前記第２のフレームのブロックの各特定画素の差分の絶対値の総和を算出する差分絶対値総和算出ステップを含み、
前記差分絶対値総和算出ステップの処理により算出された前記差分の絶対値の総和の値が最小となる前記第２のフレームのブロックを前記第２のブロックとして検出する
ことを特徴とする請求項１３に記載の符号化方法。
【請求項１７】
前記検出ステップは、
それまでに前記差分絶対値算出ステップの処理により算出された前記差分の絶対値の総和の最小値を最小値の候補として保持部に保持させる候補保持制御ステップと、
前記差分絶対値算出ステップの処理により算出された前記差分の絶対値の総和の値を、前記候補保持制御ステップの処理により制御されて前記保持部に保持されている前記最小値の候補と比較する比較ステップと
をさらに含み、
前記候補保持制御ステップは、前記比較ステップの処理による比較結果に基づいて、より値が小さい方の前記差分の絶対値の総和を最小値の候補として前記保持部に保持させるように制御する
ことを特徴とする請求項１６に記載の符号化方法。
【請求項１８】
前記検出ステップは、検出した前記第２のブロックの前記第１のブロックの位置を基準とした相対位置を算出するブロック位置算出ステップを含む
ことを特徴とする請求項１３に記載の符号化方法。
【請求項１９】
前記差分算出ステップは、前記特定画素の前記差分を「０」に設定する
ことを特徴とする請求項１３に記載の符号化方法。
【請求項２０】
前記差分符号化ステップは、
前記差分算出ステップの処理により得られた前記差分を直交変換する直交変換ステップと、
前記直交変換ステップの処理により前記差分が直交変換されて得られた係数データを量子化する量子化ステップと、
前記量子化ステップの処理により前記係数データが量子化されて得られた量子化係数データを可変長符号化する可変長符号化ステップと
を含む
ことを特徴とする請求項１３に記載の符号化方法。
【請求項２１】
前記直交変換ステップは前記差分を離散サイン変換する
ことを特徴とする請求項２０に記載の符号化方法。
【請求項２２】
前記検出ステップの処理において検出された、前記第１のブロックの位置に対する前記第２のブロックの相対位置情報であるブロック位置データ、および、前記差分符号化ステップの処理により前記差分が符号化されて得られた符号化データを前記符号化装置の外部に出力するように出力部を制御する出力制御ステップをさらに含む
ことを特徴とする請求項１３に記載の符号化方法。
【請求項２３】
前記差分符号化ステップの処理により前記差分が符号化されて得られた符号化データを復号し、前記ブロック位置データに基づいてフレーム画像を得る復号ステップと、
前記復号ステップの処理により得られたフレーム画像を、次回の第２のブロックの検出における前記第２のフレーム画像として保持部に保持させるように制御するフレーム画像保持制御ステップと
をさらに含み、
前記検出ステップは、前記フレーム画像保持制御ステップの処理により制御されて前記保持部に保持されている前記フレーム画像を前記第２のフレーム画像として利用し、前記第２のブロックを検出する
ことを特徴とする請求項１３に記載の符号化方法。
【請求項２４】
アナログ信号の入力画像データに対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加ステップと、
前記ノイズ付加ステップの処理によりアナログノイズが付加された前記アナログ信号の入力画像データをA/D変換し、デジタルデータの入力画像データを得るA/D変換ステップと
をさらに含み、
前記ブロック化ステップは、前記A/D変換手段によりA/D変換されて得られた前記デジタルデータの入力画像データを複数のブロックにブロック化する
ことを特徴とする請求項１３に記載の符号化方法。
【請求項２５】
入力された入力画像データを符号化する処理をコンピュータに行わせるプログラムであって、
前記入力画像データの各フレーム画像を複数の領域に分割するように前記入力画像データを複数のブロックにブロック化するブロック化ステップと、
前記ブロック化ステップの処理により前記入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、前記特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、前記特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出ステップと、
前記第１のブロックと、前記検出ステップの処理により検出された前記第２のブロックとの間で各画素の画素値の差分を算出する差分算出ステップと、
前記差分算出ステップの処理により得られた前記差分を前記ブロック毎に符号化する差分符号化ステップと
を含むことを特徴とするプログラムが記録された、コンピュータに読み取り可能な記録媒体。
【請求項２６】
入力された入力画像データを符号化する処理をコンピュータに行わせるプログラムであって、
前記入力画像データの各フレーム画像を複数の領域に分割するように前記入力画像データを複数のブロックにブロック化するブロック化ステップと、
前記ブロック化ステップの処理により前記入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、前記特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、前記特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出ステップと、
前記第１のブロックと、前記検出ステップの処理により検出された前記第２のブロックとの間で各画素の画素値の差分を算出する差分算出ステップと、
前記差分算出ステップの処理により得られた前記差分を前記ブロック毎に符号化する差分符号化ステップと
を含むことを特徴とするプログラム。
【請求項２７】
符号化装置において符号化された画像データを復号する復号装置であって、
前記符号化装置において検出された、前記画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、前記第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、前記第１のブロックの位置に対する相対位置情報であるブロック位置データと、前記符号化装置において符号化された、前記第１のブロックの各画素と前記第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付手段と、
前記入力受付手段により受け付けられた前記ブロック位置データに基づいて、前記第２のフレーム画像より前記第２のブロックを抽出する抽出手段と、
前記入力受付手段により受け付けられた前記符号化データを復号し、前記差分を得る差分復号手段と、
前記抽出手段により抽出された前記第２のブロックと、前記差分復号手段により得られた前記差分とを画素毎に加算し、前記第１のブロックを得る画素値加算手段と
を備えることを特徴とする復号装置。
【請求項２８】
前記特定画素は、前記第１のブロックの４隅の画素である
ことを特徴とする請求項２７に記載の復号装置。
【請求項２９】
前記差分復号手段は、
前記入力受付手段により受け付けられた前記符号化データを可変長復号する可変長復号手段と、
前記可変長復号手段により前記符号化データが可変長復号されて得られた量子化係数データを逆量子化する逆量子化手段と、
前記逆量子化手段により前記量子化係数データが逆量子化されて得られた係数データを逆直交変換する逆直交変換手段と
を備える
ことを特徴とする請求項２７に記載の復号装置。
【請求項３０】
前記直交変換手段は前記係数データを逆離散サイン変換する
ことを特徴とする請求項２９に記載の復号装置。
【請求項３１】
前記画素値加算手段は、前記特定画素の加算を行う場合、前記差分を「０」に設定してから加算を行う
ことを特徴とする請求項２７に記載の復号装置。
【請求項３２】
前記画素値加算手段は、加算結果として得られた各画素の画素値を前記ブロック毎にラスター順に並び替える
ことを特徴とする請求項２７に記載の復号装置。
【請求項３３】
前記画素値加算手段による加算により得られた前記第１のブロックを保持し、フレーム画像単位で前記復号装置の外部に出力する出力手段をさらに備える
ことを特徴とする請求項２７に記載の復号装置。
【請求項３４】
前記出力手段により出力される前記フレーム画像を、次回の第２のブロックの抽出における前記第２のフレーム画像として保持するフレーム画像保持手段をさらに備え、
前記抽出手段は、前記フレーム画像保持手段が保持している前記フレーム画像を前記第２のフレーム画像として利用し、前記ブロック位置データに基づいて前記第２のブロックを抽出する
ことを特徴とする請求項３３に記載の復号装置。
【請求項３５】
前記画素値加算手段において得られた前記入力画素値により構成されるデジタル画像データをD/A変換し、アナログ信号に変換するD/A変換手段と、
前記D/A変換手段により前記デジタル画像データがD/A変換されて得られた前記アナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加手段と
をさらに備え、
前記復号装置は、前記ノイズ付加手段により前記アナログノイズが付加された前記アナログ信号を出力する
ことを特徴とする請求項２７に記載の復号装置。
【請求項３６】
符号化装置において符号化された画像データを復号する復号装置の復号方法であって、
前記符号化装置において検出された、前記画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、前記第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、前記第１のブロックの位置に対する相対位置情報であるブロック位置データと、前記符号化装置において符号化された、前記第１のブロックの各画素と前記第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付ステップと、
前記入力受付ステップの処理により受け付けられた前記ブロック位置データに基づいて、前記第２のフレーム画像より前記第２のブロックを抽出する抽出ステップと、
前記入力受付ステップの処理により受け付けられた前記符号化データを復号し、前記差分を得る差分復号ステップと、
前記抽出ステップの処理により抽出された前記第２のブロックと、前記差分復号ステップの処理により得られた前記差分とを画素毎に加算し、前記第１のブロックを得る画素値加算ステップと
を含むことを特徴とする復号方法。
【請求項３７】
前記特定画素は、前記第１のブロックの４隅の画素である
ことを特徴とする請求項３６に記載の復号方法。
【請求項３８】
前記差分復号ステップは、
前記入力受付ステップの処理により受け付けられた前記符号化データを可変長復号する可変長復号ステップと、
前記可変長復号ステップの処理により前記符号化データが可変長復号されて得られた量子化係数データを逆量子化する逆量子化ステップと、
前記逆量子化ステップの処理により前記量子化係数データが逆量子化されて得られた係数データを逆直交変換する逆直交変換ステップと
を含む
ことを特徴とする請求項３６に記載の復号方法。
【請求項３９】
前記直交変換ステップは前記係数データを逆離散サイン変換する
ことを特徴とする請求項３８に記載の復号方法。
【請求項４０】
前記画素値加算ステップは、前記特定画素の加算を行う場合、前記差分を「０」に設定してから加算を行う
ことを特徴とする請求項３６に記載の復号方法。
【請求項４１】
前記画素値加算ステップは、加算結果として得られた各画素の画素値を前記ブロック毎にラスター順に並び替える
ことを特徴とする請求項３６に記載の復号方法。
【請求項４２】
前記画素値加算ステップの処理による加算により得られた前記第１のブロックを保持し、フレーム画像単位で前記復号装置の外部に出力するように出力部を制御する出力制御ステップをさらに含む
ことを特徴とする請求項３６に記載の復号方法。
【請求項４３】
前記出力制御ステップの処理により制御されて前記出力部より出力される前記フレーム画像を、次回の第２のブロックの抽出における前記第２のフレーム画像として保持部に保持させるように制御するフレーム画像保持制御ステップをさらに備え、
前記抽出ステップは、前記フレーム画像保持制御ステップの処理により制御されて前記保持部に保持されている前記フレーム画像を前記第２のフレーム画像として利用し、前記ブロック位置データに基づいて前記第２のブロックを抽出する
ことを特徴とする請求項４２に記載の復号方法。
【請求項４４】
前記画素値加算ステップの処理において得られた前記入力画素値により構成されるデジタル画像データをD/A変換し、アナログ信号に変換するD/A変換ステップと、
前記D/A変換ステップの処理により前記デジタル画像データがD/A変換されて得られた前記アナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加ステップと
をさらに含む
ことを特徴とする請求項３６に記載の復号方法。
【請求項４５】
符号化装置において符号化された画像データを復号する処理をコンピュータに行わせるプログラムであって、
前記符号化装置において検出された、前記画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、前記第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、前記第１のブロックの位置に対する相対位置情報であるブロック位置データと、前記符号化装置において符号化された、前記第１のブロックの各画素と前記第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付ステップと、
前記入力受付ステップの処理により受け付けられた前記ブロック位置データに基づいて、前記第２のフレーム画像より前記第２のブロックを抽出する抽出ステップと、
前記入力受付ステップの処理により受け付けられた前記符号化データを復号し、前記差分を得る差分復号ステップと、
前記抽出ステップの処理により抽出された前記第２のブロックと、前記差分復号ステップの処理により得られた前記差分とを画素毎に加算し、前記第１のブロックを得る画素値加算ステップと
を含むことを特徴とするプログラムが記録された、コンピュータに読み取り可能な記録媒体。
【請求項４６】
符号化装置において符号化された画像データを復号する処理をコンピュータに行わせるプログラムであって、
前記符号化装置において検出された、前記画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、前記第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、前記第１のブロックの位置に対する相対位置情報であるブロック位置データと、前記符号化装置において符号化された、前記第１のブロックの各画素と前記第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付ステップと、
前記入力受付ステップの処理により受け付けられた前記ブロック位置データに基づいて、前記第２のフレーム画像より前記第２のブロックを抽出する抽出ステップと、
前記入力受付ステップの処理により受け付けられた前記符号化データを復号し、前記差分を得る差分復号ステップと、
前記抽出ステップの処理により抽出された前記第２のブロックと、前記差分復号ステップの処理により得られた前記差分とを画素毎に加算し、前記第１のブロックを得る画素値加算ステップと
を含むことを特徴とするプログラム。
【請求項４７】
符号化部、復号部とを有し、画像データに対して符号化処理および復号処理を繰り返すと前記画像データが劣化するような情報処理システムにおいて、
前記符号化部は、
前記入力画像データの各フレーム画像を複数の領域に分割するように前記入力画像データを複数のブロックにブロック化するブロック化手段と、
前記ブロック化手段により前記入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、前記特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、前記特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出手段と、
前記第１のブロックと、前記検出手段により検出された前記第２のブロックとの間で各画素の画素値の差分を算出する差分算出手段と、
前記差分算出手段により得られた前記差分を前記ブロック毎に符号化する差分符号化手段と
を備えることを特徴とする情報処理システム。
【請求項４８】
前記復号部の出力をアナログ信号に変換するD/A変換部と、
前記D/A変換部より出力される前記アナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加部と、
前記ノイズ付加部より出力される前記アナログノイズが付加された前記アナログ信号をデジタル信号に変換するA/D変換部と
をさらに備え、
前記符号化部は、前記A/D変換部より出力される前記デジタル信号の前記画像データに対して符号化を行う
ことを特徴とする請求項４７に記載の情報処理システム。
【請求項４９】
符号化部、復号部とを有し、画像データに対して符号化処理および復号処理を繰り返すと前記画像データが劣化するような情報処理システムの情報処理方法であって、
前記符号化部が、入力された前記画像データである入力画像データの各フレーム画像を複数の領域に分割するように前記入力画像データを複数のブロックにブロック化するブロック化ステップと、
前記符号化部が、前記ブロック化ステップの処理により前記入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、前記特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、前記特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出ステップと、
前記符号化部が、前記第１のブロックと、前記検出ステップの処理により検出された前記第２のブロックとの間で各画素の画素値の差分を算出する差分算出ステップと、
前記符号化部が、前記差分算出ステップの処理により得られた前記差分を前記ブロック毎に符号化する差分符号化ステップと
を含むことを特徴とする情報処理方法。
【請求項５０】
前記情報処理システムが、D/A変換部、ノイズ付加部、およびA/D変換部をさらに備え、
前記D/A変換部が、前記復号部の出力をアナログ信号に変換するD/A変換ステップと、
前記ノイズ付加部が、前記D/A変換部より出力される前記アナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加ステップと、
前記A/D変換部が、前記ノイズ付加部より出力される前記アナログノイズが付加された前記アナログ信号をデジタル信号に変換するA/D変換ステップと
をさらに含み、
前記符号化部には、前記A/D変換部より出力される前記デジタル信号の前記画像データが入力される
ことを特徴とする請求項４９に記載の情報処理方法。
【請求項５１】
符号化部、復号部とを有し、画像データに対して符号化処理および復号処理を繰り返すと前記画像データが劣化するような情報処理システムにおいて、
前記復号部は、
前記符号化部において検出された、前記画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、前記第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、前記第１のブロックの位置に対する相対位置情報であるブロック位置データと、前記符号化部において符号化された、前記第１のブロックの各画素と前記第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付手段と、
前記入力受付手段により受け付けられた前記ブロック位置データに基づいて、前記第２のフレーム画像より前記第２のブロックを抽出する抽出手段と、
前記入力受付手段により受け付けられた前記符号化データを復号し、前記差分を得る差分復号手段と、
前記抽出手段により抽出された前記第２のブロックと、前記差分復号手段により得られた前記差分とを画素毎に加算し、前記第１のブロックを得る画素値加算手段と
を備えることを特徴とする情報処理システム。
【請求項５２】
前記復号部の出力をアナログ信号に変換するD/A変換部と、
前記D/A変換部より出力される前記アナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加部と、
前記ノイズ付加部より出力される前記アナログノイズが付加された前記アナログ信号をデジタル信号に変換するA/D変換部と
をさらに備え、
前記符号化部は、前記A/D変換部より出力される前記デジタル信号の前記画像データを符号化する
ことを特徴とする請求項５１に記載の情報処理システム。
【請求項５３】
符号化部、復号部とを有し、画像データに対して符号化処理および復号処理を繰り返すと前記画像データが劣化するような情報処理システムの情報処理方法であって、
前記復号部が、前記符号化部において検出された、前記画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、前記第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、前記第１のブロックの位置に対する相対位置情報であるブロック位置データと、前記符号化部において符号化された、前記第１のブロックの各画素と前記第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付ステップと、
前記復号部が、前記入力受付ステップの処理により受け付けられた前記ブロック位置データに基づいて、前記第２のフレーム画像より前記第２のブロックを抽出する抽出ステップと、
前記復号部が、前記入力受付ステップの処理により受け付けられた前記符号化データを復号し、前記差分を得る差分復号ステップと、
前記復号部が、前記抽出ステップの処理により抽出された前記第２のブロックと、前記差分復号ステップの処理により得られた前記差分とを画素毎に加算し、前記第１のブロックを得る画素値加算ステップと
を含むことを特徴とする情報処理方法。
【請求項５４】
前記情報処理システムが、D/A変換部、ノイズ付加部、およびA/D変換部をさらに備え、
前記D/A変換部が、前記復号部の出力をアナログ信号に変換するD/A変換ステップと、
前記ノイズ付加部が、前記D/A変換部より出力される前記アナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加ステップと、
前記A/D変換部が、前記ノイズ付加部より出力される前記アナログノイズが付加された前記アナログ信号をデジタル信号に変換するA/D変換ステップと
をさらに含み、
前記符号化部には、前記A/D変換部より出力される前記デジタル信号の前記画像データが入力される
ことを特徴とする請求項５３に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置および方法、復号装置および方法、情報処理システムおよび方法、記録媒体、並びにプログラムに関し、特に、アナログ信号を利用したコンテンツデータの不正な複製を抑制することができるようにする符号化装置および方法、復号装置および方法、情報処理システムおよび方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、画像データや音声データ等の記録や伝送等においては、通常、情報の符号化や復号等の処理が行われる。
【０００３】
図１は、従来の画像処理システムの構成例を示している。この画像処理システム１０は、符号化されたデジタル画像信号である符号化デジタル画像信号Vcdを処理し、アナログ画像信号Vanを出力する再生装置１１、この再生装置１１から出力されるアナログ画像信号Vanによる画像を表示する表示装置１２、並びに、再生装置１１から出力されるアナログ画像信号Vanを符号化し、その符号化デジタル画像信号Vcdを記録媒体に記録する符号化装置１３を有している。
【０００４】
再生装置１１は、復号部２１およびD/A（Digital / Analog）変換部２２（以下、D/A２２と称する）を有している。復号部２１は、図示しない光ディスク等の記録媒体から読み出された符号化デジタル画像信号Vcdを復号する。D/A２２は、その復号されて得られたデジタル画像信号Vdgをアナログ画像信号Vanに変換する。
【０００５】
再生装置１１は、このアナログ画像信号Vanを表示装置１２および符号化装置１３に供給する。
【０００６】
表示装置１２は、ディスプレイ２３を有している。ディスプレイ２３は、例えばCRT(Cathode-Ray Tube)ディスプレイや、LCD(Liquid Crystal Display)等により構成される。表示装置１２は、再生装置１１より供給されるアナログ画像信号Vanをこのディスプレイ２３に表示する。
【０００７】
符号化装置１３は、A/D（Analog / Digital）変換部２４（以下、A/D２４と称する）、符号化部２５、および記録部２６を有している。A/D２４は、再生装置１１より供給されるアナログ画像信号Vanをデジタル信号に変換しデジタル画像信号Vdgを生成する。符号化部２５は、そのデジタル画像信号Vdgを符号化し、符号化デジタル画像信号Vcdを生成する。記録部２６は、例えばハードディスク、半導体メモリ、若しくは、DVD（Digital Versatile Disc）ドライブ等を有しており、符号化部２５において生成された符号化デジタル画像信号Vcdをそれらの記録媒体に記録する。
【０００８】
つまり、画像処理システム１０は、符号化デジタル画像信号Vcdを受け付け、その符号化デジタル画像信号Vcdからアナログ画像信号Vanを再生し、画像を表示するか、若しくは、再生されたアナログ画像信号Vanを再度符号化し、符号化デジタル画像信号Vcdを記録媒体に記録するシステムである。
【０００９】
このように、画像処理システム１０は、アナログ画像信号Vanを生成するため、そのアナログ画像信号Vanを利用した不正な複製（不正コピー）に利用される恐れがあった。
【００１０】
つまり、アナログ画像信号Vanにおいては、デジタル著作権保護機能は作用しないため、符号化装置１３は、アナログ画像信号Vanをデジタル化して符号化することにより、元の符号化デジタル画像信号Vcdを再現して記録することができる。
【００１１】
従来、このようなアナログ画像信号Vanを利用した不正コピーを防止するために、著作権保護がなされている場合には、アナログ画像信号Vanをスクランブル処理したり、あるいはアナログ画像信号Vanの出力を禁止したりすることが提案されている（例えば、特許文献１参照）。
【００１２】
また、再生装置１１または符号化装置１３のいずれか一方もしくは両方に雑音情報発生部を設け、デジタルビデオデータに１回の処理では画像再生時に識別できない程度の雑音情報を埋め込むことにより、コピー自体は可能であるが、複数回繰り返すと画像が著しく劣化し、これによって実質的にコピーの回数を制限するデジタルビデオ装置が提案されている（例えば、特許文献２参照）。
【００１３】
しかしながら、例えば、上述した特許文献１のように、再生装置１１が、アナログ画像信号Vanをスクランブル処理して出力したり、あるいはアナログ画像信号Vanの出力を禁止したりすることで、不正コピーを防止する方法の場合、表示装置１２がディスプレイ２３に正常な画像が表示させることができないという問題がある。
【００１４】
例えば、再生装置１１が、アナログ画像信号Vanをスクランブル処理して出力する場合、そのスクランブル機能に対応し、正常な画像を表示させる機能を表示装置１２に設ける必要がある。
【００１５】
また、上述した特許文献２のように、再生側の復号部または記録側の符号化部等でデジタル画像信号に雑音情報を埋め込むものでは、雑音情報発生部とこれを埋め込むための回路が必要となり、回路規模が増大するという問題がある。
【００１６】
そこで、画像が表示されなくなることや回路規模の増大を招くこと等の不都合を発生することなく、アナログ画像信号を利用した不正コピーを防止する手法が、本出願人により提案されている（例えば、特許文献３参照）。
【００１７】
【特許文献１】特開２００１−２４５２７０号公報
【特許文献２】特開平１０−２８９５２２号公報
【特許文献３】特開２００４−２８９６８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
上述した特許文献３に記載の手法では、アナログ画像信号をA/D変換することにより得られるデジタル画像信号の位相ズレ等のアナログノイズに着目し、デジタル画像信号に対してアナログノイズに着目した符号化を行うことによってコピー前の画像の質を落とさずに、良好な質を維持したままでのコピーを不可能とし、これによりアナログ画像信号を利用した不正コピーを防止するが、デジタルコンテンツの流通が一般的になっている近年においては、上述のように不正コピーを防止するための別の手法の提案が要請されている。
【００１９】
本発明はこのような状況に鑑みてなされたものであり、アナログ信号を利用したコンテンツデータの不正な複製を抑制することができるようにするものである。
【課題を解決するための手段】
【００２０】
本発明の符号化装置は、入力画像データの各フレーム画像を複数の領域に分割するように入力画像データを複数のブロックにブロック化するブロック化手段と、ブロック化手段により入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出手段と、第１のブロックと、検出手段により検出された第２のブロックとの間で各画素の画素値の差分を算出する差分算出手段と、差分算出手段により得られた差分をブロック毎に符号化する差分符号化手段とを備えることを特徴とする。
【００２１】
前記検出手段は、各ブロックの４隅の画素を特定画素として特定するようにすることができる。
【００２２】
前記検出手段は、第２のフレームにおいて第２のブロックを検索する検索範囲を設定する検索範囲設定手段を備えるようにすることができる。
【００２３】
前記検出手段は、第１のブロックの各特定画素と第２のフレームのブロックの各特定画素の差分の絶対値の総和を算出する差分絶対値総和算出手段を備え、差分絶対値総和算出手段により算出された差分の絶対値の総和の値が最小となる第２のフレームのブロックを第２のブロックとして検出するようにすることができる。
【００２４】
前記検出手段は、それまでに差分絶対値算出手段により算出された差分の絶対値の総和の最小値を最小値の候補として保持する候補保持手段と、差分絶対値算出手段により算出された差分の絶対値の総和の値を、候補保持手段により保持されている最小値の候補と比較する比較手段とをさらに備え、候補保持手段は、比較手段による比較結果に基づいて、より値が小さい方の差分の絶対値の総和を最小値の候補として保持するようにすることができる。
【００２５】
前記検出手段は、検出した第２のブロックの第１のブロックの位置を基準とした相対位置を算出するブロック位置算出手段を備えるようにすることができる。
【００２６】
前記差分算出手段は、特定画素の差分を「０」に設定するようにすることができる。
【００２７】
前記差分符号化手段は、差分算出手段により得られた差分を直交変換する直交変換手段と、直交変換手段により差分が直交変換されて得られた係数データを量子化する量子化手段と、量子化手段により係数データが量子化されて得られた量子化係数データを可変長符号化する可変長符号化手段とを備えるようにすることができる。
【００２８】
前記直交変換手段は差分を離散サイン変換するようにすることができる。
【００２９】
前記検出手段において検出された、第１のブロックの位置に対する第２のブロックの相対位置情報であるブロック位置データ、および、差分符号化手段により差分が符号化されて得られた符号化データを符号化装置の外部に出力する出力手段をさらに備えるようにすることができる。
【００３０】
前記差分符号化手段により差分が符号化されて得られた符号化データを復号し、ブロック位置データに基づいてフレーム画像を得る復号手段と、復号手段による復号により得られたフレーム画像を、次回の第２のブロックの検出における第２のフレーム画像として保持するフレーム画像保持手段とをさらに備え、検出手段は、フレーム画像保持手段が保持しているフレーム画像を第２のフレーム画像として利用し、第２のブロックを検出するようにすることができる。
【００３１】
アナログ信号の入力画像データに対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加手段と、ノイズ付加手段によりアナログノイズが付加されたアナログ信号の入力画像データをA/D変換し、デジタルデータの入力画像データを得るA/D変換手段とをさらに備え、ブロック化手段は、A/D変換手段によりA/D変換されて得られたデジタルデータの入力画像データを複数のブロックにブロック化するようにすることができる。
【００３２】
本発明の符号化方法は、入力画像データの各フレーム画像を複数の領域に分割するように入力画像データを複数のブロックにブロック化するブロック化ステップと、ブロック化ステップの処理により入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出ステップと、第１のブロックと、検出ステップの処理により検出された第２のブロックとの間で各画素の画素値の差分を算出する差分算出ステップと、差分算出ステップの処理により得られた差分をブロック毎に符号化する差分符号化ステップとを含むことを特徴とする。
【００３３】
前記検出ステップは、各ブロックの４隅の画素を特定画素として特定するようにすることができる。
【００３４】
前記検出ステップは、第２のフレームにおいて第２のブロックを検索する検索範囲を設定する検索範囲設定ステップを含むようにすることができる。
【００３５】
前記検出ステップは、第１のブロックの各特定画素と第２のフレームのブロックの各特定画素の差分の絶対値の総和を算出する差分絶対値総和算出ステップを含み、差分絶対値総和算出ステップの処理により算出された差分の絶対値の総和の値が最小となる第２のフレームのブロックを第２のブロックとして検出するようにすることができる。
【００３６】
前記検出ステップは、それまでに差分絶対値算出ステップの処理により算出された差分の絶対値の総和の最小値を最小値の候補として保持部に保持させる候補保持制御ステップと、差分絶対値算出ステップの処理により算出された差分の絶対値の総和の値を、候補保持制御ステップの処理により制御されて保持部に保持されている最小値の候補と比較する比較ステップとをさらに含み、候補保持制御ステップは、比較ステップの処理による比較結果に基づいて、より値が小さい方の差分の絶対値の総和を最小値の候補として保持部に保持させるように制御するようにすることができる。
【００３７】
前記検出ステップは、検出した第２のブロックの第１のブロックの位置を基準とした相対位置を算出するブロック位置算出ステップを含むようにすることができる。
【００３８】
前記差分算出ステップは、特定画素の差分を「０」に設定するようにすることができる。
【００３９】
前記差分符号化ステップは、差分算出ステップの処理により得られた差分を直交変換する直交変換ステップと、直交変換ステップの処理により差分が直交変換されて得られた係数データを量子化する量子化ステップと、量子化ステップの処理により係数データが量子化されて得られた量子化係数データを可変長符号化する可変長符号化ステップとを含むようにすることができる。
【００４０】
前記直交変換ステップは差分を離散サイン変換するようにすることができる。
【００４１】
前記検出ステップの処理において検出された、第１のブロックの位置に対する第２のブロックの相対位置情報であるブロック位置データ、および、差分符号化ステップの処理により差分が符号化されて得られた符号化データを符号化装置の外部に出力するように出力部を制御する出力制御ステップをさらに含むようにすることができる。
【００４２】
前記差分符号化ステップの処理により差分が符号化されて得られた符号化データを復号し、ブロック位置データに基づいてフレーム画像を得る復号ステップと、復号ステップの処理により得られたフレーム画像を、次回の第２のブロックの検出における第２のフレーム画像として保持部に保持させるように制御するフレーム画像保持制御ステップとをさらに含み、検出ステップは、フレーム画像保持制御ステップの処理により制御されて保持部に保持されているフレーム画像を第２のフレーム画像として利用し、第２のブロックを検出するようにすることができる。
【００４３】
アナログ信号の入力画像データに対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加ステップと、ノイズ付加ステップの処理によりアナログノイズが付加されたアナログ信号の入力画像データをA/D変換し、デジタルデータの入力画像データを得るA/D変換ステップとをさらに含み、ブロック化ステップは、A/D変換手段によりA/D変換されて得られたデジタルデータの入力画像データを複数のブロックにブロック化するようにすることができる。
【００４４】
本発明の第１の記録媒体は、入力画像データの各フレーム画像を複数の領域に分割するように入力画像データを複数のブロックにブロック化するブロック化ステップと、ブロック化ステップの処理により入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出ステップと、第１のブロックと、検出ステップの処理により検出された第２のブロックとの間で各画素の画素値の差分を算出する差分算出ステップと、差分算出ステップの処理により得られた差分をブロック毎に符号化する差分符号化ステップとを含むことを特徴とする。
【００４５】
本発明の第１のプログラムは、入力画像データの各フレーム画像を複数の領域に分割するように入力画像データを複数のブロックにブロック化するブロック化ステップと、ブロック化ステップの処理により入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出ステップと、第１のブロックと、検出ステップの処理により検出された第２のブロックとの間で各画素の画素値の差分を算出する差分算出ステップと、差分算出ステップの処理により得られた差分をブロック毎に符号化する差分符号化ステップとを含むことを特徴とする。
【００４６】
本発明の復号装置は、符号化装置において検出された、画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、第１のブロックの位置に対する相対位置情報であるブロック位置データと、符号化装置において符号化された、第１のブロックの各画素と第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付手段と、入力受付手段により受け付けられたブロック位置データに基づいて、第２のフレーム画像より第２のブロックを抽出する抽出手段と、入力受付手段により受け付けられた符号化データを復号し、差分を得る差分復号手段と、抽出手段により抽出された第２のブロックと、差分復号手段により得られた差分とを画素毎に加算し、第１のブロックを得る画素値加算手段とを備えることを特徴とする。
【００４７】
前記特定画素は、第１のブロックの４隅の画素であるようにすることができる。
【００４８】
前記差分復号手段は、入力受付手段により受け付けられた符号化データを可変長復号する可変長復号手段と、可変長復号手段により符号化データが可変長復号されて得られた量子化係数データを逆量子化する逆量子化手段と、逆量子化手段により量子化係数データが逆量子化されて得られた係数データを逆直交変換する逆直交変換手段とを備えるようにすることができる。
【００４９】
前記直交変換手段は係数データを逆離散サイン変換するようにすることができる。
【００５０】
前記画素値加算手段は、特定画素の加算を行う場合、差分を「０」に設定してから加算を行うようにすることができる。
【００５１】
前記画素値加算手段は、加算結果として得られた各画素の画素値をブロック毎にラスター順に並び替えるようにすることができる。
【００５２】
前記画素値加算手段による加算により得られた第１のブロックを保持し、フレーム画像単位で復号装置の外部に出力する出力手段をさらに備えるようにすることができる。
【００５３】
前記出力手段により出力されるフレーム画像を、次回の第２のブロックの抽出における第２のフレーム画像として保持するフレーム画像保持手段をさらに備え、抽出手段は、フレーム画像保持手段が保持しているフレーム画像を第２のフレーム画像として利用し、ブロック位置データに基づいて第２のブロックを抽出するようにすることができる。
【００５４】
前記画素値加算手段において得られた入力画素値により構成されるデジタル画像データをD/A変換し、アナログ信号に変換するD/A変換手段と、D/A変換手段によりデジタル画像データがD/A変換されて得られたアナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加手段とをさらに備え、復号装置は、ノイズ付加手段によりアナログノイズが付加されたアナログ信号を出力するようにすることができる。
【００５５】
本発明の復号方法は、符号化装置において検出された、画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、第１のブロックの位置に対する相対位置情報であるブロック位置データと、符号化装置において符号化された、第１のブロックの各画素と第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付ステップと、入力受付ステップの処理により受け付けられたブロック位置データに基づいて、第２のフレーム画像より第２のブロックを抽出する抽出ステップと、入力受付ステップの処理により受け付けられた符号化データを復号し、差分を得る差分復号ステップと、抽出ステップの処理により抽出された第２のブロックと、差分復号ステップの処理により得られた差分とを画素毎に加算し、第１のブロックを得る画素値加算ステップとを含むことを特徴とする。
【００５６】
前記特定画素は、第１のブロックの４隅の画素であるようにすることができる。
【００５７】
前記差分復号ステップは、入力受付ステップの処理により受け付けられた符号化データを可変長復号する可変長復号ステップと、可変長復号ステップの処理により符号化データが可変長復号されて得られた量子化係数データを逆量子化する逆量子化ステップと、逆量子化ステップの処理により量子化係数データが逆量子化されて得られた係数データを逆直交変換する逆直交変換ステップとを含むようにすることができる。
【００５８】
前記直交変換ステップは係数データを逆離散サイン変換するようにすることができる。
【００５９】
前記画素値加算ステップは、特定画素の加算を行う場合、差分を「０」に設定してから加算を行うようにすることができる。
【００６０】
前記画素値加算ステップは、加算結果として得られた各画素の画素値をブロック毎にラスター順に並び替えるようにすることができる。
【００６１】
前記画素値加算ステップの処理による加算により得られた第１のブロックを保持し、フレーム画像単位で復号装置の外部に出力するように出力部を制御する出力制御ステップをさらに含むようにすることができる。
【００６２】
前記出力制御ステップの処理により制御されて出力部より出力されるフレーム画像を、次回の第２のブロックの抽出における第２のフレーム画像として保持部に保持させるように制御するフレーム画像保持制御ステップをさらに備え、抽出ステップは、フレーム画像保持制御ステップの処理により制御されて保持部に保持されているフレーム画像を第２のフレーム画像として利用し、ブロック位置データに基づいて第２のブロックを抽出するようにすることができる。
【００６３】
前記画素値加算ステップの処理において得られた入力画素値により構成されるデジタル画像データをD/A変換し、アナログ信号に変換するD/A変換ステップと、D/A変換ステップの処理によりデジタル画像データがD/A変換されて得られたアナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加ステップとをさらに含むようにすることができる。
【００６４】
本発明の第２の記録媒体は、符号化装置において検出された、画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、第１のブロックの位置に対する相対位置情報であるブロック位置データと、符号化装置において符号化された、第１のブロックの各画素と第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付ステップと、入力受付ステップの処理により受け付けられたブロック位置データに基づいて、第２のフレーム画像より第２のブロックを抽出する抽出ステップと、入力受付ステップの処理により受け付けられた符号化データを復号し、差分を得る差分復号ステップと、抽出ステップの処理により抽出された第２のブロックと、差分復号ステップの処理により得られた差分とを画素毎に加算し、第１のブロックを得る画素値加算ステップとを含むことを特徴とする。
【００６５】
本発明の第２のプログラムは、符号化装置において検出された、画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、第１のブロックの位置に対する相対位置情報であるブロック位置データと、符号化装置において符号化された、第１のブロックの各画素と第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付ステップと、入力受付ステップの処理により受け付けられたブロック位置データに基づいて、第２のフレーム画像より第２のブロックを抽出する抽出ステップと、入力受付ステップの処理により受け付けられた符号化データを復号し、差分を得る差分復号ステップと、抽出ステップの処理により抽出された第２のブロックと、差分復号ステップの処理により得られた差分とを画素毎に加算し、第１のブロックを得る画素値加算ステップとを含むことを特徴とする。
【００６６】
本発明の第１の情報処理システムは、符号化部、復号部とを有し、画像データに対して符号化処理および復号処理を繰り返すと画像データが劣化するような情報処理システムであって、符号化部は、入力画像データの各フレーム画像を複数の領域に分割するように入力画像データを複数のブロックにブロック化するブロック化手段と、ブロック化手段により入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出手段と、第１のブロックと、検出手段により検出された第２のブロックとの間で各画素の画素値の差分を算出する差分算出手段と、差分算出手段により得られた差分をブロック毎に符号化する差分符号化手段とを備えることを特徴とする。
【００６７】
前記復号部の出力をアナログ信号に変換するD/A変換部と、D/A変換部より出力されるアナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加部と、ノイズ付加部より出力されるアナログノイズが付加されたアナログ信号をデジタル信号に変換するA/D変換部とをさらに備え、符号化部は、A/D変換部より出力されるデジタル信号の画像データに対して符号化を行うようにすることができる。
【００６８】
本発明の第１の情報処理方法は、符号化部、復号部とを有し、画像データに対して符号化処理および復号処理を繰り返すと画像データが劣化するような情報処理システムの情報処理方法であって、符号化部が、入力された画像データである入力画像データの各フレーム画像を複数の領域に分割するように入力画像データを複数のブロックにブロック化するブロック化ステップと、符号化部が、ブロック化ステップの処理により入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出ステップと、符号化部が、第１のブロックと、検出ステップの処理により検出された第２のブロックとの間で各画素の画素値の差分を算出する差分算出ステップと、符号化部が、差分算出ステップの処理により得られた差分をブロック毎に符号化する差分符号化ステップとを含むことを特徴とする。
【００６９】
前記情報処理システムが、D/A変換部、ノイズ付加部、およびA/D変換部をさらに備え、D/A変換部が、復号部の出力をアナログ信号に変換するD/A変換ステップと、ノイズ付加部が、D/A変換部より出力されるアナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加ステップと、A/D変換部が、ノイズ付加部より出力されるアナログノイズが付加されたアナログ信号をデジタル信号に変換するA/D変換ステップとをさらに含み、符号化部には、A/D変換部より出力されるデジタル信号の画像データが入力されるようにすることができる。
【００７０】
本発明の第２の情報処理システムは、符号化部、復号部とを有し、画像データに対して符号化処理および復号処理を繰り返すと画像データが劣化するような情報処理システムであって、復号部は、符号化部において検出された、画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、第１のブロックの位置に対する相対位置情報であるブロック位置データと、符号化部において符号化された、第１のブロックの各画素と第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付手段と、入力受付手段により受け付けられたブロック位置データに基づいて、第２のフレーム画像より第２のブロックを抽出する抽出手段と、入力受付手段により受け付けられた符号化データを復号し、差分を得る差分復号手段と、抽出手段により抽出された第２のブロックと、差分復号手段により得られた差分とを画素毎に加算し、第１のブロックを得る画素値加算手段とを備えることを特徴とする。
【００７１】
前記復号部の出力をアナログ信号に変換するD/A変換部と、D/A変換部より出力されるアナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加部と、ノイズ付加部より出力されるアナログノイズが付加されたアナログ信号をデジタル信号に変換するA/D変換部とをさらに備え、符号化部は、A/D変換部より出力されるデジタル信号の画像データを符号化するようにすることができる。
【００７２】
本発明の第２の情報処理方法は、符号化部、復号部とを有し、画像データに対して符号化処理および復号処理を繰り返すと画像データが劣化するような情報処理システムの情報処理方法であって、復号部が、符号化部において検出された、画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、第１のブロックの位置に対する相対位置情報であるブロック位置データと、符号化部において符号化された、第１のブロックの各画素と第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付ステップと、復号部が、入力受付ステップの処理により受け付けられたブロック位置データに基づいて、第２のフレーム画像より第２のブロックを抽出する抽出ステップと、復号部が、入力受付ステップの処理により受け付けられた符号化データを復号し、差分を得る差分復号ステップと、復号部が、抽出ステップの処理により抽出された第２のブロックと、差分復号ステップの処理により得られた差分とを画素毎に加算し、第１のブロックを得る画素値加算ステップとを含むことを特徴とする。
【００７３】
前記情報処理システムが、D/A変換部、ノイズ付加部、およびA/D変換部をさらに備え、D/A変換部が、復号部の出力をアナログ信号に変換するD/A変換ステップと、ノイズ付加部が、D/A変換部より出力されるアナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加ステップと、A/D変換部が、ノイズ付加部より出力されるアナログノイズが付加されたアナログ信号をデジタル信号に変換するA/D変換ステップとをさらに含み、符号化部には、A/D変換部より出力されるデジタル信号の画像データが入力されるようにすることができる。
【００７４】
本発明の符号化装置および方法、第１の記録媒体、並びに第１のプログラムにおいては、入力画像データの各フレーム画像を複数の領域に分割するように入力画像データが複数のブロックにブロック化され、入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素が特定画素として特定され、その特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックが検出され、第１のブロックと、検出された第２のブロックとの間で各画素の画素値の差分が算出され、得られた差分がブロック毎に符号化される。
【００７５】
本発明の復号装置および方法、第２の記録媒体、並びに第２のプログラムにおいては、符号化装置において検出された、画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、第１のブロックの位置に対する相対位置情報であるブロック位置データと、符号化装置において符号化された、第１のブロックの各画素と第２のブロックの各画素の画素値の差分の符号化データの入力が受け付けられ、その受け付けられたブロック位置データに基づいて、第２のフレーム画像より第２のブロックが抽出され、また、受け付けられた符号化データが復号されて差分が得られ、それらの第２のブロックと差分とが画素毎に加算され、第１のブロックが得られる。
【００７６】
本発明の第１の情報処理システムおよび第１の情報処理方法においては、符号化部により、入力画像データの各フレーム画像を複数の領域に分割するように入力画像データが複数のブロックにブロック化され、入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素が特定画素として特定され、特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックが検出され、第１のブロックと、検出された第２のブロックとの間で各画素の画素値の差分が算出され、得られた差分がブロック毎に符号化される。
【００７７】
本発明の第２の情報処理システムおよび第２の情報処理方法においては、復号部により、符号化部において検出された、画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、第１のブロックの位置に対する相対位置情報であるブロック位置データと、符号化部において符号化された、第１のブロックの各画素と第２のブロックの各画素の画素値の差分の符号化データの入力が受け付けられ、その受け付けられたブロック位置データに基づいて、第２のフレーム画像より第２のブロックが抽出され、また、受け付けられた符号化データが復号されて差分が得られ、第２のブロックと差分とが画素毎に加算されて、第１のブロックが得られる。
【発明の効果】
【００７８】
本発明によれば、アナログ信号を利用したコンテンツデータの不正な複製を抑制することができる。特に、画像が表示されなくなる、回路規模の増大を招く等の不都合を発生させずに、２回目以降の符号化処理および復号処理では画像データを著しく劣化させ、アナログ信号を利用した不正コピーを抑制することができる。
【発明を実施するための最良の形態】
【００７９】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００８０】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。
【００８１】
本発明においては、入力された入力画像データを符号化する符号化装置（例えば、図２の符号化部）が提供される。この符号化装置では、入力画像データの各フレーム画像を複数の領域に分割するように入力画像データを複数のブロックにブロック化するブロック化手段（例えば、図３のブロック化部）と、ブロック化手段により入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出手段（例えば、図３の４隅一致ブロック検出部）と、第１のブロックと、検出手段により検出された第２のブロックとの間で各画素の画素値の差分を算出する差分算出手段（例えば、図３の残差算出部）と、差分算出手段により得られた差分をブロック毎に符号化する差分符号化手段（例えば、図３の残差符号化部）とを備える。
【００８２】
前記検出手段は、各ブロックの４隅の画素を特定画素として特定する（例えば、図５の黒丸）ようにすることができる。
【００８３】
前記検出手段は、第２のフレームにおいて第２のブロックを検索する検索範囲を設定する検索範囲設定手段（例えば、図６の検索範囲設定部）を備えるようにすることができる。
【００８４】
前記検出手段は、第１のブロックの各特定画素と第２のフレームのブロックの各特定画素の差分の絶対値の総和を算出する差分絶対値総和算出手段（例えば、図６の差分絶対値総和算出部）を備え、差分絶対値総和算出手段により算出された差分の絶対値の総和の値が最小となる第２のフレームのブロックを第２のブロックとして検出するようにすることができる。
【００８５】
前記検出手段は、それまでに差分絶対値算出手段により算出された差分の絶対値の総和の最小値を最小値の候補として保持する候補保持手段（例えば、図６の最小値候補保持部）と、差分絶対値算出手段により算出された差分の絶対値の総和の値を、候補保持手段により保持されている最小値の候補と比較する比較手段（例えば、図６の比較部）とをさらに備え、候補保持手段は、比較手段による比較結果に基づいて、より値が小さい方の差分の絶対値の総和を最小値の候補として保持するようにすることができる。
【００８６】
前記検出手段は、検出した第２のブロックの第１のブロックの位置を基準とした相対位置を算出するブロック位置算出手段（例えば、図６のブロック位置データ算出部）を備えるようにすることができる。
【００８７】
前記差分算出手段は、特定画素の差分を「０」に設定する（例えば、図９の差分値設定部）ようにすることができる。
【００８８】
前記差分符号化手段は、差分算出手段により得られた差分を直交変換する直交変換手段（例えば、図１０のDST変換部）と、直交変換手段により差分が直交変換されて得られた係数データを量子化する量子化手段（例えば、図１０の量子化部）と、量子化手段により係数データが量子化されて得られた量子化係数データを可変長符号化する可変長符号化手段（例えば、図１０のハフマン符号化部）とを備えるようにすることができる。
【００８９】
前記直交変換手段は差分を離散サイン変換（例えば、図１１および図１２）するようにすることができる。
【００９０】
前記検出手段において検出された、第１のブロックの位置に対する第２のブロックの相対位置情報であるブロック位置データ、および、差分符号化手段により差分が符号化されて得られた符号化データを符号化装置の外部に出力する出力手段（例えば、図３の出力部）をさらに備えるようにすることができる。
【００９１】
前記差分符号化手段により差分が符号化されて得られた符号化データを復号し、ブロック位置データに基づいてフレーム画像を得る復号手段（例えば、図３のローカルデコード部）と、復号手段による復号により得られたフレーム画像を、次回の第２のブロックの検出における第２のフレーム画像として保持するフレーム画像保持手段（例えば、図３のフレームメモリ）とをさらに備え、検出手段は、フレーム画像保持手段が保持しているフレーム画像を第２のフレーム画像として利用し、第２のブロックを検出するようにすることができる。
【００９２】
アナログ信号の入力画像データに対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加手段（例えば、図３２のアナログノイズ付加部）と、ノイズ付加手段によりアナログノイズが付加されたアナログ信号の入力画像データをA/D変換し、デジタルデータの入力画像データを得るA/D変換手段（例えば、図３２のA/D）とをさらに備え、ブロック化手段は、A/D変換手段によりA/D変換されて得られたデジタルデータの入力画像データを複数のブロックにブロック化するようにすることができる。
【００９３】
本発明においては、入力された入力画像データを符号化する符号化装置（例えば、図２の符号化部）の符号化方法が提供される。この符号化方法においては、入力画像データの各フレーム画像を複数の領域に分割するように入力画像データを複数のブロックにブロック化するブロック化ステップ（例えば、図１７のステップＳ１）と、ブロック化ステップの処理により入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出ステップ（例えば、図１７のステップＳ２）と、第１のブロックと、検出ステップの処理により検出された第２のブロックとの間で各画素の画素値の差分を算出する差分算出ステップ（例えば、図１７のステップＳ３）と、差分算出ステップの処理により得られた差分をブロック毎に符号化する差分符号化ステップ（例えば、図１７のステップＳ４）とを含む。
【００９４】
前記検出ステップは、各ブロックの４隅の画素を特定画素として特定する（例えば、図５の黒丸）ようにすることができる。
【００９５】
前記検出ステップは、第２のフレームにおいて第２のブロックを検索する検索範囲を設定する検索範囲設定ステップ（例えば、図１８のステップＳ２２）を含むようにすることができる。
【００９６】
前記検出ステップは、第１のブロックの各特定画素と第２のフレームのブロックの各特定画素の差分の絶対値の総和を算出する差分絶対値総和算出ステップ（例えば、図１８のステップＳ２４）を含み、差分絶対値総和算出ステップの処理により算出された差分の絶対値の総和の値が最小となる第２のフレームのブロックを第２のブロックとして検出するようにすることができる。
【００９７】
前記検出ステップは、それまでに差分絶対値算出ステップの処理により算出された差分の絶対値の総和の最小値を最小値の候補として保持部に保持させる候補保持制御ステップと（例えば、図１８のステップＳ２７）、差分絶対値算出ステップの処理により算出された差分の絶対値の総和の値を、候補保持制御ステップの処理により制御されて保持部に保持されている最小値の候補と比較する比較ステップ（例えば、図１８のステップＳ２５）とをさらに含み、候補保持制御ステップは、比較ステップの処理による比較結果に基づいて、より値が小さい方の差分の絶対値の総和を最小値の候補として保持部に保持させるように制御する（例えば、図１８のステップＳ２６）ようにすることができる。
【００９８】
前記検出ステップは、検出した第２のブロックの第１のブロックの位置を基準とした相対位置を算出するブロック位置算出ステップ（例えば、図１８のステップＳ２９）を含むようにすることができる。
【００９９】
前記差分算出ステップは、特定画素の差分を「０」に設定する（例えば、図１９のステップＳ４５）ようにすることができる。
【０１００】
前記差分符号化ステップは、差分算出ステップの処理により得られた差分を直交変換する直交変換ステップ（例えば、図２０のステップＳ６１）と、直交変換ステップの処理により差分が直交変換されて得られた係数データを量子化する量子化ステップ（例えば、図２０のステップＳ６２）と、量子化ステップの処理により係数データが量子化されて得られた量子化係数データを可変長符号化する可変長符号化ステップ（例えば、図２０のステップＳ６３）とを含むようにすることができる。
【０１０１】
前記直交変換ステップは差分を離散サイン変換（例えば、図１１および図１２）するようにすることができる。
【０１０２】
前記検出ステップの処理において検出された、第１のブロックの位置に対する第２のブロックの相対位置情報であるブロック位置データ、および、差分符号化ステップの処理により差分が符号化されて得られた符号化データを符号化装置の外部に出力するように出力部を制御する出力制御ステップ（例えば、図１７のステップＳ５）をさらに含むようにすることができる。
【０１０３】
前記差分符号化ステップの処理により差分が符号化されて得られた符号化データを復号し、ブロック位置データに基づいてフレーム画像を得る復号ステップ（例えば、図１７のステップＳ７）と、復号ステップの処理により得られたフレーム画像を、次回の第２のブロックの検出における第２のフレーム画像として保持部に保持させるように制御するフレーム画像保持制御ステップ（例えば、図１７のステップＳ８）とをさらに含み、検出ステップは、フレーム画像保持制御ステップの処理により制御されて保持部に保持されているフレーム画像を第２のフレーム画像として利用し、第２のブロックを検出するようにすることができる。
【０１０４】
アナログ信号の入力画像データに対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加ステップ（例えば、図３３のステップＳ２０１）と、ノイズ付加ステップの処理によりアナログノイズが付加されたアナログ信号の入力画像データをA/D変換し、デジタルデータの入力画像データを得るA/D変換ステップ（例えば、図３３のステップＳ２０２）とをさらに含み、ブロック化ステップは、A/D変換手段によりA/D変換されて得られたデジタルデータの入力画像データを複数のブロックにブロック化するようにすることができる。
【０１０５】
本発明の第１の記録媒体および第１のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、本発明の符号化方法と同様である。
【０１０６】
本発明においては、符号化装置（例えば、図２の符号化部）において符号化された画像データを復号する復号装置（例えば、図２の復号部）が提供される。この復号装置では、符号化装置において検出された、画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、第１のブロックの位置に対する相対位置情報であるブロック位置データと、符号化装置において符号化された、第１のブロックの各画素と第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付手段（例えば、図１６のデータ分解部）と、入力受付手段により受け付けられたブロック位置データに基づいて、第２のフレーム画像より第２のブロックを抽出する抽出手段（例えば、図１６の４隅一致ブロック抽出部）と、入力受付手段により受け付けられた符号化データを復号し、差分を得る差分復号手段（例えば、図１６の残差復号部）と、抽出手段により抽出された第２のブロックと、差分復号手段により得られた差分とを画素毎に加算し、第１のブロックを得る画素値加算手段（例えば、図１６の画素値加算部）とを備える。
【０１０７】
前記特定画素は、第１のブロックの４隅の画素（例えば、図５の黒丸）であるようにすることができる。
【０１０８】
前記差分復号手段は、入力受付手段により受け付けられた符号化データを可変長復号する可変長復号手段（例えば、図１４のハフマン復号部）と、可変長復号手段により符号化データが可変長復号されて得られた量子化係数データを逆量子化する逆量子化手段（例えば、図１４の逆量子化部）と、逆量子化手段により量子化係数データが逆量子化されて得られた係数データを逆直交変換する逆直交変換手段（例えば、図１４のIDST変換部）とを備えるようにすることができる。
【０１０９】
前記直交変換手段は係数データを逆離散サイン変換（例えば、図１１および図１２）するようにすることができる。
【０１１０】
前記画素値加算手段は、特定画素の加算を行う場合、差分を「０」に設定してから加算を行う（例えば、図１５の残差設定部）ようにすることができる。
【０１１１】
前記画素値加算手段は、加算結果として得られた各画素の画素値をブロック毎にラスター順に並び替える（例えば、図１５の順序整列部）ようにすることができる。
【０１１２】
前記画素値加算手段による加算により得られた第１のブロックを保持し、フレーム画像単位で復号装置の外部に出力する出力手段（例えば、図１６のブロック分解部）をさらに備えるようにすることができる。
【０１１３】
前記出力手段により出力されるフレーム画像を、次回の第２のブロックの抽出における第２のフレーム画像として保持するフレーム画像保持手段（例えば、図１６のフレームメモリ）をさらに備え、抽出手段は、フレーム画像保持手段が保持しているフレーム画像を第２のフレーム画像として利用し、ブロック位置データに基づいて第２のブロックを抽出するようにすることができる。
【０１１４】
前記画素値加算手段において得られた入力画素値により構成されるデジタル画像データをD/A変換し、アナログ信号に変換するD/A変換手段（例えば、図３２のD/A）と、D/A変換手段によりデジタル画像データがD/A変換されて得られたアナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加手段（例えば、図３２のアナログノイズ付加部）とをさらに備え、復号装置は、ノイズ付加手段によりアナログノイズが付加されたアナログ信号を出力するようにすることができる。
【０１１５】
本発明においては、符号化装置（例えば、図２の符号化部）において符号化された画像データを復号する復号装置（例えば、図２の復号部）の復号方法が提供される。この復号方法においては、符号化装置において検出された、画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、第１のブロックの位置に対する相対位置情報であるブロック位置データと、符号化装置において符号化された、第１のブロックの各画素と第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付ステップ（例えば、図２４のステップＳ１４１）と、入力受付ステップの処理により受け付けられたブロック位置データに基づいて、第２のフレーム画像より第２のブロックを抽出する抽出ステップ（例えば、図２４のステップＳ１４２）と、入力受付ステップの処理により受け付けられた符号化データを復号し、差分を得る差分復号ステップ（例えば、図２４のステップＳ１４３）と、抽出ステップの処理により抽出された第２のブロックと、差分復号ステップの処理により得られた差分とを画素毎に加算し、第１のブロックを得る画素値加算ステップ（例えば、図２４のステップＳ１４４）とを含む。
【０１１６】
前記特定画素は、第１のブロックの４隅の画素（例えば、図５の黒丸）であるようにすることができる。
【０１１７】
前記差分復号ステップは、入力受付ステップの処理により受け付けられた符号化データを可変長復号する可変長復号ステップ（例えば、図２２のステップＳ１０１）と、可変長復号ステップの処理により符号化データが可変長復号されて得られた量子化係数データを逆量子化する逆量子化ステップ（例えば、図２２のステップＳ１０２）と、逆量子化ステップの処理により量子化係数データが逆量子化されて得られた係数データを逆直交変換する逆直交変換ステップ（例えば、図２２のステップＳ１０３）とを含むようにすることができる。
【０１１８】
前記直交変換ステップは係数データを逆離散サイン変換（例えば、図１１および図１２）するようにすることができる。
【０１１９】
前記画素値加算ステップは、特定画素の加算を行う場合、差分を「０」に設定してから加算を行う（例えば、図２３のステップＳ１２３）ようにすることができる。
【０１２０】
前記画素値加算ステップは、加算結果として得られた各画素の画素値をブロック毎にラスター順に並び替える（例えば、図２３のステップＳ１２６）ようにすることができる。
【０１２１】
前記画素値加算ステップの処理による加算により得られた第１のブロックを保持し、フレーム画像単位で復号装置の外部に出力するように出力部を制御する出力制御ステップ（例えば、図２４のステップＳ１４５）をさらに含むようにすることができる。
【０１２２】
前記出力制御ステップの処理により制御されて出力部より出力されるフレーム画像を、次回の第２のブロックの抽出における第２のフレーム画像として保持部に保持させるように制御するフレーム画像保持制御ステップ（例えば、図２４のステップＳ１４７）をさらに備え、抽出ステップは、フレーム画像保持制御ステップの処理により制御されて保持部に保持されているフレーム画像を第２のフレーム画像として利用し、ブロック位置データに基づいて第２のブロックを抽出するようにすることができる。
【０１２３】
前記画素値加算ステップの処理において得られた入力画素値により構成されるデジタル画像データをD/A変換し、アナログ信号に変換するD/A変換ステップ（例えば、図３４のステップＳ２２２）と、D/A変換ステップの処理によりデジタル画像データがD/A変換されて得られたアナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加ステップ（例えば、図３４のステップＳ２２３）とをさらに含むようにすることができる。
【０１２４】
本発明の第２の記録媒体および第２のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、本発明の復号方法と同様である。
【０１２５】
本発明においては、符号化部（例えば、図２の符号化部）、復号部（例えば、図２の復号部）とを有し、画像データに対して符号化処理および復号処理を繰り返すと前記画像データが劣化するような第１の情報処理システム（例えば、図２の画像処理システム）が提供される。この第１の情報処理システムでは、符号化部は、入力画像データの各フレーム画像を複数の領域に分割するように入力画像データを複数のブロックにブロック化するブロック化手段（例えば、図３のブロック化部）と、ブロック化手段により入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出手段（例えば、図３の４隅一致ブロック検出部）と、第１のブロックと、検出手段により検出された第２のブロックとの間で各画素の画素値の差分を算出する差分算出手段（例えば、図３の残差算出部）と、差分算出手段により得られた差分をブロック毎に符号化する差分符号化手段（例えば、図３の残差符号化部）とを備える。
【０１２６】
前記復号部の出力をアナログ信号に変換するD/A変換部（例えば、図３２のD/A）と、D/A変換部より出力されるアナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加部（例えば、図３２のアナログノイズ付加部）と、ノイズ付加部より出力されるアナログノイズが付加されたアナログ信号をデジタル信号に変換するA/D変換部（例えば、図３２のA/D）とをさらに備え、符号化部は、A/D変換部より出力されるデジタル信号の画像データに対して符号化を行うようにすることができる。
【０１２７】
本発明においては、符号化部（例えば、図２の符号化部）、復号部（例えば、図２の復号部）とを有し、画像データに対して符号化処理および復号処理を繰り返すと前記画像データが劣化するような第１の情報処理システム（例えば、図２の画像処理システム）の第１の情報処理方法が提供される。この第１の情報処理方法においては、符号化部が、入力された画像データである入力画像データの各フレーム画像を複数の領域に分割するように入力画像データを複数のブロックにブロック化するブロック化ステップ（例えば、図１７のステップＳ１）と、符号化部が、ブロック化ステップの処理により入力画像データがブロック化されて得られた各ブロックの周縁部の複数の画素を特定画素として特定し、特定画素を特定した第１のブロックを含む第１のフレーム画像と異なる第２のフレーム画像より、特定画素と同じまたは近似する特徴の画素を特定画素として有する第２のブロックを検出する検出ステップ（例えば、図１７のステップＳ２）と、符号化部が、第１のブロックと、検出ステップの処理により検出された第２のブロックとの間で各画素の画素値の差分を算出する差分算出ステップ（例えば、図１７のステップＳ３）と、符号化部が、差分算出ステップの処理により得られた差分をブロック毎に符号化する差分符号化ステップ（例えば、図１７のステップＳ４）とを含む。
【０１２８】
前記情報処理システムが、D/A変換部（例えば、図３２のD/A）、ノイズ付加部（例えば、図３２のアナログノイズ付加部）、およびA/D変換部（例えば、図３２のA/D）をさらに備え、D/A変換部が、復号部の出力をアナログ信号に変換するD/A変換ステップ（例えば、図３４のステップＳ２２２）と、ノイズ付加部が、D/A変換部より出力されるアナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加ステップ（例えば、図３３のステップＳ２０１）と、A/D変換部が、ノイズ付加部より出力されるアナログノイズが付加されたアナログ信号をデジタル信号に変換するA/D変換ステップ（例えば、図３３のステップＳ２０２）とをさらに含み、符号化部には、A/D変換部より出力されるデジタル信号の画像データが入力されるようにすることができる。
【０１２９】
本発明においては、符号化部（例えば、図２の符号化部）、復号部（例えば、図２の復号部）とを有し、画像データに対して符号化処理および復号処理を繰り返すと前記画像データが劣化するような第２の情報処理システム（例えば、図２の画像処理システム）が提供される。この第２の情報処理システムでは、復号部は、符号化部において検出された、画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、第１のブロックの位置に対する相対位置情報であるブロック位置データと、符号化部において符号化された、第１のブロックの各画素と第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付手段（例えば、図１６のデータ分解部）と、入力受付手段により受け付けられたブロック位置データに基づいて、第２のフレーム画像より第２のブロックを抽出する抽出手段（例えば、図１６の４隅一致ブロック抽出部）と、入力受付手段により受け付けられた符号化データを復号し、差分を得る差分復号手段（例えば、図１６の残差復号部）と、抽出手段により抽出された第２のブロックと、差分復号手段により得られた差分とを画素毎に加算し、第１のブロックを得る画素値加算手段（例えば、図１６の画素値加算部）とを備える。
【０１３０】
前記復号部の出力をアナログ信号に変換するD/A変換部（例えば、図３２のD/A）と、D/A変換部より出力されるアナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加部（例えば、図３２のアナログノイズ付加部）と、ノイズ付加部より出力されるアナログノイズが付加されたアナログ信号をデジタル信号に変換するA/D変換部（例えば、図３２のA/D）とをさらに備え、符号化部は、A/D変換部より出力されるデジタル信号の画像データを符号化するようにすることができる。
【０１３１】
本発明においては、符号化部（例えば、図２の符号化部）、復号部（例えば、図２の復号部）とを有し、画像データに対して符号化処理および復号処理を繰り返すと前記画像データが劣化するような第２の情報処理システム（例えば、図２の画像処理システム）の第２の情報処理方法が提供される。この第２の情報処理方法においては、復号部が、符号化部において検出された、画像データの第１のフレーム画像の一部の領域である第１のブロックの周縁部の複数の特定画素と同じまたは近似する特徴の特定画素を有する、第１のフレーム画像と異なる第２のフレーム画像の一部の領域である第２のブロックの、第１のブロックの位置に対する相対位置情報であるブロック位置データと、符号化部において符号化された、第１のブロックの各画素と第２のブロックの各画素の画素値の差分の符号化データの入力を受け付ける入力受付ステップ（例えば、図２４のステップＳ１４１）と、復号部が、入力受付ステップの処理により受け付けられたブロック位置データに基づいて、第２のフレーム画像より第２のブロックを抽出する抽出ステップ（例えば、図２４のステップＳ１４２）と、復号部が、入力受付ステップの処理により受け付けられた符号化データを復号し、差分を得る差分復号ステップ（例えば、図２４のステップＳ１４３）と、復号部が、抽出ステップの処理により抽出された第２のブロックと、差分復号ステップの処理により得られた差分とを画素毎に加算し、第１のブロックを得る画素値加算ステップ（例えば、図２４のステップＳ１４４）とを含む。
【０１３２】
前記情報処理システムが、D/A変換部（例えば、図３２のD/A）、ノイズ付加部（例えば、図３２のアナログノイズ付加部）、およびA/D変換部（例えば、図３２のA/D）をさらに備え、D/A変換部が、復号部の出力をアナログ信号に変換するD/A変換ステップ（例えば、図３４のステップＳ２２２）と、ノイズ付加部が、D/A変換部より出力されるアナログ信号に対して、アナログ成分に対するノイズ成分であるアナログノイズを付加するノイズ付加ステップ（例えば、図３４のステップＳ２２３）と、A/D変換部が、ノイズ付加部より出力されるアナログノイズが付加されたアナログ信号をデジタル信号に変換するA/D変換ステップ（例えば、図３３のステップＳ２０２）とをさらに含み、符号化部には、A/D変換部より出力されるデジタル信号の画像データが入力されるようにすることができる。
【０１３３】
以下、本発明の実施の形態について図を参照して説明する。
【０１３４】
図２は、本発明を適用した画像処理システムの構成例を示す図である。
【０１３５】
図２に示される画像処理システム３０は、再生装置３１、表示装置３２、および符号化装置３３を有しており、符号化されたデジタル画像信号を処理してアナログ画像信号を生成し、その画像を表示したり、そのアナログ画像信号を再度符号化して符号化デジタル画像信号を記録媒体に記録したりするシステムである。
【０１３６】
再生装置３１は、復号部４１およびD/A（Digital / Analog）変換部４２（以下、D/A４２と称する）を有している。復号部４１は、図示しない光ディスク等の記録媒体から再生された符号化デジタル画像信号Vcd０を復号し、デジタル画像信号Vdg０を生成する。この復号部４１の詳細については後述する。D/A４２は、そのデジタル画像信号Vdg０をアナログ信号に変換し、アナログ画像信号Van１を生成する。再生装置３１は、そのアナログ画像信号Van１を表示装置３２および符号化装置３３に供給する。
【０１３７】
なお、このアナログ画像信号Van１は、アナログ歪みを伴うものである。このアナログ歪みには、例えば、D/A４２でアナログ信号に変換する際に高周波成分が除去されることで生じる歪み、D/A４２でアナログ信号に変換する際に信号の位相がずれることで生じる歪み等が含まれる。このアナログ歪みによる画像の劣化を評価する方法として、例えば、S/N(Signal-to-Noise)評価や視覚評価（視覚的劣化の評価）等がある。このアナログ歪みは、実際の装置において通常起こりうる自然発生的なものであっても良いし、後述するように意図的に生じさせたものであってもよい。
【０１３８】
表示装置３２は、例えばCRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等からなるディスプレイ４３を有しており、再生装置３１が出力するアナログ画像信号Van１を取得すると、その画像をディスプレイ４３に表示する。
【０１３９】
符号化装置３３は、A/D（Analog / Digital）変換部４４（以下、A/D４４と称する）、符号化部４５、記録部４６、復号部４１、D/A４２、およびディスプレイ４３を有している。符号化装置３３は、A/D４４において再生装置３１より供給されたアナログ画像信号Van１をデジタル画像信号Vdg１に変換した後、符号化部４５においてそれを符号化し、記録部４６においてその符号化デジタル画像信号Vcd１を記録媒体に記録する。また、符号化装置３３は、復号部４１において符号化デジタル画像信号Vcd１を再度復号し、復号したデジタル画像信号Vdg２をD/A４２においてD/A変換してアナログ画像信号Van２を生成すると、その画像をディスプレイ４３に表示する。
【０１４０】
A/D４４は、再生装置３１が出力したアナログ画像信号Van１をデジタル信号に変換し、デジタル画像信号Vdg１を生成する。符号化部４５は、そのデジタル画像信号Vdg１を符号化し、符号化デジタル画像信号Vcd１を生成する。この符号化部４５の詳細については後述する。記録部４６は、例えばハードディスク、半導体メモリ、若しくは、DVD（Digital Versatile Disc）ドライブ等を有しており、符号化部４５において生成された符号化デジタル画像信号Vcd１をそれらの記録媒体に記録する。
【０１４１】
また、この符号化装置３３の復号部４１は、符号化部４５において生成された符号化デジタル画像信号Vcd１を復号し、デジタル画像信号Vdg２を生成する。符号化装置３３のD/A４２は、符号化装置３３の復号部４１が復号したデジタル画像信号Vdg２をアナログ画像信号Van２に変換する。符号化装置３３のディスプレイ４３は、そのアナログ画像信号Van２の画像を表示する。
【０１４２】
なお、詳細については後述するが、符号化装置３３の符号化部４５は、アナログ画像信号Van１に含まれるアナログ歪みを利用することにより、画像信号のコンテンツとしての品質（画像の画質）を大幅に劣化させて符号化する。また、再生装置３１や符号化装置３３の復号部４１もこの符号化部４５に対応する復号方法で入力された符号化デジタル画像信号を復号する。
【０１４３】
つまり、図２において、アナログ画像信号Van、デジタル画像信号Vdg、および符号化デジタル画像信号Vcdのそれぞれに対して、各信号の位置により識別用の番号を付してあるが、この番号は、劣化等によってその信号が他の同種の信号と異なる内容の信号であることを示している。例えば、アナログ画像信号Vanの場合、符号化装置３３のD/A４２が出力するアナログ画像信号Van２は、アナログ歪みを利用して画質を劣化させながら符号化する符号化部４５およびその符号化部４５に対応する復号部４６を介した後の信号を用いて生成されており、再生装置３１のD/A４２が出力するアナログ画像信号Van１より劣化した画像情報の信号である。同様に、デジタル画像信号Vdg２の画像もデジタル画像信号Vdg１の画像より劣化しており、そのデジタル画像信号Vdg１の画像もデジタル画像信号Vdg０の画像より劣化している。符号化デジタル画像信号Vcdの場合も同様であり、符号化デジタル画像信号Vcd０よりも符号化デジタル画像信号Vcd１の方が、画像が劣化している。
【０１４４】
このように画像処理システム３０は、再生装置３１がアナログ画像信号Van１を出力し、表示装置３２がその画像を表示するが、そのアナログ画像信号Van１を利用して符号化装置３３が画像データを複製する場合、その画像を劣化させるので、アナログ画像信号Vanを利用した複製を抑制することができる。
【０１４５】
次に、各部の詳細について説明する。最初に、符号化装置３３の符号化部４５について説明する。図３は、図２の符号化部４５の詳細な構成例を説明するブロック図である。符号化部４５は、ブロック化部６１、４隅一致ブロック検出部６２、残差算出部６３、残差符号化部６４、出力部６５、ローカルデコード部６６、およびフレームメモリ６７を有している。
【０１４６】
ブロック化部６１は、入力されたデジタル画像信号Vdg１に含まれるフレーム画像データを所定のサイズのブロックに分割する。ブロック化部６１は、フレーム画像データ（有効画面の画像信号）を、例えば、図４に示されるように、８画素×８画素の大きさのブロック（BL）に分割する。なお、図４において、白丸はブロックを構成する画素データを示しており、水平方向および垂直方向の直線は、フレーム画像データの一部が水平方向に３ブロック、垂直方向に２ブロック（BL７１乃至BL７６の合計６ブロック）に分割されている様子を示している。この図４は、フレーム画像データをブロック化する様子を示す模式図であり、フレーム画像データの実際の内容を示すものではない。図３のブロック化部６１は、このようにブロック化した画像データをブロック毎に４隅一致ブロック検出部６２および残差算出部６４に供給する。
【０１４７】
４隅一致ブロック検出部６２は、現フレーム（処理対象のフレーム）において分割したブロック（BL）に対して、フレームメモリ６７に蓄積されている前フレーム（処理対象のフレームの１つ前のフレーム）の画像データから４隅の画素値が一致するブロックを検出する。すなわち、４隅一致ブロック検出部６２は、後述するように、現フレームの基準ブロック（処理対象のブロック）に対して、前フレームに所定の検索範囲を設定し、その検索範囲内において、基準ブロックの４隅の画素との差分絶対値の総和が最小となるブロック（４隅一致ブロック）を検出する。
【０１４８】
例えば、図４において基準ブロックをBL７１とすると、４隅一致ブロック検出部６２は、図５に示されるように、BL７１の４隅の画素７１Ａ乃至画素７１Ｄに注目し、前フレームにおいて上述したように検索範囲を設定すると、その検索範囲内において、BL７１と同じ８画素×８画素のブロック（注目ブロック）を任意に設定する。そして、４隅一致ブロック検出部６２は、その前フレームに設定された注目ブロックの４隅の画素と、上述した現フレームの基準ブロック（BL７１）の４隅の画素（画素７１Ａ乃至画素７１Ｄ）とで、対応する画素毎に画素値の差分値をとり、その差分値の総和が最小となる前フレームのブロックを検索する。
【０１４９】
なお、図５は、基準ブロックの４隅の画素を示す模式図であり、画像データの実際の内容を示すものではない。また、以上において、前フレームは、現フレームの１つ前のフレームであるように説明したが、これに限らず、現フレームと異なるフレームであればどのようなフレームであってもよく、例えば、現フレームの２つ以上前のフレームであってもよい。この現フレームと前フレームの関係は以下においても同様である。
【０１５０】
図６は、この４隅ブロック検出部６２の詳細な構成例を示すブロック図である。図６において４隅ブロック検出部６２は、画素値取得部８１、検索範囲設定部８２、注目ブロック設定部８３、差分絶対値総和算出部８４、比較部８５、最小値候補保持部８６、４隅一致ブロック候補保持部８７、検索制御部８８、およびブロック位置データ算出部８９を有している。
【０１５１】
画素値取得部８１は、ブロック化部６１（図３）よりブロック毎に供給される画素値やその画素に関する情報から、処理対象ブロック（基準ブロック）の４隅の画素値（図５の場合、画素７１Ａ乃至画素７１Ｄ）を取得する。それらの情報を検索範囲設定部８２に供給する。検索範囲設定部８２は、予め、フレームメモリ６７（図３）より前フレーム（処理対象の現フレームの１つ前のフレーム）に関する情報（画素値等）を取得しており、その前フレームに対して、基準ブロックの４隅の画素値（画素値取得部８１より供給された４隅の画素値）と一致（または近似）する４隅の画素値を有するブロックを検索する検索範囲を設定する。
【０１５２】
図７は、検索範囲の設定の様子を示す模式図である。例えば、図７Ａに示されるように、現在処理対象とされるフレームである現フレーム９１において、画素値取得部８１より基準ブロックであるBL９２の４隅の画素値を含む情報が供給されると、検索範囲設定部８２は、図７Ｂに示されるように、現フレームの１つ前のフレームである前フレーム９３に対して、検索範囲を設定する。このとき、検索範囲設定部８２は、前フレーム９３において、BL９２の現フレーム９１における位置と同じ位置のブロックであるBL９４を基準として検索範囲９５を設定する。例えば、検索範囲設定部８２は、BL９４を中心とし、水平方向に８画素ずつ、垂直方向に８画素ずつ拡張した領域（図７Ｂにおいて点線で囲まれる領域）を検索範囲９５に設定する。
【０１５３】
検索範囲９５を設定すると、検索範囲設定部８２は、その検索範囲９５に関する情報と、基準ブロックに関する情報を注目ブロック設定部８３に供給する。注目ブロック設定部８３は、前フレーム９３の検索範囲９５内において、４隅の画素値を基準ブロックと比較する注目ブロックを設定する。このとき注目ブロック設定部８３は、検索範囲９５内において成立するブロックを全て処理対象とし、それらの中から１つずつ注目ブロックとして設定していく。この注目ブロックの選択方法（選択順序）は任意であるが、注目ブロック設定部８３は、後述するように、最終的に全てのブロックの４隅の画素値を基準ブロックの４隅の画素値と比較させるように、この設定処理を繰り返す。
【０１５４】
注目ブロックを１つ設定すると注目ブロック設定部８３は、その注目ブロックに関する情報と基準ブロックに関する情報とを差分絶対値総和算出部８４に供給する。差分値絶対値総和算出部８４は、注目ブロック設定部８３において設定された前フレーム９３の注目ブロックの４隅の画素値と、現フレーム９１の基準ブロックの４隅の画素値とを、それぞれ対応する画素毎に差分値を求め、その差分値の絶対値の総和を算出する。
【０１５５】
つまり、例えば、基準ブロックの左上隅の画素値をＡとし、右上隅の画素値をＢとし、左下隅の画素値をＣとし、右下隅の画素値をＤとする。また、注目ブロックの左上隅の画素値をＡ’とし、右上隅の画素値をＢ’とし、左下隅の画素値をＣ’とし、右下隅の画素値をＤ’とする。このとき、差分値絶対値総和算出部８４が算出する差分値の絶対値の総和Ｚは、以下の式（１）のように算出される。
【０１５６】
Ｚ＝｜Ａ−Ａ’｜＋｜Ｂ−Ｂ’｜＋｜Ｃ−Ｃ’｜＋｜Ｄ−Ｄ’｜  ・・・（１）
【０１５７】
差分絶対値総和算出部８４は、その算出結果（差分値の絶対値の総和Ｚ）と、基準ブロックおよび注目ブロックに関する情報を比較部８５に供給する。比較部８５は、差分値絶対値総和算出部８４より供給された値（今回の算出結果）を、最小値候補保持部８６に保持されている、現段階における差分値の絶対値の総和Ｚの最小値と比較する。そして、比較部８５は、それらの内、小さい方を現在の最小値として最小値候補保持部８６に保持させるとともに、その最小値に対応する注目ブロックを４隅一致ブロック（検索目的のブロック）の候補とし、その注目ブロックに関する情報を４隅一致ブロック候補保持部８７に供給して保持させる。
【０１５８】
最小値候補保持部８６は、例えば半導体メモリ等の記憶媒体を有しており、比較部８５より供給される差分値の絶対値の総和Ｚの最小値を保持する。そして、最小値候補保持部８６は、その保持している最小値を、比較部８５の要求に基づいて、比較部８５に供給する。
【０１５９】
４隅一致ブロック候補保持部８７は、例えば半導体メモリ等の記憶媒体を有しており、最小値候補保持部８６に保持されている最小値に対応するブロックに関する情報が、４隅一致ブロックの候補として保持される。４隅一致ブロックは、検索の目的となるブロックであり、その４隅の画素値と基準ブロックの４隅の画素値との差分値の総和が最小となる（４隅の画素値が一致する（最も近似する））ブロックのことである。最終的にこの４隅一致ブロック候補保持部８７に保持されている４隅一致ブロック候補が４隅一致ブロックに設定される。
【０１６０】
比較部８５は、比較処理が終了するとその旨を検索制御部８８に供給する。検索制御部８８は、比較部８５は、検索範囲９５内の全てのブロックに対して処理が終了したか否かを判定し、未処理のブロックが存在すると判定した場合、注目ブロック設定部８３に新たな注目ブロックを設定させる。
【０１６１】
検索範囲９５内において全てのブロックを処理したと判定した場合、検索制御部８８は、その旨をブロック位置データ算出部８９に供給する。
【０１６２】
つまり、注目ブロック設定部８３は、前フレーム９３の検索範囲９５内において注目ブロックを１つずつ設定し、差分絶対値総和算出部８４は、その設定された注目ブロックと基準ブロックにおいて４隅の画素値の差分値の絶対値の総和Ｚを算出し、比較部８５は、算出された差分値の絶対値の総和Ｚを最小値と比較し、今回の算出結果の方が小さい場合はその最小値を更新する。検索制御部８８の制御の下、以上の処理が検索範囲９５内において注目ブロックとなり得る全てのブロックについて繰り返され、最終的な最小値のブロックである４隅一致ブロックが決定される。
【０１６３】
ブロック位置データ算出部８９は、４隅一致ブロック候補保持部８７より、その時点の４隅一致ブロック候補に関する情報を４隅一致ブロックの情報として取得すると、その情報に基づいて、その４隅一致ブロックと基準ブロックとの位置のずれを示すベクトル情報（すなわち動きベクトル）であるブロック位置データを算出する。
【０１６４】
図８は、ブロック位置データの算出の様子を示す模式図である。図８Ａに示されるように現フレーム９１に対してBL９２が基準ブロックとして設定されると、図８Ｂに示されるように、前フレーム９３に対して、BL９２と同じ位置のBL９４を中心とする検索範囲９５が設定され、その検索範囲９５内において、４隅一致ブロック（４隅の画素値が最も基準ブロックに近いブロック）９６が検索される。ブロック位置データ算出部８９は、このように検索された４隅一致ブロック９６が、基準ブロックであるBL９２（BL９２と同じ位置のBL９４）からどの程度どの方向に移動したかを示す動きベクトルであるブロック位置データ９７（Vcdp）を算出する。
【０１６５】
ブロック位置データ算出部８９（４隅一致ブロック検出部６２）は、その算出したブロック位置データVcdpを出力部６５および残差算出部６３に供給する。
【０１６６】
図３に戻り、残差算出部６３は、フレームメモリ６７に蓄積されている前フレーム９３の画像データとブロック位置データVcdpから４隅一致ブロック９６を抽出し、現フレーム９１の注目ブロック（BL９２）と各画素との差分値（残差）を算出する。このとき、残差算出部６３は、残差符号化部６４における符号化処理の効率を向上させるために、ブロックの４隅の残差は強制的に「０」として出力する。
【０１６７】
図９は、残差算出部６３の詳細な構成例を示すブロック図である。図９において残差算出部６３は、ブロック抽出部１０１、画素判定部１０２、差分値演算部１０３、差分値設定部１０４、および残差出力部１０５を有している。
【０１６８】
ブロック抽出部１０１は、フレームメモリ６７より前フレームの画像データを取得すると、４隅一致ブロック検出部６２より供給されたブロック位置データVcdpに基づいて、４隅一致ブロック９６を抽出し、その４隅一致ブロック９６の画像データ（４隅一致ブロック画像データ）を画素判定部１０２に供給する。つまり、ブロック抽出部１０１は、ブロック位置データVcdpに基づいて基準ブロックの位置から４隅一致ブロックの位置を特定し、その位置の画像データを、前フレームの画像データから抽出し、それを画素判定部１０２に供給する。
【０１６９】
画素判定部１０２は、４隅一致ブロック画像データと現フレームのブロック画像データ（基準ブロックの画像データ）を取得すると、それらに基づいて、これから残差を求める画素がブロックの４隅の画素であるか否かを判定する。４隅の画素であると判定した場合、画素判定部１０２は、その旨を差分値設定部１０４に供給する。４隅の画素以外の画素であると判定した場合、画素判定部１０２は、４隅一致ブロック画像データの画素値と基準ブロックの画像データの画素値を差分値演算部１０３に供給する。
【０１７０】
差分値演算部１０３は、画素判定部１０２より供給された４隅一致ブロック画像データの画素値と基準ブロックの画像データの画素値の差分を算出し、その差分値を残差出力部１０５に供給する。
【０１７１】
差分値設定部１０４は、４隅一致ブロック画像データと基準ブロックの画像データの４隅の画素についてその差分値を「０」に設定し、その差分値を残差出力部１０５に供給する。
【０１７２】
残差出力部１０５は、差分値演算部１０３および差分値設定部１０４より供給された差分値をブロック単位で残差として残差符号化部６４（図３）に供給する。
【０１７３】
図３に戻り、残差符号化部６４は、残差算出部６３において算出された残差を符号化し、その符号化結果を符号化データVcdqとして出力部６５に供給する。
【０１７４】
図１０は、残差符号化部６４の詳細な構成例を示すブロック図である。図１０において、残差符号化部６４は、DST（Discrete Sine Transform：離散サイン変換）変換部１２１、量子化部１２２、およびハフマン符号化１２３を有している。
【０１７５】
DST変換部１２１は、残差算出部１１４より供給された残差をブロック毎に符号化する。DST変換とは、直交するサイン（sin）波の重ね合わせで波形を表現するもので、直交変換の一種である。例えば、DST変換部１２１は、図１１Ａに示されるようなある画素の列または行において、DST変換を行うことにより、画素値の関数を図１１Ｂに示されるようなサイン波の重ね合わせた波形として表現する。
【０１７６】
つまり、図１１Ａに示される画素位置をｉとし、図１１Ｂに示される基底番号をｊとし、図１１Ａに示される直交変換対象画素の数をＮとすると、DST変換部１２１は、画素値の関数を以下の式（２）に示されるサイン波の重ね合わせとして表す。
【０１７７】
【数１】
2006217405.tif 000003
【０１７８】
図１１は、説明のため、１次元の場合のDST変換の例を示しているが、DST変換部１２１は、実際には、残差の各ブロックに対して２次元のDST変換を行う。
【０１７９】
２次元においてDST変換を行う場合、DST変換部１２１は、図１２に示されるように、１次元のDST変換を水平方向と垂直方向のそれぞれに施す。つまり、水平画素位置（図１２）をｉとし、水平方向の基底番号をｊとし、垂直画素位置（図１２）をｋとし、垂直方向の基底番号をｌ（エル）とし、水平方向の画素数をＮhとし、垂直方向の画素数をＮvとすると、DST変換部１２１は、画素値の関数を以下の式（３）に示されるサイン波の重ね合わせとして表す。
【０１８０】
【数２】
2006217405.tif 000004
【０１８１】
４隅の残差の値が「０」であるため（残差算出部６３がそのように設定するため）、DSTで変換されたデータにおいては低周波に値が集中する。従って、DST変換部１２１は、例えば、DCT（Discrete Cosine Transform：離散コサイン変換）で直交変換するよりも効率の良い直交変換を行うことができる。
【０１８２】
図１０に戻り、DST変換部１２１は、変換されたデータを量子化部１２２に供給する。量子化部１２２は、DST変換部１２１においてDST変換された係数データを、DCTなどの一般的な直交変換を用いた符号化の場合と同様に、量子化テーブルを用いて量子化する。量子化部１２２は、量子化により得られた量子化係数データをハフマン符号化部１２３に供給する。ハフマン符号化部１２３は、量子化部１２２より供給された各ブロックの量子化係数データをハフマン符号化で符号化し、そのハフマン符号化されたデータを符号化データVcdqとして出力部６５（図３）に供給する。
【０１８３】
図３に戻り、出力部６５は、４隅一致ブロック検出部６２より供給されたブロック位置データVcdpと残差符号化部６４より供給された符号化データVcdqの２つを符号化デジタル画像信号Vcdとして記録部４６および復号部４１（いずれも図２）に供給する。
【０１８４】
また、出力部６５は、その符号化デジタル画像信号Vcdをローカルデコード部６６にも供給する。
【０１８５】
ローカルデコード部６６は、符号化部４５の処理が現在の処理対象フレームの次のフレームに移ったときに、ブロック位置データVcdp（動きベクトル）の参照先となるフレームを生成するために（次のフレームに対する処理において前フレームとして利用される画像データを生成するために）、出力部６５が出力する符号化デジタル画像信号Vcdを復号するものである。
【０１８６】
図１３は、ローカルデコード部６６の詳細な構成例を示すブロック図である。図１３において、ローカルデコード部６６は、データ分解部１４１、４隅一致ブロック抽出部１４２、残差復号部１４３、画素値加算部１４４、およびブロック分解部１４５を有している。
【０１８７】
データ分解部１４１は、ローカルデコード部６６に入力された符号化デジタル画像信号Vcdを取得すると、それをブロック位置データVcdpと符号化データVcdqに分離し、ブロック位置データVcdpを４隅一致ブロック抽出部１４２に供給し、符号化データVcdqを残差復号部１４３に供給する。
【０１８８】
４隅一致ブロック抽出部１４２は、前フレームの画像データ（前フレーム画像データ）を取得し、ブロック位置データVcdpを取得すると、ブロック位置データVcdpに基づいて、前フレーム画像データから符号化部４５において検索された４隅一致ブロックの画像データを抽出する。４隅一致ブロック抽出部１４２は、その抽出された４隅一致ブロックの画像データを画素値加算部１４４に供給する。
【０１８９】
残差復号部１４３は、データ分解部１４１より供給された符号化データVcdqを復号し、基準ブロックの残差（基準ブロックと４隅一致ブロックの画素値の差分）を得る。
【０１９０】
図１４は、図１３の残差復号部１４３の詳細な構成例を示すブロック図である。
【０１９１】
図１４において残差復号部１４３は、ハフマン復号部１６１、逆量子化部１６２、およびIDST（Inverse Discrete Sine Transform：逆離散サイン変換）変換部１６３を有している。
【０１９２】
ハフマン復号部１６１は、データ分解部１４１（図１３）より供給された符号化データVcdqを取得すると、その符号化データVcdqを、残差符号化部６４のハフマン符号化部１２３（図１０）によるハフマン符号化方法に対応する復号方法で復号し、量子化係数データを得ると、それを逆量子化部１６２に供給する。
【０１９３】
逆量子化部１６２は、残差符号化部６４の量子化部１２２（図１０）が有する量子化テーブルと同様の量子化テーブル（いずれも図示せず）を有し、ハフマン復号部１６１より供給された量子化係数データを、その量子化テーブルを用いて逆量子化し、DST変換された画素値のデータである、各ブロックの係数データを得る。逆量子化部１６２は、その係数データをIDST変換部１６３に供給する。
【０１９４】
IDST変換部１６３は、逆量子化部１６２より供給された係数データを取得すると、その係数データに対してブロック毎に、残差符号化部６４のDST変換部１２１（図１０）によるDST変換処理に対応する方法で逆DST変換処理を行い、各ブロックの画素データを得る。IDST変換部１６３は、それらの画素データ（残差）を画素値加算部１５５（図１３）に供給する。
【０１９５】
図１２に戻り、このように残差復号部１５４は、符号化データVcddiffより残差を算出し、その得られた残差を画素値加算部１５５に供給する。
【０１９６】
画素値加算部１４４は、残差復号部１４３より供給された残差に、４隅一致ブロック抽出部１４２より供給された４隅一致ブロックの画像データを加算する。すなわち、画素値加算部１４４は、この加算処理により現フレームの基準ブロックの各画素の画素値を得る。
【０１９７】
図１５は、図１４の画素値加算部１４４の詳細な構成例を示すブロック図である。
【０１９８】
図１５において、画素値加算部１４４は、画素判定部１８１、残差設定部１８２、加算値演算部１８３、および順序整列部１８４を有している。
【０１９９】
画素判定部１８１は、残差復号部１４３より供給された残差に基づいて、処理対象の画素（今から画素値を加算する画素）がブロックの４隅の画素（特定画素）であるか否かを判定する。画素判定部１８１は、処理対象の画素がブロックの４隅の画素（特定画素）であると判定した場合、その判定結果を残差設定部１８２に供給し、処理対象の画素がブロックの４隅の画素（特定画素）でないと判定した場合、残差を加算値演算部１８３に供給する。
【０２００】
残差設定部１８２は、画素判定部１８１より処理対象の画素がブロックの４隅の画素（特定画素）であるとの判定結果を取得すると、デジタルのマルチエンコード・デコードによる劣化を避けるために、その画素の残差を所定の値（例えば「０」）に設定し、その残差を加算値演算部１８３に供給する。
【０２０１】
加算値演算部１８３は、画素判定部１８１または残差設定部１８２より供給された残差に４隅一致ブロックの画素値を加算し、その加算結果を順序整列部１８４に供給する。
【０２０２】
順序整列部１８４は、加算値演算部１８３より供給される各画素値の順番をラスター走査の順番に並べ替える。そして、その順番を並び替えた各画素値（画像データ）をブロック分解部１４５（図１３）に供給する。
【０２０３】
このように画素値加算部１４４は、ブロックの４隅の画素（特定画素）については、残差の値を「０」とし、４隅一致ブロック画像データの画素値をそのまま加算結果とする。このようにすることにより画素値加算部１４４は、符号化歪みを抑え、デジタルのマルチエンコード・デコードによる劣化を抑制することができる。
【０２０４】
図１２に戻り、ブロック分解部１４５は、画素値加算部１４４より供給されるブロック毎の画像データを蓄積し、フレーム画像データを生成し、それを前フレームの画像データ（デジタル画像信号Vdg）としてフレームメモリ６７（図３）に出力する。
【０２０５】
図３において、フレームメモリ６７は、ローカルデコード部６６において復号された画像データ（デジタル画像信号）を保持する。このとき、フレームメモリ６７は、それまでに保持していた画像データを破棄し、新たにローカルデコード部６６より供給された画像データを保持する。そして、フレームメモリ６７は、必要に応じて、４隅一致ブロック検出部６２、残差算出部６３、およびローカルデコード部６６に、その保持している画像データを前フレームの画像データとして供給する。
【０２０６】
つまり、フレームメモリ６７は符号化部４５により現在処理対象とされる注目フレームが、現在のフレームからその次のフレームに移った際に、書き換えられる。すなわち、フレームメモリ６７は、処理の進行に対して、常に前フレームの画像データを保持していることになる。
【０２０７】
なお、以上においては、フレームメモリ６７には、符号化デジタル画像信号が復号された画像データが保持されるように説明したが、これに限らず、例えば、ブロック化部６１より供給された画像データが所定の加工処理を施された後、フレームメモリ６７に保持されるようにしてもよい。
【０２０８】
また、先頭フレームの処理においては、フレームメモリ６７は画像データを保持していないか、若しくは、全く関係のないフレーム画像データを保持している。このような場合、符号化部４５は、符号化処理を行わずに、そのフレーム画像データをそのままフレームメモリ６７に保持させるようにしてもよい。
【０２０９】
以上のように、図２の符号化装置３３の符号化部４５は、A/D４４より供給されたデジタル画像信号Vdg１を符号化し、符号化デジタル画像信号Vcd１を出力する。この符号化デジタル画像信号Vcd１は、記録部４６に供給され記録媒体に記録されたり、復号部４１に供給され、再度復号された後、ディスプレイ４３にその画像が表示されたりする。
【０２１０】
次に、図２の再生装置３１または符号化装置３３の復号部４１の詳細について説明する。図１６は、図２の復号部４１の詳細な構成例を示すブロック図である。
【０２１１】
図１６において、復号部４１は、データ分解部２０１、４隅一致ブロック抽出部２０２、残差復号部２０３、画素値加算部２０４、ブロック分解部２０５、およびフレームメモリ２０６により構成されている。図１６に示されるように点線２１０により囲まれる各処理部、すなわち、データ分解部２０１乃至ブロック分解部２０５は、図１３を参照して説明したローカルデコード部６６と同様の構成であり、さらにローカルデコード部６６と同様の処理を行うので、その説明を省略する。
【０２１２】
また、フレームメモリ２０６は、ブロック分解部２０５の出力、すなわち、復号部４１の出力であるデジタル画像信号Vdg（画像データ）を保持し、その画像データを前フレーム画像データとして４隅一致ブロック抽出部２０２に供給する。つまり、このフレームメモリ２０６は、図３のフレームメモリ６７に対応し、フレームメモリ６７と同様の処理を行う。
【０２１３】
つまり、復号部４１は、符号化部４５において符号化された残差を復号し、ブロック位置データVcdpから４隅一致ブロックの位置を特定し、その画素値を残差に加算することにより、基準ブロックの画像データを得る。そして、復号部４１は、各ブロックの画像データを並べ替えてフレーム画像データ（デジタル画像信号Vdg）として出力する。
【０２１４】
次に、以上のような画像処理システム３０の各装置により実行される処理について説明する。
【０２１５】
最初に符号化装置３３の符号化部４５により実行される符号化処理について図１７のフローチャートを参照して説明する。
【０２１６】
符号化処理が開始されると、ブロック化部６１は、ステップＳ１において、デジタル画像信号Vdgを取得し、各フレーム画像データを所定のサイズのブロックに分割する。ステップＳ２において、４隅一致ブロック検出部６２は、前フレームに対して４隅一致ブロック検出処理を行い、ブロックの４隅の画素値が現フレームの基準ブロックの画素値に一致または近似するブロックを検出する。この４隅一致ブロック検出処理の詳細は後述する。
【０２１７】
ステップＳ３において、残差算出部６３は、残差算出処理を行い、現フレームの基準ブロックと前フレームの４隅一致ブロックとの間における各画素の画素値の差分値、すなわち、対応するブロック間の画素値の差分値（残差）を算出する。残差算出処理の詳細は後述する。
【０２１８】
ステップＳ４において、残差符号化部６４は、残差符号化処理を行い、ステップＳ３の処理により算出された残差（差分値）を符号化する。残差符号化処理の詳細は後述する。
【０２１９】
ステップＳ５において、出力部６５は、ステップＳ２の４隅一致ブロック検出処理において得られたブロック位置データVcdpと、ステップＳ４の差分値符号化処理において得られた符号化データVcdqを符号化デジタル画像信号Vcdとして出力する。ステップＳ６において出力部６５は、符号化処理を終了するか否かを判定し、未処理の画像データが存在し、符号化処理を終了しないと判定した場合、処理をステップＳ７に進める。
【０２２０】
ステップＳ７において、ローカルデコード部６６は、ローカルデコード処理を実行し、符号化デジタル画像信号Vcdを復号（デコード）する。ステップＳ８において、フレームメモリ６７は、その復号（デコード）された画像データを前フレーム画像として保持し、処理をステップＳ１に戻し、それ以降の処理を繰り返す。
【０２２１】
つまり、符号化部４５は、ステップＳ１乃至ステップＳ８の処理を繰り返して全ての画像データについて符号化処理を行う。そして、ステップＳ６において、符号化処理を終了すると判定した場合、出力部６５は、符号化処理を終了する。
【０２２２】
次に、図１７のステップＳ２において実行される４隅一致ブロック検出処理を図１８のフローチャートを参照して説明する。
【０２２３】
４隅一致ブロック検出処理が開始されると、画素値取得部８１は、ステップＳ２１において、ブロック化部６１より供給された画像データの処理対象フレームより、処理対象ブロック（基準ブロック）の４隅の画素の画素値を取得する。ステップＳ２２において、検索範囲設定部８２は、前フレームの画像データにおいて検索範囲を設定する。
【０２２４】
ステップＳ２３において、注目ブロック設定部８３は、その検索範囲内において注目ブロックを設定する。差分絶対値総和算出部８４は、ステップＳ２４において、ブロックの４隅の画素について、ブロック間（基準ブロックと４隅一致ブロックとの間）の画素値の差分値の総和を算出する。
【０２２５】
ステップＳ２５において、比較部８５は、ステップＳ２４の処理により得られた算出結果を最小値候補保持部８６が保持している最小値候補と比較する。ステップＳ２６において、比較部８５は、算出結果の方が最小値候補より小さいか否かを判定する。算出結果の方が小さいと判定した場合、比較部８５は、ステップＳ２７に処理を進め、最小値候補保持部８６により保持されている最小値候補の情報と、４隅一致ブロック候補保持部８７により保持されている４隅一致ブロック候補の情報とを更新し、今回得られた算出結果を保持させる。ステップＳ２７の処理を終了すると比較部８５は、処理をステップＳ２８に進める。
【０２２６】
また、ステップＳ２６において、算出結果が最小値候補より小さくないと判定した場合、比較部２６は、情報の更新を行わずに、処理をステップＳ２８に進める。
【０２２７】
ステップＳ２８において、検索制御部８８は、ステップＳ２２において設定された検索範囲内を全て検索したか否かを判定し、検索していないと判定した場合、処理をステップＳ２３に戻し、それ以降の処理を繰り返させる。すなわち、４隅一致ブロック検出部６２は、ステップＳ２３乃至ステップＳ２８の処理を繰り返して、検査範囲内において取り得る全てのブロックについて４隅一致ブロックとなるか否かを検索する。
【０２２８】
また、ステップＳ２８において、検索範囲内を全て検索したと判定した場合、検索制御部８８は、処理をステップＳ２９に進める。ステップＳ２９において、ブロック位置データ算出部８９は、４隅一致ブロックのブロック位置データを算出する。
【０２２９】
ステップＳ２９の処理を終了すると、ブロック位置データ算出部８９は、４隅一致ブロック検出処理を終了し、処理を図１７のステップＳ２に戻し、それ以降の処理を実行させる。
【０２３０】
次に、図１７のステップＳ３において実行される残差算出処理の流れを図１９のフローチャートを参照して説明する。
【０２３１】
残差算出処理が開始されると、ブロック抽出部１０１は、供給されたブロック位置データに基づいて、ステップＳ４１において、前フレームの画像データより４隅一致ブロックを抽出する。画素判定部１０２は、ステップＳ４２において、処理を行う対象画素の位置を確認し、ステップＳ４３において、対象画素がブロックの４隅の画素であるか否かを判定する。これから差分値を求める画素がブロックの４隅の画素ではないと判定した場合、画素判定部１０２は、処理をステップＳ４４に進める。
【０２３２】
ステップＳ４４において、差分値演算部１０３は、その画素について、基準ブロックと４隅一致ブロックとの間の画素値の差分値を演算する。差分値を算出すると差分値演算部１０３は、処理をステップＳ４６に進める。
【０２３３】
また、ステップＳ４２において、対象画素がブロックの４隅の画素であると判定した場合、画素判定部１０２は、処理をステップＳ４５に進める。ステップＳ４５において、差分値設定部１０４は、その画素の差分値を「０」に設定し、処理をステップＳ４６に進める。
【０２３４】
ステップＳ４６において、残差出力部１０５は、ステップＳ４４またはステップＳ４５の処理において求められた差分値を残差として出力する。ステップＳ４７において残差出力部１０５は、残差算出処理を終了するか否かを判定し、未処理の画像データが存在し、残さん算出処理を終了しないと判定した場合、残差出力部１０５は、処理をステップＳ４１に戻し、それ以降の処理を繰り返す。また、ステップＳ４７において残差算出処理を終了すると判定した場合、残差出力部１０５は、残差算出処理を終了し、処理を図１７のステップＳ３に戻し、それ以降の処理を実行させる。
【０２３５】
次に、図１７のステップＳ４において実行される残差符号化処理の流れを図２０のフローチャートを参照して説明する。
【０２３６】
残差符号化処理が開始されると、DST変換部１２１は、ステップＳ６１において、残差算出部６３より供給された残差に対してDST変換処理を行う。ステップＳ６２において、量子化部１２２は、DST変換された係数データに対して量子化処理を行う。ステップＳ６３において、ハフマン符号化部１２３は、量子化により得られた量子化係数データに対してハフマン符号化処理を行い、符号化データVcdqを生成し、それを出力部６５に供給する。
【０２３７】
ステップＳ６４において、ハフマン符号化部１２３は、残差符号化処理を終了するか否かを判定し、符号化していない残差データが存在し、残差符号化処理を終了しないと判定した場合、処理をステップＳ６１に戻し、それ以降の処理を繰り返す。また、ステップＳ６４において、全ての残差データの符号化が終了し、残差符号化処理を終了すると判定した場合、ハフマン符号化部１２３は、残差符号化処理を終了し、図１７のステップＳ４に処理を戻し、それ以降の処理を実行させる。
【０２３８】
次に、図１７のステップＳ７において実行されるローカルデコード処理の流れを図２１のフローチャートを参照して説明する。
【０２３９】
ローカルデコード処理が開始されると、データ分解部１４１は、ステップＳ８１において、符号化デジタル画像信号Vcdを取得し、それをブロック位置データVcdpと符号化データVcdqに分離する。ステップＳ８２において、４隅一致ブロック抽出部１４２は、前フレーム画像データから４隅一致ブロックを抽出する。
【０２４０】
ステップＳ８３において、残差復号部１４３は、残差復号処理を行い、符号化データVcdqを復号し、残差データを得る。残差復号処理の詳細は後述する。ステップＳ８４において、画素値加算部１４４は、加算演算処理を行い、４隅一致ブロックと残差（基準ブロックにおける残差）の加算演算処理を行う。加算演算処理の詳細については後述する。
【０２４１】
ステップＳ８５において、ブロック分解部１４５は、加算結果を並べ替えてフレーム画像データ（前フレームの画像データ）としてフレームメモリ６７に出力する。
【０２４２】
ステップＳ８６において、ブロック分解部１４５は、ローカルデコード処理を終了するか否かを判定し、未処理の符号化データが存在し、ローカルデコード処理を終了しないと判定した場合、処理をステップＳ８１に戻し、それ以降の処理を繰り返す。すなわち、ローカルデコード部６６の各処理部は、ステップＳ８１乃至ステップＳ８６の処理を繰り返し実行することにより、全てのフレーム画像データについて復号処理を行う。
【０２４３】
そして、ステップＳ８６において、全ての符号化データを復号し、ローカルデコード処理を終了すると判定した場合、ブロック分解部１４５は、ローカルデコード処理を終了し、処理を図１７のステップＳ７に処理を戻し、それ以降の処理を実行させる。
【０２４４】
次に、図２１のステップＳ８３において実行される残差復号処理の流れを図２２のフローチャートを参照して説明する。
【０２４５】
残差復号処理が開始されると、ハフマン復号部１６１は、ステップＳ１０１において、符号化データVcdqに対してハフマン復号処理を行い、量子化係数データを得る。逆量子化部１６２は、ステップＳ１０２において、ハフマン復号処理により得られた量子化係数データに対して逆量子化処理を行い、DST変換されたブロックの係数データを得る。IDST変換部１６３は、ステップＳ１０３において、IDST変換処理を行い、DST返還前の基準ブロックの残差のデータを得、それを出力する。ステップＳ１０４においてIDST変換部１６３は、残差復号処理を終了するか否かを判定し、未処理の符号化データVcdqが存在し、残差復号処理を終了しないと判定した場合、処理をステップＳ１０１に戻し、それ以降の処理を繰り返す。また、ステップＳ１０４において残差復号処理を終了すると判定した場合、IDST変換部１６３は、残差復号処理を終了し、図２１のステップＳ８３に処理を戻し、それ以降の処理を実行させる。
【０２４６】
次に、図２１のステップＳ８４において実行される加算演算処理の流れを図２３のフローチャートを参照して説明する。
【０２４７】
加算演算処理が開始されると、最初に、画素判定部１８１は、ステップＳ１２１において、これから加算演算を行う処理対象画素のブロックにおける位置を確認し、ステップＳ１２２において、対象画素がブロックの４隅の画素であるか否かを判定する。ブロックの４隅の画素であると判定した場合、画素判定部１８１は、処理をステップＳ１２３に進める。
【０２４８】
ステップＳ１２３において、残差設定部１８２は、残差を「０」に設定し、処理をステップＳ１２４に進める。
【０２４９】
また、ステップＳ１２２において、対象画素がブロックの４隅の画素ではないと判定した場合、画素判定部１８１は、ステップＳ１２３の処理を省略し、処理をステップＳ１２４に進める。
【０２５０】
ステップＳ１２４において、加算値演算部１８３は、４隅一致ブロックの画像データと残差を加算し、順序整列部１８４に保持させる。ステップＳ１２５において順序整列部１８４は、加算演算処理を終了するか否かを判定し、未処理の画素が存在し、加算演算処理を終了しないと判定した場合、処理をステップＳ１２１に戻し、それ以降の処理を繰り返す。
【０２５１】
つまり、画素値加算部１４４の各処理部は、ステップＳ１２１乃至ステップＳ１２５の処理を繰り返し、ブロック内の全ての画素に対して加算処理を行う。そして、ステップＳ１２５において全ての画素について加算処理を行ったと判定した場合、順序整列部１８４は、ステップＳ１２６において、画素毎の加算結果をラスター順に並び替えてブロック画像データとして出力する。ステップＳ１２６の処理を終了すると、順序整列部１８４は、加算演算処理を終了する。
【０２５２】
次に、復号部４１により実行される復号処理について図２４のフローチャートを参照して説明する。なお、図１６を参照して説明したように、図１６において復号部４１のデータ分解部２０１乃至ブロック分解部２０５（点線２１０に囲まれる処理部）は、ローカルデコード部６６の構成（図１３）と同様である。従って、復号部４１の各部は、図２４のステップＳ１４１乃至ステップＳ１４６の処理を、図２１のステップＳ８１乃至ステップＳ８６の処理と同様に実行する。
【０２５３】
すなわち、復号処理が開始されると、データ分解部２０１は、ステップＳ１４１において、符号化デジタル画像信号Vcdを取得し、符号化データVcdqとブロック位置データVcdpを分離する。４隅一致ブロック抽出部２０２は、ステップＳ１４２において前フレーム画像データから４隅一致ブロックを抽出する。残差復号部２０３は、ステップＳ１４３において残差復号処理を行い、符号化データを復号する。残差復号処理の詳細は図２２のフローチャートを参照して上述したのでその説明を省略する。ステップＳ１４４において、画素値加算部２０４は、４隅一致ブロックと残差の加算演算処理を行う。加算演算処理の詳細は図２３のフローチャートを参照して上述したのでその説明を省略する。
【０２５４】
ブロック分解部２０５は、ステップＳ１４５において加算結果を並べ替えてフレーム画像を生成し、出力する。ブロック分解部２０５は、ステップＳ１４６において、復号処理を終了するか否かを判定する。未処理のフレーム画像が存在し、復号処理を終了しないと判定した場合、ブロック分解部２０５は、処理をステップＳ１４７に進める。
【０２５５】
ステップＳ１４７において、フレームメモリ２０６は、ブロック分解部２０５が出力したフレーム画像データを前フレームの画像データとして保持する。ステップＳ１４７の処理を終了すると、フレームメモリ２０６は、処理をステップＳ１４１に戻し、それ以降の処理を繰り返す。
【０２５６】
ステップＳ１４６において、復号処理を終了すると判定した場合、ブロック分解部２０５は、復号処理を終了する。
【０２５７】
以上のように符号化部４５や復号部４１は、アナログ信号に生じるホワイトノイズや位相ずれ等のアナログ歪みを積極的に利用し、意図的に大きなアナログ歪みを発生させ、そのアナログ歪みによって画質が劣化するように符号化処理や復号処理を行うので、符号化処理や復号処理を繰り返す度に画像が大幅に劣化するようにすることができる。
【０２５８】
例えば、図２の画像処理システム３０において、アナログ画像信号Van１が、D/A４２によるD/A変換時に混入するホワイトノイズ（特に、高周波成分）による歪みを伴うとすると、A/D４４によるA/D変換時に画素データが毎回（フレーム毎に）微小変動するために、符号化部４５でブロック化されて得られる各ブロックの４角の画素値が、１回目の符号化、復号化における値に対して異なるものとなる（各ブロックの４隅の画素値が毎回異なる）。
【０２５９】
そのため、符号化部４５の４隅一致ブロック検出部６２は、１回目の符号化で検出したブロックと異なる位置のブロックを４隅一致ブロックとする。従って、４隅一致ブロック検出部６２により算出されたブロック位置データは、１回目の符号化で算出されたブロック位置データと異なるものとなる。
【０２６０】
つまり、残差算出部６３は、１回目の符号化とは異なる残差を算出することになる。残差符号化部６４はこの残差を符号化するが、このとき、１回目の符号化において発生した量子化歪みとは異なる新たな量子化歪みが発生する。このように符号化や復号が繰り返される度に、画像データには毎回異なる量子化歪みが発生し、結果として画像データに大きな歪みが含まれることになる。
【０２６１】
従って、例えば、記録部４６により記録媒体に記録された符号化デジタル画像信号Vcd１を復号して得られるデジタル画像信号Vdg２は、再生装置３１の復号部４１から得られるデジタル画像信号Vdg０に比べて、大きく劣化したものとなる。換言すると、デジタル画像信号Vdg２の画像の画質は、デジタル画像信号Vdg０のそれに比べて、大きく劣化したものとなる。
【０２６２】
つまり、例えば再生装置３１が記録部４６より読み出された符号化デジタル画像信号Vcd１を再生する場合、（再生装置３１より出力されるアナログ画像信号Van１が２回目以降の符号化処理、および復号処理を経たものである場合）、上述したように符号化部４５により符号化され、さらに復号部４１により復号されて得られる画像データ（D/A４２によりD/A変換されたアナログ画像信号Van２の画像データ）は、３回目以降の符号化処理および復号処理を経たものとなり、その画質はより一層劣化したものとなる。
【０２６３】
以上のように、記録部４６により記録媒体に記録された符号化デジタル画像信号Vcd１を再生して得られる画像の画質は、再生装置３１より出力されるアナログ画像信号Van１による画像に比べて大幅に劣化したものとなる。よって、この符号化装置３３は、再生装置３１より出力されるアナログ画像信号を、その画像の良好な画質を維持したまま複製することができない。
【０２６４】
なお、例えば、従来の方法で符号化処理および復号処理を繰り返し、それとともにA/D変換処理とD/A変換処理を繰り返すことにより、アナログ画像信号にはノイズ成分が生じるので、その画質は徐々に劣化するが、これは単にノイズ成分が蓄積されていくのみであり、本発明を適用した画像処理システム３０による符号化処理および復号処理とは異なる。
【０２６５】
つまり単にノイズ成分が蓄積される場合の画質の劣化は、S/N比が十分低ければ、通常、画像が破綻することはない（絵の内容を理解できなくなることはない）。また、そのノイズ成分の除去（画質を向上させること）も容易である。これに対して本発明の符号化処理においては、上述したように、アナログ歪みを利用して、大きな歪みを生成し、画像を破綻させる（画質を大幅に劣化させる）ので、従来の方法の「単にノイズ量が増えS/N比が高くなる」とは異なる効果を得ることができる。
【０２６６】
また、このように符号化処理において画質を大幅に劣化させるので、例えば、表示装置３２がディスプレイ４３に画像を表示させるときのように、複製前の画像信号の画像は破綻せずに正常に表示される。
【０２６７】
つまり、符号化部４５は、スクランブル処理や雑音情報を埋め込む等の特別な処理を必要とせずに、アナログ信号の良好な品質の複製のみを防止することができる。これにより、符号化装置３３は、画像が表示されなくなる、回路規模の増大を招く等の不都合を発生させずに、アナログ信号を利用した不正コピーを抑制することができる。
【０２６８】
また、復号部４１は、そのような符号化部４５に対応するように復号処理を行い、符号化部４５により、アナログ信号に生じるホワイトノイズや位相ずれ等のアナログ歪みを積極的に利用して意図的に付加された大きなアナログ歪みが画像信号に残るするように復号処理を行うので、スクランブル処理や雑音情報を埋め込む等の特別な処理を必要とせずに、アナログ信号の良好な品質の複製のみを防止することができる。これにより、復号装置３１は、画像が表示されなくなる、回路規模の増大を招く等の不都合を発生させずに、アナログ信号を利用した不正コピーを抑制することができる。
【０２６９】
なお、仮に、アナログ歪みがない場合（例えば、復号部４１が出力するデジタル画像信号Vdg０を直接符号化する場合）、信号にホワイトノイズが生じないため、ブロックの４隅の画素の画素値は、１回目の符号化処理においても、２回目の符号化処理においても変化しない。また、この画素の残差は毎回「０」に設定されるため、加算演算処理による誤差も発生しない。従って、何回目の符号化処理（復号処理）であっても１回目と同じブロックが４隅一致ブロックとして検出されることになり、符号化部４５は、何回目の符号化処理であっても、略同一な符号化データを得ることができる。換言すると、復号部４１は、何回目の復号処理であっても、略同一な符号化データを復号することになり、通常の品質での再生が可能となる。
【０２７０】
以上のように、画像処理システム３０においては、符号化装置３３が、再生装置３１より出力されるアナログ画像信号を、その画像の画質を劣化させないように複製することができないようになされている。従って、画像処理システム３０は、回路規模の増大やコストの上昇等の不都合を発生させずに、アナログ信号を利用した不正コピーを抑制し、安全にアナログ信号を出力することができる。また、例えば、編集作業における複製等のように、デジタル信号を用いて複製を行う場合、画像処理システム３０は、画質を劣化させずに複製を行うことができる。なお、その場合、画像処理システム３０からD/A４２およびA/D４４が省略される。また、その場合の著作権管理は、例えばDRM（Digital Rights Management）等の他の技術を併用することにより行うことができるので、画像処理システム３０は、デジタル信号の不正な複製も抑制することができる。
【０２７１】
なお、以上において、現フレームのブロックと前フレームブロックとでマッチングを行う際に、実際に比較する画素を各ブロックの４隅の画素として説明したが、この比較は、どの画素を用いるようにしてもよいし、その画素数もいくつであってもよい。ただし、比較する画素の配置が一箇所に集まると、ブロックのその他の部分に対するマッチング精度が低くなる。つまり、比較する画素はブロック内全体に散在する方が、マッチング精度を向上させる（誤差を低減させる）ことができ、より正確にマッチングを行うことができる。また、その比較する画素数が多い程より正確にマッチングを行うことができるが、その分処理の負荷が大きくなってしまう。
【０２７２】
以上においては、残差の符号化方法として、DST変換処理を行うように説明したが、これに限らず、例えば、残差の波形を関数で近似し、その係数を伝送する関数近似符号化を用いるようにしてもよい。
【０２７３】
図２５は、その場合の残差符号化部６４（図３）の詳細な構成例を示すブロック図であり、図１０に対応する図である。
【０２７４】
図２５において残差符号化部６４は、DST変換部１２１（図１０）の代わりに、関数近似変換部２３１を有している。また、図２５の残差符号化部６４は、図１０の場合と同様に、量子化部１２２およびハフマン符号化部１２３も有している。
【０２７５】
関数近似変換部２３１は、ブロック毎の残差に対して、図２６に示されるように各画素位置を座標で表し、各画素値により構成される波形を、例えば、３次元関数を近似させることにより表す。
【０２７６】
例えば、図２６の場合、関数近似変換部２３１は、ブロックの左下の画素を基準点とし、水平方向をｘ軸、垂直方向をｙ軸とし、各画素の位置を座標化する（図２６の場合、０≦ｘ≦７，０≦ｙ≦７）。次に、関数近似変換部２３１は、各画素の画素値で構成される波形を、近似関数を用いて関数化する。例えば、関数近似変換部２３１は、以下の式（４）に示されるような３次元関数を、最小２乗法を用いる等して、画素値の波形に近似させる。
【０２７７】
【数３】
2006217405.tif 000005
【０２７８】
なお、残差算出部６３によりブロックの４隅の残差の値は「０」に設定されているので、式（４）において、以下の式（５）の条件が付加される。
【０２７９】
Ｚ（０，０）＝Ｚ（０，７）＝Ｚ（７，０）＝Ｚ（７，７）＝０  ・・・（５）
【０２８０】
関数近似変換部２３１は、最小２乗法を行う等して、式（４）の関数を画素値の波形に近似させたときの係数ａ乃至ｉを算出し、その係数ａ乃至ｉを係数データとして量子化部１２２に供給する。
【０２８１】
量子化部１２２は、その供給された係数データを図１０の場合と同様に量子化する。また、ハフマン符号化部１２３も、図１０の場合と同様に、量子化部１２２において得られた量子化係数データを符号化し、符号化データを生成する。
【０２８２】
なお、この場合、ローカルデコード部６６（図３）の残差復号部１４３（図１３）や復号部４１（図２）の残差復号部２０３（図１６）は、この関数近似変換処理に対応する方法で復号処理を行う。
【０２８３】
図２７は、その場合の残差復号部１４３の詳細な構成例を示すブロック図であり、図１４に対応する図である。なお、残差復号部２０３は、残差復号部１４３と同様の構成であり同様に処理を行うのでその説明を省略する。
【０２８４】
図２７において、残差復号部１４３は、図１４の場合と同様に、ハフマン復号部１６１および逆量子化部１６２を有し、図１４のIDST変換部１６３の代わりに逆関数近似変換部２３２を有している。
【０２８５】
逆関数近似変換部２３２は、逆量子化部１６２による逆量子化処理により得られた係数データを用いて（係数データを式（４）に代入して）近似関数を生成し、その近似関数から各画素との画素値を算出する。つまり、逆関数近似変換部２３２は、近似関数（式（４））の変数Ｘ，Ｙにそれぞれｘ座標、ｙ座標を代入して各画素値（残差）を算出する。
【０２８６】
以上のような関数近似変換を利用した残差符号化処理の流れを図２８のフローチャートを参照して説明する。このフローチャートは、図２０のフローチャートに対応する。
【０２８７】
すなわち、残差符号化処理が開始されると、関数近似変換部２３１は、ステップＳ１６１において、供給された残差に対して関数近似変換処理を行い、ブロック毎に、各画素の残差により構成される波形を関数化し、近似関数の係数データを生成する。ステップＳ１６２において、量子化部１２２は、その係数データに対して、図２０のステップＳ６２の場合と同様に量子化処理を行い、量子化係数データを生成する。ステップＳ１６３においてハフマン符号化部１２３は、その量子化係数データに対して、図２０のステップＳ６３の場合と同様にハフマン符号化処理を行い、符号化データVcdqを生成する。
【０２８８】
ステップＳ１６４において、ハフマン符号化部１２３は、残差符号化処理を終了するか否かを判定し、未処理の残差が存在し、残差符号化処理を終了しないと判定した場合、処理をステップ１６１に戻し、それ以降の処理を繰り返す。また、ステップＳ１６４において、残差符号化処理を終了すると判定した場合、ハフマン符号化部１２３は、残差符号化処理を終了し、処理を図１７のステップＳ４に戻し、それ以降の処理を実行させる。
【０２８９】
次に、図２９のフローチャートを参照して、図２８のフローチャートを参照して説明した符号化処理に対応する復号処理、すなわち、関数近似変換処理を利用した復号処理の流れについて説明する。この図２９のフローチャートは、図２２のフローチャートに対応する。
【０２９０】
残差復号処理が開始されると、ステップＳ１８１において、ハフマン復号部１６１は、図２２のステップＳ１０１と同様に、符号化データVcdqに対してハフマン復号処理を行い、量子化係数データを生成する。ステップＳ１８２において、逆量子化部１６２は、図２２のステップＳ１０２と同様に、量子化係数データに対して逆量子化処理を行い、係数データを生成する。逆関数近似変換部２３２は、ステップＳ１８３において、逆関数変換処理を行い、係数データから元の画素値（残差）を算出する。
【０２９１】
ステップＳ１８４において、逆関数近似変換部２３２は、残差復号処理を終了するか否かを判定し、例えば未処理の符号化データが存在し、残差復号処理を終了しないと判定した場合、処理をステップＳ１８１に戻し、それ以降の処理を繰り返させる。また、ステップＳ１６４において、残差復号処理を終了すると判定した場合、逆関数近似変換部２３２は、残差復号処理を終了し、処理を図２１のステップＳ８３に処理を戻し、それ以降の処理を実行させる。
【０２９２】
このように関数近似変換処理および逆関数近似変換処理を利用することにより、符号化部４５は、DST変換処理やIDST変換処理を行う場合と同様に、アナログ信号を利用して複製を行う場合のみ情報の品質が劣化するようにすることができる。従って、符号化装置３３は、この場合も、回路規模の増大を招く等の不都合を発生させずに、２回目以降の符号化処理および復号処理では画像データを著しく劣化させ、アナログ信号を利用した不正コピーを抑制することができる。
【０２９３】
このように符号化部４５の関数近似変換処理および逆関数近似変換処理に対応して、復号部４１は、逆関数近似変換処理を行うので、IDST変換処理を行う場合と同様に、アナログ信号を利用して複製を行う場合のみ情報の品質が劣化するようにすることができる。従って、再生装置３１は、この場合も、回路規模の増大を招く等の不都合を発生させずに、２回目以降の符号化処理および復号処理では画像データを著しく劣化させ、アナログ信号を利用した不正コピーを抑制することができる。
【０２９４】
すなわち、符号化部４５において関数近似変換処理および逆関数近似変換処理を行い、復号部４１において逆関数近似変換処理を行う場合も、画像処理システム３０は、回路規模の増大やコストの上昇等の不都合を発生させずに、アナログ信号を利用した不正コピーを抑制し、安全にアナログ信号を出力することができる。
【０２９５】
また、この場合であっても、例えば編集作業における複製等のように、デジタル信号を用いて複製を行うときは、画像処理システム３０は、画質を劣化させずに複製を行うことができる。また、例えばDRM等の他の技術を併用することにより、画像処理システム３０は、デジタル信号の不正な複製も抑制することができる。
【０２９６】
なお、画像処理システム３０の各装置の構成は、図２に示される以外であってもよく、例えば、図３０に示されるように、符号化装置３３の復号部４１、D/A４２、およびディスプレイ４３は省略するようにしてもよい。
【０２９７】
図３０は、本発明を適用した画像処理システムの他の構成例を示す図であり、図２に対応する図である。つまり、図３０の画像処理システム２５０は、図２の画像処理システム３０に対応しており、画像処理システム３０の符号化装置３３の代わりに符号化装置２５３を有している。
【０２９８】
符号化装置２５３は、図２の符号化装置３３に対応する装置であり、符号化装置３３の構成から、復号部４１、D/A４２、およびディスプレイ４３を省略した構成となっている。
【０２９９】
つまり、画像処理システム２５０の符号化装置２５３は、図２の符号化装置３３と同様に、再生装置３１が出力したアナログ画像信号Van１を取得し、それをデジタル化して符号化した符号化デジタル画像信号Vcd１を生成し、それを記録媒体に記録するのみであり、符号化装置３３のように、符号化デジタル画像信号を再度復号し、アナログ画像信号Van２を生成してディスプレイ４３に画像を表示することはしない。
【０３００】
図２の符号化装置３３は、符号化した画像信号を再度復号する場合を説明するために便宜上適用した構成であり、実際には、符号化を行うことができればよく、そのような構成が必要なわけではない。
【０３０１】
また、図２（図３０）において、１つの装置として説明した各装置の構成を複数の装置として構成するようにしてもよいし、逆に、複数の装置を１つの装置として構成するようにしてもよい。
【０３０２】
図３１は、本発明を適用した画像処理システムのさらに他の構成例を示す図である。図３１の画像処理システム２６０は、図２の画像処理システム３０に対応する。図３１において、画像処理システム２６０は、２つの復号装置２６１、２つの表示装置２６２、A/D変換装置２６３、符号化装置２６４、および記録装置２６５により構成されている。
【０３０３】
復号装置２６１は復号部４１を有し、表示装置２６２はD/A４２およびディスプレイ４３を有し、A/D変換装置２６３はA/D４４を有し、符号化装置２６４は符号化部４５を有し、記録装置２６５は記録部４６を有している。
【０３０４】
つまり、画像処理システム２６０は、装置の構成が異なるだけで、処理部の構成は図２の画像処理システム３０と同じである。従って、画像処理システム２６０は、各装置により画像処理システム３０と同様の処理が行われるので、画像処理システム３０と同様に、アナログ信号を利用したコンテンツデータの不正な複製を抑制することができる。
【０３０５】
また、図２の画像処理システムに上述した構成以外の構成を追加するようにしてもよい。例えば、アナログ画像信号の複製ではより大幅に画質が劣化するように、アナログ画像信号Vanに積極的にノイズ成分（ホワイトノイズや位相ずれ等のアナログ歪み）を付加するようにしてもよい。ただし、このノイズ成分は、単にS/N比を向上させるために付加されるものではなく、上述した符号化処理や復号処理において画質をより劣化させるために（画像信号により大きな歪みを生じさせるために）積極的に利用するために付加されるものである。
【０３０６】
図３２は、本発明を適用した画像処理システムのさらに他の構成例を示す図であり、図２および図３１に対応する図である。
【０３０７】
図３２において、画像処理システム２８０は、２つの再生装置２８１、符号化装置２８２、２つの表示装置３２、および記録装置２６５により構成されている。表示装置３２は、図２を参照して説明したように、再生装置２８１が出力するアナログ画像信号Van１またはVan２の画像をディスプレイ４３に表示する装置である。記録装置２６５は、図３１を参照して説明したように、記録部４６を有しており、符号化装置２８２が出力する符号化デジタル画像信号Vcd１を記録部４６の記録媒体に記録する。
【０３０８】
再生装置２８１は、再生装置３１と同様に復号部４１およびD/A４２を有しており、さらに、アナログノイズ付加部２９１を有している。アナログノイズ付加部２９１は、D/A４２において変換されたアナログ画像信号にノイズ成分（アナログノイズ）を付加する。
【０３０９】
ここで、アナログノイズは、アナログ信号に付加されるノイズ成分のことであり、アナログ成分に対するノイズ成分のことである。換言すると、アナログノイズは、例えば、ホワイトノイズや位相ずれ等のようにアナログ歪み（アナログ成分の歪み）を発生させるノイズ成分のことである。
【０３１０】
つまり、再生装置２８１は、積極的にアナログノイズを付加したアナログ画像信号Vanを出力する。例えば、再生装置２８１は、符号化デジタル画像信号Vcd０より、積極的にアナログノイズを付加したアナログ画像信号Van１を生成する。また、例えば、再生装置２８１は、符号化デジタル画像信号Vcd１より、積極的にアナログノイズを付加したアナログ画像信号Van２を生成する。
【０３１１】
符号化装置２８２は、図２の符号化装置３３と同様にA/D４４および符号化部４５を有しており、さらに、アナログノイズ付加部２９１も有している。つまり、符号化装置２８２は、アナログノイズ付加部２９１において積極的にアナログノイズが付加されたアナログ画像信号をA/D４４においてA/D変換し、符号化部４５において符号化する。
【０３１２】
図３２の画像処理システム２８０において、符号化装置２８２が実行する、アナログ画像信号に積極的にアナログノイズを付加して符号化するアナログ劣化符号化処理について、図３３のフローチャートを参照して説明する。
【０３１３】
最初に、ステップＳ２０１において、アナログノイズ付加部２９１は、再生装置２８１より出力されたアナログ画像信号Vanにアナログノイズ（ホワイトノイズや位相ずれ等）を付加する。ステップＳ２０２において、符号化装置２８２は、アナログノイズ付加部２９１より出力された、積極的にアナログノイズが付加されたアナログ画像信号Vanに対してA/D変換処理を行い、デジタル画像信号Vdgを生成する。そして、ステップＳ２０３において、符号化部４５は、符号化処理を行う。この符号化処理は、図１７のフローチャートを参照して説明した符号化処理と同様の処理を行うので、その詳細についての説明を省略する。
【０３１４】
符号化処理が終了すると、符号化部４５は、ステップＳ２０４に処理を進め、アナログ劣化符号化処理を終了するか否かを判定し、終了しないと判定した場合、ステップＳ２０１に処理を戻し、それ以降の処理を繰り返す。また、ステップＳ２０４においてアナログ劣化符号化処理を終了すると判定した場合、符号化部４５は、アナログ劣化符号化処理を終了する。
【０３１５】
次に、図３２の画像処理システム２８０において、再生装置２８１が実行する、復号したアナログ画像信号に積極的にアナログノイズを付加するアナログ劣化復号処理について、図３４のフローチャートを参照して説明する。
【０３１６】
最初に、ステップＳ２２１において、復号部４１は、入力された符号化デジタル画像信号に対して復号処理を行う。この復号処理は、図２４のフローチャートを参照して説明した復号処理と同様の処理を行うので、その詳細についての説明を省略する。
【０３１７】
復号処理が終了し、デジタル画像信号Vdgが得られると、D/A４２は、ステップＳ２２２において、そのデジタル画像信号Vdgに対してD/A変換処理を行い、アナログ画像信号Vanを得る。ステップＳ２２３において、アナログノイズ付加部２９１は、D/A４２においてD/A変換されたアナログ画像信号Vanにアナログノイズ（ホワイトノイズや位相ずれ等）を付加する。
【０３１８】
アナログノイズを付加すると、アナログノイズ付加部２９１は、ステップＳ２２４に処理を進め、アナログ劣化復号処理を終了するか否かを判定し、終了しないと判定した場合、ステップＳ２２１に処理を戻し、それ以降の処理を繰り返す。また、ステップＳ２２４においてアナログ劣化復号処理を終了すると判定した場合、アナログ劣化復号処理を終了する。
【０３１９】
このように、再生装置２８１および符号化装置２８２は積極的にアナログ画像信号にアナログノイズを付加する。従って、画像処理システム２８０においてアナログ信号を利用して複製を行う場合、符号化処理および復号処理が繰り返されることにより、アナログ画像信号にノイズが積極的に付加されていき、その画像の画質はより顕著に劣化するので、符号化装置２８２および再生装置２４１は、アナログ信号を利用したコンテンツデータの不正な複製をより抑制するように符号化処理および復号処理を行うことができる。
【０３２０】
すなわち、画像処理システム２８０は、画像が表示されなくなる、回路規模の増大を招く等の不都合を発生させずに、２回目以降の符号化処理および復号処理では画像データをより著しく劣化させ、アナログ信号を利用した不正コピーをより抑制することができる。
【０３２１】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２の画像処理システム３０、図３０の画像処理システム２５０、図３１の画像処理システム２６０、および図３２の画像処理システム２８０を構成する各装置は、それぞれ、図３５に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０３２２】
図３５において、パーソナルコンピュータ３００のCPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記憶されているプログラム、または記憶部３１３からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３２３】
CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３１０も接続されている。
【０３２４】
入出力インタフェース３１０には、キーボード、マウスなどよりなる入力部３１１、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部３１２、ハードディスクなどより構成される記憶部３１３、モデムなどより構成される通信部３１４が接続されている。通信部３１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０３２５】
入出力インタフェース３１０にはまた、必要に応じてドライブ３１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１３にインストールされる。
【０３２６】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０３２７】
この記録媒体は、例えば、図３５に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア３２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM３０２や、記憶部３１３に含まれるハードディスクなどで構成される。
【０３２８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３２９】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【図面の簡単な説明】
【０３３０】
【図１】従来の画像処理システムの構成例を示す図である。
【図２】本発明を適用した画像処理システムの構成例を示す図である。
【図３】図２の符号化部の内部の構成例を示すブロック図である。
【図４】フレーム画像データをブロック化する様子の例を説明する模式図である。
【図５】基準ブロックの４隅の画素を示す模式図である。
【図６】図３の４隅一致ブロック検出部の構成例を示すブロック図である。
【図７】検索範囲の設定の様子を示す模式図である。
【図８】ブロック位置データの算出の様子を示す模式図である。
【図９】図３の残差算出部の構成例を示すブロック図である。
【図１０】図３の残差符号化部の構成例を示すブロック図である。
【図１１】１次元のDST変換の例を示す図である。
【図１２】２次元のDST変換の例を示す図である。
【図１３】図３のローカルデコード部の構成例を示すブロック図である。
【図１４】図１３の残差復号部の構成例を示すブロック図である。
【図１５】図１３の画素値加算部の構成例を示すブロック図である。
【図１６】図２の復号部の構成例を示すブロック図である。
【図１７】符号化処理の例を説明するフローチャートである。
【図１８】４隅一致ブロック検出処理の例を説明するフローチャートである。
【図１９】残差算出処理の例を説明するフローチャートである。
【図２０】残差符号化処理の例を説明するフローチャートである。
【図２１】ローカルデコード処理の例を説明するフローチャートである。
【図２２】残差復号処理の例を説明するフローチャートである。
【図２３】加算演算処理の例を説明するフローチャートである。
【図２４】復号処理の例を説明するフローチャートである。
【図２５】図３の残差符号化部の他の構成例を示すブロック図である。
【図２６】関数近似変換の様子を説明する図である。
【図２７】図１３の残差復号部の他の構成例を示すブロック図である。
【図２８】残差符号化処理の他の例を説明するフローチャートである。
【図２９】残差復号処理の他の例を説明するフローチャートである。
【図３０】本発明を適用した画像処理システムの他の構成例を示す図である。
【図３１】本発明を適用した画像処理システムのさらに他の構成例を示す図である。
【図３２】本発明を適用した画像処理システムのさらに他の構成例を示す図である。
【図３３】アナログ劣化符号化処理の例を説明するフローチャートである。
【図３４】アナログ劣化復号処理の例を説明するフローチャートである。
【図３５】本発明を適用したパーソナルコンピュータの構成例を示す図である。
【符号の説明】
【０３３１】
３０  画像処理システム，  ３１  再生装置，  ３３  符号化装置，  ４１  復号部，  ４２  D/A，  ４４  A/D，  ４５  符号化部，  ６１  ブロック化部，  ６２  ４隅一致ブロック検出部，  ６３  残差算出部，  ６４  残差符号化部，  ６５  出力部，  ６６  ローカルデコード部，  ６７  フレームメモリ，  ８１  画素値取得部，  ８２  検索範囲設定部，  ８３  注目ブロック設定部，  ８４  差分絶対値総和算出部，  ８５  比較部，  ８６  最小値候補保持部，  ８７  ４隅一致ブロック候補保持部，  ８８  検索制御部，  ８９  ブロック位置データ算出部，  １０１  ブロック抽出部，  １０２  画素判定部，  １０３  差分値演算部，  １０４  差分値設定部，  １０５  残差出力部，  １２１  DST変換部，  １２２  量子化部，  １２３  ハフマン符号化部，  １４１  データ分解部，  １４２  ４隅一致ブロック抽出部，  １４３  残差復号部，  １４４  画素値加算部，  １４５  ブロック分解部，  １６１  ハフマン復号部，  １６２  逆量子化部，  １６３  IDST変換部，  １８１  画素判定部，  １８２  残差設定部，  １８３  加算値演算部，  １８４  順序整列部，  ２０１  データ分解部，  ２０２  ４隅一致ブロック抽出部，  ２０３  残差復号部，  ２０４  画素値加算部，  ２０５  ブロック分解部，  ２０６  フレームメモリ，  ２３１  関数近似変換部，  ２３２  逆関数近似変換部，  ２５０  画像処理システム，  ２５３  符号化装置，  ２６０  画像処理システム，  ２６１  復号装置，  ２６４  符号化装置，  ２８０  画像処理システム，  ２８１  再生装置，  ２８２  符号化装置，  ２９１  アナログノイズ付加部，  ３００  パーソナルコンピュータ
【図１】
2006217405.tif 000006
【図２】
2006217405.tif 000007
【図３】
2006217405.tif 000008
【図４】
2006217405.tif 000009
【図５】
2006217405.tif 000010
【図６】
2006217405.tif 000011
【図７】
2006217405.tif 000012
【図８】
2006217405.tif 000013
【図９】
2006217405.tif 000014
【図１０】
2006217405.tif 000015
【図１１】
2006217405.tif 000016
【図１２】
2006217405.tif 000017
【図１３】
2006217405.tif 000018
【図１４】
2006217405.tif 000019
【図１５】
2006217405.tif 000020
【図１６】
2006217405.tif 000021
【図１７】
2006217405.tif 000022
【図１８】
2006217405.tif 000023
【図１９】
2006217405.tif 000024
【図２０】
2006217405.tif 000025
【図２１】
2006217405.tif 000026
【図２２】
2006217405.tif 000027
【図２３】
2006217405.tif 000028
【図２４】
2006217405.tif 000029
【図２５】
2006217405.tif 000030
【図２６】
2006217405.tif 000031
【図２７】
2006217405.tif 000032
【図２８】
2006217405.tif 000033
【図２９】
2006217405.tif 000034
【図３０】
2006217405.tif 000035
【図３１】
2006217405.tif 000036
【図３２】
2006217405.tif 000037
【図３３】
2006217405.tif 000038
【図３４】
2006217405.tif 000039
【図３５】
2006217405.tif 000040