(57)【要約】【課題】２次微分情報を用いて符号化を行う。【解決手段】  ブロック分割部１０１は、供給されたフレームデータをブロックに分割し、デジタルの画像データの各画素の画素値を、ブロック単位で２次微分情報判定部１０２に供給する。２次微分情報判定部１０２は、各画素の２次微分情報（注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、「上に凸」であるか「下に凸」であるかという情報）を求めて、各画素の２次微分情報とブロック単位の画素値を、量子化部１０３に供給する。量子化部１０３は、供給された各画素の２次微分情報とブロック単位の画素値を基に、量子化後も２次微分情報が保たれるように量子化を行い、量子化データとして、各ブロックの最小値、各ブロックのダイナミックレンジ、および、各画素の量子化コードを出力する。本発明は、画像表示システム、符号化装置、および、復号装置に適用できる。【選択図】図４
2006229461.tif 000002
【特許請求の範囲】
【請求項１】
画像データの供給を受けて符号化する符号化装置において、
前記画像データを所定数のブロックに分割するブロック分割手段と、
前記ブロック分割手段により分割された前記ブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出手段と、
前記２次微分情報検出手段により検出された前記２次微分情報に基づいて、量子化結果に前記２次微分情報が保たれるように量子化を実行する量子化手段と
を備えることを特徴とする符号化装置。
【請求項２】
前記２次微分情報検出手段は、
注目画素と、前記注目画素の周辺画素を抽出する抽出手段と、
前記注目画素と前記周辺画素との画素値によって描かれる軌跡の２次微分を求める２次微分情報算出手段と
を更に備えることを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記２次微分情報は、前記注目画素と前記周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報である
ことを特徴とする請求項２に記載の符号化装置。
【請求項４】
前記量子化手段は、
前記ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、前記ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、
前記２次微分情報を基に、各画素がいずれの前記量子化代表値に量子化されるかを決定する
ことを特徴とする請求項１に記載の符号化装置。
【請求項５】
前記２次微分情報は、前記注目画素と前記周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であり、
前記量子化手段は、
前記注目画素に対応する前記２次微分情報が上に凸であることを示していた場合、前記注目画素より大きな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とし、
前記注目画素に対応する前記２次微分情報が下に凸であることを示していた場合、前記注目画素より小さな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とする
ことを特徴とする請求項４に記載の符号化装置。
【請求項６】
前記量子化手段は、入力された画像のデータのダイナミックレンジに適応した可変長の符号を出力する
ことを特徴とする請求項１に記載の符号化装置。
【請求項７】
前記画像データにノイズを付加するノイズ付加手段
を更に備えることを特徴とする請求項１に記載の符号化装置。
【請求項８】
複数のフレームデータからなる入力画像データにおいて、第１のフレームデータを符号化する符号化手段と、
前記符号化手段により符号化された前記第１のフレームデータを復号して処理済フレームデータを生成する復号手段と、
前記復号手段により生成された前記処理済フレームと、前記第１のフレームデータより時間的に１フレーム前の第２のフレームデータとの差分画像データを生成する差分画像データ生成手段と
を更に備え、
前記ブロック分割手段に供給される前記画像データは、前記差分画像データである
ことを特徴とする請求項１に記載の符号化装置。
【請求項９】
画像データの供給を受けて符号化する符号化装置の符号化方法において、
前記画像データを所定数のブロックに分割するブロック分割ステップと、
前記ブロック分割ステップの処理により分割された前記ブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップと、
前記２次微分情報検出ステップの処理により検出された前記２次微分情報に基づいて、量子化結果に前記２次微分情報が保たれるように量子化を実行する量子化ステップと
を含むことを特徴とする符号化方法。
【請求項１０】
前記２次微分情報検出ステップの処理は、
注目画素と、前記注目画素の周辺画素を抽出する抽出ステップと、
前記注目画素と前記周辺画素との画素値によって描かれる軌跡の２次微分を求める２次微分情報算出ステップと
を更に含むことを特徴とする請求項９に記載の符号化方法。
【請求項１１】
前記２次微分情報は、前記注目画素と前記周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報である
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１２】
前記量子化ステップの処理では、
前記ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、前記ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、
前記２次微分情報を基に、各画素がいずれの前記量子化代表値に量子化されるかを決定する
ことを特徴とする請求項９に記載の符号化方法。
【請求項１３】
前記２次微分情報は、前記注目画素と前記周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であり、
前記量子化ステップの処理では、
前記注目画素に対応する前記２次微分情報が上に凸であることを示していた場合、前記注目画素より大きな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とし、
前記注目画素に対応する前記２次微分情報が下に凸であることを示していた場合、前記注目画素より小さな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とする
ことを特徴とする請求項１２に記載の符号化方法。
【請求項１４】
前記量子化ステップの処理では、入力された画像のデータのダイナミックレンジに適応した可変長の符号を出力する
ことを特徴とする請求項９に記載の符号化方法。
【請求項１５】
前記画像データにノイズを付加するノイズ付加ステップ
を更に含むことを特徴とする請求項９に記載の符号化方法。
【請求項１６】
複数のフレームデータからなる入力画像データにおいて、第１のフレームデータを符号化する符号化ステップと、
前記符号化ステップの処理により符号化された前記第１のフレームデータを復号して処理済フレームデータを生成する復号ステップと、
前記復号ステップの処理により生成された前記処理済フレームと、前記第１のフレームデータより時間的に１フレーム前の第２のフレームデータとの差分画像データを生成する差分画像データ生成ステップと
を更に含み、
前記ブロック分割ステップの処理により分割される前記画像データは、前記差分画像データである
ことを特徴とする請求項９に記載の符号化方法。
【請求項１７】
画像データの供給を受けて符号化する処理をコンピュータに実行させるためのプログラムであって、
前記画像データを所定数のブロックに分割するブロック分割ステップと、
前記ブロック分割ステップの処理により分割された前記ブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップと、
前記２次微分情報検出ステップの処理により検出された前記２次微分情報に基づいて、量子化結果に前記２次微分情報が保たれるように量子化を実行する量子化ステップと
を含むことを特徴とするプログラムが記録されたコンピュータにより読み取りが可能な記録媒体。
【請求項１８】
画像データの供給を受けて符号化する処理をコンピュータに実行させるためのプログラムであって、
前記画像データを所定数のブロックに分割するブロック分割ステップと、
前記ブロック分割ステップの処理により分割された前記ブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップと、
前記２次微分情報検出ステップの処理により検出された前記２次微分情報に基づいて、量子化結果に前記２次微分情報が保たれるように量子化を実行する量子化ステップと
を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
【請求項１９】
符号化画像データの供給を受けて復号する復号装置において、
注目画素と前記注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された前記符号化画像データの入力を受け、入力された前記符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出手段と、
前記検出手段により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化手段と
を備えることを特徴とする復号装置。
【請求項２０】
前記２次微分情報は、前記注目画素と前記周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報である
ことを特徴とする請求項１９に記載の復号装置。
【請求項２１】
前記逆量子化手段により得られた前記画素データに、ノイズを付加するノイズ付加手段
を更に備えることを特徴とする請求項１９に記載の復号装置。
【請求項２２】
前記逆量子化手段から出力された第１のフレームデータと、前記逆量子化手段から出力された第２のフレームデータを加算する加算手段を更に備え、
前記検出手段は、複数のフレームにより構成される前記符号化画像データの入力を受け、
前記第２のフレームデータは、前記第１のフレームデータより時間的に１フレーム前のフレームデータである
ことを特徴とする請求項１９に記載の復号装置。
【請求項２３】
フレーム内符号化された基準フレームと、他のフレームデータを用いて符号化された予測フレームとを含む複数のフレームにより構成される前記符号化画像データの入力を受けて、前記基準フレームと前記予測フレームとに分離する分離手段と、
前記分離手段により分離された前記基準フレームを復号する復号手段と、
前記逆量子化手段から出力された第１のフレームデータと、前記復号手段により復号された、または、前記逆量子化手段から出力された第２のフレームデータを加算する加算手段と
を更に備え、
前記第２のフレームデータは、前記第１のフレームデータより時間的に１フレーム前のフレームデータである
ことを特徴とする請求項１９に記載の復号装置。
【請求項２４】
符号化画像データの供給を受けて復号する復号装置の復号方法において、
注目画素と前記注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された前記符号化画像データの入力を受け、入力された前記符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出ステップと、
前記検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップと
を含むことを特徴とする復号方法。
【請求項２５】
前記２次微分情報は、前記注目画素と前記周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報である
ことを特徴とする請求項２４に記載の復号方法。
【請求項２６】
前記逆量子化ステップの処理により得られた前記画素データに、ノイズを付加するノイズ付加ステップ
を更に含むことを特徴とする請求項２４に記載の復号方法。
【請求項２７】
前記逆量子化ステップから出力された第１のフレームデータと、前記逆量子化ステップから出力された第２のフレームデータを加算する加算ステップを更に含み、
前記検出ステップの処理では、複数のフレームにより構成される前記符号化画像データの入力を受け、
前記第２のフレームデータは、前記第１のフレームデータより時間的に１フレーム前のフレームデータである
ことを特徴とする請求項２４に記載の復号方法。
【請求項２８】
フレーム内符号化された基準フレームと、他のフレームデータを用いて符号化された予測フレームとを含む複数のフレームにより構成される前記符号化画像データの入力を受けて、前記基準フレームと前記予測フレームとに分離する分離ステップと、
前記分離ステップの処理により分離された前記基準フレームを復号する復号ステップと、
前記逆量子化ステップの処理により出力される第１のフレームデータと、前記復号ステップの処理により復号された、または、前記逆量子化ステップの処理により出力された第２のフレームデータを加算する加算ステップと
を更に含み、
前記第２のフレームデータは、前記第１のフレームデータより時間的に１フレーム前のフレームデータである
ことを特徴とする請求項２４に記載の復号方法。
【請求項２９】
符号化画像データの供給を受けて復号する処理をコンピュータに実行させるためのプログラムであって、
注目画素と前記注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された前記符号化画像データの入力を受け、入力された前記符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出ステップと、
前記検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップと
を含むことを特徴とするプログラムが記録されたコンピュータにより読み取り可能な記録媒体。
【請求項３０】
符号化画像データの供給を受けて復号する処理をコンピュータに実行させるためのプログラムであって、
注目画素と前記注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された前記符号化画像データの入力を受け、入力された前記符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出ステップと、
前記検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップと
を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
【請求項３１】
符号化部および復号部を含み、前記符号化部および前記復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、前記画像データが劣化するようになされている画像処理システムにおいて、
前記符号化部は、
前記画像データを所定数のブロックに分割するブロック分割手段と、
前記ブロック分割手段により分割された前記ブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出手段と、
前記２次微分情報検出手段により検出された前記２次微分情報に基づいて、量子化結果に前記２次微分情報が保たれるように量子化を実行する量子化手段と
を備える
ことを特徴とする画像処理システム。
【請求項３２】
前記フレームデータにノイズを付加するノイズ付加手段を更に備え、
前記復号部から出力される前記画像データは、前記ノイズ付加手段により前記フレームデータにノイズが付加された後、前記符号化部に供給される
ことを特徴とする請求項３１に記載の画像処理システム。
【請求項３３】
符号化部および復号部を含み、前記符号化部および前記復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、前記画像データが劣化するようになされている画像処理システムの画像処理方法において、
前記画像データを所定数のブロックに分割するブロック分割ステップと、
前記ブロック分割ステップの処理により分割された前記ブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップと、
前記２次微分情報検出ステップの処理により検出された前記２次微分情報に基づいて、量子化結果に前記２次微分情報が保たれるように量子化を実行する量子化ステップと
を含むことを特徴とする画像処理方法。
【請求項３４】
符号化部および復号部を含み、前記符号化部および前記復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、前記画像データが劣化するようになされている画像処理システムにおいて、
前記復号部は、
前記画像データの注目画素と前記注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された符号化画像データの入力を受け、入力された前記符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出手段と、
前記検出手段により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化手段と
を備える
ことを特徴とする画像処理システム。
【請求項３５】
前記フレームデータにノイズを付加するノイズ付加手段を更に備え、
前記復号部から出力される前記画像データは、前記ノイズ付加手段により前記フレームデータにノイズが付加された後、前記符号化部に供給される
ことを特徴とする請求項３４に記載の画像処理システム。
【請求項３６】
符号化部および復号部を含み、前記符号化部および前記復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、前記画像データが劣化するようになされている画像処理システムの画像処理方法において、
注目画素と前記注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された前記符号化画像データの入力を受け、入力された前記符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出ステップと、
前記検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップと
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラムに関し、特に、アナログ信号を利用した不正コピーを防止する符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
近年、テレビ番組などのコンテンツをデジタル信号でＨＤ（ハードディスク）やＤＶＤ（Digital Versatile Disk）などの記録媒体に記録するデジタル記録再生装置が急速に普及してきている。
【０００３】
ＨＤやＤＶＤを記録媒体とするデジタル記録再生装置の普及により、視聴者であるユーザが、テレビ番組などを高品質に記録媒体に記録することが容易にできるようになった。
【０００４】
一方で、デジタル記録再生装置の普及により、ＤＶＤなどで販売されている、テレビ番組や映画などのコンテンツを不正にコピーすることが容易になるという側面もある。
【０００５】
図１は、記録媒体に記録されたコンテンツを再生し、ディスプレイに表示させるとともに、再生されたコンテンツを他の記録媒体に記録する画像処理システムの構成の一例を示している。
【０００６】
図１において、画像処理システム１は、ＤＶＤなどの光ディスク等の記録媒体に記録されたコンテンツの画像信号を再生し、その結果得られるアナログ画像信号を出力する再生装置１１、再生装置１１が出力するアナログ画像信号を画像として表示するディスプレイ１２、および、再生装置１１が出力するアナログ画像信号を利用して、光ディスク等の記録媒体に記録する記録装置１３により構成されている。
【０００７】
再生装置１１は、復号部２１とＤ／Ａ（Digital-to-Analog）変換部２２とから構成されている。復号部２１は、図示せぬ記録媒体から読み出した符号化デジタル画像信号を復号し、その結果得られるデジタル画像信号をＤ／Ａ変換部２２に供給する。Ｄ／Ａ変換部２２は、復号部２１から供給されたデジタル画像信号をアナログ信号に変換し、その結果得られるアナログ画像信号を出力する。
【０００８】
ディスプレイ１２は、例えばＣＲＴ(Cathode-Ray Tube)やＬＣＤ（Liquid Crystal Display）等で構成され、Ｄ／Ａ変換部２２からのアナログ画像信号を画像として表示する。これにより、ユーザは、記録媒体に記録されている画像信号に対応する画像を見ることができる。
【０００９】
また、再生装置１１から出力されたアナログ画像信号は、記録装置１３にも供給(入力)される。
【００１０】
記録装置１３は、Ａ／Ｄ（Analog-to-Digital）変換部３１、符号化部３２、および記録部３３により構成され、入力されるアナログ画像信号を光ディスク等の図示せぬ記録媒体に記録する。
【００１１】
Ａ／Ｄ変換部３１には、再生装置１１が出力するアナログ画像信号が入力される。Ａ／Ｄ変換部３１は、入力されたアナログ画像信号をデジタル信号に変換し、その結果得られるデジタル画像信号を符号化部３２に供給する。符号化部３２は、Ａ／Ｄ変換部３１からのデジタル画像信号を符号化し、その結果得られる符号化デジタル画像信号を記録部３３に供給する。記録部３３は、符号化デジタル画像信号を記録媒体に記録する。
【００１２】
以上のように構成される画像処理システム１では、再生装置１１から出力されたアナログ画像信号を利用して、再生された記録媒体と異なる記録媒体に画像信号を記録することができる。即ち、再生装置１１が出力するアナログ画像信号を利用して、コンテンツ（の画像信号）が、不正にコピーされるおそれがある。
【００１３】
従来、このようなアナログ画像信号を利用した不正コピーを防止するために、著作権保護がなされている場合には、アナログ画像信号をスクランブル処理して出力する、あるいはアナログ画像信号の出力を禁止することが提案されている。
【００１４】
しかしながら、アナログ画像信号をスクランブル処理して出力する、あるいはアナログ画像信号の出力を禁止する方法では、不正コピーを防止することはできるが、ディスプレイ１２に正常な画像を表示することもできなくなるという問題が発生する。
【００１５】
そこで、画像が表示されなくなることや回路規模の増大を招くこと等の不都合を発生することなく、アナログ画像信号を利用した不正コピーを防止する手法が、本出願人により提案されている（例えば、特許文献１参照）。
【００１６】
【特許文献１】２００４−２８９６８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
特許文献１に記載の手法では、アナログ画像信号をＡ／Ｄ変換することにより得られるデジタル画像信号の位相ずれなどのアナログノイズに着目し、そのデジタル画像信号に対してアナログノイズを考慮した符号化を行うことによって、コピー前の画像の質を落とさずに、良好な質を維持したままでのコピーを不可能とし、これによりアナログ画像信号を利用した不正コピーを防止するが、デジタルコンテンツの流通が一般的になっている近年においては、上述のように不正コピーを防止するための別の手法の提案が要請されている。
【００１８】
本発明は、このような状況に鑑みてなされたものであり、アナログ信号を利用した不正コピーを防止することができるようにするものである。
【課題を解決するための手段】
【００１９】
本発明の符号化装置は、画像データを所定数のブロックに分割するブロック分割手段と、ブロック分割手段により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出手段と、２次微分情報検出手段により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化手段とを備えることを特徴とする。
【００２０】
２次微分情報検出手段には、注目画素と、注目画素の周辺画素を抽出する抽出手段と、注目画素と周辺画素との画素値によって描かれる軌跡の２次微分を求める２次微分情報算出手段とを更に備えさせるようにすることができる。
【００２１】
２次微分情報は、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であるものとすることができる。
【００２２】
量子化手段には、ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定させ、２次微分情報を基に、各画素がいずれの量子化代表値に量子化されるかを決定させるようにすることができる。
【００２３】
２次微分情報は、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であるものとすることができ、量子化手段には、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とさせ、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とさせるようにすることができる。
【００２４】
量子化手段には、入力された画像のデータのダイナミックレンジに適応した可変長の符号を出力させるようにすることができる。
【００２５】
画像データにノイズを付加するノイズ付加手段を更に備えさせるようにすることができる。
【００２６】
複数のフレームデータからなる入力画像データにおいて、第１のフレームデータを符号化する符号化手段と、符号化手段により符号化された第１のフレームデータを復号して処理済フレームデータを生成する復号手段と、復号手段により生成された処理済フレームと、第１のフレームデータより時間的に１フレーム前の第２のフレームデータとの差分画像データを生成する差分画像データ生成手段とを更に備えさせるようにすることができ、ブロック分割手段に供給される画像データは、差分画像データであるものとすることができる。
【００２７】
本発明の符号化方法は、画像データを所定数のブロックに分割するブロック分割ステップと、ブロック分割ステップの処理により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップと、２次微分情報検出ステップの処理により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化ステップとを含むことを特徴とする。
【００２８】
２次微分情報検出ステップの処理には、注目画素と、注目画素の周辺画素を抽出する抽出ステップと、注目画素と周辺画素との画素値によって描かれる軌跡の２次微分を求める２次微分情報算出ステップとを更に含ませるようにすることができる。
【００２９】
２次微分情報は、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であるものとすることができる。
【００３０】
量子化ステップの処理では、ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定させ、２次微分情報を基に、各画素がいずれの量子化代表値に量子化されるかを決定させるようにすることができる。
【００３１】
２次微分情報は、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であるものとすることができ、量子化ステップの処理では、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とさせ、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とさせるようにすることができる。
【００３２】
量子化ステップの処理では、入力された画像のデータのダイナミックレンジに適応した可変長の符号を出力させるようにすることができる。
【００３３】
画像データにノイズを付加するノイズ付加ステップを更に含ませるようにすることができる。
【００３４】
複数のフレームデータからなる入力画像データにおいて、第１のフレームデータを符号化する符号化ステップと、符号化ステップの処理により符号化された第１のフレームデータを復号して処理済フレームデータを生成する復号ステップと、復号ステップの処理により生成された処理済フレームと、第１のフレームデータより時間的に１フレーム前の第２のフレームデータとの差分画像データを生成する差分画像データ生成ステップとを更に含ませるようにすることができ、ブロック分割ステップの処理により分割される画像データは、差分画像データであるものとすることができる。
【００３５】
本発明の第１の記録媒体に記録されているプログラムは、画像データを所定数のブロックに分割するブロック分割ステップと、ブロック分割ステップの処理により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップと、
２次微分情報検出ステップの処理により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化ステップとを含むことを特徴とする。
【００３６】
本発明の第１のプログラムは、画像データを所定数のブロックに分割するブロック分割ステップと、ブロック分割ステップの処理により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップと、２次微分情報検出ステップの処理により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００３７】
本発明の復号装置は、注目画素と注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出手段と、検出手段により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化手段とを備えることを特徴とする。
【００３８】
２次微分情報は、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であるものとすることができる。
【００３９】
逆量子化手段により得られた画素データに、ノイズを付加するノイズ付加手段を更に備えさせるようにすることができる。
【００４０】
逆量子化手段から出力された第１のフレームデータと、逆量子化手段から出力された第２のフレームデータを加算する加算手段を更に備えさせるようにすることができ、検出手段には、複数のフレームにより構成される符号化画像データの入力を受けさせることができ、第２のフレームデータは、第１のフレームデータより時間的に１フレーム前のフレームデータであるものとすることができる。
【００４１】
フレーム内符号化された基準フレームと、他のフレームデータを用いて符号化された予測フレームとを含む複数のフレームにより構成される符号化画像データの入力を受けて、基準フレームと予測フレームとに分離する分離手段と、分離手段により分離された基準フレームを復号する復号手段と、逆量子化手段から出力された第１のフレームデータと、復号手段により復号された、または、逆量子化手段から出力された第２のフレームデータを加算する加算手段とを更に備えさせるようにすることができ、第２のフレームデータは、第１のフレームデータより時間的に１フレーム前のフレームデータであるものとすることができる。
【００４２】
本発明の復号方法は、注目画素と注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出ステップと、検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップとを含むことを特徴とする。
【００４３】
２次微分情報は、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であるものとすることができる。
【００４４】
逆量子化ステップの処理により得られた画素データに、ノイズを付加するノイズ付加ステップを更に含ませるようにすることができる。
【００４５】
逆量子化ステップから出力された第１のフレームデータと、逆量子化ステップから出力された第２のフレームデータを加算する加算ステップを更に含ませるようにすることができ、検出ステップの処理では、複数のフレームにより構成される符号化画像データの入力を受けさせることができ、第２のフレームデータは、第１のフレームデータより時間的に１フレーム前のフレームデータであるものとすることができる。
【００４６】
フレーム内符号化された基準フレームと、他のフレームデータを用いて符号化された予測フレームとを含む複数のフレームにより構成される符号化画像データの入力を受けて、基準フレームと予測フレームとに分離する分離ステップと、分離ステップの処理により分離された基準フレームを復号する復号ステップと、逆量子化ステップの処理により出力される第１のフレームデータと、復号ステップの処理により復号された、または、逆量子化ステップの処理により出力された第２のフレームデータを加算する加算ステップとを更に含ませることができ、第２のフレームデータは、第１のフレームデータより時間的に１フレーム前のフレームデータであるものとすることができる。
【００４７】
本発明の第２の記録媒体に記録されているプログラムは、注目画素と注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出ステップと、検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップとを含むことを特徴とする。
【００４８】
本発明の第２のプログラムは、注目画素と注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出ステップと、検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップとを含むことを特徴とする。
【００４９】
本発明の第１の画像処理システムは、符号化部および復号部を含み、符号化部および復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムであって、符号化部は、画像データを所定数のブロックに分割するブロック分割手段と、ブロック分割手段により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出手段と、２次微分情報検出手段により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化手段とを備えることを特徴とする。
【００５０】
フレームデータにノイズを付加するノイズ付加手段を更に備えさせるようにすることができ、復号部から出力される画像データは、ノイズ付加手段によりフレームデータにノイズが付加された後、符号化部に供給されるものとすることができる。
【００５１】
本発明の第１の画像処理方法は、符号化部および復号部を含み、符号化部および復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムの画像処理方法であって、画像データを所定数のブロックに分割するブロック分割ステップと、ブロック分割ステップの処理により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップと、２次微分情報検出ステップの処理により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化ステップとを含むことを特徴とする。
【００５２】
本発明の第２の画像処理システムは、符号化部および復号部を含み、符号化部および復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムであって、復号部は、画像データの注目画素と注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出手段と、検出手段により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化手段とを備えることを特徴とする。
【００５３】
フレームデータにノイズを付加するノイズ付加手段を更に備えさせるようにすることができ、復号部から出力される画像データは、ノイズ付加手段によりフレームデータにノイズが付加された後、符号化部に供給されるものとすることができる。
【００５４】
本発明の第２の画像処理方法は、符号化部および復号部を含み、符号化部および復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムの画像処理方法であって、注目画素と注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出ステップと、検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップとを含むことを特徴とする。
【００５５】
本発明の符号化装置および方法、第１のプログラム、並びに、第１の画像処理システムおよび画像処理方法においては、画像データが所定数のブロックに分割され、分割されたブロックに含まれる各画素に対して、２次微分情報が検出され、２検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化が実行される。
【００５６】
本発明の復号装置および方法、第２のプログラム、並びに、第２の画像処理システムおよび画像処理方法においては、注目画素と注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードが検出され、検出された情報を基に逆量子化が実行されて、得られた画像データが出力される。
【発明の効果】
【００５７】
本発明によれば、画像データを符号化することができ、特に、２次微分情報を用いて、より簡単に、コピー前の画像データに基づいて表示される画像の画質を落とさずに、画質を維持したまま画像データをコピーすることを不可能にすることができる。
【００５８】
また、他の本発明によれば、画像データを復号することができ、特に、２次微分情報を用いて、より簡単に、コピー前の画像データに基づいて表示される画像の画質を落とさずに、画質を維持したまま画像データをコピーすることを不可能にすることができる。
【発明を実施するための最良の形態】
【００５９】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００６０】
更に、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００６１】
請求項１に記載の符号化装置（例えば、図２の符号化装置６３または符号化部８２、もしくは、図１６の符号化装置２０１または符号化部２１１）は、画像データを所定数のブロックに分割するブロック分割手段（例えば、図４または図２０のブロック分割部１０１）と、ブロック分割手段により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出手段（例えば、図４または図２０の２次微分情報判定部１０２）と、２次微分情報検出手段により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化手段（例えば、図４または図２０の量子化部１０３）とを備えることを特徴とする。
【００６２】
２次微分情報検出手段は、注目画素と、注目画素の周辺画素を抽出する抽出手段（例えば、図７の注目画素選択部１３１およびタップ抽出部１３２）と、注目画素と周辺画素との画素値によって描かれる軌跡の２次微分を求める２次微分情報算出手段（例えば、図７の判定部１３３）とを更に備えることができる。
【００６３】
量子化手段は、ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数（例えば、８ビット）を基に、ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定することができ、２次微分情報を基に、各画素がいずれの量子化代表値に量子化されるかを決定することができる。
【００６４】
画像データにノイズを付加するノイズ付加手段（例えば、図２または図１６のＡ／Ｄ変換部８１）を更に備えることができる。
【００６５】
複数のフレームデータからなる入力画像データにおいて、第１のフレームデータを符号化する符号化手段（例えば、図１８のＡＤＲＣ処理部２４２および２次微分情報保存処理部２４４）と、符号化手段により符号化された第１のフレームデータを復号して処理済フレームデータを生成する復号手段（例えば、図１８の基準フレームの復号部２４３および差分画像の復号部２４５）と、復号手段により生成された処理済フレームと、第１のフレームデータより時間的に１フレーム前の第２のフレームデータとの差分画像データを生成する差分画像データ生成手段（例えば、図１８の差分画像生成部２４６）とを更に備えることができ、ブロック分割手段に供給される画像データは、差分画像データであるものとすることができる。
【００６６】
請求項９に記載の符号化方法は、画像データの供給を受けて符号化する符号化装置（例えば、図２の符号化装置６３または符号化部８２、もしくは、図１６の符号化装置２０１または符号化部２１１）の符号化方法であって、画像データを所定数のブロックに分割するブロック分割ステップ（例えば、図１３のステップＳ１または図２４のステップＳ１１４の処理）と、ブロック分割ステップの処理により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップ（例えば、図１３のステップＳ２または図２４のステップＳ１１５の処理）と、２次微分情報検出ステップの処理により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化ステップ（例えば、図１３のステップＳ３乃至Ｓ１１または図２４のステップＳ１１６乃至Ｓ１２４の処理）とを含むことを特徴とする。
【００６７】
２次微分情報検出ステップの処理は、注目画素と、注目画素の周辺画素を抽出する抽出ステップ（例えば、図１４のステップＳ３１およびステップＳ３２の処理）と、注目画素と周辺画素との画素値によって描かれる軌跡の２次微分を求める２次微分情報算出ステップ（例えば、図１４のステップＳ３３の処理）とを更に含むことができる。
【００６８】
量子化ステップの処理では、ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数（例えば、８ビット）を基に、ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定することができ、２次微分情報を基に、各画素がいずれの量子化代表値に量子化されるかを決定することができる。
【００６９】
画像データにノイズを付加するノイズ付加ステップを更に含ませるようにすることができる。
【００７０】
複数のフレームデータからなる入力画像データにおいて、第１のフレームデータを符号化する符号化ステップ（例えば、図２３のステップＳ１０３乃至Ｓ１０９の処理）と、符号化ステップの処理により符号化された第１のフレームデータを復号して処理済フレームデータを生成する復号ステップ（例えば、図２３のステップＳ１１１の処理）と、復号ステップの処理により生成された処理済フレームと、第１のフレームデータより時間的に１フレーム前の第２のフレームデータとの差分画像データを生成する差分画像データ生成ステップ（例えば、図２４のステップＳ１１３の処理）とを更に含ませることができ、ブロック分割ステップの処理により分割される画像データは、差分画像データであるものとすることができる。
【００７１】
また、請求項１７に記載の記録媒体に記録されているプログラム、および、請求項１８に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項９に記載の符号化方法と同様である。
【００７２】
請求項１９に記載の復号装置（例えば、図２の再生機６１、復号部７１、または、復号部８４、もしくは、図１６の再生機２０２、または復号部２１２）は、注目画素と注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出手段（例えば、図１２または図２２の特徴量検出部１５１）と、検出手段により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化手段（例えば、図１２または図２２の逆量子化部１５２）とを備えることを特徴とする。
【００７３】
逆量子化手段により得られた画素データに、ノイズを付加するノイズ付加手段（例えば、図２または図１６のＤ／Ａ変換部７２またはＤ／Ａ変換部８５）を更に備えることができる。
【００７４】
逆量子化手段から出力された第１のフレームデータと、逆量子化手段から出力された第２のフレームデータを加算する加算手段（例えば、図２１の加算部２７４）を更に備えることができ、検出手段は、複数のフレームにより構成される符号化画像データの入力を受けることができ、第２のフレームデータは、第１のフレームデータより時間的に１フレーム前のフレームデータであるものとすることができる。
【００７５】
フレーム内符号化された基準フレームと、他のフレームデータを用いて符号化された予測フレームとを含む複数のフレームにより構成される符号化画像データの入力を受けて、基準フレームと予測フレームとに分離する分離手段（例えば、図２１の基準フレーム／差分画像分離部２７１）と、分離手段により分離された基準フレームを復号する復号手段（例えば、図２１のＡＤＲＣ処理の逆量子化部２７２）と、逆量子化手段から出力された第１のフレームデータと、復号手段により復号された、または、逆量子化手段から出力された第２のフレームデータを加算する加算手段（例えば、図２１の加算部２７４）とを更に備えることができ、第２のフレームデータは、第１のフレームデータより時間的に１フレーム前のフレームデータであるものとすることができる。
【００７６】
請求項２４に記載の復号方法は、符号化画像データの供給を受けて復号する復号装置（例えば、図２の再生機６１、復号部７１、または、復号部８４、もしくは、図１６の再生機２０２、または復号部２１２）の復号方法であって、注目画素と注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出ステップ（例えば、図１５のステップＳ５１または図２７のステップＳ１７６の処理）と、検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップ（例えば、図５のステップＳ５２または図２７のステップＳ１７７の処理）とを含むことを特徴とする。
【００７７】
逆量子化ステップの処理により得られた画素データに、ノイズを付加するノイズ付加ステップを更に含ませることができる。
【００７８】
逆量子化ステップから出力された第１のフレームデータと、逆量子化ステップから出力された第２のフレームデータを加算する加算ステップ（例えば、図２７のステップＳ１７９の処理）を更に含ませることができ、検出ステップの処理では、複数のフレームにより構成される符号化画像データの入力を受けることができ、第２のフレームデータは、第１のフレームデータより時間的に１フレーム前のフレームデータであるものとすることができる。
【００７９】
フレーム内符号化された基準フレームと、他のフレームデータを用いて符号化された予測フレームとを含む複数のフレームにより構成される符号化画像データの入力を受けて、基準フレームと予測フレームとに分離する分離ステップ（例えば、図２７のステップＳ１７２の処理）と、分離ステップの処理により分離された基準フレームを復号する復号ステップ（例えば、図２７のステップＳ１７３の処理）と、逆量子化ステップの処理により出力される第１のフレームデータと、復号ステップの処理により復号された、または、逆量子化ステップの処理により出力された第２のフレームデータを加算する加算ステップ（例えば、図２７のステップＳ１７９の処理）とを更に含ませることができ、第２のフレームデータは、第１のフレームデータより時間的に１フレーム前のフレームデータであるものとすることができる。
【００８０】
また、請求項２９に記載の記録媒体に記録されているプログラム、および、請求項３０に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項２４に記載の復号方法と同様である。
【００８１】
請求項３１に記載の画像処理システムは、符号化部（例えば、図２の符号化装置６３または符号化部８２、もしくは、図１６の符号化装置２０１または符号化部２１１）および復号部（例えば、図２の復号部７１または復号部８４、もしくは、図１６の再生機２０２、または復号部２１２）を含み、符号化部および復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムであって、符号化部は、画像データを所定数のブロックに分割するブロック分割手段（例えば、図４または図２０のブロック分割部１０１）と、ブロック分割手段により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出手段（例えば、図４または図２０の２次微分情報判定部１０２）と、２次微分情報検出手段により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化手段（例えば、図４または図２０の量子化部１０３）とを備えることを特徴とする。
【００８２】
フレームデータにノイズを付加するノイズ付加手段（例えば、図２または図１６のＡ／Ｄ変換部８１）を更に備えることができ、復号部から出力される画像データは、ノイズ付加手段によりフレームデータにノイズが付加された後、符号化部に供給されるものとすることができる。
【００８３】
請求項３３に記載の画像処理方法は、符号化部（例えば、図２の符号化装置６３または符号化部８２、もしくは、図１６の符号化装置２０１または符号化部２１１）および復号部（例えば、図２の復号部７１または復号部８４、もしくは、図１６の再生機２０２、または復号部２１２）を含み、符号化部および復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムの画像処理方法であって、画像データを所定数のブロックに分割するブロック分割ステップ（例えば、図１３のステップＳ１または図２４のステップＳ１１４の処理）と、ブロック分割ステップの処理により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップ（例えば、図１３のステップＳ２または図２４のステップＳ１１５の処理）と、２次微分情報検出ステップの処理により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化ステップ（例えば、図１３のステップＳ３乃至Ｓ１１または図２４のステップＳ１１６乃至Ｓ１２４の処理）とを含むことを特徴とする。
【００８４】
請求項３４に記載の画像処理システムは、符号化部（例えば、図２の符号化装置６３または符号化部８２、もしくは、図１６の符号化装置２０１または符号化部２１１）および復号部（例えば、図２の復号部７１または復号部８４、もしくは、図１６の再生機２０２、または復号部２１２）を含み、符号化部および復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムであって、復号部は、画像データの注目画素と注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出手段（例えば、図１２または図２２の特徴量検出部１５１）と、検出手段により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化手段（例えば、図１２または図２２の逆量子化部１５２）とを備えることを特徴とする。
【００８５】
フレームデータにノイズを付加するノイズ付加手段（例えば、図２または図１６のＤ／Ａ変換部７２またはＤ／Ａ変換部８５）を更に備えることができ、復号部から出力される画像データは、ノイズ付加手段によりフレームデータにノイズが付加された後、符号化部に供給されるものとすることができる。
【００８６】
請求項３６に記載の画像処理方法は、符号化部（例えば、図２の符号化装置６３または符号化部８２、もしくは、図１６の符号化装置２０１または符号化部２１１）および復号部（例えば、図２の復号部７１または復号部８４、もしくは、図１６の再生機２０２、または復号部２１２）を含み、符号化部および復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムの画像処理方法であって、注目画素と注目画素の周辺画素との画素値の変化の程度を示す２次微分情報を基に符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化コードを検出する検出ステップ（例えば、図１５のステップＳ５１または図２７のステップＳ１７６の処理）と、検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップ（例えば、図５のステップＳ５２または図２７のステップＳ１７７の処理）とを含むことを特徴とする。
【００８７】
以下、図を参照して、本発明の実施の形態について説明する。
【００８８】
図２は、本発明を適用した画像表示システム５１の構成を示すブロック図である。
【００８９】
この画像表示システム５１は、アナログの画像データを出力する再生機６１と、再生機６１から出力される画像データによる画像を表示するディスプレイ６２と、再生機６１から出力されるアナログ画像データを符号化する符号化装置６３により構成されている。
【００９０】
再生機６１は、復号部７１およびＤ／Ａ（Digital-to-Analog）変換部７２を備えている。復号部７１は、図示しない光ディスク等の記録媒体から再生された、符号化されている画像データを復号し、Ｄ／Ａ変換部７２に供給する。Ｄ／Ａ変換部７２は、復号されて得られたデジタルの画像データをアナログの画像データに変換し、アナログの画像データを出力する。ディスプレイ６２は、例えばＣＲＴ（Cathode-Ray Tube）ディスプレイ、ＬＣＤ（Liquid Crystal Display）等で構成され、供給されたアナログ画像データを表示する。
【００９１】
符号化装置６３は、Ａ／Ｄ（Analog-to-Digital）変換部８１、符号化部８２、記録部８３、復号部８４、Ｄ／Ａ変換部８５、および、ディスプレイ８６で構成され、主に、静止画像データ、または、他のフレーム画像データを用いた符号化処理（例えば、フレーム間予測符号化など）を行わない動画像データに対して、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような処理を施すことができるように構成されている。Ａ／Ｄ変換部８１は、再生機６１より出力されるアナログの画像データを、Ａ／Ｄ変換し、符号化部８２に供給する。符号化部８２は、デジタルの画像データを符号化し、記録部８３および復号部８４に供給する。記録部８３は、供給されたデジタルの符号化画像データを、光ディスク等の記録媒体に記録する。復号部８４は、供給されたデジタルの符号化画像データを復号し、Ｄ／Ａ変換部８５に供給する。Ｄ／Ａ変換部８５は、復号されて得られたデジタルの画像データをアナログデータに変換し、アナログの画像データをディスプレイ８６に出力する。ディスプレイ８６は、例えばＣＲＴディスプレイ、ＬＣＤ等で構成され、供給されたアナログ画像データを表示する。
【００９２】
ところで、Ｄ／Ａ変換部７２においてデジタルの画像データをＤ／Ａ変換するとき、Ａ／Ｄ変換部８１においてアナログの画像データをＡ／Ｄ変換するとき、および、Ｄ／Ａ変換部８５においてデジタルの画像データをＤ／Ａ変換するとき、その変換処理において、高周波成分の歪みや位相ずれなどが生じる。すなわち、高周波成分の歪みや位相ずれなどが、画像データに付加される。この高周波成分の歪みや位相ずれなどは、アナログノイズとも称される。
【００９３】
このアナログノイズのうち、高周波成分の歪みは、主にホワイトノイズと呼ばれるノイズに起因するものである。
【００９４】
図３を参照して、ホワイトノイズに起因する高周波成分の歪みについて説明する。
【００９５】
Ｄ／Ａ変換部７２、および、Ｄ／Ａ変換部８５において、デジタルの画像データがアナログの画像データに変換される過程で、または、Ａ／Ｄ変換部８１において、アナログの画像データがデジタルの画像データに変換される過程において、周波数成分がほぼ均一なホワイトノイズが画像データに付加される。ホワイトノイズのレベルは、時系列でランダムに変化し、その分布はほぼ正規分布に従う。すなわち、各画素に対応するアナログの画像データに付加されるホワイトノイズのレベルはランダムに変化する。
【００９６】
したがって、例えば、復号部７１から出力されるデジタル画像データにおいて、水平方向と垂直方向に整列して位置する画素のうちの所定の１ラインに含まれる複数の画素の画素値が、図３Ａに示されるように、同一の画素値を有していたとしても、Ｄ／Ａ変換部７２よりＤ／Ａ変換されて伝送され、更に、Ａ／Ｄ変換部８１によりＡ／Ｄ変換された後のデジタルの画像データのうち、上述した１ラインに含まれる複数の画素（変換前は同一の画素値を有していた画素）の画素値は、図３Ｂに示されるように、もとの値を中心値としたある程度の範囲内に分散された値となってしまう。これらの分散された値と、もとの値との差異は乱数で表現される性質のものであり、一律に決まるものではない。その結果、画像データに高周波成分の歪みが生じる。また、水平方向だけでなく、垂直方向にも同様に高周波成分の歪みが生じる。なお、各画素に付加されるホワイトノイズのレベルの散らばり具合によっては、高周波成分以外の成分の歪みが生じる場合もある。
【００９７】
このように、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５においては、デジタルの画像データがアナログの画像データに変換される過程において、水平方向と垂直方向の２次元に、データの歪みが生じてしまう。
【００９８】
なお、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５は、それぞれ、デジタルの画像データがアナログの画像データに変換される過程において、または、アナログの画像データがデジタルの画像データに変換される過程において、上述したホワイトノイズなどを必ず付加するようにしても良い。また、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５は、上述したホワイトノイズに代わって、例えば、ピンクノイズなど、不均一な周波数特性を有するノイズ成分を出力されるデータに付加するようにしても良い。
【００９９】
更に、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分を含む、上述したアナログノイズは、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５において実行される変換処理時以外にも、Ｄ／Ａ変換部７２からＡ／Ｄ変換部８１へアナログの画像データを伝送する際に、アナログの画像データに付加される場合もある。
【０１００】
また、Ｄ／Ａ変換部７２は復号部７１と、Ａ／Ｄ変換部８１は、符号化部８２と、Ｄ／Ａ変換部８５は復号部８４と、それぞれ、１つの構成要素として構成とするようにしても良い。
【０１０１】
また、図２の再生機６１および符号化装置６３を構成する各部は、それぞれ、独立した装置として構成するようにしても良い。すなわち、例えば、Ｄ／Ａ変換部７２と復号部７１とをそれぞれ独立した装置として構成したり、２つの構成要素を持つ１つの装置として構成しても良い。また、符号化部８２や復号部８４をそれぞれ独立した装置として構成したり、Ａ／Ｄ変換部８１と符号化部８２との２つの構成要素を持つ１つの装置として構成したり、Ｄ／Ａ変換部８５と復号部８４との２つの構成要素を持つ１つの装置として構成するようにしてもよい。
【０１０２】
図２を用いて説明した、本発明を適用した画像表示システム５１の符号化装置６３においては、主に、静止画像データ、または、他のフレーム画像データを用いた符号化処理を行わない動画像データに対して、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような符号化および復号が行われるような構成となっている。
【０１０３】
図４は、符号化装置６３の符号化部８２の更に詳細な構成を示すブロック図である。
【０１０４】
ブロック分割部１０１は、供給されたデジタルの画像データを、所定の大きさのブロックに分割し、デジタルの画像データの各画素の画素値を、ブロック単位で２次微分情報判定部１０２に供給する。
【０１０５】
２次微分情報判定部１０２は、各画素の２次微分情報（注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、「上に凸」であるか「下に凸」であるかという情報）を求めて、各画素の２次微分情報とブロック単位の画素値を、量子化部１０３に供給する。２次微分情報判定部１０２が実行する各画素の２次微分情報の取得処理についての詳細は、後述する。
【０１０６】
量子化部１０３は、供給された各画素の２次微分情報とブロック単位の画素値を基に、量子化後も２次微分情報が保たれるように量子化を行い、量子化データとして、各ブロックの最小値、各ブロックのダイナミックレンジ、および、各画素の量子化コードを出力する。
【０１０７】
量子化部１０３により実行される量子化は、２次微分情報判定部１０２から供給された各画素の２次微分情報とブロック単位の画素値を基に、ＡＤＲＣ（Adaptive Dynamic Range Coding）を基本とした方法で実行される。
【０１０８】
ＡＤＲＣとは、入力された画像のデータのダイナミックレンジに適応した可変長の符号を出力する可変長符号化方式であり、画像のデータは、複数の画素からなるブロックに分割された後、それらのブロックごとに、各ブロックに含まれる画素値の最大値および最小値の差であるダイナミックレンジが検出されて、ブロックのダイナミックレンジを基に、各画素値を元の量子化ビット数（例えば、８ビット）よりも少ないビット数で量子化されるものである。具体的には、図５に示されるように、ダイナミックレンジを基に定められる量子化ビット数で、ブロック内の最大値と最小値との間の画素値が等間隔（例えば、図５中、三角印で示される値）に分割され、各画素の画素値が、最も近い量子化代表値とされることにより、量子化が実行される。ＡＤＲＣ方式を適用した場合、ブロックにおけるダイナミックレンジが小さいほど、少ないビット数で量子化することができ、量子化ひずみの増大を抑えつつ、画素の画素値の冗長度のみを除去して、更にデータ量を少なくすることが可能である。
【０１０９】
これに対して、符号化部８２において実行される符号化処理は、図５を用いて説明したＡＤＲＣと同様に、入力された画像のデータのダイナミックレンジに適応した可変長の符号を出力する可変長符号化方式であり、画像のデータは、ブロック分割部１０１において複数の画素からなるブロックに分割された後、それらのブロックごとに、各ブロックに含まれる画素値の最大値および最小値の差であるダイナミックレンジが検出されて、ブロックのダイナミックレンジを基に、各画素値が元の量子化ビット数（例えば、８ビット）よりも少ないビット数で量子化されるものである。しかしながら、符号化部８２において実行される符号化処理において、量子化部１０３は、図５を用いて説明したＡＤＲＣのように、各画素の画素値が最も近い量子化代表値とすることにより、量子化を実行するのではなく、２次微分情報判定部１０２により求められたそれぞれの画素の周辺画素に対する２次微分情報が正の値であるか負の値であるか、すなわち、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、「上に凸」であるか「下に凸」であるかを基に、量子化を実行する。
【０１１０】
すなわち、量子化部１０３においては、図６に示されるように、ブロック内の各画素について、上に凸ならば、注目画素より大きな量子化代表値のうち一番近い値が、注目画素の量子化代表値とされ、下に凸ならば、注目画素より小さな量子化代表値のうち一番近い値が、注目画素の量子化代表値とされる。
【０１１１】
これにより、量子化部１０３により実行される量子化結果は、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、「上に凸」であるか「下に凸」であるかという２次微分情報が反映されたものとなる。
【０１１２】
図７は、図４の２次微分情報判定部１０２の更に詳細な構成を示すブロック図である。
【０１１３】
２次微分情報判定部１０２は、注目画素選択部１３１、タップ抽出部１３２、および、判定部１３３により構成されている。
【０１１４】
注目画素選択部１３１は、入力された各ブロックの画素値から注目画素を選択し、注目画素の画素位置をタップ抽出部１３２に出力するとともに、注目画素の画素値を判定部１３３に出力する。
【０１１５】
タップ抽出部１３２は、注目画素選択部１３１から供給された注目画素の位置を基に、２次微分情報の判定を行うための周辺画素を選択し、その画素値と位置情報を判定部１３３に出力する。
【０１１６】
判定部１３３は、注目画素の画素値と周辺画素の画素値を用いて、２次微分情報（すなわち、上に凸であるか、または、下に凸であるか）を求め、各画素の２次微分情報とブロック単位の各画素の画素値を、量子化部１０３に供給する。
【０１１７】
具体的には、ブロック内の注目画素の位置によって、タップ抽出部１３２により抽出される周辺画素の取り扱いが異なり、更に、周辺画素の取り扱いとともに、２次微分情報の求め方も異なる。
【０１１８】
まず、図８を参照して、ブロック内の図中の点線で囲まれた範囲にある画素、すなわち、ブロックにおいて端部ではなく、その上下左右にブロック内の他の画素が位置している画素が注目画素である場合の周辺画素の選択と２次微分情報の算出について説明する。
【０１１９】
タップ抽出部１３２は、注目画素選択部１３１により選択された注目画素値をＬｃとして、注目画素の上側の隣接画素値をＬｕ、下側の隣接画素値をＬｄ、右側の隣接画素値をＬｒ、左側の隣接画素値をＬｌとして、タップを抽出する。判定部１３３は、各画素の２次微分情報(「上に凸」か「下に凸」かという情報)を求めるにあたって、縦軸を画素値、横軸を相対的な画素位置として、画素値Ｌｌと画素値Ｌｒとを結ぶ直線Ｆｌr、および、画素値Ｌｕと画素値Ｌｄとを結ぶ直線Ｆｕｄに対して、画素値Ｌｃが、直線Ｆｌrよりも大きく、かつ、直線Ｆｕｄよりも大きいとき、この画素に対する２次微分情報は、「上に凸」であるものとし、画素値Ｌｃが、直線Ｆｌrよりも小さく、かつ、直線Ｆｕｄよりも小さいとき、この画素に対する２次微分情報は、「下に凸」であるものとする。
【０１２０】
また、判定部１３３は、同様にして、各画素の２次微分情報(「上に凸」か「下に凸」かという情報)を求めるにあたって、縦軸を画素値、横軸を相対的な画素位置として、画素値Ｌｌと画素値Ｌｒとを結ぶ直線Ｆｌr、および、画素値Ｌｕと画素値Ｌｄとを結ぶ直線Ｆｕｄに対して、画素値Ｌｃが、直線Ｆｌrよりも大きく、かつ、直線Ｆｕｄよりも小さいとき、「点Ｌｃと直線Ｆｌｒとの距離＞点Ｌｃと直線Ｆｕｄとの距離」のであれば「上に凸」であるものとし、「点Ｌｃと直線Ｆｌｒとの距離＜点Ｌｃと直線Ｆｕｄとの距離」であれば「下に凸」であるものとし、画素値Ｌｃが、直線Ｆｌrよりも小さく、かつ、直線Ｆｕｄよりも大きいとき、「点Ｌｃと直線Ｆｌｒとの距離＞点Ｌｃと直線Ｆｕｄとの距離」であれば「下に凸」であるものとし、「点Ｌｃと直線Ｆｌｒとの距離＜点Ｌｃと直線Ｆｕｄとの距離」であれば「上に凸」であるものとする。
【０１２１】
次に、図９を参照して、ブロック内の図中の点線で囲まれた範囲にある画素、すなわち、ブロックにおいて、角の位置を除いた端部であり、その左右にブロック内の他の画素が位置しているが、その上下のいずれかの画素はブロック内に存在しない画素が注目画素である場合の周辺画素の選択と２次微分情報の算出について説明する。
【０１２２】
タップ抽出部１３２は、注目画素選択部１３１により選択された注目画素値をＬｃとし、右側の隣接画素値をＬｒ、左側の隣接画素値をＬｌとして、タップを抽出する。判定部１３３は、各画素の２次微分情報(「上に凸」か「下に凸」かという情報)を求めるにあたって、縦軸を画素値、横軸を相対的な画素位置として、画素値Ｌｌと画素値Ｌｒとを結ぶ直線Ｆｌrに対して、画素値Ｌｃが、直線Ｆｌrよりも大きいとき、この画素に対する２次微分情報は、「上に凸」であるものとし、直線Ｆｌrに対して、画素値Ｌｃが、直線Ｆｌrよりも小さいとき、この画素に対する２次微分情報は、「下に凸」であるものとする。
【０１２３】
次に、図１０を参照して、ブロック内の図中の点線で囲まれた範囲にある画素、すなわち、ブロックにおいて、角の位置を除いた端部であり、その上下にブロック内の他の画素が位置しているが、その左右のいずれかの画素はブロック内に存在しない画素が注目画素である場合の周辺画素の選択と２次微分情報の算出について説明する。
【０１２４】
タップ抽出部１３２は、注目画素選択部１３１により選択された注目画素値をＬｃとし、上側の隣接画素値をＬｕ、下側の隣接画素値をＬｄとして、タップを抽出する。判定部１３３は、各画素の２次微分情報(「上に凸」か「下に凸」かという情報)を求めるにあたって、縦軸を画素値、横軸を相対的な画素位置として、画素値Ｌｕと画素値Ｌｄとを結ぶ直線Ｆｕｄに対して、画素値Ｌｃが、直線Ｆｕｄよりも大きいとき、この画素に対する２次微分情報は、「上に凸」であるものとし、直線Ｆｕｄに対して、画素値Ｌｃが、直線Ｆｕｄよりも小さいとき、この画素に対する２次微分情報は、「下に凸」であるものとする。
【０１２５】
また、図１１に示されるように、注目画素選択部１３１により選択された注目画素が、ブロック内の図中の点線で囲まれた範囲にある画素、すなわち、ブロックにおいて、角の位置にある画素が注目画素となった場合、２次微分情報判定部１０２は、画素の２次微分情報(「上に凸」か「下に凸」かという情報)の判定を実行しない。
【０１２６】
なお、図８乃至図１１においては、ブロック分割部１０１において実行されるブロック分割が、８×８のブロック単位で実行される場合について説明しているが、ブロック分割部１０１において実行されるブロック分割は、８×８以外のいかなる単位で行われるものであっても良く、２次微分情報判定部１０２は、上述した場合と同様にして、各画素の２次微分情報を求めるようにすることができる。
【０１２７】
また、ここでは、注目画素に対して、その上下左右に隣接して位置する１つの画素の画素値を基に、画素の２次微分情報(「上に凸」か「下に凸」かという情報)の判定を実行するものとして説明しているが、画素の２次微分情報は、注目画素に対して、その上下左右に隣接して位置する画素以外の、注目画素の周辺の所定の画素を基に求めるようにしても良い。具体的には、画素の２次微分情報は、例えば、注目画素に対して、斜めの位置に位置する画素や、その上下左右に１つの画素を挟んで位置する画素など、上下左右に隣接して位置する画素以外の位置の１つの画素の画素値を基に求めるようにしても良く、また、例えば、注目画素に対して、その上下左右または斜めに隣接して位置する２つ以上の所定の数の画素の画素値を基に求めるようにしても良い。
【０１２８】
このようにして、２次微分情報に基づいて符号化された画像データは、図２に示される記録部８３に供給されて記録されるか、または、復号部８４に供給されて、復号され、Ｄ／Ａ変換部８５に供給されて、アナログデータに変換された後、ディスプレイ８６に供給されて、表示される。
【０１２９】
次に、図１２は、図２の復号部７１および復号部８４の更に詳細な構成を示すブロック図である。
【０１３０】
復号部８４は、特徴量検出部１５１および逆量子化部１５２により構成される。
【０１３１】
特徴量検出部１５１は、供給された符号化画像データの各ブロックの最小値とダイナミックレンジを検出する。そして、特徴量検出部１５１は、各ブロックの最小値とダイナミックレンジ、および、量子化コードを、逆量子化部１５２に供給する。
【０１３２】
逆量子化部１５２は、供給された情報を基にＡＤＲＣの逆量子化を実行して復号部８４に供給された符号化画像データを画素値に復号し、得られた画像データを出力する。
【０１３３】
復号部７１により復号されて得られた画像データは、図２に示されるＤ／Ａ変換部７２に供給されて、アナログデータに変換された後、ディスプレイ６２に供給されて表示されたり、符号化部６３に供給される。また、復号部８４により復号されて得られた画像データは、図２に示されるＤ／Ａ変換部８５に供給されて、アナログデータに変換された後、ディスプレイ８６に供給されて、表示される。
【０１３４】
次に、図１３のフローチャートを参照して、符号化部８２が実行する符号化処理１について説明する。
【０１３５】
ステップＳ１において、ブロック分割部１０１は、供給された画像データを、所定のブロックに分割し、２次微分情報判定部１０２に供給する。
【０１３６】
このとき供給されたデジタルの画像データは、再生機６１の復号部７１で復号され、Ｄ／Ａ変換部７２でアナログデータに変換されて、Ｄ／Ａ変換部７２からＡ／Ｄ変換部８１へアナログの画像データが伝送されて、Ａ／Ｄ変換部８１において、デジタルの画像データに変換されたものである。したがって、ステップＳ１において、ブロック分割部１０１に供給されたデジタルの画像データには、Ｄ／Ａ変換部７２またはＡ／Ｄ変換部８１のデータ変換処理の過程で、または、その間の伝送路上で、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分を含むアナログノイズが付加されている。
【０１３７】
なお、上述したように、Ｄ／Ａ変換部７２またはＡ／Ｄ変換部８１において、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分が積極的に付加されている場合もある。そのような場合、ステップＳ１の前の段階において、Ａ／Ｄ変換部８１は、供給されたアナログの画像データをデジタルの画像データに変換するとともに、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分を付加する処理を実行し、ノイズ成分が付加されたデジタルの画像データを、符号化部８２に供給する。
【０１３８】
ステップＳ２において、図１４のフローチャートを用いて後述する２次微分情報検出処理が実行される。
【０１３９】
ステップＳ３において、量子化部１０３は、２次微分情報判定部１０２から供給された、ブロック内の画素値を基に、各ブロックに含まれる画素値の最大値および最小値の差であるダイナミックレンジを検出する。
【０１４０】
ステップＳ４において、量子化部１０３は、ステップＳ３において検出されたそれぞれのブロックのダイナミックレンジを基に定められる量子化ビット数で、ブロック内の最大値と最小値との間の画素値を等間隔に分割し、それぞれのブロックにおける量子化代表値を決定する。
【０１４１】
ステップＳ５において、量子化部１０３は、すべてのブロックの処理が終了したか否かを判断する。ステップＳ５において、すべてのブロックの処理が終了したと判断された場合、処理は、後述するステップＳ１２に進む。
【０１４２】
ステップＳ５において、すべてのブロックの処理が終了していないと判断された場合、ステップＳ６において、量子化部１０３は、２次微分情報判定部１０２から供給された情報から、ブロック内の未処理の画素、すなわち、以下の処理における注目画素の画素値と２次微分情報を取得する。
【０１４３】
ステップＳ７において、量子化部１０３は、注目画素の２次微分情報は、上に凸であるか否かを判断する。
【０１４４】
ステップＳ７において、注目画素の２次微分情報は、上に凸であると判断された場合、ステップＳ８において、量子化部１０３は、注目画素より大きな量子化代表値のうち一番近い値を対応する画素の量子化代表値とし、処理は、ステップＳ１０に進む。
【０１４５】
ステップＳ７において、注目画素の２次微分情報は、上に凸ではない、すなわち、下に凸であると判断された場合、ステップＳ９において、量子化部１０３は、注目画素より小さな量子化代表値のうち一番近い値を対応する画素の量子化代表値とする。
【０１４６】
ステップＳ８またはステップＳ９の処理の終了後、ステップＳ１０において、量子化部１０３は、量子化代表値を量子化コードに変換する。
【０１４７】
ステップＳ１１において、量子化部１０３は、ブロック内のすべての画素の量子化コードが得られたか否かを判断する。
【０１４８】
ステップＳ１１において、ブロック内のすべての画素の量子化コードが得られていないと判断された場合、処理は、ステップＳ６に戻り、それ以降の処理が繰り返される。ステップＳ１１において、ブロック内のすべての画素の量子化コードが得られたと判断された場合、処理は、ステップＳ５に戻り、それ以降の処理が繰り返される。
【０１４９】
ステップＳ５において、すべてのブロックの処理が終了したと判断された場合、ステップＳ１２において、量子化部１０３は、各ブロックの最小値、ダイナミックレンジ、および、量子化コードを、量子化データとして出力し、処理が終了される。
【０１５０】
このような処理により、２次微分情報を用いて、画像データが符号化される。
【０１５１】
次に、図１４のフローチャートを参照して、図１３のステップＳ２において実行される２次微分情報検出処理について説明する。
【０１５２】
ステップＳ３１において、２次微分情報判定部１０２は、ブロック分割部１０１から供給されたデジタル画像データから、注目画素の情報を取得する。
【０１５３】
ステップＳ３２において、２次微分情報判定部１０２は、図８乃至図１１を用いて説明したように、ブロック内の位置にしたがって、注目画素の周辺の画素のうち、２次微分情報を求めるための画素を選択する。
【０１５４】
ステップＳ３３において、２次微分情報判定部１０２は、注目画素、および、ステップＳ３２において取得された２次微分情報を求めるための周辺画素の画素値を基に、注目画素に対応する２次微分情報、すなわち、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、「上に凸」であるか「下に凸」であるかを求める。
【０１５５】
ステップＳ３４において、２次微分情報判定部１０２は、すべての画素の処理が終了したか否かを判断する。ステップＳ３４において、すべての画素の処理が終了していないと判断された場合、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。ステップＳ３４において、すべての画素の処理が終了したと判断された場合、処理は、図１３のステップＳ２に戻り、ステップＳ３に進む。
【０１５６】
このような処理により、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、「上に凸」であるか「下に凸」であるかを示す２次微分情報が取得される。
【０１５７】
次に、図１５のフローチャートを参照して、復号部７１または復号部８４が実行する復号処理１について説明する。
【０１５８】
ステップＳ５１において、特徴量検出部１５１は、供給された符号化画像データから、各ブロックの最小値とダイナミックレンジを検出し、逆量子化部１５２に供給する。
【０１５９】
ステップＳ５２において、逆量子化部１５２は、特徴量検出部１５１から供給された各ブロックの最小値とダイナミックレンジを基に、ＡＤＲＣの逆量子化を実行し、処理が終了される。
【０１６０】
このような処理により、図１３および図１４を用いて説明した処理により符号化された画像データが復号される。
【０１６１】
このとき復号部７１または復号部８４から、復号されて出力されるデジタルの画像データは、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５でアナログデータに変換されて、伝送されたり、ディスプレイ６２またはディスプレイ８６に供給されて表示される。したがって、ステップＳ５２において出力されるデジタルの画像データには、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５のデータ変換処理の過程で、または、その伝送路上で、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分を含むアナログノイズが付加される。
【０１６２】
なお、上述したように、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５において、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分が積極的に付加される場合もある。そのような場合、ステップＳ５２の次のステップとして、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５は、供給されたデジタルの画像データをアナログの画像データに変換するとともに、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分を付加する処理を実行し、ノイズ成分が付加されたアナログの画像データを出力して外部装置に供給したり、ディスプレイ８６またはディスプレイ８６に供給して、対応する画像を表示させる。
【０１６３】
上述したように、図２を用いて説明した、本発明を適用した画像表示システム５１の符号化装置６３においては、特に、静止画像データ、または、フレーム間予測符号化など、他のフレーム画像データを用いた符号化処理を行わない動画像データに対して、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるようなフレーム単位の画像の符号化および復号が行われるような構成となっている。
【０１６４】
次に、図１６を参照して、動画像データにおいて、他のフレーム画像データを用いて符号化処理および復号処理を行うことができるようにするとともに、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような符号化および復号が行われるようになされている、本発明を適用した画像表示システム１８１について説明する。
【０１６５】
なお、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１６６】
すなわち、再生機２０２は、復号部７１に代わって復号部２１２が設けられている以外は、図２の再生機６１と基本的に同様の構成を有し、符号化装置２０１は、符号化部８２に代わって符号化部２１１が設けられ、復号部８４に代わって復号部２１２が設けられている以外は、図２の符号化装置６３と基本的に同様の構成を有している。
【０１６７】
符号化部２１１は、図１７に示されるように、ある一定の間隔、または、任意の間隔で設定される基準フレームをフレーム内符号化（例えば、ＡＤＲＣなど）するとともに、それ以外のフレームは、１つ前のフレームとの差分を、上述した２次微分情報を用いて符号化することができるようになされている。
【０１６８】
そして、復号部２１２は、基準フレームはフレーム内符号化され、それ以外のフレームは１つ前のフレームとの差分が２次微分情報を用いて符号化された符号化データの供給を受け、これを復号することができるようになされている。
【０１６９】
また、図２を用いて説明した場合と同様に、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５においては、デジタルの画像データがアナログの画像データに変換されたり、アナログの画像データがデジタルの画像データに変換されるので、その過程において、水平方向と垂直方向の２次元に、データの歪みが生じてしまう。
【０１７０】
なお、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５は、それぞれ、デジタルの画像データがアナログの画像データに変換される過程において、または、アナログの画像データがデジタルの画像データに変換される過程において、上述したホワイトノイズなどを必ず付加するようにしても良い。また、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５は、上述したホワイトノイズに代わって、例えば、ピンクノイズなど、不均一な周波数特性を有するノイズ成分を出力されるデータに付加するようにしても良い。
【０１７１】
更に、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分を含むアナログノイズは、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５において実行される変換処理時以外にも、Ｄ／Ａ変換部７２からＡ／Ｄ変換部８１へアナログの画像データを伝送する際に、アナログの画像データに付加される場合もある。
【０１７２】
また、Ｄ／Ａ変換部７２は復号部２１２と、Ａ／Ｄ変換部８１は、符号化部２１１と、Ｄ／Ａ変換部８５は復号部２１２と、それぞれ、１つの構成要素として構成とするようにしても良い。
【０１７３】
また、図１６の再生機２０２および符号化装置２０１を構成する各部は、それぞれ、独立した装置として構成するようにしても良い。すなわち、例えば、Ｄ／Ａ変換部７２と復号部２１２とをそれぞれ独立した装置として構成したり、２つの構成要素を持つ１つの装置として構成しても良い。また、符号化部２１１や復号部２１２をそれぞれ独立した装置として構成したり、Ａ／Ｄ変換部８１と符号化部２１１との２つの構成要素を持つ１つの装置として構成したり、Ｄ／Ａ変換部８５と復号部２１２との２つの構成要素を持つ１つの装置として構成するようにしてもよい。
【０１７４】
図１８は、図１６の符号化部２１１の更に詳細な構成を示すブロック図である。
【０１７５】
基準フレーム導出部２４１は、供給されたフレームデータを基準フレームとその他のフレームに分け、基準フレームをＡＤＲＣ処理部２４２に供給し、その他のフレームを差分画像生成部２４６に供給する。
【０１７６】
ＡＤＲＣ処理部２４２は、基準フレームに対してＡＤＲＣ処理を行い、基準フレームであることを示すフラグ情報、各ブロックの最小値、各ブロックのダイナミックレンジ、および、量子化コードを、量子化データとして出力するとともに、基準フレームの復号部２４３に供給する。
【０１７７】
基準フレームの復号部２４３は、ＡＤＲＣ処理部２４２から供給された基準フレームの量子化コードに対して、ＡＤＲＣの逆量子化を行い、復号後の画像データを差分画像生成部２４６に供給する。
【０１７８】
差分画像生成部２４６は、連続する２つのフレームの差分画像を生成するが、このとき、１つ前のフレームは、一旦符号化された後復号されて得られるフレーム画像データである。      
【０１７９】
図１９を用いて、差分画像生成部２４６の具体的な処理について説明する。
【０１８０】
基準フレームは、図１７に示したようにある一定の間隔、または、任意の間隔で設定される。
【０１８１】
差分画像生成部２４６は、基準フレームとその次のフレームとの差分画像を生成する場合、基準フレームの復号部２４３から供給される、一旦符号化された後復号されて得られた基準フレームの生成画像０と、基準フレーム導出部２４１から供給される基準フレームの次のフレーム（基準フレーム＋１フレーム）とを用いて差分画像１を生成し、生成された差分画像を２次微分情報保存処理部２４４に供給する。
【０１８２】
そして、差分画像生成部２４６は、基準フレーム以外のフレームとその次のフレームとの差分画像を生成する場合、後述する差分画像の復号部２４５から供給される、差分画像を一旦符号化した後復号されて得られる生成画像（生成画像１、生成画像２・・・）と、基準フレーム導出部２４１から供給される次のフレーム（基準フレーム＋２フレーム以降）とを用いて差分画像２以降を生成し、生成された差分画像を２次微分情報保存処理部２４４に供給する。
【０１８３】
２次微分情報保存処理部２４４は、供給された差分画像データを符号化し、出力するとともに、差分画像の復号部２４５に供給する。
【０１８４】
２次微分情報保存処理部２４４の更に詳細な構成は、図２０に示されるように、図４を用いて説明した符号化部８２と基本的に同一であり、図４を用いて説明した符号化部８２と同様の処理が実行される。
【０１８５】
差分画像の復号部２４５は、２次微分情報保存処理部２４４から供給された符号化データを復号し、差分画像生成部２４６に供給する。
【０１８６】
図２１は、図１６の復号部２１２の更に詳細な構成を示すブロック図である。
【０１８７】
基準フレーム／差分画像分離部２７１は、入力された量子化データに基準フレームであることを示すフラグがあるか否かを基に、基準フレームのデータと差分画像の量子化データを分離し、基準フレームの量子化データをＡＤＲＣ処理の逆量子化部２７２に供給し、差分画像の量子化データは２次微分情報逆量子化部２７３に供給する。
【０１８８】
ＡＤＲＣ処理の逆量子化部２７２は、ＡＤＲＣの逆量子化を行い、生成された画像を出力するとともに、加算部２７４に供給する。
【０１８９】
２次微分情報逆量子化部２７３は、供給された差分画像の量子化データを逆量子化し、生成された差分画像を加算部２７４に供給する。
【０１９０】
２次微分情報逆量子化部２７３の更に詳細な構成は、図２２に示されるように、図１２を用いて説明した復号部７１または復号部８４と基本的に同一であり、図１２を用いて説明した復号部７１または復号部８４と同様の処理が実行される。
【０１９１】
加算部２７４は、生成された逆量子化データと、一つ前の復号画像を加算することにより、復号画像を生成して出力するとともに、次の逆量子化データを生成するために、生成された復号画像を復号画像保存部２７５に供給する。
【０１９２】
加算部２７４は、ＡＤＲＣ処理の逆量子化部２７２から供給された基準フレームの復号画像に、２次微分情報逆量子化部２７３から供給された差分画像の復号画像を加算して、基準フレームの次のフレームの差分画像の復号画像を生成するとともに、復号画像保存部２７５に生成された復号画像を供給する。また、加算部２７４は、復号画像保存部２７５から供給された１フレーム前の復号された画像に、２次微分情報逆量子化部２７３から供給された差分画像の復号画像を加算して、基準フレームおよび基準フレームの次のフレームの差分画像の復号画像を生成するとともに、復号画像保存部２７５に生成された復号画像を供給する。
【０１９３】
復号画像保存部２７５は、加算部２７４から供給された復号画像データを一時保存し、次のフレームの復号処理が開始されたとき、保存されている復号画像を加算部２７４に供給する。
【０１９４】
次に、図２３乃至図２５のフローチャートを参照して、符号化部２１１が実行する符号化処理２について説明する。
【０１９５】
ステップＳ１０１において、基準フレーム導出部２４１は、供給されたフレーム画像データに基準フレームであることを示すフラグがあるか否かを基に、供給されたフレーム画像データが基準フレームであるか、その他のフレームであるかを決定する。
【０１９６】
ステップＳ１０２において、基準フレーム導出部２４１は、供給されたフレーム画像データは基準フレームであるか否かを判断する。ステップＳ１０２において、供給されたフレーム画像データは基準フレームではないと判断された場合、処理は、後述するステップＳ１１３に進む。
【０１９７】
ステップＳ１０２において、供給されたフレーム画像データは基準フレームであると判断された場合、ステップＳ１０３において、基準フレーム導出部２４１は、供給されたフレーム画像データをＡＤＲＣ処理部２４２に供給する。ＡＤＲＣ処理部２４２は、供給された画像データをブロックに分割する。
【０１９８】
ステップＳ１０４において、ＡＤＲＣ処理部２４２は、各ブロックに含まれる画素値の最大値および最小値の差であるダイナミックレンジを検出する。
【０１９９】
ステップＳ１０５において、ＡＤＲＣ処理部２４２は、ダイナミックレンジを基に定められる量子化ビット数で、ブロック内の最大値と最小値との間の画素値を等間隔に分割し、量子化代表値を決定する。
【０２００】
ステップＳ１０６において、ＡＤＲＣ処理部２４２は、すべてのブロックの処理が終了したか否かを判断する。ステップＳ１０６において、すべてのブロックの処理が終了したと判断された場合、処理は、後述するステップＳ１１０に進む。
【０２０１】
ステップＳ１０６において、すべてのブロックの処理が終了していないと判断された場合、ステップＳ１０７において、ＡＤＲＣ処理部２４２は、ブロック内の未処理の画素の画素値を取得し、最も近い量子化代表値に対応させる。
【０２０２】
ステップＳ１０８において、ＡＤＲＣ処理部２４２は、量子化代表値を量子化コードに変換する。
【０２０３】
ステップＳ１０９において、ＡＤＲＣ処理部２４２は、ブロック内のすべての画素の量子化コードが得られたか否かを判断する。ステップＳ１０９において、ブロック内のすべての画素の量子化コードが得られていないと判断された場合、処理は、ステップＳ１０７に戻り、それ以降の処理が繰り返される。
【０２０４】
ステップＳ１０９において、ブロック内のすべての画素の量子化コードが得られたと判断された場合、処理は、ステップＳ１０６に戻り、それ以降の処理が繰り返される。
【０２０５】
ステップＳ１０６において、すべてのブロックの処理が終了したと判断された場合、ステップＳ１１０において、ＡＤＲＣ処理部２４２は、各ブロックの最小値、ダイナミックレンジ、および、量子化コードを、量子化データとして、記録部８３または復号部２１２に出力するとともに、基準フレームの復号部２４３に供給する。
【０２０６】
ステップＳ１１１において、基準フレームの復号部２４３は、符号化された基準フレームの供給を受け、基準フレームをＡＤＲＣの逆量子化処理により復号し、差分画像生成部２４６に供給する。
【０２０７】
ステップＳ１１２において、基準フレーム導出部２４１は、処理されたフレームは最後のフレームであったか否かを判断する。ステップＳ１１２において、処理されたフレームは最後のフレームではないと判断された場合、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。ステップＳ１１２において、処理されたフレームは最後のフレームであったと判断された場合、処理は、終了される。
【０２０８】
ステップＳ１０２において、供給されたフレーム画像データは基準フレームではないと判断された場合、ステップＳ１１３において、差分画像生成部２４６により、図２６のフローチャートを用いて後述する差分画像生成処理が実行される。
【０２０９】
ステップＳ１１４において、２次微分情報保存処理部２４４のブロック分割部１０１は、供給された画像データを、所定のブロックに分割し、２次微分情報判定部１０２に供給する。
【０２１０】
このとき供給された画像データは、差分画像生成部２４６から供給された、ステップＳ１１３の処理により生成された差分画像である。
【０２１１】
ステップＳ１１５乃至ステップＳ１２４において、図１３を用いて説明した符号化処理１のステップＳ２乃至ステップＳ１１における処理と同様の処理が実行される。
【０２１２】
すなわち、２次微分情報判定部１０２により、図１４のフローチャートを用いて説明した２次微分情報検出処理が実行され、差分画像データの各ブロックに含まれる画素値の最大値および最小値の差であるダイナミックレンジが検出されて、ダイナミックレンジを基に定められる量子化ビット数で、ブロック内の最大値と最小値との間の画素値が等間隔に分割されて、量子化代表値が決定される。
【０２１３】
そして、ブロック内の未処理の画素の画素値と２次微分情報が取得されて、２次微分情報は、上に凸であるか否かが判断され、判断結果を基に、注目画素より大きな量子化代表値のうち一番近い値を対応する画素、または、注目画素より小さな量子化代表値のうち一番近い値が、対応する画素の量子化代表値とされ、量子化代表値が量子化コードに変換される。そして、ブロック内のすべての画素の量子化コードが得られるまで、量子化コードを得るための処理が繰り返される。
【０２１４】
ステップＳ１１８において、すべてのブロックの処理が終了したと判断された場合、ステップＳ１２５において、量子化部１０３は、各ブロックの最小値、ダイナミックレンジ、および、量子化コードを、量子化データとして、記録部８３または復号部２１２に出力する。
【０２１５】
ステップＳ１２６において、基準フレーム導出部２４１は、処理されたフレームは最後のフレームであるか否かを判断する。
【０２１６】
ステップＳ１２６において、処理されたフレームは最後のフレームではないと判断された場合、ステップＳ１２７において、量子化部１０３は、各ブロックの最小値、ダイナミックレンジ、および、量子化コードを、差分画像の復号部２４５に供給する。
【０２１７】
差分画像の復号部２４５は、ステップＳ１２８において、符号化された差分画像データを復号し、ステップＳ１２９において、図１９を用いて説明した生成画像を生成して、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。
【０２１８】
ステップＳ１２６において、処理されたフレームは最後のフレームではないと判断された場合、処理は、終了される。
【０２１９】
このような処理により、図１７に示したようにある一定の間隔、または、任意の間隔で設定された基準フレーム以外のフレームにおいては、差分画像を生成し、差分画像の２次微分情報を用いて、画像データが符号化される。
【０２２０】
次に、図２６のフローチャートを参照して、図２４のステップＳ１１３において実行される、差分画像生成処理について説明する。
【０２２１】
ステップＳ１５１において、差分画像生成部２４６は、次に、基準フレームと、その次のフレームとの差分画像が生成されるか否かを判断する。
【０２２２】
ステップＳ１５１において、次に生成される差分画像が、基準フレームと、その次のフレームとの差分画像（例えば、図１９の差分画像１）であると判断された場合、ステップＳ１５２において、差分画像生成部２４６は、基準フレームの復号部２４３から供給された、ＡＤＲＣの後、復号された基準フレームと、基準フレーム導出部２４１から供給された、基準フレームの次のフレーム（処理対象フレーム）との差分画像を生成し、２次微分情報保存処理部２４４に供給して、処理は、図２４のステップＳ１１３に戻り、ステップＳ１１４に進む。
【０２２３】
ステップＳ１５１において、次に生成される差分画像が、基準フレームではない画像同士の差分画像（例えば、図１９の差分画像２）であると判断された場合、ステップＳ１５３において、差分画像生成部２４６は、差分画像の復号部２４５から供給された、処理対象フレームの前のフレーム（基準フレームではない）に対応する生成画像と、基準フレーム導出部２４１から供給された、処理対象フレームとの差分画像を生成し、２次微分情報保存処理部２４４に供給して、処理は、図２４のステップＳ１１３に戻り、ステップＳ１１４に進む。
【０２２４】
このような処理により、差分画像が生成され、基準フレームの符号化に用いられる。
【０２２５】
次に、図２７のフローチャートを参照して、復号部２１２が実行する復号処理２について説明する。
【０２２６】
ステップＳ２７１において、復号部２１２の基準フレーム／差分画像分離部２７１は、供給されたフレーム画像データが基準フレームであるか、その他のフレームであるかを決定する。
【０２２７】
ステップＳ２７２において、基準フレーム／差分画像分離部２７１は、供給された符号化フレーム画像データは、基準フレームであるか否かを判断する。ステップＳ１７２において、基準フレームではないと判断された場合、処理は、後述するステップＳ１７６に進む。
【０２２８】
ステップＳ１７２において、基準フレームであると判断された場合、ステップＳ１７３において、基準フレーム／差分画像分離部２７１は、供給された符号化フレーム画像データをＡＤＲＣ処理の逆量子化部２７２に供給する。ＡＤＲＣ処理の逆量子化部２７２は、ＡＤＲＣの逆量子化を実行する。
【０２２９】
ステップＳ１７４において、ＡＤＲＣ処理の逆量子化部２７２は、ＡＤＲＣの逆量子化により復号された画像データを、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５に出力するとともに、加算部２７４へ供給する。
【０２３０】
ステップＳ１７５において、基準フレーム／差分画像分離部２７１は、処理を実行したのは、最後のフレームであるか否かを判断する。ステップＳ１７５において、最後のフレームではないと判断された場合、処理は、ステップＳ１７１に戻り、それ以降の処理が繰り返される。ステップＳ１７５において、最後のフレームであると判断された場合、処理が終了される。
【０２３１】
ステップＳ１７２において、基準フレームではないと判断された場合、ステップＳ１７６において、基準フレーム／差分画像分離部２７１は、供給された符号化フレーム画像データを、２次微分情報の逆量子化部２７３に供給する。２次微分情報の逆量子化部２７３の特徴量検出部１５１は、供給された符号化画像データから、各ブロックの最小値とダイナミックレンジを検出し、逆量子化部１５２に供給する。
【０２３２】
ステップＳ１７７において、逆量子化部１５２は、特徴量検出部１５１から供給された各ブロックの最小値とダイナミックレンジを基に、ＡＤＲＣの逆量子化を実行する。
【０２３３】
ステップＳ１７８において、逆量子化部１５２は、ＡＤＲＣの逆量子化処理により得られた差分画像データを、加算部２７４に供給する。
【０２３４】
ステップＳ１７９において、加算部２７４は、ＡＤＲＣ処理の逆量子化部２７２、または、復号画像保存部２７５から供給された１フレーム前の復号画像データと、差分画像の復号画像データとを加算して、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５に出力する。
【０２３５】
ステップＳ１８０において、加算部２７４は、ステップＳ１７９の処理により加算されて得られた復号画像データを、次のフレームの復号画像データを生成するために、復号画像保存部２７５に供給する。復号画像保存部２７５は、供給された復号画像データを保存する。
【０２３６】
ステップＳ１８１において、基準フレーム／差分画像分離部２７１は、処理を実行したのは、最後のフレームであるか否かを判断する。
【０２３７】
ステップＳ１８１において、最後のフレームではないと判断された場合、ステップＳ１８２において、復号画像保存部２７５は、保存されている復号画像データを加算部２７４へ供給し、処理は、ステップＳ１７１に戻り、それ以降の処理が繰り返される。ステップＳ１８１において、最後のフレームであると判断された場合、処理が終了される。
【０２３８】
このような処理により、差分画像の２次微分情報を用いて符号化された画像データを復号することができる。
【０２３９】
以上説明した処理により、本発明を適用した符号化装置を用いて符号化された画像データは、復号および符号化を繰り返すことにより、画像の劣化が進む。
【０２４０】
例えば、図２８に示されるように、原画像が符号化され、記録媒体に記録されて、図２の再生機６１の復号部２１または図１６の再生機２０２の復号部２１２に供給される。すなわち、復号部２１または復号部２１２で復号されて出力される画像データが、１回目の符号化および復号を施された画像データである。そして、Ｄ／Ａ変換部７２においてアナログ画像信号に変換され、伝送される。伝送されたアナログデータは、ディスプレイ６２で表示されるか、符号化装置６３または符号化装置２０１に供給される。
【０２４１】
すなわち、ディスプレイ６２に表示される画像や、図２の符号化装置６３または図１６の符号化装置２０１に供給される画像は、１回目の符号化・復号が施された画像に、上述したような高周波歪みが付加された画像である。符号化装置６３または符号化装置２０１に供給されたアナログの画像データは、更に、Ａ／Ｄ変換部８１においてデジタル信号に変換されるので、ここでも、ノイズが付加される。
【０２４２】
そして、符号化部８２または符号化部２１１において符号化された画像データは、記録部８３により所定の記録媒体に記録されるか、復号部８４または復号部２１２において復号されて、Ｄ／Ａ変換部８５でアナログデータに変換され、ディスプレイ８６で再生される。記録部８３により所定の記録媒体に記録されたデータを表示させるためには、この記録媒体を図２の再生機６１または図１６の再生機２０２で再生させ、ディスプレイ６２において表示させる必要がある。
【０２４３】
すなわち、１回目の符号化・復号が施された画像に、上述したような高周波歪みが付加された画像を記録媒体に記録（いわゆる、ダビングまたはコピーを実行）し、再生させる場合、再生される画像は、２回目の符号化・復号が施された画像となる。
【０２４４】
２次微分情報を用いた符号化処理を実行する符号化部８２または符号化部２１１では、図６を用いて説明したように、図５を用いて説明したＡＤＲＣを用いた符号化と比較して、符号化・復号が施されることにより、ホワイトノイズなどにより情報が大きく劣化する。したがって、２回目の符号化・復号が施された画像は、上述したような高周波歪みにより、大きく劣化する。
【０２４５】
したがって、記録媒体に記録された符号化デジタル画像信号を再生機６１または再生機２０２で再生して得られる、ディスプレイ６２に表示される画像の画質や、符号化部８２で符号化された後、記録部８３に記録されずに、復号部８４または復号部２１２において復号されて、Ｄ／Ａ変換部８５でアナログデータに変換され、ディスプレイ８６に表示される画像の画質は、再生機６１または再生機２０２から出力されるアナログ画像信号による画像に比べて大幅に劣化したものとなる。
【０２４６】
すなわち、本発明を適用した画像表示システムによると、再生機６１または再生機２０２から出力されるアナログ画像信号を、良好な画質を維持したまま記録媒体に記録する（ダビングする、コピーする）ことが不可能となる。
【０２４７】
更に、３回目、４回目・・・と、符号化・復号を繰り返す（ダビング、コピーを繰り返す）と、画像はますます劣化する。
【０２４８】
したがって、本発明を適用した図２の画像表示システム５１は、特に、静止画像データ、または、フレーム間予測符号化など、他のフレーム画像データを用いた符号化処理を行わない動画像データに対して、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような静止画像の符号化および復号が行われるような構成となっている。
【０２４９】
また、本発明を適用した図１６の画像表示システム１８１は、動画像データに対して、他のフレーム画像データを用いて符号化処理および復号処理を行うことができるようにするとともに、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような符号化および復号が行われるような構成となっている。
【０２５０】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図２の画像表示システム５１または図１６の画像表示システム１８１の一部またはすべては、図２９に示されるようなパーソナルコンピュータ３０１により構成される。
【０２５１】
図２９において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２５２】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０２５３】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２５４】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０２５５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２５６】
この記録媒体は、図２９に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０２５７】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２５８】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０２５９】
【図１】従来の画像表示システムの構成を示すブロック図である。
【図２】本発明を適用した、画像表示システムの構成を示すブロック図である。
【図３】ホワイトノイズについて説明するための図である。
【図４】図２の符号化部の更に詳細な構成を示すブロック図である。
【図５】ＡＤＲＣについて説明するための図である。
【図６】ＡＤＲＣと比較して、本発明に用いられる量子化について説明するための図である。
【図７】図４の２次微分情報判定部の更に詳細な構成を示すブロック図である。
【図８】周辺画素の取扱いと２次微分情報の求め方について説明するための図である。
【図９】周辺画素の取扱いと２次微分情報の求め方について説明するための図である。
【図１０】周辺画素の取扱いと２次微分情報の求め方について説明するための図である。
【図１１】周辺画素の取扱いと２次微分情報の求め方について説明するための図である。
【図１２】図２の復号部の更に詳細な構成を示すブロック図である。
【図１３】符号化処理１について説明するためのフローチャートである。
【図１４】２次微分情報検出処理について説明するためのフローチャートである。
【図１５】復号処理１について説明するためのフローチャートである。
【図１６】本発明を適用した、画像表示システムの構成を示すブロック図である。
【図１７】基準フレームについて説明するための図である。
【図１８】図１６の符号化部の更に詳細な構成を示すブロック図である。
【図１９】差分画像について説明するための図である。
【図２０】図１８の２次微分情報保存処理部の更に詳細な構成を示すブロック図である。
【図２１】図１６の復号部の更に詳細な構成を示すブロック図である。
【図２２】図２１の２次微分情報逆量子化部の更に詳細な構成を示すブロック図である。
【図２３】符号化処理２について説明するためのフローチャートである。
【図２４】符号化処理２について説明するためのフローチャートである。
【図２５】符号化処理２について説明するためのフローチャートである。
【図２６】差分画像生成処理について説明するためのフローチャートである。
【図２７】復号処理２について説明するためのフローチャートである。
【図２８】符号化・復号の繰り返しについて説明するための図である。
【図２９】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０２６０】
５１  画像表示システム，  ６１  再生機，  ６２  符号化装置，  ７１  復号部，  ７２  Ｄ／Ａ変換部，  ８１  Ａ／Ｄ変換部，  ８２  符号化部，  ８３  記録部，  ８４  復号部，  ８５  Ｄ／Ａ変換部，  ８６  ディスプレイ，  １０１  ブロック分割部，  １０２  ２次微分情報判定部，  １０３  量子化部，  １３１  注目画素選択部，  １３２  タップ抽出部，  １３３  判定部，  １５１  特徴量抽出部，  １５２  逆量子化部，  ２０１  符号化装置，  ２０２  再生機，  ２１１  符号化部，  ２１  復号部，  ２４１  基準フレーム導出部，  ２４２  ＡＤＲＣ処理部，  ２４３  基準フレームの復号部，  ２４４  ２次微分情報保存処理部，  ２４５  差分画像の復号部，  ２５６  差分画像生成部，  ２７１  基準フレーム／差分画像分離部，  ２７２  ＡＤＲＣ処理の逆量子化部，  ２７３  ２次微分情報逆量子化部，  ２７４  加算部，  ２７５  復号画像保存部
【図１】
2006229461.tif 000003
【図２】
2006229461.tif 000004
【図３】
2006229461.tif 000005
【図４】
2006229461.tif 000006
【図５】
2006229461.tif 000007
【図６】
2006229461.tif 000008
【図７】
2006229461.tif 000009
【図８】
2006229461.tif 000010
【図９】
2006229461.tif 000011
【図１０】
2006229461.tif 000012
【図１１】
2006229461.tif 000013
【図１２】
2006229461.tif 000014
【図１３】
2006229461.tif 000015
【図１４】
2006229461.tif 000016
【図１５】
2006229461.tif 000017
【図１６】
2006229461.tif 000018
【図１７】
2006229461.tif 000019
【図１８】
2006229461.tif 000020
【図１９】
2006229461.tif 000021
【図２０】
2006229461.tif 000022
【図２１】
2006229461.tif 000023
【図２２】
2006229461.tif 000024
【図２３】
2006229461.tif 000025
【図２４】
2006229461.tif 000026
【図２５】
2006229461.tif 000027
【図２６】
2006229461.tif 000028
【図２７】
2006229461.tif 000029
【図２８】
2006229461.tif 000030
【図２９】
2006229461.tif 000031