(57)【特許請求の範囲】
【請求項１】
動画像を構成する画像データを、復元処理時の画質の劣化を抑制して圧縮する画像処理装置において、
動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成する間引き手段と、
上記間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するビット間引き手段と、
上記修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの上記第１の積和演算によって元の画素値に戻すことにより上記間引き画像データを生成するとともに、生成した上記間引き画像データ上に存在しない補間すべき補間画素の画素値を、上記補間画素の周辺に位置する周辺画素の画素値と、上記補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの上記第２の積和演算、または上記補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する上記復元処理によって、元の画像データに復元される上記修正間引き画像データを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
動画像を構成する画像データを、復元処理時の画質の劣化を抑制して圧縮する画像処理方法において、
動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成し、
上記間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成し、
上記修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの上記第１の積和演算によって元の画素値に戻すことにより上記間引き画像データを生成するとともに、生成した上記間引き画像データ上に存在しない補間すべき補間画素の画素値を、上記補間画素の周辺に位置する周辺画素の画素値と、上記補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの上記第２の積和演算、または上記補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する上記復元処理によって、元の画像データに復元される上記修正間引き画像データを出力する
ことを特徴とする画像処理方法。
【請求項３】
動画像を構成する画像データの画素を間引くことによって生成された間引きデータを伸張する画像処理装置において、
動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらに、間引かれずに残った各画素のレベル方向のビット間引きすることより得られた修正間引き画像データを受信する受信手段と、
上記修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの上記第１の積和演算によって元の画素値に戻すことにより上記間引き画像データを生成するとともに、生成した上記間引き画像データ上に存在しない補間すべき補間画素の画素値を、上記補間画素の周辺に位置する周辺画素の画素値と、上記補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの上記第２の積和演算、または上記補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元手段と
を備えることを特徴とする画像処理装置。
【請求項４】
上記復元手段は、
上記修正間引き画像データを構成する複数の画素のうちの１つである注目画素に対し、上記注目画素の周辺に位置する周辺画素の画素値に応じた所定の第１のクラスを決定する第１の決定手段と、
上記注目画素の第１のクラスに対応するデータであって、かつ、上記注目画素のビット間引き前の元の画素値を予測する上記第１の積和演算に用いるデータである上記第１の予測データと、上記注目画素の周辺に位置する周辺画素の画素値との上記第１の積和演算によって、上記注目画素のビット間引き前の元の画素値を発生する第１の発生手段と、
上記間引き画像データ上に存在しない補間すべき補間画素に対し、上記補間画素の周辺に位置する、上記第１の発生手段によって発生されたビット間引き前の上記間引き画像データの画素の画素値に応じた所定の第２のクラスを決定する第２の決定手段と、
上記補間画素の第２のクラスに対応するデータであって、かつ、上記補間画素の画素値を予測する上記第２の積和演算に用いるデータである上記第２の予測データと、上記補間画素の周辺に位置する周辺画素の画素値との上記第２の積和演算によって、上記補間画素の画素値を発生する第２の発生手段と
を有する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記第１の発生手段は、
学習用の上記修正間引き画像データによる上記第１の積和演算の結果と、学習用の上記間引き画像データとの誤差を最小にする学習を、上記第１のクラス毎に予め行うことによって生成された上記第１の予測データを上記第１のクラス毎に記憶している記憶手段を有し、
上記第１の決定手段が出力する第１のクラスに対応する上記第１の予測データを、上記記憶手段から読み出し、その読み出された上記第１の予測データと、上記注目画素の周辺に位置する周辺画素の画素値との上記第１の積和演算によって、上記間引き画像データを発生する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記第２の発生手段は、
学習用の上記間引き画像データによる上記第２の積和演算の結果と、学習用の上記画像データとの誤差を最小にする学習を、上記第２のクラス毎に予め行うことによって生成された上記第２の予測データを上記第２のクラス毎に記憶している記憶手段を有し、
上記第２の決定手段が出力する第２のクラスに対応する上記第２の予測データを読み出し、その読み出された上記第２の予測データと、上記補間画素の周辺に位置する周辺画素の画素値との上記第２の積和演算によって、上記補間画素の画素値を発生する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
上記記憶手段は、上記第１の予測データとして、上記第１の積和演算に用いる、上記第１のクラス毎の予測係数のセットを記憶しており、
上記第１の発生手段は、上記第１の決定手段が出力する第１のクラスに対応する予測係数のセットを読み出し、その読み出された予測のセットと、上記修正間引き画像データの、上記注目画素の周辺に位置する複数の画素の画素値との上記第１の積和演算によって上記間引き画像データを算出する演算手段をさらに有する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
上記記憶手段は、上記第２の予測データとして、上記第２の積和演算に用いる、上記第２のクラス毎の予測係数のセットを記憶しており、
上記第２の発生手段は、上記第２の決定手段が出力する第２のクラスに対応する予測係数のセットを読み出し、その読み出された予測のセットと、上記補間画素の周辺に位置する、上記間引き画像データの複数の画素の画素値との上記第２の積和演算によって、上記補間画素の画素値を算出する演算手段をさらに有する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
上記第１の決定手段は、上記修正間引き画像データの上記注目画素に対して、空間方向若しくは時間方向のうちのいずれか一方、または両方に位置する上記修正間引き画像データの画素の画素値に応じた上記第１のクラスを決定する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項１０】
上記第２の決定手段は、上記補間画素に対して、空間方向若しくは時間方向のうちのいずれか一方、または両方に位置する上記間引き画像データの画素の画素値に応じた上記第２のクラスを決定する
ことを特徴とする請求項４に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに情報記録媒体および伝送方法に関し、特に、動画像の画質等の劣化を低減することができるようにする画像処理装置および画像処理方法、並びに情報記録媒体および伝送方法に関する。
【０００２】
【従来の技術】
従来より、動画像を表示するときの走査方法の１つとして、インターレース走査がある。
【０００３】
即ち、例えば、ビデオカメラなどで画像を撮影した場合に、本来ならば、図１８に示すように、その内蔵するＣＣＤ（Charge Coupled Device）などの光電変換素子が有する画素と同一配置の画素（同図において、○印で示す）で、各フレームを構成し、伝送や記録を行うのが、画質や解像度などの面からは理想的である。
【０００４】
しかしながら、これでは、伝送や記録等する情報量が多くなる。そこで、情報量の低減のために、図１９に示すように、最初の画面（インターレース走査では、フィールド）は、奇数ラインの画素（同図において●印で示す）を間引いて、偶数ラインの画素（同図において○印で示す）だけで構成され、次の画面は、偶数ラインの画素（同図において●印で示す）を間引いて、奇数ラインの画素（同図において○印で示す）だけで構成され、さらに次の画面は、最初の画面と同様に構成され、以下、同様にして、画面が構成される。
【０００５】
ここで、インターレース走査は、上述したことから、情報量を低減するための画素を間引く手法の１つと考えることができるので、このような間引きの手法を、以下、適宜、インターレース間引きという。
【０００６】
【発明が解決しようとする課題】
ところで、画像の垂直方向の解像度は、そのライン数に依存する。従って、インターレース間引きを行うと、その間引き後の画像の垂直方向の解像度は、間引き前の画像の垂直方向の解像度の１／２になる。その結果、垂直方向の速い変化を表現するのが困難となり、そのような動きがあると、画質が劣化する課題があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、間引きによる画質の劣化を低減することができるようにするものである。
【０００８】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成する間引き手段と、間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するビット間引き手段と修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力する出力手段とを備えることを特徴とする。
【０００９】
請求項２に記載の画像処理方法は、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成し、間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成し、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力することを特徴とする。
【００１３】
請求項３に記載の画像処理装置は、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらに、間引かれずに残った各画素のレベル方向のビット間引きすることより得られた修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元手段を備えることを特徴とする。
【００１４】
請求項１に記載の画像処理装置においては、間引き手段が、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成し、ビット間引き手段が、生成した間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するようになされている。そして、出力手段が、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力するようになされている。
【００１５】
請求項２に記載の画像処理方法においては、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成し、間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するようになされている。そして、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力するようになされている。
【００１９】
請求項３に記載の画像処理装置においては、復元手段が、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらに、間引かれずに残った各画素のレベル方向のビット間引きすることより得られた修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元するようになされている。
【００２０】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００２１】
即ち、請求項１に記載の画像処理装置は、動画像を構成する画像データを、復元時の画質の劣化を抑制して圧縮する画像処理装置において、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成する間引き手段（例えば、図１に示すサブサンプリング回路２など）と、間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するビット間引き手段（例えば、図１４に示すビット落とし回路５１など）と、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力する出力手段（例えば、図１に示す送信処理回路４など）とを備えることを特徴とする。
【００２７】
請求項３に記載の画像処理装置は、動画像を構成する画像データの画素を間引くことによって生成された間引きデータを伸張する画像処理装置において、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらに、間引かれずに残った各画素のレベル方向のビット間引きすることより得られた修正間引き画像データを受信する受信手段（例えば、図１４に示す受信処理回路８など）と、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元手段（例えば、図１４に示すブロック化回路５２、クラスタリング回路５３、メモリ５４、画素データ作成回路５５、ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４、および合成回路１０など）とを備えることを特徴とする。
【００２８】
請求項４に記載の画像処理装置は、復元手段が、修正間引き画像データを構成する複数の画素のうちの１つである注目画素に対し、注目画素の周辺に位置する周辺画素の画素値に応じた所定の第１のクラスを決定する第１の決定手段（例えば、図１４に示すクラスタリング回路５３など）と、注目画素の第１のクラスに対応するデータであって、かつ、注目画素のビット間引き前の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データと、注目画素の周辺に位置する周辺画素の画素値との第１の積和演算によって、注目画素のビット間引き前の元の画素値を発生する第１の発生手段（例えば、図１４に示すメモリ５４および画素データ作成回路５５など）と、間引き画像データ上に存在しない補間すべき補間画素に対し、補間画素の周辺に位置する、第１の発生手段によって発生されたビット間引き前の間引き画像データの画素の画素値に応じた所定の第２のクラスを決定する第２の決定手段（例えば、図１４に示すクラスタリング回路１２など）と、補間画素の第２のクラスに対応するデータであって、かつ、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データと、補間画素の周辺に位置する周辺画素の画素値との第２の積和演算によって、補間画素の画素値を発生する第２の発生手段（例えば、図１４に示すメモリ１３および補間データ作成回路１４など）とを有することを特徴とする。
【００２９】
請求項５に記載の画像処理装置は、第１の発生手段が、学習用の修正間引き画像データによる第１の積和演算の結果と、学習用の間引き画像データとの誤差を最小にする学習を、第１のクラス毎に予め行うことによって生成された第１の予測データを第１のクラス毎に記憶している記憶手段（例えば、図１４に示すメモリ５４など）を有し、第１の決定手段が出力する第１のクラスに対応する第１の予測データを、記憶手段から読み出し、その読み出された第１の予測データと、注目画素の周辺に位置する周辺画素の画素値との第１の積和演算によって、間引き画像データを発生することを特徴とする。
【００３０】
請求項６に記載の画像処理装置は、第２の発生手段が、学習用の間引き画像データによる第２の積和演算の結果と、学習用の画像データとの誤差を最小にする学習を、第２のクラス毎に予め行うことによって生成された第２の予測データを第２のクラス毎に記憶している記憶手段（例えば、図１４に示すメモリ１３など）を有し、第２の決定手段が出力する第２のクラスに対応する第２の予測データを読み出し、その読み出された第２の予測データと、補間画素の周辺に位置する周辺画素の画素値との第２の積和演算によって、補間画素の画素値を発生することを特徴とする。
【００３１】
請求項７に記載の画像処理装置は、記憶手段が、第１の予測データとして、第１の積和演算に用いる、第１のクラス毎の予測係数のセットを記憶しており、第１の発生手段が、第１の決定手段が出力する第１のクラスに対応する予測係数のセットを読み出し、その読み出された予測のセットと、修正間引き画像データの、注目画素の周辺に位置する複数の画素の画素値との第１の積和演算によって間引き画像データを算出する演算手段（例えば、図１４に示す画素データ作成回路５５など）をさらに有することを特徴とする。
【００３２】
請求項８に記載の画像処理装置は、記憶手段が、第２の予測データとして、第２の積和演算に用いる、第２のクラス毎の予測係数のセットを記憶しており、第２の発生手段が、第２の決定手段が出力する第２のクラスに対応する予測係数のセットを読み出し、その読み出された予測のセットと、補間画素の周辺に位置する、間引き画像データの複数の画素の画素値との第２の積和演算によって、補間画素の画素値を算出する演算手段（例えば、図１４に示す補間データ作成回路１４など）をさらに有することを特徴とする。
【００３３】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００３４】
図１は、本発明を適用した送受信システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の第１の実施の形態の構成例を示している。
【００３５】
この送受信システムは、送信装置１００と受信装置２００とで構成されている。そして、送信装置１００は、入力端子１、サブサンプリング回路２、エンコーダ３、送信処理回路４、および出力端子５で構成され、画像データの画素を間引くことにより圧縮して送信するようになされている。また、受信装置２００は、入力端子７、受信処理回路８、デコーダ９、合成回路１０、ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４、および出力端子１５で構成され、送信装置１００からの圧縮された画像データを伸張するようになされている。
【００３６】
即ち、送信装置１００には、例えば、図示せぬビデオカメラなどで撮影され、その内蔵するＣＣＤなどの光電変換素子が有する画素と同一配置の画素で、各フレームが構成される動画像（以下、適宜、全画素動画像という）のディジタル画像データが供給される。ここで、このような全画素動画像は、いわゆるプログレッシブカメラ（光電変換素子上の画素すべてを、いわゆるラスタスキャン順に走査して、１フレームの画像信号として出力するビデオカメラ）や、全画素カメラ（光電変換素子上の画素すべてにおける信号を、一度に、１フレームの画像信号として出力するビデオカメラ）などによって得ることができる。
【００３７】
このディジタル画像データは、入力端子１を介して、サブサンプリング回路２に供給される。サブサンプリング回路２では、そのディジタル画像データとしての動画像を構成する各フレームの画素が、例えば、図２に示すように、空間方向および時間方向の両方向に、五の目格子状に間引かれることにより圧縮される。
【００３８】
ここで、図２において（後述する図３、図４、図７、図１２、および図１５においても同様）、●印および○印の両方が、全画素動画像を構成するフレームの画素を示している。そして、そのうちの●印が、サブサンプリング回路２において間引かれた画素（以下、適宜、間引き画素（画素データ）という）を示しており、○印が、サブサンプリング回路２において間引きが行われることにより残った画素（以下、適宜、間引き後画素（画素データ）という）を示している。
【００３９】
即ち、サブサンプリング回路２では、全画素動画像の第１フレームについては、例えば、図３（Ａ）に示すように、その１ライン目の２列目、４列目、６列目、８列目、・・・，２ライン目の１列目、３列目、５列目、７列目、・・・の画素（同図（Ａ）に●印で示す）が間引かれ、以下、同様にして、奇数フレームについては、空間方向に、五の目格子状に間引きが行われる。また、第２フレームについては、例えば、図３（Ｂ）に示すように、その１ライン目の１列目、３列目、５列目、７列目、・・・，２ライン目の２列目、４列目、６列目、８列目、・・・の画素（同図（Ｂ）に●印で示す）が間引かれ、以下、同様にして、偶数フレームについても、空間方向に、五の目格子状に間引きが行われる。
【００４０】
さらに、この場合、ある１ラインまたは１列に注目すれば、例えば、図４に示すように、第１フレームでは、その注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において●印で示す）が間引かれ、第２フレームでは、注目ラインまたは注目列を構成する１番目，３番目，５番目，７番目，・・・の画素（同図において●印で示す）が間引かれる。そして、第３フレームでは、再び、注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において●印で示す）が間引かれ、以下、同様にして、間引きが行われることにより、サブサンプリング回路２では、時間方向にも、五の目格子状に間引きが行われる。
【００４１】
全画素動画像の各フレームについて、以上のように、空間方向および時間方向の両方向に、五の目格子状に間引き（以下、適宜、空間／時間五の目間引きという）が行われることにより、空間方向および時間方向のいずれの方向にも、画素が１つおきに存在するようになる。従って、空間／時間五の目間引き後の情報量は、単純には、前述のインターレース間引きを行った場合と同様に、元の情報量の１／２になる。
【００４２】
ここで、図５は、空間／時間五の目間引き後の画像の空間周波数帯域（同図において斜線を付してある部分）を示している。空間／時間五の目間引き後の画像の空間周波数帯域は、同図に示すように長方形状になり、その結果、水平方向および垂直方向の解像度は勿論、斜め方向の解像度も、ある程度保たれる。
【００４３】
なお、これに対して、図６は、空間方向にのみ五の目格子状に間引き（隣接するフレームにおいて、間引かれる画素の変わらない五の目間引き）を行った場合の、その間引き後の画像の空間周波数帯域（同図において斜線を付してある部分）を示している。この場合、その空間周波数帯域は、ひし形状になり、その結果、水平方向および垂直方向の解像度は、元の解像度に維持されるが、斜め方向の解像度は、元の１／２に低下する。
【００４４】
従って、空間／時間五の目間引きを行うことにより、情報量を低減することができる他、水平方向、垂直方向、および斜め方向のいずれの解像度も維持することができる。その結果、これらのいずれの方向の速い変化をも表現することが可能となり、そのような動きがある場合の画質の劣化を低減（防止）することが可能となる。但し、ある１フレームだけに注目すれば、空間／時間五の目間引きであっても、斜め方向の解像度は低下する。
【００４５】
図１に戻り、サブサンプリング回路２において空間／時間五の目間引きの施された間引き後画素（画素データ）からなる間引き画像データが、エンコーダ３に供給される。エンコーダ３では、サブサンプリング回路２からのデータ（間引き後画素（画素データ）で構成される画像データ）が高能率符号化される。ここで、高能率符号化方式としては、例えば、ＤＣＴ（Discrete Cosine Transform）などの直交変換と動き補償を用いたハイブリッド方式や、ＤＣＴと量子化を用いたハイブリッド方式、ＡＤＲＣ（Adaptive Dynamic Range Coding）を用いるものなどがある。なお、ＡＤＲＣについては、例えば、本件出願人が先に出願した特開昭６１−１４４９８９号公報などに、その詳細が開示されている。
【００４６】
エンコーダ３において、間引き画像データが高能率符号化されることにより得られる符号化データは、送信処理回路４に供給される。送信処理回路４では、エンコーダ３からの符号化データに対して、例えば、エラー訂正、パケット化、チャネル符号化などの必要な信号処理が施され、その結果得られる伝送データが、出力端子５を介して出力される。この伝送データは、所定の伝送路６を介して送信される。なお、伝送路６には、例えば、衛星回線や、地上波、ＣＡＴＶ網、公衆網、インターネットなどの通信回線の他、例えば、磁気記録／再生のプロセス、さらには、磁気ディスク、光ディスク、磁気テープ、光磁気ディスク、相変化ディスクその他の記録媒体も含まれる。
【００４７】
伝送路６からの伝送データは、受信装置２００の入力端子７を介して、受信処理回路８で受信される。受信処理回路８では、伝送データに対して、チャネル復号化、アンパケット化、エラー訂正などの必要な信号処理が施され、その結果得られる符号化データが、デコーダ９に供給される。デコーダ９では、送信装置の１００のエンコーダ３の符号化処理と対応する復号処理でその符号化データがデコードされることにより、間引き後画素（画素データ）で構成される間引き画像データとされ、合成回路１０およびブロック化回路１１に供給される。
【００４８】
ブロック化回路１１は、例えば、図７に示すように、所定の位置（補間すべき位置）に対する注目間引き画素ｘの空間方向の上下左右に隣接する４つの間引き後画素（画素データ）ａ，ｂ，ｃ，ｄを１つのブロックにしてクラスタップ及び予測タップを生成し、クラスタップをクラスタリング回路１２に、予測タップを補間データ作成回路１４にそれぞれ供給する。なお、ブロック化回路１１は、すべての間引き画素について、その上下左右に隣接する間引き後画素（画素データ）でなるブロックを構成し、そのブロックを構成する間引き後画素を、クラスタップとしてクラスタリング回路１２に供給するとともに、予測タップとして補間データ作成回路１４に供給する。なお、ここでは、クラスタップ及び予測タップとは同一の間引き後画素から構成することとしたが、クラスタップと予測タップとは、異なる間引き後画素から構成することも可能である。
【００４９】
クラスタリング回路１２は、ブロック化回路１１からのブロック、即ち、クラスタップを、それを構成する間引き後画素の性質に応じて所定のクラスにクラスタリングする。
【００５０】
ここで、クラスタリングについて簡単に説明する。
【００５１】
いま、例えば、図８（Ａ）に示すように、２×２画素でなるブロック（クラスタップ）を考え、各画素が、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとすると、この２×２の４画素のブロック（クラスタップ）は、各画素のレベル分布により、図８（Ｂ）に示すように、１６（＝（２1）4）パターンにクラス分けすることができる。このようなクラス分けが、クラスタリングであり、クラスタリング回路１２において行われる。
【００５２】
ここで、通常、各画素には、例えば８ビット程度が（その画素値を表現するために）割り当てられる。また、本実施の形態においては、上述したように、ブロック（クラスタップ）は４画素で構成される。従って、このようなブロック（クラスタップ）を対象にクラスタリングを行ったのでは、（２8）4という膨大な数のクラスが生じることになる。
【００５３】
そこで、クラスタリング回路１２では、ブロック（クラスタップ）に対して、例えば、ＡＤＲＣ処理を施し、これにより、ブロックを構成する画素のビット数を少なくし、クラス数を削減するようになされている。
【００５４】
即ち、例えば、いま、説明を簡単にするため、図９（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００５５】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図９（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、例えば、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。
【００５６】
なお、その復号は、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂを、例えば、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換し、その値に、最小値ＭＩＮを加算することで行うことができる。
【００５７】
また、クラスタリングは、上述したように、ブロック（クラスタップ）を構成する各画素のレベルそのものに基づいて行う他、例えば、ブロック（クラスタップ）を構成する画素のレベルの傾向（例えば、すべての画素のレベルがほぼ揃っているとか、右にある画素のレベルが他の画素のレベルよりも高いまたは低いとかなど）など基づいて行うことも可能である。
【００５８】
ここで、図９は、２ビットＡＤＲＣを示しているが、クラスタリング回路１２では、例えば、１ビットＡＤＲＣ（Ｋ＝１のＡＤＲＣ）が行われるようになされている。
【００５９】
再び、図１に戻り、以上のようなクラスタリングにより得られたクラスは、メモリ１３に対して、アドレスとして与えられる。メモリ１３は、全画素動画像を構成する画素から間引かれた間引き画素ｘを予測するための予測データを、クラスごとに記憶しており、クラスタリング回路１２からアドレスとしてのクラスが与えられると、そのクラスに対応する予測データを読み出し、補間データ作成回路１４に供給する。
【００６０】
ここで、いまの場合、メモリ１３においては、例えば、所定の位置（補間すべき位置）に対する注目間引き画素ｘを、その上下左右に隣接する間引き後画素（画素データ）ａ乃至ｄ（図７）（予測タップ）を用いた線形一次式により予測するための、その線形一次式の係数のセットｗ1，ｗ2，ｗ3，ｗ4が、予測データとして記憶されている。従って、メモリ１３から補間データ作成回路１４には、注目間引き画素に対するクラスに対応する係数のセットｗ1乃至ｗ4が、予測データとして供給される。
【００６１】
補間データ作成回路１４は、予測データとしての係数のセットｗ1乃至ｗ4を受信すると、その予測データとしての係数のセットｗ1乃至ｗ4と、ブロック化回路１１から供給されたブロック（予測タップ）を構成する間引き後画素（画素データ）の画素値ａ乃至ｄとを用いて、次の線形一次式を演算することにより、注目間引き画素（画素データ）ｘを生成（予測）する。
ｘ＝ｗ1ａ＋ｗ2ｂ＋ｗ3ｃ＋ｗ4ｄ・・・（１）
【００６２】
補間データ作成回路１４で求められた注目間引き画素（画素データ）ｘは、合成回路１０に出力される。合成回路１０は、間引き後画素を出力するタイミングでは、デコーダ９から供給される間引き後画素（画素データ）を選択し、また、間引き画素を出力するタイミングでは、補間データ作成回路１４から供給される間引き画素（画素データ）（式（１）により得られるｘ）を選択して、出力端子１５から出力する。この結果、出力端子１５からは、全画素動画像を構成するフレームのデータが出力される。
【００６３】
次に、間引き画素（画素データ）ｘを求めるのに、式（１）の線形一次式を構成するための予測データとしての係数のセットｗ1，ｗ2，ｗ3，ｗ4は、学習により求められるようになされている。
【００６４】
図１０は、予測データとしての係数のセットｗ1，ｗ2，ｗ3，ｗ4を求めるための学習を行う学習装置の一実施の形態の構成例を示している。
【００６５】
入力端子２１には、学習用の全画素動画像が、例えば、フレーム単位で入力される。ここで、学習用の全画素動画像は、予測データの係数のセットｗ1，ｗ2，ｗ3，ｗ4の作成を考慮した標準的なものであるのが望ましい。
【００６６】
入力端子２１に入力された全画素動画像のフレームは、ブロック化回路２２に供給される。ブロック化回路２２は、そこに供給されたフレームを構成する画素（画素データ）から、図７に示した注目間引き画素ｘとなる画素（画素データ）を注目画素（画素データ）として、その注目画素（画素データ）に対して間引き後画素ａ乃至ｄとなる画素（画素データ）を選択し、その４つの画素（画素データ）でブロック（クラスタップ及び予測タップ）を構成して、クラスタリング回路２４に供給する。さらに、ブロック化回路２２は、そのブロックを構成する４つの画素（画素データ）に、注目画素（画素データ）を加えた合計５画素（画素データ）を、データメモリ２３の入力端子ＩＮに供給する。
【００６７】
クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、そこに供給されるブロック（クラスタップ）をクラスタリングし、その結果得られるクラスを、スイッチ２５の端子２５ａに供給する。ここで、スイッチ２５は、学習用の全画素動画像から得られるすべてのブロックについてのクラスタリングが終了するまでは、端子２５ａを選択しており、従って、クラスタリング回路２４が出力する各注目間引き画素に対するクラスは、スイッチ２５を介して、データメモリ２３のアドレス端子ＡＤに供給される。
【００６８】
データメモリ２３は、そのアドレス端子ＡＤに供給されるクラスに対応するアドレスに、その入力端子ＩＮに供給される画像データを記憶する。
【００６９】
ここで、例えば、学習用の全画素動画像から得られるすべてのブロック（クラスタップ）のうち、所定のクラスＣｌａｓｓに分類されるものについての注目画素（画素データ）をｘ1，ｘ2，・・・，ｘnとする。また、注目画素（画素データ）ｘ1の上下左右に隣接する画素（画素データ）をａ1，ｂ1，ｃ1，ｄ1と、注目画素（画素データ）ｘ2の上下左右に隣接する画素（画素データ）をａ2，ｂ2，ｃ2，ｄ2と、・・・、注目画素（画素データ）ｘnの上下左右に隣接する画素（画素データ）をａn，ｂn，ｃn，ｄnと、それぞれする。この場合、上述の処理により、メモリ２３の、クラスＣｌａｓｓに対応するアドレスには、ｘ1，ｘ2，・・・，ｘn，ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄnの各画素データが記憶される。
【００７０】
学習用の全画素動画像から得られるすべてのブロック（クラスタップ）についてのクラスタリングが終了すると、スイッチ２５は端子２５ｂを選択する。端子２５ｂには、カウンタ２６の出力が供給されるようになされており、カウンタ２６は、所定のクロックＣＫをカウントすることにより、順次変化するアドレスを発生するようになされている。従って、カウンタ２６が発生するアドレスは、スイッチ２５を介して出力される。
【００７１】
カウンタ２６からスイッチ２５を介して出力されるアドレスは、データメモリ２３のアドレス端子ＡＤと、メモリ２８のアドレス端子ＡＤとに供給される。
【００７２】
データメモリ２３においては、そのアドレス端子ＡＤに供給される、カウンタ２６からのアドレスにしたがって、その記憶内容（注目画素（画素データ）とそれに隣接する４つの画素（画素データ））が読み出され、最小自乗法演算回路２７に供給される。最小自乗法演算回路２７では、データメモリ２３から供給されるデータに基づいて、方程式がたてられ、これが、例えば、最小自乗法によって解かれることにより、予測データとしての係数のセットｗ1乃至ｗ4が求められる。
【００７３】
即ち、上述のクラスＣｌａｓｓに注目した場合、最小自乗法演算回路２７では、データメモリ２３の、クラスＣｌａｓｓに対応するアドレスに記憶されたデータｘ1，ｘ2，・・・，ｘn，ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄnを用いて、式（１）に対応する、以下のような連立方程式がたてられる。
0004126709.tif 000002
【００７４】
そして、最小自乗法演算回路２７は、式（２）の連立方程式を、最小自乗法によって解くことにより、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ4を求める。他のクラスについての予測データも同様にして求められる。
【００７５】
最小自乗法演算回路２７で求められた予測データとしての係数のセットｗ1乃至ｗ4は、メモリ２８に供給される。従って、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ4は、メモリ２３において、データｘ1，ｘ2，・・・，ｘn，ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄnが記憶されていたアドレスと同一のメモリ２８のアドレスに記憶される。他のクラスについての予測データとしての係数のセットも、同様にして、メモリ２８に記憶される。
【００７６】
図１のメモリ１３には、以上のようにしてメモリ２８に記憶された予測データが記憶されている。
【００７７】
次に、図１のメモリ１３には、予測データとして、式（１）に示した線形一次式を計算するための係数のセットではなく、画素値そのものを記憶させておくようにすることができる。
【００７８】
図１１は、画素値を予測データとしてメモリ１３に記憶させる場合の、その予測データを求める学習装置の第２の実施の形態の構成例を示している。なお、図中、図１０における場合と対応する部分については、同一の符号を付してある。
【００７９】
入力端子２１には、学習用の全画素動画像が入力され、その全画素動画像のフレームは、ブロック化回路２２に供給される。ブロック化回路２２は、そこに供給されたフレームを構成する画素から、図１０における場合と同様にブロック（クラスタップ）を構成し、クラスタリング回路２４に供給する。さらに、ブロック化回路２２は、注目間引き画素ｘとなる注目画素（画素データ）だけを演算器３４に供給する。
【００８０】
クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、そこに供給されるブロック（クラスタップ）をクラスタリングし、その結果得られるクラスを、データメモリ３０のアドレス端子ＡＤと、度数メモリ３１のアドレス端子ＡＤとに供給する。
【００８１】
ここで、データメモリ３０および度数メモリ３１は、学習を開始する前に、その記憶内容が０にクリアされるようになされている。
【００８２】
度数メモリ３１では、そのアドレス端子ＡＤに、アドレスとしてのクラスが供給されると、そのアドレスの記憶内容としての度数が読み出され、その出力端子ＯＵＴから出力される。度数メモリ３１から出力された度数は、演算器３２に供給され、１だけインクリメントされる。このインクリメント結果は、度数メモリ３１の入力端子ＩＮに供給され、インクリメント前の度数が記憶されていたアドレスに記憶される（上書きされる）。
【００８３】
一方、データメモリ３０では、そのアドレス端子ＡＤに、アドレスとしてのクラスが供給されると、やはり、そのアドレスの記憶内容が読み出され、その出力端子ＯＵＴから出力される。データメモリ３０の出力は、演算器３３に供給される。演算器３３には、さらに、度数メモリ３１が出力する度数も供給されており、そこでは、この度数と、データメモリ３０の出力とが乗算される。この乗算結果は、演算器３４に供給される。
【００８４】
演算器３４では、演算器３３における乗算結果と、ブロック化回路２２からの注目画素（画素データ）の画素値とが加算され、その加算値は、演算器３５に供給される。演算器３５には、さらに、演算器３２による度数のインクリメント結果も供給されており、そこでは、演算器３４の加算結果を被除数とするとともに、加算器３２のインクリメント結果を除数として、除算が行われる。この除算結果は、データメモリ３０の入力端子ＩＮに供給され、クラスタリング回路２４が出力するクラスに対応するアドレスに記憶される（上書きされる）。
【００８５】
図１１の学習装置において、データメモリ３０および度数メモリ３１のあるアドレスａｄへのアクセスが最初に行われる場合には、ブロック化回路２２から演算器３４に供給されるデータｘ１がそのまま、データメモリ３０のアドレスａｄに書き込まれ、また、度数メモリ３１のアドレスａｄには、１が書き込まれる。その後、再度、アドレスａｄへのアクセスが行われ、このときにブロック化回路２２から演算器３４に供給されるデータがｘ２であったとすると、演算器３２の出力は２となり、また、演算器３４の出力はｘ１＋ｘ２となるから、演算器３５の出力は（ｘ１＋ｘ２）／２となり、これが、データメモリ３０のアドレスａｄに書き込まれる。そして、度数メモリ３１のアドレスａｄには、演算器３２の出力である２が書き込まれる。さらに、再び、アドレスａｄへのアクセスが行われ、このときにブロック化回路２２から演算器３４に供給されるデータがｘ３であったとすると、同様の処理により、データメモリ３０のアドレスａｄには、（ｘ１＋ｘ２＋ｘ３）／３が書き込まれ、度数メモリ３１のアドレスａｄには、３が書き込まれる。
【００８６】
以上のようにして、データメモリ３０には、各クラスに分類される注目画素（画素データ）の画素値の平均値が記憶される。
【００８７】
なお、図１のメモリ１３に、データメモリ３０に記憶された画素値を、予測用データとして記憶させる場合には、その予測用データとしての画素値を、メモリ１３から読み出すことが、間引き画素を予測することになるから、補間データ作成回路１４は設ける必要がなくなる。
【００８８】
ところで、上述の場合には、図１のブロック化回路１１において、図７に示したように、注目間引き画素ｘの空間方向の上下左右に隣接する４つの間引き後画素（画素データ）ａ，ｂ，ｃ，ｄで１つのブロック（クラスタップ及び予測タップ）を構成するようにしたが、ブロックは、注目間引き画素ｘの時間方向に隣接する間引き後画素も含めて構成することが可能である。
【００８９】
即ち、例えば、図１２に示すように、第ｎフレームのある注目間引き画素ｘについてブロックを構成する場合においては、同一フレーム内の上下左右に隣接する４つの間引き後画素（画素データ）ａ，ｂ，ｃ，ｄ、並びに第ｎ−１フレームの、注目間引き画素ｘと同一位置にある間引き後画素（画素データ）ｅ、および第ｎ＋１フレームの、注目間引き画素ｘと同一位置にある間引き後画素（画素データ）ｆの合計６画素（画素データ）でブロック（クラスタップ及び予測タップ）を構成することが可能である。
【００９０】
この場合、時間方向の間引き後画素（画素データ）ｅ，ｆをも考慮してクラスタリングや、式（１）の演算が行われるので、間引き画素ｘを、より元のものに近いものに復元することが可能となる。なお、この場合、学習時においても、同様にブロックを構成する必要がある。また、ブロック（クラスタップや予測タップ）は、注目間引き画素ｘの時間方向にある間引き後画素だけで構成することも可能である。
【００９１】
また、本実施の形態では、ある間引き画素に注目した場合において、クラスタリングに用いる間引き後画素と、式（１）に示した線形一次式を計算するのに用いる間引き後画素（予測タップ）とを同一のものとしたが、これらは、同一である必要はない。即ち、クラスタリングと式（１）の演算とには、それぞれ別々の間引き後画素の集合を用いることができる。さらに、画像の空間的な特徴（アクティビティ）や動き等に応じてクラスタップや予測タップの構成の仕方を適応的に変えることも可能である。
【００９２】
また、クラスタリングに用いる間引き後画素（クラスタップ）や、式（１）に示した線形一次式を計算するのに用いる間引き後画素（予測タップ）は、間引き画素に対して、空間的または時間的に隣接している必要はない。但し、間引き画素の周辺にある間引き後画素を用いるのが望ましい。
【００９３】
また、図１のクラスタリング回路１２では、ＡＤＲＣ処理を用い、その結果得られる空間的なアクティビティに基いてクラスを決定するようにしたが、その他、例えば、ブロックの動きを検出し、その動きをクラスに用いたり、ＡＤＲＣ処理と動き検出の組み合せに基いてクラスを決定することも可能である。
【００９４】
さらに、本実施の形態では、受信装置２００において、間引き画素のみを生成することとしたが、同様の手法で、間引き後画素をも新たに生成することが可能である。この場合、合成回路１０は必要なくなる。
【００９５】
また、本実施の形態において、動画像を構成する各フレームの各画素が８ビットであるとしたが、画素のビット数は８ビットに限定されるものではなく、１０ビット、１２ビットなどの８ビットより多いビットでもよいし、もちろん、８ビットより少ないビットでもいい。
【００９６】
次に、以上では、受信装置２００において、学習を行うことにより得られた予測用データを用いて、間引き画素を予測するようにしたので、間引き後画素で構成される画像に含まれていない高周波成分も復元することができるが、間引き画素の復元は、単純な補間によって行うことも可能である。
【００９７】
図１３は、そのような送受信システムの第２の実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。即ち、この送受信システムは、ブロック化回路１１、クラスタリング回路１２、メモリ１３、および補間データ作成回路１４に代えて、補間フィルタ４０が設けられている他は、図１の送受信システムと同様に構成されている。
【００９８】
補間フィルタ４０では、デコーダ９からの間引き後画素（画素データ）のうち、間引き画素の周辺にある間引き後画素（画素データ）の平均値などが求められ、これが、その間引き画素（画素データ）の補間値として、合成回路１０に出力される。
【００９９】
なお、この場合、図１における場合のように、間引き後画素（画素データ）で構成される画像データに含まれていない高周波成分を復元することはできないが、受信装置２００の構成を簡単化することができる。
【０１００】
次に、図１４は、本発明を適用した送受信システムの第３の実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。
【０１０１】
この第３の実施の形態の送受信システムは、送信装置１００と受信装置２００とで構成されている。送信装置１００は、入力端子１、サブサンプリング回路２、ビット落とし回路５１、エンコーダ３、送信処理回路４、および出力端子５で構成され、画像データの画素を間引き、さらに間引き後の画素のレベル方向のビットを減らすことにより圧縮して送信するようになされている。受信装置２００は、入力端子７、受信処理回路８、デコーダ９、ブロック化回路５２、クラスタリング回路５３、メモリ５４、画素データ作成回路５５、画像メモリ５６、合成回路１０、ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４、および出力端子１５で構成され、送信装置１００からの圧縮された画像データを伸張するようになされている。
【０１０２】
即ち、送信装置１００には、例えば、第１の実施の形態における場合と同様に、各フレームが構成される動画像（全画素動画像）のディジタル画像データが供給される。なお、このディジタル画像データを構成する各画素は、例えば１２ビットである（１２ビットで表される）とする。このディジタル画像データは、入力端子１を介して、サブサンプリング回路２に供給される。サブサンプリング回路２では、図１で示される第１の実施の形態における場合と同様に、そこに供給されるディジタル画像データとしての動画像を構成する各フレームの画素が、例えば、図２に示したように、空間方向および時間方向の両方向に、五の目格子状に間引かれることにより圧縮される。つまり、全画素動画像の各フレームについて、空間方向および時間方向の両方向に、五の目格子状に間引き（空間／時間五の目間引き）が行われることにより、空間方向および時間方向のいずれの方向にも、画素が１つおきに存在する間引き画像データが生成される。サブサンプリング回路２において空間／時間五の目間引きの施された間引き後画素（画素データ）からなる間引き画像データは、ビット落とし回路５１に供給される。
【０１０３】
ビット落とし回路５１は、サブサンプリング回路２から供給された間引き画像データの各画素（画素データ）の１２ビットのうち、例えば、ＬＳＢ（Least Significant Bit）から４ビット分のビット（下位４ビット）を削除して、８ビットのビット修正画素（画素データ）を生成する。そして、この各ビット修正画素(画素データ)からなる修正間引き画像データが、エンコーダ３に供給される。
【０１０４】
エンコーダ３では、図３に示される第１の実施の形態と同様に、修正間引き画像データが高能率符号化され、符号化データとして送信処理回路４に供給される。送信処理回路４では、図３に示される第１の実施の形態と同様に、符号化データに対して、例えば、エラー訂正、パケット化、チャネル符号化などの必要な信号処理が施され、その結果得られる伝送データが、出力端子５を介して出力される。この伝送データは、同様に、所定の伝送路６を介して送信される。
【０１０５】
伝送路６からの伝送データは、受信装置２００の入力端子７を介して、受信処理回路８で受信される。受信処理回路８では、伝送データに対して、チャネル復号化、アンパケット化、エラー訂正などの必要な信号処理が施され、その結果得られる符号化データが、デコーダ９に供給される。デコーダ９では、送信装置の１００のエンコーダ３の符号化処理と対応する復号処理でその符号化データがデコードされることにより、ビット修正画素（画素データ）で構成される修正間引き画像データとされ、ブロック化回路５２に供給される。
【０１０６】
ブロック化回路５２は、例えば、図１５に示すように、注目すべきビット修正画素ｘ’と、その空間方向の上下左右及び斜めに隣接する８つのビット修正画素（画素データ）Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈとを１つのブロックにし、このブロックを、クラスタップおよび予測タップとする。クラスタップはクラスタリング回路５３に、予測タップは画素データ作成回路５５に、それぞれ供給される。なお、ブロック化回路５２は、すべてのビット修正画素について、その上下左右及び斜めに隣接するビット修正画素（画素データ）でなるブロックを構成し、そのブロックを、クラスタップとしてクラスタリング回路５３に供給するとともに、予測タップとして補間データ作成回路５５にも供給する。なお、ここでは、クラスタップと予測タップは同一のものとしているが、異なるものとすることも可能である。
【０１０７】
クラスタリング回路５３は、ブロック化回路５２からのクラスタップを、それを構成するビット修正画素の性質に応じて所定のクラスにクラスタリングする。クラスタリングについては、第１の実施の形態を説明する際に図８及び図９を用いて説明したため、ここではその説明は省略する。
【０１０８】
クラスタリング回路５３は、ブロック（クラスタップ）を構成する９つのビット修正画素(画素データ)ｘ’およびＡ乃至Ｈに対して、例えば、１ビットＡＤＲＣ処理を施し、注目ビット修正画素ｘ’に対するクラスを表す９ビット（＝log2（２1）9のクラスコードを発生する。
【０１０９】
クラスタリング回路５３のクラスタリングにより得られるクラスは、メモリ５４に対して、アドレスとして与えられる。メモリ５４は、８ビットに修正されたビット修正画素ｘ’から元の１２ビットの画素を予測するための予測データを、クラスごとに記憶しており、クラスタリング回路５３からアドレスとしてのクラスが与えられると、そのクラスに対応する予測データを読み出し、画素データ作成回路５５に供給する。
【０１１０】
ここで、いまの場合、メモリ５４においては、例えば、所定の位置の注目ビット修正画素ｘ’を、その上下左右に隣接するビット修正画素（画素データ）Ａ乃至Ｈ（図１５）（予測タップ）を用いた線形一次式により予測するための、その線形一次式の係数のセットｗ1，ｗ2，ｗ3，ｗ4，ｗ5，ｗ6，ｗ7，ｗ8，ｗ9が、予測データとして記憶されている。従って、メモリ５５から画素データ作成回路５５には、注目ビット修正画素ｘ’に対するクラスに対応する係数のセットｗ1乃至ｗ9が、予測データとして供給される。
【０１１１】
画素データ作成回路５５は、予測データとしての係数のセットｗ1乃至ｗ9を受信すると、その予測データとしての係数のセットｗ1乃至ｗ9と、ブロック化回路１１から供給されたブロック（予測タップ）を構成するビット修正画素（画素データ）の画素値ｘ’およびＡ乃至Ｈとを用いて、次の線形一次式を演算することにより、８ビットの注目ビット修正画素ｘ’とする前の、元の１２ビットの画素（画素データ）ｘを生成（予測）する。
ｘ＝ｗ1Ａ＋ｗ2Ｂ＋ｗ3Ｃ…＋ｗ8Ｈ＋ｗ9ｘ’・・・（３）
【０１１２】
画素データ作成回路５５で求められた画素ｘは、画像メモリ５６に供給されて記憶される。以上の処理が、例えば１フレームにおいて行われて、ぞれぞれ生成された画素データが画像メモリに記憶される。この画像メモリ５６に記憶された画素からなる画像データは、送信装置１００のサブサンプリング回路２の出力である間引き画像データとほぼ同一の間引き画像データとして復元される。
【０１１３】
また、画像メモリ５６に記憶された間引き画像データは、図１に示される第１の実施の形態の受信装置２００のデコーダ９から出力された間引き画像データと同様のものであり、第３の実施の形態においても、画像メモリ５６に記憶された間引き画像データは、図１に示される第１の実施の形態と同様に、間引き画素が生成され、画像データが復元される。この結果、出力端子１５からは、全画素動画像を構成するフレームのデータが出力される。なお、図１４に示される第３の実施の形態の受信装置２００の合成回路１０、ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４の構成及び動作は、第１の実施の形態と同様であるため、ここではその説明を省略する。
【０１１４】
次に、８ビットのビット修正画素（画素データ）ｘ’から１２ビットの復元画素（画素データ）ｘを求めるのに、式（３）の線形一次式を構成する予測データとしての係数のセットｗ1乃至ｗ9は、学習により求められるようになされている。
【０１１５】
図１６は、８ビットのビット修正画素（画素データ）ｘ’から１２ビットの復元画素（画素データ）ｘを求めるための予測データとしての係数のセットｗ1乃至ｗ9を求めるための学習を行う学習装置の一実施の形態の構成例を示している。
【０１１６】
入力端子２１には、各画素が１２ビットである学習用の全画素動画像が、例えば、フレーム単位で入力される。ここで、学習用の全画素動画像は、予測データの係数のセットｗ1乃至ｗ9の作成を考慮した標準的なものであるのが望ましい。
【０１１７】
入力端子６１に入力された全画素動画像のフレームは、ブロック化及びビット落とし回路６２に供給される。ブロック化及びビット落とし回路６２は、そこに供給されたフレームを構成する画素から、図１５に示した所定の注目ビット修正画素ｘ’に対応する１２ビットの画素ｘを注目画素（画素データ）として、注目画素ｘと、ビット修正画素（画素データ）Ａ乃至Ｈに対応する１２ビットの画素（画素データ）との合計９画素を選択する。さらに、ブロック化及びビット落とし回路６２は、この選択された９つの画素（画素データ）の各画素の１２ビットのうち、ＬＳＢから４ビット分、即ち、下位４ビットを削除して、８ビットのビット修正画素（画素データ）を生成する。そして、ブロック化及びビット落とし回路６２は、その生成された８つのビット修正画素（画素データ）でブロックを構成し、クラスタップとして、クラスタリング回路６４に供給する。さらに、ブロック化及びビット落とし回路６２は、そのブロックを構成する９つのビット修正画素（画素データ）に、注目画素（画素データ）ｘを加えた合計１０画素（画素データ）を、データメモリ２３の入力端子ＩＮに供給する。
【０１１８】
クラスタリング回路６４は、図１４のクラスタリング回路５３と同様に、そこに供給されるブロック（クラスタップ）を用いてクラスタリングを行い、その結果得られるクラスを、スイッチ６５の端子６５ａに供給する。ここで、スイッチ６５は、学習用の全画素動画像から得られるすべてのブロックについてのクラスタリングが終了するまでは、端子６５ａを選択しており、従って、クラスタリング回路６４が出力する各注目ビット修正画素に対するクラスは、スイッチ６５を介して、データメモリ６３のアドレス端子ＡＤに供給される。
【０１１９】
データメモリ６３は、そのアドレス端子ＡＤに供給されるクラスに対応するアドレスに、その入力端子ＩＮに供給される画像データを記憶する。
【０１２０】
ここで、例えば、学習用の全画素動画像から得られるすべてのブロック（クラスタップ）のうち、所定のクラスＣｌａｓｓに分類されるものについての注目ビット修正画素（画素データ）をｘ1’，ｘ2’，・・・，ｘn’とする。また、注目ビット修正画素ｘ1の上下左右及び斜めに隣接するビット修正画素（画素データ）をＡ1，Ｂ1，Ｃ1，Ｄ1，Ｅ1，Ｆ1，Ｇ1，Ｈ1と、注目ビット修正画素（画素データ）ｘ2の上下左右及び斜めに隣接するビット修正画素（画素データ）をＡ2，Ｂ2，Ｃ2，Ｄ2，Ｅ2，Ｆ2，Ｇ2，Ｈ2と、・・・、注目ビット修正画素（画素データ）ｘnの上下左右及び斜めに隣接するビット修正画素（画素データ）をＡn，Ｂn，Ｃn，Ｄn，Ｅn，Ｆn，Ｇn，Ｈnと、それぞれする。また、８ビットの注目ビット修正画素ｘ1’，ｘ2’，・・・，ｘn’とする前の、元の１２ビットの画素を、ｘ1，ｘ2，・・・，ｘnとする。この場合、上述の処理により、メモリ６３の、クラスＣｌａｓｓに対応するアドレスには、ｘ1，ｘ2，・・・，ｘn，ｘ1’，ｘ2’，・・・，ｘn’，Ａ1，Ａ2，・・・，Ａn，Ｂ1，Ｂ2，・・・，Ｂn，Ｃ1，Ｃ2，・・・，Ｃn，Ｄ1，Ｄ2，・・・，Ｄn，Ｅ1，Ｅ2，・・・，Ｅn，Ｆ1，Ｆ2，・・・，Ｆn，Ｇ1，Ｇ2，・・・，Ｇn，Ｈ1，Ｈ2，・・・，Ｈnの各画素データが記憶される。
【０１２１】
学習用の全画素動画像から得られるすべてのブロック（クラスタップ）についてのクラスタリングが終了すると、スイッチ６５は端子６５ｂを選択する。端子６５ｂには、カウンタ６６の出力が供給されるようになされており、カウンタ６６は、所定のクロックＣＫをカウントすることにより、順次変化するアドレスを発生するようになされている。従って、カウンタ６６が発生するアドレスは、スイッチ６５を介して出力される。
【０１２２】
カウンタ６６からスイッチ６５を介して出力されるアドレスは、データメモリ６３のアドレス端子ＡＤと、メモリ６８のアドレス端子ＡＤとに供給される。
【０１２３】
データメモリ６３においては、そのアドレス端子ＡＤに供給される、カウンタ６６からのアドレスにしたがって、その記憶内容（注目画素ｘ、その注目ビット修正画素ｘ’、及びそれに隣接するビット修正画素Ａ乃至Ｈ）が読み出され、最小自乗法演算回路６７に供給される。最小自乗法演算回路６７では、データメモリ６３から供給されるデータに基づいて、方程式がたてられ、これが、例えば、最小自乗法によって解かれることにより、予測データとしての係数のセットｗ1乃至ｗ9が求められる。
【０１２４】
即ち、上述のクラスＣｌａｓｓに注目した場合、最小自乗法演算回路６７では、データメモリ６３の、クラスＣｌａｓｓに対応するアドレスに記憶されたデータｘ1，ｘ2，・・・，ｘn，ｘ1’，ｘ2’，・・・，ｘn’，Ａ1，Ａ2，・・・，Ａn，Ｂ1，Ｂ2，・・・，Ｂn，Ｃ1，Ｃ2，・・・，Ｃn，Ｄ1，Ｄ2，・・・，Ｄn，Ｅ1，Ｅ2，・・・，Ｅn，Ｆ1，Ｆ2，・・・，Ｆn，Ｇ1，Ｇ2，・・・，Ｇn，Ｈ1，Ｈ2，・・・，Ｈnを用いて、式（１）に対応する、以下のような連立方程式がたてられる。
0004126709.tif 000003
【０１２５】
そして、最小自乗法演算回路６７は、式（４）の連立方程式を、最小自乗法によって解くことにより、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ9を求める。他のクラスについての予測データも同様にして求められる。
【０１２６】
最小自乗法演算回路６７で求められた予測データとしての係数のセットｗ1乃至ｗ9は、メモリ６８に供給される。従って、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ9は、メモリ６３において、データｘ1，ｘ2，・・・，ｘn，ｘ1’，ｘ2’，・・・，ｘn’，Ａ1，Ａ2，・・・，Ａn，Ｂ1，Ｂ2，・・・，Ｂn，Ｃ1，Ｃ2，・・・，Ｃn，Ｄ1，Ｄ2，・・・，Ｄn，Ｅ1，Ｅ2，・・・，Ｅn，Ｆ1，Ｆ2，・・・，Ｆn，Ｇ1，Ｇ2，・・・，Ｇn，Ｈ1，Ｈ2，・・・，Ｈnが記憶されていたアドレスと同一のメモリ６８のアドレスに記憶される。他のクラスについての予測データとしての係数のセットも、同様にして、メモリ６８に記憶される。
【０１２７】
図１４のメモリ５４には、以上のようにしてメモリ６８に記憶された予測データが記憶されている。なお、図１４のメモリ１３には、図１０の学習装置によって、各画素が１２ビットの学習用の全画素動画像を用いて学習が行われることにより得られる予測データとしての係数のセットが記憶されている。
【０１２８】
次に、図１４のメモリ５４には、図１のメモリ１３と同様に、予測データとして、式（３）に示した線形一次式を計算するための係数のセットではなく、画素値そのものを記憶させておくようにすることができる。
【０１２９】
図１７は、画素値を予測データとしてメモリ５４に記憶させる場合の、その予測データを求める学習装置の一実施の形態の構成例を示している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してある。
【０１３０】
入力端子６１に入力された全画素動画像のフレームは、ブロック化及びビット落とし回路回路６２に供給される。ブロック化及びビット落とし回路６２は、そこに供給されたフレームを構成する画素から、図１６における場合と同様に、注目ビット修正画素ｘ’及びそれに隣接するビット修正画素Ａ乃至Ｈからなるブロック（クラスタップ）を構成し、クラスタリング回路６４に供給する。さらに、ブロック化及びビット落とし回路６２は、注目ビット修正画素ｘ’に対応する元の１２ビットの注目画素（画素データ）ｘだけを演算器７４に供給する。
【０１３１】
クラスタリング回路６４は、図１６における場合６２と同様に、ブロック化及びビット落とし回路６２から供給されるブロック（クラスタップ）をクラスタリングし、その結果得られるクラスを、データメモリ７０のアドレス端子ＡＤと、度数メモリ７１のアドレス端子ＡＤとに供給する。
【０１３２】
ここで、データメモリ７０および度数メモリ７１は、学習を開始する前に、その記憶内容が０にクリアされるようになされている。
【０１３３】
度数メモリ７１では、そのアドレス端子ＡＤに、アドレスとしてのクラスが供給されると、そのアドレスの記憶内容としての度数が読み出され、その出力端子ＯＵＴから出力される。度数メモリ７１から出力された度数は、演算器７２に供給され、１だけインクリメントされる。このインクリメント結果は、度数メモリ７１の入力端子ＩＮに供給され、インクリメント前の度数が記憶されていたアドレスに記憶される（上書きされる）。
【０１３４】
一方、データメモリ７０では、そのアドレス端子ＡＤに、アドレスとしてのクラスが供給されると、やはり、そのアドレスの記憶内容が読み出され、その出力端子ＯＵＴから出力される。データメモリ７０の出力は、演算器７３に供給される。演算器７３には、さらに、度数メモリ７１が出力する度数も供給されており、そこでは、この度数と、データメモリ７０の出力とが乗算される。この乗算結果は、演算器７４に供給される。
【０１３５】
演算器７４では、演算器７３における乗算結果と、ブロック化及びビット落とし回路６２からの注目画素（画素データ）ｘの画素値とが加算され、その加算値は、演算器７５に供給される。演算器７５には、さらに、演算器７２による度数のインクリメント結果も供給されており、そこでは、演算器７４の加算結果を被除数とするとともに、加算器７２のインクリメント結果を除数として、除算が行われる。この除算結果は、データメモリ７０の入力端子ＩＮに供給され、クラスタリング回路６４が出力するクラスに対応するアドレスに記憶される（上書きされる）。
【０１３６】
図１７の学習装置において、データメモリ７０および度数メモリ７１のあるアドレスａｄへのアクセスが最初に行われる場合には、ブロック化及びビット落とし回路６２から演算器７４に供給されるデータｘ１がそのまま、データメモリ６０のアドレスａｄに書き込まれ、また、度数メモリ７１のアドレスａｄには、１が書き込まれる。その後、再度、アドレスａｄへのアクセスが行われ、このときにブロック化及びビット落とし回路６２から演算器７４に供給されるデータがｘ２であったとすると、演算器７２の出力は２となり、また、演算器７４の出力はｘ１＋ｘ２となるから、演算器７５の出力は（ｘ１＋ｘ２）／２となり、これが、データメモリ７０のアドレスａｄに書き込まれる。そして、度数メモリ７１のアドレスａｄには、演算器７２の出力である２が書き込まれる。さらに、再び、アドレスａｄへのアクセスが行われ、このときにブロック化及びビット落とし回路６２から演算器７４に供給されるデータがｘ３であったとすると、同様の処理により、データメモリ７０のアドレスａｄには、（ｘ１＋ｘ２＋ｘ３）／３が書き込まれ、度数メモリ７１のアドレスａｄには、３が書き込まれる。
【０１３７】
以上のようにして、データメモリ７０には、各クラスに分類される注目ビット修正画素に対応する元の１２ビットの画素値の平均値が記憶される。
【０１３８】
なお、図１４のメモリ５４に、データメモリ７０に記憶された画素値を、予測用データとして記憶させる場合には、その予測用データとしての画素値を、メモリ５４から読み出すことが、注目ビット修正画素の元の１２ビットの画素値を予測することになるから、画素データ作成回路５５は設ける必要がなくなる。
【０１３９】
ところで、上述の場合には、図１４のブロック化回路５２や、図１６、図１７のブロック化及びビット落とし回路６２において、図１５に示したように、注目ビット修正画素ｘ’と、その空間方向の上下左右及び斜めに隣接する８つのビット修正画素（画素データ）Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈとで１つのブロック（クラスタップ、予測タップ）を構成するようにしたが、ブロックは、注目ビット修正画素ｘ’の時間方向に隣接するビット修正画素も含めて構成することが可能である。この場合、時間方向のビット修正画素（画素データ）をも考慮してクラスタリングや、式（３）の演算が行われるので、注目ビット修正画素ｘ’を、より元の値に近い１２ビットの画素値に復元することが可能となる。なお、この場合、学習時においても、同様にブロックを構成する必要がある。また、ブロック（クラスタップや予測タップ）は、注目ビット修正画素ｘの時間方向にあるビット修正画素だけで構成することも可能である。
【０１４０】
さらに、上述の場合には、ある注目ビット修正画素について、クラスタリングに用いるビット修正画素（クラスタップ）と、式（３）に示した線形一次式を計算するのに用いるビット修正画素（予測タップ）とを同一のものとしたが、これらは、同一である必要はない。即ち、クラスタリングと式（３）の演算とには、それぞれ別々のビット修正画素の集合を用いることができる。なお、画像の空間的な特徴（アクティビティ）や動き等に応じてクラスタップや予測タップの構成の仕方を適応的に変えてもよい。
【０１４１】
また、クラスタリングに用いるビット修正画素や、式（３）に示した線形一次式を計算するのに用いるビット修正画素は、注目ビット修正画素に対して、空間的または時間的に隣接している必要はない。但し、注目ビット修正画素の周辺にあるビット修正画素を用いるのが望ましい。
【０１４２】
さらに、注目ビット修正画素のクラスは、ＡＤＲＣ処理を用いて空間的なアクティビティに基いて決定する他、例えば、ブロックの動きを検出してその動きに対応して決めてもよいし、ＡＤＲＣ処理と動き検出の組み合せに基いて決定するようにしてもよい。
【０１４３】
また、ビット修正画素を対象とする場合において、動画像を構成する各フレームの各画素のビット数は１２ビットに限定されるものではなく、例えば、８ビット、１０ビット、１６ビットなどの別のビットでもいい。
【０１４４】
なお、画像メモリ５６からの画像データを処理する後続する回路（ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４、合成回路１０）に対する変形例は図１における場合と同様であるため、ここでの記載は省略する。
【０１４５】
以上のように、動画像を構成する各フレームの画素が、空間方向および時間方向の両方向に、五の目格子状に間引かれるので、動画像の水平、垂直、および斜め方向の解像度を維持しながら、その情報量を低減することが可能となる。
【０１４６】
また、動画像を構成する各フレームの画素を、空間方向および時間方向の両方向に、五の目格子状に間引くことにより得られる間引き後画素から元の画像が生成されるので、画質の劣化の少ない画像を得ることが可能となる。
【０１４７】
さらに、動画像を構成する各フレームの画素が、空間方向および時間方向の両方向に、五の目格子状に間引かれ、間引き画素の各画素のビットがさらにビット間引きされる場合においては、動画像の水平、垂直、および斜め方向の解像度を維持しながら、その情報量を、より低減することが可能となる。
【０１４８】
また、動画像を構成する各フレームの画素を、空間方向および時間方向の両方向に、五の目格子状に間引き、間引き後画素の各画素のビットをさらにビット間引きすることにより得られる間引き後画素から元の画像が生成される場合には、画質の劣化の少ない画像を得ることが可能となる。
【０１４９】
従って、ディジタル画像データを伝送し、そのディジタル画像データを復元する際に、画質劣化が少ない新しい画像フォーマットを提供することができる。
【０１５０】
以上、本発明を適用した送受信システムについて説明したが、このような送受信システムは、テレビジョン放送は勿論、画像を記録／再生する場合などにも用いることができる。
【０１５１】
【発明の効果】
本発明によれば、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データが生成される。従って、動画像の水平、垂直、および斜め方向の解像度を維持しながら、その情報量を低減することが可能となる。
【０１５２】
本発明によれば、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データが伝送される。従って、その間引き画像データから、画質の劣化の少ない画像を得ることが可能となる。
【０１５３】
本発明によれば、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データを用いて、間引かれた画素が生成され、元の画像データが復元される。従って、画質の劣化の少ない画像を得ることが可能となる。
【０１５４】
本発明によれば、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらにその画素のレベル方向のビット間引きすることより得られた修正間引き画像データの各画素のレベルを元の画素値に戻すことにより間引き画像データが生成される。さらに、その間引き画像データを用いて、間引かれた画素が生成され、元の画像データが復元される。従って、画質の劣化の少ない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した送受信システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１のサブサンプリング回路２の処理を説明するための図である。
【図３】図１のサブサンプリング回路２の処理を説明するための図である。
【図４】図１のサブサンプリング回路２の処理を説明するための図である。
【図５】図１のサブサンプリング回路２が出力する画像の空間周波数帯域を示す図である。
【図６】単純な五の目間引きを行って得られる画像の空間周波数帯域を示す図である。
【図７】図１のブロック化回路１１の処理を説明するための図である。
【図８】図１のクラスタリング回路１２の処理を説明するための図である。
【図９】クラスタリングに利用するＡＤＲＣを説明するための図である。
【図１０】図１のメモリ１３に記憶させる予測データを求める学習装置の第１実施の形態の構成例を示すブロック図である。
【図１１】図１のメモリ１３に記憶させる予測データを求める学習装置の第２実施の形態の構成例を示すブロック図である。
【図１２】図１のブロック化回路１１の処理を説明するための図である。
【図１３】本発明を適用した送受信システムの第２実施の形態の構成例を示すブロック図である。
【図１４】本発明を適用した送受信システムの第３実施の形態の構成例を示すブロック図である。
【図１５】図１４のクラスタリング回路５３の処理を説明するための図である。
【図１６】図１４のメモリ５４に記憶させる予測データを求める学習装置の第１実施の形態の構成例を示すブロック図である。
【図１７】図１４のメモリ５４に記憶させる予測データを求める学習装置の第２実施の形態の構成例を示すブロック図である。
【図１８】インターレース間引きがされる前の画像を示す図である。
【図１９】インターレース間引きがされる後の画像を示す図である。
【符号の説明】
１  入力端子，  ２  サブサンプリング回路，  ３  エンコーダ，  ４  送信処理装置，  ５  出力端子，  ６  伝送路，  ７  入力端子，  ８  受信処理回路，  ９  デコーダ，  １０  合成回路，  １１  ブロック化回路，  １２  クラスタリング回路，  １３  メモリ，  １４  補間データ作成回路，  １５  出力端子，  ２１  入力端子，  ２２  ブロック化回路，  ２３  データメモリ，２４  クラスタリング回路，  ２５  スイッチ，  ２５ａ，２５ｂ  端子，  ２６  カウンタ，  ２７  最小自乗法演算回路，  ２８  メモリ，  ３０  データメモリ，  ３１  度数メモリ，  ３２乃至３５  演算器，  ４０  補間フィルタ，  ５１  ビット落とし回路，５２  ブロック化回路，  ５３  クラスタリング回路，  ５４  メモリ，  ５５  画素データ作成回路，  ５６  画像メモリ，１００  送信装置，  ２００  受信装置，  ６２  ブロック化及びビット落とし回路，  ６３  データメモリ，  ６４  クラスタリング回路，  ６５  スイッチ，  ６５ａ，６５ｂ  端子，  ６６  カウンタ，  ６７  最小自乗法演算回路，  ６８  メモリ，７０  データメモリ，  ７１  度数メモリ，  ７２乃至７５演算器，  １００  送信装置，  ２００  受信装置
【図１】
0004126709.tif 000004
【図２】
0004126709.tif 000005
【図３】
0004126709.tif 000006
【図４】
0004126709.tif 000007
【図５】
0004126709.tif 000008
【図６】
0004126709.tif 000009
【図７】
0004126709.tif 000010
【図８】
0004126709.tif 000011
【図９】
0004126709.tif 000012
【図１０】
0004126709.tif 000013
【図１１】
0004126709.tif 000014
【図１２】
0004126709.tif 000015
【図１３】
0004126709.tif 000016
【図１４】
0004126709.tif 000017
【図１５】
0004126709.tif 000018
【図１６】
0004126709.tif 000019
【図１７】
0004126709.tif 000020
【図１８】
0004126709.tif 000021
【図１９】
0004126709.tif 000022