(57)【特許請求の範囲】
【請求項１】
第１の画像データを、上記第１の画像データより低質な第２の画像データに変換する画像データ変換装置において、
上記第１の画像データから、上記第２の画像データとほぼ同質な中間画像データを生成する中間画像データ生成部と、
上記中間画像データを記憶する記憶部と、
上記中間画像データから、一画面中の一部であるブロック毎の複数の画素を抽出するブロック抽出部と、
生成され、または予め取得された予測係数を出力する予測係数生成部と、
上記予測係数と上記中間画像データと上記第１の画像データとに基づいて上記ブロック抽出部で抽出された中間画像データの複数の画素の画素値を一括して更新する画素値更新部と、
上記画素値更新部で画素値が更新された中間画像データと上記予測係数とに基づいて、上記第１の画像データとほぼ同質な予測画像データを生成する予測画像データ生成部と、
上記第１の画像データと上記予測画像データの誤差を検出する誤差検出部と、
上記誤差に基づいて、上記中間画像データを出力画像とするか否かを決定する制御部とを備えることを特徴とする画像データ変換装置。
【請求項２】
上記予測係数生成部は、上記ブロック抽出部で抽出された中間画像と上記抽出された中間画像データに対応する位置の第１の画像データとに基づいて予測係数を生成することを特徴とする請求項１に記載の画像データ変換装置。
【請求項３】
上記誤差検出部は、一画面分の上記第１の画像データと一画面分の上記予測画素データとの誤差を検出することを特徴とする請求項１に記載の画像データ変換装置。
【請求項４】
上記画素値更新部は、
上記予測係数と上記中間画像データと上記第１の画像データとに基づいて、正規方程式を生成する正規方程式生成部と、
上記正規方程式を解くことにより上記中間画像データの更新された画素値を決定する画素値決定部とを備えることを特徴とする請求項１に記載の画像データ変換装置。
【請求項５】
上記画素値決定部は、最小二乗法を用いて上記正規方程式を解くことを特徴とする請求項３に記載の画像データ変換装置。
【請求項６】
第１の画像データを、上記第１の画像データより低質な第２の画像データに変換する画像データ変換方法において、
第１の画像データから第２の画像データとほぼ同質な中間画像データを生成するステップと、
上記中間画像データから、一画面中の一部であるブロック毎の複数の画素を抽出するステップと、
生成され、または予め取得された予測係数を出力するステップと、  上記予測係数と上記中間画像データと上記第１の画像データとに基づいて上記ブロック抽出部で抽出された中間画像データの複数の画素の画素値を一括して更新するステップと、
上記画素値が更新された中間画像データと上記予測係数とに基づいて、上記第１の画像データとほぼ同質な予測画像データを生成するステップと、
上記第１の画像データと上記予測画像データの誤差を検出するステップと、
上記誤差に基づいて、上記中間画像データを出力画像とするか否かを決定するステップとを有することを特徴とする画像データ変換方法。
【請求項７】
第１の画像データを、上記第１の画像データより低質な第２の画像データに変換する時に、上記第２の画像データの画素値を学習する学習装置において、
上記第１の画像データから、上記第２の画像データとほぼ同質な中間画像データを生成する中間画像データ生成部と、
上記中間画像データを記憶する記憶部と、
上記中間画像データから、一画面中の一部であるブロック毎の複数の画素を抽出するブロック抽出部と、
生成され、または予め取得された予測係数を出力する予測係数生成部と、
上記予測係数と上記中間画像データと上記第１の画像データとに基づいて上記ブロック抽出部で抽出された中間画像データの複数の画素の画素値を一括して更新する画素値更新部と、
上記画素値更新部で画素値が更新された中間画像データと上記予測係数とに基づいて、上記第１の画像データとほぼ同質な予測画像データを生成する予測画像データ生成部と、
上記第１の画像データと上記予測画像データの誤差を検出する誤差検出部と、
上記誤差に基づいて、上記中間画像データを出力画像とするか否かを決定する制御部とを備え、
上記画素値更新部は、上記予測係数を生徒データとし、対応する上記第１の画像データを教師データとして、最小二乗法によって、上記中間画像データの画素値を更新することを特徴とする学習装置。
【請求項８】
第１の画像データを、上記第１の画像データより低質な第２の画像データに変換する時に、上記第２の画像データの画素値を学習する学習方法において、
第１の画像データから第２の画像データとほぼ同質な中間画像データを生成するステップと、
上記中間画像データから、一画面中の一部であるブロック毎の複数の画素を抽出するステップと、
生成され、または予め取得された予測係数を出力するステップと、
上記予測係数と上記中間画像データと上記第１の画像データとに基づいて抽出された中間画像データの複数の画素の画素値を一括して更新するステップと、
上記画素値が更新された中間画像データと上記予測係数とに基づいて、上記第１の画像データとほぼ同質な予測画像データを生成するステップと、
上記第１の画像データと上記予測画像データの誤差を検出するステップと、
上記誤差に基づいて、上記中間画像データを出力画像とするか否かを決定するステップとを備え、
画素値を更新するステップは、上記予測係数を生徒データとし、対応する上記第１の画像データを教師データとして、最小二乗法によって、上記中間画像データの画素値を更新することを特徴とする学習方法。
【請求項９】
第１の画像データを、上記第１の画像データより低質な第２の画像データに変換する画像データ変換するためのコンピュータ制御可能なプログラムが記録された記録媒体において、
上記プログラムは、
第１の画像データから第２の画像データとほぼ同質な中間画像データを生成するステップと、
上記中間画像データから、一画面中の一部であるブロック毎の複数の画素を抽出するステップと、
上記抽出された中間画像と上記抽出された中間画像データに対応する位置の第１の画像データとに基づいて予測係数を生成するステップと、
上記予測係数と上記中間画像データと上記第１の画像データとに基づいて上記抽出された中間画像データの複数の画素の画素値を一括して更新するステップと、
上記画素値が更新された中間画像データと上記予測係数とに基づいて、上記第１の画像データとほぼ同質な予測画像データを生成するステップと、
上記第１の画像データと上記予測画像データの誤差を検出するステップと、
上記誤差に基づいて、上記中間画像データを出力画像とするか否かを決定するステップとからなることを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像変換装置および方法、学習装置および方法、並びに記録媒体に関し、特に、原画像とほぼ同一の画像を復元できる圧縮画像を生成する画像変換装置および方法、学習装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本願発明者によって、特開平１０−９３９８０号公報に開示されているように、低解像度の画像を用いて、高解像度の画像を生成する技術が提案されており、高解像度の原画像を縮小した低解像度画像を用いて原画像とほぼ同一の高解像度画像を復元することができるとされている。この提案においては、例えば図１に示すように、低解像度画像（上位階層画像）の注目画素Ｉに対応する位置の高解像度画像（復元画像）の画素ｉを中心とする３×３個の画素ａ乃至ｉの画素値を、その近傍に位置する低解像度画像の複数の画素（例えば、３×３個の画素Ａ乃至Ｉ）と所定の予測係数との線形１次結合等を演算することにより求めている。さらに、その復元画像の画素値と原画像の画素値との誤差を演算し、その結果に対応して低解像度画像の画素値、および予測係数の更新を繰り返している。
【０００３】
【発明が解決しようとする課題】
ところで、上述した従来における低解像度画像の画素値の更新は、１画素毎に近傍の画素の画素値を固定した条件の下で行われていた。すなわち、図１に示すように、低解像度画像の注目画素Ｉの画素値は、注目画素Ｉを中心とする８個の画素ＡないしＨの画素値、および所定の予測係数の値を固定した条件下において最適な値に更新されていた。
【０００４】
したがって、画素Ｉの画素値を更新した後、画素Ｄの画素値を更新した場合、画素Ｄは、画素Ｉの画素値を更新したときに画素値が固定された画素であるので、先ほど更新された画素Ｉの画素値は、更新された画素Ｄに対しては最適ではない。よって、低解像度画像（上位階層画像）の画素値を１画素毎に順次更新した場合、最終的に全画素値が更新された低解像度画像（上位階層画像）は、必ずしも原画像を復元できる最適なものであるとはいえない問題があった。
【０００５】
この問題は、低解像度画像（上位階層画像）の隣接する複数の画素の画素値を、同時に最適な値に更新すれば解決できるが、その演算量は膨大であって、演算に長い時間がかかるとともに、演算回路の規模が大きくなり、実質的には不可能であった。
【０００６】
この発明はこのような状況に鑑みてなされたものであり、隣接する複数の画素の画素値を同時に更新することにより、原画像とほぼ同一の高解像度画像を復元することが可能な低解像度画像を短時間で得ることができるようにするものである。
【０００７】
【課題を解決するための手段】
上述した課題を達成するために、請求項１の発明は、第１の画像データを、第１の画像データより低質な第２の画像データに変換する画像データ変換装置において、
第１の画像データから、第２の画像データとほぼ同質な中間画像データを生成する中間画像データ生成部と、
中間画像データを記憶する記憶部と、
中間画像データから、一画面中の一部であるブロック毎の複数の画素を抽出するブロック抽出部と、
生成され、または予め取得された予測係数を出力する予測係数生成部と、
予測係数と中間画像データと第１の画像データとに基づいてブロック抽出部で抽出された中間画像データの複数の画素の画素値を一括して更新する画素値更新部と、
画素値更新部で画素値が更新された中間画像データと予測係数とに基づいて、第１の画像データとほぼ同質な予測画像データを生成する予測画像データ生成部と、
第１の画像データと予測画像データの誤差を検出する誤差検出部と、
誤差に基づいて、中間画像データを出力画像とするか否かを決定する制御部とを備えることを特徴とする画像データ変換装置である。
【０００８】
請求項６の発明は、第１の画像データを、第１の画像データより低質な第２の画像データに変換する画像データ変換方法において、
第１の画像データから第２の画像データとほぼ同質な中間画像データを生成するステップと、
中間画像データから、一画面中の一部であるブロック毎の複数の画素を抽出するステップと、
生成され、または予め取得された予測係数を出力するステップと、  予測係数と中間画像データと第１の画像データとに基づいてブロック抽出部で抽出された中間画像データの複数の画素の画素値を一括して更新するステップと、
画素値が更新された中間画像データと予測係数とに基づいて、第１の画像データとほぼ同質な予測画像データを生成するステップと、
第１の画像データと予測画像データの誤差を検出するステップと、
誤差に基づいて、中間画像データを出力画像とするか否かを決定するステップとを有することを特徴とする画像データ変換方法である。
【０００９】
請求項７の発明は、第１の画像データを、第１の画像データより低質な第２の画像データに変換する時に、第２の画像データの画素値を学習する学習装置において、
第１の画像データから、第２の画像データとほぼ同質な中間画像データを生成する中間画像データ生成部と、
中間画像データを記憶する記憶部と、
中間画像データから、一画面中の一部であるブロック毎の複数の画素を抽出するブロック抽出部と、
生成され、または予め取得された予測係数を出力する予測係数生成部と、
予測係数と中間画像データと第１の画像データとに基づいてブロック抽出部で抽出された中間画像データの複数の画素の画素値を一括して更新する画素値更新部と、
画素値更新部で画素値が更新された中間画像データと予測係数とに基づいて、第１の画像データとほぼ同質な予測画像データを生成する予測画像データ生成部と、
第１の画像データと予測画像データの誤差を検出する誤差検出部と、
誤差に基づいて、中間画像データを出力画像とするか否かを決定する制御部とを備え、
画素値更新部は、予測係数を生徒データとし、対応する第１の画像データを教師データとして、最小二乗法によって、中間画像データの画素値を更新することを特徴とする学習装置である。
【００１０】
請求項８の発明は、第１の画像データを、第１の画像データより低質な第２の画像データに変換する時に、第２の画像データの画素値を学習する学習方法において、
第１の画像データから第２の画像データとほぼ同質な中間画像データを生成するステップと、
中間画像データから、一画面中の一部であるブロック毎の複数の画素を抽出するステップと、
生成され、または予め取得された予測係数を出力するステップと、
予測係数と中間画像データと第１の画像データとに基づいて抽出された中間画像データの複数の画素の画素値を一括して更新するステップと、
画素値が更新された中間画像データと予測係数とに基づいて、第１の画像データとほぼ同質な予測画像データを生成するステップと、
第１の画像データと予測画像データの誤差を検出するステップと、
誤差に基づいて、中間画像データを出力画像とするか否かを決定するステップとを備え、
画素値を更新するステップは、予測係数を生徒データとし、対応する第１の画像データを教師データとして、最小二乗法によって、中間画像データの画素値を更新することを特徴とする学習方法である。
【００１１】
請求項９の発明は、第１の画像データを、第１の画像データより低質な第２の画像データに変換する画像データ変換するためのコンピュータ制御可能なプログラムが記録された記録媒体において、
プログラムは、
第１の画像データから第２の画像データとほぼ同質な中間画像データを生成するステップと、
中間画像データから、一画面中の一部であるブロック毎の複数の画素を抽出するステップと、
抽出された中間画像と抽出された中間画像データに対応する位置の第１の画像データとに基づいて予測係数を生成するステップと、
予測係数と中間画像データと第１の画像データとに基づいて抽出された中間画像データの複数の画素の画素値を一括して更新するステップと、
画素値が更新された中間画像データと予測係数とに基づいて、第１の画像データとほぼ同質な予測画像データを生成するステップと、
第１の画像データと予測画像データの誤差を検出するステップと、
誤差に基づいて、中間画像データを出力画像とするか否かを決定するステップとからなることを特徴とする記録媒体である。
【００１２】
この発明では、予測係数演算部は、予測タップを生徒データとし、対応する原画像の画素を教師データとして観測方程式を生成し、観測方程式を解くことによって予測係数を生成する。画素値更新部は、予測係数演算部からの予測係数を生徒データとし、対応する原画像データを教師データとして観測方程式を作成する。この観測方程式を解くことによって、与えられた係数に対する、複数の更新画素値の最適な値を同時に求めることができる。
【００１３】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。図２は、この発明を適用した画像処理装置の一実施の形態の構成を示している。
【００１４】
送信装置１０１には、ディジタル化された画像データが供給されるようになされている。送信装置１０１は、入力された画像データの複数画素毎の平均値を形成し、複数画素を平均値に置き換えることによって、データ量を圧縮し、その結果得られる符号化データを光ディスク、磁気テープ等の記録媒体１０２に記録し、または放送回線（衛星放送等）、電話回線、インターネット等の伝送路１０３を介して伝送する。
【００１５】
受信装置１０４は、記録媒体１０２に記録されている符号化データを再生し、または伝送路１０３を介して伝送される符号化データを受信し、符号化データを復号する。すなわち、間引かれた画素の値が復元される。受信装置１０４から得られる復号画像がディスプレイ（図示せず）に供給され、ディスプレイ上に表示される。
【００１６】
図３は、送信装置１０１の一例を示す。Ｉ／Ｆ（インターフェース）１１１は、外部から供給される画像データの受信処理と、送信機／記録装置１１６に対する符号化データの送信処理を行う。ＲＯＭ１１２は、ＩＰＬ(Initial Program Loading) 用のプログラム等を記憶している。ＲＡＭ１１３は、外部記憶装置１１５に記録されているシステムプログラム（ＯＳ(Operating System)）やアプリケーションプログラムを記憶したり、また、ＣＰＵ１１４の動作に必要なデータを記憶する。
【００１７】
ＣＰＵ１１４は、ＲＯＭ１１２に記憶されているＩＰＬプログラムに従って外部記憶装置１１５からシステムプログラムおよびアプリケーションプログラムをＲＡＭ１１３に展開し、そのシステムプログラムの制御の下でアプリケーションプログラムを実行する。すなわち、インターフェース１１１から供給される画像データに対して、後述するような符号化処理を行う。
【００１８】
外部記憶装置１１５は、例えばハードディスクであって、システムプログラム、アプリケーションプログラム、データを記憶する。送信機／記憶装置１１６は、インターフェース１１１から供給される符号化データを記録媒体１０２に記録し、または伝送路１０３を介して伝送する。インターフェース１１１、ＲＯＭ１１２、ＲＡＭ１１３、ＣＰＵ１１４、および外部記憶装置１１５は、バスを介して互いに接続されている。
【００１９】
上述した構成を有する送信装置１０１においては、インターフェース１１１に画像データが供給されると、その画像データがＣＰＵ１１４に供給される。ＣＰＵ１１４は、画像データを符号化し、その結果得られる符号化データをインターフェース１１１に供給する。インターフェース１１１が符号化データを送信機／記録装置１１６を介して記録媒体１０２に記録し、または伝送路１０３に送出する。
【００２０】
図４は、送信機／記録装置１１６以外の図３の送信装置１０１、すなわち、エンコーダの機能的な構成を示すものである。エンコーダは、ハードウエア、ソフトウェアまたは両者の組み合わせで実現することが可能である。例えば後述するフローチャートに示されるようなエンコード処理のプログラムが格納された記録媒体をドライブに装着することによって、このプログラムを外部記憶装置１１５にインストールし、エンコーダとしての機能を実現できる。
【００２１】
なお、上述したような処理を行うコンピュータプログラムをユーザに提供する記録媒体としては、磁気ディスク、ＣＤ−ＲＯＭ、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【００２２】
図４に示すエンコーダにおいては、入力される原画像データが画像データが画像縮小回路１、予測係数演算回路４、画素値更新回路５、および誤差演算回路７に供給されるようになされている。画像縮小回路１は、供給された原画像（高解像度画像）を、例えば図１に示したように、３×３画素からなるブロックに分割し、各ブロック内の９画素の画素値の平均値をブロックの中心に位置する上位階層画像（低解像度画像）の画素の画素値として初期上位階層画像を生成し、上位階層画像メモリ２に出力するようになされている。したがって、上位階層画像（以下、上位画像と記述する）は、原画像の縦および横のサイズが１／３に縮小されたものとなる。
【００２３】
なお、初期上位画像を形成する場合、平均値以外に、各ブロックの中心に位置する画素の値、各ブロックの複数の画素値の中間値、各ブロックの複数の画素値の最も多い値、間引きで形成された画素等を用いても良い。
【００２４】
上位階層画像メモリ２は、画像縮小回路１から入力された上位画像を記憶するようになされている。また上位階層画像メモリ２は、画素値更新回路５から入力される画素値を用いて、記憶している上位画像の画素値を更新するようになされている。さらに、上位階層画像メモリ２は、記憶している上位画像データをスイッチ８を介してフレームメモリ９に出力するようになされている。
【００２５】
予測タップ取得回路３は、上位階層画像メモリ２に記憶されている上位画像の画素を、順次、注目画素に決定し、注目画素とその近傍の画素の画素値を予測係数演算回路４、画素値更新回路５、およびマッピング回路６に供給する。
【００２６】
簡単のために、図５に示すように、更新画素値ブロック（予測タップ）のサイズが３×３、予測係数タップのサイズが３×３の場合について説明する。なお、更新画素値ブロック（予測タップ）は、予測のために抽出される複数の画素で構成されるブロックを意味する。また、予測係数タップは、予測に使用される複数の係数群を意味する。図５中で、ｘは、更新する画素を示し、Ｘは、画素値が固定されている画素を示す。また、後述するｃが係数を意味し、Ｙ’が予測値を示し、Ｙが原画像の画素値を示す。
【００２７】
例えば、図５に示す画素ｘ5 が注目画素に決定された場合、予測係数演算回路４には、注目画素ｘ5 を中心とする３×３画素（画素ｘ1 乃至ｘ9 ）からなる予測タップが供給される。画素値更新回路５には、注目画素ｘ5 を中心とする３×３の９個の画素のいずれかが３×３画素内に含まれる全ての予測タップ（図５において破線に囲まれた、注目画素ｘ5 を中心とする７×７画素）が供給される。マッピング回路６には、注目画素ｘ5 を中心とする７×７画素から、注目画素ｘ5 を中心とする３×３画素を除いた４０（＝４９−９）個の画素（画素Ｘ1 乃至Ｘ40）が供給される。
【００２８】
予測係数演算回路４は、予測タップ取得回路３から供給された注目画素ｘ5 を中心とする予測タップ（画素ｘ1 乃至ｘ9 ）を学習データ（生徒データ）とし、対応する原画像の画素を教師データとして観測方程式を生成して、最小自乗法により観測方程式を解くことにより、図６に示すような、９モード分（モード１乃至モード９）の予測係数を演算して、画素値更新回路５、およびマッピング回路６に供給するようになされている。
【００２９】
なお、３×３個の予測係数からなる各モードの予測係数タップは、注目画素に対応する位置の下位階層画像（以下、下位画像と記述する）の画素を中心とする３×３画素のそれぞれの画素値を予測するときに用いられる。
【００３０】
より具体的には、図１の画素の配列において、画素ａを予測する時に使用される予測係数タップがモード１の予測係数タップであり、画素ｂを予測する時に使用される予測係数タップがモード２の予測係数タップであり、画素ｃを予測する時に使用される予測係数タップがモード３の予測係数タップであり、画素ｈを予測する時に使用される予測係数タップがモード４の予測係数タップであり、画素ｉを予測する時に使用される予測係数タップがモード５の予測係数タップであり、画素ｄを予測する時に使用される予測係数タップがモード６の予測係数タップであり、画素ｇを予測する時に使用される予測係数タップがモード７の予測係数タップであり、画素ｆを予測する時に使用される予測係数タップがモード８の予測係数タップであり、画素ｅを予測する時に使用される予測係数タップがモード９の予測係数タップである。
【００３１】
図７Ａは、図５に示した上位画像から予測される下位画像を示している。例えば、モード１の予測係数タップ（予測係数ｃ11乃至ｃ19）と、画素ｘ3 を中心とする予測タップを構成する画素（画素Ｘ11，Ｘ12，Ｘ13，ｘ2 ，ｘ3 ，Ｘ17，ｘ5 ，ｘ6 ，Ｘ21）の画素値との線形１次結合により、注目画素に対応する位置の下位画像の画素（図７Ｂの画素Ｙ5 ’）の左上に隣接する画素（図７Ｂの画素Ｙ1 ’）の画素値が演算される。また、モード９の予測係数タップ（予測係数ｃ91乃至ｃ99）と、画素ｘ3 を中心とする予測タップを構成する画素の画素値との線形１次結合により、注目画素に対応する位置の下位画像の画素の右下に隣接する画素（図７Ｂの画素Ｙ9 ’）の画素値が演算される。
【００３２】
画素値更新回路５は、注目画素を中心とする３×３画素の画素値を同時に更新し、更新した画素値を上位階層画像メモリ２、およびマッピング回路６に出力するようになされている。
【００３３】
図８は、画素値更新回路５の詳細な構成例を示している。正規方程式生成回路１１は、予測係数演算回路４から入力された予測係数、予測タップ取得回路３から入力された予測タップを構成する画素の画素値、原画像の対応する画素値を用いて、予測値と真値（原画像の画素値）より正規方程式を生成し、画素値決定回路１２に出力するようになされている。画素値決定回路１２は、入力された正規方程式によって予測値と真値との誤差を最小とする、上位画像の注目画素を中心とする３×３画素の画素値（更新値）を同時に演算するようになされている。以下においては、同時に更新される９個の画素を更新画素値タップと記述する。
【００３４】
ここで、生成される正規方程式について説明する。正規方程式は、更新画素値タップと予測係数タップが部分的に重なる範囲の画素値を用いて生成される。例えば、図５に示した画素ｘ5 を中心とする３×３画素（画素ｘ1 乃至ｘ9 ）の画素値を更新する（更新画素値タップとする）場合、破線で囲まれた領域中の更新画素値タップ以外の画素（画素Ｘ1 乃至Ｘ40）の画素値、および全ての予測係数ｃ1 1 乃至ｃ99を固定し、予測係数タップを、破線で囲まれた領域内で移動して下位画像の画素値を予測する。
【００３５】
例えば、予測係数タップの中心が画素ｘ3 と重なる位置に移動されたときにおいては、モード１の予測係数タップ（予測係数ｃ11乃至ｃ19）と、画素ｘ3 を中心とする３×３画素（画素Ｘ11，Ｘ12，Ｘ13，ｘ2 ，ｘ3 ，Ｘ17，ｘ5 ，ｘ6 ，Ｘ21）との画素値の線形１次結合で、画素ｘ3 の位置に対応する下位画像の画素Ｙ5 ’の左上の画素Ｙ1 ’の画素値（予測値）が演算される。この画素値Ｙ1'は、次式（１）で表すことができる。
【００３６】
Ｙ1' =ｃ11Ｘ11 +ｃ12Ｘ12 +ｃ13Ｘ13 +ｃ14ｘ2+ｃ15ｘ3+ｃ16Ｘ17 +ｃ17ｘ5+ｃ18ｘ6+ｃ19Ｘ21・・・（１）
同様に、画素値Ｙ2 ’乃至Ｙ9 ’も、予測係数と上位画像の画素値との線形１次結合で表し、得られた９本の式を行列を用いて書き換えれば、次式のような観測方程式が成立する。
【００３７】
Ｙ'=ｃＸ
ただし、Ｙ’は画素値Ｙ1 ’乃至Ｙ9 ’の集合で成る行列であり、ｃは予測係数ｃ11乃至ｃ99の集合で成る行列であり、Ｘは上位画像の画素値の集合で成る行列である。
【００３８】
次に、この観測方程式に最小二乗法を適用して、原画像の画素値に近い予測値Ｙ’を求めることを考える。
【００３９】
ここで、再び観測方程式の元となった式（１）に注目すれば、予測値Ｙ1 ’と、対応する原画像の画素値Ｙ1 との差は、次式（２）に示すようになる。
【００４０】
Ｙ1-Ｙ1' =Ｙ1 -(ｃ11Ｘ11 +ｃ12Ｘ12 +ｃ13Ｘ13 +ｃ14ｘ2  +ｃ15ｘ3+ｃ16Ｘ17 +ｃ17ｘ5+ｃ18ｘ6+ｃ19Ｘ21）・・・（２）
式（２）の右辺を整理すれば、次式（３）を得る。
【００４１】
Ｙ1-Ｙ1' =Ｙ1 -(ｃ11Ｘ11 +ｃ12Ｘ12 +ｃ13Ｘ13 +ｃ16Ｘ17 +ｃ19Ｘ21) -(ｃ14ｘ2+ｃ15ｘ3+ｃ17ｘ5+ｃ18ｘ6)・・・（３）
予測値Ｙ1 ’と、対応する原画像の画素値Ｙ1 との差、すなわち式（３）の左辺を残差とし、右辺の定数項を左辺に移項して整理すれば、次式（４）を得る。
【００４２】
Ｙ1 -(ｃ11Ｘ11 +ｃ12Ｘ12 +ｃ13Ｘ13 +ｃ16Ｘ17 +ｃ19Ｘ21)+ｅ1  = (ｃ14ｘ2+ｃ15ｘ3+ｃ17ｘ5+ｃ18ｘ6)・・・（４）
さらに、予測係数タップの他のモード（モード２乃至モード９）を用いて、Ｙn −Ｙn ’（ｎは２乃至９）からも、式（４）と同様の次式（５）乃至（１２）を得る。
【００４３】
Ｙ2 -(ｃ21Ｘ11 +ｃ22Ｘ12 +ｃ23Ｘ13 +ｃ26Ｘ17 +ｃ29Ｘ21)+ｅ2  = (ｃ24ｘ2+ｃ25ｘ3+ｃ27ｘ5+ｃ28ｘ6)・・・（５）
Ｙ3 -(ｃ31Ｘ11 +ｃ32Ｘ12 +ｃ33Ｘ13 +ｃ36Ｘ17 +ｃ39Ｘ21)+ｅ3  = (ｃ34ｘ2+ｃ35ｘ3+ｃ37ｘ5+ｃ38ｘ6)・・・（６）
Ｙ4 -(ｃ41Ｘ11 +ｃ42Ｘ12 +ｃ43Ｘ13 +ｃ46Ｘ17 +ｃ49Ｘ21)+ｅ4  = (ｃ44ｘ2+ｃ45ｘ3+ｃ47ｘ5+ｃ48ｘ6)・・・（７）
Ｙ5 -(ｃ51Ｘ11 +ｃ52Ｘ12 +ｃ53Ｘ13 +ｃ56Ｘ17 +ｃ59Ｘ21)+ｅ5  = (ｃ54ｘ2+ｃ55ｘ3+ｃ57ｘ5+ｃ58ｘ6)・・・（８）
Ｙ6 -(ｃ61Ｘ11 +ｃ62Ｘ12 +ｃ63Ｘ13 +ｃ66Ｘ17 +ｃ69Ｘ21)+ｅ6  = (ｃ64ｘ2+ｃ65ｘ3+ｃ67ｘ5+ｃ68ｘ6)・・・（９）
Ｙ7 -(ｃ71Ｘ11 +ｃ72Ｘ12 +ｃ73Ｘ13 +ｃ76Ｘ17 +ｃ79Ｘ21)+ｅ7  = (ｃ74ｘ2+ｃ75ｘ3+ｃ77ｘ5+ｃ78ｘ6)・・・（１０）
Ｙ8 -(ｃ81Ｘ11 +ｃ82Ｘ12 +ｃ83Ｘ13 +ｃ86Ｘ17 +ｃ89Ｘ21)+ｅ8  = (ｃ84ｘ2+ｃ85ｘ3+ｃ87ｘ5+ｃ88ｘ6)・・・（１１）
Ｙ9 -(ｃ91Ｘ11 +ｃ92Ｘ12 +ｃ93Ｘ13 +ｃ96Ｘ17 +ｃ99Ｘ21)+ｅ9  = (ｃ94ｘ2+ｃ95ｘ3+ｃ97ｘ5+ｃ98ｘ6)・・・（１２）
同様に、予測係数タップの位置を、図５の破線で囲まれた領域内で移動し、すなわち、予測係数タップの中心を、画素Ｘ9 ，Ｘ13，Ｘ28，Ｘ32を頂点とする矩形領域内の全ての画素（２５画素）と順次重なるように移動し、予測係数タップの全てのモードを用いて、２２５（＝９×２５）本の式（４）乃至（１２）と同様な式を得る。
【００４４】
この２２５本の式を行列で表せば、次式（１３）に示すような、［教師データ］＋［残差ｅ］＝［学習データｃ］×［予測画素値ｘ］の形をした残差方程式となる。
【００４５】
【数１】
0004089104.tif 000002
【００４６】
ただし、式（１３）は、表記を簡略化するために、式（４）乃至（１２）に対応する部分だけを示している。また、ａij（ｉ＝１，２，・・・，ｍ（＝２２５）、ｊ＝１，２，・・・，９）は、行列［学習データｃ］のｉ行ｊ列に存在するデータに等しい。
【００４７】
この場合、原画像の画素値Ｙに近い予測値Ｙ’を求めるための予測画素値ｘi は、下記の自乗誤差を最小にすることで求めることができる。
【００４８】
【数２】
0004089104.tif 000003
【００４９】
したがって、上述した自乗誤差を予測画素値ｘi で微分したものが０になる場合、すなわち、次式を満たす予測画素値ｘi が、原画像の画素値Ｙに近い予測値Ｙ’を求めるための最適値となる。
【００５０】
【数３】
0004089104.tif 000004
【００５１】
そこで、まず、式（１３）を予測画素値ｘi で微分することにより、次式が成立する。
【００５２】
【数４】
0004089104.tif 000005
【００５３】
式（１４）および式（１６）より、式（１７）が得られる。
【００５４】
【数５】
0004089104.tif 000006
【００５５】
さらに、式（１３）の教師データ（原画像の画素値Ｙ−定数項）をＹ’’とし、教師データＹ’’、予測係数ｃ、予測画素値ｘ、および残差ｅの関係を考慮すると、式（１７）から、次式（１８）のような正規方程式を得ることができる。
【００５６】
【数６】
0004089104.tif 000007
【００５７】
得られた正規方程式を、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用して解くことにより、予測係数演算回路４から供給された予測係数タップに対応する、更新画素値タップの最適な画素値を求めることができる。
【００５８】
図４の説明に戻る。マッピング回路６は、画素値更新回路５から供給された注目画素を中心とする更新画素値タップの９個の画素の画素値、予測タップ取得回路３から供給された、注目画素を中心とする７×７画素から注目画素を中心とする３×３画素を除いた４０個の画素の画素値、および予測係数演算回路４から入力された９モード分の予測係数タップの予測係数を線形１次結合することにより、下位画像の画素値を部分的に（更新画素値タップの画素が影響する範囲を）ローカルデコードする。ローカルデコードされた下位画像の画素値は誤差演算回路７に供給されるようになされている。
【００５９】
誤差演算回路７は、マッピング回路６からのローカルデコードされた下位画像の画素値と、原画像の対応する画素値との誤差を演算する。以下の説明では、誤差としてS/N を用いる。S/N ＝20log 10(255/err)(err:誤差の標準偏差）の関係にある。S/N が閾値以上である場合には、最適な画素が生成されたと判断して、スイッチ８をオンに制御するようになされている。この場合、部分的にローカルデコードした画像でS/N を評価する代えて、画像全体にわたってS/N を評価するようにしても良い。
【００６０】
フレームメモリ９は、上位階層画像メモリ２からスイッチ８を介して入力される、部分的に最適化された上位画像を、入力される度に更新して記憶するようになされている。したがって、上位階層画像メモリ２に記憶されている上位画像の全ての画素が注目画素とされた後、フレームメモリ９には、全ての画素が最適化された最適上位画像が記憶されるようになされている。
【００６１】
フレームメモリ９に記憶された最適上位画像は、９モード分の予測係数タップとともに所定のタイミングでデコーダ（図１３を参照して後述する）に出力されるようになされている。以下に説明するエンコーダの処理を制御するために、制御部１０が設けられている。制御部１０は、誤差演算回路７の出力を受け取り、スイッチ８を制御する信号を発生する。また、エンコーダの処理を行うために、各ブロックに対して種々の制御信号を供給する。
【００６２】
次に、このエンコーダの最適上位画素値生成処理の概略について、図９のフローチャートを参照して説明する。以下に説明する処理は、図４の構成と対応して説明されている。しかしながら、図４の構成を有するハードウエアにより実現されるものに限らず、外部からインストールされ、または図３中のＲＯＭ１１２に格納されているソフトウェアプログラムに従ってＣＰＵ１１４が行うようにしても良い。その場合には、各ステップの処理は、ソフトウェアプログラムに従ってＣＰＵ１１４の制御の下でなされる。
【００６３】
ステップＳ１において、画像縮小回路１は、供給された原画像（高解像度画像）を、３×３画素からなるブロックに分割し、各ブロック内の９画素の画素値の平均値をブロックの中心に位置する上位画像（低解像度画像）の画素の画素値として初期上位画像を生成し、上位階層画像メモリ２に記憶させる。
【００６４】
予測タップ取得回路３は、上位階層画像メモリ２に記憶されている上位画像の画素を、順次、注目画素に決定して、上位階層画像メモリ２から注目画素を中心とする７×７画素の画素値を取得する。取得した４９個の画素値のうちの注目画素を中心とする３×３画素の画素値は、予測係数演算回路４に供給される。また、画素値更新回路５には、取得した全ての画素値が供給される。さらに、取得した４９個の画素値のうちの注目画素を中心とする３×３画素を除いた４０（＝４９−９）個の画素の画素値がマッピング回路６に供給される。例えば、図５に示す画素ｘ5 が注目画素に決定された場合、注目画素ｘ5 を中心とする３×３画素（画素ｘ1 乃至ｘ9 ）の予測係数タップの画素値は、予測係数演算回路４に供給され、注目画素ｘ5 を中心とする７×７画素の画素値は、画素値更新回路５に供給され、注目画素ｘ5 を中心とする７×７画素から注目画素ｘ5 を中心とする３×３画素を除いた４０（＝４９−９）画素の画素値は、マッピング回路６に供給される。
【００６５】
ステップＳ２において、予測係数演算回路４は、予測タップ取得回路３から供給された注目画素を中心とする３×３画素の予測タップを学習データ（生徒データ）とし、対応する原画像の画素を教師データとして観測方程式を生成し、最小自乗法を適用して解くことにより９モード分の予測係数タップを求め、画素値更新回路５、およびマッピング回路６に供給する。予測係数う求める時には、画面中の全画素について方程式をたてるようになされる。
【００６６】
ステップＳ３において、画素値更新回路５の正規方程式生成回路１１は、予測係数演算回路４から入力された予測係数タップ、予測タップ取得回路３から供給された注目画素を中心とする７×７画素の画素値、および原画像の対応する画素値を用いて、式（１３）に示すような観測方程式を生成して、画素値決定回路１２に出力する。画素値決定回路１２は、入力された観測方程式に最小自乗法を適用して解き、得られた更新画素値タップの画素値を上位階層画像メモリ２、およびマッピング回路６に出力する。
【００６７】
上位階層画像メモリ２は、画素値更新回路５から入力された更新画素値タップの画素値を用いて、いままで記憶していた上位画像の対応する画素の画素値を更新する。マッピング回路６は、画素値更新回路５から入力された更新画素値タップの画素値、予測タップ取得回路３から入力された、注目画素を中心とする７×７画素から注目画素を中心とする３×３画素を除いた４０画素の画素値、および予測係数演算回路４から入力された９モード分の予測係数タップとの線形１次結合を演算して、下位画像の画素値を部分的にローカルデコードする。ローカルデコードされた下位画像の画素値は、誤差演算回路７に供給される。
【００６８】
ステップＳ４において、誤差演算回路７は、マッピング回路６からのローカルデコードされた下位画像の画素値と、原画像の対応する画素値とのS/N を演算し、S/N が所定の閾値以上であるか否かを判定する。S/N が所定の閾値以上ではないと判定された場合、ステップＳ２乃至Ｓ４の処理が繰り返される。S/N が所定の閾値以上であると判定された場合、ステップＳ５に進む。
【００６９】
ステップＳ５において、誤差演算回路７の制御によりスイッチ８がオンとされ、上位階層画像メモリ２からスイッチ８を介してフレームメモリ９に部分的に最適化された上位画像が出力される。
【００７０】
この最適上位画素値生成処理を、上位階層画像メモリ２に記憶されている上位画像の全ての画素に対して実行することにより、フレームメモリ９には、全ての画素が最適化された最適上位画像が記憶される。記憶された最適上位画像は、９モード分の予測係数タップとともに所定のタイミングでデコーダに出力される。
【００７１】
図９のエンコーダの処理についての幾つかの例について説明する。図１０のフローチャートに示す第１の方式は、１回の予測係数の更新に対して、各画素１回の更新を行う例である。
【００７２】
ステップＳ２１において、エンコーダは、原画像を縮小処理することによって、上位画像を生成する。そして、エンコーダは、画面全体の全画素の予測係数を更新する（ステップＳ２２）。次のステップＳ２３において、エンコーダは、ブロック（更新画素値タップと同義である）の画素値を更新する。ステップＳ２４では、全ブロックの処理が終了したかどうかが決定され、若し、終了していないならば、ステップＳ２２に戻り、処理が繰り返される。
【００７３】
ステップＳ２４において、全ブロックの画素値の更新が終了したと決定されると、エンコーダは、更新後の上位画像をマッピング（ローカルデコード）して、下位画像との誤差を示すS/N を計算する( ステップＳ２５）。ステップＳ２６では、エンコーダは、S/N が閾値以上かどうかが決定される。S/N が閾値以上であれば、フレームメモリ９に更新後の上位画像を出力し、また、予測係数を出力する（ステップＳ２７）。若し、ステップＳ２６において、S/N が閾値より小であれば、ステップＳ２２に戻り、ステップＳ２２以降の処理を繰り返す。
【００７４】
図１１は、第２の方式を示すフローチャートである。第２の方式は、１回の予測係数の更新に対して、１ブロックのみ画素値を更新するものである。したがって、全ブロックの画素値の更新が終了していないときに、処理がステップＳ２３（画素値の更新）ではなく、ステップＳ２２の全画面の予測係数の更新処理に戻る点のみが、図１０のフローチャートと相違する。
【００７５】
さらに、図１２は、第３の方式を示すフローチャートである。第３の方式では、更新画素値の評価を予測係数の更新後と、画素値の更新後のそれぞれで行うものである。
【００７６】
図１２で、原画像の縮小処理（ステップＳ３１）の後に、全画素の予測係数の更新がなされる（ステップＳ３２）。エンコーダは、更新後の上位画像をマッピングして、下位画像との誤差であるS/N を計算する( ステップＳ３３）。ステップＳ３４では、S/N が閾値以上かどうかが決定される。S/N が閾値以上であれば、エンコーダは、フレームメモリ９に更新後の上位画像を出力し、また、予測係数を出力する（ステップＳ３５）。
【００７７】
若し、ステップＳ３４において、S/N が閾値より小であれば、ステップＳ３６に移り、ステップＳ３６において、エンコーダは、ブロックの画素値を更新する。ステップＳ３７では、全ブロックの処理が終了したかどうかが決定され、若し、終了していないならば、ステップＳ３６に戻り、処理が繰り返される。
【００７８】
ステップＳ３７において、全ブロックの画素値の更新が終了したと決定されると、エンコーダは、更新後の上位画像をマッピングして、下位画像との誤差であるS/N を計算する( ステップＳ３８）。ステップＳ３９では、S/N が閾値以上かどうかが決定される。S/N が閾値以上であれば、エンコーダは、フレームメモリ９に更新後の上位画像を出力し、また、予測係数を出力する（ステップＳ３５）。若し、ステップＳ３９において、S/N が閾値より小であれば、ステップＳ３２に戻り、上述したステップＳ３２以降の処理を繰り返す。
【００７９】
上述したこの発明の一実施形態では、予測係数および上位画像の画素値の両方を最適化するようにしている。しかしながら、この発明においては、予め予測係数を求めておくことによって、画素値のみを最適化することも可能である。この場合、予測係数は、係数決定用のディジタル画像を使用して、エンコーダにおける予測係数生成処理と同様の処理を行うことによって予め生成されている。また、この予測係数は、エンコーダおよびデコーダにおいて共用されるので、記録媒体への記録または伝送が不要である。
【００８０】
次に、エンコーダから出力された最適上位画像から原画像を復元する（下位画像を予測する）デコーダの構成例について、図１３を参照して説明する。このデコーダにおいては、エンコーダから入力された最適上位画像は、最適上位階層画像メモリ２１に記憶され、９モード分の予測係数タップは、マッピング回路２３に供給されるようになされている。
【００８１】
予測タップ取得回路２２は、最適上位階層画像メモリ２１に記憶されている最適上位画像の画素を、順次、注目画素に決定し、最適上位階層画像メモリ２１から注目画素を中心とする３×３画素の予測タップを取得してマッピング回路２３に出力するようになされている。
【００８２】
マッピング回路２３は、予測タップ取得回路２２から入力された予測タップをなす９個の画素の画素値と、エンコーダから供給された９モード分の予測係数タップとの線形１次結合を演算することにより、注目画素の位置に対応する下位画像の画素を中心とする３×３画素の画素値を予測する（原画像の画素を復元する）。予測された下位画像の３×３画素の画素値は、フレームメモリ２４に出力され、記憶されるようになされている。フレームメモリ２４に記憶された下位画像の画素値は、フレーム毎に所定のタイミングで図示せぬディスプレイ等に出力されるようになされている。
【００８３】
このデコーダの原画像復元処理について、図１４にフローチャートを参照して説明する。この原画像復元処理は、エンコーダにより生成された最適上位画像が最適上位階層画像メモリ２１に記憶され、９モード分の予測係数タップが、マッピング回路２３に供給された後、開始される。
【００８４】
ステップＳ１１において、予測タップ取得回路２２は、最適上位階層画像メモリ２１に記憶されている最適上位画像の画素のうちの１個の画素を注目画素に決定する。ステップＳ１２において、予測タップ取得回路２２は、最適上位階層画像メモリ２１から注目画素を中心とする３×３画素の予測タップを取得してマッピング回路２３に出力する。
【００８５】
ステップＳ１３において、マッピング回路２３は、予測タップ取得回路２２から入力された予測タップをなす９個の画素の画素値と、エンコーダから供給された９モード分の予測係数タップとの線形１次結合を演算することにより、注目画素の位置に対応する下位画像の画素を中心とする３×３画素の画素値を予測する（原画像の画素を復元する）。予測された下位画像の３×３画素の画素値は、フレームメモリ２４に出力され、記憶される。
【００８６】
ステップＳ１４において、予測タップ取得回路２２は、最適上位階層画像メモリ２１に記憶されている最適上位画像の全ての画素を注目画素に決定したか否かを判定し、全ての画素を注目画素に決定したと判定するまで、ステップＳ１１乃至Ｓ１４の処理が繰り返される。全ての画素を注目画素に決定したと判定された場合、ステップＳ１５に進む。
【００８７】
ステップＳ１５において、フレームメモリ２４に記憶された下位画像の画素値は、フレーム毎に所定のタイミングで図示せぬディスプレイ等に出力される。
【００８８】
本実施の形態によれば、従来の方法に比べて、復元した画像のS/N が大きい上位画像を得ることができる。
【００８９】
【発明の効果】
以上のように、この発明によれば、複数画素の画素値を同時に、ブロック単位で最適化することができる。それによって、処理を単純化することができ、また、処理時間を短縮できる。
【図面の簡単な説明】
【図１】先に提案したエンコードを説明するための画素の配列を示す略線図である。
【図２】この発明を適用した画像データ変換装置の全体的構成を示すブロック図である。
【図３】図２中の送信装置の機能的構成例を示すブロック図である。
【図４】この発明を適用したエンコーダの構成例を示すブロック図である。
【図５】図４の予測タップ取得回路３の処理を説明する図である。
【図６】予測係数タップを説明する図である。
【図７】下位階層画像を説明する図である。
【図８】図４の画素値更新回路５の構成例を示すブロック図である。
【図９】図４のエンコーダの最適画素値生成処理の概略を説明するフローチャートである。
【図１０】図４のエンコーダの最適画素値生成処理の一例を説明するフローチャートである。
【図１１】図４のエンコーダの最適画素値生成処理の他の例を説明するフローチャートである。
【図１２】図４のエンコーダの最適画素値生成処理のさらに他の例を説明するフローチャートである。
【図１３】図４のエンコーダにより生成された最適上位画像から原画像を復元するデコーダの構成例を示すブロック図である。
【図１４】図１３のデコーダの原画像復元処理を説明するフローチャートである。
【符号の説明】
１・・・画像縮小回路、２・・・上位階層画像メモリ、３・・・予測タップ取得回路、４・・・予測係数演算回路、５・・・画素値更新回路、６・・・マッピング回路、７・・・誤差演算回路、１１・・・正規方程式生成回路、１２・・・画素値決定回路
【図１】
0004089104.tif 000008
【図２】
0004089104.tif 000009
【図３】
0004089104.tif 000010
【図４】
0004089104.tif 000011
【図５】
0004089104.tif 000012
【図６】
0004089104.tif 000013
【図７】
0004089104.tif 000014
【図８】
0004089104.tif 000015
【図９】
0004089104.tif 000016
【図１０】
0004089104.tif 000017
【図１１】
0004089104.tif 000018
【図１２】
0004089104.tif 000019
【図１３】
0004089104.tif 000020
【図１４】
0004089104.tif 000021