(57)【特許請求の範囲】
【請求項１】
劣化の生じている入力画像を複数のブロックに分割するブロック化手段と、
ブロック化されたデータを該データのレベル分布のパターンに基づいて複数のクラスに分類してその分類に対応するクラスコードを出力するクラス分類手段と、
上記クラスコードに応じて入力画像に対応する劣化の無い画像を出力する無劣化画像出力手段と
を有してなることを特徴とする画像復元装置。
【請求項２】
上記無劣化画像出力手段は、劣化の無い画像をブロック化したデータと当該ブロック化した劣化の無い画像を所定の劣化関数により劣化させた画像に対してクラス分類を施したデータとの間で予め学習した結果を、上記クラスコードに対応させて記憶していることを特徴とする請求項１記載の画像復元装置。
【請求項３】
上記無劣化画像出力手段は、劣化した画像をブロック化してクラス分類したデータと劣化の無い画像をブロック化したデータとの間で予め学習した結果を、上記クラスコードに対応させて記憶していることを特徴とする請求項１記載の画像復元装置。
【請求項４】
劣化の生じている入力画像を複数のブロックに分割し、ブロック化されたデータを出力するブロック化手段と、
劣化関数の逆関数で上記入力画像の劣化を復元する復元部と、
ブロック化された上記データを複数のクラスに分類してその分類に対応するクラスコードを出力するクラス分類手段と、
上記クラスコードに応じて入力画像に対応する劣化の無い画像を出力する無劣化画像出力手段とを有し、
上記クラス分類手段は、上記復元部からの出力データと上記ブロック化されたデータとの差分値に基づいて、上記ブロック化されたデータを複数のクラスに分類することを特徴とする画像復元装置。
【請求項５】
劣化の生じている入力画像を複数のブロックに分割するブロック化工程と、
ブロック化されたデータを該データのレベル分布のパターンに基づいて複数のクラスに分類してその分類に対応するクラスコードを出力するクラス分類工程と、
上記クラスコードに応じて入力画像に対応する劣化の無い画像を出力する無劣化画像出力工程と
を有してなることを特徴とする画像復元方法。
【請求項６】
上記無劣化画像出力工程では、劣化の無い画像をブロック化したデータと当該ブロック化した劣化の無い画像を所定の劣化関数により劣化させた画像に対してクラス分類を施したデータとの間で予め学習して得た複数の学習値から、上記クラスコードに対応した学習値を取り出すことを特徴とする請求項５記載の画像復元方法。
【請求項７】
上記無劣化画像出力工程では、劣化した画像をブロック化してクラス分類したデータと劣化の無い画像をブロック化したデータとの間で予め学習して得た複数の学習値から、上記クラスコードに対応した学習値を取り出すことを特徴とする請求項５記載の画像復元方法。
【請求項８】
劣化の生じている入力画像を複数のブロックに分割し、ブロック化されたデータを出力するブロック化工程と、
劣化関数の逆関数で上記入力画像の劣化を復元する復元工程と、
ブロック化された上記データを複数のクラスに分類してその分類に対応するクラスコードを出力するクラス分類工程と、
上記クラスコードに応じて入力画像に対応する劣化の無い画像を出力する無劣化画像出力工程とを有し、
上記クラス分類工程は、上記復元工程からの出力データと上記ブロック化されたデータとの差分値に基づいて、上記ブロック化されたデータを複数のクラスに分類することを特徴とする画像復元方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、劣化した画像を劣化の無い画像に復元（修復）する画像復元装置及び方法に関するものである。
【０００２】
【従来の技術】
従来より、画質の劣化した画像を復元する場合には、劣化の原因を解析してその劣化のモデル関数を求め、上記劣化した画像に対して上記劣化のモデル関数に対応する逆関数を施すことにより画像復元を行うようにしている。
【０００３】
【発明が解決しようとする課題】
ところで、上記劣化の原因としては、カメラ（ビデオカメラ等の画像撮影装置）の一様な動きによるものや、カメラの光学系によるボケ等の各種のものが考えられる。したがって、上記画像を復元する場合には、それぞれの劣化の原因によって上記劣化のモデル関数も異なることになる。
【０００４】
このようなことから、劣化を復元しようとする場合には、その劣化の原因を特定できないと、上記モデル関数が決定できず、復元が困難となる。
【０００５】
また、劣化原因のモデル関数を立てることができたとしても、復元するための逆関数が存在しない場合が多々あり、その場合の最適なモデルの評価も困難となっている。
【０００６】
すなわち、画質の劣化した画像を復元する場合には、劣化原因を解析し、劣化モデル関数を決定し、その逆関数を施すことにより復元を行うが、上述のように劣化の原因が特定できない場合や逆関数が一様に決定できない場合には復元が困難となる。
【０００７】
そこで、本発明は、上述したようなことに鑑み、劣化の原因が特定できない場合や、逆関数が一様に決定できない場合であっても、劣化した画像の復元ができる画像復元装置及び方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
本発明は、上述の目的を達成するために提案されたものであり、本発明に係る画像復元装置は、劣化の生じている入力画像を複数のブロックに分割するブロック化手段と、ブロック化されたデータを該データのレベル分布のパターンに基づいて複数のクラスに分類してその分類に対応するクラスコードを出力するクラス分類手段と、上記クラスコードに応じて入力画像に対応する劣化の無い画像を出力する無劣化画像出力手段とを有してなるものである。
また、本発明に係る画像復元装置は、劣化の生じている入力画像を複数のブロックに分割し、ブロック化されたデータを出力するブロック化手段と、劣化関数の逆関数で上記入力画像の劣化を復元する復元部と、ブロック化された上記データを複数のクラスに分類してその分類に対応するクラスコードを出力するクラス分類手段と、上記クラスコードに応じて入力画像に対応する劣化の無い画像を出力する無劣化画像出力手段とを有し、上記クラス分類手段は、上記復元部からの出力データと上記ブロック化されたデータとの差分値に基づいて、上記ブロック化されたデータを複数のクラスに分類することを特徴とするものである。
【０００９】
ここで、上記無劣化画像出力手段は、劣化の無い画像をブロック化したデータと当該ブロック化した劣化の無い画像を所定の劣化関数により劣化させた画像に対してクラス分類を施したデータとで予め学習した結果（学習値）を、上記クラスコードに対応させたテーブルとして記憶している。或いは、上記無劣化画像出力手段は、劣化した画像をブロック化してクラス分類したデータと劣化の無い画像をブロック化したデータとで予め学習した結果（学習値）を、上記クラスコードに対応させたテーブルとして記憶している。
【００１０】
本発明に係る画像復元方法は、劣化の生じている入力画像を複数のブロックに分割するブロック化工程と、ブロック化されたデータを該データのレベル分布のパターンに基づいて複数のクラスに分類してその分類に対応するクラスコードを出力するクラス分類工程と、上記クラスコードに応じて入力画像に対応する劣化の無い画像を出力する無劣化画像出力工程とを有してなるものである。
また、本発明に係る画像復元方法は、劣化の生じている入力画像を複数のブロックに分割し、ブロック化されたデータを出力するブロック化工程と、劣化関数の逆関数で上記入力画像の劣化を復元する復元工程と、ブロック化された上記データを複数のクラスに分類してその分類に対応するクラスコードを出力するクラス分類工程と、上記クラスコードに応じて入力画像に対応する劣化の無い画像を出力する無劣化画像出力工程とを有し、上記クラス分類工程は、上記復元工程からの出力データと上記ブロック化されたデータとの差分値に基づいて、上記ブロック化されたデータを複数のクラスに分類することを特徴とするものである。
【００１１】
ここで、上記無劣化画像出力工程では、劣化の無い画像をブロック化したデータと当該ブロック化した劣化の無い画像を所定の劣化関数により劣化させた画像に対してクラス分類を施したデータとで予め学習して得た複数の学習値から、上記クラスコードに対応した学習値を取り出す。或いは、上記無劣化画像出力工程では、劣化した画像をブロック化してクラス分類したデータと劣化の無い画像をブロック化したデータとで予め学習して得た複数の学習値から、上記クラスコードに対応した学習値を取り出す。
【００１２】
【作用】
本発明によれば、画質の劣化した画像をブロック毎にクラス分類したデータと劣化の無い画像のブロックデータとで予め学習して得た結果（復元テーブル）を保存している。すなわち、学習によるテーブルは、劣化した画像と劣化の無い画像との間で学習されているため、劣化した画像のクラス分類によるクラスコードに対応した学習値をこのテーブルから取り出す（劣化した画像の代わりに劣化のない復元画像をあてはめる（マッピング））ようにすることで、劣化が修復された画像を得ることができるようになる。また、一度テーブルを作成すれば、画像の復元はテーブルを読み出す処理のみであるため、処理が簡単となる。
【００１３】
【実施例】
以下、本発明の実施例について図面を参照しながら説明する。
【００１４】
本発明の第１の実施例の画像復元装置は、ディジタル画像信号の画質が劣化した画像を復元する装置であって、図１に示すように、入力端子１を介して供給される劣化の生じている入力画像を複数のブロックに分割する（入力画像を走査変換する）ブロック化回路２と、ブロック化されたデータを複数のクラスに分類してその分類に対応するクラスコードを出力するクラス分類手段であるクラスコード発生回路３と、上記クラスコードに応じて入力画像に対応する劣化の無い画像を出力する（予め学習最適化されたデータを出力する）無劣化画像出力手段であるＲＯＭテーブル４とを有してなるものである。
【００１５】
ここで、上記ＲＯＭテーブル４は、劣化の無い画像をブロック化したデータと当該ブロック化した劣化の無い画像を後述する所定の劣化関数により劣化させた画像に対してクラス分類を施したデータとで予め学習した結果（学習値）を、上記クラスコードに対応させたテーブルとして記憶している（後述する第１の具体例）。或いは、劣化した画像をブロック化してクラス分類したデータと劣化の無い画像をブロック化したデータとで予め学習した結果（学習値）を、上記クラスコードに対応させたテーブルとして記憶している（後述する第２の具体例）。また、上記クラスコード発生回路３は、後述するような高次多項式をモデル式として用いて、入力画像に最も近い形状を表す式の係数群を求め、この係数群に応じてクラス分類を行う。
【００１６】
ここで、本発明実施例の画像復元装置の構成の説明に先立ち、画像復元における学習とＲＯＭテーブルの生成について説明する。
【００１７】
画像復元を予め学習したテーブルで行おうとする場合、劣化した画像と劣化の無いきれいな画像との間で学習処理をする必要がある。
学習に用いる劣化画像を得る方法としては、例えば被写体を固定しておき、カメラを動かして流れ画像を生成したり、カメラの焦点を故意にずらせてボケ画像を生成する等の方法がある。
【００１８】
ここで、劣化画像を用いて学習を行うときの処理の流れの第１の具体例を図２に示す。
【００１９】
この図２において、ステップＳ９では劣化の無い画像が供給される。次のステップＳ１０では上記劣化無し画像をブロック化し、ステップＳ１３に送る。
また、ステップＳ１０の劣化無し画像は、ステップＳ１１において既知の劣化関数を用いて劣化させる。その後、ステップＳ１２では上記劣化関数で劣化させたブロックデータをクラスに分類するクラスタリングを行い、ステップＳ１３に進む。なお、クラス分類とは、ブロック化した画像データを用いたパターン分類のことである。
【００２０】
ステップＳ１３では、上記ステップＳ１０からの劣化無しのブロックデータと、上記ステップＳ１２からの劣化させてクラス分類したブロックデータとの間でトレーニング（学習）を行う。
【００２１】
ステップＳ１４では、あらゆるクラス学習が十分に行われる程度に、画像を構成する全てのブロックに対して学習が繰り返し行われたか否かの判断を行う。このステップＳ１４でノーと判断された場合はステップＳ１０に戻り、イエスと判断されるとステップＳ１５に進む。
【００２２】
ステップＳ１５では、クラス毎に学習された最適値でマッピングテーブルを生成する。これがＲＯＭテーブルとなる。
【００２３】
上記第１の具体例では、劣化無し画像を劣化関数によって劣化させることで劣化画像を生成しているが、以下に述べる第２の具体例のように、予め上述したようにカメラの移動や焦点をずらす等して生成した劣化画像を用いて学習を行うこともでき、この場合の処理の流れは例えば図３に示すようになる。
【００２４】
この図３において、ステップＳ１では予め物理的に生成した劣化画像が、ステップＳ２では劣化の無い画像が供給される。ステップＳ３では上記劣化画像をブロック化し、ステップＳ４ではステップＳ３でのブロック化に対応する位置で上記劣化無し画像をブロック化する。
【００２５】
ステップＳ３の次のステップＳ５では、上記劣化画像のブロックデータをクラスに分類するクラスタリングを行う。このクラス分類もブロック化した画像データを用いたパターン分類のことである。
【００２６】
ステップＳ５とステップＳ４の処理後に進むステップＳ６では、上記劣化画像と劣化無し画像のブロック間でトレーニング（学習）を行う。
【００２７】
ステップＳ７では、あらゆるクラス学習が十分に行われる程度に、画像を構成する全てのブロックに対して学習が繰り返し行われたか否かの判断を行う。このステップＳ７でノーと判断された場合、劣化画像に対してはステップＳ３へ、また劣化無し画像に対してはテップＳ４に戻る。ステップＳ７でイエスと判断されると、ステップＳ８に進む。
【００２８】
ステップＳ８では、クラス毎に学習された最適値でマッピングテーブルを生成する。これがＲＯＭテーブルとなる。
【００２９】
なお、上記劣化画像のブロックと対応する劣化無し画像のブロックをどのように学習するかでいくつかのパターンがある。例えば、劣化画像のブロックと劣化無し画像のブロックで学習を行って出力する場合や、画素で学習を行って出力する場合がある。さらに学習するデータとして入力画像そのものを学習する場合や、劣化フィルタとの差分量を学習する場合等もある。
【００３０】
また、上記第１，第２の具体例におけるクラスには、実データを用いることもできるが、実現性を考えたメモリ容量を考慮に入れると、クラス分類にデータ圧縮等を用いることが考えられる。
【００３１】
データ圧縮には、例えば、後述する画像信号のダイナミックレンジに応じた適応量子化（ＡＤＲＣと呼ぶ）や、ＤＰＣＭ（差分量子化）、ベクトル量子化（ＶＱ）等が考えられる。
【００３２】
なお、上記ＡＤＲＣとは、ディジタル画像信号をブロック化し、このブロック内に含まれる複数の画素データの最大値及び最小値により規定されるダイナミックレンジを求め、このブロック単位で求めた上記ダイナミックレンジに適応した割り当てビット数で当該ブロック内の各画素データを符号化するものである。
より具体的に言うと、上記ＡＤＲＣは、１フレーム（又はフィールド）内の所定のブロック内に含まれる複数画素の最大値及び最小値により規定されるダイナミックレンジ（ブロック内最大レベルと最小レベルの差）を求め、このダイナミックレンジに適応した可変の量子化ビット数を上記ブロック毎に決定し、この量子化ビット数で最小値除去後の入力データを符号化（再量子化、すなわち圧縮された量子化ビット数によりダイナミックレンジを均等に分割し、ブロック内の各画素を最も近いレベルのコードに符号化する）して符号化コードを得ると共に、ダイナミックレンジの情報と上記最大値，最小値の内の何れかを付加コードとし、これら符号化コードと付加コードとを得るようなものである。
【００３３】
さらに、クラスタリングの実現方法には、以下のような方法を用いる。
【００３４】
ここで、クラス分割でもっとも簡便な方法としては、例えばブロック内の学習データのビット系列をそのままクラス番号とする手法がある。ただし、この手法では膨大な容量のＲＯＭが必要となる。
【００３５】
このため、本実施例では、信号パターンによるクラス分割に上記ＡＤＲＣを使用して、信号パターンの性質を保存した効果的なクラス数の削減を行う。
ここで、例えば図４に示すように、学習信号画素ａ，ｂ，ｃから原信号画素Ａへの予測を例にとり、学習信号画像ａ，ｂ，ｃのレベルをそれぞれｘ１  ，ｘ２  ，ｘ３  とする。また、ｘ１，ｘ２，ｘ３のデータに対してｐビットＡＤＲＣを行った結果の再量子化データをそれぞれｑ１  ，ｑ２  ，ｑ３  とし、そのダイナミックレンジをＤＲ、最小値をｍｉｎとする。
【００３６】
このとき、このブロックのクラス番号（クラスコード）ｃｌａｓｓは、式（１）  で定義される。
【００３７】
【数１】
0003557626.tif 000002
【００３８】
なお、本来ＡＤＲＣはＶＴＲ（ビデオテープレコーダ）向けの高能率符号化用に開発された適応的再量子化法であり、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、本実施例ではこれを信号パターンのクラス分類のコード発生に使用している。
【００３９】
より一般的に説明する。
学習信号画素レベルをｘ１  ，・・・，ｘｎ  とし、原信号画素レベルをｙとしたとき、クラス毎に係数ｗ１  ，・・・，ｗｎ  によるｎタップの線形推定式（２）
ｙ＝ｗ１  ｘ１  ＋ｗ２  ｘ２  ＋・・・＋ｗｎ  ｘｎ                            （２）
を設定する。なお、学習前はｗｉ  が未定係数である。
【００４０】
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（２）（予測式）  に従って、
ｙｋ  ＝ｗ１  ｘｋ１＋ｗ２  ｘｋ２＋・・・＋ｗｎ  ｘｋｎ  （ｋ＝１，２，・・・，ｍ）        （３）
Ｍ＞ｎの場合にはｗ１  ，・・・，ｗｎ  は一意には定まらないので、誤差ベクトルｅの要素を
ｅｋ  ＝ｙｋ  −｛ｗ１  ｘｋ１＋ｗ２  ｘｋ２＋・・・  ＋ｗｎ  ｘｋｎ｝  （ｋ＝１，２，・・・，ｍ  ）（４）
と定義して、式（５）  を最小にする係数を求める。いわゆる最小自乗法による解法である。
【００４１】
【数２】
0003557626.tif 000003
【００４２】
ここで、式（５）  のｗｉ  による遍微分係数を、式（６）  のように求める。
【００４３】
【数３】
0003557626.tif 000004
【００４４】
上記式（６）  を０にするように各ｗｉ  を決めればよいから、式（７）  、式（８）  のように、
【００４５】
【数４】
0003557626.tif 000005
【００４６】
【数５】
0003557626.tif 000006
【００４７】
として行列を用いると式（９）  のようになり、
【００４８】
【数６】
0003557626.tif 000007
【００４９】
掃き出し法などの一般的な行列解法を用いて、ｗｉ  について解けば予測係数が求まり、本実施例ではＲＯＭのアドレスｃｌａｓｓのデータ（ＲＯＭテーブル）としてこの予測係数を格納しておく。
【００５０】
次に、以下に上記劣化関数について説明する。
先ず、雑音を考慮に入れた画像観測モデルを考える。この雑音を考慮に入れた画像観測モデルは式（１０）のように表すことができる。
ｇ＝Ａｆ＋ｎ                          （１０）
なお、この式（１０）において、ｆは原画像、ｇは観測データ、Ａは観測過程、ｎは加法性雑音を表している。
【００５１】
ここで、対象としている原画像ｆの属する空間をＨ１  とし、観測データｇの属する空間をＨ２  とすると、雑音ｎはＨ２  の元であり、観測結果Ａは数学的にはＨ１  やＨ２  への作用素とみなすことができる。ｆやｇは、連続領域の上で定義された関数として表現されることもあるし、離散点上で定義された配列として表現されることもある。後者の場合、それはベクトルと同じものである。これらの表現方法に応じて、式（１０）のモデルは、次のように呼ばれる。すなわち、Ｈ１  とＨ２  が共に関数空間の場合は連続−連続モデルと言い、共にベクトル空間の場合は離散−離散モデルという。また、Ｈ１  が関数空間でＨ２  がベクトル空間の場合を、連続−離散モデルという。
【００５２】
上記式（１０）は、上記連続−連続モデルの場合、式（１１）のように表現される。
【００５３】
【数７】
0003557626.tif 000008
【００５４】
なお、この式（１１）において、ｆ（ｘ，ｙ）は原画像、ｇ（ｘ，ｙ）は劣化画像、ｎ（ｘ，ｙ）は雑音であり、ｈ（ｘ，ｙ，ｘ′，ｙ′）は劣化関数と呼ばれるものである。例えば、ｆ（ｘ，ｙ）＝δ（ｘ−α，ｙ−β）なる点光源に対する劣化画像がｈ（ｘ，ｙ，α，β）である。したがって、劣化関数は同時に、点ひろがり関数（ＰＳＦ：ｐｏｉｎｔ  ｓｐｒｅａｄ  ｆｕｎｃｔｉｏｎ）と呼ばれることもある。
【００５５】
ここで、点光源の劣化した像が平行移動を除いて、その点の位置によらないとき、点ひろがり関数はｈ（ｘ−ｘ′，ｙ−ｙ′）と差形の関数になり、上記式（１１）は、式（１２）のように、畳み込み積分（ｃｏｎｖｏｌｕｔｉｏｎ）  で表される。
【００５６】
【数８】
0003557626.tif 000009
【００５７】
このような劣化を移動不変、位置不変、或いは空間不変であるという。変数変換によって、式（１１）を式（１２）の形式に変換できる場合もある。
【００５８】
また、劣化をｘ軸方向とｙ軸方向に分離できる場合がある。数学的に言えば、劣化関数が、式（１３）のように、積の形に分解できることに対応している。
ｈ（ｘ，ｙ，ｘ′，ｙ′）＝ｈ１  （ｘ，ｘ′）ｈ２  （ｙ，ｙ′）      （１３）
これを分離核という。カメラの一様な動きによる写真のブレは、分離核かつ移動不変な劣化の例である。
【００５９】
また、上記式（１０）の離散−離散モデルは、次のようになる。例えば、原画像ｆ（ｘ，ｙ）のＮ個の標本点における値から作られるＮ次元ベクトルをｆとする。同様に劣化画像ｇ（ｘ，ｙ）及び雑音ｎ（ｘ，ｙ）か作られるＮ次元ベクトルを、それぞれｇ，ｎとすれば、上記式（１１）は近似的に、
ｇ＝Ａｆ＋ｎ                              （１４）
と表すことができる。ここで、式（１４）におけるＡは、劣化を表すＮ次正方行列である。
【００６０】
また、標本点がＮ１  ×Ｎ２  個（Ｎ＝Ｎ１  ×Ｎ２  ）の格子点（ｘｍ  ，ｙｎ  ）で与えられている場合、ｆ（ｘ，ｙ）の標本値ｆ（ｘｍ  ，ｙｎ  ）をそのまま並べて、行列の形で表すことができる。これを〔ｆ〕とする。劣化画像ｇ（ｘ，ｙ）及び雑音ｎ（ｘ，ｙ）に対しても、同様に〔ｇ〕，〔ｎ〕とする。さらに、劣化Ａは式（１３）のように分離核になっているとする。このとき、連続−連続モデルの式（１１）は近似的に離散−離散モデルによって、
〔ｇ〕＝Ａ１  〔ｆ〕Ａ２  ＋〔ｎ〕                      （１５）
と表現できる。ここで、Ａ１  ，Ａ２  は、それぞれＮ１  次及びＮ２  次正方行列である。
【００６１】
さらに、劣化Ａが移動不変の場合、式（１２）に対して、式（１５）のＡ１  ，Ａ２  はテープリッツ（Ｔｏｅｐｌｉｔｚ）  行列で近似すれば、離散フーリエ変換（ＤＦＴ）によって対角行列に変換することができる。これは式（１２）の畳み込み積分をフーリエ変換によって積の形に変換することに相当している。
【００６２】
次に、連続−離散モデルは、連続−連続モデルによる劣化の後、標本化を行ってベクトルｇ或いは行列形式〔ｇ〕に変換したものである。したがって、前半の部分には式（１１），  式（１５）の表現を使うことができる。或いは、この２つの過程をまとめて、式（１６）のように表現することもできる。
【００６３】
【数９】
0003557626.tif 000010
【００６４】
この式（１６）で、ｇｉｊ及びｎｉｊは、それぞれ〔ｇ〕及び〔ｎ〕の第ｉｊ成分である。
【００６５】
なお、上述の式（１１）〜式（１９）に示したように、画像劣化モデルを具体的に表現する方法は数多くある。
【００６６】
図１に戻って、上述のようにして学習して得たＲＯＭテーブルからデータを読みだして画像復元を行う第１の実施例の画像復元装置の構成例について説明する。図１の画像復元装置は、入力劣化画像に対して劣化を復元した画素を出力する場合の構成を示している。
【００６７】
この図１において、入力端子１に入力された劣化したディジタル画像信号は、ブロック化回路２に送られる。当該ブロック化回路２では、供給されたディジタル画像信号を複数の画素データからなる複数のブロックに分割する。
【００６８】
上記ブロック化回路２からのブロックデータは、クラスコード発生回路３に送られる。当該クラスコード発生回路３では、供給されたブロックの２次元的なレベル分布のパターンを参照してクラスを求め、そのクラスコードを発生する。
【００６９】
このクラスコードは、アドレスデータとしてＲＯＭテーブル４に送られる。当該ＲＯＭテーブル４には、上述したようにした学習値（すなわち劣化無しの画素データ）が格納されており、上記クラスコード（アドレス）に対応してその学習値が出力される。当該ＲＯＭテーブル４から読みだされた学習値すなわち劣化無しの画素データが出力端子５から出力される。
【００７０】
次に、本発明の第２の実施例として、図５には、ＲＯＭテーブル９にブロック単位の学習値を保存している場合の構成を示す。
【００７１】
この図５において、入力端子６からクラスコード発生回路８までは、図１の入力端子１からクラスコード発生回路３までと同様の構成である。ここで、図１のＲＯＭテーブル４がブロック単位でないデータを出力するのに対し、図５のＲＯＭテーブル９はブロック単位のデータを出力する。
【００７２】
当該ＲＯＭテーブル９から出力される劣化無しのブロック単位のデータは、ブロック分解回路１０に送られる。すなわち、ＲＯＭテーブル９の出力は、ブロック単位であるため、ブロック分解回路１０によってブロック分解を行い、その分解されたデータが出力端子１１から劣化無し画像の出力データとなる。この第２の実施例では、ＲＯＭテーブル９とブロック分解回路１０とで無劣化画像出力手段が構成されている。
【００７３】
次に、図６には、本発明の第３の実施例として、劣化関数の逆関数で劣化を復元する復元フィルタの出力と図１，図５同様のブロック化回路１３の出力との差分について、先に学習を行っておいた場合についての例を示す。
【００７４】
すなわち、この図６に示す第３の実施例の画像復元装置のクラスコード発生回路１６では、ブロック化回路１３を介してブロック化された入力画像と、そのブロック画像を復元フィルタ１４を介してフィルタリングした出力との差分に対してクラス分類処理を施すようにしている。
【００７５】
この図６において、入力端子１２には図１，図５の入力端子１，６と同様にディジタル画像信号が供給され、同じく図１，図５と同様のブロック化回路１３でブロック化がなさる。
【００７６】
当該ブロック化回路１３の出力は、劣化関数の逆関数で画像の劣化を復元する復元フィルタ１４に送られる。当該フィルタ１４でフィルタリングがなされた出力は、加算器１５に減算信号として送られる。このとき当該加算器１５には上記ブロック化回路１３からの出力が加算信号としても供給され、したがって、当該加算器１５ではフィルタリングされたブロックデータとフィルタリングされていないブロックデータとの差分が求められることになる。
【００７７】
この加算器１５の出力は、クラスコード発生回路１６に送られる。当該クラスコード発生回路１６でも上記加算器１５の出力ブロックの２次元的なレベル分布のパターンを参照してクラスを求め、そのクラスコードを発生する。
【００７８】
このクラスコードは、アドレスデータとしてＲＯＭテーブル１７に送られる。当該ＲＯＭテーブル１７には、劣化の無い画素データと当該劣化の無い画素データを劣化フィルタでフィルタリングしたデータとの差分のデータで学習を行った学習値が格納されており、したがって、上記クラスコード（アドレス）に対応して学習値が出力されるようになる。
【００７９】
このＲＯＭテーブル１７から出力された学習値は、上記フィルタ１４の出力が加算信号として供給されている加算器１８に、同じく加算信号として送られる。これにより、当該加算器１８からは、劣化無しの画素データが出力され、これが出力端子１９から出力される。したがって、この第３の実施例装置では、上記ＲＯＭテーブル１７と、フィルタ１４の出力が供給される加算器１８とで無劣化画像出力手段が構成されている。
【００８０】
なお、第３の実施例の画像復元装置では、前記差分に対してクラス分類を施すようにしているが、例えば入力画像のフィルタ１４の出力に対してクラス分類を行うことも可能である。
【００８１】
上述のように、本発明実施例の画像復元においては、画質が劣化した入力画像を走査変換（ブロック化）し、このブロック画像データからクラス生成を行い、クラス（すなわち信号パターン）に応じて予め学習されたテーブルから画像復元に作用するデータ（学習最適化されたデータ）を出力し、そのデータから復元画像を生成することにより、劣化が修復された画像を得ることができ、したがって、劣化の原因が特定できない場合や、逆関数が一様に決定できない場合であっても、劣化した画像の復元が可能となる。
【００８２】
すなわち、画質が劣化した画像を復元しようとする場合には、通常、劣化原因を解析し、劣化モデル関数を決定し、逆関数を施すことにより復元を行うが、本発明実施例では、劣化の原因が特定できない場合や逆関数が一様に決定できない場合のために、劣化モデル関数の逆関数を用いる代わりに、学習により予め得られた復元テーブルを用いて、劣化した画像の代わりに劣化の無い復元画像を当てはめる（マッピング）することで、画像を復元するようにしている。
【００８３】
このように、本発明実施例では、劣化のない画像を用いた学習テーブルによるマッピングで画像を復元するため、複雑な劣化関数の決定や、その逆関数を求める必要がない上に、一度テーブルを作成すれば、処理は画像復元のテーブルを読み出すのみであるため、処理が簡単である。
また、劣化関数の逆関数が定義できず、従来なら復元できない場合においても学習により復元テーブルを作成することができる。
【００８４】
したがって、本実施例の画像復元装置によれば、例えばテレビカメラによって撮像された画像に対する画質劣化が修復された画像を得ることができる。
【００８５】
【発明の効果】
上述したように、本発明においては、画質が劣化した画像をブロック毎にクラス分類したデータと劣化の無い画像のブロックデータとで予め学習した結果を記憶しておき、劣化画像を複数のブロックに分割し、ブロック化されたデータを複数のクラスに分類してその分類に対応するクラスコードを得て、このクラスコードに応じて劣化画像に対応する劣化の無い画像を出力するようにしているため、劣化の原因が特定できない場合や、逆関数が一様に決定できない場合であっても、劣化した画像の復元が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の画像復元装置の概略構成を示すブロック回路図である。
【図２】本発明実施例における学習についての第１の具体例のフローチャートである。
【図３】本発明実施例における学習についての第２の具体例のフローチャートである。
【図４】学習信号画像から原信号画像の予測を説明するための図である。
【図５】第２の実施例の画像復元装置の概略構成を示すブロック回路図である。
【図６】第３の実施例の画像復元装置の概略構成を示すブロック回路図である。
【符号の説明】
２，７，１３・・・・ブロック化回路
３，８，１６・・・・クラスコード発生回路
４，９，１７・・・・ＲＯＭテーブル
１０・・・・・・・・ブロック分解回路
１４・・・・・・・・フィルタ
【図１】
0003557626.tif 000011
【図２】
0003557626.tif 000012
【図３】
0003557626.tif 000013
【図４】
0003557626.tif 000014
【図５】
0003557626.tif 000015
【図６】
0003557626.tif 000016