(57)【要約】  非線形補正が施された画像の復元を確実に実行可能にした画像処理装置を提供する。  劣化等の変化が生じた画像であって所定の非線形補正が施された非線形補正済み原画像データから、非線形補正が施されない元画像または非線形補正済み元画像の復元をする処理部４を有し、この処理部４が、画像変化の要因となる変化要因情報のデータ、および非線形補正済み原画像データもしくは非線形補正済み原画像データに対し逆非線形補正を行って得られた非線形補正が施されていない非線形補正無し原画像データ、を利用しての繰り返し処理により、非線形補正済み原画像データまたは非線形補正無し原画像データに近似する比較用データを徐々に生成し、または非線形補正済み原画像データのエネルギーを徐々に零に近似させることで、元画像のデータまたは非線形補正済み元画像のデータを生成する基本処理を行う。
2007074687.tif 000002
【特許請求の範囲】
【請求項１】
劣化等の変化が生じた画像であって所定の非線形補正が施された非線形補正済み原画像データから、変化する前の画像もしくは本来撮影されるべきであった画像またはそれらの近似画像であって非線形補正が施されていない画像（以下、元画像という）またはその元画像に非線形補正が施されている画像（以下、非線形補正済み元画像という）の復元をする処理部を有する画像処理装置において、
上記処理部が、画像変化の要因となる変化要因情報のデータ、および上記非線形補正済み原画像データもしくは上記非線形補正済み原画像データに対し逆非線形補正を行って得られた非線形補正が施されていない非線形補正無し原画像データ、を利用しての繰り返し処理により、上記非線形補正済み原画像データまたは上記非線形補正無し原画像データに近似する比較用データを徐々に生成し、または上記非線形補正済み原画像データのエネルギーを徐々に零に近似させることで、上記元画像のデータまたは上記非線形補正済み元画像のデータを生成する基本処理を行うことを特徴とする画像処理装置。
【請求項２】
前記基本処理で生成された上記元画像のデータに新たな非線形補正を施す事後処理を行うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記処理部が、前記基本処理に先立って、前記非線形補正済み原画像データに対し、逆非線形補正を行って前記非線形補正無し原画像データを得る事前処理を行うことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記処理部は、前記基本処理に当たって、前記変化要因情報のデータを利用して任意の画像データから比較用データを生成し、前記事前処理で得られた前記非線形補正無し原画像データと、上記比較用のデータとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うことを特徴とする請求項１、２または３記載の画像処理装置。
【請求項５】
前記処理部は、前記変化要因情報のデータを利用して任意の画像データから比較用データを生成し、上記比較用データに所定の非線形補正を施して非線形補正済み比較用データを生成し、前記非線形補正済み原画像データと、上記非線形補正済み比較用のデータとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返す前記基本処理を行うことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記処理部は、前記基本処理の際、前記非線形補正済み原画像データのエネルギーの値が、所定値以下または所定値より小さくなったら、もしくは前記比較用データと、その比較用データの比較対象となる画像データとの差分のデータの値が、所定値以下または所定値より小さくなったら、前記基本処理を停止させる処理を行うことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記処理部は、前記基本処理の際、繰り返しの回数が所定回数となったら停止させる処理を行うことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項８】
前記処理部は、前記基本処理の際、繰り返しの回数が所定回数に到達したときにおける、前記非線形補正済み原画像データのエネルギーの値が、所定値以下または所定値より小さくなったら、もしくは前記比較用データと、その比較用データの比較対象となる画像データとの差分のデータの値が、所定値以下または所定値より小さい場合は前記基本処理を停止し、所定値より超えるまたは所定値以上の場合は、さらに所定回数繰り返す処理を行うことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項９】
前記処理部は、前記基本処理に当たって、前記変化要因情報のデータを利用して、所定の画像データから比較用データを生成し、前記非線形補正済み原画像データもしくは前記非線形補正無し原画像データと上記比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さい場合は処理を停止し、上記比較用データの元となった所定の画像データを、前記元画像のデータとして扱い、上記差分が所定値より大きいまたは所定値以上の場合は、上記差分のデータを、前記変化要因情報のデータを利用して上記所定の画像データに配分することで、復元データを生成し、この復元データを上記所定の画像データに置き換えて同様の処理を繰り返す繰返し処理を行うことで前記元画像のデータを生成することを特徴とする請求項１記載の画像処理装置。
【請求項１０】
前記処理部は、前記繰返し処理の際、繰り返しの回数が所定回数となったら停止させる処理を行うことを特徴とする請求項９記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の画像処理装置で被写体を撮影すると、通常撮影される画像にはガンマ補正がなされ、出力される。ガンマ補正とは、画像がどの色のデータと、それが実際に出力される際の信号の相対関係を調節して、より自然に近い表示を得るための補正で、ガンマ値とは画像の明るさの変化に対する電圧換算値の変化である。このガンマ値は、通常非線形となる。また、その撮影される画像には時々ぶれ等の劣化が生ずる。そこで、劣化画像から高品位の復元画像を得るため、まず、逆ガンマ補正を行い、次いで、撮像装置の特性情報等に基づいて劣化関数を生成し、この劣化関数に基づいて、復元画像を生成する画像処理装置が提案されている（特許文献１要約書参照）。【０００３】
【特許文献１】特開２０００−２０６９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら伝達関数等の劣化関数は、通常ノイズ等に弱く、その値が大きく変動する。このため、得られる復元画像は、ぶれ等がない状態で撮影した画像とはほど遠いものとなり、実際上は利用できない場合がある。また、ノイズ等を考慮した復元を行う場合、連立方程式の解の特異値分解等で解を推定する方法も採用できるが、その推定のための計算値が天文学的な大きさになり、実際的には解くことができなくなるリスクが高い。【０００５】
そこで本発明が解決しようとする課題は、非線形補正が施された画像の復元を確実に実行可能にした画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の画像処理装置は、劣化等の変化が生じた画像であって所定の非線形補正が施された非線形補正済み原画像データから、変化する前の画像もしくは本来撮影されるべきであった画像またはそれらの近似画像であって非線形補正が施されていない画像（以下、元画像という）またはその元画像に非線形補正が施されている画像（以下、非線形補正済み元画像という）の復元をする処理部を有し、処理部が、画像変化の要因となる変化要因情報のデータ、および非線形補正済み原画像データもしくは非線形補正済み原画像データに対し逆非線形補正を行って得られた非線形補正が施されていない非線形補正無し原画像データ、を利用しての繰り返し処理により、非線形補正済み原画像データまたは非線形補正無し原画像データに近似する比較用データを徐々に生成し、または非線形補正済み原画像データのエネルギーを徐々に零に近似させることで、元画像のデータまたは非線形補正済み元画像のデータを生成する基本処理を行っている。【０００７】
この発明によれば、非線形補正済み原画像データから、変化要因情報のデータ、および非線形補正済み原画像データもしくは非線形補正無し原画像データを利用して、元画像のデータまたは非線形補正済み元画像のデータを徐々に生成していく処理を繰り返すため、非線形補正が施された画像の復元を確実に実行可能にしている。【０００８】
他の発明に係る画像処理装置は、上述した発明に加え、基本処理で生成された元画像のデータに新たな非線形補正を施す事後処理を行っている。この構成を採用することにより、非線形補正済み原画像データに施されていた非線形補正の内容と同一の非線形補正や異なる非線形補正を、生成した元画像のデータに施すことができる。【０００９】
他の発明に係る画像処理装置は、上述した発明に加え、処理部が、基本処理に先立って、非線形補正済み原画像データに対し、逆非線形補正を行って非線形補正無し原画像データを得る事前処理を行っている。この構成を採用することにより、非線形補正無し原画像データを確実に得た上で、基本処理を行うことができるため、基本処理の際に非線形補正の影響を考慮する必要がなくなる。【００１０】
他の発明に係る画像処理装置は、上述した発明に加え、処理部は、基本処理に当たって、変化要因情報のデータを利用して任意の画像データから比較用データを生成し、事前処理で得られた非線形補正無し原画像データと、比較用のデータとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを任意の画像データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行っている。【００１１】
この構成を採用することにより、変化要因情報のデータを利用して、所定のデータを生成することだけで基本処理を行っているので、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、任意の画像データから比較用データを作り、非線形補正無し原画像データと、比較用のデータとを比較するという処理を繰り返し、徐々に元画像データを得るので、現実的な復元作業となる。このため、画像の復元に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。【００１２】
他の発明に係る画像処理装置は、上述した発明に加え、処理部は、変化要因情報のデータを利用して任意の画像データから比較用データを生成し、比較用データに所定の非線形補正を施して非線形補正済み比較用データを生成し、非線形補正済み原画像データと、非線形補正済み比較用のデータとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを任意の画像データの代わりに使用し、同様の処理を繰り返す基本処理を行っている。【００１３】
この構成を採用することにより、変化要因情報のデータを利用して、所定のデータを生成することだけで基本処理を行っているので、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、任意の画像データから非線形補正済み比較用データを作り、非線形補正済み原画像データと、非線形補正済み比較用データとを比較するという処理を繰り返し、徐々に非線形補正済み元画像データを得るので、現実的な復元作業となる。このため、画像の復元に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。【００１４】
他の発明に係る画像処理装置は、上述した発明に加え、処理部は、基本処理の際、非線形補正済み原画像データのエネルギーの値が、所定値以下または所定値より小さくなったら、もしくは比較用データと、その比較用データの比較対象となる画像データとの差分のデータの値が、所定値以下または所定値より小さくなったら、基本処理を停止させる処理を行っている。この構成を採用することにより、これらの値が「０」にならなくても処理を停止させるので、処理の長時間化を防止することができる。また、所定値以下としているので、近似する復元データは元画像または非線形補正済み元画像により近いものとなる。さらに、ノイズなどがあった場合、これらの値が「０」になることが現実的にはあり得ない状況が生じがちであるが、そのような場合であっても無限に処理を繰り返すことにはならない。【００１５】
他の発明に係る画像処理装置は、上述した発明に加え、処理部は、基本処理の際、繰り返しの回数が所定回数となったら停止させる処理を行っている。この構成を採用することにより、無限に処理を繰り返すことにはならない。【００１６】
他の発明に係る画像処理装置は、上述した発明に加え、処理部は、基本処理の際、繰り返しの回数が所定回数に到達したときにおける、非線形補正済み原画像データのエネルギーの値が、所定値以下または所定値より小さくなったら、もしくは比較用データと、その比較用データの比較対象となる画像データとの差分のデータの値が、所定値以下または所定値より小さい場合は基本処理を停止し、所定値より超えるまたは所定値以上の場合は、さらに所定回数繰り返す処理を行っている。この構成を採用することにより、基本処理の繰り返し回数と、これらの値とを組み合わせて行うようにしているので、単に基本処理の繰り返し回数に制限を加えたり、これらの値に制限を行う場合に比較して、画像の良さと処理時間の短さのバランスが取れた処理とすることができる。【００１７】
他の発明に係る画像処理装置は、上述した発明に加え、処理部は、基本処理に当たって、変化要因情報のデータを利用して、所定の画像データから比較用データを生成し、非線形補正済み原画像データもしくは非線形補正無し原画像データと比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さい場合は処理を停止し、比較用データの元となった所定の画像データを、元画像のデータとして扱い、差分が所定値より大きいまたは所定値以上の場合は、差分のデータを、変化要因情報のデータを利用して所定の画像データに配分することで、復元データを生成し、この復元データを所定の画像データに置き換えて同様の処理を繰り返す繰返し処理を行うことで元画像のデータを生成している。【００１８】
この構成を採用することにより、変化要因情報のデータを利用して、比較用データを生成し、非線形補正済み原画像データもしくは非線形補正無し原画像データとの比較をし、差分が大きいときのみ元画像のデータを生成しているので、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、復元データから比較用データを作り、その比較用データと処理対象の原画像のデータを比較するという処理を繰り返し、徐々に元画像を得るので、現実的な復元作業となる。このため、画像の復元に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。【００１９】
他の発明に係る画像処理装置は、上述した発明に加え、処理部は、繰返し処理の際、繰り返しの回数が所定回数となったら停止させる処理を行っている。この構成を採用することにより、差分が「０」になってもならなくても処理を停止させるので、処理の長時間化を防止することができる。また、所定回数まで処理を継続させているので、復元データは元画像データにより近いものとなる。さらに、ノイズなどがあった場合、差分が「０」にならない状況が現実的には生じがちであるが、そのような場合、無限に処理を繰り返すことになってしまうが、この構成を採用すると、そのような問題が生じない。
【発明の効果】
【００２０】
本発明では、非線形補正が施された画像の復元を確実に実行可能にした画像処理装置を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施の形態に係る画像処理装置の主要構成を示すブロック図である。
【図２】図１に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。
【図３】図１に示す画像処理装置の処理部で行う画像復元処理方法（反復処理）に係る処理ルーチンを説明するための処理フロー図である。
【図４】図３に示す処理方法の概念を説明するための図である。
【図５】図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレのないときのエネルギーの集中を示す表である。
【図６】図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレのないときの画像データを示す図である。
【図７】図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレが生じたときのエネルギーの分散を示す図である。
【図８】図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、任意の画像から比較用データを生成する状況を説明するための図である。
【図９】図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、比較用データと、処理対象となるぶれた原画像とを比較して、差分のデータを生成する状況を説明するための図である。
【図１０】図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。
【図１１】図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分のデータを生成する状況を説明するための図である。
【図１２】図３に示す処理方法を、手ブレを例にして具体的に説明するための図で、新たに生成された差分のデータを配分し、新たな復元データを生成する状況を説明するための図である。
【図１３】本発明の第２の実施の形態に係る画像処理装置の処理部で行う画像復元処理方法（反復処理）に係る処理ルーチンを説明するための処理フロー図である。
【図１４】本発明の第３の実施の形態に係る処理部で行う処理方法の概念を説明するための図である。
【図１５】本発明の第３の実施の形態に係る画像処理装置の処理部で行う画像復元処理方法に係る処理ルーチンを説明するための処理フロー図である。
【符号の説明】
【００２２】
１，１Ａ，１Ｂ  画像処理装置
２  撮像部
３  制御系部
４  処理部
５  記録部
６  検出部
７  要因情報保存部
Ｉｏ  初期画像のデータ（任意の画像のデータ）
Ｉｏ’  比較用データ
ｃＩｏ’  補正済み比較用データ
Ｇ  変化要因情報のデータ（劣化要因情報のデータ）
Ｇａ  点像関数の重心値
Ｉｍｇ’  原画像のデータ（撮影された画像）
ｃＩｍｇ’  補正済み原画像データ
ｋ  配分比
Ｉｏ＋ｎ  復元データ（復元画像のデータ）
Ｉｏ＋ｍ  復元データ（復元画像のデータ）
Ｉｍｇ  劣化のない本来の正しい画像のデータ（元画像）
ｃＩｍｇ  非線形補正済み元画像データ
ｅ  原画像画素エネルギー
ｅｎ  配分画素エネルギー
ｓｕｍ（ｅｎ）  配分画素エネルギーの総和
γ  非線形補正関数
ｎγ  新たな非線形補正関数
δ  差分のデータ（Ｉｍｇ’とＩｏ’との差分のデータ）
δ’  差分のデータ（ｃＩｍｇ’とｃＩｏ’との差分のデータ）
Ｒｎ  復元領域データ
【発明を実施するための最良の形態】
【００２３】
（第１の実施の形態）
以下、本発明の第１の実施の形態に係る画像処理装置１について図を参照しながら説明する。なお、この画像処理装置１は、民生用のカメラとしているが、監視用カメラ、テレビ用カメラ、ハンディタイプのビデオカメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらにはＮＭＲ撮影等の画像診断装置等、カメラ以外の機器にも適用できる。【００２４】
図１には画像処理装置１の構成の概要を示している。画像処理装置１は、人物等の画像を撮影する撮像部２と、その撮像部２を駆動する制御系部３と、撮像部２で撮影された画像を処理する処理部４と、を有している。また、この実施の形態に係る画像処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、角速度センサ等からなり、画像劣化など変化の要因となる変化要因情報を検知する検出部６と、画像劣化等を生じさせる既知の変化要因情報を保存する要因情報保存部７を有する。【００２５】
撮像部２は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するＣＣＤやＣ−ＭＯＳ等の撮影素子を備える部分である。制御系部３は、撮像部２，処理部４，記録部５，検出部６，及び要因情報保存部７等、画像処理装置内の各部を制御するものである。【００２６】
処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ(Application Specific Integrated Circuit)のようなハードウェアで構成されている。処理部４は、検出する手ブレ等の振動検出のためのサンプリング周波数を発生させていると共にそのサンプリング周波数を検出部６に供給している。また処理部４は、振動検出の開始と終了を制御している。さらに処理部４は、画像データから既知の非線形補正を除去する逆非線形補正を施す処理を行い、画像データに対して新たな非線形補正を施す処理を行うことがある。ここで、非線形補正は、明るさおよび色の調整等のいわゆるガンマ補正等の他に、ＪＰＥＧ（Joint Photographic Experts Group）圧縮処理、画像のコントラスト調整処理等である。【００２７】
また、この処理部４には、後述する比較用データを生成する際の元となる画像のデータ、逆非線形補正および新たな非線形補正を施す処理を行う際に用いる補正関数が保管されることもある。さらに処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段、またはＤＶＤ等を使用する光記録手段等を採用しても良い。【００２８】
検出部６は、図２に示すように、画像処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出する２つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ブレは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動、Ｚ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向やＹ方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。【００２９】
要因情報保存部７は、既知の劣化要因情報などの変化要因情報、たとえば光学系の収差および／または検出された振動に基づいて算出された点像関数等を保存しておく記録部である。要因情報保存部７で記録された点像関数は、たとえばその算出後の直近に撮影された原画像の復元処理の際に、処理部４で用いられる。ここで、原画像の復元処理を実行する時期は、撮影用の電源がオフされている時、処理部４が稼働していない時、処理部４の稼働率が低い時等、原画像を撮影した時期から遅らせた時期とすることができる。その場合には、記録部５に保存された原画像データおよび、要因情報保存部７に保存された、その原画像についての点像関数等の変化要因情報が、それぞれが関連づけられた状態で長期間に渡り保存される。このように、原画像の復元処理を実行する時期を、原画像を撮影した時期から遅らせる利点は、種々の処理を伴う撮影時の処理部４の負担を軽減できることである。【００３０】
次に、以上のように構成された第１の実施の形態に係る画像処理装置１の処理部４の画像復元処理方法の概要を、図３に基づいて説明する。【００３１】
図３中、「Ｉ０」は、任意の初期画像であって、処理部４の記録部に予め保存されている画像のデータである。「Ｉ０’」は、その初期画像のデータのＩ０の劣化画像のデータを示し、比較のための比較用データである。「Ｇ」は、検出部６で検出された変化要因情報（＝劣化要因情報（点像関数））のデータで、処理部４の記録部に保存されるものである。「Ｉｍｇ’」は、撮影された画像、すなわち劣化画像のデータ（原画像のデータ）である。「ｃＩｍｇ’」は、原画像データＩｍｇ’に非線形補正が施された非線形補正済み原画像データである。「γ」は、非線形補正済み原画像データｃＩｍｇ’に施されている、既知の非線形補正関数である。【００３２】
「δ」は、原画像データＩｍｇ’と、比較用データＩ０’との差分のデータである。「ｋ」は、変化要因情報のデータに基づく配分比である。「Ｉ０＋ｎ」は、初期画像のデータＩ０に、差分のデータδを変化要因情報のデータＧに基づいて配分して新たに生成した復元画像のデータ（復元データ）である。「Ｉｍｇ」は、元画像のデータで、非線形補正がされていないデータである。「ｎγ」は、元画像のデータＩｍｇに施す、新たな非線形補正関数である。「ｃＩｍｇ」は、元画像データＩｍｇに新たな非線形補正関数ｎγを施した、非線形補正済み元画像データである。ここで、ＩｍｇとＩｍｇ’の関係は、次の（１）式で、Ｉｍｇ’とｃＩｍｇ’との関係は、次の（２）式で、ＩｍｇとｃＩｍｇとの関係は、次の（３）式で、それぞれ現されるとする。
Ｉｍｇ’＝Ｉｍｇ＊Ｇ  ……（１）
ｃＩｍｇ’＝Ｉｍｇ’×γ…（２）
ｃＩｍｇ＝Ｉｍｇ×ｎγ……（３）
ここで、「＊」は、重畳積分を表す演算子である。【００３３】
なお、差分のデータδは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報のデータＧにより異なり、次の（４）式で現される。
δ＝ｆ（Ｉｍｇ’，Ｉｍｇ，Ｇ）  …（４）【００３４】
処理部４の処理ルーチンは、まず、撮影データ等の処理対象となるデータに逆非線形補正を施す（ステップＳ１００）。これは、撮影データ等は画像の質を上げるべく非線形補正が施されているためである。すなわち、ステップＳ１００では、非線形補正が施され、且つ、手ブレにより劣化している非線形補正済み原画像データｃＩｍｇ’から、逆非線形補正により原画像データＩｍｇ’を得る。一方、このステップＳ１００より前、同時またはそれより後に、任意の画像データＩ０を用意する（ステップＳ１０１）。この初期画像のデータＩ０としては、劣化している原画像のデータＩｍｇ’を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップＳ１０２で、（１）式のＩｍｇの代わりに初期画像となる任意の画像のデータＩ０を入れ、劣化画像である比較用データＩ０’を求め、処理部４の所定のデータ領域に格納する。次に、原画像データＩｍｇ’と比較用データＩ０’とを比較し、差分のデータδを算出する（ステップＳ１０３）。【００３５】
次に、ステップＳ１０４で、この差分のデータδが所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ１０５で新たな復元画像のデータ（＝復元データ）を生成する処理を行う。すなわち、差分のデータδを変化要因情報のデータＧに基づいて、任意の画像データＩ０に配分し、新たな復元データＩ０＋ｎを生成する。その後、ステップＳ１０２，Ｓ１０３，Ｓ１０４を繰り返す。【００３６】
ステップＳ１０４において、差分のデータδが所定値より小さい場合、繰り返しの処理を終了する。そして、繰り返しの処理を終了した時点での復元データＩ０＋ｎを元画像のデータＩｍｇと推定する（ステップＳ１０６）。すなわち、差分データδが所定値より小さくなった場合、比較用データＩ０＋ｎ’の元となった復元データＩ０＋ｎは元画像のデータＩｍｇと非常に近似したものとなることから、その復元データＩ０＋ｎを元画像のデータＩｍｇと推定するのである。そしてその推定された元画像データＩ０＋ｎに新たな非線形補正関数ｎγを乗じ（ステップＳ１０７）、得られた画像データを非線形補正済み元画像データｃＩｍｇとする。以上で処理部４における画像復元処理が終了する（ステップＳ１０８）。なお、記録部５には、得られた非線形補正済み元画像データｃＩｍｇを記録する他、初期画像のデータＩ０、変化要因情報のデータＧ、非線形補正関数γおよび新たな非線形補正関数ｎγを記録しておき、必要により処理部４に渡すようにしても良い。また、ステップＳ１０７では、処理対象データに施された非線形補正関数γと異なる非線形補正関数ｎγを使用したが、非線形補正関数γを採用しても良い。【００３７】
ここで、元画像データＩｍｇにまた非線形補正を施す過程（ステップＳ１０７）は、必要に応じて省略することができる。たとえば、最終的に求めるものが非線形補正がされていない元画像データＩｍｇであれば、このステップＳ１０７は不要となる。また、この過程を省略するか否かは、画像処理装置１を操作する者が選択できるようにすることができる。【００３８】
上述した繰り返しの処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、理論上は可能であるが、現実問題としては困難である。【００３９】
最適化問題として解くということは、次の条件を前提としている。
すなわち、
（１）入力に対する出力は、一意に決まる。
（２）出力が同じであれば、入力は同じである。
（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。【００４０】
このことを換言すれば、図４（Ａ）（Ｂ）に示すように、原画像のデータＩｍｇ’と近似である比較用データＩ０’（Ｉ０＋ｎ’）を生成できれば、その生成の元データとなる初期画像のデータＩ０または復元データＩ０＋ｎは、元画像のデータＩｍｇに近似したものとなる。【００４１】
なお、この実施の形態では、角速度検出センサのサンプリング周波数を６０Ｈｚから２４０Ｈｚ内としているが、高周波数を検出できるように５μｓｅｃ毎に角速度を検出してもよい。また、差分のデータδの判定基準となる値は、各データを８ビット（０〜２５５）で現した場合に、この実施の形態では「６」としている。すなわち、６より小さい、つまり５以下の時は、処理を終了している。【００４２】
次に、図３に示す手ブレの復元処理方法（ステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５の反復処理）の詳細を、図５，図６，図７，図８，図９，図１０，図１１および図１２に基づいて説明する。【００４３】
（手ブレの復元アルゴリズム１）
手ブレが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、手ブレがある場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中のエネルギーの分散の仕方がわかるため、ぶれた画像からブレの無い画像を作ることが可能となる。【００４４】
以下、簡単のため、横一次元で説明する。画素を左から順にn-1，n，n+1，n+2，n+3，…，とし、ある画素nに注目する。ブレが無いとき、露光時間中のエネルギーは、その画素に集中するため、エネルギーの集中度は「１．０」である。この状態を図７に示す。このときの撮影結果を、図６の表に示す。図６に示すものが、劣化しなかった場合の正しい画像データＩｍｇとなる。なお、各データは、８ビット（０〜２５５）のデータで現している。【００４５】
露光時間中にブレがあり、露光時間中の５０％の時間はn番目の画素に、３０％の時間はn+1番目の画素に、２０％の時間はn+2番目の画素にそれぞれぶれていたとする。エネルギーの分散の仕方は、図７に示す表のとおりとなる。これが変化要因情報のデータＧとなる。【００４６】
ブレは、全ての画素で一様であり、線形問題として把握される。そして、上ブレ（縦ぶれ）が無いとすると、ブレの状況は、図８に示す表のとおりとなる。図８中の「撮影結果」として示されるデータが、元画像のデータＩｍｇで、「ブレ画像」として示されるデータが、劣化している原画像のデータＩｍｇ’となる。具体的には、たとえば「ｎ−３」の画素の「１２０」は、ぶれ情報である変化要因情報のデータＧの「０．５」「０．３」「０．２」の配分比に従い、「ｎ−３」の画素に「６０」、「ｎ−２］の画素に「３６」、「ｎ−１」の画素に「２４」というように分散する。同様に、「ｎ−２」の画素データである「６０」は、「ｎ−２」に「３０」、「ｎ−１」に「１８」、「ｎ」に「１２」として分散する。この劣化している原画像データＩｍｇ’と、図７に示す変化要因情報のデータＧから元画像データＩｍｇを算出することとなる。【００４７】
ステップＳ１０１に示す任意の画像データＩ０としては、どのようなものでも採用できるが、この説明に当たっては、ステップＳ１００で得た原画像データＩｍｇ’を用いる。すなわち、Ｉ０＝Ｉｍｇ’として処理を開始する。図９の表中に「入力」とされたものが初期画像のデータＩ０に相当する。このデータＩ０すなわちＩｍｇ’と、ステップＳ１０２で変化要因情報のデータＧとを重畳積分する。すなわち、たとえば、初期画像のデータＩ０の「ｎ−３」の画素の「６０」は、ｎ−３の画素に「３０」が、「ｎ−２」の画素に「１８」が、「ｎ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力Ｉ０’」として示される比較用データＩ０’が生成される。このため、ステップＳ１０３の差分のデータδは、図９の最下欄に示すようになる。【００４８】
この後、ステップＳ１０４にて差分のデータδの大きさを判断する。具体的には、差分のデータδが全て絶対値で５以下となった場合に処理を終了するが、図９に示す差分のデータδは、この条件に合わないため、ステップＳ１０５に進む。すなわち、差分のデータδを変化要因情報のデータＧを使用して、任意の画像のデータＩ０に配分して、図１０中の「次回入力」として示される復元データＩ０＋ｎを生成する。この場合、第１回目であるため、図１０では、Ｉ０＋１と現している。【００４９】
差分のデータδの配分は、たとえば「ｎ−３」の画素データ「３０」に自分の所（＝「ｎ−３」の画素）の配分比である０．５をかけた「１５」を「ｎ−３」の画素に配分し、また「ｎ−２」の画素のデータ「１５」にその「ｎ−２」の画素にきているはずの配分比である０．３をかけた「４．５」を配分し、さらに、「ｎ−１」の画素のデータ「９．２」に、その「ｎ−１」の画素にきているはずの配分比である０．２をかけた「１．８４」を配分する。「ｎ−３」の画素に配分された総量は、「２１．３４」となり、この値を初期画像のデータＩ０（ここでは原画像データＩｍｇ’を使用）にプラスして、復元データＩ０＋１を生成している。【００５０】
図１１に示すように、この復元データＩ０＋１がステップＳ１０２の入力画像のデータ（＝初期画像のデータＩ０）になり、ステップＳ１０２が実行され、ステップＳ１０３へと移行し、新しい差分のデータδを得る。その新しい差分のデータδの大きさをステップＳ１０４で判断し、所定値より大きい場合、ステップＳ１０５で新しい差分のデータδを前回の復元データＩ０＋１に配分し、新しい復元データＩ０＋２を生成する（図１２参照）。その後、ステップＳ１０２の遂行により、復元データＩ０＋２から新しい比較用データＩ０＋２’が生成される。このように、ステップＳ１０２，Ｓ１０３が実行された後、ステップＳ１０４へ行き、そこでの判断によりステップＳ１０５へ行ったり、ステップＳ１０６へ移行する。このような処理を繰り返す。【００５１】
以上のように、ステップＳ１０２〜ステップＳ１０５が繰り返されることで、差分のデータδが徐々に小さくなっていき、所定値より小さくなると、ステップＳ１０６，Ｓ１０７へ移行し、ブレていなくて、かつγ補正等の非線形補正が施された非線形補正済み元画像データｃＩｍｇが得られる。【００５２】
（第２の実施の形態）
以下、本発明の第２の実施の形態に係る画像処理装置について図１３を参照しながら説明する。第２の実施の形態に係る画像処理装置の構成は、本発明の第１の実施の形態に係る画像処理装置１と同様である。よって、第１の実施の形態に係る画像処理装置１と同一となる装置等には、同一符号を付し、その説明を省略または簡略化することとする。また、第２の実施の形態に係る画像処理装置を示すときは符号として「１Ａ」を使用するが、図中にはその符号「１Ａ」は現れない。【００５３】
次に、この第２の実施の形態に係る画像処理装置１Ａの処理部４で実行される画像復元処理方法の概要を、図１３に基づいて説明する。【００５４】
図１３中、「Ｉ０」、「Ｉ０’」、「Ｇ」、「ｃＩｍｇ’」、「γ」、「ｋ」、「ｎγ」および「Ｉｍｇ」の意義は、第１の実施の形態と同一であり、説明を省略する。「ｃＩ０’」は、比較用データＩ０’に対し、原画像データＩｍｇ’に施されている既知の非線形補正関数γを乗じて得られる、非線形補正済み比較用データである。「δ’」は、非線形補正済み原画像データｃＩｍｇ’と、非線形補正済み比較用データｃＩ０’との差分のデータである。「Ｉ０＋ｎ」は、初期画像のデータＩ０に、差分のデータδ’を変化要因情報のデータＧに基づいて配分して新たに生成した復元画像のデータ（復元データ）である。ここで、ＩｍｇとＩｍｇ’の関係を表す上述した（１）式および、ＩｍｇとｃＩｍｇとの関係を表す、上述した（３）式は、第２の実施の形態についても適用される。また、差分のデータδ’は、上述した（４）式同様、次の（５）式で現される。また、ｃＩ０’とＩ０’との関係は、次の（６）式で現される。
δ’＝ｆ（ｃＩｍｇ’，Ｉｍｇ，Ｇ）  …（５）
ｃＩ０’＝Ｉ０’×γ  …（６）【００５５】
処理部４の処理ルーチンは、まず、任意の画像データＩ０を用意することから始まる（ステップＳ２０１）。この初期画像のデータＩ０は、上述した図３のステップＳ１０１の説明同様、どのような画像のデータを用いても良い。ステップＳ２０２で、（１）式のＩｍｇの代わりに初期画像となる任意の画像のデータＩ０を入れ、劣化画像である比較用データＩ０’を求める。次に、求められた比較用データＩ０’に対し、非線形補正関数γを乗じて、補正済み比較用データｃＩ０’を得る（ステップＳ２０３）。この非線形補正関数γは、処理対象データに施されている非線形補正関数と同一のものである。そして処理対象となる非線形補正済み原画像データｃＩｍｇ’と非線形補正済み比較用データｃＩ０’とを比較し、差分のデータδ’を算出する（ステップＳ２０４）。【００５６】
次に、ステップＳ２０５で、この差分のデータδ’が所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ２０６で新たな復元画像のデータ（＝復元データ）を生成する処理を行う。すなわち、差分のデータδ’を変化要因情報のデータＧに基づいて、任意の画像データＩ０に配分し、新たな復元データＩ０＋ｎを生成する。その後、ステップＳ２０２，Ｓ２０３，Ｓ２０４，Ｓ２０５およびＳ２０６を繰り返す。【００５７】
ステップＳ２０５において、差分のデータδ’が所定値より小さい場合、繰り返しの処理を終了する。そして、繰り返しの処理を終了した時点での復元データＩ０＋ｎを元画像のデータＩｍｇと推定する（ステップＳ２０７）。そしてその推定された元画像データＩｍｇに新たな非線形補正処理をして（ステップＳ２０８）、非線形補正済み元画像データｃＩｍｇを得る。なお、この非線形補正処理においては、先程の非線形補正関数γを使用するのが好ましいが、復元した復元データＩ０＋ｎに合った最適な補正処理をするようにしても良い。すなわち、処理対象データに施された非線形補正関数γとは異なる関数を使用しても良い。以上で処理部４における画像復元処理が終了する（ステップＳ２０９）。なお、記録部５には、得られた非線形補正済み元画像データｃＩｍｇを記録する他、初期画像のデータＩ０や変化要因情報のデータＧ、非線形補正関数γおよび新たな非線形補正関数ｎγを記録しておき、必要により処理部４に渡すようにしても良い。【００５８】
上述した繰り返しの処理方法の考え方、および手ブレの復元アルゴリズムについては、第１の実施の形態と同様なので、説明を省略する。【００５９】
上述した第１および第２の実施の形態に係る画像処理装置１，１Ａでは、処理するに当たり、ステップＳ１０４およびステップＳ２０５において、事前に処理回数と、差分のデータδ（δ’）の判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として２０回、５０回等任意の回数を設定できる。また、処理を停止させる差分のデータδまたはδ’の値を８ビット（０〜２５５）中の「５」と設定し、５以下になったら処理を終了させたり、「０．５」と設定し「０．５」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力する構成とした場合、いずれか一方が満足されたときに処理は停止されるようにするのが好ましい。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らなかった場合、更に所定回数の処理を繰り返すようにしても良い。また、上述の各実施の形態では、差分のデータδまたはδ’の判断基準として、全ての差分のデータδ(δ’)が所定値未満または所定値以下のとき、繰り返し処理を中止したが、差分のデータδ(δ’)の絶対値の総和や、２乗の総和を判断基準としても良い。【００６０】
上述した第１および第２の実施の形態の説明の中では、要因情報保存部７に保存されている情報を利用せず、処理部４の記録部に保存されているデータを使用したが、ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、先の例（図３および図１３）の処理方法における繰り返しの処理の部分（反復処理）では、ブレの情報と光学収差の情報を合わせて１つの劣化要因として捉えて処理を行うのが好ましいが、ブレの情報での処理を終了した後に光学収差の情報での復元処理を行うようにしても良い。また、この要因情報保存部７を設置しないようにして、処理部４に記録されている撮影時の動的要因、たとえばブレのみで画像を修正したり復元したりしても良い。【００６１】
また、第１および第２の実施の形態では、処理部４が、差分のデータδ（δ’）の大きさを判断して、図３および図１３に示す反復処理を継続するか中止するかを決める方法を採用したが、これらの方法以外の方法も採用され得る。たとえば、劣化等の変化が生じた撮影された原画像から元画像の復元をする処理部を有する画像処理装置において、処理部が、原画像Ｉｍｇ’の画素の光エネルギーを、変化要因情報Ｇに基づく配分比ｋに従い、復元画像が記録される復元データ領域に配分し、その後残った原画像Ｉｍｇ’の画素データを処理対象に置き換えて同様の考えで移動を繰り返す。この繰り返し処理は、移動元のデータである原画像データＩｍｇ’が無くなるまで、すなわち「０」となるまで行う。このような処理によって復元処理を行うことができる。以下、この復元処理を採用する、第３の実施の形態に係る画像処理装置について説明する。【００６２】
（第３の実施の形態）
図１４に図４（Ａ）に対応する図を示し、図１４に基づき、この第３の実施の形態に係る手ブレの復元処理の考え方を以下述べる。元画像のデータＩｍｇが、変化要因情報のデータＧにより原画像のデータＩｍｇ’へと変化したのなら、同一のフィルタとなる変化要因情報のデータＧが有する点像関数の重心値Ｇａを通して原画像データＩｍｇ’の全てを復元データ領域に再配分すれば、復元データ領域に存在する復元データＲｎは、元画像のデータＩｍｇに近似するはずである。【００６３】
以上の考え方に基づいた本発明の第３の実施の形態に係る画像処理装置について図１５を参照しながら説明する。第３の実施の形態に係る画像処理装置の構成は、本発明の第１および第２の実施の形態に係る画像処理装置１，１Ａと同様である。よって、各実施の形態に係る画像処理装置１，１Ａと同一となる装置等には、同一符号を付し、その説明を省略または簡略化することとする。また、第３の実施の形態に係る画像処理装置を示すときは、符号として「１Ｂ」を使用するが、図中には、その符号「１Ｂ」は現れない。【００６４】
以下、第３の実施の形態に係る画像処理装置１Ｂの処理部４で実行される画像復元処理方法の概要を、図１５に基づいて説明する。【００６５】
図１５中、「Ｇ」、「ｋ」、「ｃＩｍｇ’」、「γ」、「ｎγ」、「Ｉｍｇ」および「ｃＩｍｇ」の意義は、第１または第２の実施の形態と同一であり、説明を省略する。「Ｇａ」は、変化要因情報のデータＧが有する点像関数の重心値である。「Ｒｎ」は、上述の復元データである。「Ｅ」は、原画像データＩｍｇ’の各画素が有する光エネルギーを合計したもの（以下、原画像全エネルギーという）である。「ｅｎ」は、画素エネルギーのうち、ｎ回目に復元データ領域に配分されるデータ（以下、配分画素エネルギーという）である。「ｓｕｍ（ｅｎ）」は、配分画素エネルギーｅｎの総和である。ここで、ＩｍｇとＩｍｇ’の関係を表す上述した（１）式、ＩｍｇとｃＩｍｇとの関係を表す上述した（３）式は、第３の実施の形態についても適用される。【００６６】
図１５に示す、第３の実施の形態に係る画像処理装置１Ｂの処理部４の復元のための処理ルーチンは、まず、非線形補正済み原画像データｃＩｍｇ’を補正関数γにて逆非線形補正して、原画像データＩｍｇ’を得ることから始まる（ステップＳ３０１）。このステップＳ３０１は、ステップＳ１００に相当する。そして原画像データＩｍｇ’の各画素の光エネルギーを原画像画素エネルギーＥとして抽出する（ステップＳ３０２）。ここで、現段階（ｎ＝１）では、配分画素エネルギーｅｎの総和ｓｕｍ（ｅｎ−１）は零であるため、原画像全エネルギーＥに、点像関数の重心値Ｇａに基づく逆変換を行い、ｎ＝１の段階の配分画素エネルギーｅｎ（＝ｅ１）を得る（ステップＳ３０３）。次いで、配分画素エネルギーｅｎを復元データＲｎに配分する（ステップＳ３０４）。ここで、ｎ＝１の段階のステップＳ３０４における復元データＲｎ−１は零であるので、復元データＲ１は「ｅ１」となる。この配分の結果、配分画素エネルギーｅｎの総和ｓｕｍ（ｅｎ）｛＝ｓｕｍ（ｅ１）｝と原画像全エネルギーＥとが近似してきたかどうかの判断を行う（ステップＳ３０５）。すなわち、両者の差が「０」以外の「０」に近い値を所定値として決めておき、その値以下になるかどうかを判断し、所定値以上または超えるときは、「ｎ＝ｎ＋１」＝２として、ステップＳ３０３，Ｓ３０４，Ｓ３０５の処理を再度以下のように行う。なお、ステップＳ３０５は、エネルギーが徐々に引かれていく原画像のデータＩｍｇ’の残エネルギーが零に近似したか否かの判断を行うステップとしたり、復元データＲｎの総エネルギー量が最初の原画像データＩｍｇ’のエネルギーと近似してきたか否かの判断を行うステップとしても良い。【００６７】
今度は、ｎ＝２であり、配分画素エネルギーｅｎの総和ｓｕｍ（ｅｎ）が零でなくｓｕｍ（ｅ１）（＝ｅ１）である。よって、原画像全エネルギーＥから、配分画素エネルギーｅｎの総和ｓｕｍ（ｅｎ）であるｅ１を差し引いた値（残存した画素エネルギー値）に点像関数の重心値Ｇａに基づく逆変換を行い、配分画素エネルギーｅｎ＝（ｅ２）を得る（ステップＳ３０３）。その配分画素エネルギーｅｎを先の復元データＲ１に加算配分する（ステップＳ３０４）。すなわち、既にある復元データＲｎ−１（＝Ｒ１）に今回の配分画素エネルギーｅｎ＝ｅ２を加算配分してＲ２とする。この配分の結果、配分画素エネルギーｅｎの総和ｓｕｍ（ｅｎ）｛＝ｓｕｍ（ｅ２）｝と原画像全エネルギーＥとが近似してきたかどうかの判断を行う（ステップＳ３０５）。近似していなければ、「ｎ＝ｎ＋１」＝３として、ステップＳ３０３，Ｓ３０４，Ｓ３０５の処理を再度行う。そして必要により順次ｎの値を増やしてステップＳ３０３，Ｓ３０４，Ｓ３０５の処理を繰り返す。近似してきたら（ｓｕｍ（ｅｎ）≒Ｅ）復元データＲｎは、元画像データＩｍｇと近似していると推定できる（ステップＳ３０６）。そして、元画像データＩｍｇに新たな非線形補正関数γをかけることで非線形補正済み元画像データｃＩｍｇが得られ（ステップＳ３０７）、復元処理は終了する（ステップＳ３０８）。ここでステップＳ３０７での非線形補正処理は、撮影データ等処理対象データに施された非線形補正関数γを用いるのが好ましいが、新たに得られた復元データＲｎに対しての最適な補正となるよう他の関数を使用しても良い。【００６８】
以上、第１、第２および第３の実施の形態における画像処理装置１，１Ａ，１Ｂについて説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部４で行った処理は、ソフトウェアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。また、変化要因情報のデータＧとしては、劣化要因情報のデータのみではなく、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。【００６９】
また、処理の反復回数が画像処理装置１，１Ａ，１Ｂ側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報のデータＧによって変更するようにしても良い。たとえば、ある画素のデータがブレにより多数の画素に分散している場合は、反復回数を多くし、分散が少ない場合は反復回数を少なくするようにしても良い。【００７０】
さらに、反復処理中に、差分のデータδまたはδ’が発散してきたり、エネルギーが移動した後の画像データのエネルギーが小さくならず大きくなってきたら、処理を中止させるようにしても良い。発散しているか否かは、たとえば差分のデータδまたはδ’の平均値を見てその平均値が前回より大きくなったら発散していると判断する方法を採用できる。また、反復処理中に、入力を異常な値に変更しようとしたときには、処理を中止させるようにしても良い。たとえば８ビットの場合、変更されようとする値が２５５を超える値であるときには、処理を中止させる。また、反復処理中、新たなデータである入力を異常な値に変更しようとしたとき、その値を使用せず、正常な値とするようにしても良い。たとえば、８ビットの０〜２５５の中で、２５５を超える値を入力データとしようとした際は、マックスの値である２５５として処理するようにする。【００７１】
また、出力画像となる復元データを生成する際、変化要因情報のデータＧによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入ってくるべきデータがある場合は、そのデータは反対側から持ってくるようにするのが好ましい。たとえば、領域内の最も下に位置する画素ＸＮ１のデータから、さらに下の画素に割り振られるデータが発生した場合、その位置は領域外になる。そこで、そのデータは画素ＸＮ１の真上で最も上に位置する画素Ｘ１１に割り振られる処理をする。画素ＸＮ１の隣の画素Ｎ２についても同様に真上で最上覧の画素Ｘ１２（＝画素Ｘ１１の隣り）に割り振ることとなる。【００７２】
上述の各実施の形態では、復元対象を画像データとしている。しかし、これらの復元処理の考え方および手法は、あらゆるデジタルデータの復元処理に適用できる。たとえば、デジタルの音声データの復元等への適用が可能である。音声データの場合、非線形補正としてエコーをかけることがあるが、その場合も上述の各実施の形態のように非線形補正を除去する等の処理を併せて行うことができる。
【図１】
2007074687.tif 000003
【図２】
2007074687.tif 000004
【図３】
2007074687.tif 000005
【図４】
2007074687.tif 000006
【図５】
2007074687.tif 000007
【図６】
2007074687.tif 000008
【図７】
2007074687.tif 000009
【図８】
2007074687.tif 000010
【図９】
2007074687.tif 000011
【図１０】
2007074687.tif 000012
【図１１】
2007074687.tif 000013
【図１２】
2007074687.tif 000014
【図１３】
2007074687.tif 000015
【図１４】
2007074687.tif 000016
【図１５】
2007074687.tif 000017
【国際調査報告】
2007074687.tif 000018
2007074687.tif 000019