(57)【要約】  画像を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を提案すること。  この画像処理装置は、画像を処理する処理部を有する。この処理部は、画像変化の要因となる変化要因情報のデータＧを利用して、任意の画像のデータＩｏから比較用データＩｏ′を生成し、処理対象となる原画像のデータＩｍｇ′と比較用データＩｏ′とを比較し、得られた差分のデータσから周囲の影響を変化要因情報のデータＧに従って取り除き、その値を変化要因情報のデータＧでかつ１未満の値で割って戻し量とすることで、復元データＩｏ＋ｎを生成し、この復元データＩｏ＋ｎを任意の画像データＩｏの代わりに使用し、同様の処理を繰り返すことで、原画像の変化前の画像またはそれに近似する画像のデータとなる復元データＩｏ＋ｎを生成する処理を行う。なお、戻し量の計算は、他の方法も採用できる。
2007063630.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する処理部を有する画像処理装置において、上記処理部は、画像変化の要因となる変化要因情報のデータを利用して、任意の画像のデータから比較用データを生成し、処理対象となる原画像のデータと上記比較用データとを比較し、得られた差分のデータから周囲の影響を上記変化要因情報のデータに従って取り除き、その値を上記変化要因情報のデータでかつ１未満の値で割って戻し量とすることで、復元データを生成し、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返すことで、上記原画像の変化前の画像またはそれに近似する画像のデータとなる復元データを生成する処理を行うことを特徴とする画像処理装置。
【請求項２】
画像を処理する処理部を有する画像処理装置において、上記処理部は、画像変化の要因となる変化要因情報のデータを利用して、任意の画像のデータから比較用データを生成し、処理対象となる原画像のデータと上記比較用データとを比較し、得られた差分のデータをそのまままたは１未満の値を掛けた値を上記変化要因情報のデータであってかつ１未満の値で割って戻し量とし、特定画素の復元データの値として決め、その値による周囲の影響を上記変化要因情報のデータに従って、上記差分のデータから取り除くことで、各画素の復元データを生成し、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返すことで、上記原画像の変化前の画像またはそれに近似する画像のデータとなる復元データを生成する処理を行うことを特徴とする画像処理装置。
【請求項３】
前記処理部は、前記繰り返しの処理の際、繰り返しの回数が所定回数に到達したときの前記差分のデータが所定値以下または所定値より小さい場合は停止し、所定値より超えるまたは所定値以上の場合は、さらに所定回数繰り返す処理を行うことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
画像を処理する処理部を有する画像処理装置において、上記処理部は、画像変化の要因となる変化要因情報のデータを利用して、所定の画像のデータから比較用データを生成し、処理対象となる画像が変化した原画像のデータと上記比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さい場合は処理を停止し、上記比較用データの元となった上記所定の画像を上記原画像の変化前の画像またはそれに近似する画像として扱い、上記差分が所定値より大きいまたは所定値以上の場合は、上記差分のデータから周囲の影響を上記変化要因情報のデータに従って取り除き、その値を上記変化要因情報のデータでかつ１未満の値で割って戻し量とすることで、復元データを生成し、この復元データを上記所定の画像に置き換えて同様な処理を繰り返す処理を行うことを特徴とする画像処理装置。
【請求項５】
画像を処理する処理部を有する画像処理装置において、上記処理部は、画像変化の要因となる変化要因情報のデータを利用して、所定の画像のデータから比較用データを生成し、処理対象となる画像が変化した原画像のデータと上記比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さい場合は処理を停止し、上記比較用データの元となった上記所定の画像を上記原画像の変化前の画像またはそれに近似する画像として扱い、上記差分が所定値より大きいまたは所定値以上の場合は、上記差分のデータをそのまままたは１未満の値を掛けた値を上記変化要因情報のデータであってかつ１未満の値で割って戻し量とし、特定画素の復元データの値として決め、その値による周囲の影響を上記変化要因情報のデータに従って、上記差分のデータから取り除くことで、各画素の復元データを生成し、この復元データを上記所定の画像に置き換えて同様な処理を繰り返す処理を行うことを特徴とする画像処理装置。
【請求項６】
前記処理部は、前記繰り返しの処理の際、繰り返しの回数が所定回数となったら停止させる処理を行うことを特徴とする請求項４または５記載の画像処理装置。
【請求項７】
前記変化要因情報を検知する検出部と、既知の変化要因情報を保存する要因情報保存部とを有することを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
【請求項８】
前記変化要因情報のデータで割るときに使用する値を、前記変化要因情報のデータの中で一番重みが大きい値としたことを特徴とする請求項１から７のいずれか１項記載の画像処理装置。
【請求項９】
前記戻し量を算出してゆく順序を、前記変化要因情報のデータの性質に依存させたことを特徴とする請求項１から８のいずれか１項記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来から、カメラ等で撮影した際には、画像劣化が生ずることが知られている。画像劣化の要因としては撮影時の手ぶれ、光学系の各種の収差、レンズの歪み等がある。【０００３】
撮影時の手ぶれを補正するためには、レンズを動かす方式と、回路処理する方式とが知られている。たとえば、レンズを動かす方式としては、カメラの手ぶれを検出し、所定のレンズを、その検出した手ぶれに合わせて動かすことで補正する方式が知られている（特許文献１参照）。【０００４】
また、回路処理する方式としては、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、画像を復元する方式が知られている（特許文献２参照）。【０００５】
【特許文献１】特開平６−３１７８２４号公報（要約書参照）
【特許文献２】特開平１１−２４１２２号公報（要約書参照）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１記載の手ぶれ補正を採用したカメラは、モータ等、レンズを駆動するハードウェアのスペースが必要となり大型化してしまう。また、そのようなハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、コストアップとなってしまう。【０００７】
また、特許文献２記載の手ぶれ補正の場合は、上述した問題点はなくなるものの、次のような問題を有する。すなわち、取得した伝達関数の逆変換で画像復元がなされることは理論上成り立つが、実際問題として、以下の２つの理由で、画像復元が困難である。【０００８】
第１に、取得する伝達関数は、ノイズやブレ情報誤差等に非常に弱く、これらのわずかな変動により、値が大きく変動する。このため、逆変換で得られる復元画像は、手ぶれがない状態で写した画像とはほど遠いものとなり、実際上は利用できない。第２に、ノイズ等を考慮した逆変換を行う場合、連立方程式の解の特異値分解等で解を推定する方法も採用できるが、その推定のための計算値が天文学的な大きさになり、実際的には解くことができなくなるリスクが高い。【０００９】
上述したように、本発明の課題は、画像を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を有する画像処理装置を提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、画像変化の要因となる変化要因情報のデータを利用して、任意の画像のデータから比較用データを生成し、処理対象となる原画像のデータと比較用データとを比較し、得られた差分のデータから周囲の影響を変化要因情報のデータに従って取り除き、その値を変化要因情報のデータでかつ１未満の値で割って戻し量とすることで、復元データを生成し、この復元データを任意の画像データの代わりに使用し、同様の処理を繰り返すことで、原画像の変化前の原画像またはそれに近似する画像のデータとなる復元データを生成を生成している。【００１１】
この発明によれば、画像変化の要因情報を利用して、所定のデータを生成することだけで原画像に近似する復元データを生成しているので、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、復元データから比較用データを作り、その比較用データと処理対象の原画像のデータを比較するという処理を繰り返し、徐々に原画像の元となる変化前の映像に近い復元データを得るので、現実的な復元作業となる。また、周囲の影響を除いた差分のデータを１未満の値で割り、その割られた値を戻しているので、質の良い復元データを少ない繰り返し処理回数で得ることができる。このため、画像の復元に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。【００１２】
また、他の発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、画像変化の要因となる変化要因情報のデータを利用して、任意の画像のデータから比較用データを生成し、処理対象となる原画像のデータと比較用データとを比較し、得られた差分のデータをそのまままたは１未満の値を掛けた値を変化要因情報のデータであってかつ１未満の値で割って戻し量とし、特定画素の復元データの値として決め、その値による周囲の影響を変化要因情報のデータに従って、差分のデータから取り除くことで、各画素の復元データを生成し、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返すことで、原画像の変化前の画像またはそれに近似する画像のデータとなる復元データを生成している。【００１３】
この発明によれば、画像変化の要因情報を利用して、所定のデータを生成することだけで原画像に近似する復元データを生成しているので、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、復元データから比較用データを作り、その比較用データと処理対象の原画像のデータを比較するという処理を繰り返し、徐々に原画像の元となる変化前の映像に近い復元データを得るので、現実的な復元作業となる。また、周囲の影響を除いた差分のデータを１未満の値で割り、その割られた値を戻しているので、質の良い復元データを少ない繰り返し処理回数で得ることができる。このため、画像の復元に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。【００１４】
さらに他の発明は、上述の発明に加え、処理部は、繰り返しの処理の際、繰り返しの回数が所定回数に到達したときの差分のデータが所定値以下または所定値より小さい場合は停止し、所定値より超えるまたは所定値以上の場合は、さらに所定回数繰り返す処理を行っている。この発明では、処理の回数と、差分の値とを組み合わせて行うようにしているので、単に処理回数に制限を加えたり、差分の値に制限を行う場合に比較して、画像の良さと処理時間の短さのバランスが取れた処理とすることができる。【００１５】
また、他の発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、画像変化の要因となる変化要因情報のデータを利用して、所定の画像のデータから比較用データを生成し、処理対象となる画像が変化した原画像のデータと比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さい場合は処理を停止し、比較用データの元となった所定の画像を原画像の変化前の画像またはそれに近似する画像として扱い、差分が所定値より大きいまたは所定値以上の場合は、差分のデータから周囲の影響を変化要因情報のデータに従って取り除き、その値を変化要因情報のデータでかつ１未満の値で割って戻し量とすることで、復元データを生成し、この復元データを所定の画像に置き換えて同様な処理を繰り返す処理を行っている。【００１６】
この発明によれば、画像劣化等の変化要因情報を利用して、比較用データを生成し、原画像との比較をし、差が大きいときのみ原画像に近似する復元データを生成しているので、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、復元データから比較用データを作り、その比較データと処理対象の原画像のデータを比較することを繰り返し、徐々に原画像の元となる変化前の映像に近い復元データを得るので、現実的な復元作業となる。また、周囲の影響を除いた差分のデータを１未満の値で割り、その割られた値を戻しているので、質の良い復元データを少ない繰り返し処理回数で得ることができる。このため、劣化等した画像を復元するに当たり、現実性のある回路処理方式を有する画像処理装置とすることができる。【００１７】
また、他の発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、画像変化の要因となる変化要因情報のデータを利用して、所定の画像のデータから比較用データを生成し、処理対象となる画像が変化した原画像のデータと比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さい場合は処理を停止し、比較用データの元となった所定の画像を原画像の変化前の画像またはそれに近似する画像として扱い、差分が所定値より大きいまたは所定値以上の場合は、差分のデータをそのまままたは１未満の値を掛けた値を変化要因情報のデータであってかつ１未満の値で割って戻し量とし、特定画素の復元データの値として決め、その値による周囲の影響を変化要因情報のデータに従って、差分のデータから取り除くことで、各画素の復元データを生成し、この復元データを所定の画像に置き換えて同様な処理を繰り返す処理を行っている。【００１８】
この発明によれば、画像劣化等の変化要因情報を利用して、比較用データを生成し、原画像との比較をし、差が大きいときのみ原画像に近似する復元データを生成しているので、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、復元データから比較用データを作り、その比較データと処理対象の原画像のデータを比較することを繰り返し、徐々に原画像の元となる変化前の映像に近い復元データを得るので、現実的な復元作業となる。また、周囲の影響を除いた差分のデータを１未満の値で割り、その割られた値を戻しているので、質の良い復元データを少ない繰り返し処理回数で得ることができる。このため、劣化等した画像を復元するに当たり、現実性のある回路処理方式を有する画像処理装置とすることができる。【００１９】
また、他の発明は、上述の発明に加え、処理部は、繰り返しの処理の際、繰り返しの回数が所定回数となったら停止させる処理を行っている。この構成を採用した場合、差分が「０」になってもならなくても処理を停止させるので、処理の長時間化を防止することができる。また、所定回数まで処理を継続させているので、復元データは原画像の元となる変化前の映像により近いものとなる。さらに、ノイズなどがあった場合、差分が「０」にならない状況が現実的には生じがちであるが、そのような場合、無限に処理を繰り返すことになってしまうが、この構成を採用すると、そのような問題が生じない。【００２０】
さらに他の発明は、上述の発明に加え、変化要因情報を検知する検出部と、既知の変化要因情報を保存する要因情報保存部とを有している。この構成を採用すると、画像変化の外部要因と内部要因の両者を考慮した、補正された復元データを得ることができる。【００２１】
また、変化要因情報のデータで割るときに使用する値を、変化要因情報のデータの中で一番重みが大きい値とするのが好ましい。この構成を採用すると、一段と処理速度が向上する。【００２２】
さらに、戻し量を算出してゆく順序を、変化要因情報のデータの性質に依存させるのが好ましい。この構成を採用すると、変化要因情報のデータの性質によって最適な処理方法が選択可能となる。
【発明の効果】
【００２３】
本発明によれば、劣化等変化した画像を復元するに当たり、装置の大型化を防止できると共に、現実性のある回路処理方式を有する画像処理装置とすることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施の形態に係る画像処理装置の主要構成を示すブロック図である。
【図２】図１に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。
【図３】図１に示す画像処理装置の処理部で行う処理方法（処理ルーチン）の基本概念を説明するための処理フロー図である。
【図４】図３に示す処理方法の概念を説明するための図である。
【図５】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときのエネルギーの集中を示す表である。
【図６】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの画像データを示す図である。
【図７】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときのエネルギーの分散を示す図である。
【図８】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、任意の画像から比較用データを生成する状況を説明するための図である。
【図９】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、比較用データと、処理対象となるぶれた原画像とを比較して、差分のデータを生成する状況を説明するための図である。
【図１０】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。
【図１１】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分のデータを生成する状況を説明するための図である。
【図１２】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、新たに生成された差分のデータを配分し、新たな復元データを生成する状況を説明するための図である。
【図１３】図５から図１２に示す処理方法の問題点を説明するための図である。
【図１４】図１に示す画像処理装置が行うアルゴリズムを説明するための図で、図３に示した処理方法の考え方を採用しつつ、一部変更したアルゴリズムの内容を説明するための図である。
【図１５】本発明の第２の実施の形態に係る画像処理装置に使用されるアルゴリズムを説明するための図である。
【符号の説明】
【００２５】
１，１Ａ  画像処理装置
２  撮影部
３  制御系部
４  処理部
５  記録部
６  検出部
７  要因情報保存部
Ｉｏ  初期画像のデータ（任意の画像のデータ）
Ｉｏ′比較用データ
Ｇ  変化要因情報のデータ（劣化要因情報のデータ）
Ｉｍｇ′  原画像のデータ（撮影された画像）
σ  差分のデータ
ｋ  配分比
Ｉｏ＋ｎ  復元データ（復元画像のデータ）
Ｉｍｇ  劣化のない本来の正しい画像のデータ（元画像）
【発明を実施するための最良の形態】
【００２６】
以下、本発明の第１の実施の形態に係る画像処理装置１について図を参照しながら説明する。なお、この画像処理装置１は、民生用のカメラとしているが、監視用カメラ、テレビ用カメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらにはＮＭＲ撮影等の画像診断装置等、カメラ以外の機器にも適用できる。【００２７】
画像処理装置１は、人物等の映像を撮影する撮影部２と、その撮影部２を駆動する制御系部３と、撮影部２で撮影された画像を処理する処理部４と、を有している。また、この実施の形態に係る画像処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、角速度センサ等からなり、画像劣化など変化の要因となる変化要因情報を検知する検出部６と、画像劣化などを生じさせる既知の変化要因情報を保存する要因情報保存部７を有する。なお、モニタ等からなる表示部を、画像処理装置１に設けるようにしても良い。【００２８】
撮像部２は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）やＣ−ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備える部分である。制御系部３は、撮影部２，処理部４，記録部５、検出部６，および要因情報保存部７等、画像処理装置１内の各部を制御するものである。【００２９】
処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）のようなハードウェアで構成されている。この処理部４には、後述する比較用データを生成する際の元となる画像が保管されることもある。処理部４は、ＡＳＩＣのようなハードウェアとして構成されのではなく、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等を使用する光記録手段等を採用しても良い。【００３０】
検出部６は、図２に示すように、画像処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出する２つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動やＺ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向やＹ方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。【００３１】
要因情報保存部７は、既知の劣化要因情報などの変化要因情報、たとえば光学系の収差等を保存しておく記録部である。なお、この実施の形態では、要因情報保存部７には、光学系の収差やレンズのひずみの情報が保存されているが、後述する手ぶれのぼけの復元の際にはそれらの情報は、利用していない。【００３２】
次に、以上のように構成された画像処理装置１の処理部４の処理方法の基本となる概念を、図３に基づいて説明する。【００３３】
図３中、「Ｉｏ」は、任意の初期画像であって、処理部４の記録部に予め保存されている画像のデータである。「Ｉｏ′」は、その初期画像のデータのＩｏの劣化画像のデータを示し、比較のための比較用データである。「Ｇ」は、検出部６で検出された変化要因情報（＝劣化要因情報（点像関数））のデータで、処理部４の記録部に保存されるものである。「Ｉｍｇ′」は、撮影された画像、すなわち劣化画像のデータを指し、この処理において処理対象となる原画像のデータである。【００３４】
「σ」は、原画像のデータＩｍｇ′と、比較用データＩｏ′との差分のデータである。「ｋ」は、変化要因情報のデータＧに基づく配分比である。「Ｉｏ＋ｎ」は、初期画像のデータＩｏに、差分のデータσを変化要因情報のデータＧに基づいて配分して新たに生成した復元画像のデータ（復元データ）である。「Ｉｍｇ」は、撮影された劣化画像である原画像のデータＩｍｇ′の基となった、劣化のない本来の正しい画像のデータとなる元画像である。ここで、ＩｍｇとＩｍｇ′の関係は、次の（１）式で現されるとする。
Ｉｍｇ′＝Ｉｍｇ×Ｇ…（１）
なお、差分のデータσは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報のデータＧにより異なり、次の（２）式で現される。
σ＝ｆ（Ｉｍｇ′，Ｉｍｇ，Ｇ）…（２）【００３５】
処理部４の処理ルーチンは、まず、任意の画像のデータＩｏを用意する（ステップＳ１０１）ことから始まる。この初期画像のデータＩｏとしては、撮影された劣化画像のデータＩｍｇ′を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップＳ１０２で、（１）式のＩｍｇの代わりに初期画像となる任意の画像のデータＩｏを入れ、劣化画像である比較用データＩｏ´を求める。次に、撮影された劣化画像である原画像のデータＩｍｇ′と比較用データＩｏ´と比較し、差分のデータσを算出する（ステップＳ１０３）。【００３６】
次に、ステップＳ１０４で、この差分のデータδが所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ１０５で新たな復元画像のデータ（＝復元データ）を生成する処理を行う。すなわち、差分のデータδを変化要因情報のデータＧに基づいて、任意の画像のデータＩｏに配分し、新たな復元データＩｏ＋ｎを生成する。その後、ステップＳ１０２，Ｓ１０３，Ｓ１０４を繰り返す。【００３７】
ステップＳ１０４において、差分のデータδが所定値より小さい場合、処理を終了する（ステップＳ１０６）。そして、処理を終了した時点での復元データＩｏ＋ｎを正しい画像、すなわち劣化のない画像のデータＩｍｇと推定し、そのデータを記録部５に記録する。なお、記録部５には、初期画像のデータＩｏや変化要因情報のデータＧを記録しておき、必要により処理部４に渡すようにしても良い。【００３８】
以上の処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、特許文献２の記載にもあるように、理論上は可能であるが、現実問題としては困難である。【００３９】
最適化問題として解くということは、次の条件を前提としている。
すなわち、
（１）入力に対する出力は、一意に決まる。
（２）出力が同じであれば、入力は同じである。
（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。【００４０】
このことを換言すれば、図４（Ａ）（Ｂ）に示すように、撮影された画像である原画像のデータＩｍｇ′と近似である比較用データＩｏ′（Ｉｏ＋ｎ′）を生成できれば、その生成の元データとなる初期画像のデータＩｏまたは復元データＩｏ＋ｎは、原画像のデータＩｍｇ′の元となる正しい画像のデータＩｍｇまたはそれに近似したものとなる。【００４１】
なお、この実施の形態では、角速度検出センサは５μｓｅｃ毎に角速度を検出している。また、差分のデータσの判定基準となる値は、各データを８ビット（０〜２５５）で現した場合に、この実施の形態では「６」としている。すなわち、６より小さい、つまり５以下の時は、処理を終了している。また、角速度検出センサで検出したブレの生データは、センサ自体の校正が不十分なときは、実際のブレとは対応しない。よって実際のブレに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。【００４２】
次に、図３および図４に示す処理方法の具体例を、図５，図６，図７，図８，図９，図１０，図１１および図１２に基づいて説明する。【００４３】
（手ぶれの復元アルゴリズム）
手ぶれが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、手ぶれがある場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中のエネルギーの分散の仕方がわかるため、ぶれた画像からブレの無い画像を作ることが可能となる。【００４４】
以下、簡単のため、横一次元で説明する。画素を左から順に、ｎ−１，ｎ，ｎ＋１，ｎ＋２，ｎ＋３，…，とし、ある画素ｎに注目する。ブレが無いとき、露光時間中のエネルギーは、その画素に集中するため、エネルギーの集中度は「１．０」である。この状態を図５に示す。このときの撮影結果を、図６の表に示す。図６に示すものが、劣化しなかった場合の正しい画像データＩｍｇとなる。なお、各データは、８ビット（０〜２５５）のデータで現している。【００４５】
露光時間中にブレがあり、露光時間中の５０％の時間はｎ番目の画素に、３０％の時間はｎ＋１番目の画素に、２０％の時間はｎ＋２番目の画素に、それぞれぶれていたとする。エネルギーの分散の仕方は、図７に示す表のとおりとなる。これが変化要因情報のデータＧとなる。【００４６】
ブレは、全ての画素で一様であるので、上ぶれ（縦ぶれ）が無いとすると、ブレの状況は、図８に示す表のとおりとなる。図８中の「撮影結果」として示されるデータが、元の正しい画像のデータＩｍｇで、「ブレ画像」として示されるデータが、撮影された劣化画像のデータＩｍｇ′となる。具体的には、たとえば「ｎ−３」の画素の「１２０」は、ぶれ情報である変化要因情報のデータＧの「０．５」「０．３」「０．２」の配分比に従い、「ｎ−３」の画素に「６０」、「ｎ−２」の画素に「３６」、「ｎ−１」の画素に「２４」というように分散する。同様に、「ｎ−２」の画素のデータである「６０」は、「ｎ−２」に「３０」、「ｎ−１」に「１８」、「ｎ」に「１２」として分散する。この劣化画像のデータＩｍｇ′と、図７に示す変化要因情報のデータＧからぶれの無い撮影結果を算出することとなる。【００４７】
ステップＳ１０１に示す任意の画像のデータＩｏとしては、どのようなものでも採用できるが、この説明に当たっては、撮影した原画像のデータＩｍｇ′を用いる。すなわち、Ｉｏ＝Ｉｍｇ′として処理を開始する。図９の表中に「入力」とされたものが初期画像のデータＩｏに相当する。このデータＩｏすなわちＩｍｇ′に、ステップＳ１０２で変化要因情報のデータＧをかける。すなわち、たとえば、初期画像のデータＩｏの「ｎ−３」の画素の「６０」は、ｎ−３の画素に「３０」が、「ｎ−２」の画素に「１８」が、「ｎ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力Ｉｏ′」として示される比較用データＩｏ′が生成される。このため、ステップＳ１０３の差分のデータδは、図９の最下欄に示すようになる。【００４８】
この後、ステップＳ１０４にて差分のデータδの大きさを判断する。具体的には、差分のデータσが全て絶対値で５以下となった場合に処理を終了するが、図９に示す差分のデータσは、この条件に合わないため、ステップＳ１０５に進む。すなわち、差分のデータσを変化要因情報のデータＧを使用して、任意の画像のデータＩｏに配分して、図１０中の「次回入力」として示される復元データＩｏ＋ｎを生成する。この場合、第１回目であるため、図１０では、Ｉｏ＋１と現している。【００４９】
差分のデータσの配分は、たとえば「ｎ−３」の画素のデータ「３０」に自分の所（＝「ｎ−３」の画素）の配分比である０．５をかけた「１５」を「ｎ−３」の画素に配分し、また「ｎ−２」の画素のデータ「１５」にその「ｎ−２」の画素にきているはずの配分比である０．３をかけた「４．５」を配分し、さらに、「ｎ−１」の画素のデータ「９．２」に、その「ｎ−１」の画素にきているはずの配分比である０．２をかけた「１．８４」を配分する。「ｎ−３」の画素に配分された総量は、「２１．３４」となり、この値を初期画像のデータＩｏ（ここでは撮影された原画像のデータＩｍｇ′を使用）にプラスして、復元データＩｏ＋１を生成している。【００５０】
図１１に示すように、この復元データＩｏ＋１がステップＳ１０２の入力画像のデータ（＝初期画像のデータＩｏ）になり、ステップＳ１０２が実行され、ステップＳ１０３へと移行し、新しい差分のデータσを得る。その新しい差分のデータσの大きさをステップＳ１０４で判断し、所定値より大きい場合、ステップＳ１０５で新しい差分のデータσを前回の復元データＩｏ＋１に配分し、新しい復元データＩｏ＋２を生成する（図１２参照）。その後、ステップＳ１０２の遂行により、復元データＩｏ＋２から新しい比較用データＩｏ＋２′が生成される。このように、ステップＳ１０２，Ｓ１０３が実行された後、ステップＳ１０４へ行き、そこでの判断によりステップＳ１０５へ行ったり、ステップＳ１０６へ移行する。このような処理を繰り返す。【００５１】
このようなアルゴリズムでは、反復回数を数万回と非常に多くのループを回すと、復元データＩｏ＋ｎは本来の元画像に対して、とても良い近似となってゆくことが、本発明者によって確かめられている。しかし、製品化を考えた場合、数万回の反復処理は現実的ではない。このように反復処理を数万回も繰り返さなければならない原因は、収束スピードが非常に遅いことが原因している。【００５２】
この収束スピードが遅い原因は、以下のとおりと考えられる。すなわち、復元データＩｏ＋ｎの評価を劣化画像空間で行うため、本来の元画像の空間での差分は周囲に分散され、値も小さくなってしまう。また、その差分から算出されるフィードバック更新量も変化要因情報のデータＧを利用して算出するが、さらに小さな値となり、本来、フィードバックすべきではない差分も更新量へ計上してしまう。したがって、フィードバック更新量が小さく、加えて、そこには誤差分（フィードバックすべきではない量）が入ってしまうため、収束スピードが非常に遅くなると考えられる。【００５３】
この様子を図１３に基づいて説明する。図１３（Ａ）は、変化要因情報のデータＧが劣化要因情報であり、画素値「１」が「０．１」ずつ１０の箇所に分散する例を示す。図１３（Ｂ）は、（Ａ）の変化要因情報のデータＧに基づいて、画素Ａがどのように分散するかを示した図である。図１３（Ｃ）は、図３中のステップＳ１０１にて任意の画像として「０」を入れたときの「Ｉｏ＋ｋσ」中の「ｋσ」を示す。【００５４】
図１３（Ｂ）で画素Ａに注目したとき、フィードバックの目標は１０としたいが、図１３（Ｃ）に示すようにフィードバックはたったの「１」である。また、周囲の画素Ｂ，Ｃ・・・など変化要因情報のデータＧの広がる範囲に対し、本来は画素Ａの影響である差分を、画素Ｂ，Ｃ，・・・へもフィードバックしてしまっている。このように、図５から図１２に示すアルゴリズムでは、目標に対してフィードバック量が非常に小さくかつ、本来フィードバックすべきではない領域へもフィードバック量を算出してしまうことになる。【００５５】
このように図３に示す処理ルーチンで、配分比ｋとして図５から図１２に示す配分方法を採用した場合、フィードバックの量が小さいため、一旦発生してしまった誤差は、なかなか消えず、またその影響は弱まりながらもどんどん波紋のように周囲へ広がってゆく。これが収束スピードが遅い原因であり、また画像のエッジ付近で発生するリンギングと呼ばれる現象の原因であると考えられる。【００５６】
この実施の形態の画像処理装置１は、図３に示す処理ルーチンの基本である繰り返し処理（ループ処理）を利用しつつ、収束スピードを飛躍的に高めたものである。改善したアルゴリズムは、配分量である「ｋσ」を工夫したものである。【００５７】
まず、改善したアルゴリズムの概要について説明する。画像の劣化は、変化要因情報のデータＧにより周囲のデータが配分されたものとなっている。したがって、劣化画像のある画素のデータは、変化要因情報のデータＧが既知であれば、自分自身がその中にどれぐらい含まれているのか、おおよそ見当を付けることができる。よって、差分のデータσの中の自分自身の割合もおおよそ見当を付けることができるため、原画像空間（ＩｍｇとＩｍｇ′の空間）における差分を予想することができる。そのため、フィードバック量は、原画像空間での差分に近い値となる。また、その予想した差分のデータσを利用して自分自身の画素へフィードバックするため、周囲へ悪影響を及ぼすようなフィードバックは行われないこととなる。【００５８】
以上の概念を、図１４に基づいて具体的に説明する。【００５９】
図１４（Ａ）に示したように、変化要因情報のデータＧがα，β，γからなり、自分自身の位置に  α分あり、次の隣の画素にβが配分され、またその隣の画素にγが配分されるとする。ここで、「α＋β＋γ＝１」である。【００６０】
元の正しい画像データＩｍｇの画素ａｏのデータは、劣化画像のデータＩｍｇ′の画素ａｏ′，ａ１′，ａ２′へ分散される。画素ａｏ′は、ａｏ×αとなり、画素ａ１′へはａｏ×βが配分され、ａ２′へは、ａｏ×γが配分される。同様に復元データＩｏ＋ｎに変化要因情報のデータＧを付加することで得られる比較用データＩｏ＋ｎ′は、ｂｏ′，ｂ１′，ｂ２′・・・の画素列となる。画素ｂｏ′は、ｂｏ×αとなり、画素ｂ１′へはｂｏ×βが配分され、画素ｂ２′へは、ｂｏ×γが配分される。【００６１】
画素ａ１の値は、各画素ａ１′、ａ２′、ａ３′へ配分される。画素ａ１′へはａ１×αが配分され、画素ａ２′へはａ１×βが配分され、ａ３′へは、ａ１×γが配分される。同様に、画素ｂ１の値も画素ｂ１′，ｂ２′，ｂ３′へ、α，β，γの割合で配分される。画素ａ２′，ａ３′，ａ４′・・・の値も同様に配分され、画素ｂ２′，ｂ３′，ｂ４′・・・の値も同様に配分される。【００６２】
差分のデータ量ｄｏは、「ａｏ′−ｂｏ′＝ａｏ×α−ｂｏ×α＝（ａｏ−ｂｏ）×α」となる。この結果、ａｏ−ｂｏ＝ｄｏ÷αとなり、ａｏ＝ｂｏ＋ｄｏ÷αとなる。すなわち、画素ｂｏ′に戻す量は、「ｄｏ÷α」となる。同様にして、画素ｂ１に戻す量は、次のようにして計算される。すなわち、「ｄ１＝ａ１′−ｂ１′＝（ａｏ×β＋ａ１×α）−（ｂｏ×β＋ｂ１×α）＝（ａｏ−ｂｏ）×β＋（ａ１−ｂ１）×α」となる。そして、「ｄ１−（ａｏ−ｂｏ）β＝（ａ１−ｂ１）×α」となり、「ａ１＝ｂ１＋（ｄ１−（ａｏ−ｂｏ）×β）÷α）」となる。ここで、「ａｏ−ｂｏ」は、差分のデータ量ｄｏとみなし、「ａ１＝ｂ１＋（ｄ１−ｄｏ×β）÷α）」となり、画素ｂ１に戻す量は、「（ｄ１−ｄｏ×β）÷α）」となる。【００６３】
同様にして、画素ｂ２に戻す量は、「（ｄ２−ｄ１×β−ｄｏ×γ）÷α」となる。このような戻し量を一般化すると、画素ｂｎに戻す戻し量は、（ｄｎ−ｄｎ−１×β−ｄｎ−２×γ）÷α」となる。このように、図３に示す処理フロー中のスッテプＳ１０５で、前回の復元データＩｏ＋ｎに戻す量として、差分のデータσの差分量から周囲の影響を変化要因情報のデータＧに従って取り除き、その値を変化要因情報のデータＧで割った値を採用することで、図３の処理ルーチンの繰り返し回数を大きく減少させることができる。本発明者の実験によれば、図５から図１２の処理アルゴリズムでは、数１０回の反復処理ではほとんど正しい元の画像に近似できないが、図１４に示すアルゴリズムでは、５回から６回の反復処理でほぼ収束している。【００６４】
なお、上述の場合、ｂｎへのフィードバック量（戻し量）としては、差分のデータσから得られる値を変化要因情報のデータＧの中の１つである「α」で割ったものとしたが、この方法を採用すると、α，β，γのうち、αが一番重みが大きい（割合が高い）ときに効率的に収束できることとなる。たとえば、βが最も重みが大きい（割合が高い）ときには、差分のデータ量であるｄ１，ｄ２，ｄ３を使用しての復元は、「ａ１＝ｂ１＋（ｄ２−ｄｏ×γ−ｄ２×α）÷β」の式を用い、画素ｂ１への戻し量は「（ｄ２−ｄｏ×γ−ｄ２×α）÷β」とするのが好ましい。これを一般化すると、画素ｂｎに戻す戻し量は、「（ｄｎ＋１−ｄｎ−１×γ−ｄｎ＋１×α）÷β」となる。同様に、γが最も重みが大きい（割合が高い）ときには、画素ｂｎに戻す戻し量は、「ｄｎ＋２−ｄｎ＋２×α−ｄｎ＋１×β）÷γ」となる。なお、効率的な処理をそれほど考慮しない場合は、最も重みが大きい（割合が高い）もので割るようにしなくても良い。【００６５】
上述の例では、変化要因情報のデータＧは、α，β，γの３つとしたが、これらは２つ以上であれば、５つでも７つでも１０でも良い。αをＰｓｆｏと表わし、βをＰｓｆ１として表わすように、各値を一般化して表示すると、Ｐｓｆｎ（ｎは０以上の整数値）となる。このように一般化した場合にも、上述の考え方が適用でき、戻し量が計算される。【００６６】
以上のように、この第１の実施の形態に係る画像処理装置１では、差分のデータσを「１」以下の変化要因情報のデータＧで割ることとなるので、戻し量は非常に大きな値となってしまう。このため、小さなノイズがあってもそれが拡大してしまう。この問題への対応のため、この実施の形態では特定の差分のデータ量に含まれる周囲の影響を取り除き、その取り除いた後のデータを変化要因情報のデータＧ（実際はその中の１つ）で割ってフィードバックさせている。【００６７】
なお、このような対応に加え、データの信頼性との関係で、上述の考え方で得られた戻し量に、０．３や０．５や０．７などの所定の割合を掛けるようにして戻し量を減少させるようにしても良い。このように１未満の値を掛けると、収束スピードは遅くなるが、より確実に復元させることができる。一方、得られた戻し量に１を超える値を掛けると、収束スピードをさらに向上させることができる。【００６８】
次に、第２の実施の形態に係る画像処理装置を図１５に基づいて説明する。この画像処理装置は、第１の実施の形態に係る画像処理装置１とは、部品構成や処理ルーチンが基本的に同一であり、異なる点は、上述したアリゴリズム（戻し量をどうするか）の点のみである。よって、以下の説明に当たっては、第１の実施の形態と同一部材には同一の符号を付けて説明する。また、第２の実施の形態に係る装置には、「１Ａ」の符号を付与するが、この符号「１Ａ」は、図面上には現われない。【００６９】
第２の実施の形態に係る画像処理装置１Ａは、図３に示す処理ルーチンの基本である繰り返し処理（ループ処理）を使用している。しかし、その処理に当たっての戻し量（図３ではｋσ）を以下のようにしている。すなわち、変化要因情報のデータＧの中で、一番重い場所（先の例では一番割合が大きい場所）に注目し、その差分を信用しあるいはその差分のある割合を信用し、その値を変化要因情報のデータＧで割る。そして、その割った値を復元データＩｏ＋ｎへの戻し量とする。その後、復元された値による周囲への影響を変化要因情報のデータＧに従って、その差分のデータ量（戻し量）から取り除いて、次の画素についての処理へ移行する。この繰り返しによって、全画素の一回分の復元データＩｏ＋ｎを得るというものである。【００７０】
以下に、具体的に説明する。図１５（Ａ）のような変化要因情報のデータＧを仮定すると、図１５（Ｂ）に示すデータ関係が得られる。このような中で、仮に、比較用データＩｏ＋ｎ  ′の元となる初期値を「０」とすると、Ｉｏ  ′も「０」となる。すると、σ＝Ｉｍｇ  ′となる。図１５（Ｂ）に示した４つの画素について検討すると、「ｄｏ＝ａｏ×α」となり，「ｄ１＝ａｏ×β＋ａ１×α」、「ｄ２＝ａｏ×γ＋ａ１×β＋ａ２×α」となる。ｄ３は、「ａ１×γ＋ａ２×β＋ａ３×α」となる。【００７１】
この結果、劣化画像のデータＩｍｇ  ′から元の正しい画像データＩｍｇへの関係は、「ａｏ＝ｄｏ÷α」、「ａ１＝（ｄ１−ａｏ×β）÷α」、「ａ２＝（ｄ２−ａ１×β−ａｏ×γ）÷α」、「ａ３＝（ｄ３−ａ２×β−ａ１×γ）÷α」となる。具体的な戻し量を計算して行く場合、まず、「ｄｏ」と「α」（共に既知）から「ａｏ」が算出されるため、「ｄｏ÷α」を戻し量とする。  次に、「ａ１＝（ｄ１−ａｏ×β）÷α」を考えるが、その際、「ｄ１」「α」「β」が既知であり、かつ「ａｏ」が１つ前に求められているので、その求められた値を代入することで、「ａ１」が求められる。よって、その「ａ１」の値を戻し量とする。この値中の「ｄ１−ａｏ×β」は、差分のデータ量であるｄ１から、１つ前に求められた復元データである「ａｏ」による影響である「ａｏ×β」を取り除いたものである。【００７２】
次に、隣の画素ａ２（すなわちｂ２）を求める。上述のように「ａ２＝（ｄ２−ａ１×β−ａｏ×γ）÷α」なのだが、この中で「ｄ２」「α」「β」「γ」は既知である。加えて、「ａｏ」「ａ１」も前の２つの処理によって値が求められているので、「ａ２」を求めることができる。ここで、「ｄ２−ａ１×β−ａｏ×γ」は、差分のデータ量であるｄ２から、２つ前に求められた復元データである「ａｏ」による影響である「ａｏ×γ」と、１つ前に求められた復元データである「ａ１」により影響である「ａｏ×β」とを取り除いたものである。【００７３】
同様にして、「ａ３＝（ｄ３−ａ２×β−ａ１×γ）÷α」より「ａ３」が求まる。このようにして、次から次へと復元データＩｏ＋ｎの各画素値が求まる。次回のループでは、比較用データＩｏ＋ｎ′と劣化画像（原画像）のデータＩｍｇ′とを比較し、新たな差分のデータσを求める。なお、α，β，γが正しく、ｄｏ，ｄ１・・・や、ａｏ，ａ１，・・・も正しい値であれば、１回の復元処理によってＩｏ＋１＝Ｉｍｇとなるが、各値の中に誤差が含まれるため、そうはならない。よって、図３と同様な繰り返し処理をする。【００７４】
比較用データＩｏ＋１′（一般化するとＩｏ＋ｎ′）と劣化画像（原画像）のデータＩｍｇ′との差分のデータ量であるｄｏは、上述したように「（ａｏ−ｂｏ）×α」となる。よって、「ａｏ＝ｂｏ＋ｄｏ÷α」となり、既知の画素ｂｏに戻す量は、「ｄｏ÷α」となる。同様に、画素ｂ１に戻す量は、上述したように「（ｄ１−（ａｏ−ｂｏ）×β）÷α」となる。ここで、「ｄ１」「α」「β」「ｂｏ」が既知であり、しかも、１つ前の処理によって「ａｏ」も既知となっており、画素ｂ１に戻す量が求まる。その戻す量と画素ｂ１の量との合計値が、画素ａ１の値となる。【００７５】
同様に、画素ｂ２に戻す量は、第１の実施の形態の説明の際に説明したように、「（ｄ２−（ａ１−ｂ１）×β−（ａｏ−ｂｏ）×γ）÷α」となる。ここで、「ｄ２」「α」「β」「γ」「ａｏ」「ｂｏ」「ｂ１」が既知であり、しかも、１つ前の処理によって「ａ１」も既知となっており、画素ｂ２に戻す量が求まる。この戻す量の値中の「ｄ２−（ａ１−ｂ１）×β−（ａｏ−ｂｏ）×γ」は、差分のデータ量であるｄ２から、２つ前の画素の影響と、１つ前の画素の影響を取り除いた値である。このように、１つ前の処理で得た値を利用しつつかつ他の画素からの変化要因情報のデータＧに基づく影響を取り除いて、より正確なフィードバック量を決定していくのが、この第２の実施の形態に係る画像処理装置１Ａのアルゴリズムである。なお、フィードバック量は、第１の実施の形態と同様に、変化要因情報のデータＧで割っており、戻し量は大きくなり、ループ回数は少なくなり、収束スピードが速くなる。【００７６】
上述の説明では、たとえばａｏ＝ｄｏ÷αとし、計算上のすべての値をフィードバックしているが、「ｄｏ」の値の信用度との関係で戻し量を「（ｄｏ÷α）×０．５」のように半分としたり、６０％としたり、３０％としたりして、復元の信頼性をアップさせるようにしても良い。また、上述した説明では、α，β，γの大きさを説明しなかったが、自分自身の位置の重みが大きい（割合が高い）場合、すなわち、αがβやγより大きい場合、特に、α＞β＞γの場合に、上述したアルゴリズム（αで割るもの）が最も好適であるが、第１の実施の形態と同様に、αよりβやγが大きい場合にも、αで割るアルゴリズムを利用できる。【００７７】
この画像処理装置１，１Ａでは、処理するに当たり、ステップＳ１０４において、事前に処理回数と、差分のデータσの判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として３回、１０回等任意の回数を設定できる。また、処理を停止させる差分のデータσの値を８ビット（０〜２５５）中の「５」と設定し、５以下になったら処理を終了させたり、「０．５」と設定し「０．５」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力した場合、いずれか一方が満足されたとき処理は停止される。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らなかった場合、さらに所定回数の処理を繰り返すようにしても良い。【００７８】
この各実施の形態の説明の中では、要因情報保存部７に保存されている情報を利用しなかったが、ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、図３の処理方法では、ブレの情報と光学収差の情報を合わせて１つの劣化要因として捉えて処理を行うのが好ましいが、ブレの情報での処理を終了した後に光学収差の情報での補正を行うようにしても良い。また、この要因情報保存部７を設置しないようにして、撮影時の動的要因、たとえばブレのみで画像を修正したり復元したりしても良い。【００７９】
以上、本発明の各実施の形態に係る画像処理装置１，１Ａについて説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部４で行った処理は、ソフトウエアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。【００８０】
また、上述の各実施の形態では、復元処理を左端から右端に向かって順に行っていたが、たとえば、変化要因情報のデータＧが右端から左端への方向に流れるものである場合は、右端から左端に順に行うのが好ましい。また、同様に変化要因情報のデータＧの方向が右から左であっても、α＜β＜γである場合、γを使用して左から右の処理順序とするのが好ましい。このように変化要因情報のデータＧの性質に合わせ、処理順序を決めるのが好ましい。【００８１】
また、処理対象となる原画像としては撮影画像の他に、その撮影画像を色補正したり、フーリエ変換したり等、加工を施したものとしても良い。さらに、比較用データとしては、変化要因情報のデータＧを使用して生成したデータ以外に、変化要因情報のデータＧを使用して生成したものに色補正を加えたり、フーリエ変換したりしたデータとしても良い。また、変化要因情報のデータとしては、劣化要因情報のデータのみではなく、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。【００８２】
また、処理の反復回数が画像処理装置１，１Ａ側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報のデータＧによって変更するようにしても良い。たとえば、ある画素のデータがブレにより多数の画素に分散している場合は、反復回数を多くし、分散が少ない場合は反復回数を少なくするようにしても良い。【００８３】
さらに、反復処理中に、差分のデータσが発散してきたら、すなわち大きくなっていったら処理を中止させるようにても良い。発散しているか否かは、たとえば差分のデータσの平均値を見てその平均値が前回より大きくなったら発散していると判断する方法を採用できる。また、発散が１回生じたら、処理を即中止させても良いが、発散が２回続けて生じたら中止させる方法としたり、発散が所定回数続いたら処理を中止させる方法を採用しても良い。また、反復処理中に、入力を異常な値に変更しようとしたときには、処理を中止させるようにしても良い。たとえば８ビットの場合、変更されるようとする値が２５５を超える値であるときには、処理を中止させる。また、反復処理中、新たなデータである入力を異常な値に変更しようとしたとき、その値を使用せず、正常な値とするようにしても良い。たとえば、８ビットの０〜２５５の中で、２５５を超える値を入力データとしようとした際は、マックスの値である２５５として処理するようにする。すなわち、復元データ中に許容される数値（上述の例では、０〜２５５）以外の異常数値（上述の例では、２５５を超える値）が含まれるときは、その処理を中止したり、復元データ中に許容される数値以外の異常数値が含まれるときは、その異常数値を許容される数値に変更して処理を継続させたりすることができる。【００８４】
また、出力画像となる復元データを生成する際、変化要因情報のデータＧによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入ってくるべきデータがある場合は、そのデータは反対側から持ってくるようにするのが好ましい。たとえば、領域内の最も下に位置する画素ＸＮ１（Ｎ行１列）のデータから、さらに下の画素に割り振られるデータが発生した場合、その位置は領域外になる。そこで、そのデータは画素ＸＮ１の真上で最も上に位置する画素Ｘ１１（１行１列）に割り振られる処理をする。画素ＸＮ１の隣の画素ＸＮ２（Ｎ行２列）についても同様に真上で最上欄の画素Ｘ１２（＝画素Ｘ１１の隣りで１行２列））に割り振ることとなる。このように、復元データを生成する際、復元対象領域外となるデータが発生するときは、そのデータの発生位置の縦、横、または斜めのいずれか１つの方向の反対側の位置の復元対象領域内に配置するようにすると、復元しようとする対象領域について、確実な復元が可能となる。【００８５】
また、上述した各種のアルゴリズム、たとえば反対方向への処理、一定の割合を掛ける処理等各種のアルゴリズムのいずれか複数を処理部４に保存しておき、使用者の選択もしくは画像の種類または変化要因情報のデータＧの性質に応じて自動的にまたは手動にて、処理方法を選択できるようにしても良い。また、これらの方法のうちいずれか複数を選択し、１ルーチンの度に交互または順番に利用したり、最初の数回はある方式で処理し、その後は他の方式で処理するようにしても良い。なお、画像処理装置１，１Ａは、上述した各種のアルゴリズムのいずれか１つまたは複数の他に、それらとは異なる処理方法をも有するようにしても良い。【００８６】
また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）、ＤＶＤ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置１の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。
【図１】
2007063630.tif 000003
【図２】
2007063630.tif 000004
【図３】
2007063630.tif 000005
【図４】
2007063630.tif 000006
【図５】
2007063630.tif 000007
【図６】
2007063630.tif 000008
【図７】
2007063630.tif 000009
【図８】
2007063630.tif 000010
【図９】
2007063630.tif 000011
【図１０】
2007063630.tif 000012
【図１１】
2007063630.tif 000013
【図１２】
2007063630.tif 000014
【図１３】
2007063630.tif 000015
【図１４】
2007063630.tif 000016
【図１５】
2007063630.tif 000017
【国際調査報告】
2007063630.tif 000018
2007063630.tif 000019