(57)【要約】  画像を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を提案すること。  この画像処理装置は、任意の画像の画像データＩ０から生成した比較用画像の画像データＩ０′と処理対象となる原画像の画像データＩｍｇとを比較し、この比較の結果として得られた差分のデータＤを、適正に任意の画像の画像データに配分することにより復元画像の画像データＩ０＋ｎを生成する処理を行う。
2007083621.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する処理部を有する画像処理装置において、
上記処理部は、
画像変化の要因となる変化要因情報のデータを利用して、任意の画像の画像データから比較用画像の画像データを生成し、
その後、処理対象となる原画像の画像データと上記比較用画像の画像データとを比較し、
この比較の結果として得られた差分のデータを、上記変化要因情報のデータを利用して上記任意の画像の画像データに配分することにより復元画像の画像データを生成し、
この復元画像の画像データが制限値内にあるかどうかを判断し、
上記復元画像の画像データが、上記制限値の範囲を越える場合には、上記復元画像の画像データの生成の元になっている元復元画像の画像データを、上記制限値の範囲を越える越え分のデータに基づいて補正した補正復元画像の画像データを生成し、
その後、上記補正復元画像の画像データを上記任意の画像の画像データの代わりに使用し、同様の処理を繰り返すことで、変化する前の本来の画像に近似する復元画像の画像データを生成する処理を行うことを特徴とする画像処理装置。
【請求項２】
前記制限値は、画素に蓄積できる光エネルギー量の制限値であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記越え分のデータに基づいて行う前記元復元画像の補正の補正量は、前記変化要因情報のデータを利用して求めることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記復元画像の画像データを生成するために行う前記任意の画像の画像データへの前記差分のデータの配分は、前記差分のデータを変化要因情報で除した値を用いて算出した配分量とすることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記処理部は、さらに、未処理画素について、前記補正復元画像処理を行った画素の配分量の上記未処理画素への影響分を取り除く処理を行うことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来から、カメラ等で撮影した際には、画像劣化が生ずることが知られている。画像劣化の要因としては撮影時の手ぶれ、光学系の各種の収差、レンズの歪み等がある。【０００３】
撮影時の手ぶれを補正するためには、レンズを動かす方式と、回路処理する方式とが知られている。たとえば、レンズを動かす方式としては、カメラの手ぶれを検出し、所定のレンズを、その検出した手ぶれに合わせて動かすことで補正する方式が知られている（特許文献1参照）。【０００４】
また、回路処理する方式としては、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、画像を復元する方式が知られている（特許文献２参照）。【０００５】
【特許文献１】特開平６−３１７８２４号公報（要約書参照）
【特許文献２】特開平１１−２４１２２号公報（要約書参照）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１記載の手ぶれ補正を採用したカメラは、モータ等レンズを駆動するハードウェアのスペースが必要となり大型化してしまう。また、そのようなハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、コストアップとなってしまう。【０００７】
また、特許文献２記載の手ぶれ補正の場合は、上述した問題点はなくなるものの、次のような問題を有する。すなわち、取得した伝達関数の逆変換で画像復元がなされることは理論上成り立つが、実際問題として、以下の２つの理由で、画像復元が困難である。【０００８】
第１に、取得する伝達関数は、ノイズやブレ情報誤差等に非常に弱く、これらのわずかな変動により、値が大きく変動する。このため、逆変換で得られる復元画像は、手ぶれがない状態で写した画像とはほど遠いものとなり、実際上は利用できない。第２に、ノイズ等を考慮した逆変換を行う場合、連立方程式の解の特異値分解等で解を推定する方法も採用できるが、その推定のための計算値が天文学的な大きさになり、実際的には解くことができなくなるリスクが高い。【０００９】
上述したように、本発明の課題は、画像を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を有する画像処理装置を提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、画像変化の要因となる変化要因情報のデータを利用して、任意の画像の画像データから比較用画像の画像データを生成し、その後、処理対象となる原画像の画像データと比較用画像の画像データとを比較し、この比較の結果として得られた差分のデータを、変化要因情報のデータを利用して任意の画像の画像データに配分することにより復元画像の画像データを生成し、この復元画像の画像データが制限値内にあるかどうかを判断し、復元画像の画像データが、制限値の範囲を越える場合には、復元画像の画像データの生成の元になっている元復元画像の画像データを、制限値の範囲を越える越え分のデータに基づいて補正した補正復元画像の画像データを生成し、その後、補正復元画像の画像データを任意の画像の画像データの代わりに使用し、同様の処理を繰り返すことで、変化する前の本来の画像に近似する復元画像の画像データを生成する処理を行うこととする。【００１１】
この発明によれば、画像を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を有する画像処理装置とすることができる。【００１２】
また、他の発明は、上述の発明に加え、制限値が、画素に蓄積できるエネルギー量の制限値であることとする。この構成を採用した場合、画素に蓄積できるエネルギー量を越えた復元画像データが生成されてしまうことを防止することができる。【００１３】
さらに、他の発明は、越え分のデータに基づいて行う元復元画像の補正の補正量は、変化要因情報のデータを利用して求めることとする。この構成を採用した場合、元復元画像データへ配分の量を変化要因情報のデータを利用して決めることにより、復元画像データを制限値内に効率的に収まるようにすることができる。【００１４】
また、さらに、他の発明は、復元画像の画像データを生成するために行う任意の画像の画像データへの差分のデータの配分は、差分のデータを変化要因情報で除した値を用いて算出した配分量とすることとする。この構成を採用した場合、差分データを効率的に所定値より小さくすることができる。【００１５】
また、他の発明は、処理部は、さらに、未処理画素について、補正復元画像処理を行った画素の配分量の未処理画素への影響分を取り除く処理を行うこととする。この構成を採用した場合、元復元画像データへ配分の量を変化要因情報のデータを利用して決めることにより、復元画像データを制限値内に効率的に収まるようにすることができる。
【発明の効果】
【００１６】
本発明によれば、劣化した画像を復元するに当たり、装置の大型化を防止できると共に、現実性のある回路処理方式を有する画像処理装置とすることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係る画像処理装置の主要構成を示すブロック図である。
【図２】図１に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。
【図３】図１に示す画像処理装置の処理部で行う処理方法（処理ルーチン）であって基本的な考え方を説明するための処理フロー図である。
【図４】図３に示す処理方法の概念を説明するための図である。
【図５】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときのエネルギーの集中を示す表である。
【図６】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの画像データを示す図である。
【図７】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときのエネルギーの分散を示す図である。
【図８】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、任意の画像から比較用画像データを生成する状況を説明するための図である。
【図９】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、比較用画像データと、処理対象となるぶれた原画像とを比較して、差分データを生成する状況を説明するための図である。
【図１０】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、差分データを配分し任意の画像に加えることで復元画像データを生成する状況を説明するための図である。
【図１１】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、生成された復元画像データから新たな比較用画像データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分データを生成する状況を説明するための図である。
【図１２】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、新たに生成された差分データを配分し、新たな復元画像データを生成する状況を説明するための図である。
【図１３】差分データの配分を説明する処理フローである。
【図１４】図１に示す画像処理装置で扱う画像データ中の各画素画像データの内容を説明する図である。
【図１５】図１に示す画像処理装置で扱う補正された画素画像データと比較用画像データの画素画像データの関係を表わす図である。
【図１６】図１に示す画像処理装置で扱う画素ｎ以降の画素についての差分データの配分量を説明する図である。
【図１７】図３や図１３に示す処理方法を利用した他の処理方法を説明するための図で、（Ａ）は処理対象となる原画像のデータを示し、（Ｂ）は（Ａ）のデータを間引いたデータを示す図である。
【図１８】図３や図１３に示す処理方法を利用した、さらに他の処理方法を説明するための図で、（Ａ）は処理対象となる原画像のデータを示し、（Ｂ）は（Ａ）のデータの一部を取り出したデータを示す図である。
【図１９】図１８に示す処理方法の変形例を説明するための図で、原画像のデータを４分割し、各分割領域から、反復処理するための一部の領域を取り出すことを示す図である。
【符号の説明】
【００１８】
１  画像処理装置
２  撮像部
３  制御系部
４  処理部
５  記録部
６  検出部
７  要因情報保存部
Ｉ０  初期画像データ（任意の画像の画像データ）
ｂｎ  初期画像データ（任意の画像の画像データ）
Ｉ０′比較用画像データ
ｂｎ  比較用画像データ
Ｇ  変化要因情報のデータ
Ｉｍｇ′  原画像データ（撮影された画像の画像データ）
ｂｎ′  復元画像データ（復元画像のデータ）
Ｄ  差分データ
ｋ  配分比
Ｉ０＋ｎ  復元画像データ（復元画像のデータ）
Ｉｍｇ  劣化のない本来の正しい画像のデータ（基画像データ）
ａｎ  劣化のない本来の正しい画像のデータ（基画像データ）
ｅｎ  越え分のデータ
【発明を実施するための最良の形態】
【００１９】
以下、本発明の第１の実施の形態に係る画像処理装置１について図を参照しながら説明する。なお、この画像処理装置１は、撮像部にＣＣＤを使用した民生用のいわゆるデジタルカメラとしているが、撮像部にＣＣＤ等の撮像素子を用いる監視用カメラ、テレビ用カメラ用、内視鏡用カメラ等、他の用途のカメラとしたり、顕微鏡用、双眼鏡用、さらにはＮＭＲ撮影用等の画像診断装置等、カメラ以外の機器にも適用できる。【００２０】
画像処理装置１は、人物等の映像を撮影する撮像部２と、その撮像部２を駆動する制御系部３と、撮像部２で撮影された画像を処理する処理部４と、を有している。また、この実施の形態に係る画像処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、角速度センサ等からなり、画像劣化など変化の要因となる変化要因情報を検知する検出部６と、画像劣化などを生じさせる既知の変化要因情報を保存する要因情報保存部７を有する。【００２１】
撮像部２は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するＣＣＤやＣ−ＭＯＳ等の撮像素子を備える部分である。制御系部３は、撮像部２、処理部４、記録部５、検出部６、および要因情報保存部７等、画像処理装置１内の各部を制御するものである。【００２２】
処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）のようなハードウェアで構成されている。この処理部４には、後述する比較用画像の画像データ（以下、比較用画像データ）を生成する際の元となる画像が保管されることもある。処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、ＤＶＤ等を使用する光記録手段等を採用しても良い。【００２３】
検出部６は、図２に示すように、画像処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出する２つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動やＺ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向やＹ方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。【００２４】
要因情報保存部７は、既知の変化要因情報などの変化要因情報、たとえば光学系の収差等を保存しておく記録部である。なお、この実施の形態では、要因情報保存部７には、光学系の収差やレンズのひずみの情報が保存されているが、後述する手ぶれのぼけの復元の際にはそれらの情報は、利用していない。【００２５】
次に、以上のように構成された画像処理装置１の処理部４の処理方法の概要を、図３に基づいて説明する。【００２６】
図３中、「Ｉ０」は、任意の画像の画像データ（以下、任意画像データ）であって、処理部４の記録部に予め保存されている画像のデータである。「Ｉ０′」は、その任意画像データＩ０の変化画像のデータを示し、比較のための比較用画像の画像データ（以下、比較用画像データ）である。「Ｇ」は、検出部６で検出された変化要因情報（＝変化要因情報（点像関数））のデータで、処理部４の記録部に保存されるものである。「Ｉｍｇ′」は、撮影された画像、すなわち変化要因により変化した変化画像のデータを指し、この処理において処理対象となる原画像の画像データ（以下、原画像データ）である。【００２７】
「Ｄ」は、原画像データＩｍｇ′と、比較用画像データＩ０′との差分のデータである。「ｋ」は、変化要因情報のデータＧに基づく配分比である。「Ｉ０＋ｎ」は、任意画像データＩ０に、差分データＤを変化要因情報のデータに基づいて配分して新たに生成した復元画像の画像データ（以下、復元画像データ）である。「Ｉｍｇ」は、原画像データＩｍｇ′の基となった、変化する前の本来の画像の画像データ（以下、基画像データという）である。ここで、ＩｍｇとＩｍｇ′の関係は、次の（１）式で現されるとする。
Ｉｍｇ′＝Ｉｍｇ＊Ｇ  …（１）
「＊」は、重畳積分を表わす演算子である。
なお、差分データＤは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報のデータＧにより異なり、次の（２）式で現される。
Ｄ＝ｆ（Ｉｍｇ′，Ｉ０，Ｇ）…（２）【００２８】
処理部４の処理ルーチンは、まず、任意画像データＩ０を初期画像データＩ０として用意することから始まる（ステップＳ１０１）。この初期画像データＩ０、すなわち任意画像データＩ０としては、撮影した画像の画像データである原画像データＩｍｇ′を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップＳ１０２で、（１）式のＩｍｇの代わりに初期画像データＩ０を入れ、変化画像である比較用画像データＩ０′を求める。次に、原画像のデータＩｍｇ′と比較用画像データＩ０′と比較し、差分データＤを算出する（ステップＳ１０３）。【００２９】
次に、ステップＳ１０４で、この差分データＤが所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ１０５で新たな初期画像のデータ（＝復元画像データ）を生成する処理を行う。すなわち、差分データＤを変化要因情報のデータＧに基づいて、初期画像データＩ０に配分し、復元画像データＩ０＋ｎを生成する。その後、復元画像データＩ０＋ｎを初期画像データＩ０として、ステップＳ１０２，Ｓ１０３，Ｓ１０４を繰り返す。【００３０】
ステップＳ１０４において、差分データＤが所定値より小さい場合、処理を終了する（ステップＳ１０６）。そして、処理を終了した時点での復元画像データＩ０＋ｎを正しい画像、すなわち劣化のない基画像データＩｍｇと推定し、そのデータを記録部５に記録する。なお、記録部５には、初期画像データＩ０や変化要因情報のデータＧを記録しておき、必要により処理部４に渡すようにしても良い。【００３１】
以上の処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、特許文献２の記載にもあるように、理論上は可能であるが、現実問題としては困難である。【００３２】
最適化問題として解くということは、次の条件を前提としている。
すなわち、
（１）入力に対する出力は、一意に決まる。
（２）出力が同じであれば、入力は同じである。
（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。【００３３】
このことを換言すれば、図４（Ａ）（Ｂ）に示すように、原画像データＩｍｇ′と近似である比較用画像データＩ０′（Ｉ０＋ｎ′）を生成できれば、その生成の元データとなる初期画像データＩ０または復元画像データＩ０＋ｎは、原画像データＩｍｇ′の基となる基画像データＩｍｇに近似したものとなる。【００３４】
なお、この実施の形態では、角速度検出センサは５μｓｅｃ毎に角速度を検出している。また、差分データＤの判定基準となる値は、各データを８ビット（０〜２５５）で表わした場合に、この実施の形態では「６」としている。すなわち、６より小さい、つまり５以下の時は、処理を終了している。また、角速度検出センサで検出したブレの生データは、センサ自体の校正が不十分なときは、実際のブレとは対応しない。よって実際のブレに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。【００３５】
次に、図３および図４に示す処理方法の詳細を、図５，図６，図７，図８，図９，図１０，図１１および図１２に基づいて説明する。【００３６】
（手ぶれの復元アルゴリズム）
手ぶれが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、手ぶれがある場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中の光エネルギーの分散の仕方がわかるため、ぶれた画像からブレの無い画像を作ることが可能となる。【００３７】
以下、簡単のため、横一次元で説明する。画素を左から順に、…，ｎ−１，ｎ，ｎ＋１，ｎ＋２，ｎ＋３，…，とし、ある画素ｎに注目する。ブレが無いとき、露光時間中の光エネルギーは、その画素に集中するため、光エネルギーの集中度は「１．０」である。この状態を図５に示す。このときの撮影結果を、図６の表に示す。図６に示すものが、劣化しなかった場合の基画像データＩｍｇとなる。なお、各データは、８ビット（０〜２５５）のデータで表わしている。【００３８】
露光時間中にブレがあり、露光時間中の５０％の時間はｎ番目の画素に、３０％の時間はｎ＋１番目の画素に、２０％の時間はｎ＋２番目の画素に、それぞれぶれていたとする。光エネルギーの分散の仕方は、図７に示す表のとおりとなる。これが変化要因情報のデータＧとなる。【００３９】
ブレは、全ての画素で一様であるので、上ぶれ（縦ぶれ）が無いとすると、ブレの状況は、図８に示す表のとおりとなる。図８中の「理想画像」として示されるデータが、基画像データＩｍｇで、「ブレ画像」として示されるデータが、撮影された画像の画像データ、すなわち原画像データＩｍｇ′となる。具体的には、たとえば「ｎ−３」の画素の「１２０」は、ぶれ情報である変化要因情報のデータＧの「０．５」「０．３」「０．２」の配分比に従い、「ｎ−３」の画素に「６０」、「ｎ−２」の画素に「３６」、「ｎ−１」の画素に「２４」というように分散する。同様に、「ｎ−２」の画素のデータである「６０」は、「ｎ−２」に「３０」、「ｎ−１」に「１８」、「ｎ」に「１２」として分散する。この原画像データＩｍｇ′と、図７に示す変化要因情報のデータＧからぶれの無い理想画像（基画像データＩｍｇ）を算出することとなる。【００４０】
ステップＳ１０１に示す初期画像データＩ０としては、どのようなものでも採用できるが、この説明に当たっては、原画像データＩｍｇ′を用いる。すなわち、Ｉ０＝Ｉｍｇ′として処理を開始する。図９の表中に「入力」とされたものが初期画像データＩ０に相当する。この初期画像データＩ０すなわち原画像データＩｍｇ′に、ステップＳ１０２で変化要因情報のデータＧを作用させる。すなわち、たとえば、初期画像データＩ０の「ｎ−３」の画素の「６０」は、ｎ−３の画素に「３０」が、「ｎ−２」の画素に「１８」が、「ｎ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力Ｉ０′」として示される比較用画像データＩ０′が生成される。その結果、ステップＳ１０３の差分データＤは、図９の最下欄に示すようになる。【００４１】
この後、ステップＳ１０４にて差分データＤの大きさを判断する。具体的には、差分データＤが全て絶対値で５以下となった場合に処理を終了するが、図９に示す差分データＤは、この条件に合わないため、ステップＳ１０５に進む。すなわち、差分データＤを変化要因情報のデータＧを使用して、初期画像データＩ０に配分して、図１０中の「次回入力」として示される復元画像データＩ０＋ｎを生成する。この場合、第１回目であるため、図１０では、Ｉ０＋１と表している。【００４２】
差分データＤの配分は、たとえば「ｎ−３」の画素のデータ「３０」に自分の所（＝「ｎ−３」の画素）の配分比である０．５をかけた「１５」を「ｎ−３」の画素に配分し、また「ｎ−２」の画素のデータ「１５」にその「ｎ−２」の画素にきているはずの配分比である０．３をかけた「４．５」を配分し、さらに、「ｎ−１」の画素のデータ「９．２」に、その「ｎ−１」の画素にきているはずの配分比である０．２をかけた「１．８４」を配分する。「ｎ−３」の画素に配分された総量は、「２１．３４」となり、この値を初期画像のデータＩ０（ここでは撮影画像のデータＩｍｇ′を使用）にプラスして、復元画像データＩ０＋１を生成している。この復元画像データＩ０＋１は、図１０の表中の「次回入力」に相当するものである。【００４３】
図１１に示すように、この復元画像データＩ０＋１がステップＳ１０２の入力画像のデータ（＝初期画像データＩ０）になり、ステップＳ１０２が実行される。図１１の表中の「入力Ｉ０＋１」は、復元画像データＩ０＋１に相当する。そして、ステップＳ１０３へと移行し、新しい差分データＤを得る。この新しい差分データＤの大きさをステップＳ１０４で判断し、所定値より大きい場合、ステップＳ１０５で新しい差分データＤを前回の復元画像データＩ０＋１に配分し、新しい復元画像データＩ０＋２を生成する。この復元画像データＩ０＋２は、図１２の表中の「次回入力」に相当するものである。その後、ステップＳ１０２の遂行により、復元画像データＩ０＋２から新しい比較用画像データＩ０＋２′が生成される。このように、ステップＳ１０２，Ｓ１０３が実行された後、ステップＳ１０４へ行き、そこでの判断によりステップＳ１０５へ行ったり、ステップＳ１０６へ移行する。このような処理を繰り返す。【００４４】
この画像処理装置１では、処理するに当たり、ステップ１０４において、事前に処理回数と、差分データＤの判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として２０回、５０回等任意の回数を設定できる。また、処理を停止させる差分データＤの値を８ビット（０〜２５５）中の「５」と設定し、５以下になったら処理を終了させたり、「０．５」と設定し「０．５」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力した場合、いずれか一方が満足されたとき処理は停止される。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らなかった場合、さらに所定回数の処理を繰り返すようにしても良い。【００４５】
この実施の形態の説明の中では、要因情報保存部７に保存されている情報を利用しなかったが、ここに保存されている既知の変化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、先の例（図３）の処理方法では、ブレの情報と光学収差の情報を合わせて１つの変化要因として捉えて処理を行うのが好ましいが、ブレの情報での処理を終了した後に光学収差の情報での補正を行うようにしても良い。また、この要因情報保存部７を設置しないようにして、撮影時の動的要因、たとえばブレのみで画像を修正したり復元したりしても良い。【００４６】
この画像処理装置１は、以上のような処理方法の考え方に加え、以下に示す処理方法を採用している。この方法を、図１３から図１６を参照しながら説明する。この方法は、差分データＤの初期画像データＩ０への配分の量の適正化を図るもので、比較用画像データＩ０′（Ｉ０＋ｎ′）を原画像データＩｍｇ′に速く近似させることができ、その結果、図３に示す処理ルーチンの処理回数を減らすことができる。【００４７】
図１３の処理フローに沿って差分データＤの配分の方法を説明する。処理フローＳ２０１からＳ２０４は、図３の処理フローＳ１０１からＳ１０４に相当する処理フローである。つまり、入力された初期画像データＩ０（Ｓ２０１）から比較用画像データＩ０′を生成し（Ｓ２０２）、変化画像データである原画像データＩｍｇ′と比較用画像データＩ０′との各画素についての差分データＤを算出する（Ｓ２０３）。そして、各画素について差分データＤの大きさを判断し（Ｓ２０４）、その大きさがすべての画素について適正であれば、画像が復元されたと判断し、処理を終了する（Ｓ２０５）。【００４８】
Ｓ２０１からＳ２０５までの、処理の内容を、図１４に基づいて説明すると次のようになる。この図は、図５から図１２と同様に、簡単のため、横一次元の画素ｎ−３，ｎ−２，ｎ−１，ｎ，ｎ＋１，ｎ＋２，…についての処理の内容を表わしている。【００４９】
先ず、画素ｎ−３，ｎ−２，ｎ−１，ｎ，ｎ＋１，ｎ＋２，…について、初期画像データＩ０をｂｎ−３，ｂｎ−２，ｂｎ−１，ｂｎ，ｂｎ＋１，ｂｎ＋２，…とし、Ｓ２０１、Ｓ２０２までの処理ルーチン（図３のＳ１０１からＳ１０２の処理ルーチンに相当）を実行すると、比較用画像データＩ０′としてｂｎ−３′，ｂｎ−２′，ｂｎ−１′，ｂｎ′，ｂｎ＋１′，ｂｎ＋２′，…を得る。【００５０】
この比較用画像データＩ０′（＝ｂｎ−３′，ｂｎ−２′，ｂｎ−１′，ｂｎ′，ｂｎ＋１′，ｂｎ＋２′，…）は、初期画像データＩ０（＝ｂｎ−３，ｂｎ−２，ｂｎ−１，ｂｎ，ｂｎ＋１，ｂｎ＋２，…）が変化要因情報のデータＧにしたがって、自身および他の画素に分散して生成されたものである。ここでは、変化要因情報のデータＧをα，β，γ（α＞β＞γ、α＋β＋γ＝１）として説明をする。つまり、各画素の光エネルギーがα，β，γの割合で、ブレ方向の画素に分散することになる。【００５１】
例えば、初期画像データＩ０中の画素ｎの画素画像データｂｎについてみると、画素画像データｂｎは、α・ｂｎが画素ｎに、β・ｂｎが画素ｎ＋１に、γ・ｂｎが画素ｎ＋２に分散する。他の画素についても同様に、図中矢印で示す画素に、変化要因情報のデータＧに従ってエネルギーが分散する。したがって、各画素（ｎ−３，ｎ−２，ｎ−２、ｎ−１、ｎ，ｎ＋１，ｎ＋２，…）の初期画像データであるｂｎ−３，ｂｎ−２，ｂｎ−１，ｂｎ，ｂｎ＋１，ｂｎ＋２，は、変化要因情報のデータＧに従って分散し、各画素の比較用画像データとして、それぞれｂｎ−３′，ｂｎ−２′，ｂｎ−１′，ｂｎ′，ｂｎ＋１′，ｂｎ＋２′，…を得ることになる。【００５２】
比較用画像データＩ０′（ｂｎ−３′，ｂｎ−２′，ｂｎ−１′，ｂｎ′，ｂｎ＋１′，ｂｎ＋２′，…）は、例えば、画素ｎの画素画像データｂｎ′についてみると、画素ｎ−２の画素画像データｂｎ−２のγ分の分散量と画素ｎ−１の画素画像データｂｎ−１のβ分の分散量、さらに自己の画素ｎの画素画像データｂｎのα分の分散量の影響を受けた内容となっている。つまり、ｂｎ′＝α・ｂｎ＋β・ｂｎ−１＋γ・ｂｎ−２とみることができる。比較用画像データＩ０′の他の画素の画素画像データについても同様に、変化要因情報のデータＧに従って、自己の画素、１つ前および２つ前の他の画素（図１４において、左隣の画素およびさらにその左隣の画素）の分散量の影響を受けた内容になっている。【００５３】
初期画像データＩ０から比較用画像データＩ０′が生成させる処理については、図９において説明したのと同様である。初期画像データＩ０は、図９の入力Ｉ０に相当し、比較用画像データＩ０′は、図９の出力Ｉ０′に相当する。【００５４】
基画像データＩｍｇの各画素の画素画像データが、ａｎ−３，ａｎ−２，ａｎ−１，ａｎ，ａｎ＋１，ａｎ＋２，…であるとき、原画像データＩｍｇ′の各画素の画素画像データは、ａｎ−３′，ａｎ−２′，ａｎ−１′，ａｎ′，ａｎ＋１′，ａｎ＋２′，…となる。原画像データＩｍｇ′は、例えば、画素ｎの画素画像データａｎ′についてみると、基画像データＩｍｇの画素ｎ−２の画素画像データａｎ−２のγの割合分の分散量と画素ｎ−１の画素画像データａｎ−１のβの割合分の分散量、さらに自己の画素ｎの画素画像データａｎのαの割合分の分散量の影響を受けた内容となっている。つまり、ａｎ′＝α・ａｎ＋β・ａｎ−１＋γ・ａｎ−２とみることができる。原画像データＩｍｇ′の他の画素についても同様に、変化要因情報のデータＧに従って、自己の画素、１つ前および２つ前の他の画素（図１４において、左隣の画素およびさらにその左隣の画素）に対応する基画像データＩｍｇの分散量の影響を受けた内容になっている。【００５５】
原画像データＩｍｇ′の各画素の画像データがａｎ−３′，ａｎ−２′，ａｎ−１′，ａｎ′，ａｎ＋１′，ａｎ＋２′，…であるとき、原画像データＩｍｇ′の各画素の画像データと比較用画像データの各画素の画像データとの差分である差分データＤは、δｎ−３，δｎ−２，δｎ−１，δｎ，δｎ＋１，δｎ＋２，…となる（Ｓ２０３）。そして、Ｓ２０４において、各画素の差分データδｎ−３，δｎ−２，δｎ−１，δｎ，δｎ＋１，δｎ＋２，…のそれぞれが適正な値であるかどうかを判断し、差分データＤの大きさが適正でない場合には、以下に説明するＳ２０６以降の処理に移行し、適正であれば、原画像が適正に復元されたと判断し、処理を終了する（Ｓ２０５）。Ｓ２０６以降の処理においては、初期画像データＩ０への差分データＤの適正な配分量を設定する。【００５６】
先ず、差分データＤを利用して、適正な配分量と考えられる任意の配分量を算出する（Ｓ２０６）。この配分量の算出は次のように行なう。例えば、画素ｎについてみると、画素画像データｂｎ′は、γ・ｂｎ−２とβ・ｂｎ−１とα・ｂｎの合計であることから、差分データδｎは、画素ｎ−２，ｎ−１，ｎの初期画像データＩ０中の画素画像データｂｎ−２，ｂｎ−１，ｂｎからの分散量が含まれていることになる。また、原画像データＩｍｇ′中の画素ｎについての画素画像データａｎ′はγ・ａｎ−２とβ・ａｎ−１とα・ａｎの合計であることから、差分データδｎには、画素ｎ−２，ｎ−１，ｎの基画像データＩｍｇ中の画素画像データａｎ−２，ａｎ−１，ａｎからの分散量も含まれていることになる。【００５７】
すなわち、差分データδｎには、画素ｎにおける基画像データＩｍｇの画素画像データａｎの分散量としてα・ａｎと、初期画像データＩ０の画素画像データｂｎからの分散量としてα・ｂｎとが含まれていることになる。そして、差分データδｎには、画素画像データａｎと画素画像データｂｎからの分散量がＫ（０≦Ｋ≦１）の割合で含まれていると考える。つまり、下記の（３）式のように考えることができる。
α・ａｎ−α・ｂｎ＝Ｋ・δｎ  …（３）
この（３）式から、
ａｎ＝ｂｎ＋Ｋ・δｎ／α  …（４）
となる。つまり、差分データδｎから初期画像データｂｎに配分する配分量ｈを、Ｋ・δｎ／αとする（Ｓ２０６）。ここでは、差分データδｎを変化要因情報のデータαで除算した（割った）値を用いて、これにＫを積算（掛けた）した値を配分量ｈとしている。そして、この配分量ｈ＝Ｋ・δｎ／αを初期画像データＩ０の画素ｎの画素画像データｂｎに配分し、ｂｎ＋Ｋ・δｎ／αを画素ｎについて復元画像の画素画像データとして得る（Ｓ２０７）。【００５８】
上述した図３の処理フローにおいては、画素画像データｂｎ＋Ｋ・δｎ／αが新たな復元画像データＩ０＋ｎの画素ｎについての画素画像データとなり、そして、画素画像データｂｎ＋Ｋ・δｎ／αを新たな初期画像データとして処理することになる（Ｓ１０５）。その後、Ｓ１０２に戻り、その復元画像データＩ０＋ｎが基画像データＩｍｇに近似しているかどうかの判断の処理フロー（Ｓ１０３，Ｓ１０４）を実行することになる。しかしながら、図１３の処理フローにおいては、Ｓ２０７からＳ２１２において、配分量ｈとしてＫ・δｎ／αが適正な配分量であるかどうかを判断し、適正でない場合は、適正な配分量になるように補正を行う。【００５９】
配分量Ｋ・δｎ／αが適正な配分量であるかどうかの判断は、Ｓ２０７において得た画素ｎについての画素画像データ「ｂｎ＋Ｋ・δｎ／α」が、復元画像データの画素画像データとして適正であるかどうかの判断（Ｓ２０８）に基づき行う。この判断は、次のように行う。【００６０】
画素画像データ「ｂｎ＋Ｋ・δｎ／α」は、画素画像データａｎに近似する画像に対応するものであり、したがって、画素画像データａｎについて想定できる制限値の範囲（ｍｉｎ≦ａｎ≦ｍａｘ）に収まるものであることが要求される。この制限値の範囲は、本実施の形態においては、画素に蓄積できる光エネルギー量の制限値とする。例えば、画素の画像データを光エネルギーの強さとして、８ビット（０〜２５５）で表わすこととした場合には、画素画像データａｎは、０≦ａｎ≦２５５の範囲に収まるべきものと考える。【００６１】
したがって、画素画像データａｎの制限値の範囲（ｍｉｎ≦ａｎ≦ｍａｘ）を越える画素画像データ「ｂｎ＋Ｋ・δｎ／α」は、画素画像データとして不適切であると判断する。すなわち、画素画像データ「ｂｎ＋Ｋ・δｎ／α」が、画素画像データａｎの制限値の範囲の下限を下回るか、あるいは上限値を上回る場合には、画素画像データ「ｂｎ＋Ｋ・δｎ／α」は、画素画像データとして不適切であると判断する。つまり、画素画像データ「ｂｎ＋Ｋ・δｎ／α」が不適正であるということは、配分量Ｋ・δｎ／αが不適正であると判断できる。すなわち、（４）式のｂｎ＋Ｋ・δｎ／αが、ｍｉｎ≦ｂｎ＋Ｋ・δｎ／α≦ｍａｘの範囲外となるときは、Ｋ・δｎに、画素画像データｂｎ′の生成の元となっている元復元画像データの画素ｎ−１，ｎ−２についての画素画像データｂｎ-１，ｂｎ-２からの分配量の影響が大きく含まれていると考えることができる。【００６２】
そこで、画素画像データｂｎ-１，ｂｎ-２、からの分配量を少なくするために、画素画像データｂｎ-１，ｂｎ-２を減らし、画素画像データｂｎ-１，ｂｎ-２から画素ｎへの分配量が少なくなるようにする。そのために、先ず、画素画像データｂｎ-１，ｂｎ-２を減ずる補正量を設定する（Ｓ２０９）。この補正量は次のように算出する。【００６３】
画素画像データ「ｂｎ＋Ｋ・δｎ／α」が範囲（ｍｉｎ≦ｂｎ＋Ｋ・δｎ／α≦ｍａｘ）を越える量のデータ（以下、越え分データ）ｅｎを算出する。この越え分データｅｎは、Ｋ・δｎ／αに含まれていると考え、また、越え分データｅｎは、画素画像データｂｎ−２，ｂｎ−１からの分散量であると考える。すなわち、このような状態は、画素画像データ「ｂｎ＋Ｋ・δｎ／α」の復元の元となっている画素画像データｂｎ−２，ｂｎ−１が不適切であるためと考えられる。【００６４】
したがって、画素画像データｂｎ＋Ｋ・δｎ／αが範囲（ｍｉｎ≦ｂｎ＋Ｋ・δｎ／α≦ｍａｘ）を越えないように画素画像データｂｎ−２，ｂｎ−１を補正する。この補正量は、次の考え方に基づき決定する。図１５に示すように、画素画像データｂｎ−２，ｂｎ−１の補正量のデータをそれぞれ補正データｅｎ−２，ｅｎ−１とすると、画素ｎにおける比較用画像データの画素画像データｂｎ′は、（５）式のように表わされる。
ｂｎ′＝γ・（ｂｎ−２＋ｅｎ−２）＋β・（ｂｎ−１＋ｅｎ−１）＋α・（ｂｎ＋ｅｎ）
＝γ・ｂｎ−２＋β・ｂｎ−１＋α・ｂｎ＋γ・ｅｎ−２＋β・ｅｎ−１＋α・ｅｎ  …（５）
つまり、（５）式において、
γ・ｅｎ−２＋β・ｅｎ−１＋α・ｅｎ＝０  …（６）
のとき、画素ｎの差分データδｎにおける画素画像データｂｎ−１，ｂｎ−２からの分散量の影響が小さくなっている。したがって、（６）式が成り立つように補正データｅｎ−２，ｅｎ−１を設定することにより、画素ｎにおける復元画像データを適正な値とすることができる。すなわち、差分データδｎに基づく配分量であるＫ・δｎ／αを適正な値とすることができる。補正データｅｎ−２，ｅｎ−１の具体的な設定は、（６）式に基づき、例えば、次のようなものが考えられる。【００６５】
（イ）ｅｎ−２＝ｅｎ−１とした場合。
（６）式より、ｅｎ−２（γ＋β）＝−ｅｎ・αとなる。したがって、
ｅｎ−２（＝ｅｎ−１）＝−α・ｅｎ／（γ＋β）＝−α・ｅｎ／（１−α）  …（７）
とすることができる。【００６６】
（ロ）越え分データｅｎへの影響量が変化要因に依存していると考え、ｅｎ−２：ｅｎ−１＝γ：βとした場合。
ｅｎ−２：ｅｎ−１＝γ：β
ｅｎ−２＝γ・ｅｎ−１／β
となる。したがって、（６）式より
γ２・ｅｎ−１  ／β＋β・ｅｎ−１＝−α・ｅｎ
ｅｎ−１＝（−α・β／（β２＋γ２））・ｅｎ  …（８）
ｅｎ−２＝（−α・γ／（β２＋γ２））・ｅｎ  …（９）
とすることができる。【００６７】
（８）式、（９）式は、α＋β＋γ＝１であるので、β２＋γ２＝（１−α）２と近似し、
ｅｎ−１＝（−α・β／（１−α）２）・ｅｎ  …（１０）
ｅｎ−２＝（−α・γ／（１−α）２）・ｅｎ  …（１１）
としてもよい。【００６８】
（ハ）越え分データｅｎへの影響が小さい画素について、ｅｎへの影響量を０とした場合。
例えば、ｅｎ−２＝０として、
（６）式より、
ｅｎ−１＝（−α／β）・ｅｎ
とすることができる。【００６９】
補正データｅｎ−２，ｅｎ−１の設定方法は、以上の他にもいろいろ考えられる。そして、画素ｎ−２，ｎ−１の画素画像データに以上のように設定した補正データｅｎ−２，ｅｎ−１を加える補正を行い、画素ｎ−２，ｎ−１について補正された画素画像データを生成する（Ｓ２１０）。【００７０】
そして、このＳ２１０における処理では、さらに、画素ｎ−２，ｎ−１の画素画像データが復元画像データの画素画像データとして適正か否かを、Ｓ２０８と同様に判断する。すなわち、画素ｎ−２については、画素画像データ「ｂｎ−２＋ｅｎ−２」が、範囲内（ｍｉｎ≦ｂｎ−２＋ｅｎ−２≦ｍａｘ）にあるかどうかを判断する。また、画素ｎ−１については、画素画像データ「ｂｎ−１＋ｅｎ−１」が、範囲内（ｍｉｎ≦ｂｎ−１＋ｅｎ−１≦ｍａｘ）にあるかどうかを判断する。【００７１】
そして、補正された画素画像データ「ｂｎ−２＋ｅｎ−２」，「ｂｎ−１＋ｅｎ−１」が該範囲内にないと判断された場合には、さらに、画素ｎ−２，ｎ−１の画素画像データの元となっている左方の元復元画像データの画素画像データ、例えば、ｂｎ−３に戻って上記のＳ２０６からＳ２１０の処理を行う（Ｓ２１１）。【００７２】
以上に説明した処理を各画素について画素順に全画素について行い、復元画像データが所定の範囲内に収まるように、初期画像データＩ０への差分データＤからの配分量を設定する。これにより、効率的に比較用画像データＩ０′（Ｉ０＋ｎ′）を原画像データＩｍｇ′に速く近似させることができる。【００７３】
なお、画素ｎ以降のＳ２０６からＳ２１０の処理を行っていない未処理の画素についての配分量の算出を行う際に、画素の配分量を算出する前に、ｂｎの配分量「Ｋ・δｎ／α＋ｅｎ」に基づく影響分を除いておく（Ｓ２１２）。これにより、画素ｎ以降の画素についてより適切な配分量を算出することができる。【００７４】
すなわち、図１６に示すように、画素ｎにおける配分量が（Ｋ・δｎ／α）＋ｅｎであるとき、この配分量の画素ｎ＋１への影響分は、Ｋ・β・δｎ／α＋β・ｅｎであり、また、画素ｎ＋２への影響分は、Ｋ・γ・δｎ／α＋γ・ｅｎと考えることができる。【００７５】
したがって、画素ｎ＋１の差分データδｎ＋１からＫ・β・δｎ／α＋β・ｅｎを取り除き、また、画素ｎ＋２の差分データδｎ＋２からＫ・γ・δｎ／α＋γ・ｅｎを取り除き、これを各画素ｎ＋１，ｎ＋２の差分データδｎ＋１，δｎ＋２とする。こうすることにより、画素ｎ＋１，ｎ＋２の画素についてより適切な配分量を算出することができる。画素ｎ＋３，ｎ＋４，…についても同様の処理を行うことで、画素ｎ＋１，ｎ＋２，ｎ＋３，ｎ＋４，…における差分データＤの初期画像データＩ０への配分を適切に行うことができる。これにより、効率的に比較用画像データＩ０′（Ｉ０＋ｎ′）を原画像データＩｍｇ′により速く近似させることができる。【００７６】
以上のようにして、各画素の初期画像データＩ０に差分データＤの配分が行われた後、Ｓ２０２に戻り、撮影画像データである原画像データＩｍｇ′との比較（Ｓ２０３）が小さくなるまで（Ｓ２０４）、上述したＳ２０６からＳ２１１の処理を繰り返す。【００７７】
以上、本発明の実施の形態に係る画像処理装置１について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部４で行った処理は、ソフトウエアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。【００７８】
また、処理対象となる原画像としては撮影画像の他に、その撮影画像を色補正したり、フーリエ変換したり等、加工を施したものとしても良い。さらに、比較用画像データとしては、変化要因情報のデータＧを使用して生成したデータ以外に、変化要因情報のデータＧを使用して生成したものに色補正を加えたり、フーリエ変換したりしたデータとしても良い。また、変化要因情報のデータとしては、変化要因情報のデータのみではなく、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。【００７９】
また、処理の反復回数が画像処理装置１側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報のデータＧによって変更するようにしても良い。たとえば、ある画素のデータがブレにより多数の画素に分散している場合は、反復回数を多くし、分散が少ない場合は反復回数を少なくするようにしても良い。【００８０】
さらに、反復処理中に、差分データＤが発散してきたら、すなわち大きくなっていったら処理を中止させるようにても良い。発散しているか否かは、たとえば差分データＤの平均値を見てその平均値が前回より大きくなったら発散していると判断する方法を採用できる。また、反復処理中に、入力を異常な値に変更しようとしたときには、処理を中止させるようにしても良い。たとえば８ビットの場合、変更されるようとする値が２５５を越える値であるときには、処理を中止させる。また、反復処理中、新たなデータである入力を異常な値に変更しようとしたとき、その値を使用せず、正常な値とするようにしても良い。たとえば、８ビットの０〜２５５の中で、２５５を越える値を入力データとしようとした際は、マックスの値である２５５として処理するようにする。【００８１】
また、出力画像となる復元画像データを生成する際、変化要因情報のデータＧによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入ってくるべきデータがある場合は、そのデータは反対側から持ってくるようにするのが好ましい。  【００８２】
また、復元画像データＩ０＋ｎを生成するとき、配分比ｋを使用せず、対応する画素の差分データＤをそのまま前回の復元画像データＩ０＋ｎ−１に加えたり、対応する画素の差分データＤを変倍した後に加えたり、また差分データＤが割り振られた後のデータｋＤ（図１０、図１２中の「更新量」として示される値）を変倍して、前回の復元画像データＩ０＋ｎ−１に加えるようにしても良い。これらの処理方法をうまく活用すると、処理速度が速くなる。【００８３】
また、復元画像データＩ０＋ｎを生成するとき、変化要因の重心を算出し、その重心のみの差分、またはその差分の変倍を前回の復元画像データＩ０＋ｎ−１に加えるようにしても良い。先の例で言えば、「０．５」「０．３」「０．２」の３つの重心は、最も値が大きい「０．５」の位置であり、自分の位置となる。よって「０．３」や「０．２」の割り振りを考慮せず、差分データＤの「０．５」または０．５の変倍分のみ自己の位置に割り振るようにすることとなる。このような処理は、ブレのエネルギーが集中している場合に好適となる。【００８４】
さらに、変化要因情報のデータＧの内容によって自動的に上述した各処理方法を選択させるようにすることもできる。たとえば、処理方法として、図５〜図１２に示したように、（１）配分比ｋを使用して差分データＤを配分する方法（配分比配分方式）、（２）対応する画素の差分、または差分データＤを変倍する方法（対応画素方式）、（３）変化要因の重心を検出してその重心部分のデータを利用する方法（重心方法）の３方法を実行できるプログラムを処理部４内に保存しておき、変化要因の状況を分析し、その分析結果に基づき、その３つの方法のいずれか１つを選択するようにする。また、３つの方法のうちいずれか複数を選択し、１ルーチンの度に交互に利用したり、最初の数回はある方式で処理し、その後は他の方式で処理するようにしても良い。【００８５】
さらに、復元処理の高速化を図る意味で、逆問題と組み合わせる方法が存在する。すなわち、縮小データで反復処理を行い、縮小した原画像から縮小した復元画像データへの伝達関数を算出する。そして算出された伝達関数を拡大、補間し、その拡大、補間された伝達関数を使って原画像の復元画像データを得る。この処理方法は大きな画像の処理に有利となる。【００８６】
このような処理方法としては、２つの方法が考えられる。第１は、データを間引くことで縮小データとする方法である。間引く場合、たとえば、図１７に示すように、原画像のデータＩｍｇ′が、画素１１〜１６，２１〜２６，３１〜３６，４１〜４６，５１〜５６，６１〜６６で構成されているとき、１つおきに画素を間引き、画素１１，１３，１５，３１，３３，３５，５１，５３，５５からなる４分の１の大きさの縮小Ｉｍｇ′を生成する方法がある。【００８７】
このように、原画像のデータＩｍｇ′を間引き、間引かれたデータである縮小Ｉｍｇ′を生成し、その縮小Ｉｍｇ′用いて、図３に示す反復処理を行い、充分満足な間引かれた復元画像データＩ０＋ｎを得る。縮小復元画像データＩ０＋ｎは充分満足なデータではあるが、あくまで近似である。したがって、復元画像データＩ０＋ｎと原画像のデータＩｍｇ′の伝達関数は、縮小データの反復処理で用いた伝達関数ではない。そこで、縮小復元画像データＩ０＋ｎと縮小した原画像のデータである縮小Ｉｍｇ′から伝達関数を算出し、算出した伝達関数を拡大し、拡大した間を補間して、その修正した伝達関数を、元データとなる原画像のデータＩｍｇ′に対する伝達関数とする。そして、その修正した伝達関数を使用し、周波数空間でデコンボリューション計算（ボケを含む画像群から計算によってボケを除去する計算）を行い、完全な復元画像データＩ０＋ｎを得て、それを劣化していない基画像データＩｍｇと推定する。【００８８】
なお、この処理の場合、得られた正しい画像と推定された復元画像データＩ０＋ｎを図３に示す処理の初期画像のデータＩ０として使用し、変化要因情報のデータＧと劣化した原画像のデータＩｍｇ′とを用い、さらに処理するようにしても良い。【００８９】
縮小データを利用する方法の第２は、原画像のデータＩｍｇ′の一部の領域のデータを取り出すことで縮小データとする方法である。たとえば、図１８に示すように、原画像のデータＩｍｇ′が、画素１１〜１６，２１〜２６，３１〜３６，４１〜４６，５１〜５６，６１〜６６で構成されているとき、その中央の領域である、画素３２，３３，３４，４２，４３，４４からなる領域を取り出し、縮小Ｉｍｇ′を生成する方法がある。【００９０】
このように、画像領域全体を反復処理で復元せず、領域の一部分を反復処理し良好な復元画像を求め、それを使ってその部分に対する伝達関数を求め、その伝達関数自体またはそれを修正（拡大など）したものを用いて画像全体の復元を行うものである。ただし、取り出してくる領域は、変動領域よりも充分大きな領域とする必要がある。図５等に示した先の例では、３画素に渡って変動しているので、３画素以上の領域を取り出してくる必要がある。【００９１】
なお、この縮小領域を取り出してくる方法の場合、原画像のデータＩｍｇ′を、たとえば図１９に示すように、４分割し、各分割領域から一部の領域を取り出し、小さい領域である４つの縮小Ｉｍｇ′をそれぞれ反復処理し、４分割された分割区域をそれぞれ復元し、復元された４つの分割画像を一つにすることで元の全体画像としても良い。なお、複数に分割する際、必ず複数領域に渡って重なる領域(オーバーラップ領域）を持つようにするのが好ましい。また、各復元された画像のオーバーラップ領域は、平均値を使ったり、オーバーラップ領域で滑らかにつなぐなどの処理を行うようにするのが好ましい。【００９２】
さらに、実際に図３や図１３の処理方法を採用した場合、コントラストの急激な変化のある画像等については、良好な近似の復元画像への収束が遅いことが判明した。このように、元の画像である被写体の性質によっては、反復処理の収束スピードが遅く、反復回数を多くしなければならない場合がある。このような被写体の場合、次のような処理方法を採用すると、この問題を解決できると推定される。【００９３】
その方法とは以下のとおりである。すなわち、コントラストの急激な変化のある被写体は、図３や図１３に示す処理方法による復元の反復処理を使用し、元の画像に近似したものを得ようとすると、反復数が非常に多くなると共に多くの回数の処理を行った後も、元の被写体に近似する復元画像データＩ０＋ｎを生成できない。そこで、撮影された原画像（ブレ画像）のデータＩｍｇ′に、既知の画像のデータＢから撮影時の変化要因情報のデータＧを用いてブレ画像のデータＢ′を生成し、そのデータＢ′を重ね合わせ、「Ｉｍｇ′＋Ｂ′」を作る。その後、重ね合わせた画像を図３に示す処理にて復元処理し、その復元画像データＩ０＋ｎとなる結果データＣから既知の加えた場像のデータＢを取り去り、求めたい復元画像の基画像データＩｍｇを取り出す。【００９４】
この方法では、基画像データＩｍｇは急激なコントラスト変化を含んでいるが、既知の画像のデータＢを加えることで、この急激なコントラスト変化を軽減することができ、復元処理の反復数を低減する事ができる。【００９５】
また、復元の困難な被写体の処理方法および高速な処理方法として、他の処理方法も採用できる。たとえば、復元処理の反復数を多くすれば良好な復元画像により近づけることができるが、処理に時間がかかる。そこで、ある程度の反復処理数で得られた画像を用いて、そこに含まれる誤差成分を算出し、誤差を含む復元画像から、算出した誤差を取り去ることで良好な復元画像すなわち復元画像データＩ０＋ｎを得ることができる。【００９６】
この方法を具体的に以下に説明する。求めたい正しい画像をＡとし、撮影した原画像をＡ′とし、原画像Ａ′から復元した画像をＡ＋Ｄとし、その復元画像データから生成したブレた比較用画像データをＡ′＋Ｄ′とする。この「Ａ′＋Ｄ′」に、撮影した原画像「Ａ′」を付加し、それを復元処理すると、「Ａ＋Ｄ＋Ａ＋Ｄ＋Ｄ」となり、これは「２Ａ＋３Ｄ」であり、また、「２（Ａ＋α）＋α」である。「Ａ＋Ｄ」は前回の復元処理で求まっているので、「２（Ａ＋Ｄ）＋Ｄ−２（Ａ＋Ｄ）」が計算でき、「Ｄ」が求まる。よって「Ａ＋Ｄ」から「Ｄ」を取り去ることで、求めたい正しい画像Ａが得られる。【００９７】
以上説明した各処理方法、すなわち、（１）配分比ｋを使用して差分データＤを配分する方法（基本方式）、（２）対応する画素の差分、または差分データＤを変倍する方法（対応画素方式）、（３）変化要因の重心を検出してその重心部分のデータを利用する方法（重心方法）、（４）図１３から図１６を参照しながら説明した差分データＤの配分の適正化を図る方法（差分データの配分の適正化方法）、（５）データを間引き、逆問題と組み合わせる方法（逆問題間引き方法）、（６）縮小領域を取り出し、逆問題と組み合わせる方法（逆題間領域取り出し方法）、（７）所定の画像を重ね合わせて反復処理し、その後、その所定の画像を取り去る方法（苦手画像対策重ね合わせ方法）、（８）誤差を含む復元画像から、算出した誤差を取り去る方法（誤差取り出し方法）の各処理方法のプログラムを処理部４に保存しておき、使用者の選択または画像の種類に応じて自動的に、処理方法を選択できるようにしても良い。【００９８】
また、これら（１）〜（８）のいずれか複数を処理部４に保存しておき、使用者の選択または画像の種類に応じて自動的に、処理方法を選択できるようにしても良い。また、これら８つの方法のうちいずれか複数を選択し、１ルーチンの度に交互または順番に利用したり、最初の数回はある方式で処理し、その後は他の方式で処理するようにしても良い。なお、画像処理装置１は、上述した（１）〜（８）のいずれか１つまたは複数の他に、それらとは異なる処理方法をも有するようにしても良い。【００９９】
また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ、ＤＶＤ、ＵＳＢメモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置１の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。
【図１】
2007083621.tif 000003
【図２】
2007083621.tif 000004
【図３】
2007083621.tif 000005
【図４】
2007083621.tif 000006
【図５】
2007083621.tif 000007
【図６】
2007083621.tif 000008
【図７】
2007083621.tif 000009
【図８】
2007083621.tif 000010
【図９】
2007083621.tif 000011
【図１０】
2007083621.tif 000012
【図１１】
2007083621.tif 000013
【図１２】
2007083621.tif 000014
【図１３】
2007083621.tif 000015
【図１４】
2007083621.tif 000016
【図１５】
2007083621.tif 000017
【図１６】
2007083621.tif 000018
【図１７】
2007083621.tif 000019
【図１８】
2007083621.tif 000020
【図１９】
2007083621.tif 000021
【国際調査報告】
2007083621.tif 000022
2007083621.tif 000023