(57)【要約】  画像を復元するに当たり、撮影画像のぶれの軌跡の途中や終端部において露光時間が長くなるような露光が行われた撮影画像を復元する場合に、見た目で自然な感じに復元画像が生成されるようにする画像処理装置を提供すること。  撮影装置の露光中の移動により、基画像に対して変化させられた処理対象画像から、基画像に近似する復元画像を生成する画像処理部を有する画像処理装置において、画像処理部は、復元画像を、処理対象画像の露光時間が最も長い位置に対応させて生成することを特徴とする画像処理装置。
2007077733.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置の露光中の移動により、基画像に対して変化させられた処理対象画像から、基画像に近似する復元画像を生成する画像処理部を有する画像処理装置において、
上記画像処理部は、上記復元画像を、処理対象画像の露光時間が最も長い位置に対応させて生成することを特徴とする画像処理装置。
【請求項２】
前記露光時間が最も長い位置は、画像変化の要因となる変化要因情報のデータのデータ値の最も大きい画素とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記復元画像の復元は、前記変化要因情報のデータを利用して、任意の画像データから比較用画像データを生成し、その後、処理対象となる前記処理対象画像の画像データと上記比較用画像データとを比較し、得られた差分のデータを前記変化要因情報のデータを利用して上記任意の画像データに配分することで復元画像データを生成し、その後、この復元画像データを上記任意の画像データの代わりに使用し、同様の処理を繰り返すことで、変化する前の基画像に近似する復元画像を生成する処理を行うことを特徴とする請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来から、撮像部にＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）などの撮像素子を使用するカメラにより撮影を行った撮影画像は、撮影時の手ぶれ、撮影光学系の各種の収差、あるいは撮影光学系を構成するレンズの歪み等がある場合は、これが要因となり、撮影画像が劣化することが知られている。【０００３】
このような撮影画像の劣化を防ぐ手段として、撮影画像の劣化の要因のうち、撮影時の手ぶれに関しては、レンズを動かす方式と撮影した画像を回路処理する方式の２つの方式が知られている。例えば、レンズを動かす方式としては、カメラの手ぶれを検出し、撮影光学系の中の所定のレンズを、検出した手ぶれによるカメラの移動に合わせて動かすことにより、撮像素子上における結像位置の移動を抑制する方式が知られている（特許文献1参照）。【０００４】
また、回路処理する方式としては、カメラの撮影光学系の光軸の変動を角加速度センサ等により検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、劣化のない画像を復元する方式が知られている（特許文献２参照）。【０００５】
【特許文献１】特開平６−３１７８２４号公報（要約書参照）
【特許文献２】特開平１１−２４１２２号公報（要約書参照）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１記載の手ぶれ補正を採用したカメラは、モータ等のレンズを駆動するハードウェアのスペースが必要となり大型化してしまう。また、そのようなハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、コストアップとなってしまう。【０００７】
また、特許文献２記載の手ぶれ補正の場合は、上述した問題点はなくなるものの、次のような問題を有する。【０００８】
手ぶれにより劣化した撮影画像を画像表示装置の表示画面で見ると、撮影の開始時である露光開始時から撮影の終了時である露光終了時までの間に手ぶれをしてカメラが移動した軌跡に沿ってぶれた撮影画像になっている。この劣化した撮影画像を伝達関数に基づいて表示画面上で復元すると、復元画像は、ぶれた撮影画像が露光開始時の位置に収束するように生成されるように見える。【０００９】
ところが、手ぶれの仕方によっては、手ぶれの途中や露光を終了する位置において、手ぶれの速さが遅くなる状態で撮影を行ってしまうことがある。このような状態で撮影した撮影画像は、手ぶれの速さが遅くなった手ぶれの途中や露光を終了位置において、露光時間の長い画像になっている。そのため、この撮影画像は、ぶれの途中や終端部の明るさが高いものとなっている。そして、このような撮影画像を復元すると、ぶれの軌跡の途中や終端部の明るい部分が、撮影開始時の位置へ移動したように見えるため、不自然さを感じることがある。【００１０】
そこで、本発明の課題は、画像を復元するに当たり、撮影画像のぶれの軌跡の途中や終端部において露光時間が長くなるような露光が行われた撮影画像を復元する場合に、見た目で自然な感じに復元画像が生成されるようにする画像処理装置を提供することである。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の画像処理装置は、撮影装置の露光中の移動により、基画像に対して変化させられた処理対象画像から、基画像に近似する復元画像を生成する画像処理部を有する画像処理装置において、画像処理部は、復元画像を、処理対象画像の露光時間が最も長い位置に対応させて生成することとしている。【００１２】
本発明によれば、処理対象画像における露光時間が一番長い位置に復元画像を生成するため、復元画像を表示画面に表示する際に、処理対象画像と復元画像の表示位置のずれが少なくなり、自然な感じで復元画像が表示すされることになる。【００１３】
また、他の発明は、上述の発明に加え、露光時間が最も長い位置を、画像変化の要因となる変化要因情報のデータのデータ値の最も大きい画素とすることとした。【００１４】
この構成を採用した場合、画像変化の要因となる変化要因情報のデータに基づいて露光時間が最も長い位置を判断することしたため、露光時間が最も長い位置に関する情報を容易に得ることができる。【００１５】
また、他の発明は、上述の発明に加え、復元画像の復元は、変化要因情報のデータを利用して、任意の画像データから比較用画像データを生成し、その後、処理対象となる処理対象画像の画像データと比較用画像データとを比較し、得られた差分のデータを変化要因情報のデータを利用して任意の画像データに配分することで復元画像データを生成し、その後、この復元画像データを任意の画像データの代わりに使用し、同様の処理を繰り返すことで、変化する前の基画像に近似する復元画像を生成する処理を行うこととする。【００１６】
この構成を採用した場合、変化要因情報を利用して比較用画像データを作り、この比較用画像データと処理対象画像の画像データを比較するという処理を繰り返し、徐々に処理対象画像の基となる変化前の基画像に近い復元画像データを得る。そのため、露光時間が最も長い位置に関する情報を、画像変化の要因となる変化要因情報のデータから判断できることに加えて、復元画像データの生成を現実的な作業とすることができる。
【発明の効果】
【００１７】
本発明によれば、画像を復元するに当たり、ぶれの軌跡の途中や終端部において露光時間が長くなるような露光が行われた撮影画像を復元する場合に、見た目で自然な感じに復元画像を生成することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態に係る画像処理装置の主要構成を示すブロック図である。
【図２】図１に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。
【図３】図１に示す画像処理装置の処理部で行う処理方法を示す図で、（Ａ）は、処理方法の基本的な考え方の概要を説明するためのフロー図で、（Ｂ）は、図１に示す画像処理装置の処理部で行う本実施の形態における処理方法を説明するためのフロー図である。
【図４】図３（Ａ）に示す処理方法の考え方の概念を説明するための図である。
【図５】図３（Ａ）に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの光エネルギの集中を示す表である。
【図６】図３（Ａ）に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの基画像データを示す表である。
【図７】図３（Ａ）に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときの光エネルギの分散を示す表である。
【図８】図３（Ａ）に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための表で、任意の画像から比較用画像データを生成する状況を説明するための表である。
【図９】図３（Ａ）に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための表で、比較用画像データと、処理対象画像とを比較して、差分のデータを生成する状況を説明するための表である。
【図１０】図３（Ａ）に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための表で、差分のデータを配分し任意の画像に加えることで復元画像データを生成する状況を説明するための表である。
【図１１】図３（Ａ）に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための表で、生成された復元画像データから新たな比較用画像データを生成し、そのデータと処理対象画像とを比較して差分のデータを生成する状況を説明するための表である。
【図１２】図３（Ａ）に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための表で、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表である。
【図１３】図１に示す画像処理装置の処理部での処理方法を説明するに当たって、その前提となる手ぶれの状態を示す図で、手ぶれの始まりより後の方が遅くなるように手ぶれが生じたときの光エネルギの分散を示す表である。
【図１４】図１３に示す光エネルギの分散によって、光エネルギが１００の画素ｎが、変化要因情報データＧによりぶれたときの処理対象画像Ｉｍｇ′の画素の光エネルギの状態を表わす表である。
【図１５】（Ａ）は、図３の処理フロー（Ａ）に示す処理方法の第１回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表で、（Ｂ）は、図３の処理フロー（Ｂ）に示す処理方法の第１回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表である。
【図１６】（Ａ）は、図３の処理フロー（Ａ）に示す処理方法の第１回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表で、（Ｂ）は、図３の処理フロー（Ｂ）に示す処理方法の第１回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表である。
【図１７】（Ａ）は、図３の処理フロー（Ａ）に示す処理方法の第２回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表で、（Ｂ）は、図３の処理フロー（Ｂ）に示す処理方法の第２回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表である。
【図１８】（Ａ）は、図３の処理フロー（Ａ）に示す処理方法の第２回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表で、（Ｂ）は、図３の処理フロー（Ｂ）に示す処理方法の第２回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表である。
【図１９】（Ａ）は、図３の処理フロー（Ａ）に示す処理方法の第３回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表で、（Ｂ）は、図３の処理フロー（Ｂ）に示す処理方法の第３回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表である。
【図２０】（Ａ）は、図３の処理フロー（Ａ）に示す処理方法の第３回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表で、（Ｂ）は、図３の処理フロー（Ｂ）に示す処理方法の第３回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表である。
【図２１】（Ａ）は、図３の処理フロー（Ａ）に示す処理方法の第４回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表で、（Ｂ）は、図３の処理フロー（Ｂ）に示す処理方法の第４回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表である。
【図２２】（Ａ）は、図３の処理フロー（Ａ）に示す処理方法の第４回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表で、（Ｂ）は、図３の処理フロー（Ｂ）に示す処理方法の第４回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表である。
【図２３】（Ａ）は、図３の処理フロー（Ａ）に示す処理方法の第５回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表で、（Ｂ）は、図３の処理フロー（Ｂ）に示す処理方法の第５回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表である。
【図２４】（Ａ）は、図３の処理フロー（Ａ）に示す処理方法の第５回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表で、（Ｂ）は、図３の処理フロー（Ｂ）に示す処理方法の第５回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表である。
【図２５】（Ａ）は、図３の処理フロー（Ａ）を繰り返し行い、処理対象画像データが理想的に復元された復元画像データを示し、（Ｂ）は、図３の処理フロー（Ｂ）を繰り返し行い、処理対象画像データが理想的に復元された復元画像データを示す。
【符号の説明】
【００１９】
１  画像処理装置
２  撮影部
３  制御系部
４  処理部
５  記録部
６  検出部
７  要因情報保存部
Ｉ０  任意画像データ（初期画像データ）
Ｉ０′  比較用画像データ
Ｇ  変化要因情報データ
Ｉｍｇ  基画像
Ｉｍｇ′  撮影画像データ（撮影された画像）
ｈ  フィードバック関数
Ｉ０＋ｎ  復元画像データ
【発明を実施するための最良の形態】
【００２０】
以下、本発明の第１の実施の形態に係る画像処理装置１について図を参照しながら説明する。なお、この画像処理装置１は、撮像部にＣＣＤを使用した民生用のいわゆるデジタルカメラとしているが、撮像部にＣＣＤ等の撮像素子を用いる監視用カメラ、テレビ用カメラ用、内視鏡用カメラ等、他の用途のカメラとしたり、顕微鏡用、双眼鏡用、さらにはＮＭＲ撮影用等の画像診断装置等、カメラ以外の機器にも適用できる。【００２１】
画像処理装置１は、人物等の被写体を撮影する撮像部２と、その撮像部２を駆動する制御系部３と、撮像部２で撮影された画像を処理する画像処理部４と、を有している。また、この実施の形態に係る画像処理装置１は、さらに画像処理部４で処理された画像を記録する記録部５と、角速度センサ等からなり、画像劣化等の撮影画像の変化の要因となる変化要因情報を検知する検出部６と、画像劣化等を生じさせる既知の変化要因情報を保存する要因情報保存部７を有する。【００２２】
撮像部２は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するＣＣＤやＣ−ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備える部分である。制御系部３は、撮像部２，画像処理部４、記録部５、検出部６および要因情報保存部７等、画像処理装置１内の各部を制御するものである。【００２３】
画像処理部４は、画像処理プロセッサで構成されており、ＡＳＩＣ(Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ)のようなハードウェアで構成されている。この画像処理部４は図示外の記録部を備え、この記録部に後述する処理用画像データにおける複素空間の高周波成分を有する画像データや、比較用画像データを生成する際の元となる任意の画像の画像データが保存されている。画像処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等を使用する光記録手段等を採用しても良い。【００２４】
検出部６は、図２に示すように、画像処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出する２つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動やＺ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向やＹ方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。【００２５】
要因情報保存部７は、既知の劣化要因情報などの変化要因情報、例えば撮影光学系の収差等を保存しておく記録部である。なお、この実施の形態では、要因情報保存部７には、撮影光学系の収差やレンズのひずみの情報が保存されているが、後述する手ぶれによる画像の劣化を補正する際にはそれらの情報は、利用していない。【００２６】
次に、以上のように構成された画像処理装置１の画像処理部４の処理方法を説明するに先立ち、先ず、本発明の基になる処理方法の考え方の概要を図３（Ａ）の処理フロー（以下、処理フロー（Ａ））および図４に基づいて説明する。【００２７】
図３の処理フロー（Ａ）中、「Ｉ０」は、任意の画像の画像データ（以下、任意画像データ）であって、画像処理部４の記録部に予め保存されている画像のデータである。「Ｉ０′」は、その任意画像データＩ０の変化画像のデータを示し、比較のための比較用画像の画像データ（以下、比較用画像データ）である。「Ｇ」は、検出部６で検出された変化要因情報（＝変化要因情報（点像関数））のデータで、画像処理部４の記録部に保存されるものである。「Ｉｍｇ′」は、撮影された画像、すなわち変化要因により変化した撮影画像のデータを指し、この処理において処理対象となる処理対象画像の画像データ（以下、処理対象画像データ）である。【００２８】
「δ」は、処理対象画像データＩｍｇ′と、比較用画像データＩ０′との差分のデータである。「ｋ」は、変化要因情報データＧに基づく配分比である。「Ｉ０＋ｎ」は、任意画像データＩ０に、差分データδを変化要因情報データＧに基づいて配分して新たに生成した復元画像の画像データ（以下、復元画像データ）である。「Ｉｍｇ」は、処理対象画像データＩｍｇ′の基となる、変化する前の本来の画像の画像データ（以下、基画像データという）である。すなわち、手ぶれ等の画像の変化要因がない状態で撮影が行われたとたしたときの撮影画像の画像データである。ここで、ＩｍｇとＩｍｇ′の関係は、次の（１）式で現されるとする。
Ｉｍｇ′＝Ｉｍｇ＊Ｇ  …（１）
「＊」は、重畳積分を表わす演算子である。
なお、差分データδは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報データＧにより異なり、次の（２）式で現される。
δ＝ｆ（Ｉｍｇ′，Ｉｍｇ，Ｇ）…（２）【００２９】
図３の処理フロー（Ａ）は、まず、任意画像データＩ０を初期画像データとして用意することから始まる（ステップＳ１０１）。この初期画像データ、すなわち任意画像データＩ０としては、撮影した画像の画像データである処理対象画像データＩｍｇ′を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップＳ１０２で、（１）式のＩｍｇの代わりに任意画像データＩ０を入れ、変化画像である比較用画像データＩ０′を求める。次に、処理対象画像データＩｍｇ′と比較用画像データＩ０′と比較し、差分データδを算出する（ステップＳ１０３）。【００３０】
次に、ステップＳ１０４で、この差分データδが所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ１０５で新たな初期画像データとなる復元画像データを生成する処理を行う。すなわち、差分データδを変化要因情報データＧに基づいて、任意画像データＩ０に配分し、復元画像データＩ０＋ｎを生成する。その後、復元画像データＩ０＋ｎを新たな初期画像データとして、ステップＳ１０２，ステップＳ１０３，ステップＳ１０４を繰り返す。【００３１】
ステップＳ１０４において、差分データδが所定値より小さい場合、処理を終了する（ステップＳ１０６）。そして、処理を終了した時点での復元画像データＩ０＋ｎを正しい画像、すなわち劣化のない基画像データＩｍｇと推定し、そのデータを記録部５に記録する。なお、記録部５には、任意画像データＩ０や変化要因情報データＧを記録しておき、必要により画像処理部４に渡すようにしても良い。【００３２】
以上の処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、特許文献２の記載にもあるように、理論上は可能であるが、現実問題としては困難である。【００３３】
最適化問題として解くということは、次の条件を前提としている。
すなわち、
（１）入力に対する出力は、一意に決まる。
（２）出力が同じであれば、入力は同じである。
（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。【００３４】
このことを換言すれば、図４（Ａ）（Ｂ）に示すように、処理対象画像データＩｍｇ′と近似である比較用画像データＩ０′（Ｉ０＋ｎ′）を生成できれば、その生成の元データとなる任意画像データＩ０または復元画像データＩ０＋ｎは、処理対象画像データＩｍｇ′の基となる基画像データＩｍｇに近似したものとなる。【００３５】
なお、この実施の形態では、角速度検出センサは５μｓｅｃ毎に角速度を検出している。また、各画素のデータは、画素が受ける光エネルギの量に対応させてから０〜２５５の８ビットのデータで表わしている。データが「０」のときは、光エネルギが０であり、データが「２５５」のときは画素に受容可能な光エネルギ量が最大の状態になっていることを示す。【００３６】
差分データδの判定基準となるデータ値は、例えば「６」とし、６より小さい、つまり５以下の時は、処理を終了することとする。また、角速度検出センサで検出したブレの生データは、センサ自体の校正が不十分なときは、実際のブレとは対応しない。よって実際のブレに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。【００３７】
次に、図３の処理フロー（Ａ）および図４に示す処理方法の詳細を、図５，図６，図７，図８，図９，図１０，図１１および図１２に基づいて説明する。【００３８】
（手ぶれの復元アルゴリズム）
手ぶれが無いとき、所定の画素に対応する光エネルギは、露光時間中、その画素に集中する。また、手ぶれがある場合、光エネルギは、露光時間中にぶれた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中の光エネルギの分散の仕方がわかるため、ぶれた画像からブレの無い画像を作ることが可能となる。【００３９】
以下、簡単のため、横一次元で説明する。画素を左から順に、ｎ−１，ｎ，ｎ＋１，ｎ＋２，ｎ＋３，…，とし、ある画素ｎに注目する。ブレが無いとき、露光時間中の光エネルギは、その画素に集中するため、光エネルギの集中度は「１．０」である。この状態を図５に示す。このときの撮影結果、すなわち手ぶれない状態で撮影したときの撮影結果を、図６の表に示す。図６に示すものが、劣化しなかったとした場合の基画像データＩｍｇとなる。【００４０】
露光時間中にブレがあり、露光時間中の最初の５０％の時間は画素ｎに、次の３０％の画素ｎ＋１に、終わりの２０％の時間は画素ｎ＋２に、それぞれぶれていたとする。光エネルギの分散の仕方は、図７に示す表のとおりとなる。これが変化要因情報データＧとなる。【００４１】
ブレは、全ての画素で一様であるので、上ぶれ（縦ぶれ）が無いとすると、ブレの状況は、図８に示す表のとおりとなる。処理対象画像データＩｍｇ′は、撮影された結果、基画像データＩｍｇがブレにより変化した画像の画像データである。具体的には、たとえば画素ｎ−３のデータ値「１２０」は、ぶれ情報である変化要因情報データＧの「０．５」「０．３」「０．２」の配分比に従い、画素ｎ−３に「６０」、画素ｎ−２に「３６」、画素ｎ−１に「２４」というように分散する。同様に、画素ｎ−２のデータ値「６０」は、画素ｎ−２に「３０」、画素ｎ−１に「１８」、画素ｎに「１２」として分散する。この処理対象画像データＩｍｇ′と、図７に示す変化要因情報データＧからぶれの無い撮影結果を算出することとなる。【００４２】
ステップＳ１０１に示す初期画像データとしての任意画像データＩ０としては、どのようなものでも採用できるが、この説明に当たっては、処理対象画像データＩｍｇ′を用いる。すなわち、Ｉ０＝Ｉｍｇ′として処理を開始する。図９の表中に「入力Ｉ０」とされたものが任意画像データＩ０に相当する。この任意画像データＩ０、すなわち処理対象画像データＩｍｇ′に、ステップＳ１０２で変化要因情報データＧを作用させる。すなわち、たとえば、任意画像データＩ０の画素ｎ−３のデータ値「６０」は、画素ｎ−３に「３０」が、画素ｎ−２に「１８」が、画素ｎ−１に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力Ｉ０′」として示される比較用画像データＩ０′が生成される。そして、ステップＳ１０３の差分データδは、図９の最下欄に示すようになる。【００４３】
この後、ステップＳ１０４にて差分データδの大きさを判断する。具体的には、例えば、差分データδのデータ値が全て絶対値で５以下となった場合に処理を終了するが、図９に示す差分データδは、この条件に合わないため、ステップＳ１０５に進む。すなわち、差分データδを変化要因情報データＧを使用して、任意画像データＩ０に配分して、図１０中の「次回入力Ｉ０＋１」として示される復元画像データＩ０＋ｎを生成する。この場合、第１回目であるため、図１０ではｎ＝１としてＩ０＋１と表している。【００４４】
差分データδの配分は、たとえば、画素ｎ−３についてみると、画素ｎ−３に、自分の所のデータ値「３０」に配分比である０．５をかけた「１５」を配分し、また、画素ｎ−２のデータ値「１５」に、この画素ｎ−２にきているはずの配分比０．３をかけた「４．５」を配分し、さらに、画素ｎ−１のデータ値「９．２」に、この画素ｎ−１にきているはずの配分比０．２をかけた「１．８４」を配分する。したがって、画素ｎ−３に配分されたデータ値の総量は、「２１．３４」となり、この値を任意画像データＩ０（ここでは撮影画像である処理対象画像データＩｍｇ′を使用）にプラスして、復元画像データＩ０＋１を生成している。この復元画像データＩ０＋１は、図１０の表中の「次回入力Ｉ０＋１」に相当するものである。【００４５】
図１１に示すように、入力Ｉ０＋１である復元画像データＩ０＋１が、ステップＳ１０２の入力画像のデータ（＝任意画像データＩ０）になり、ステップＳ１０２が実行され、ステップＳ１０３へと移行し、新しい差分データδを得る。この新しい差分データδの大きさをステップＳ１０４で判断し、所定値より大きい場合、ステップＳ１０５で新しい差分データδを前回の復元画像データＩ０＋１に配分し、新しい復元画像データＩ０＋２を生成する。この復元画像データＩ０＋２は、図１２の表中の「次回入力Ｉ０＋２」に相当するものである。その後、ステップＳ１０２の遂行により、復元画像データＩ０＋２から新しい比較用画像データＩ０＋２′が生成される。このように、ステップＳ１０２，ステップＳ１０３が実行された後、ステップＳ１０４へ行き、そこでの判断によりステップＳ１０５へ行ったり、ステップＳ１０６へ移行する。このような処理を繰り返す。【００４６】
ところで、上述した画像の復元方法の基本的な考え方によれば、復元画像は、処理対象画像の露光が開始された位置、すなわち撮影が開始された位置に生成するように処理されている。したがって、表示画面に表示された撮影画像である処理対象画像が復元画像に復元されるのを見ると、処理対象画像のぶれの始点位置に復元画像が移動して復元されるように見える。【００４７】
先に説明した処理対象画像については、変化要因情報データＧが「０．５，０．３，０．２」であり、処理対象画像の露光時間は、ぶれの方向に従って短くなっている。つまり、処理対象画像は、ブレの方向に従って徐々に明るさが暗くなる画像である。この処理対象画像の処理対象画像データＩｍｇ′を上述の処理方法により復元すると、露光時間が一番長い位置でもある露光開始位置に復元画像が生成されるように見える。つまり、処理対象画像の明るい部分に復元画像が復元されるように見える。そのため、ぶれた処理対象画像から復元画像が生成されるのを表示画面において見ていても、不自然さは感じない。【００４８】
しかしながら、露光時間中のブレが、露光時間中の最初の２０％の時間は画素ｎに、次の３０％の時間は画素ｎ＋１に、終わりの５０％の時間は画素ｎ＋２にあるといったように、変化要因情報データＧが「０．２，０．３，０．５」である処理対象画像から復元画像が生成されるのを表示画面において見た場合には、不自然を感じることになる。つまり、処理対象画像は、ぶれの始まる位置から終端位置に向かって、明るさが高くなる画像となっている。そして、この処理対象画像の処理対象画像データＩｍｇ′を上述の復元処理方法により復元すると、復元画像は、処理対象画像の明るさが低い露光開始位置に生成されることになる。そのため、処理対象画像から復元画像が生成されるのを表示画面において見た場合に、復元画像が、本来の撮像位置とは異なる位置に生成されるような錯覚を起こし、不自然さを感じる。【００４９】
そこで、本発明においては、処理対象画像の実際の露光開始と露光終了の位置に関わらず、処理対象画像は、変化要因情報データＧのデータ値が一番大きな位置から小さくなる方向にぶれが生じたものとして、変化要因情報データＧのデータ値の一番大きな位置に対応させて復元画像を生成するようにした。【００５０】
このように処理することにより、処理対象画像の一番明るい部分に復元画像が生成されることになるため、処理対象画像の露光開始位置と変化要因情報データＧのデータ値の一番大きい位置とがずれていても、処理対象画像から復元画像が生成されるのを表示画面において見た場合に、不自然さを感じることがない。【００５１】
具体的な処理について、図３（Ｂ）で示す処理フロー（Ｂ）（以下、処理フロー（Ｂ））、および図１３から図２４を参照しながら説明する。図３の処理フロー（Ｂ）は、図３の処理フロー（Ａ）のステップＳ１０２とステップＳ１０５の処理内容が異なるものである。図３の処理フロー（Ａ）のステップＳ１０２の代わりにステップＳ１０２′の処理を行い、また、ステップＳ１０５の代わりにステップＳ１０５′の処理を行う。図３の処理フロー（Ｂ）のステップＳ１０１，１０３，ステップＳ１０４については、図３の処理フロー（Ａ）と同様の処理を行う。【００５２】
図１５から図２４の各図の（Ｂ）の表（以下、表（Ｂ））は、図３の処理フロー（Ｂ）のステップＳ１０２′，ステップＳ１０５′の処理内容を具体的に示したものである。つまり、図１５から図２４の各図の表（Ｂ）は、処理対象画像のブレの方向に関わらず、変化要因情報データＧのデータ値が一番大きな画素から、小さくなる画素の方向にぶれが生じたものとして、処理対象画像データＩｍｇ′の復元処理を行う処理を示すものである。【００５３】
図１５，１７，１９，２１，２３の表（Ｂ）の処理の内容は、図３の処理フロー（Ｂ）のステップＳ１０２′の内容である。また、図１６，１８，２０，２２，２４の表（Ｂ）の処理の内容は、図３の処理フロー（Ｂ）のステップＳ１０５′の内容である。【００５４】
図１５から図２４の各図の（Ａ）の表（以下、表（Ａ））は、露光開始位置に復元画像データＩ０＋ｎを生成する処理を示すもので、図１５から図２４の各図の表（Ｂ）の処理との比較のために記載している。すなわち、図１５，１７，１９，２１，２３の表（Ａ）の処理は、図３の処理フロー（Ａ）のステップＳ１０２の処理内容であり、図１６，１８，２０，２２，２４の表（Ａ）の処理は、図３の処理フロー（Ａ）のステップＳ１０５の処理内容である。【００５５】
この実施の形態においては、簡単のため、基画像データＩｍｇは、一つの画素ｎだけのものとし、横一次元に２画素分、つまり、画素ｎ＋１，ｎ＋２にだけブレが発生し、このブレの変化要因情報データＧが「０．２，０．３，０．５」であるときの処理対象画像データＩｍｇ′の復元処理について説明することにする。【００５６】
つまり、図１３の表に示すように、ブレがないとしたときの、画素ｎの光エネルギの集中度を１としたとき、ブレによる変化要因情報データＧが「０．２，０．３，０．５」のときは、各画素ｎ，ｎ＋１，ｎ＋２への光エネルギの分散の仕方は、０．２，０．３，０．５となる。そして、図１４の表に示すように、画素ｎの光エネルギが１００としたとき、変化要因情報データＧに従い、画素ｎの光エネルギのうち３０％が画素ｎ＋１に分散し、５０％が画素ｎ＋２に分散し、画素ｎには２０％が残り、処理対象画像データＩｍｇ′となる。つまり、処理対象画像データＩｍｇ′は、画素ｎ，ｎ＋１，ｎ＋２の光エネルギが２０，３０，５０となっている。【００５７】
このような処理対象画像データＩｍｇ′について図３の処理フロー（Ｂ）により処理を行う。先ず、ステップＳ１０１に示す任意画像データＩ０として、ここでは簡単のため、Ｉ０＝０として処理を開始する。つまり、各画素のデータ値を「０」として処理を開始する。図１５の表（Ｂ）中のＩ０の欄は「０」となる。この任意画像データＩ０を、ステップＳ１０２′で変化要因情報データＧ′を作用させ変化させる。この変化要因情報データＧ′は、変化要因情報データＧ「０．２，０．３，０．５」に基づいて、光エネルギの分散の高い画素から低い画素にぶれが生じたデータとして生成されている。【００５８】
すなわち、変化要因情報データＧは、画素ｎから画素ｎ＋１、そして画素ｎ＋２の順にブレが生じたデータとなっているが、変化要因情報データＧ′は、画素ｎから画素ｎ−１、そして画素ｎ−２にブレが生じたデータに変換されている。したがって、この変化要因情報データＧ′を任意画像データＩ０＝０に作用させたときの具体的な処理内容、つまり、ステップＳ１０２′の処理内容は次のようになる。【００５９】
画素ｎ−３のデータは、自身の画素ｎ−３に０．５の光エネルギ配分がされる。画素ｎ−２のデータは、自身の画素ｎ−２に０．５の光エネルギ配分がされ、画素ｎ−３に０．３の光エネルギ配分がされる。画素ｎ−１のデータは、自身の画素ｎ−１に０．５の光エネルギ配分がされ、そして、画素ｎ−２に０．３の光エネルギ配分がされ、さらに、画素ｎ−３に０．２の光エネルギ配分がされる。他の画素ｎからｎ＋４についても同様に、各画素自身とその左側の画素に、順に０．５，０．３，０．２の割合で光エネルギ配分がなされる。図１５の表（Ｂ）においては、任意画像データＩ0＝０としているため、変化要因情報データＧ′が作用して生成される出力Ｉ0′（比較用画像データＩ0′）の欄は全て「０」となる。この図１５の表（Ｂ）は、任意画像データＩ0のデータ値を「０」としているため、変化要因情報データＧ′を任意画像データＩ0に作用させたときの具体的な処理内容が判りにくいものとなっている。任意画像データＩｍｇ′に変化要因情報データＧ′を作用させたときの処理内容については、任意画像データＩｍｇ′のデータ値が「０」より大きな値となる図１７（Ｂ）において改めて説明することとする。【００６０】
次に、処理対象画像データＩｍｇ′との差分データδを算出する（ステップＳ１０３）。この差分データδが図１５の表（Ｂ）の最下欄に示される。【００６１】
ここで、比較のため図１４に示す処理対象画像データＩｍｇ′を図３の処理フロー（Ａ）により処理した場合のステップＳ１０２の処理内容を図１５の表（Ａ）を参照しながら説明する。先ず、ステップＳ１０１に示す任意画像データＩ０として、図３の処理フロー（Ｂ）と同様に、ここでは簡単のため、Ｉ０＝０として処理を開始する。つまり、図１５の表（Ａ）中のＩ０が０となる。この任意画像データＩ０を、ステップＳ１０２で変化要因情報データＧを作用させ変化させる。この変化要因情報データＧは、露光開始位置から露光終了位置までのぶれの軌跡に対応したデータとなっている。したがって、画素ｎ−３のデータは、自身の画素ｎ−３に０．２の光エネルギ配分がされ、画素ｎ−２に０．３の光エネルギ配分がされ、さらに、画素ｎ−１に０．５の光エネルギ配分がされる。画素ｎ−２のデータ値は、自身の画素ｎ−２に０．２の光エネルギ配分がされ、画素ｎ−１に０．３の光エネルギ配分がされ、そして、画素ｎに０．５の光エネルギ配分がされる。また、画素ｎ−１のデータ値は、自身の画素ｎ−１に０．２の光エネルギ配分がされ、画素ｎに０．３の光エネルギ配分がされ、そして、画素ｎ＋１に０．５の光エネルギ配分がされる。他の画素ｎからｎ＋４についても同様に、各画素自身とその右側の画素に、順に０．２，０．３，０．５の割合で光エネルギ配分がなされる。図１５の表（Ａ）においては、任意画像データＩ０＝０としているため、変化要因情報データＧが作用して生成される出力Ｉ0′（比較用画像データＩ0′）の欄は全て「０」となる。この図１５の表（Ａ）は、任意画像データＩ０のデータ値を「０」としているため、変化要因情報データＧを任意画像データＩ０に作用させたときの具体的な処理内容が判りにくいものとなっている。この処理内容については、任意画像データのデータ値が「０」より大きな値となる図１７（Ａ）において改めて説明することとする。図１５の表（Ａ）の最下欄には、処理対象画像データＩｍｇ′と比較用画像Ｉ０の差分データδの算出（ステップＳ１０３）結果が示されている。【００６２】
図３の処理フロー（Ｂ）に戻って、ステップＳ１０４にて差分データδの大きさを判断する。そして、差分データδが所定の絶対値以下となった場合に処理を終了し、そうでない場合は、図１６の表（Ｂ）で示す処理を行うステップＳ１０５′に進む。このステップＳ１０５′の差分データδの配分の処理は、たとえば、画素ｎ＋２についてみると、自身の画素ｎ＋２に、画素ｎ＋２のデータ「５０」に自身の所の配分比である０．５をかけた「２５」を配分し、また、画素ｎ＋１のデータ「３０」に、この画素ｎ＋１にきているはずの配分比０．３をかけた「９」を配分し、さらに、画素ｎのデータ値「２０」に、この画素ｎにきているはずの配分比０．２をかけた「４」を配分する。したがって、この画素ｎ＋２に配分されたデータ値の総量は、「３８」となる。そして、この値を初期画像データである入力Ｉ0（任意画像データＩ0）に加算して次回入力Ｉ0＋１（復元画像データＩ0＋１）を生成する。画素ｎ−３からｎ＋４の全画素について、配分量の総量を算出し、この総量を任意画像データＩ0に加算して復元画像データＩ0＋１生成する。その結果が、図１６の表（Ｂ）の最下欄に示される。ここまでで図３の処理フロー（Ｂ）の１回目の処理フローが終了する。【００６３】
比較のため、図３の処理フロー（Ａ）のステップＳ１０５における差分のデータδの配分の処理内容にについて図１６の表（Ａ）を参照しながら説明する。図３の処理フロー（Ａ）のステップＳ１０５の差分データδの配分の処理は、たとえば、画素ｎについてみると、自身の画素ｎに、画素ｎのデータ「２０」に自身の所の配分比である０．２をかけた「４」を配分し、また、画素ｎ＋１のデータ「３０」に、この画素ｎ＋１にきているはずの配分比０．３をかけた「９」を配分し、さらに、画素ｎ＋２のデータ値「５０」に、この画素ｎ＋２にきているはずの配分比０．５をかけた「２５」を配分する。したがって、この画素ｎに配分されたデータ値の総量は、「３８」となる。そして、この値を初期画像データである入力Ｉ0（任意画像データＩ0）に加算して次回入力Ｉ0＋１（復元画像データＩ0＋１）を生成する。画素ｎ−３からｎ＋４の全画素について、配分量の総量を算出し、この総量を任意画像データＩ0に加算して復元画像データＩ0＋１生成する。その結果が、図１６の表（Ａ）の最下欄に示される。ここまでで図３の処理フロー（Ａ）の１回目の処理フローが終了する。【００６４】
次に、任意画像データＩ0を図１６の表（Ｂ）の最下欄に示される次回入力Ｉ0＋１（復元画像データＩ0＋１）とする図３の処理フロー（Ｂ）の２回目の処理フローが行われる。この２回目の処理フローにおいては、任意画像データＩ0のデータ値に「０」以外のデータ値を有する復元画像データＩ0＋１を用いている。【００６５】
図１５の表（Ｂ）を参照しながら説明した図３の処理フロー（Ｂ）のステップＳ１０２′の具体的な処理内容を、図１７の表（Ｂ）を参照しながら改めて説明すると次のようになる。画素ｎ+２についてみることとする。画素ｎ＋２のデータは、上述の図１６の表（Ｂ）の処理の結果より初期画像データである復元画像データＩ0＋１のデータ「３８」となっている。したがって、自身の画素ｎ＋２に０．５の割合分の「１９」の光エネルギ配分がされ、画素ｎ＋１に０．３の割合分の「１１．４」の光エネルギ配分がされる。そして、画素ｎに０．２の割合分の「７．６」の光エネルギが配分されることになる。他の画素についても、同様に処理を行い、図１７の表（Ｂ）に示される出力Ｉ0＋１′比較用画像データＩ0＋１′が生成される。【００６６】
比較のため、図３の処理フロー（Ａ）についての２回目の処理フローについても説明する。この２回目の処理フローにおいては、任意画像データＩ0のデータ値に「０」以外のデータ値を有する復元画像データＩ0＋１を用いている。図１５の表（Ａ）を参照しながら説明した図３の処理フロー（Ａ）のステップＳ１０２の具体的な処理内容について、図１７の表（Ａ）を参照しながら説明する。画素ｎについてみることとする。画素ｎのデータは、上述の図１６の表（Ａ）の処理の結果より初期画像データである復元画像データＩ0＋１のデータ「３８」となっている。したがって、自身の画素ｎに０．２の割合分の「７．６」の光エネルギ配分がされ、画素ｎ＋１に０．３の割合分の「１１．４」の光エネルギ配分がされる。そして、画素ｎ＋２に０．５の割合分の「１９」の光エネルギが配分されることになる。他の画素についても、同様に処理を行い、図１７の表（Ａ）に示される出力Ｉ0＋１′（比較用画像データＩ0＋１′）が生成される。【００６７】
以下、図３の処理フロー（Ａ）（Ｂ）について、それぞれ上述した処理と同様の処理を、ステップＳ１０４において、差分データδが所定値以下になるまで繰り返し行うことになる。つまり、図１７および図１８の表（Ｂ）は、図３の処理フロー（Ｂ）の２回目の処理フローの処理内容を、図１９および図２０の表（Ｂ）は、図３の処理フロー（Ｂ）の３回目の処理フローの処理内容を、また、図２１および図２２の表（Ｂ）は、図３の処理フロー（Ｂ）の４回目の処理フローの処理内容を、そして、図２３および図２４の表（Ｂ）は、図３の処理フロー（Ｂ）の５回目の処理フローの処理内容をそれぞれ示している。さらに図３の処理フロー（Ｂ）が繰り返えされると、復元画像データＩ0＋ｎは、図２５の表（Ｂ）に示されるような、復元画像データＩ0＋ｎの画素ｎ＋２のデータ値が１００となるような復元画像データＩ0＋ｎに近づいていく。【００６８】
また、図１７および図１８の表（Ａ）は、図３の処理フロー（Ａ）の２回目の処理フローの処理内容を、図１９および図２０の表（Ａ）は、図３の処理フロー（Ａ）の３回目の処理フローの処理内容を、また、図２１および図２２の表（Ａ）は、図３の処理フロー（Ａ）の４回目の処理フローの処理内容を、そして、図２３および図２４の表（Ａ）は、図３の処理フロー（Ａ）の５回目の処理フローの処理内容をそれぞれ示している。さらに図３の処理フロー（Ａ）が繰り返えされると、復元画像データＩ0＋ｎは、図２５の表（Ａ）に示されるような、復元画像データＩ0＋ｎの画素ｎのデータ値が１００となるような復元画像データＩ0＋ｎに近づいていく。【００６９】
ここで、図３の処理フロー（Ａ）により生成した復元画像データＩ0＋ｎと図３の処理フロー（Ｂ）により生成した復元画像データＩ0＋ｎのデータの分散の仕方について比較してみると次のことが判る。すなわち、処理対象画像データＩｍｇ′は画素ｎ，ｎ＋１，ｎ＋２のデータ値は、手ぶれの方向に従って、それぞれ、「２０」，「３０」，「５０」となっていて、露光開始位置の画素ｎの位置より露光終了位置の画素ｎ＋２の位置の方が明るい画像になっている。【００７０】
このような露光開始位置の画素ｎの位置より露光終了位置の画素ｎ＋２の位置の方が明るい画像を図３の処理フロー（Ａ）により復元した復元画像データＩ０＋１，は、図１６、図１８、図２０、図２２、図２４、図２５の各表（Ａ）における最下欄の次回入力（復元画像）Ｉ０＋１′Ｉ０＋２′・・・に示すように、画素ｎの明るさが高い画像となって復元され、最終的に画素ｎに復元されることが判る。すなわち、画素ｎ＋２に明るさの中心がある処理対象画像データＩｍｇ′が、画素ｎに復元され、処理対象画像データＩｍｇ′から、復元画像データＩ０＋ｎが復元されるのを表示画面で見る者に不自然さを与える。【００７１】
一方、処理対象画像データＩｍｇ′を図３の処理フロー（Ｂ）により復元した復元画像データＩ０＋ｎは、図１６、図１８、図２０、図２２、図２４、図２５の各表（Ｂ）における最下欄の次回入力（復元画像）Ｉ０＋１，Ｉ０＋２，・・・に示すように、画素ｎ＋２の明るさが高い画像となって復元され、最終的に画素ｎ＋２に復元されることが判る。すなわち、復元画像データＩ０＋ｎは、処理対象画像データＩｍｇ′の明るさの中心であるｎ＋２がある画像に復元され、処理対象画像データＩｍｇ′から、復元画像データＩ０＋ｎが復元されるのを表示画面で見る者に不自然さを与えない。【００７２】
このように、本実施の形態においては、変化要因情報データＧに代えて、画素の光エネルギ配分の高い画素から低い画素に向かってブレが生じたとする変化要因情報データＧ′を用いて処理対象画像データＩｍｇ′を復元する。このようにすると、露光開始位置よりブレの軌跡の途中や露光終了位置の方が露光時間が長い処理対象画像（撮影画像）を復元する場合でも、表示画面上において、復元画像が生成されるのを自然な感覚で見ることができる。【００７３】
変化要因情報データＧに代えて変化要因情報データＧ′を用いることは言い換えれば、点像関数の原点を、点像の分布の一番集中している位置に変換することと同義である。【００７４】
なお、上述の実施の形態で説明した図３の処理フロー（Ｂ）においては、ステップ１０４において、差分データδの大きさを判断する代わりに、ステップＳ１０２からステップＳ１０５の処理の回数を設定し、設定した回数の処理を実行したときの復元画像データＩ０＋ｎを基画像データＩｍｇに近似したもとすることもできる。つまり、処理回数を、復元画像データＩ０＋ｎが基画像データＩｍｇに近似したと推定できる回数以上に設定することにより、差分データδの大きさの判断を行うことなく復元画像データＩ０＋ｎを求めることができる。また。差分データδの大きさの判断と処理回数による判断の両者による判断を可能にした場合、いずれか一方が満足されたときに処理が停止するようにしてもよい。なお、両者の設定を可能としたとき、差分データδの大きさの判断を優先し、所定の回数の処理では判断基準値内に入らなかった場合、さらに所定回数の処理を繰り返すようにしても良い。【００７５】
また、以上の説明においては、要因情報保存部７に保存されている情報を利用しなかったが、ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、先の例（図３の処理フロー（Ｂ））の処理方法では、ブレの情報と光学収差の情報を合わせて１つの劣化要因として捉えて処理を行うのが好ましいが、ブレの情報での処理を終了した後に光学収差の情報での補正を行うようにしても良い。また、この要因情報保存部７を設置しないようにして、撮影時の動的要因、たとえばブレのみで画像を修正したり復元したりしても良い。【００７６】
また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、例えばＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置１の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。【００７７】
以上の説明においては、要因情報保存部７に保存されている情報を利用しなかったが、ここに保存されている既知の劣化要因（変化要因）、例えば、光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、例えば、ブレの情報と光学収差の情報を合わせて１つの変化要因情報データ（劣化要因情報）として捉えて計算を行うのが好ましいが、ブレの情報による変化要因情報データでの計算を終了した後に光学収差の情報による変化要因情報データでの計算を行うようにしても良い。また、この要因情報保存部７を設置しないようにして、撮影時の動的要因、例えばブレのみに関する変化要因情報データにより画像を復元しても良い。【００７８】
なお、変化要因情報データ「Ｇ」としては、劣化要因の関数のみではなく、単に画像を変化させるものや、劣化とは逆に、画像を良くするものを含むものとする。また、角速度検出センサは、例えば、５μｓｅｃ毎に角速度を検出する。また、角速度検出センサで検出したブレの生データは、センサ自体の校正が不十分なときは、実際のブレとは対応しない。よって実際のブレに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。
【図１】
2007077733.tif 000003
【図２】
2007077733.tif 000004
【図３】
2007077733.tif 000005
【図４】
2007077733.tif 000006
【図５】
2007077733.tif 000007
【図６】
2007077733.tif 000008
【図７】
2007077733.tif 000009
【図８】
2007077733.tif 000010
【図９】
2007077733.tif 000011
【図１０】
2007077733.tif 000012
【図１１】
2007077733.tif 000013
【図１２】
2007077733.tif 000014
【図１３】
2007077733.tif 000015
【図１４】
2007077733.tif 000016
【図１５】
2007077733.tif 000017
【図１６】
2007077733.tif 000018
【図１７】
2007077733.tif 000019
【図１８】
2007077733.tif 000020
【図１９】
2007077733.tif 000021
【図２０】
2007077733.tif 000022
【図２１】
2007077733.tif 000023
【図２２】
2007077733.tif 000024
【図２３】
2007077733.tif 000025
【図２４】
2007077733.tif 000026
【図２５】
2007077733.tif 000027
【国際調査報告】
2007077733.tif 000028
2007077733.tif 000029