(57)【特許請求の範囲】
【請求項１】
画像を処理する処理部を有する画像処理装置において、
上記処理部は、
撮影画像データに対し、流し撮り画像用の画像復元処理を行うか、通常撮影画像用の画像復元処理を行うかを判断する判断処理と、
上記判断処理において、流し撮り画像用の画像復元処理を行うと判断された場合には、流し撮りの方向については画像の復元処理を行わない流し撮り画像用の画像復元処理を行い、
上記流し撮り画像用の画像復元処理は、
画像変化の要因となる変化要因情報データから、流し撮りの方向についての変化要因の情報を有しない流し撮り変化要因情報データを生成する流し撮り変化要因情報データ生成処理と、
上記流し撮り変化要因情報データ利用して、任意の画像のデータから比較用画像データを生成し、処理対象となる撮影画像データと上記比較用画像データとを比較し、得られた差分のデータを利用して復元画像データを生成し、この復元画像データを上記任意の画像データの代わりに使用し、同様の処理を繰り返すことで、原画像に近似する原画像復元画像データを生成する原画像復元画像データ生成処理と、
を行うことを特徴とする画像処理装置。
【請求項２】
画像処理装置の移動を検出する検出部において検出された画像変化の要因となる変化要因情報データを利用して画像復元処理を行う画像処理装置において、
流し撮りが行われた場合には、上記変化要因情報データに流し撮りの方向についての変化要因情報データが寄与しないようにし、
上記流し撮りの方向についての変化要因情報データが寄与していない変化要因情報データを利用して、任意の画像のデータから比較用画像データを生成し、処理対象となる撮影画像データと上記比較用画像データとを比較し、得られた差分のデータを利用して復元画像データを生成し、この復元画像データを上記任意の画像データの代わりに使用し、同様の処理を繰り返すことで、原画像に近似する原画像復元画像データを生成する原画像復元画像データ生成処理と、
を行うことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来から、撮像部にＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）などの撮像素子を使用するカメラにより撮影を行った撮影画像は、撮影時の手ぶれ、撮影光学系の各種の収差、あるいは撮影光学系を構成するレンズの歪み等がある場合は、これが要因となり、撮影画像が劣化することが知られている。
【０００３】
このような劣化した撮影画像に対しては、撮影時の手ぶれに関しては、カメラの撮影光学系の光軸の変動を角加速度センサ等により検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、劣化のない画像に復元処理する方式が知られている（特許文献１参照）。
【０００４】
【特許文献１】特開平１１−２４１２２号公報（要約書参照）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、撮影においては、カメラの被写界を一方向、例えば、左右方向（すなわち、水平方向）、あるいはこれに直交する方向である上下方向、あるいはこれらの方向と交差する方向に移動する被写体にカメラの撮影方向を追従させて撮影を行う、いわゆる流し撮りを行うことがある。この流し撮りによれば、例えば、左右方向に走り抜ける自動車を撮影する際に、この自動車の移動にカメラの撮影方向を追従させて撮影を行うと、自動車については、ブレのない画像として撮影されるが、自動車の背景となる景色は、カメラの撮影方向の変化に沿ってブレを生じた（流れた）画像になる。しかしながら、この流し撮りにおいて、流し撮りを行う方向と交差する方向に手ぶれを生じて撮影をしてしまう場合がある。つまり、上述の例のように左右方向に移動する自動車を流し撮りする際に、カメラが上下方向にブレてしまった場合には、自動車が上下方向にブレて撮影されてしまう。
【０００６】
このような流し撮りの方向と交差する方向にブレた撮影を行った画像に対して、画像の復元処理を行うこととすると、ブレた方向のみならず、流し撮りをして意図的にブラした（流した）方向についても画像の復元処理が行われてしまい、意図した画像を得ることが出来ないという問題がある。
【０００７】
そこで、本発明は、流し撮りを行った撮影画像については、流し撮りの方向には画像の復元処理を行わないようにして、流し撮りによる意図した画像を復元できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、撮影画像データに対し、流し撮り画像用の画像復元処理を行うか、通常撮影画像用の画像復元処理を行うかを判断する判断処理と、この判断処理において、流し撮り画像用の画像復元処理を行うと判断された場合には、流し撮りの方向については画像の復元処理を行わない流し撮り画像用の画像復元処理を行う。
【０００９】
この発明によれば、流し撮りを行った撮影画像について適正な画像処理を行うことができる。すなわち、処理部は、撮影画像データに対し、流し撮り画像用の画像復元処理を行うか、通常撮影画像用の画像復元処理を行うかを判断し、流し撮り画像用の画像復元処理を行うと判断した場合には、流し撮りの方向については画像の復元処理を行わない流し撮り画像用の画像復元処理を行うこととしているため、流し撮りによる意図した画像を復元できる。
【００１０】
また、他の発明は、上述の発明に加え、流し撮り画像用の画像復元処理は、画像変化の要因となる変化要因情報データから、流し撮りの方向についての変化要因の情報を有しない流し撮り変化要因情報データを生成する流し撮り変化要因情報データ生成処理と、流し撮り変化要因情報データ利用して、任意の画像のデータから比較用画像データを生成し、処理対象となる撮影画像データと比較用画像データとを比較し、得られた差分のデータを利用して復元画像データを生成し、この復元画像データを任意の画像データの代わりに使用し、同様の処理を繰り返すことで、原画像に近似する原画像復元画像データを生成する原画像復元画像データ生成処理とを行う。この構成を採用した場合、復元画像データから比較用画像データを作り、その比較用画像データと撮影画像データを比較するという処理を繰り返すことにより原画像復元画像データを生成することにとしているので、ノイズ等に強い画像復元処理を行うことができる。
【００１１】
また、他の発明は、画像処理装置の移動を検出する検出部において検出された画像変化の要因となる変化要因情報データを利用して画像復元処理を行う画像処理装置において、流し撮りが行われた場合には、変化要因情報データに流し撮りの方向についての変化要因情報データが寄与しないようにし、流し撮りの方向についての変化要因情報データが寄与していない変化要因情報データを利用して、任意の画像のデータから比較用画像データを生成し、処理対象となる撮影画像データと比較用画像データとを比較し、得られた差分のデータを利用して復元画像データを生成し、この復元画像データを上記任意の画像データの代わりに使用し、同様の処理を繰り返すことで、原画像に近似する原画像復元画像データを生成する原画像復元画像データ生成処理とを行うこととする。この発明によれば、流し撮りの方向についての変化要因情報データを有しない変化要因情報データにより画像復元処理を行うので、流し撮りの方向には画像の復元処理が行われず、流し撮りによる意図した画像を復元できる。
【発明の効果】
【００１２】
本発明によれば、流し撮りを行った撮影画像について、流し撮りの方向には画像の復元処理を行わないようにして、流し撮りによる意図した画像を復元できる。
【発明を実施するための最良の形態】
【００１３】
（第１の実施の形態）
以下、本発明の第１の実施の形態に係る画像処理装置１について図を参照しながら説明する。なお、この画像処理装置１は、撮像部にＣＣＤを使用した民生用のいわゆるデジタルカメラとしているが、撮像部にＣＣＤ等の撮像素子を用いる監視用カメラ、テレビ用カメラ用、内視鏡用カメラ等、他の用途のカメラとしたり、顕微鏡用、双眼鏡用、さらにはＮＭＲ撮影用等の画像診断装置等、カメラ以外の機器にも適用できる。
【００１４】
画像処理装置１は、人物等の被写体を撮影する撮像部２と、その撮像部２を駆動する制御系部３と、撮像部２で撮影された画像を処理する処理部４と、を有している。また、この実施の形態に係る画像処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、角速度センサ等からなり、画像劣化等の変化の要因となる変化要因情報を検知する検出部６と、画像劣化等を生じさせる既知の変化要因情報を保存する要因情報保存部７を有する。
【００１５】
撮像部２は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するＣＣＤやＣ−ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備える部分である。制御系部３は、撮像部２，処理部４、記録部５、検出部６および要因情報保存部７等、画像処理装置１内の各部を制御するものである。
【００１６】
処理部４は、画像処理プロセッサで構成されており、ＡＳＩＣ(Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ)のようなハードウェアで構成されている。この処理部４は図示外の記録部を備え、この記録部に後述する処理用画像データにおける複素空間の高周波成分を有する画像データや、比較用画像データを生成する際の元となる任意の画像の画像データが保存されている。処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等を使用する光記録手段等を採用しても良い。
【００１７】
検出部６は、図２に示すように、画像処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出する２つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動やＺ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向やＹ方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。
【００１８】
要因情報保存部７は、既知の劣化要因情報などの変化要因情報、たとえば撮影光学系の収差等を保存しておく記録部である。なお、この実施の形態では、要因情報保存部７には、撮影光学系の収差やレンズのひずみの情報が保存されているが、後述する手ぶれによる画像の劣化を補正する際にはそれらの情報は、利用していない。
【００１９】
次に、以上のように構成された画像処理装置１の処理部４の処理方法を、図３に基づいて説明する。
【００２０】
図３中、「Ｉｍｇ′」は、撮像部２の撮像面に結像した画像のデータである撮影画像データある。この撮影画像データ「Ｉｍｇ′」は、撮影操作を行った際、例えば、デジタルカメラである画像処理装置１のシャッタボタン（不図示）のオン操作により、記録部５に保存される。この撮影画像データ「Ｉｍｇ′」は、撮影操作を行う際に、手ぶれを生じたり、あるいは、流し撮りをした場合には、カメラを移動した方向に沿ってブレた画像となっている。なお、撮影操作時に手ぶれや流し撮り等によるブレのない状態で撮影したと仮定したときに撮像部２に結像した画像データを原画像データ「Ｉｍｇ」とする。
【００２１】
「Ｇ」は、撮影操作時の手ぶれや流し撮りといった撮影操作時のカメラの移動により、原画像データ「Ｉｍｇ」が、撮影画像データ「Ｉｍｇ′」に変化させられる要因となる変化要因情報（劣化要因情報（点像関数））のデータであり、検出部６において検出される。撮影画像データ「Ｉｍｇ′」と原画像データ「Ｉｍｇ」とは、「Ｉｍｇ′」＝「Ｉｍｇ」×「Ｇ」の関係があると言える。
【００２２】
「Ｇ１」は、流し撮り変化要因情報データであり、撮影操作時のカメラの移動による変化要因情報データ「Ｇ」に対して、流し撮りの方向の変化要因情報を有しないものとなっている。「Ｉｏ」は、処理部４の記録部に予め保存されている任意の画像データである。「Ｉｏ′」は、画像のデータ「Ｉｏ」が変化要因情報データ「Ｇ」または流し撮り変化要因情報データ「Ｇ１」により変化した比較用画像データである。「δ」は、撮影画像データ「Ｉｍｇ′」と、比較用画像データ「Ｉｏ′」との差分のデータである。「ｋ」は、変化要因情報データ「Ｇ」または流し撮り変化要因情報データ「Ｇ１」に基づく配分比である。
【００２３】
「Ｉｏ＋ｎ」は、画像データ「Ｉｏ」に、差分のデータ「δ」を配分比「ｋ」に基づいて配分して生成した復元画像データである。  差分のデータ「δ」は、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報データ「Ｇ」または流し撮り変化要因情報データ「Ｇ１」により異なり、次の式で現される。
δ＝ｆ（Ｉｍｇ′，Ｉｍｇ，Ｇ（またはＧ１））
【００２４】
処理部４の処理ルーチンについて説明する。
【００２５】
先ず、処理部４に保存されている撮影画像データ「Ｉｍｇ′」を呼び出す（ステップＳ１０１）。次いで、この撮影画像データ「Ｉｍｇ′」に対し、流し撮り画像用の画像復元処理を行うか、通常撮影画像用の画像復元処理を行うかを判断する（ステップＳ１０２）。流し撮り画像とは、上述したように、カメラの撮影方向を被写体の移動に追従させて撮影をしたときの撮影画像をいう。また、通常撮影画像とは、撮影操作をする者の意図が、カメラの撮影方向を一定に保つようにして撮影を行いたいという意図の下に撮影された撮影画像をいう。そして、この判断（ステップＳ１０２）において、撮影画像データ「Ｉｍｇ′」が流し撮りによる画像であると判断された場合には、流し撮り変化要因情報データ「Ｇ１」を生成する（ステップＳ１０３）。ステップＳ１０２、ステップＳ１０３においては、具体的には次の処理が行われる。
【００２６】
先ず、ステップＳ１０２の判断は、例えば、画像処理装置１に備えられた画像処理の内容を選択する不図示の選択スイッチ（以下、処理選択ＳＷという。）の操作位置に基づいて行う。具体的には、この処理操作ＳＷは、撮影画像データ「Ｉｍｇ′」が、左右（水平）方向に流し撮りを行ったものである場合に選択する位置（以下、Ｈ位置という）と、上下方向に流し撮りを行ったものである場合に選択する位置（以下、Ｖ位置という）と、撮影画像「Ｉｍｇ′」が、流し撮りを行うことなく撮影した通常撮影画像である場合に選択する位置（以下、オフ位置という）の３つのポジションを選択できるように構成されている。
【００２７】
画像処理装置１の操作者は、撮影画像データ「Ｉｍｇ′」の復元処理に当たり、この撮影画像データ「Ｉｍｇ′」が、左右（水平）方向に流し撮りを行ったものであるのか、上下方向に流し撮りを行ったものであるのか、あるいは流し撮りを行うことなく撮影したものであるのかを判断して、処理選択ＳＷを適宜の位置に操作する。
【００２８】
ステップＳ１０２において、処理選択ＳＷが、Ｈ位置、またはＶ位置に操作されている場合には、撮影画像データ「Ｉｍｇ′」は流し撮りの撮影画像データであると判断されて、ステップＳ１０３の処理に移行し、流し撮り画像用の画像復元処理が行われる。一方、このステップＳ１０２において、処理選択ＳＷが、オフ位置に操作されている場合には、撮影画像データ「Ｉｍｇ′」は通常撮影画像の撮影画像データであると判断されて、ステップＳ２０３の処理に移行し、通常撮影画像用の画像復元処理が行われる。
【００２９】
本実施の形態においては、流し撮り画像用の画像復元処理と通常撮影画像用の画像復元処理とは、通常撮影画像用の画像復元処理が、上下方向と左右方向についての画像のブレについて復元処理を行うのに対し、流し撮り画像用の画像復元処理は、流し撮りを行った方向についての復元処理を行わない点を除いて、通常撮影画像用の画像復元処理と同様である。したがって、先ず、通常撮影画像用の画像復元処理の手法について説明する。
【００３０】
先ず、処理部４の記録部に予め保存されている任意の画像データ「Ｉｏ」を呼び出す（ステップＳ２０３）。この初期画像データ「Ｉｏ」は任意であり、どのようなものでも採用することができる。例えば、撮影画像データ「Ｉｍｇ′」を用いて、「Ｉｏ」＝「Ｉｍｇ′」として処理を開始するようにしてもよい。また、黒ベタ、白ベタ、灰色ベタ、市松模様等のような画像のデータを用いても良い。
【００３１】
ステップＳ２０４で、画像データ「Ｉｏ」から変化要因情報データ「Ｇ」を利用して比較用画像データ「Ｉｏ′」を求める。この比較用画像データ「Ｉｏ′」は、初期画像データ「Ｉｏ」が変化要因情報データ「Ｇ」により、変化（劣化）した画像データとなっていると言える。
【００３２】
次に、撮影画像データ「Ｉｍｇ′」と比較用画像データ「Ｉｏ′」と比較し、差分のデータ「δ」を算出する（ステップＳ２０５）。
【００３３】
そして、ステップＳ２０６で、この差分のデータ「δ」が所定値以上（例えば、絶対値で５以下）であるか否かを判断し、所定値以上であれば、復元画像データ「Ｉｏ＋ｎ」を生成する処理を行う（ステップＳ２０７）。すなわち、差分のデータ「δ」を、変化要因情報データ「Ｇ」に基づいて、初期画像データ「Ｉｏ」に配分し、復元画像データ「Ｉｏ＋ｎ」を生成する。
【００３４】
そして、この復元画像データ「Ｉｏ＋ｎ」を、ステップＳ２０４における任意の初期画像データ（＝「Ｉｏ」）として、ステップＳ２０４が実行され、その後、Ｓ２０５，Ｓ２０６，Ｓ２０７を繰り返し、順次新たな復元画像データ「Ｉｏ＋ｎ」を生成する。
【００３５】
ステップＳ２０６において、差分のデータ「δ」が所定値より小さい場合、処理を終了する（ステップＳ２０８）。そして、処理を終了した時点での復元画像データ「Ｉｏ＋ｎ」を、原画像データ「Ｉｍｇ」に近似する原画像復元画像データとし記録部５に記録する。なお、記録部５には、初期画像のデータＩｏや変化要因情報データ「Ｇ」を記録しておき、必要により処理部４に渡すようにしても良い。
【００３６】
以上の処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くこととしている。逆問題として解く場合、特許文献１の記載にもあるように、理論上は可能であるが、現実問題としては、困難である。つまり、特許文献１においては、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達回数の逆変換を行い、画像を復元する方式が採用されている。しかしながら、取得した伝達関数の逆変換で画像復元がなされることは理論上成り立つが、実際問題として、以下の2つの理由で、画像復元が困難である。
【００３７】
第１に、取得する伝達関数は、ノイズやブレ情報誤差等に非常に弱く、これらのわずかな変動により、値が大きく変動する。このため、逆変換で得られる復元画像は、手ぶれがない状態で写した画像とはほど遠いものとなり、実際上は利用できない。第２に、ノイズ等を考慮した逆変換を行う場合、連立方程式の解の特異値分解等で解を推定する方法も採用できるが、その推定のための計算値が天文学的な大きさになり、実際的には解くことができなくなるリスクが高い。これに対し、本実施の形態のように、最適化問題として解くこととすると上述の問題を生ずることがない。
【００３８】
最適化問題として解くということは、次の条件を前提としている。
すなわち、
（１）入力に対する出力は、一意に決まる。
（２）出力が同じであれば、入力は同じである。
（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。
【００３９】
このことを換言すれば、図４（Ａ）（Ｂ）に示すように、撮影画像データ「Ｉｍｇ′」と近似である比較用画像データ「Ｉｏ′（Ｉｏ＋ｎ′）」を生成できれば、その生成の元データとなる初期画像データ「Ｉｏ」または復元画像データ「Ｉｏ＋ｎ」は、撮影画像データ「Ｉｍｇ′」の元となる原画像データ「Ｉｍｇ」に近似したものとなる。
【００４０】
なお、この実施の形態では、角速度検出センサは５μｓｅｃ毎に角速度を検出している。また、差分のデータ「δ」の判定基準となる値は、各データを８ビット（０〜２５５）で現した場合に、この実施の形態では「６」としている。すなわち、「６」より小さい、つまり「５」以下の時は、処理を終了している。また、角速度検出センサで検出したブレの生データは、センサ自体の校正が不十分なときは、実際のブレとは対応しない。よって実際のブレに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。
【００４１】
次に、図３および図４に示す処理方法の詳細を、図５，図６，図７，図８，図９，図１０，図１１および図１２に基づいて説明する。
【００４２】
（手ぶれの復元アルゴリズム）
手ぶれが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、手ぶれがある場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中のエネルギーの分散の仕方がわかるため、ぶれた画像からブレの無い画像を作ることが可能となる。
【００４３】
以下、簡単のため、横一次元で説明する。画素を左から順に、ｎ−１，ｎ，ｎ＋１，ｎ＋２，ｎ＋３，…，とし、ある画素ｎに注目する。ブレが無いとき、露光時間中のエネルギーは、その画素に集中するため、エネルギーの集中度は「１．０」である。この状態を図５に示す。このときの撮影結果を、図６の表に示す。図６に示すものが、原画像データ「Ｉｍｇ」となる。なお、各データは、８ビット（０〜２５５）のデータで現している。
【００４４】
露光時間中にブレがあり、露光時間中の５０％の時間はｎ番目の画素に、３０％の時間はｎ＋１番目の画素に、２０％の時間はｎ＋２番目の画素に、それぞれぶれていたとする。エネルギーの分散の仕方は、図７に示す表のとおりとなる。これが変化要因情報データ「Ｇ」となる。
【００４５】
ブレは、全ての画素で一様であるので、上ブレ（縦ブレ）が無いとすると、ブレの状況は、図８に示す表のとおりとなる。図８中の「撮影結果」として示されるデータが、原画像データ「Ｉｍｇ」で、「ブレ画像」として示されるデータが、撮影画像データ「Ｉｍｇ′」となる。具体的には、たとえば「ｎ−３」の画素の「１２０」は、ぶれ情報である変化要因情報のデータＧの「０．５」「０．３」「０．２」の配分比に従い、「ｎ−３」の画素に「６０」、「ｎ−２」の画素に「３６」、「ｎ−１」の画素に「２４」というように分散する。同様に、「ｎ−２」の画素のデータである「６０」は、「ｎ−２」に「３０」、「ｎ−１」に「１８」、「ｎ」に「１２」として分散する。この撮影画像データ「Ｉｍｇ′」と、図７に示す変化要因情報データ「Ｇ」からブレの無い撮影結果を算出することとなる。
【００４６】
ステップＳ２０３に示す任意の画像のデータである初期画像データ「Ｉｏ」としては、どのようなものでも採用できるが、この説明に当たっては、撮影画像データ「Ｉｍｇ′」を用いる。すなわち、「Ｉｏ」＝「Ｉｍｇ′」として処理を開始する。図９の表中に「入力」とされたものが初期画像データ「Ｉｏ」に相当する。この初期画像データ「Ｉｏ」すなわち「Ｉｍｇ′」に、ステップＳ２０４で変化要因情報データ「Ｇ」を作用させる。すなわち、たとえば、初期画像データ「Ｉｏ」の「ｎ−３」の画素の「６０」は、「ｎ−３」の画素に「３０」が、「ｎ−２」の画素に「１８」が、「ｎ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、比較用画像データ「Ｉｏ′」が生成される。このため、ステップＳ２０５の差分のデータ「δ」は、図９の最下欄に示すようになる。
【００４７】
この後、ステップＳ２０６にて差分のデータ「δ」の大きさを判断する。具体的には、差分のデータ「δ」が全て絶対値で５以下となった場合に処理を終了するが、図９に示す差分のデータ「δ」は、この条件に合わないため、ステップＳ２０７に進む。すなわち、差分のデータ「δ」を変化要因情報データ「Ｇ」を使用して、初期画像データ「Ｉｏ」に配分して、図１０中の「次回入力」として示される復元画像データ「Ｉｏ＋ｎ」を生成する。この場合、第１回目であるため、図１０では、「Ｉｏ＋１」と現している。
【００４８】
差分のデータ「δ」の配分は、たとえば「ｎ−３」の画素のデータ「３０」に自分の所（＝「ｎ−３」の画素）の配分比である０．５をかけた「１５」を「ｎ−３」の画素に配分し、また「ｎ−２」の画素のデータ「１５」にその「ｎ−２」の画素にきているはずの配分比である０．３をかけた「４．５」を配分し、さらに、「ｎ−１」の画素のデータ「９．２」に、その「ｎ−１」の画素にきているはずの配分比である０．２をかけた「１．８４」を配分する。「ｎ−３」の画素に配分された総量は、「２１．３４」となり、この値を初期画像データ「Ｉｏ（ここでは撮影された原画像のデータ「Ｉｍｇ′」を使用）」にプラスして、復元画像データ「Ｉｏ＋１」を生成している。
【００４９】
図１１に示すように、この復元画像データ「Ｉｏ＋１」がステップＳ２０４の入力画像のデータ（＝初期画像データ「Ｉｏ」）になり、ステップＳ２０４が実行され、ステップＳ２０５へと移行し、新しい差分のデータ「δ」を得る。その新しい差分のデータ「δ」の大きさをステップＳ２０６で判断し、所定値より大きい場合、ステップＳ２０７で新しい差分のデータ「δ」を前回の復元画像データ「Ｉｏ＋１」に配分し、新しい復元画像データ「Ｉｏ＋２」を生成する（図１２参照）。その後、ステップＳ２０４の遂行により、復元画像データ「Ｉｏ＋２」から新しい比較用画像データ「Ｉｏ＋２′」が生成される。このように、ステップＳ２０４，Ｓ２０５が実行された後、ステップＳ２０６へ進み、そこでの判断によりステップＳ２０７へ移行したり、ステップＳ２０８へ移行する。このような処理を繰り返す。
【００５０】
この画像処理装置１では、処理するに当たり、ステップＳ２０６において、事前に処理回数と、差分のデータ「δ」の判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として２０回、５０回等任意の回数を設定できる。また、処理を停止させる差分のデータ「δ」の値を８ビット（０〜２５５）中の「５」と設定し、５以下になったら処理を終了させたり、「０．５」と設定し「０．５」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力した場合、いずれか一方が満足されたとき処理は停止される。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らなかった場合、さらに所定回数の処理を繰り返すようにしても良い。
【００５１】
この実施の形態の説明の中では、要因情報保存部７に保存されている情報を利用しなかったが、ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、先の例（図３）の処理方法では、ブレの情報と光学収差の情報を合わせて１つの劣化要因として捉えて処理を行うのが好ましいが、ブレの情報での処理を終了した後に光学収差の情報での補正を行うようにしても良い。また、この要因情報保存部７を設置しないようにして、撮影時の動的要因、たとえばブレのみで画像を修正したり復元したりしても良い。
【００５２】
以上、本実施の形態に係る画像処理装置１の画像復元処理の基本的な動作について図３から図１２を参照しながら説明したが、この基本的な動作により、画像処理装置１は、画像を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理を行うことができる。処理部４で行った処理は、ソフトウエアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。
【００５３】
また、処理対象となる原画像としては撮影画像の他に、その撮影画像を色補正したり、フーリエ変換したり等、加工を施したものとしても良い。さらに、比較用画像データとしては、変化要因情報データ「Ｇ」を使用して生成したデータ以外に、変化要因情報データ「Ｇ」を使用して生成したものに色補正を加えたり、フーリエ変換したりしたデータとしても良い。また、変化要因情報のデータとしては、劣化要因情報のデータのみではなく、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。
【００５４】
また、処理の反復回数が画像処理装置１側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報データ「Ｇ」によって変更するようにしても良い。たとえば、ある画素の画像データがブレにより多数の画素に分散している場合は、反復回数を多くし、分散が少ない場合は反復回数を少なくするようにしても良い。
【００５５】
さらに、反復処理中に、差分のデータ「δ」が発散してきたら、すなわち大きくなっていったら処理を中止させるようにても良い。発散しているか否かは、たとえば差分のデータ「δ」の平均値を見てその平均値が前回より大きくなったら発散していると判断する方法を採用できる。また、反復処理中に、入力を異常な値に変更しようとしたときには、処理を中止させるようにしても良い。たとえば８ビットの場合、変更されるようとする値が２５５を超える値であるときには、処理を中止させる。また、反復処理中、新たなデータである入力を異常な値に変更しようとしたとき、その値を使用せず、正常な値とするようにしても良い。たとえば、８ビットの０〜２５５の中で、２５５を超える値を入力データとしようとした際は、マックスの値である２５５として処理するようにする。
【００５６】
以上のように、ステップＳ１０２において、撮影画像データ「Ｉｍｇ′」は流し撮りによるデータでないと判断された場合には、上述したステップＳ２０３からステップＳ２０８の通常撮影画像用の画像復元処理が行われる。
【００５７】
一方、ステップＳ１０２において、撮影画像データ「Ｉｍｇ′」は流し撮りによるデータであると判断されて、ステップＳ１０３の処理に移行し、以下に説明する流し撮り画像用の画像復元処理が行われる。
【００５８】
この流し撮り用の画像復元処理においては、先ず、ステップＳ１０３において、流し撮りの方向に応じて、流し撮り変化要因情報データ「Ｇ１」を生成する。つまり、処理選択ＳＷがＨ位置に操作されているときは、流し撮り変化要因情報データ「Ｇ１」は、変化要因情報データ「Ｇ」に係るデータを、流し撮りの方向である左右方向について圧縮したものとして生成される。例えば、変化要因情報データ「Ｇ」から、左右方向（流し撮りの方向）の変化要因についての情報を取り去り、流し撮りの方向と直交する方向、すなわち、上下方向への変化要因情報データのみとし、流し撮り変化要因情報データ「Ｇ１」とする。
【００５９】
また、処理選択ＳＷがＶ位置に操作されているときは、流し撮り変化要因情報データ「Ｇ１」は、変化要因情報データ「Ｇ」に係るデータを、流し撮りの方向である上下方向について圧縮したものとして生成される。例えば、変化要因情報データ「Ｇ」から、上下方向（流し撮りの方向）の変化要因についての情報を取り去り、流し撮りの方向と直交する方向、すなわち左右方向への変化要因情報データのみとし、流し撮り変化要因情報データ「Ｇ１」とする。そうして、ステップＳ１０４からＳ１０９に示す画像復元処理を行う。このステップＳ１０４からＳ１０９に示す画像復元処理は、上述した通常の画像復元処理であるステップＳ２０３からＳ２０８における変化要因情報データ「Ｇ」を「Ｇ１」とした点以外は同様の処理となっている。
【００６０】
つまり、流し撮り変化要因情報データ「Ｇ１」は、流し撮りの方向については、画像の変化要因情報データを有しないため、ステップＳ１０４からＳ１０９に示す画像復元処理においては、流し撮りの方向については、画像の復元処理が行われず、流し撮りによるブレた（流れた）画像のままとなっている。一方、流し撮りの方向と直交する方向については、流し撮り変化要因情報データ「Ｇ１」に基づいて、ブレのない画像になるように画像の復元処理が行われる。
【００６１】
そして、ステップＳ１０９において、処理を終了した時点での、復元画像データ「Ｉｏ＋ｎ」を、流し撮りにより撮影した画像の復元画像データとし記録部５に記録する。
【００６２】
上述の実施の形態のステップＳ１０２における流し撮り画像用の画像復元処理を行うか、あるいは通常撮影画像用の画像復元処理を行うかの判断を以下に説明する（１）（２）の手法により行うこともできる。
【００６３】
（１）撮影者が、撮影操作に併せて、撮影画像データ「Ｉｍｇ′」に、流し撮りの方向を含めて撮影画像データ「Ｉｍｇ′」が流し撮りされたものであるか否かを判断するフラグ等の識別子を付与するようにする。この識別子の付与は、例えば、撮影操作時に次のような所定のスイッチを押下することにより行う。例えば、左右方向に流し撮りを行うときは、左右方向の流し撮り用のスイッチを押下した状態で流し撮りを行うようにすると、左右方向に流し撮りを行った旨の識別子が付与される。また、上下方向に流し撮りを行うときは、上下方向の流し撮り用のスイッチを押下した状態で流し撮りを行うことにより、上下方向に流し撮りを行った旨の識別子が付与される。何もスイッチが押下されないときは識別子が付与されない。
【００６４】
そうして、Ｓ１０２において、上記の識別子に基づき撮影画像データ「Ｉｍｇ′」が流し撮り画像か通常撮影画像かを判断する。流し撮り画像である場合には、ステップ１０３において、識別子の内容に応じて、流し撮り変化要因情報データ「Ｇ１」を生成する。つまり、左右方向の流し撮りである場合には、流し撮り変化要因情報データ「Ｇ１」は、変化要因情報データ「Ｇ」に係るデータを、流し撮りの方向である左右方向について圧縮して生成される。つまり、流し撮り変化要因情報データ「Ｇ１」は、上下方向の変化要因情報データのみを有するものとして生成される。
【００６５】
また、上下方向の流し撮りである場合には、流し撮り変化要因情報データ「Ｇ１」は、変化要因情報データ「Ｇ」に係るデータを、流し撮りの方向である上下方向について圧縮したものとして生成される。つまり、流し撮り変化要因情報データ「Ｇ１」は、左右方向の変化要因情報データのみを有するものとして生成される。
【００６６】
識別子の付与がない場合には、撮影画像データ「Ｉｍｇ′」は通常撮影画像の撮影画像データであると判断され、上述したステップＳ２０３に移行する。なお、識別子の付与は、撮影をし終わった後においても、撮影画像データ「Ｉｍｇ′」に付与できるようにしておくことで、不意のシャッタチャンス等で、識別子を付与しないで流し撮りを行ってしまった撮影画像データ「Ｉｍｇ′」にも識別子を付与することができる。
【００６７】
（２）ステップＳ１０２において、変化要因情報データ「Ｇ」から、カメラの撮影方向の変化の軌跡を算出し、この軌跡から最小二乗法により求まる直線の長さと方向に基づいて、流し撮りの有無と流し撮りの方向を判断する。つまり、直線の長さが、通常の手ぶれによるカメラの撮影方向の変化量よりも大きいと判断できる場合には、直線の方向に流し撮りが行われたと判断する。そして、ステップＳ１０３においては、直線の方向（流し撮りの方向）について変化要因情報データ「Ｇ」を圧縮した流し撮り変化要因情報データ「Ｇ１」を生成する。このように、変化要因情報データ「Ｇ」から、カメラの撮影方向の変化の軌跡を算出し、流し撮りの方向を判断することとすると、左右方向と上下方向に交差する方向（斜め方向）について流し撮りを行った場合においても、流し撮りの方向を考慮した画像の復元処理を行うことができる。
【００６８】
上述の実施の形態においては、変化要因情報データ「Ｇ」から流し撮り変化要因情報データ「Ｇ１」を生成しているが、流し撮りをする際に、流し撮りの方向についての変化要因情報データが変化要因情報データ「Ｇ」に含まれないようにしてもよい。例えば、流し撮りの方向については、検出部６が画像処理装置１の移動を検出しないようにすることにより、流し撮りの方向についての変化要因情報を変化要因情報データ「Ｇ」に寄与しないようにすることができる。このような流し撮りの方向についての変化要因情報データが含まれない変化要因情報データ「Ｇ」を用いることにより、上述したステップＳ１０２のような判断処理やステップＳ１０３のような流し撮り変化要因情報データ「Ｇ１」を生成することなく、通常撮影画像用の画像復元処理を行うのみで、流し撮り画像の復元処理を行うことができる。
【００６９】
なお、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置１の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。
【図面の簡単な説明】
【００７０】
【図１】本発明の各実施の形態に係る画像処理装置の主要構成を示すブロック図である。
【図２】図１に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。
【図３】図１に示す画像処理装置の処理部で行う第１の実施の形態に係る基本的な処理方法（処理ルーチン）を説明するための処理フロー図である。
【図４】図３に示す処理方法の概念を説明するための図である。
【図５】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときのエネルギーの集中を示す表である。
【図６】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの画像データを示す図である。
【図７】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときのエネルギーの分散を示す図である。
【図８】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、任意の画像から比較用データを生成する状況を説明するための図である。
【図９】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、比較用データと、処理対象となるぶれた原画像とを比較して、差分のデータを生成する状況を説明するための図である。
【図１０】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。
【図１１】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分のデータを生成する状況を説明するための図である。
【図１２】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、新たに生成された差分のデータを配分し、新たな復元データを生成する状況を説明するための図である。
【符号の説明】
【００７１】
１  画像処理装置
４  処理部
Ｉｏ  初期画像のデータ（任意の画像のデータ）
Ｉｏ′比較用画像データ
Ｇ  変化要因情報データ
Ｇ１  流し撮り変化要因情報データ
Ｉｍｇ′  撮影画像データ
δ  差分のデータ
ｋ  配分比
Ｉｏ＋ｎ  復元画像データ
Ｉｍｇ  原画像データ
【図１】
0004629537.tif 000002
【図２】
0004629537.tif 000003
【図３】
0004629537.tif 000004
【図４】
0004629537.tif 000005
【図５】
0004629537.tif 000006
【図６】
0004629537.tif 000007
【図７】
0004629537.tif 000008
【図８】
0004629537.tif 000009
【図９】
0004629537.tif 000010
【図１０】
0004629537.tif 000011
【図１１】
0004629537.tif 000012
【図１２】
0004629537.tif 000013