(57)【特許請求の範囲】
【請求項１】
変化画像データを変化要因情報を用いて復元処理する処理部を有する画像処理装置において、
上記処理部は、画像データの内容が既知である既知画像データを上記変化要因情報により変化させた変化既知画像データと、上記変化既知画像データを上記復元処理することにより復元既知画像データとを得、
上記復元既知画像データを上記既知画像データと比較して上記復元既知画像データを上記既知画像データに補正するのに必要な補正量を得、
上記変化画像データを上記復元処理した復元画像データを、上記補正量に基づいて補正する処理を行う、
ことを特徴とする画像処理装置。
【請求項２】
前記処理部は、
前記変化既知画像データを得る既知画像変化手段と、
前記復元既知画像データを得る変化既知画像復元手段と、
前記補正量を得る補正量取得手段と、
前記変化画像データを前記復元処理した復元画像データを、前記補正量に基づいて補正する補正手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正量取得手段は、前記復元既知画像データと前記既知画像データとの比較を周波数空間で行い、前記補正量を位相量あるいは振幅量として得て、
前記補正手段は、上記位相量あるいは上記振幅量として得られた前記補正量に基づいて前記復元画像データを補正する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正量取得手段は、前記復元既知画像データと前記既知画像データとの比較を周波数空間で行い、前記補正量を、前記復元既知画像データと前記既知画像データとの差分のベクトルとして得て、
前記補正手段は、上記差分ベクトルとして得られた前記補正量に基づいて前記復元画像データを補正する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記既知画像データは、前記復元画像データまたは前記変化画像データであることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記既知画像データは、前記復元画像データまたは前記変化画像データをエッジ強調した画像であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項７】
変化画像データを変化要因情報を用いて復元処理する画像処理方法において、
画像データの内容が既知である既知画像データを上記変化要因情報により変化させた変化既知画像データを得る既知画像変化ステップと、
上記変化既知画像データを上記復元処理して復元既知画像データを得る変化既知画像復元ステップと、
上記復元既知画像データを上記既知画像データと比較して上記復元既知画像データを上記既知画像データに補正するのに必要な補正量を得る補正量取得ステップと、
上記変化画像データを上記復元処理した復元画像データを上記補正量に基づいて補正する補正ステップと、
を有することを特徴とする画像処理方法。
【請求項８】
変化画像データを変化要因情報を用いて復元処理する画像処理プログラムにおいて、
画像データの内容が既知である既知画像データを上記変化要因情報により変化させた変化既知画像データを得る既知画像変化処理と、
上記変化既知画像データを上記復元処理して復元既知画像データを得る変化既知画像復元処理と、
上記復元既知画像データを上記既知画像データと比較して上記復元既知画像データを上記既知画像データに補正するのに必要な補正量を得る補正量取得処理と、
上記変化画像データを上記復元処理した復元画像データを上記補正量に基づいて補正する補正処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来から、カメラ等で撮影を行った撮影画像には、画像劣化が生ずることが知られている。この画像劣化の要因としては撮影時の手ぶれ、光学系の各種の収差、レンズの歪み等がある。
【０００３】
撮影時の手ぶれを補正するためには、撮影レンズの中の所定のレンズを動かす方式と、電子回路で処理する方式とが知られている。レンズを動かす方式としては、例えば、撮影時に、手ぶれを検出し、この検出した手ぶれに合わせて所定のレンズを動かすことで、結像部に結像する撮影画像の劣化を抑える方式が知られている（特許文献1参照）。
【０００４】
これに対し、電子回路で処理する方式には、例えば、特許文献２に開示されるように、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、劣化して結像した撮影画像に対し、取得した伝達関数の逆変換を行い、画像の復元を行う方式がある。
【０００５】
【特許文献１】特開平６−３１７８２４号公報（要約書参照）
【特許文献２】特開平１１−２４１２２号公報（要約書参照）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に開示されるように、劣化して結像した撮影画像を復元して復元画像を得る方式の場合には、伝達関数が、ノイズやぶれ情報誤差等の影響を受け、撮影画像における劣化によって非常に小さくなってしまった情報については、復元処理を行うことにより、求めようとする劣化のない理想的な撮影画像との誤差がかえって拡大してしまい、撮影画像の復元を良好に行えない場合がある。
【０００７】
そこで、本発明は、伝達関数がノイズやぶれ情報誤差等の影響を受けた場合であっても、復元処理を行うことにより、求めようとする劣化のない理想的な撮影画像との誤差が拡大してしまう場合であっても、画像の復元程度をより良好に行うことができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、変化画像データを変化要因情報を用いて復元処理する処理部を有する画像処理装置において、処理部は、画像データの内容が既知である既知画像データを変化要因情報により変化させた変化既知画像データと、変化既知画像データを復元処理することにより復元既知画像データとを得、復元既知画像データを既知画像データと比較して復元既知画像データを既知画像データに補正するのに必要な補正量を得、変化画像データを復元処理した復元画像データを、補正量に基づいて補正する処理を行うこととする。
【０００９】
画像処理装置をこのように構成することで、画像の復元の程度をより良好なものとすることができる。
【００１０】
また、他の発明は、上述の発明に加え、処理部は、変化既知画像データを得る既知画像変化手段と、復元既知画像データを得る変化既知画像復元手段と、補正量を得る補正量取得手段と、変化画像データを復元処理した復元画像データを、補正量に基づいて補正する補正手段とを備えることとする。
【００１１】
画像処理装置をこのように構成することで、画像の復元の程度をより良好なものとすることができる。
【００１２】
また、他の発明は、上述の発明に加え、補正量取得手段は、復元既知画像データと既知画像データとの比較を周波数空間で行い、補正量を位相量あるいは振幅量として得て、補正手段は、位相量あるいは振幅量として得られた補正量に基づいて復元画像データを補正することとする。
【００１３】
画像処理装置をこのように構成することで、補正量の取得と、復元画像の補正を行い易くなる。  
【００１４】
また、他の発明は、上述の発明に加え、補正量取得手段は、復元既知画像データと既知画像データとの比較を周波数空間で行い、補正量を、復元既知画像データと既知画像データとの差分のベクトルとして得て、補正手段は、差分ベクトルとして得られた補正量に基づいて復元画像データを補正することとする。
【００１５】
画像処理装置をこのように構成することで、補正量を精度良く取得でき、復元画像を精度よく補正することができる。
【００１６】
また、他の発明は、上述の発明に加え、既知画像データは、復元画像データまたは変化画像データであることとする。
【００１７】
画像処理装置をこのように構成することで、補正量を精度良く取得できる。
【００１８】
また、他の発明は、上述の発明に加え、既知画像データは、復元画像データまたは変化画像データをエッジ強調した画像であることとする。
【００１９】
画像処理装置をこのように構成することで、補正量を精度良く取得できる。
【００２０】
上記課題を解決するために、変化画像データを変化要因情報を用いて復元処理する画像処理方法において、画像データの内容が既知である既知画像データを変化要因情報により変化させた変化既知画像データを得る既知画像変化ステップと、変化既知画像データを復元処理して復元既知画像データを得る変化既知画像復元ステップと、復元既知画像データを既知画像データと比較して復元既知画像データを既知画像データに補正するのに必要な補正量を得る補正量取得ステップと、変化画像データを復元処理した復元画像データを補正量に基づいて補正する補正ステップとを有することとする。
【００２１】
画像処理方法をこのように行うことで、画像の復元の程度をより良好なものとすることができる。
【００２２】
上記課題を解決するために、変化画像データを変化要因情報を用いて復元処理する画像処理プログラムにおいて、画像データの内容が既知である既知画像データを変化要因情報により変化させた変化既知画像データを得る既知画像変化処理と、変化既知画像データを復元処理して復元既知画像データを得る変化既知画像復元処理と、復元既知画像データを既知画像データと比較して復元既知画像データを既知画像データに補正するのに必要な補正量を得る補正量取得処理と、変化画像データを復元処理した復元画像データを補正量に基づいて補正する補正処理とをコンピュータに実行させることとする。
【００２３】
画像処理プログラムをコンピュータにインストールし、コンピュータにこのプログラムを実行させることで、画像の復元の程度をより良好なものとすることができる。
【発明の効果】
【００２４】
本発明によれば、画像の復元の程度をより良好なものとすることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の第１の実施の形態に係る画像処理装置１について図を参照しながら説明する。なお、この画像処理装置１は、撮像部２にＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）を使用した民生用のいわゆるデジタルカメラとしているが、撮像部にＣＣＤ等の撮像素子を用いる監視用カメラ、テレビカメラ用、内視鏡用カメラ等、他の用途のカメラとしたり、顕微鏡用、双眼鏡用、さらには核磁気共鳴撮影用等の画像診断装置等、カメラ以外の機器にも適用できる。なお、画像処理方法については、画像処理装置１の説明と併せて行うこととする。
【００２６】
画像処理装置１は、人物等の映像を撮像する撮像部２と、この撮像部２を駆動する制御系部３と、撮像部２で撮像された画像を処理する処理部４とを有している。また、この実施の形態に係る画像処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、撮影される画像の変化（劣化）の要因となる変化要因情報を検知する検出部６と、画像の変化等を生じさせる既知の変化要因情報を保存する変化要因情報保存部７を有する。
【００２７】
撮像部２はＣＣＤを備え、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換する。なお、ＣＣＤの他、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えてもよい。制御系部３は、撮像部２、処理部４、記録部５、検出部６、および変化要因情報保存部７等、画像処理装置１内の各部を制御するものである。
【００２８】
処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）のようなハードウェアで構成されている。この処理部４は、後述する既知画像変化手段、変化既知画像復元手段、補正量取得手段および補正手段が機能的に構成され、また、後述する変化既知画像を生成する際の元となる既知画像が保管されることもある。
【００２９】
処理部４は、ＡＳＩＣのようなハードウェアとして構成されるものの他、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等を使用する光記録手段等を採用しても良い。
【００３０】
検出部６は、図２に示すように、画像処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出する２つの角速度センサを備えるものである。カメラで撮影する際の手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動やＺ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向やＹ方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。
【００３１】
変化要因情報保存部７は、撮影画像を変化させる変化要因の情報であって撮影を開始する前に判っている既知の変化要因データが保存される。既知の変化要因の情報としては、例えば、光学系の収差等である。なお、この実施の形態では、変化要因情報保存部７には、光学系の収差やレンズのひずみの情報が保存されているが、後述する手ぶれのぼけの復元の際にはそれらの情報は、利用していない。
【００３２】
次に、以上のように構成された画像処理装置１の処理部４の処理方法について説明する。
【００３３】
処理部４には、以下に説明するように、画像の復元を最適化問題として扱うことにより復元画像を求める処理手法を実行する画像復元処理手段が機能的に実現されている。
【００３４】
画像の復元を最適化問題として扱うということは、「（１）入力に対する出力は、一意に決まる。」、「（２）出力が同じであれば、入力は同じである。」、「（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。」、という３の条件を前提に、画像の復元を行うことである。
【００３５】
すなわち、図３（Ａ）に示すように、求めたい画像データである理想画像データ「ｉｍｇ」が、画像を変化させる要因となる変化要因情報「ｇ」により変化理想画像データ「ｉｍｇ’」に変化させられたと考えると、任意の画像データ「ｉ０」を変化要因情報「ｇ」により変化させた変化任意画像データ「ｉ０’」が、変化理想画像データ「ｉｍｇ’」に近似するように、任意画像データ「ｉ０」を「ｉ０＋ｎ」（ｎは、１以上の整数）として更新し、この任意画像データ「ｉ０＋ｎ」を変化要因情報「ｇ」により変化させる処理を反復する。すなわち、任意画像データ「ｉ０＋ｎ」を変化要因情報データ「ｇ」により変化させた変化任意画像データ「ｉ０＋ｎ’」が、変化理想画像データ「ｉｍｇ’」に近似するような任意画像データ「ｉ０＋ｎ」を求めることができれば、図３（Ｂ）に示すように、変化任意画像データ「ｉ０＋ｎ’」の生成の元データとなる任意画像データ「ｉ０＋ｎ」は、変化前の理想画像データ「ｉｍｇ」に近似した復元された画像であると言える。
【００３６】
上述の処理を撮像部２に撮像された画像に対して適用した場合には、理想画像データ「ｉｍｇ」は、被写体を劣化のない理想的な状態で撮影できたと仮定した場合の撮影画像データ（以下、理想撮影画像データと言い、これを理想撮影画像データ「ｉｍｇ」と記載する。）に相当し、変化理想画像データ「ｉｍｇ’」は、理想撮影画像データ「ｉｍｇ」が変化要因情報「ｇ」により変化させられた画像データであり、実際に撮影された撮影画像データ（以下、実撮影画像データと言い、これを実撮影画像データ「ｉｍｇ’」と記載する。）に相当する。したがって、任意画像データ「ｉ０（ｉ０＋ｎ）」を変化要因情報「ｇ」により変化させて得られた変化任意画像データ「ｉ０’（ｉ０＋ｎ’）」が、実撮影画像データ「ｉｍｇ’」に近似している場合には、任意画像データ「ｉ０（ｉ０＋ｎ）」は、理想撮影画像データ「ｉｍｇ」に近似した画像データであると考えることができる。
【００３７】
上記の処理手法を実現する画像復元処理手段の動作について、図４に示すフローチャートを参照しながら説明する。
【００３８】
図４において、「ｉ０」は、処理部４の記録部に予め保存されている任意の初期画像データである。「ｇ」は、検出部６で検出された変化要因情報（劣化要因情報（伝達関数の一種である点像関数））のデータであり、処理部４の記録部に保存されるものである。「ｉ０’」は、初期画像データ「ｉ０」を変化要因情報データ「ｇ」により変化させた比較用画像データ（変化任意画像データ）である。「ｉｍｇ’」は、復元の対象となる変化した画像の画像データであり、ここでは、撮像部２で実際に撮像された撮影画像データ、すなわち、実撮影画像データとなる。
【００３９】
「δ」は、実撮影画像データ「ｉｍｇ’」と、比較用画像データ「ｉ０’」との差分のデータである。「ｋ」は、変化要因情報データ「ｇ」に基づく配分比を表すフィードバック関数である。「ｉ０＋ｎ」（ｎは、１以上の整数）は、初期画像データ「ｉ０」に、差分のデータδを配分比「ｋ」に従って配分して新たに生成した復元画像データである。
【００４０】
ここで、「ｉｍｇ」と「ｉｍｇ’」の関係は、次の（１）式で表されるものとする。
ｉｍｇ’＝ｉｍｇ＊ｇ  ・・・（１）
「＊」は、重畳積分を表わす演算子である。
なお、差分のデータ「δ」は、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報データ「ｇ」により異なり、次の（２）式で現される。
δ＝ｆ（ｉｍｇ’，ｉｍｇ，ｇ）・・・（２）
【００４１】
処理部４（画像復元処理手段）の処理ルーチンは、まず、初期画像データ「ｉ０」を用意する（ステップＳ１０１）ことから始まる。この初期画像データ「ｉ０」としては、実撮影画像データ「ｉｍｇ’」を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップＳ１０２で、（１）式の「ｉｍｇ」の代わりに初期画像となる任意画像のデータ「ｉ０」を入れ、劣化画像である比較用画像データ「ｉ０’」を求める。次に、実撮影画像データ「ｉｍｇ’」と比較用画像データ「ｉ０’」と比較し、差分のデータ「δ」を算出する（ステップＳ１０３）。
【００４２】
次に、ステップＳ１０４で、この差分のデータ「δ」が所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ１０５で新たな復元画像データを生成する処理を行う。すなわち、差分のデータ「δ」を変化要因情報「ｇ」に基づいて、任意の初期画像データ「ｉ０」に配分し、新たな復元画像データ「ｉ０＋ｎ」を生成する。その後、ステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５を繰り返す。
【００４３】
ステップＳ１０４において、差分のデータ「δ」が所定値より小さい場合、処理を終了する（ステップＳ１０６）。そして、処理を終了した時点での復元画像データ「ｉ０＋ｎ」を理想撮影画像データ「ｉｍｇ」と推定する。
【００４４】
任意の初期画像データ「ｉ０」は、理想撮影画像データ「ｉｍｇ」とは異なるものであり、差分のデータ「δ」を０、すなわち、実撮影画像データ「ｉｍｇ’」＝復元画像データ「ｉ０（ｉ０＋ｎ）」とすることは難しく、特に、変化要因情報「ｇ」にノイズや誤差が含まれている場合には、差分のデータ「δ」を０とする復元はさらに困難となる。そのため、差分のデータ「δ」が所定値より小さくなった場合には、ある程度、撮影画像の復元ができたものとして、処理を終了し、このときの復元画像データ「ｉ０（ｉ０＋ｎ）」を撮影画像の復元画像データとしている。
【００４５】
ところで、例えば、理想撮影画像データ「ｉｍｇ」を、画像データの内容が既知である既知画像データであると仮定すると、この既知の理想撮影画像データ「ｉｍｇ」が既知画像変化手段において変化要因情報「ｇ」により変化させられた変化理想撮影画像データ「ｉｍｇ’」を変化既知画像データとして得ることができる。なお、既知画像変化手段においては、画像復元処理手段におけるステップＳ１０２と同様の処理が行われる。
【００４６】
そして、変化既知画像復元手段としても機能する画像復元処理手段にて、変化理想撮影画像データ「ｉｍｇ’」を任意の初期画像データ「ｉ０」として、上述のステップＳ１０２からステップＳ１０５の処理を繰り返す復元処理により復元された復元画像データ「ｉ０＋ｎ」を復元既知画像データとして得ることができる。
【００４７】
また、補正量取得手段にて、上述の復元既知画像データとしての復元画像データ「ｉ０＋ｎ」と既知の理想撮影画像データ「ｉｍｇ」とを比較することで、復元画像データ「ｉ０＋ｎ」を既知の理想撮影画像データ「ｉｍｇ」に補正するのに必要な補正量データを「ｄ」を得ることができる。
【００４８】
このようにして得られた補正量データ「ｄ」は、理想撮影画像データ「ｉｍｇ」が既知であると仮定したとき、任意の初期画像データ「ｉ０」に対して上述の復元処理を行って得られた実撮影画像データ「ｉｍｇ’」の復元画像データ「ｉ０＋ｎ」を理想撮影画像データ「ｉｍｇ」と比較し、この復元画像データ「ｉ０＋ｎ」を既知の理想撮影画像データ「ｉｍｇ」に補正するのに必要な補正量に相当しているものと考えられる。したがって、任意の初期画像データ「ｉ０」に対して復元処理して得られた復元画像データ「ｉ０＋ｎ」を、補正手段において補正量データ「ｄ」で補正処理することにより、任意の初期画像データ「ｉ０」から得られた復元画像データ「ｉ０＋ｎ」を理想撮影画像データ「ｉｍｇ」にさらに近づけた復元の程度が良好に補正された復元画像データとすることができる。
【００４９】
なお、上述説明では、補正量データ「ｄ」の概念を解りやすくするため、既知画像データを理想撮影画像データ「ｉｍｇ」として補正量データ「ｄ」を求めたが、理想撮影画像データ「ｉｍｇ」は本来、不知のものである。一方、補正量データ「ｄ」は、既知画像データが任意のものであっても、同様の補正量として得ることができると考えられる。したがって、実際に補正量データ「ｄ」を求めるときには、任意の既知の画像データを用いることになる。
【００５０】
しかしながら、補正量データ「ｄ」を求めるための既知画像データは、復元の目標となる理想撮影画像データ「ｉｍｇ」に近い画像データである方が好ましい。したがって、復元画像データ「ｉ０＋ｎ」、実撮影画像データ「ｉｍｇ’」、あるいは、これらの画像データ（「ｉ０＋ｎ」，「ｉｍｇ’」）のエッジ強調した画像データであることが好ましい。このような画像データを用いることで、精度の高い補正量データ「ｄ」を得ることができる。
【００５１】
上述の補正処理について、図５のフローチャートを参照しながら説明する。
【００５２】
先ず、画像データの内容が既知である既知画像データ「Ｓｉｍｇ」を準備する（ステップＳ２０１）。例えば、復元画像データ「ｉ０＋ｎ」、実撮影画像データ「ｉｍｇ’」、あるいは、これらの画像データ（「ｉ０＋ｎ」，「ｉｍｇ’」）のエッジ強調した画像データを準備する。続いて、既知画像変化手段において、既知画像データ「Ｓｉｍｇ」を変化要因情報「ｇ」により変化させる変化処理を行い、変化既知画像データ「Ｓｉｍｇ’」を生成する（ステップＳ２０２）。そして、変化既知画像復元手段において、変化既知画像データ「Ｓｉｍｇ’」を任意の初期画像データ「ｉ０」として、上述の図４に示すステップＳ１０２からステップＳ１０５の繰り返しの復元処理を行い、復元既知画像データ「Ｓｉ０＋ｎ」を生成する（ステップＳ２０３）。
【００５３】
次いで、補正量取得手段において、復元既知画像データ「Ｓｉ０＋ｎ」と既知画像データ「Ｓｉｍｇ」とを比較し、復元既知画像データ「Ｓｉ０＋ｎ」を既知画像データ「Ｓｉｍｇ」に補正するのに必要な補正量データ「ｄ」を求める補正量取得処理が行われる（ステップＳ２０４）。そして、撮影された実撮影画像データ「ｉｍｇ’」に関し、図４に示すステップＳ１０２からステップＳ１０５の繰り返しの復元処理を行い（ステップＳ２０５）、補正手段において、ステップＳ２０５の復元処理で求められた復元画像データ「ｉ０＋ｎ」に対し、ステップＳ２０４で求めた補正量の補正を行い、補正復元画像データ「ｄｉ０＋ｎ」を生成する（ステップＳ２０６）。この補正復元画像データ「ｄｉ０＋ｎ」は、補正量データ「ｄ」により復元画像データ「ｉ０＋ｎ」が理想撮影画像データ「ｉｍｇ」に近づくように補正されたものとなっている。なお、ステップＳ２０５の処理は、ステップＳ２０１からＳ２０４の処理の前、またはこれに併行して行うようにしてもよい。
【００５４】
上述の補正量の算出（ステップＳ２０４）と復元画像データ「ｉ０＋ｎ」の補正（ステップＳ２０６）は、例えば、図６、図７に示すように周波数空間において行うことができる。先ず、図６を参照しながら、補正量の算出（ステップＳ２０４）について説明する。
【００５５】
既知画像データ「Ｓｉｍｇ」は、フーリエ変換されることにより複素平面上では、例えば、Ｉｓ↑として表わすことができる。また、既知画像データ「Ｓｉｍｇ」を変化要因情報「ｇ」により変化させた変化既知画像データ「Ｓｉｍｇ’」は、フーリエ変換されることにより複素平面上では、例えば、Ｂｓ↑で表わすことができるものとする。そして、変化既知画像データ「Ｓｉｍｇ’」（Ｂｓ↑）に対して図４のステップＳ１０２からステップＳ１０５の繰り返しの復元処理を行って生成された復元画像データ「Ｓｉ０＋ｎ」は、複素平面上では、例えば、Ｒｓ↑で表わされるものとする。なお、「↑」は、ベクトルを表わしている。以下の説明においても同様に「↑」はベクトルを表すものとする。
【００５６】
このように、復元画像データ「Ｓｉ０＋ｎ」と既知画像データ「Ｓｉｍｇ」をそれぞれフーリエ変換し複素平面上で表すと、これらの各画像データを周波数空間における振幅と位相で表現できる。そして、Ｒｓ↑をＩｓ↑に補正する補正量データ「ｄ」を、Ｒｓ↑とＩｓ↑の振幅の比である補正比Ｍと位相のずれ量である位相補正量δθとを、それぞれ式（３）と式（４）として求めることが出来る。
Ｍ＝｜Ｉｓ↑｜／｜Ｒｓ↑｜  ・・・（３）
δθ＝θＩｓ−θＲｓ  ・・・  （４）
そして、この補正量データ「ｄ」は、実撮影画像データ「ｉｍｇ’」についての復元画像データである復元画像データ「ｉ０＋ｎ」と理想撮影画像データ「ｉｍｇ」との間にも等しく存在するものと考えられる。
【００５７】
そこで、復元画像データ「ｉ０＋ｎ」に対して、補正量データ「ｄ」（補正比Ｍと位相補正量δθ）の補正をした画像データである補正復元画像データ「ｄｉ０＋ｎ」を、復元画像データ「ｉ０＋ｎ」よりも復元の程度が高められた画像データとして求める。このことを図７を参照しながら説明する。
【００５８】
実撮影画像データ「ｉｍｇ’」は、フーリエ変換されることにより複素平面上では、例えば、Ｂｒ↑で表されるとする。この実撮影画像データ「ｉｍｇ’」（Ｂｒ↑）に対して図４に示すステップＳ１０２からステップＳ１０５の繰り返しの復元処理を行って生成された復元画像データ「ｉ０＋ｎ」は、フーリエ変換により複素平面上では、例えば、Ｒｒ↑で表わされるとする。そして、復元画像データ「ｉ０＋ｎ」（Ｒｒ↑）に対して、補正量データ「ｄ」の補正、すなわち、補正比Ｍと位相補正量δθの補正をした画像データが補正復元画像データ「ｄｉ０＋ｎ」として、複素平面上でＩｒ↑として表されている。すなわち、補正復元画像データ「ｄｉ０＋ｎ」（Ｉｒ↑）の振幅｜Ｉｒ↑｜と位相θＩｒは、それぞれ次の式（５）、（６）に基づいて求められる。
｜Ｉｒ↑｜＝Ｍ｜Ｒｒ↑｜  ・・・  （５）
θＩｒ＝θＲｒ＋δθ  ・・・  （６）
そして、式（５），（６）で表される振幅と位相の補正復元画像データ「ｄｉ０＋ｎ」（Ｉｒ↑）を逆フーリエ変換することで、画像空間における補正復元画像データ「ｄｉ０＋ｎ」を求めることができる。この補正復元画像データ「ｄｉ０＋ｎ」は、復元画像データ「ｉ０＋ｎ」よりも理想撮影画像データ「ｉｍｇ」に近い復元の程度が高められた画像データとなっている。
【００５９】
なお、復元画像データ「ｉ０＋ｎ」から補正復元画像データ「ｄｉ０＋ｎ」を求める手法は、次のようにしてもよい。図６に示すように、  Ｒｓ↑をＩｓ↑に補正する補正量データ「ｄ」は、補正比Ｍと位相補正量δθとして求める他、Ｒｓ↑をＩｓ↑に補正する補正ベクトルｄ↑として求めることができる。したがって、図８に示すように、復元画像データ「ｉ０＋ｎ」（Ｒｒ↑）を補正ベクトルｄ↑で補正することで、補正復元画像データ「ｄｉ０＋ｎ」（Ｉｒ↑）を求めるようにしてもよい。
【００６０】
以上は、図４に示す繰り返しの復元処理で求めた復元画像データ「ｉ０＋ｎ」に補正処理を行う例を説明したものであるが、撮影画像データ「ｉｍｇ’」に対して伝達関数の逆変換を行うことで復元した画像データ、あるいはウィーナフィルタ、一般逆フィルタ等の手法で復元した画像データに上述の補正処理を行い、補正復元画像データ「ｄｉ０＋ｎ」を求めるようにしてもよい。
【００６１】
ここでは伝達関数の逆変換を行うことで復元した画像データを例にとって説明をすることとする。この場合、実撮影画像データ「ｉｍｇ’」と理想撮影画像データ「ｉｍｇ」との関係は、伝達関数をＧとすると、周波数空間においては、式（９）のように表される。
Ｉｍｇ’＝Ｉｍｇ×Ｇ  ・・・  （９）
Ｉｍｇ’：ｉｍｇ’をフーリエ変換した実撮影画像データである。
Ｉｍｇ：ｉｍｇをフーリエ変換した理想撮影画像データである。
【００６２】
また、式（９）を変形した下記の式（１０）によれば、実撮影画像データ「Ｉｍｇ’」から理想撮影画像データ「Ｉｍｇ」を求めることができる。すなわち、実撮影画像データ「Ｉｍｇ’」から理想撮影画像データ「Ｉｍｇ」を復元することができる。
Ｉｍｇ＝Ｉｍｇ’／Ｇ  ・・・  （１０）
【００６３】
しかしながら、上述の「背景技術」の欄で説明したように、伝達関数が、ノイズやぶれ情報誤差等の影響を受け、「発明が解決しようとする課題」の欄で説明したように、撮影画像における劣化によって非常に小さくなってしまった情報については、復元処理を行うことにより、求めようとする劣化のない理想的な撮影画像との誤差がかえって拡大してしまうことがある。そのため、実撮影画像データ「Ｉｍｇ’」を式（１０）により復元した復元画像は、多くの場合、理想撮影画像データ「Ｉｍｇ」に復元しない。また、例えば、流し撮りが行われたような場合には、周波数空間において伝達関数Ｇが非常に小さくなってしまい、この場合にも、実撮影画像データ「Ｉｍｇ’」を式（１０）により復元した復元画像は、多くの場合、理想撮影画像データ「Ｉｍｇ」に復元しない。そこで、次のようにして、式（１０）により求めた復元画像の補正を行うことで、復元画像の復元の程度を高めることができる。
【００６４】
先ず、式（９）において、理想撮影画像データ「Ｉｍｇ」を任意の既知の画像データとし、この任意の既知画像データ「Ｉｍｇ」を伝達関数Ｇで変化させた変化既知画像データ「Ｉｍｇ’」を求める。そして、この変化既知画像データ「Ｉｍｇ’」に対して式（１０）により伝達関数Ｇの逆変換を行い、復元既知画像データ「Ｉｍｇ」を求める。
【００６５】
本来であれば、式（１０）により復元された復元既知画像データ「Ｉｍｇ」は、逆変換の対象となっている変化既知画像データ「Ｉｍｇ’」の元の画像である既知画像データ「Ｉｍｇ」と等しくなるはずである。しかしながら、伝達関数に含まれるノイズ等の影響で、伝達関数Ｇが周波数空間において非常に小さくなっている周波数帯域がある場合には、実撮影画像データが非常に小さくなってしまっている周波数帯域における実撮影画像データを、非常に小さな伝達関数Ｇで割算することになり、数式としては式（１０）のように表されても、実際の数値で計算すると誤差が非常に大きくなり、復元既知画像データ「Ｉｍｇ」は、既知画像データ「Ｉｍｇ」と等しくならない。この復元既知画像データ「Ｉｍｇ」を既知画像データ「Ｉｍｇ」に補正するのに必要な補正量は、実撮影画像データ「Ｉｍｇ’」について式（１０）により求めた復元画像データを理想撮影画像データ「Ｉｍｇ」に補正する補正量に相当すると考えられる。したがって、実撮影画像データ「Ｉｍｇ’」について式（１０）により求めた復元画像データに対して、該補正量の補正を行うようにしても、復元画像データの復元の程度を高めることができる。
【００６６】
以上に説明した実施の形態の説明の中では、変化要因情報保存部７に保存されている情報を利用しなかったが、ここに保存されている既知の変化要因、たとえば光学収差やレンズのひずみ等のデータを使用するようにしても良い。また、この変化要因情報保存部７を設置しないようにして、撮影時の動的要因、たとえばぶれのみで画像を修正したり復元したりしても良い。
【００６７】
以上、本発明の実施の形態に係る画像処理装置１について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部４で行った処理は、ソフトウエアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。
【００６８】
また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ、ＤＶＤ、ＵＳＢメモリに入れられ、コンピュータによって読み通り可能とされても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置１の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。
【図面の簡単な説明】
【００６９】
【図１】本発明の実施の形態に係る画像処理装置の主要構成を示すブロック図である。
【図２】図１に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。
【図３】図１で示す画像処理装置で行う処理方法の概念を説明するための図である。
【図４】図１に示す画像処理装置の処理部で行う処理方法（処理ルーチン）であって基本的な考え方を説明するためのフローチャートである。
【図５】図１で示す画像処理装置で行う補正処理について説明するためのフローチャートである。
【図６】図１で示す画像処理装置で行う補正量の算出と復元画像データの補正の概念を説明する図である。
【図７】図１で示す画像処理装置で行う実撮影画像データについての補正量の算出と復元画像データの補正の概念を説明する図である。
【図８】図１で示す画像処理装置で行う実撮影画像データについての補正量の算出と復元画像データの補正を差分のベクトルで処理するときの概念を説明する図である。
【符号の説明】
【００７０】
１  ・・・  画像処理装置
４  ・・・  処理部（既知画像変化手段、変化既知画像復元手段、補正量取得手段、補正手段）
ｇ  ・・・  変化要因情報
ｉ０  ・・・  変化画像データ
ｉ０＋ｎ  ・・・  復元画像データ
ｄ  ・・・  補正量
ｄ↑  ・・・  差分ベクトル
Ｓｉｍｇ  ・・・  既知画像データ
Ｓｉｍｇ’  ・・・  変化既知画像データ
Ｓｉ０＋ｎ  ・・・  復元既知画像データ
【図１】
0005247169.tif 000002
【図２】
0005247169.tif 000003
【図３】
0005247169.tif 000004
【図４】
0005247169.tif 000005
【図５】
0005247169.tif 000006
【図６】
0005247169.tif 000007
【図７】
0005247169.tif 000008
【図８】
0005247169.tif 000009