(57)【特許請求の範囲】
【請求項１】
処理対象画像を補正して得られる補正画像における着目画素に対応する位置を、前記処理対象画像内で特定する特定手段と、
前記特定された位置における画像の変形量を算出する第１の算出手段と、
前記特定された位置と、該位置の近傍の前記処理対象画像の画素との距離に基づく補間位相を算出する第２の算出手段と、
前記処理対象画像における前記特定された位置の周辺画素を用いた補間処理により、前記着目画素の画素値を算出する補正手段と
を備え、
前記補正手段は、前記変形量及び前記補間位相に応じた係数が決定された補間フィルタを用いて前記補間処理を行い、
前記補間位相により示される前記距離が大きくなるほど、前記補間フィルタの周波数応答特性の補償量を大きくするように前記係数が決定されることを特徴とする画像処理装置。
【請求項２】
前記第１の算出手段は、前記特定手段が前記処理対象画像内で特定した、前記補正画像における第１の領域の複数の頂点を構成する画素に対応する位置で規定される第２の領域に基づき、前記第１の領域と前記第２の領域を比較して前記変形量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変形量により示される前記第１の領域の前記第２の領域からの拡大率が大きくなるほど、前記補間フィルタの周波数応答特性の補償量を大きくすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特定された位置における画像が高周波成分を有するほど、前記補間フィルタの周波数応答特性の補償量を大きくすることを更に特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記特定された位置における複数の光線面において空間周波数応答特性が低くなるほど、周波数応答特性の補償量を大きくすることを更に特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記特定された位置における画像が高周波成分を有するほど、前記補間フィルタの周波数応答特性の補償量を大きくするように前記係数が決定されることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記特定された位置における複数の光線面において空間周波数応答特性が低くなるほど、前記補間フィルタの周波数応答特性の補償量を大きくするように前記係数が決定されることを更に特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記補間フィルタの周波数応答特性の補償量を大きくするために、前記補間フィルタのタップ数を増加することを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
【請求項９】
前記特定手段は、前記処理対象画像を生成した光学系の収差量に基づき決定された、前記補正画像の各画素に対応する前記処理対象画像における位置を特定する関数に基づき、前記着目画素に対応する位置を特定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記特定手段は、前記処理対象画像が生成された際の前記画像処理装置の姿勢の変化に応じて決定されたホモグラフィ行列に基づき、前記着目画素に対応する位置を特定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１１】
請求項１乃至１０のいずれか１項に記載の画像処理装置と、
被写体を撮像して処理対象画像を生成する撮像素子と
を備えることを特徴とする撮像装置。
【請求項１２】
処理対象画像を補正して得られる補正画像における着目画素に対応する位置を、前記処理対象画像内で特定する特定工程と、
前記特定された位置における画像の変形量を算出する第１の算出工程と、
前記特定された位置と、該位置の近傍の前記処理対象画像の画素との距離に基づく補間位相を算出する第２の算出工程と、
前記処理対象画像における前記特定された位置の周辺画素を用いた補間処理により、前記着目画素の画素値を算出する補正工程と
を備え、
前記補正工程では、前記変形量及び前記補間位相に応じた係数が決定された補間フィルタを用いて前記補間処理が行われ、
前記補間位相により示される前記距離が大きくなるほど、前記補間フィルタの周波数応答特性の補償量を大きくするように前記係数が決定されることを特徴とする画像処理方法。
【請求項１３】
コンピュータを請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、撮像装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年のデジタルビデオカメラ、デジタルカメラ（以下カメラと称する）では、撮像センサや信号処理の技術向上により、より高画質な映像を得られるようになってきている。また、歪曲収差やカメラの姿勢変化の補正は、光学系の小型低コスト設計や、カメラ本体の小型化に伴って大きくなる傾向があり、動画、静止画を問わず、より自然で安定した映像の取得や、複数枚画像の合成処理のために、重要度の高い技術として注目されている。レンズの歪曲収差情報、あるいはカメラの姿勢変化情報を取得することにより、着目画素に対する幾何変形量を画素毎に与えることで、信号処理による歪曲収差補正やブレ補正を実現できる。
【０００３】
しかしながら、補間演算による幾何変形信号処理では、着目領域の幾何変形量や画素補間処理に伴い、周波数応答特性の劣化が画面内に不均一かつ複雑に分布するため、補正後の解像感に違和感を生じやすくなる。このような問題に対し、歪み補正データに基づいて解像感を補償する技術としては、特許文献１及び２がある。
【０００４】
特許文献１では、レンズを介した撮影により得られたデジタル画像データに含まれる光学歪みをディストーション補正回路によって補正する。その際、光学歪みの補正量が大きくなるほど補正量が大きくなるように補正係数（ゲイン）をＣＰＵによって設定する。また、輪郭補正回路により、光学歪みが補正されたデジタル画像データに対し、ＣＰＵによって設定された補正係数を用いて輪郭補正を行う。
【０００５】
特許文献２では、信号処理部における歪み補正回路の前段部において、歪み補正データから得られる現座標の歪み補正量を考慮してアパコン信号を付加する帯域をシフトさせる。また、歪み補正回路の後段部において、歪み補正により削られたアパコン信号を補償するために、歪み補正データを用いて適切なゲイン値を算出して補正する。画像歪み補正を用いたカメラシステムにおいて、部分的な倍率変換を行なった画像に起こる解像感の不均一を、歪み補正データを用いたアパコン信号の調節により均一に補正する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2005-286621号公報
【特許文献２】特開2008-146155号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１や特許文献２における局所的な倍率変形量だけでは、補正処理後の補間画像の周波数応答特性劣化分布は判断できず、またカメラの姿勢変化による幾何変形処理は考慮されていない。
【０００８】
そこで、本発明は、補間演算の周波数応答特性を制御して、画面内に不均一に生じた周波数応答特性劣化を抑制した補正処理を実現する。
【課題を解決するための手段】
【０００９】
上記課題を解決するための本発明は、画像処理装置であって、
処理対象画像を補正して得られる補正画像における着目画素に対応する位置を、前記処理対象画像内で特定する特定手段と、
前記特定された位置における画像の変形量を算出する第１の算出手段と、
前記特定された位置と、該位置の近傍の前記処理対象画像の画素との距離に基づく補間位相を算出する第２の算出手段と、
前記処理対象画像における前記特定された位置の周辺画素を用いた補間処理により、前記着目画素の画素値を算出する補正手段とを備え、
前記補正手段は、前記変形量及び前記補間位相に応じた係数が決定された補間フィルタを用いて前記補間処理を行い、
前記補間位相により示される前記距離が大きくなるほど、前記補間フィルタの周波数応答特性の補償量を大きくするように前記係数が決定されることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、補間演算の周波数応答特性を制御して、画面内に不均一に生じた周波数応答特性劣化を抑制した補正処理を実現することができる。
【図面の簡単な説明】
【００１１】
【図１】発明の実施形態１に対応する画像処理装置の構成例を示すブロック図
【図２】発明の実施形態１の画像処理装置の処理の一例を示すフローチャート
【図３】発明の実施形態２に対応する画像処理装置の構成例を示すブロック図
【図４】発明の実施形態２の画像処理装置の処理の一例を示すフローチャート
【図５】画像の歪みの例を説明するための図
【図６】発明の実施形態に対応する、幾何変形量の算出方法を説明するための図
【図７】発明の実施形態に対応する、補間フィルタのウィンドウ関数の幅ごとの特性を一例として示す図
【図８】発明の実施形態に対応する、補間フィルタの補間位相ごとの特性を一例として示す図
【図９】発明の実施形態に対応する、補間フィルタのウィンドウ関数の応答特性を一例として示す図
【図１０】レンズの光線面による解像感の変化を説明するための図
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照しながら発明の実施形態を説明する。
【００１３】
［実施形態１］
図１に、発明の第１の実施形態に対応する画像処理装置の構成例を示す。画像処理装置１０は被写体像を形成する光学系１０１を有し、光学系１０１内部には光軸とは異なる方向に駆動可能なブレ補正レンズ１０２が配置されている。撮像素子１０３は、光学系１０１により形成された被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサ等である。また、撮像素子１０３から出力される電気信号から映像信号を形成する現像処理部１０４は、不図示のＡ／Ｄ変換部、オートゲイン制御部（ＡＧＣ）、オートホワイトバランス部を含み、デジタル信号を形成する。
【００１４】
画像処理装置１０では、撮像素子１０３及び現像処理部１０４により、画像の取得を行う撮像系が構成される。メモリ１０５は、現像処理部１０４により形成された映像信号の１フレーム又は複数のフレーム画像を一時的に記憶保持する。収差情報記憶部１０６は、焦点距離、物体距離などの光学パラメータによって変化する収差量を、像高方向に複数保持する。収差補正処理制御部１０８は、収差情報記憶部１０６から出力される現在の光学パラメータでの収差量に基づいて、幾何変形パラメータ推定部１０９を制御する。
【００１５】
幾何変形パラメータ推定部１０９は、収差補正処理制御部１０８の指示に従い、光学系１０１の収差の補正量を、幾何変形パラメータとして出力する。変形量算出部１０７は、幾何変形パラメータ推定部１０９から出力される幾何変形パラメータを基に、着目画素位置における変形量、及び、補間位相を算出し、補間フィルタ係数を決定する。幾何変形処理部１１０は、幾何変形パラメータ推定部からの指示による幾何変形パラメータ、及び変形量算出部１０７からの指示による補間フィルタ係数に基づいて、フレーム画像に対して光学系１０１の収差を補正するための幾何変形処理を行い、メモリ１０５に画像を書き出す。画像記録部１１１は、収差補正処理の施された画像を記録媒体に記録し、画像表示部１１２は光学系１０１の収差補正の施された映像を不図示のディスプレイへ表示する。
【００１６】
当該画像処理装置は、例えばデジタルカメラ、デジタルビデオカメラにおいて実現することができる。また、それ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末などの任意の情報処理端末或いは撮像装置として実現することもできる。また、図１の画像処理装置１０において、撮像素子１０３のような物理的デバイスを除き、各機能ブロック部は専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。
【００１７】
画像処理装置１０における幾何変形処理制御について、図２に示すフローチャートを用いて詳細に説明する。該フローチャートに対応する処理は、例えば、それぞれの機能ブロック部として機能するプロセッサ（CPU或いは専用プロセッサを含む）が対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。
【００１８】
Ｓ２０１では、収差補正処理制御部１０８が、現在の光学パラメータのうち、収差情報記憶部１０６に保持された像高方向に対する収差量を取得する。メモリ容量節約のために収差量は離散的に保持されていていてもよい。なお、その場合は、保持されていない収差量を、時間的に近傍の収差量から補間演算して求めることができる。
【００１９】
Ｓ２０２では、幾何変形パラメータ推定部１０９が、Ｓ２０１で得られた光学系１０１の収差量に基づいて、幾何変形パラメータを推定する。この幾何変形パラメータにつき、例えば収差量に基づく幾何学的変位量を、画像中心（光学中心）からの距離ｄの多次元関数Ｆ（ｄ）として近似表現することができる。当該多次元関数Ｆ（ｄ）は収差量に応じて決定される。ここで幾何学的歪みを補正した後の補正画像における画素の座標を（ｘ、ｙ）（ｘ、ｙは整数）、これに対応する補正前の処理対象画像の座標を（Ｘ，Ｙ）とすると、（Ｘ，Ｙ）は、ｘ、ｙ及びＦ（ｄ）を用いて以下のように求めることができる。
（Ｘ，Ｙ）＝（ｘ×Ｆ（ｄ）、ｙ×Ｆ（ｄ））、ｄ＝（ｘ2＋ｙ2）1/2    （式１）
【００２０】
このようにして補正画像の座標（ｘ、ｙ）に対応する補正前の処理対象画像の座標（Ｘ、Ｙ）を求めたら、該処理対象画像における座標（Ｘ、Ｙ）にある画素値を補正画像の座標（ｘ、ｙ）に移動する。これにより幾何学的歪みの補正を行うことが可能となるが、上記式により求めた処理対象画像の座標（Ｘ、Ｙ）は整数値にならない場合があり、その場合、処理対象画像には対応する画素値が存在しない。本実施形態では、この場合の座標（Ｘ、Ｙ）と近傍の画素との関係を、後述するように補間位相として数値化する。
【００２１】
なお、光学系１０１の収差量ΔＨは、像高に応じた画素位置の変化を示しており、歪曲率をD、撮像素子１０３のセルピッチをCp、理想像高をH、実像高をH'とすると、
ΔＨ＝（Ｈ−Ｈ'）／Ｃｐ＝（−Ｄ／１００）Ｈ／Ｃｐ      （式２）
と表すことができる。歪曲収差のない光学系１０１であれば、結像して得られる画像は図５（A）のようになるが、歪曲収差を持つ場合は、例えば図５（B）のように被写体像が歪んで結像することになる。
【００２２】
次にステップＳ２０３では、変形量算出部１０７が着目座標ｐ周辺の領域の幾何変形量を算出する。図６（Ａ）は、幾何変形を補正した後の補正画像における着目座標ｐとその周辺画素n1、n2、n3、n4を示す。ここで周辺画素n1、n2、n3、n4は、所定の矩形形状の頂点を構成している。n1からn4までの各周辺画素は着目座標pから±dx、±dyだけ離れて位置する画素であり、補正前の処理対象画像内では歪曲収差により周辺画素n1、n2、n3、n4で規定される矩形の形状及び大きさが変化している。変形量算出部１０７は、補正後の周辺画素n1からn4までの座標を用いて上記式１に基づき補正前の画像における周辺画素r1、r2、r3、r4の位置（周辺画素位置）を特定する。そして、r1からr4で規定される領域とn1からn4で規定される領域との対比により幾何変形量を算出する。幾何変形量は、周辺画素n1、n2、n3、n4で規定される領域が周辺画素r1からr4で規定される領域からどの程度拡大（又は縮小）されているかを示す拡大率を示すパラメータとして算出される。
【００２３】
図６（Ｂ）及び図６（Ｃ）は、幾何変形量の計算結果の一例を説明するための図であり、補正後の画像における周辺画素n1、n2、n3、n4に対応する補正前画像の周辺画素の位置は、それぞれr1、r2、r3、r4となる。まず図６（Ｂ）の場合、幾何学的歪みを解消するための幾何変形量は拡大となり、一方図６（Ｃ）の場合、幾何変形量は縮小となる。本実施形態では、変形量を、例えば変形前後の周辺画素で規定される形状の面積の差分を計算することにより数値化することができる。
【００２４】
また、ステップＳ２０４では、変形量算出部１０７が着目座標pの補間位相を算出する。補間位相を算出するために、まず補正後の画像における着目座標pに対応する着目座標ｐ'を補正前の画像において式１に従い算出する。ここで算出された着目座標ｐ'は、補正前の画像におけるいずれかの画素上に位置する場合もあるし、画素からずれて位置する場合もある。変形量算出部１０７は、算出された着目座標ｐ'とその隣接画素の座標との距離を算出し、当該距離に基づき着目座標ｐの補間位相を算出する。補間位相は、例えば画素間の距離を単位として算出することができる。例えば、着目座標ｐ'が補正前の画像のいずれかの画素の座標に一致する場合は０画素となる。一方、２つの画素の中間（画素間距離の１／２）に位置する場合は０．５画素となる。中間よりもいずれかの画素に近い場合（画素間距離の１／４）は例えば、０．２５画素となる。
【００２５】
続くＳ２０５では、Ｓ２０３で求めた幾何変形量とＳ２０４で求めた補間位相から、変形量算出部１０７が、幾何変形処理部１１０が使用する補間フィルタの係数を決定する。まず、幾何変形量に基づく補間フィルタ係数の決定に関し図７を参照して説明する。図７（Ａ１）、（Ｂ１）及び（Ｃ１）は補間フィルタの係数関数の一例を、着目座標ｐ'からの距離で示す図である。また、図７（Ａ２）、（Ｂ２）及び（Ｃ２）は対応する補間フィルタの周波数応答特性を示すグラフである。
【００２６】
（Ａ１）から（Ｃ１）に示すように補間フィルタはsinc関数にウィンドウ関数をかけて有限タップに打ち切った補間関数で決定される。着目座標p周辺の領域の幾何変形量が、図６（Ｂ）のように拡大である場合、補間処理によって生成される画像は高周波成分が低下するため、周波数応答特性の低下が顕在化しやすい。逆に、着目座標p周辺の領域の幾何変形量が、図６（Ｃ）のように縮小である場合、補間処理によって生成される画像は、周波数応答特性の低下が顕在化しにくい。このため、変形量算出部１０７は、幾何変形量が拡大されるにつれて、図７（Ａ１）のように、補間フィルタのウィンドウ関数の幅を広げ、幾何変形量が縮小されるにつれて、図７（Ｃ１）のように、補間フィルタのウィンドウ関数の幅を狭める。このようにウィンドウ関数の幅を滑らかに変化させることで各画素の係数も滑らかに変化し、図７（Ａ２）から（Ｃ２）に示すように幾何変形量に対して補間フィルタの周波数応答特性を滑らかに変化させることができる。また、タップ数を多くすることで周波数応答の補償量を大きくすることができる。
【００２７】
なお、ウィンドウ関数の幅は、フィルタのタップ数により定義することができる。例えば本実施形態では、タップ数を６、４、２の３段階で設定することができる。またタップ数を決定するための閾値Ｔｈｔｐ１、Ｔｈｔｐ２（Ｔｈｔｐ１＞Ｔｈｔｐ２）を設定し、幾何変形量と閾値とを比較し、幾何変形量がＴｈｔｐ１以上の場合、タップ数を６とすることができる。また、幾何変形量がＴｈｔｐ１、Ｔｈｔｐ２の間の値を取る場合にはタップ数を４とし、幾何変形量がＴｈｔｐ２以下の場合はタップ数を２とすることができる。なお、フィルタのタップ数は６のままであったとしても、両端のタップに入力する画素値を０とすれば、タップ数が４の場合と同じ効果を得ることができ、両側の端から２つ目までのタップに入力する画素値を０とすれば、タップ数が２の場合と同じ効果を得ることができる。
【００２８】
次に補間位相に基づく補間フィルタの応答特性に関し図８を参照して説明する。図８（Ａ１）、（Ｂ１）及び（Ｃ１）は、６タップの補間フィルタを着目座標ｐ'の隣接画素に適用した例を示す図である。また、図８（Ａ２）、（Ｂ２）及び（Ｃ２）は対応する補間フィルタの周波数応答特性を示すグラフである。図８（Ａ１）は、着目座標ｐ'が画素間距離の半分（１／２）の位置で特定された場合、即ち着目座標pの補間位相が０．５画素の場合を示しており、着目座標p'の位置に画素は存在しないため近傍画素のみを用いて補間処理が行われる。この場合、補間フィルタの周波数応答特性は、図８（Ａ２）のように大きく低下してしまう。図８（Ｂ１）は、着目座標ｐ'が画素の中間よりも右画素寄り、即ち着目座標pの補間位相が０．２５画素の場合を示しており、着目座標p'の位置に画素は存在せず、近傍画素のみを用いて補間処理が行われる。この場合、補間フィルタの周波数応答特性は図８（Ｂ２）、図８（Ａ２）の場合と比べると低下の度合いは低いが、依然として低下している。図８（Ｃ１）は、着目座標ｐ'が画素の位置と一致する場合、即ち補間位相が０画素の場合を示しており、着目座標p'の位置の画素とその近傍の画素を用いて補間処理が行われる。この場合、補間フィルタの周波数応答特性は安定し、全く低下しない。
【００２９】
そこで、本実施形態では変形量算出部１０７は、補間位相が０．５画素（画素間距離の１／２）に近づくにつれて、図９（Ａ１）のように、補間フィルタのウィンドウ関数の応答特性を高応答のものに変化させる。一方、補間位相が０画素に近づくにつれて、図９（Ｃ１）のように、補間フィルタのウィンドウ関数の応答特性を低応答のものに変化させる。なお、補間位相は絶対値で表され０から０．５までの値を取りえる。補間位相が０．２５画素（画素間距離の１／４）の場合は、図９（Ｂ１）のように、補間フィルタのウィンドウ関数を中間の応答特性を有するものにする。このようにウィンドウ関数の応答を滑らかに変化させることで、各画素の係数が滑らかに変化し、補間位相に対して補間フィルタの周波数応答特性も滑らかに変化させることができる。図９（Ａ２）、（Ｂ２）及び（Ｃ２）は、補間位相に対して変更した補間フィルタのウィンドウ関数の周波数応答特性を示すグラフである。補間フィルタの係数を変更することで、特定の帯域の周波数応答の補償量を調整することができる。
【００３０】
続くＳ２０６では、幾何変形処理部１１０において、ステップＳ２０２で得られた幾何変形パラメータ、及び、ステップＳ２０６で得られた補間フィルタ係数を用いて、メモリ１０５が格納する補正前の画像に幾何変換処理を施して歪曲収差補正を行う。具体的に当該補正においては、まず補正後の画像における着目画素ｐ（x, y）の補正前の画像における座標(X, Y)を式１の幾何変形パラメータにより算出する。次に、座標(X, Y)の画素値をＳ２０６で決定した補間フィルタ係数に基づき算出する。具体的にタップ数に対応する画素のそれぞれに補間フィルタ係数を乗じた結果の総和を算出し、これを着目画素ｐの画素値とする。同様の処理を補正後の画像を構成する全ての画素について実行することで、歪曲収差補正が完了する。なお、上記ではＳ２０３における変形量の算出の後にＳ２０４の補間位相の算出を行う順で説明したが、両算出処理は並列に行われても良い。
【００３１】
以上説明したように、光学系１０１の歪曲特性に応じた補間処理を施す際に、補間処理による画質劣化に応じて補間演算の周波数応答特性を制御することで、画面内に不均一に生じた周波数応答特性劣化を抑制した歪曲収差補正を実現することができる。なお、図示しない画像の高周波成分抽出部により、被写体における周波数成分が高周波であるほど、補間フィルタのタップ数を増加してウィンドウ関数の幅を広げるように、あるいはウィンドウ関数の応答特性を高応答にするように、更に制御してもよい。
【００３２】
また、収差情報記憶部１０６は、図１０（Ａ）、（Ｂ）に示すように、例えばメリジオナル面（図中のＭ）とサジタル面（図中のＳ）といった複数の光線面それぞれにおける空間周波数応答特性情報を持つことができる。図１０（Ａ）は、レンズの光線面によるMTFを示しており、横軸は像高を示し、原点が中心で、右に向かうほど端部に近づく。縦軸はコントラストを示し1.0は最大コントラストを示す。"S"は放射方向（サジタル：sagittal）で、メリジオナル面に対して垂直で、かつ、主光線を含む面である。サジタル面内を伝搬する光線の経路は、メリジオナル面に対して対称となる。"M"は同心方向（メリジオナル：meridional）で、物点と光軸を含む面である。図１０（Ｂ）は、レンズの光線面による解像感の変化を、サジタル面とメリジオナル面について示している。図１０に示すように画像の端部に行くほど、メリジオナル面とサジタル面とでコントラストにずれが生じ空間周波数応答特性が低下する傾向がある。そこで、空間周波数応答特性が低いほど、補間フィルタのウィンドウ関数の幅を広げるように、あるいはウィンドウ関数の応答が高くなるように、更に制御してもよい。
【００３３】
［実施形態２］
次に発明の第２の実施形態について説明する。図３に、発明の第２の実施形態に対応する画像処理装置の構成例を示す。画像処理装置３０において、図１と同一の参照番号を付した機能ブロックは実施形態１の画像処理装置における対応する機能ブロックと同様に機能する。本実施形態の画像処理装置３０は、画像処理装置１０における収差情報記憶部１０６及び収差補正処理制御部１０８の代わりに、姿勢変化検出部３０１と防振処理制御部３０２とを有する点に特徴がある。よって以下では、画像処理装置１０と同様の構成及び動作については説明を省略し、画像処理装置３０に特有の構成及び動作について説明する。
【００３４】
まず、姿勢変化検出部３０１は、手ぶれやカメラワーク等の撮像装置の動きを取得するジャイロセンサ等の検出装置で構成される。防振処理制御部３０２は、姿勢変化検出部３０１の姿勢変化情報に基づいて、補正レンズ駆動部１１３及び幾何変形パラメータ推定部１０９を制御する。幾何変形パラメータ推定部１０９は、防振処理制御部３０２からの指示に従い、フレーム画像間のぶれの動きを、幾何変形パラメータとして出力する。
【００３５】
画像処理装置３０における幾何変形処理制御について、図４に示すフローチャートを用いて詳細に説明する。該フローチャートに対応する処理は、例えば、それぞれの機能ブロック部として機能するプロセッサ（CPU或いは専用プロセッサを含む）が対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。なお、本実施形態に特有の処理はＳ４０１とＳ４０２であり、残りのステップは使用する幾何変形パラメータが異なる以外は実施形態１と同様の処理を実行するため、図２との対応を取るため参照番号Ｓ２０３からＳ２０６を使用している。
【００３６】
Ｓ４０１では、姿勢変化検出部１０６が画像処理装置３０の動き情報を取得する。動き情報取得の一例としてジャイロセンサを使用した場合には、画像処理装置３０のYaw、Pitch、Roll方向の動き情報を得ることが出来る。ここでは動き情報を取得するためにジャイロセンサを用いる場合を述べたが、特にこれに限られるものではなく、画像処理装置３０の動き情報を得られるその他の機構を用いても良い。
【００３７】
次にＳ４０２では、幾何変形パラメータ推定部１０９が、Ｓ４０１で得られた画像処理装置３０の姿勢変化量に基づきフレーム画像間の幾何変形パラメータを推定する。ぶれのない場合であれば、結像して得られる画像は図５（Ｄ）のようになるが、ぶれのある場合は、例えば図５（Ｅ）のように被写体像が歪んで結像することになる。本実施形態では、幾何変形パラメータとしてホモグラフィ行列と呼ばれる３×３の行列式を用いる場合について説明する。まず、画像上のある点ａ、
ａ＝[ｘ、ｙ、１]T        （式３）
が次フレームにおいて点ａ′、
ａ'＝[ｘ'、ｙ'、１]T        （式４）
に移動したとする。ここで、添え字Ｔは転置行列であること示す。式の点ａと式４の点ａ′の対応関係は、ホモグラフィ行列Ｈを用いることにより、
ａ'＝Ｈａ       （式５）
と表すことができる。ホモグラフィ行列Ｈは画像間の並進、回転、変倍、せん断、あおりによる変形量を示す行列式であり、以下の式により表すことができる。
0006491445.tif 000002
ホモグラフィ行列Ｈの各要素は、Ｓ２０１で得られる画像処理装置３０の姿勢変化量により決定することができる。
【００３８】
ここで、式６のホモグラフィ行列Ｈでは、パラメータｈ１３、ｈ２３が並進の動き成分、ｈ１１、ｈ１２、ｈ２１、ｈ２２が回転、変倍、せん断の動き成分を表し、ｈ３１、ｈ３２があおりの動き成分を表している。あおりの動き成分までを防振の対象とする場合には上記の８個のパラメータ全てを推定しなければならないため、８自由度の最小二乗法を使用する必要がある。回転の動き成分までを防振の対象とする場合には、あおりの動き成分を表すパラメータであるｈ３１及びｈ３２を推定する必要が無いため、それ以外の６個のパラメータ推定、つまり６自由度での最小二乗法による推定を行えば良いことになる。並進の動き成分のみを防振の対象とする場合には、式５におけるｈ１３及びｈ２３のパラメータについてのみ推定を行えば良い。
【００３９】
変形量算出部１０７は、Ｓ２０３で幾何変形量を算出し、Ｓ２０４では補間位相を算出する。基本的な算出方法は実施形態１で説明した方法と同様であるので詳細は省略する。但し、実施形態１では幾何変形パラメータとして式１を用いていたが、本実施形態では式６のホモグラフィ行列Ｈを用いて、式５における点ａを補正後の画像の画素の座標とし、点ａ′を補正前の画像の画素の座標とみなして処理を行う。
【００４０】
続くＳ２０５では、Ｓ２０３で求めた幾何変形量とＳ２０４で求めた補間位相から、変形量算出部１０７が幾何変形処理部１１０が使用する補間フィルタの係数を決定する。更にＳ２０６では、幾何変形処理部１１０において、ステップＳ２０２で得られた幾何変形パラメータ、及び、ステップＳ２０６で得られた補間フィルタ係数を用いて、メモリ１０５が格納する補正前の画像に幾何変換処理を施して防振処理を行う。Ｓ２０５及びＳ２０６における処理の詳細は実施形態１で説明した内容と同様であるため説明を省略する。
【００４１】
以上のように本実施形態では、姿勢変化検出部３０１で得られる画像処理装置３０の姿勢変化量に基づいて、補間処理を施す際に、補間処理による画質劣化に応じて補間演算の周波数応答特性を制御することで、画面内に不均一に生じた周波数応答特性劣化を抑制した防振処理を実現できる。なお、図示しない画像の高周波成分抽出部により、被写体における周波数成分が高周波であるほど、補間フィルタのウィンドウ関数の幅を広げるように、あるいはウィンドウ関数の応答が高くなるように、更に制御してもよい。また、本発明の実施形態１の歪曲収差補正を同時に行う場合は、図５（C）のように複雑な幾何変形形状となるが、これは幾何変形要素ごとに補間演算の周波数応答特性を制御することで、同様に、画面内に不均一に生じた周波数応答特性劣化を抑制した歪曲収差補正、及び、防振処理を実現することができる。
【００４２】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４３】
１０１：光学系、１０２：補正レンズ、１０３：撮像素子、１０４：現像処理部、１０５：メモリ、１０６：収差情報記憶部、１０７：変形量算出部、１０８：収差補正処理制御部、１０９：幾何変形パラメータ推定部、１１０：幾何変形処理部、１１１：画像記録部、１１２：画像表示部、１１３：駆動制御部、３０１：姿勢変化検出部、３０２：防振処理制御部
【図１】
0006491445.tif 000003
【図２】
0006491445.tif 000004
【図３】
0006491445.tif 000005
【図４】
0006491445.tif 000006
【図５】
0006491445.tif 000007
【図６】
0006491445.tif 000008
【図７】
0006491445.tif 000009
【図８】
0006491445.tif 000010
【図９】
0006491445.tif 000011
【図１０】
0006491445.tif 000012