(57)【要約】      （修正有）【課題】撮像装置の姿勢変化や撮影光学系により発生する像歪みに対する幾何変形補正の効果を実質的に確保しつつ、補正処理の負荷を軽減し、回路リソースの削減により消費電力を抑制する。【解決手段】撮像装置は、撮影光学系および撮像素子により取得した画像に対し、カメラ姿勢変化の補正、非偏心歪曲収差補正、偏心歪曲収差補正を含む、複数の幾何変形による座標変換を順次に実行して画素ごとに座標変換を施す。座標変換制御部１１０は複数の幾何変形情報から、各々の座標変換の重みと合成比率を決定する。幾何変形量制御部１１１は、座標変換制御部１１０の指示に従い、幾何変形情報から幾何変形パラメータを出力する。座標演算部１１２は、各々の幾何変形パラメータと幾何変換前座標から幾何変換後座標を出力する。複数の幾何変形情報に応じて、非偏心歪曲収差補正の重み、および偏心歪曲収差補正とカメラ姿勢変化の補正の合成比率が独立に制御される。【選択図】図１
2015104030.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系および撮像素子により取得した画像に対し、複数の幾何変形による座標変換を合成して画素ごとに座標変換を施すことで画像補正を行う撮像装置であって、
前記撮影光学系の光学パラメータによって変化する歪曲収差量のデータから幾何変形情報を生成する生成手段と、
前記撮像装置の姿勢変化を検出する検出手段と、
前記検出手段による検出情報を取得して幾何変形情報を算出する算出手段と、
前記生成手段および算出手段から前記幾何変形情報を取得してそれぞれの座標変換の合成比率を決定する座標変換制御手段と、
前記座標変換制御手段の指示する合成比率に従って幾何変形パラメータを出力する幾何変形量制御手段と、
前記幾何変形パラメータを取得して幾何変換前の座標から幾何変換後の座標を出力する座標演算手段と、
前記撮影光学系および撮像素子により取得した画像に対し、前記座標演算手段から指示された座標変換による幾何変形処理を行う幾何変形処理手段と、を備えることを特徴とする撮像装置。
【請求項２】
像振れ補正に用いる補正部材、および該補正部材の駆動制御手段をさらに備え、
前記算出手段は、前記補正部材の駆動量を算出して前記駆動制御手段に出力するとともに、前記撮影光学系の非偏心歪曲収差および偏心歪曲収差の補正パラメータを算出して前記座標変換制御手段に出力し、
前記幾何変形処理手段は、前記座標演算手段からの指示にしたがって幾何変形処理を行い、撮像装置の姿勢変化の補正、前記撮影光学系の非偏心歪曲収差の補正、偏心歪曲収差の補正を実行することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記座標変換制御手段は、前記撮像装置の姿勢変化の補正に係る座標変換と前記撮影光学系の偏心歪曲収差の補正に係る座標変換との合成比率を決定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記座標変換制御手段は、非偏心歪曲収差の補正と偏心歪曲収差の補正との重み付けを制御することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記座標変換制御手段は、前記撮影光学系の焦点距離の情報を取得し、該焦点距離が短くなるにつれて非偏心歪曲収差の補正に係るゲイン係数を大きくすることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記座標変換制御手段は、前記撮影光学系の焦点距離の情報を取得し、該焦点距離が長くなるにつれて偏心歪曲収差の補正に係るゲイン係数を大きくすることを特徴とする請求項４または５に記載の撮像装置。
【請求項７】
前記座標変換制御手段は、前記焦点距離が短い場合に偏心歪曲収差の補正に対して非偏心歪曲収差の補正の比率を高くし、焦点距離が長い場合に非偏心歪曲収差の補正に対して偏心歪曲収差の補正の比率を高くする制御を行うことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記座標変換制御手段は、偏心歪曲収差量が大きくなるにつれて非偏心歪曲収差の補正に係るゲイン係数を小さくすることを特徴とする請求項４に記載の撮像装置。
【請求項９】
前記座標変換制御手段は、偏心歪曲収差量が大きくなるにつれて偏心歪曲収差の補正に係るゲイン係数を大きくすることを特徴とする請求項４または８に記載の撮像装置。
【請求項１０】
前記座標変換制御手段は、偏心歪曲収差量が小さい場合に偏心歪曲収差の補正に対して非偏心歪曲収差の補正の比率を高くし、偏心歪曲収差量が大きい場合に非偏心歪曲収差の補正に対して偏心歪曲収差の補正の比率を高くする制御を行うことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
撮影光学系および撮像素子により取得した画像に対し、複数の幾何変形による座標変換を合成して画素ごとに座標変換を施すことで画像補正を行う撮像装置にて実行される制御方法であって、
前記撮影光学系の光学パラメータによって変化する歪曲収差量のデータから幾何変形情報を生成する生成ステップと、
前記撮像装置の姿勢変化を検出する検出ステップと、
前記検出ステップでの検出情報を取得して幾何変形情報を算出する算出ステップと、
前記生成ステップで生成された幾何変形情報、および前記算出ステップで算出された幾何変形情報を取得してそれぞれの座標変換の合成比率を決定する座標変換制御ステップと、
前記座標変換制御ステップにて決定された合成比率に従って幾何変形パラメータを出力する幾何変形量制御ステップと、
前記幾何変形パラメータを取得して幾何変換前の座標から幾何変換後の座標を出力する座標演算ステップと、
前記撮影光学系および撮像素子により取得した画像に対し、前記座標演算ステップでの出力にしたがって座標変換による幾何変形処理を行う幾何変形処理ステップと、を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、幾何変形による画像補正処理に要するリソースの低減と、補正効果を両立させる技術に関する。
【背景技術】
【０００２】
近年のデジタルビデオカメラ、デジタルカメラ等の撮像装置では、撮像素子や信号処理の技術向上によって、より高画質な映像を取得できる。また、歪曲収差やカメラの姿勢変化の補正では、光学系の小型化および低コスト化が、カメラ本体の小型化に伴って要求される。動画、静止画を問わず、より自然で安定した映像の取得や、複数枚の画像の合成処理は、重要度の高い技術である。レンズの歪曲収差情報やカメラの姿勢変化情報を取得し、着目画素に対する幾何変形量を画素ごとに与え、信号処理によって歪曲収差の補正や像振れ補正を実現できる。
【０００３】
カメラの姿勢変化情報の取得には、角速度センサ（ジャイロセンサ）、加速度センサ（シフトセンサ）等の検出デバイスを使用する方法の他、入力画像と過去の参照画像との比較によって動きを検出する、いわゆる動きベクトル検出法がある。カメラの回転、並進の姿勢変化は、その画角変化が像振れとして画像に影響を及ぼす。このため、光学系内に配置した補正用の光学部材（補正レンズ）を駆動制御することで像振れを抑制できる。また、信号処理によって、射影変換等の自由度の高い幾何変形処理を画像データに施すことで像振れを抑制できる。
【０００４】
補正レンズの駆動制御による光学的な像振れ補正の場合、小さい駆動量で大きな補正角が得られるように設計される。反面で、補正レンズが光軸中心から外れることによる偏心歪曲収差による像歪みの影響が避けられなくなる。非偏心歪曲収差、カメラ姿勢変化、偏心歪曲収差による像歪みに対し、幾何変形補正を適正に行うためには要因ごとに補正を当てはめ、現象を生じさせる要因の逆順に従って補正する必要がある。その場合、幾何変形要因が増えて特性が複雑化すると、回路リソースやパラメータ数が要因ごとに増加する。これに伴い、パラメータ設定時間、実行時間が増加するため、補正処理の負荷および消費電力が増大してしまう。この問題に対し、像歪みの補正を適応的に実施する技術として、特許文献１に開示の装置は、手振れによるカメラの移動量を検出し、像振れ補正の適用可否を自動的に判別する。また、特許文献２に開示の装置では、カメラの振れ情報に基づいて、揺れ補正のための幾何変形パラメータの推定方法を変更することで、揺れ補正の座標変換方式を変更している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２５４３６５号公報
【特許文献２】特開２００７−１６６２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、像振れ補正の適用可否を二値制御しているので、制御の不連続性が問題となる。また、特許文献２の場合、カメラの振れ情報に基づいて幾何変形パラメータの推定方法を変更するだけでは対処できない課題がある。これらの従来技術では、非偏心歪曲収差や偏心歪曲収差による複雑な像歪みについて、複合的な幾何変形に対する制御が考慮されていない。
本発明の目的は、撮像装置の姿勢変化や撮影光学系により発生する像歪みに対する幾何変形補正の効果を実質的に確保しつつ、補正処理の負荷を軽減し、回路リソースの削減により消費電力を抑制することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る装置は、撮影光学系および撮像素子により取得した画像に対し、複数の幾何変形による座標変換を合成して画素ごとに座標変換を施すことで画像補正を行う撮像装置であって、前記撮影光学系の光学パラメータによって変化する歪曲収差量のデータから幾何変形情報を生成する生成手段と、前記撮像装置の姿勢変化を検出する検出手段と、前記検出手段による検出情報を取得して幾何変形情報を算出する算出手段と、前記生成手段および算出手段から前記幾何変形情報を取得してそれぞれの座標変換の合成比率を決定する座標変換制御手段と、前記座標変換制御手段の指示する合成比率に従って幾何変形パラメータを出力する幾何変形量制御手段と、前記幾何変形パラメータを取得して幾何変換前の座標から幾何変換後の座標を出力する座標演算手段と、前記撮影光学系および撮像素子により取得した画像に対し、前記座標演算手段から指示された座標変換による幾何変形処理を行う幾何変形処理手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、撮像装置の姿勢変化や撮影光学系により発生する像歪みに対する幾何変形補正の効果を実質的に確保しつつ、補正処理の負荷を軽減し、回路リソースの削減により消費電力を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】第１実施形態の撮像装置の動作を示すフローチャートである。
【図３】第２実施形態の撮像装置の動作を示すフローチャートである。
【図４】収差補正特性を説明する図である。
【図５】非偏心歪曲収差、偏心歪曲収差による歪みを表す図である。
【図６】カメラ姿勢変化による歪みを表す図である。
【発明を実施するための形態】
【００１０】
本発明に各実施形態について、添付図面を参照して説明する。以下では、撮影光学系（結像光学系）および撮像素子により取得した画像に対し、複数の幾何変形による座標変換を順次実行し、１つの座標変換に合成して画素ごとに座標変換を施す撮像装置を説明する。複数の幾何変形処理による画像補正は、歪曲収差（偏心歪曲収差、非偏心歪曲収差）の補正、およびカメラ姿勢の補正を含む。偏心歪曲収差とは、光学系の光軸に対して非対称に生じる歪曲収差である。また、非偏心歪曲収差とは、光学系の光軸に対して点対称に生じる歪曲収差である。倍率色収差などの、歪曲以外の収差は除外される。
【００１１】
図１は、本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。
撮影光学系１０１は被写体像を形成するレンズ群を備える。補正レンズ１０２は撮影光学系１０１内にて、光軸とは異なる方向に移動可能な補正部材である。例えば光軸と直交する方向に移動可能な光学部材（シフトレンズ）が像振れ補正に使用される。補正部材にはチルトレンズ等を使用してもよい。
撮像素子１０３は、撮影光学系１０１により形成される被写体像を光電変換する、ＣＣＤ（電荷結合素子）センサやＣＭＯＳ（相補型金属酸化膜半導体）センサ等である。現像処理部１０４は、撮像素子１０３から出力される電気信号から映像信号を生成する。現像処理部１０４は不図示のＡ（アナログ）／Ｄ（デジタル）変換部、オートゲイン制御部（ＡＧＣ）、オートホワイトバランス（ＡＷＢ）部を含み、デジタル信号を出力する。撮影光学系１０１、撮像素子１０３、および現像処理部１０４により、画像取得を行う撮像系が構成される。メモリ１０５は、現像処理部１０４により生成された映像信号の１フレーム又は複数フレームの画像データを一時的に記憶保持する。
【００１２】
収差情報記憶部１０６は、撮影光学系１０１の焦点距離、物体距離等の光学パラメータによって変化する収差量を、像高方向にて複数のデータとして保持している。収差補正パラメータ生成部（以下、変数生成部という）１０７は、収差情報記憶部１０６から出力される現在の光学パラメータを取得し、該パラメータに基づいて撮影光学系１０１の収差補正量を幾何変形パラメータ（幾何変形情報）として出力する。
【００１３】
姿勢変化検出部１０８は、手振れやカメラワーク等の撮像装置の動きや姿勢変化の検出情報を取得するためのジャイロセンサ等の検出装置で構成される。幾何変形パラメータ推定部（以下、変数推定部という）１０９は、姿勢変化検出部１０８から姿勢変化検出情報を取得し、カメラ姿勢の補正パラメータを推定する。変数推定部１０９は推定した演算結果を幾何変形パラメータ（幾何変形情報）として出力するとともに、補正レンズ１０２の駆動量を算出して駆動制御部１１６に出力する。駆動制御部１１６は駆動量に従って補正レンズ１０２を駆動制御する。
【００１４】
座標変換制御部１１０は、変数生成部１０７および変数推定部１０９からそれぞれ出力されるパラメータと、撮影光学系１０１の焦点距離情報を取得し、各パラメータの合成比率を決定する。幾何変形量制御部１１１は、変数生成部１０７および変数推定部１０９からそれぞれ出力されるパラメータを取得し、座標変換制御部１１０からの指示される各パラメータの合成比率に基づいて各幾何変形に対応する幾何変形パラメータを算出する。座標演算部１１２は、幾何変形量制御部１１１から指示される幾何変形パラメータに基づいて、各幾何変形処理の座標計算を順次に行い、幾何変換前の座標から幾何変換後の座標を出力する。幾何変形処理部１１３は、メモリ１０５に保持されたフレーム画像データを読み出し、該データに対して座標演算部１１２から指示された座標変換による幾何変形処理を行い、処理済みの画像データをメモリ１０５に書き出す。画像記録部１１４は、収差補正が施された画像データをメモリ１０５から読み出して記録媒体に記録する。画像表示部１１５は収差補正が施された映像をディスプレイの画面上に表示する。
【００１５】
次に、本実施形態における幾何変形処理制御について、図２に示すフローチャートを参照して詳細に説明する。
処理開始後、Ｓ２０１、Ｓ２０３、Ｓ２０７の並行処理が実行される。Ｓ２０１にて、変数生成部１０７は現在の光学パラメータに基づいて、収差情報記憶部１０６に保持されたデータを取得する。図４（Ａ）は、像高方向における収差量の変化を例示する。横軸は像高ｈを示し、縦軸は非偏心歪曲収差量Ｄ（ｈ）を示す。メモリ容量を節約するために、光学パラメータに対する非偏心歪曲収差量のデータは離散的に保持されている。保持されていないプロット位置での光学パラメータについては、近傍位置での収差量から補間演算によって非偏心歪曲収差量が算出される。
【００１６】
Ｓ２０１の次にＳ２０２に進み、変数生成部１０７は、Ｓ２０１で得た撮影光学系１０１の収差量に基づいて幾何変形パラメータを推定する。例えば、推定により非偏心歪曲補正パラメータが算出される。撮影光学系１０１の非偏心歪曲収差量Δｄは、像高に応じた参照画素位置の変化を示しており、歪曲率をD、撮像素子１０３のセルピッチをCp、理想像高をＲ、実像高をＲ’とすると、
【数１】
2015104030.tif 000003
と表すことができる。
【００１７】
図５は非偏心歪曲収差および偏心歪曲収差の説明図である。歪曲収差のない撮影光学系１０１であれば、結像によって得られる格子画像５０１は、図５（Ａ）のように縦横線が直交した状態となる。撮影光学系１０１が非偏心歪曲収差をもつ場合には、例えば図５（Ｂ）の画像５０２に誇張して示すように被写体像が歪んで結像することになる。図５（Ｂ）には縦横線が樽型に変形した形状例を示す。
Ｓ２０３で姿勢変化検出部１０８は、撮像装置の姿勢変化を検出して動き情報を取得する。動き情報の一例としてジャイロセンサを使用した場合、撮像装置のヨー（Yaw）方向、ピッチ（Pitch）方向、ロール（Roll）方向の動き情報がそれぞれ得られる。尚、ジャイロセンサに限られるものではなく、撮像装置の動き情報を得るための別の手段（動きベクトル検出手段等）を用いてもよい。
【００１８】
図６は姿勢変化の説明図である。撮像装置が姿勢変化のない状態であれば、結像して得られる格子画像６０１は図６（Ａ）のように縦横線が直交した状態となる。撮像装置の姿勢変化を生じると、例えば図６（Ｂ）の画像６０２に誇張して示すように被写体像が歪んで結像することになる。図６（Ｂ）には縦横線が斜交した形状例を示す。
【００１９】
図２のＳ２０３の後、Ｓ２０４とＳ２０５の並行処理が実行される。
Ｓ２０４で変数推定部１０９は、Ｓ２０３で得た撮像装置の姿勢変化量に基づいて、複数のフレーム画像間の幾何変形パラメータを推定する。本実施形態では、幾何変形を表す一例として、ホモグラフィ行列と呼ばれる３行３列の行列を用いる場合について説明する。
【００２０】
まず、画像上のある点ａを、
【数２】
2015104030.tif 000004
とする。点ａが次フレームにおいて点ａ′、
【数３】
2015104030.tif 000005
に移動したとする。（式２）および（式３）にて、添え字Ｔは転置行列であること示す。（式２）の点ａと（式３）の点ａ′との対応関係は、ホモグラフィ行列Ｈを用いることにより、
【数４】
2015104030.tif 000006
と表すことができる。
【００２１】
ホモグラフィ行列Ｈは、画像間の並進、回転、変倍、せん断、あおりによる変形量を示す行列であり、下式で表すことができる。
【数５】
2015104030.tif 000007
（式５）のホモグラフィ行列Ｈは、下記の成分を含む。
・パラメータｈ13、ｈ23：並進の動き成分。
・パラメータｈ11、ｈ12、ｈ21、ｈ22：回転、変倍、せん断の動き成分。
・パラメータｈ31、ｈ32：あおりの動き成分。
あおりの動き成分までを防振制御の対象とする場合には、８個のパラメータ全てを推定しなければならないため、８自由度の最小二乗法を使用する必要がある。また、回転の動き成分までを防振制御の対象とする場合には、あおりの動き成分を表すパラメータｈ31、ｈ32を推定する必要がない。このため、それ以外の６個のパラメータの推定、つまり６自由度での最小二乗法による推定を行えばよい。また、並進の動き成分のみを防振の対象とする場合には、パラメータｈ13、ｈ23についてのみ推定を行えばよい。
【００２２】
姿勢変化検出部１０８にジャイロセンサを使用する場合、ヨー方向、ピッチ方向、ロール方向でそれぞれγ、β、αの回転ブレが検出される。この場合、ホモグラフィ行列Ｈgとして得られる幾何変形パラメータは、下式により表すことができる。
【数６】
2015104030.tif 000008
【００２３】
Ｓ２０５で変数推定部１０９は、補正レンズ１０２の駆動量を算出して駆動制御部１１６に出力する。補正レンズ１０２の駆動量については、姿勢変化検出部１０８から得られるヨー方向とピッチ方向の各回転角を戻すように駆動制御部１１６に指示される。補正レンズ１０２の水平方向、垂直方向の駆動量をそれぞれδ、θとする。ヨー方向、ピッチ方向の各回転角と、補正レンズ１０２の駆動量δ、θとの関係は、デバイス（補正光学系）の機構部の構造で定まるものであり、一次関数等の低次な関数により表現できる。
【００２４】
Ｓ２０５の次にＳ２０６へ進み、変数推定部１０９は偏心歪曲補正パラメータを算出する。補正レンズ１０２の水平方向、垂直方向の各駆動量δ、θより、偏心歪曲収差の幾何変形量は、
【数７】
2015104030.tif 000009
と表すことができる。
このとき、補正レンズ１０２で生じる偏心歪曲収差は補正レンズ１０２の駆動量に応じて発生しており、駆動量が大きくなるにつれて偏心歪曲収差量が増大する。偏心歪曲収差のない状態での、図５（Ａ）に示す格子画像５０１は、偏心歪曲収差により変形する。例えば、図５（Ｃ）の画像５０３に誇張して示すように被写体像が歪んで結像することになる。
【００２５】
Ｓ２０７で変数推定部１０９は、撮影光学系１０１の焦点距離情報を取得する。この情報は、撮影光学系１０１の制御情報として、撮像装置内のＣＰＵ（中央演算処理装置）等の制御部が保持して使用する情報である。ズーム位置の検出法については既知として説明を省略する。次のＳ２０８で座標変換制御部１１０は、変数生成部１０７および変数推定部１０９からそれぞれ出力される幾何変形パラメータ、および撮影光学系１０１の焦点距離情報に基づいて各幾何変形パラメータの合成比率を決定する。例えば焦点距離が短い場合、撮影光学系１０１は樽型の非偏心歪曲収差を生じやすい（図５（Ｂ）参照）が、焦点距離が長くなるにつれて、非偏心歪曲収差はなくなるか、または若干糸巻型となるように設計される。座標変換制御部１１０は、焦点距離が長くなるにつれて、非偏心歪曲収差補正パラメータを設計値以上に弱めるように制御ゲイン値を出力する。その様子を図４（Ａ）に例示する。設計上ではグラフ線Ａで示す補正特性に対して、制御ゲインを乗じる演算が行われる。その結果、グラフ線Ｂで示す補正特性に変更されるので、補正効果を弱めることができる。尚、補正特性を変化させる方法については、補正特性を複数のデータとしてメモリに保持して適宜に選択してもよい。
【００２６】
図４（Ｂ）を参照して、焦点距離が短くなるにつれて、非偏心歪曲収差補正の重みを大きくする場合の制御特性例を説明する。図４（Ｂ）の横軸は焦点距離を示し、縦軸は補正ゲイン、つまり、非偏心歪曲収差補正に係るゲイン係数を示す。図４（Ａ）のグラフ線Ａに示す特性（横軸X=0で縦軸Y=1.0）に対して、図４（Ｂ）の補正ゲインが乗算される。
図４（Ｃ）は、焦点距離が長くなるにつれて、偏心歪曲収差補正の重みを大きくする場合の制御特性例を示す。図４（Ｃ）の横軸は焦点距離を示し、縦軸は補正ゲイン、つまり、偏心歪曲収差補正に係るゲイン係数を示す。（式７）の各駆動量δ、θに対して、図４（Ｃ）の補正ゲインが乗算される。
図４（Ｂ）、図４（Ｃ）に示す制御特性は、２つの座標変換処理を正規に実施した状態にて補正ゲインが１.０となるように定義される。これらの特性に従う制御は同時に実行され、かつ補正ゲイン（ゲイン係数値）の合計値が１．０以下に制御される。これにより、焦点距離が短い時には非偏心歪曲収差補正の合成比率が高く、焦点距離が長い時には、偏心歪曲収差補正の合成比率が高くなるように、座標変換を制御することができる。合成比率とは複数の補正を組み合わせる際に設定される割合を表す。焦点距離が短い場合、非偏心歪曲収差補正が相対的に大きな比率を占め、焦点距離が長い場合、偏心歪曲収差補正が相対的に大きな比率を占める。さらには、補正ゲインの合計値がゼロとなる期間を設けることで、いずれの座標変換も行わない遷移期間を持たせ、切り替わり時の違和感を緩和することができる。
【００２７】
また、座標変換制御部１１０は、焦点距離が長くなるにつれて、補正レンズ１０２の駆動量δ、θに基づく幾何変形補正パラメータを、レンズ駆動量に対して弱めるように制御ゲイン値を出力する。これは、（式７）の各駆動量δ、θの値が小さくなるようにゲインを乗じることで実現できる。補正レンズ１０２の幾何変形補正パラメータを変化させる方法については、補正パラメータ制御関数を複数持つことで適宜に選択してもよい。
【００２８】
図２に示す４系統の並行処理を終えると、Ｓ２０９に進む。Ｓ２０９で幾何変形量制御部１１１は、座標変換制御部１１０からの指示による各幾何変形の合成比率に基づいて、各幾何変形のパラメータを算出する。例えば、撮像装置の姿勢変化の補正と撮影光学系の偏心歪曲収差の補正についての合成比率が決定されて、それぞれの幾何変形パラメータが算出される。
座標変換による補正処理では、座標演算部１１２がカメラの姿勢変化の補正、非偏心歪曲収差の補正、偏心歪曲収差の補正の順に演算を実行することで、像歪みを正しく補正できる。カメラの姿勢変化の補正と偏心歪曲収差の補正は、いずれも射影変換により実現できる。つまり、（式６）、（式７）に示した２つのホモグラフィ行列が乗算されて、以下のホモグラフィ行列Ｈmが算出される。
【数８】
2015104030.tif 000010
合成されたホモグラフィ行列Ｈmを逆行列(Ｈm)-1に変換することにより、像歪みが補正される。
【００２９】
座標変換制御部１１０は、撮影光学系１０１の焦点距離が短い場合、偏心歪曲収差の補正がかからないように制御し、また、焦点距離が長い場合には非偏心歪曲収差の補正がかからないように制御する。射影変換は１回で済むが、幾何変形補正は正しく行われることになる。Ｓ２１０で幾何変形処理部１１３は、Ｓ２０９で得られた座標演算部１１２の指示に従い、座標変換による幾何変形処理を行う。
【００３０】
以上説明したように本実施形態では、撮影光学系１０１の非偏心歪曲収差、撮像装置の姿勢変化、補正レンズ１０２による偏心歪曲収差を補正する際、焦点距離に応じて非偏心歪曲収差の補正量と偏心歪曲収差の補正量に係る重み付けを制御する。すなわち、前記した補正ゲインの乗算処理によって制御特性が決定される。また、撮像装置の姿勢変化の補正に係る座標変換と撮影光学系の偏心歪曲収差の補正に係る座標変換との合成比率が決定される。これにより、補正効果を実質的に維持しながら、補正パラメータの設定や補正処理自体の処理負荷を軽減でき、回路リソースの削減による消費電力の抑制を実現できる。
尚、非偏心歪曲収差の補正量と偏心歪曲収差の補正量についての重み付けについては、歪曲収差なしの焦点距離で互いにゼロとなるように制御することで、幾何変形補正の連続性を維持できる。また、非偏心歪曲収差の補正および偏心歪曲収差の補正のいずれも実施しない焦点距離領域を設けることで、幾何変形補正の連続性を維持できる。
【００３１】
［第２実施形態］
次に本発明の第２実施形態を説明する。第２実施形態と第１実施形態との制御上の差異は、補正レンズ１０２によって生じる、偏心歪曲収差量に応じた非偏心歪曲収差補正と偏心歪曲収差補正に関する重み付けにある。よって、本実施形態にて第１実施形態の場合と同様の構成については既に使用した符号を用いることによって、それらの詳細な説明を省略し、相違点を説明する。
【００３２】
図３のフローチャートを参照して、本実施形態における制御を詳細に説明する。本実施形態では、図２のＳ２０７が無い代わりに、Ｓ２０５の後でＳ２０６とＳ２０８の処理が並行して実行される。従って、Ｓ２０８の処理のみを説明する。
Ｓ２０８で座標変換制御部１１０は、変数生成部１０７および変数推定部１０９からそれぞれ出力される幾何変形パラメータを取得する。そして座標変換制御部１１０は、Ｓ２０５で算出された補正レンズ１０２の水平方向、垂直方向の各駆動量δ、θに基づいて各幾何変形パラメータの合成比率を決定する。
補正レンズ１０２の駆動量δ、θが小さい場合、補正レンズ１０２は偏心歪曲収差を生にくいが、駆動量δ、θが大きくなるにつれて偏心歪曲収差が大きくなる。座標変換制御部１１０は、駆動量δ、θが大きくなるにつれて、非偏心歪曲収差の補正パラメータを設計値以上に弱め、偏心歪曲収差を設計通りに補正できるよう、制御ゲイン値を出力する。その際、駆動量の大きさについては、δ、θのうちのいずれか大きい方で制御してもよいし、２つの角度の二乗平均値等のように、合成された大きさを用いて制御してもよい。
【００３３】
図４（Ｄ）を参照して、偏心歪曲収差量が大きくなるにつれて、非偏心歪曲収差補正の重みを小さくする場合の制御特性例を説明する。図４（Ｄ）の横軸は補正レンズ１０２の駆動量 δまたはθを示す。偏心歪曲収差量は、補正レンズ１０２の駆動量 δ、θ で定義することができる。縦軸は補正ゲイン、つまり、非偏心歪曲収差補正に係るゲイン係数を示す。図４（Ａ）の特性に対して、図４（Ｄ）の補正ゲインが乗算される。
図４（Ｅ）は、偏心歪曲収差量が大きくなるにつれて、偏心歪曲収差補正の重みを大きくする場合の制御特性例を示す。図４（Ｅ）の横軸は補正レンズ１０２の駆動量 δまたはθを示す。縦軸は補正ゲイン、つまり、偏心歪曲収差補正に係るゲイン係数を示す。（式７）の各駆動量δ、θに対して、図４（Ｅ）の補正ゲインが乗算される。
図４（Ｄ）、図４（Ｅ）に示す制御特性は、２つの座標変換処理を正規に実施した状態にて補正ゲインが１．０となるように定義される。これらの制御特性に従う制御は同時に実行され、かつ補正ゲインの合計値が１．０以下に制御される。これにより、偏心歪曲収差量が小さい時には非偏心歪曲収差補正の合成比率が高くなり、偏心歪曲収差量が大きい時には、偏心歪曲収差補正の合成比率が高くなる。このように、偏心歪曲収差量が大きくなるにつれて、非偏心歪曲収差補正の重みを小さくすることによる相対的な結果として、偏心歪曲収差補正およびカメラ姿勢変化の補正の合成比率が高くなるように座標変換を制御できる。
非偏心歪曲収差補正特性を変化させる方法については、補正特性を複数のデータでメモリに保持して適宜に切り替えてもよい。また、補正レンズ１０２の幾何変形補正パラメータを変化させる方法については、補正パラメータ制御関数を複数持つことで適宜に選択してもよい。
【００３４】
本実施形態では、撮影光学系１０１の焦点距離情報を取得して合成比率を算出する必要がないので、処理が簡単化される。すなわち、補正レンズ１０２の駆動量に基づいて各幾何変形パラメータの合成比率が決定される。本実施形態によれば、補正効果を実質的に維持しつつ、補正パラメータの設定や補正処理自体の処理負荷を軽減し、回路リソースの削減により消費電力の抑制を実現できる。尚、非偏心歪曲収差補正と偏心歪曲収差補正のいずれも実施しない補正レンズ１０２の駆動量領域を設けることで、幾何変形補正の連続性を維持できるように制御してもよい。
【符号の説明】
【００３５】
１０１・・・撮影光学系
１０２・・・補正レンズ
１０３・・・撮像素子
１０６・・・収差情報記憶部
１０７・・・収差補正パラメータ生成部
１０８・・・姿勢変化検出部
１０９・・・幾何変形パラメータ推定部
１１０・・・座標変換制御部
１１１・・・幾何変形量制御部
１１２・・・座標演算部
１１３・・・幾何変形処理部
１１６・・・駆動制御部
【図１】
2015104030.tif 000011
【図２】
2015104030.tif 000012
【図３】
2015104030.tif 000013
【図４】
2015104030.tif 000014
【図５】
2015104030.tif 000015
【図６】
2015104030.tif 000016