(57)【要約】【課題】異なるレンズ位置で撮影された画像の歪み状態を処理する。【解決手段】  プロセッサが、画素内像高に対する主光線傾角（ＣＲＡ：Ｃｈｉｅｆ  Ｒａｙ  Ａｎｇｌｅ）と、アクチュエータにより変動される、撮像素子に対するレンズの光軸方向上の相対的位置と、の相関から歪み補正パラメータを算出すること、を含む、信号処理方法を提供する。また、画素内像高に対する主光線傾角と、アクチュエータにより変動される、撮像素子に対するレンズの光軸方向上の相対的位置と、の相関から算出された歪み補正パラメータを用いて画像を変換する画像演算部、を備える、撮像装置を提供する。【選択図】図９
2017112514.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサが、画素内像高に対する主光線傾角と、アクチュエータにより変動される、撮像素子に対するレンズの光軸方向上の相対的位置と、の相関から歪み補正パラメータを算出すること、
を含む、信号処理方法。
【請求項２】
前記撮像素子に対するレンズの光軸方向上の相対的位置が異なる状態で撮影された２枚の画像における被写体上の対応点の像高と、前記２枚の画像を撮影した際の前記撮像素子に対するレンズの光軸方向上の相対的位置と、を基に、前記画素内像高に対する前記主光線傾角と、前記撮像素子に対するレンズの光軸方向上の相対的位置と、の相関を求めること、
をさらに含む、請求項１に記載の信号処理方法。
【請求項３】
前記被写体上の対応点の座標と、光学中心の座標と、前記撮像素子の画素ピッチと、を基に前記被写体上の対応点の像高を算出すること、
をさらに含む、請求項２に記載の信号処理方法。
【請求項４】
前記被写体上の対応点の座標と、前記撮像素子の中心座標と、前記撮像素子の画素ピッチと、を基に前記被写体上の対応点の像高を算出すること、
をさらに含む、請求項２に記載の信号処理方法。
【請求項５】
異なる２つの被写体距離でそれぞれ合焦状態となるように撮影した際の、それぞれの前記被写体距離、前記アクチュエータへの印加信号量、及び焦点距離、を基に前記撮像素子に対するレンズの光軸方向上の相対的位置を算出すること、
をさらに含む、請求項１に記載の信号処理方法。
【請求項６】
撮像素子と、レンズと、前記レンズを光軸方向に駆動するアクチュエータと、から成る組を少なくとも２組以上備える撮像装置に適用される、
請求項１に記載の信号処理方法。
【請求項７】
前記組ごとのアクチュエータは、連動して制御されること、
をさらに含む、請求項６に記載の信号処理方法。
【請求項８】
いずれかの組における前記撮像素子に対するレンズの光軸方向上の相対的位置を基に、当該組とは異なる別の組における撮像素子に対するレンズの光軸方向上の相対的位置を求めること、
をさらに含む、請求項７に記載の信号処理方法。
【請求項９】
画素内像高に対する主光線傾角と、アクチュエータにより変動される、撮像素子に対するレンズの光軸方向上の相対的位置と、の相関から算出された歪み補正パラメータを用いて画像を変換する画像演算部、
を備える、撮像装置。
【請求項１０】
第１のモードと、第２のモードとを有し、第２のモードが適用される場合にのみ、前記歪み補正パラメータを用いて画像を変換し、
前記第２のモードは、静止画撮影時に適用される、
請求項９に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理方法、及び撮像装置に関する。
【背景技術】
【０００２】
一般的に、撮像装置で撮影される画像では、レンズ特性に起因する歪曲収差と呼ばれる現象により、画像の周辺部に歪みが発生する。また、近年普及しているデジタルカメラでは、レンズに固有の歪曲収差を補正する処理を行うことによって、画像の歪みを低減する技術が知られている。上記のような技術としては、例えば、特許文献１に記載の補正パラメータの算出方法がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２３２９２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の方法は、オートフォーカス機能によるレンズの駆動を考慮していない。このため、特許文献１に記載の方法は、レンズを駆動し、カメラモジュールの焦点を自動的に調整するオートフォーカス機能を有するデジタルカメラには、そのまま適用できない。
【０００５】
そこで、本開示では、異なるレンズ位置で撮影された画像の歪み状態処理するための、新規かつ改良された信号処理方法、及び撮像装置を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、プロセッサが、画素内像高に対する主光線傾角と、アクチュエータにより変動される、撮像素子に対するレンズの光軸方向上の相対的位置と、の相関から歪み補正パラメータを算出すること、を含む、信号処理方法が提供される。
【０００７】
また、本開示によれば、画素内像高に対する主光線傾角と、アクチュエータにより変動される、撮像素子に対するレンズの光軸方向上の相対的位置と、の相関から算出された歪み補正パラメータを用いて画像を変換する画像演算部、を備える、撮像装置が提供される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、異なるレンズ位置で撮影された画像の歪み状態を効率的に処理することが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【０００９】
【図１】像高に比例するＣＲＡを説明するための図である。
【図２】像高に比例するＣＲＡを説明するための図である。
【図３】像高に比例しないＣＲＡを説明するための図である。
【図４】像高に比例しないＣＲＡを説明するための図である。
【図５】本開示に係る信号処理方法を説明するための概略図である。
【図６】本開示の第１の実施形態に係る撮像装置の機能ブロック図である。
【図７】同実施形態に係る補正パラメータ演算装置の機能ブロック図である。
【図８】同実施形態に係る被写体チャートの撮影を説明するための図である。
【図９】同実施形態に係る補正パラメータの演算手順を示すフローチャートである。
【図１０】同実施形態に係るレンズ位置の変動量算出について説明するための図である。
【図１１】同実施形態に係るレンズ位置の変動量算出について説明するための図である。
【図１２】同実施形態に係る画像演算部による歪み補正を説明するための図である。
【図１３】同実施形態に係る歪み補正の流れを示すイメージ図である。
【図１４】同実施形態に係る歪み補正の例を示すための図である。
【図１５】同実施形態に係る歪み補正の例を示すための図である。
【図１６】同実施形態に係る歪み補正の精度を示すための図である。
【図１７】第２の実施形態に係る複数の制御部によるアクチュエータの制御について説明するための図である。
【図１８】同実施形態に係る単一の制御部によるアクチュエータの制御について説明するための図である。
【図１９】第３の実施形態に係る歪み補正の実行判断手順を示すフローチャートである。
【図２０】本開示に係る補正パラメータ演算装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１１】
なお、説明は以下の順序で行うものとする。
１．背景
１．１．カメラモジュールにおける歪みの例
１．２．主光線傾角と歪みの関係
２．第１の実施形態
２．１．本実施形態に係るシステム構成例
２．２．撮像装置２０の構成
２．３．補正パラメータ演算装置３０の構成
２．４．歪み補正パラメータの算出
２．５．レンズ２１０の変動量Δｚの算出
２．６．歪み補正パラメータを用いた画像補正
２．７．本実施形態に係る歪み補正の精度
２．８．本実施形態に係る信号処理方法の効果
３．第２の実施形態
３．１．独立モジュールを複数有する撮像装置
３．２．複数の制御部によるアクチュエータの制御
３．３．単一の制御部による複数アクチュエータの制御
３．４．第２の実施形態に係る効果
４．第３の実施形態
４．１．撮影モードによる歪み補正の制御
４．２．撮影モードによる制御の流れ
４．２．第３の実施形態に係る効果
５．補正パラメータ演算装置３０のハードウェア構成例
６．まとめ
【００１２】
＜１．背景＞
［１．１．カメラモジュールにおける歪みの例］
近年、深度検出や画質向上のため、撮像素子、当該撮像素子に光を集光するためのレンズ、及びレンズを光軸方向に駆動するアクチュエータから成る独立モジュールを２組以上備える撮像装置（以下、複眼カメラ、とも呼ぶ）が知られている。上記のような撮像装置では、各々の独立モジュールを通じて取得した画像を演算処理し、画像合成を行う。
【００１３】
例えば、２組の独立モジュールを有する複眼カメラでは、独立モジュール間の視差を利用して被写体までの深度を検出することができる。この際、各独立モジュールで得られる画像の歪み状態が異なると、独立モジュール間の視差を正確に検出できない。このため、より正確な深度検出や精度の高い画像合成を行うためには、各独立モジュールで発生する画像の歪みを同一の状態とすることが求められる。
【００１４】
また、上記のような複眼カメラは、オートフォーカス機能を有する場合もある。オートフォーカス機能を有するカメラモジュールは、アクチュエータにより光軸方向上のレンズ位置を変動させることで、焦点を自動的に調整することを特徴とする。
【００１５】
しかし、オートフォーカス機能を有するカメラモジュールでは、主光線傾角（ＣＲＡ：Ｃｈｉｅｆ  Ｒａｙ  Ａｎｇｌｅ）が、像高に比例しない場合もある。言い換えると、上記のようなカメラモジュールでは、光軸方向上のレンズ位置によって、異なる画像の歪みが発生する。このため、異なるレンズ位置で撮影した画像を、同一の歪み補正係数を用いて補正することは困難である。
【００１６】
［１．２．主光線傾角と歪みの関係］
ここで、図１〜図４を参照して、光軸方向上のレンズ位置に応じた主光線傾角（以下、ＣＲＡ、とも呼ぶ）と画像の歪みについて説明する。図１〜図４に示す一例では、被写体Ｏ上の物点Ｏ１及びＯ２と、それぞれの物点に対応する撮像素子１４０上の像点Ｏ’１及びＯ’２と、主光線と、が示されている。ここで、主光線とは、各物点から出射した光線のうちレンズ１００を通過する光線束の中心を通る光線とする。また、図１〜図４では、像点Ｏ’１及びＯ’２に対応するＣＲＡが、それぞれθ１及びθ２で示されている。なお、光軸ＯＡは、レンズ１００の中心を垂直に通る軸を示す。
【００１７】
まず、図１及び図２を参照して、ＣＲＡが像高に比例するカメラモジュールの例を説明する。図１及び図２は、同一のカメラモジュールにおいて、異なるレンズ位置で被写体Ｏを撮影した場合、すなわち、レンズ１００と撮像素子１４０との間隔が異なる場合を示している。
【００１８】
図１及び図２に示す一例において、像点Ｏ’１に対するＣＲＡθ１は、像点Ｏ’２に対するＣＲＡθ２よりも大きい（θ１＞θ２）。つまり、本例に示すカメラモジュールでは、ＣＲＡが像高に比例している。このため、レンズ１００と撮像素子１４０との間隔が異なっても、像点Ｏ’１及びＯ’２の像高比は同一の値となる。図１を参照すると、像点Ｏ’１及びＯ’２の像高比は、１．９：１であることがわかる。また、図２においても、像点Ｏ’１及びＯ’２の像高比は、図１と同じ値であることがわかる。
【００１９】
上記で説明したとおり、図１及び図２で示すカメラモジュールでは、ＣＲＡが像高に比例するため、レンズ１００と撮像素子１４０との間隔が異なる場合でも、像点Ｏ’１及びＯ’２の像高比は変化しない。すなわち、アクチュエータにより光軸方向上のレンズ位置が変動しても、撮影された画像は同一の歪み状態を有する。このため、どのレンズ位置で撮影された画像でも、同一の補正係数を用いて、歪み状態を補正することが可能である。
【００２０】
次に、図３及び図４を用いて、ＣＲＡが像高に比例しないカメラモジュールの例を説明する。本例に係るカメラモジュールは、図１及び図２に示した一例とは異なり、レンズ１００ａ及び１００ｂの２枚の光学素子を備える。また、図３及び図４は、同一のカメラモジュールにおいて、異なるレンズ位置で被写体Ｏを撮影した場合、すなわち、レンズ１００ａ及び１００ｂと撮像素子１４０との間隔が異なる場合を示している。
【００２１】
本例に示す一例では、像点Ｏ’１に対するＣＲＡθ１が、像点Ｏ’２におけるＣＲＡθ２より小さい（θ１＜θ２）。つまり、本例に示すカメラモジュールでは、ＣＲＡが像高に比例していない。このため、レンズ１００ａ及び１００ｂと撮像素子１４０との間隔が異なると、像点Ｏ’１及びＯ’２の像高比は変化する。図３を参照すると、像点Ｏ’１及びＯ’２の像高比は、１．５：１であることがわかる。一方、図４を参照すると、像点Ｏ’１及びＯ’２の像高比は、図３とは異なり、１．２：１を示している。
【００２２】
上記で説明したとおり、図３及び図４で示すカメラモジュールでは、ＣＲＡが像高に比例しないため、レンズ１００ａ及び１００ｂと撮像素子１４０との間隔に依存して、像点Ｏ’１及びＯ’２の像高比が変化する。すなわち、アクチュエータによる光軸方向上のレンズ位置の変動に応じて、撮影される画像は異なる歪み状態を有する。このため、同一の補正係数を用いて、異なるレンズ位置で撮影された画像の歪みを補正することは困難である。
【００２３】
なお、図３及び図４では、レンズ１００ａ及び１００ｂの２枚の光学素子を備えるカメラモジュールを例に説明したが、ＣＲＡが像高に比例しない現象は、係る例に限定されない。当該現象は、焦点距離が短いカメラモジュールで起こりやすく、特に小型化が求められるスマートフォン用のカメラモジュールで多く発生する。また、当該現象は、用いられるレンズの特性や数などにも大きく影響される。
【００２４】
本開示に係る信号処理方法及び撮像装置は、上記で説明した像高に比例しないＣＲＡ特性に着目して発想されたものであり、レンズ位置に応じた像高ごとのＣＲＡを算出することを可能とする。以降に説明する本開示の実施形態では、本開示に係る信号処理方法及び撮像装置の特徴を挙げながら、当該特徴が奏する効果について説明する。
【００２５】
＜２．第１の実施形態＞
［２．１．本実施形態に係るシステム構成例］
まず、図５を参照して、本開示の第１の実施形態に係る信号処理方法を実施するためのシステム構成例について説明する。図１を参照すると、本実施形態に係る信号処理方法を実施するためのシステムは、撮像装置２０と補正パラメータ演算装置３０とを備える。また、撮像装置２０と補正パラメータ演算装置３０は、互いに通信を行えるように接続される。ここで、本実施形態に係る撮像装置２０は、オートフォーカス機能を有するカメラモジュールである。また、補正パラメータ演算装置３０は、撮像装置２０の歪み状態を補正する補正パラメータを算出するための情報処理装置である。
【００２６】
本実施形態に係る信号処理方法では、被写体の撮像に関する情報を、補正パラメータ演算装置３０が撮像装置２０から抽出し、演算処理を行うことで、撮像装置２０ごとに固有の歪み補正パラメータを算出すること、を特徴の一つとする。例えば、工場における撮像装置２０の生産時に上記の処理を行うことで、使用部品の公差によって生じる製品の個体差を検出し、個々の撮像装置２０に応じた歪み補正パラメータを算出することが可能となる。これにより、撮像装置２０は、工場出荷後における撮影時に、適切な歪み補正パラメータを使用して、画像を補正するこができる。
【００２７】
［２．２．撮像装置２０の構成］
次に、図６を参照して、本実施形態に係る撮像装置２０の構成について説明する。上記で述べたとおり、本実施形態に係る撮像装置２０は、オートフォーカス機能を有するカメラモジュールである。本実施形態に係る撮像装置２０は、例えば、オートフォーカス機能を有する一般的なデジタルカメラやデジタル一眼レフカメラであってもよい。また、本実施形態に係る撮像装置２０は、オートフォーカス機能を有するカメラモジュールを備える情報処理装置であってもよい。例えば、本実施形態に係る撮像装置２０は、オートフォーカス機能を有するカメラモジュールを備えるスマートフォンや携帯電話であってもよいし、タブレットであってもよい。本実施形態に係る信号処理方法は、上記のような装置に広く適用され得る。
【００２８】
図６を参照すると、本実施形態に係る撮像装置２０は、レンズ２１０、アクチュエータ２２０、制御部２３０、画像取得部２４０、画像演算部２５０、画像出力部２６０、記憶部２７０、及び、通信部２８０を備える。なお、本実施形態に係る撮像装置２０は上記の構成例に限定されず、図６に示す以外の構成をさらに備えてもよい。例えば、本実施形態に係る撮像装置２０は、リムーバブル記憶媒体（図示しない）と接続するためのドライブ（図示しない）をさらに備えてもよい。
【００２９】
（レンズ２１０）
レンズ２１０は、被写体側に設けられ、被写体からの光を後述する画像取得部２４０に集光するための光学素子である。図６に示す一例では、１枚のレンズを用いているが、本実施形態に係るレンズ２１０は、複数枚のレンズ群であってもよい。また、用いられるレンズも両凸レンズに限られない。例えば、レンズ２１０は、種類の異なる複数枚の凸レンズや凹レンズから成るレンズ群であってもよい。なお、レンズ２１０が複数枚のレンズ群である場合、後述するアクチュエータ２２０によりレンズ２１０全体が駆動されてもよいし、レンズ２１０を構成するレンズのうち所定の１枚のレンズのみが駆動されてもよい。レンズ２１０の構成は、カメラモジュールやオートフォーカス制御の特性により、適宜変更され得る。また、本実施形態に係るレンズ２１０は、ガラスや、有機ガラスなどのプラスチックから形成されてもよい。
【００３０】
（アクチュエータ２２０）
アクチュエータ２２０は、レンズ２１０を光軸方向上に駆動する機能を有する。レンズ２１０は、アクチュエータ２２０の内側に固定されるように設置される。本実施形態に係るアクチュエータ２２０は、例えば、ＶＣＭ（Ｖｏｉｃｅ  Ｃｏｉｌ  Ｍｏｔｏｒ）アクチュエータであってもよいし、ＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）アクチュエータであってもよい。
【００３１】
（制御部２３０）
制御部２３０は、後述する画像取得部２４０からの信号を基に、レンズ２１０と被写体との距離に応じたオートフォーカス制御に関する制御信号をアクチュエータ２２０に印加する機能を有する。制御部２３０は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｄ）やＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）などの集積回路上に構成されてもよい。
【００３２】
（画像取得部２４０）
画像取得部２４０は、受光した光を光電変換により電気信号に変換する撮像素子である。画像取得部２４０は、レンズ２１０を基準として被写体と反対方向に、レンズ２１０と正対するように設けられる。本実施形態に係る画像取得部２４０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサであってもよい。また、画像取得部２４０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサであってもよい。
【００３３】
（画像演算部２５０）
画像演算部２５０は、画像取得部２４０から取得した画像情報を、信号処理により加工する機能を有する。画像演算部２５０は、制御部２３０と同様に、ＩＣやＬＳＩなどの集積回路上に構成されてもよい。画像演算部２５０による信号処理の詳細については、後述する。
【００３４】
（画像出力部２６０）
画像出力部２６０は、画像演算部２５０により加工された画像情報を表示する機能を有する。本実施形態に係る画像出力部２６０は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）やＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）により実現されてもよい。また、画像出力部２６０は、ユーザの操作を受け付ける操作部としての機能を有してもよい。操作部としての機能は、例えば、タッチパネルにより実現される。
【００３５】
（記憶部２７０）
記憶部２７０は、撮像装置２０の各構成要素が用いる制御プログラムや各種情報を格納する機能を有する。具体的には、本実施形態に係る記憶部２７０は、補正パラメータ演算装置３０により算出された撮像装置２０に固有のＣＲＡ特性に応じた歪み補正パラメータや、画像演算部２５０が信号処理を行うためのプログラムなどを記憶する。記憶部２７０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やフラッシュメモリなどにより構成される。
【００３６】
（通信部２８０）
通信部２８０は、補正パラメータ演算装置３０に対して、画像取得部２４０が取得した画像情報や、制御部２３０によるアクチュエータ制御に関する情報を送信する機能を有する。さらに、通信部２８０は、補正パラメータ演算装置３０から受信した撮像装置２０に固有のＣＲＡ特性に応じた歪み補正パラメータに関する情報を記憶部２７０に記憶させる機能を有する。また、撮像装置２０が補正パラメータ演算装置３０以外の機器と接続される場合においては、通信部２８０は、当該接続機器と通信するためのインターフェースを備えてもよい。補正パラメータ演算装置３０、及びその他の接続機器との通信は、有線または無線による接続を介して行われる。
【００３７】
［２．３．補正パラメータ演算装置３０の構成］
次に、図７を参照して、本実施形態に係る補正パラメータ演算装置３０の構成例について説明する。本実施形態に係る補正パラメータ演算装置３０は、撮像装置２０に固有の歪み補正パラメータを算出するための情報処理装置である。補正パラメータ演算装置３０は、上記の機能を有するＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）であってもよいし、撮像装置２０の補正パラメータ算出に特化した特別な情報処理装置であってもよい。
【００３８】
図７は、本実施形態に係る補正パラメータ演算装置３０の機能ブロック図である。図７を参照すると、本実施形態に係る補正パラメータ演算装置３０は、通信部３１０、記憶部３２０、及び補正パラメータ演算部３３０を備える。
【００３９】
（通信部３１０）
通信部３１０は、撮像装置２０から、画像取得部２４０が取得した画像情報や、制御部２３０によるアクチュエータ制御に関する情報を受信し、後述する記憶部３２０に記憶させる機能を有する。さらに、通信部３１０は、後述する補正パラメータ演算部３３０が算出した歪み補正パラメータに関する情報を、撮像装置２０に送信する機能を有する。また、補正パラメータ演算装置３０が撮像装置２０以外の機器と接続される場合においては、通信部３１０は、当該接続機器と通信するためのインターフェースを備えてもよい。
【００４０】
（記憶部３２０）
記憶部３２０は、補正パラメータ演算装置３０の各構成要素が用いる制御プログラムや各種情報を格納する機能を有する。具体的には、本実施形態に係る記憶部３２０は、撮像装置２０から抽出した画像情報やアクチュエータ制御に関する情報、補正パラメータ演算部３３０が演算処理を行うためのプログラムなどを記憶する。記憶部３２０は、例えば、ＲＡＭ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等により構成される。
【００４１】
（補正パラメータ演算部３３０）
補正パラメータ演算部３３０は、通信部３１０が取得した各種の情報を基に、撮像装置２０ごとに固有の歪み補正パラメータを算出する機能を有する。補正パラメータ演算部３３０による補正パラメータの算出に関する詳細は、後述する。
【００４２】
［２．４．歪み補正パラメータの算出］
以上、本実施形態に係る撮像装置２０と補正パラメータ演算装置３０の構成について説明した。続いて、図８〜図１１を参照して、補正パラメータ演算装置３０による歪み補正パラメータの算出について説明する。本実施形態に係る歪み補正パラメータの算出は、レンズ位置に応じたＣＲＡ特性を求めることを特徴の一つとする。具体的には、補正パラメータ演算装置３０は、異なるレンズ位置で撮影した２枚の被写体チャート画像における歪みの差を検出することで、レンズ位置とＣＲＡとの相関を定義する。なお、ここで、レンズ位置とは、画像取得部２４０に対するレンズ２１０の相対的な位置を意味する。つまり、レンズ位置に応じたＣＲＡ特性とは、レンズ２１０と画像取得部２４０との間隔に応じたＣＲＡ特性といえる。また、レンズ２１０が複数枚のレンズ群であり、アクチュエータによりレンズ２１０全体が駆動される場合、画像取得部２４０に対する、画像取得部２４０に最も近いレンズの相対的な位置を、上記で述べたレンズ位置としてもよい。レンズ２１０が複数枚のレンズ群であり、アクチュエータ２２０により所定の１枚のレンズのみが駆動される場合には、画像取得部２４０に対する当該レンズの相対的な位置を、上記で述べたレンズ位置としてもよい。
【００４３】
（被写体チャートＣの撮影）
図８は、本実施形態に係る被写体チャートＣの撮影について説明するための図である。図８を参照すると、本実施形態に係る被写体チャートＣは、撮像装置２０から任意の被写体距離Ｌだけ離れた位置に設置される。以下の説明においては、撮像装置２０及び被写体チャートＣが図８に示す状態に固定された状況で、被写体チャートＣが撮影される場合について述べる。なお、本実施形態に係る被写体チャートＣは、図１４及び図１５に示されるような、白と黒の正方形から成る市松模様であってもよい。
【００４４】
（レンズ位置とＣＲＡとの相関の算出）
次に、図９を参照して、補正パラメータ演算部３３０がレンズ位置とＣＲＡとの相関を算出する手順について、詳細に説明する。図９は、撮像装置２０による被写体チャートＣの撮影と、補正パラメータ演算部３３０による演算手順を示すフローチャートである。
【００４５】
まず、撮像装置２０は、図８に示した任意の被写体距離Ｌに設置された被写体チャートＣを、合焦状態で撮影する（Ｓ４１０）。すなわち、撮像装置２０の制御部２３０は、オートフォーカス機能を利用して、アクチュエータ２２０を制御し、被写体チャートＣにピントが合うようにレンズ位置を変動させる。この際、制御部２３０によりアクチュエータに印加される信号をＤ１とする。また、以降の説明においては、ステップＳ４１０で撮影される画像を画像１とする。
【００４６】
次に、補正パラメータ演算装置３０は、撮像装置２０から画像１に関する情報を受信し、画像１における被写体チャートＣの各格子点の座標を算出する（Ｓ４２０）。なお、格子点座標の単位がピクセルである場合、補正パラメータ演算部３３０は、画像取得部２４０の画素ピッチｄを基に格子点座標を物理座標に変換して使用してもよい。この際、算出される格子点座標を（Ｘｉ,Ｙｊ）とする。
【００４７】
次に、撮像装置２０は、画像１を撮影したレンズ位置から、光軸方向上にレンズ２１０を移動させ、被写体チャートＣを撮影する（Ｓ４３０）。具体的には、制御部２３０が、信号Ｄ１＋ΔＤをアクチュエータに印加し、レンズ２１０のレンズ位置をΔｚ変動させる。上述したとおり、レンズ位置とは、画像取得部２４０に対するレンズ２１０の相対的な位置を意味する。なお、以降の説明において、変動量Δｚは、任意の信号ΔＤを印加されたアクチュエータ２２０により変動される、レンズ位置の変動量を表す。任意の信号ΔＤに対応する変動量Δｚを算出する係数があらかじめ定められている場合、レンズ２１０の変動量Δｚは当該係数を用いて算出されてもよい。また、以降の説明においては、ステップＳ４３０で撮影される画像を画像２とする。
【００４８】
次に、補正パラメータ演算装置３０は、撮像装置２０から画像２に関する情報を受信し、画像２における被写体チャートＣの各格子点の座標を算出する（Ｓ４４０）。この際、算出される格子点座標を（Ｘ’ｉ,Ｙ’ｊ）とする。なお、以降の説明においては、画像１及び画像２から算出した格子点座標における添え字が同一の場合、それぞれの格子点座標は被写体上の同一の対応点から算出されたものとする。また、格子点座標の一致は、被写体チャートＣに埋め込まれたマーカーなどの情報に基づいて確認されてもよい。
【００４９】
次に、補正パラメータ演算部３３０は、下記の数式（１）及び数式（２）を用いて、光学中心座標から各格子点座標までの距離を算出する（Ｓ４５０）。ここで、光学中心座標は、（ｘ，ｙ）として表される。数式（１）は、光学中心座標（ｘ，ｙ）から画像１より算出された格子点座標（Ｘｉ,Ｙｊ）までの距離ｒｉ，ｊを算出するための数式である。また、数式（２）は、光学中心座標（ｘ，ｙ）から画像２より算出された格子点座標（Ｘ’ｉ,Ｙ’ｊ）までの距離ｒ’ｉ，ｊを算出するための数式である。なお、光学中心座標（ｘ，ｙ）があらかじめ求められていない場合、補正パラメータ演算部３３０は、画像取得部２４０の中心座標を用いて、ｒｉ，ｊ及びｒ’ｉ，ｊを算出してもよい。
【００５０】
【数１】
2017112514.tif 000003
【００５１】
続いて、補正パラメータ演算部３３０は、上記の数式（１）及び数式（２）から算出されたｒｉ，ｊとｒ’ｉ，ｊ、及びレンズ２１０の変動量Δｚから、下記の数式（３）を用いて、ｒ’ｉ，ｊごとのＣＲＡ相当角度Ｃ（ｒ’ｉ，ｊ）を算出する（Ｓ４６０）。なお、本例においては、ＣＲＡ相当角度Ｃ（ｒ’ｉ，ｊ）を算出するために数式（３）を用いているが、ここで、ｔａｎ（Ｃ（ｒ’ｉ，ｊ））が求められてもよい。ｔａｎ（Ｃ（ｒ’ｉ，ｊ））を算出すことにより、後述する数式（１６）における演算処理を軽減することが可能となる。
【００５２】
【数２】
2017112514.tif 000004
【００５３】
以上、説明したとおり、本実施形態に係る歪み補正パラメータの算出は、レンズ２１０の変動量Δｚを用いて、レンズ位置に応じたＣＲＡ特性を求めることを特徴の一つとする。当該特徴により、オートフォーカス機能を有するカメラモジュールにおいて、ＣＲＡが像高に比例しない場合でも、レンズ位置に応じた歪みの度合いを検出することが可能となる。
【００５４】
［２．５．レンズ２１０の変動量Δｚの算出］
上記における歪み補正パラメータの算出についての説明では、任意の信号ΔＤを印加した際のレンズ２１０の変動量Δｚを算出する係数があらかじめ定められている場合について述べた。ここで、図１０及び図１１を参照して、当該係数が定められていない場合に、レンズ２１０の変動量Δｚを算出する方法について説明する。
【００５５】
本実施形態に係る撮像装置２０では、焦点距離及び被写体距離が既知の場合、レンズの写像公式を用いて、レンズ２１０から画像取得部２４０までの距離を算出することができる。具体的には、２つの異なる被写体距離Ｌ及びＬ’で撮影した場合における、アクチュエータ２２０への印加信号量の差、及びレンズ２１０から画像取得部２４０までの距離の差を求めることで、レンズ２１０の変動量Δｚを算出することが可能となる。
【００５６】
図１０は、撮像装置２０が、被写体距離Ｌに設置された被写体チャートＣを、オートフォーカス機能により合焦状態で撮影した状況を示している。この際、制御部２３０がアクチュエータ２２０に印加する信号量をＤ１とする。また、このとき、レンズ２１０から画像取得部２４０までの距離をaとすると、焦点距離ｆは、下記の数式（４）に記載されるレンズの写像公式により求められる。さらには、信号量Ｄ１を印加した際のレンズ２１０の位置を基準位置とした場合、レンズ２１０から画像取得部２４０までの距離ａは、下記の数式（５）により算出することができる。
【００５７】
【数３】
2017112514.tif 000005
【００５８】
図１１は、撮像装置２０が、被写体距離Ｌ’に設置された被写体チャートＣを、オートフォーカス機能により合焦状態で撮影した状況を示している。この際、制御部２３０がアクチュエータ２２０に印加する信号量をＤ２とする。また、このとき、レンズ２１０から画像取得部２４０までの距離をa＋Δｚとすると、焦点距離ｆは、下記の数式（６）に記載されるレンズの写像公式により求められる。さらには、レンズ２１０から画像取得部２４０までの距離ａ＋Δｚは、下記の数式（７）により算出することができる。
【００５９】
【数４】
2017112514.tif 000006
【００６０】
ここで、信号量ΔＤ＝Ｄ２−Ｄ１とした場合、アクチュエータ２２０に信号量ΔＤを印加した際のレンズ２１０の変動量Δｚは、下記の数式（８）を用いて定数として算出することが可能となる。また、レンズ２１０の変動量Δｚが印加される信号量ΔＤに比例する場合においては、下記の数式（９）により、アクチュエータ２２０へ印加する信号量に応じたレンズ２１０の変動量Δｚを算出できる。なお、数式（９）におけるｋは、比例定数を示す。
【００６１】
【数５】
2017112514.tif 000007
【００６２】
上記における説明では、アクチュエータ２２０に印加される信号量ΔＤに、レンズ２１０の変動量Δｚが比例する場合を仮定して述べた。一方、レンズ２１０の変動量Δｚがアクチュエータ２２０に印加される信号量ΔＤに比例しない場合においては、Δｚ＝ｆ（ΔＤ）として、アクチュエータ２２０の特性に応じた換算係数を求めてもよい。本実施形態で用いた各数式は、撮像装置２０の構成要素に応じて適宜変更され得る。
【００６３】
［２．６．歪み補正パラメータを用いた画像補正］
以上、本実施形態に係る補正パラメータ演算装置３０による、歪み補正パラメータの算出について述べた。続いて、図１２及び図１３を参照し、当該補正パラメータを用いた、撮像装置２０による画像の歪み補正について説明する。本実施形態に係る画像の歪み補正は、撮影された各画像の歪みを、一段階または二段階の画像処理により、補正することを特徴の一つとする。本実施形態に係る撮像装置２０は、まず、撮影した画像を基準となるレンズ位置（以下、補正位置、とも呼ぶ）における歪み状態に合わせて補正し、その後、あらかじめ設定された係数を用いて歪み補正を実施する。
【００６４】
図１２は、歪み補正パラメータを用いた画像補正手法について説明するための概略図である。図１２を参照すると、撮像装置２０は、像高に対応するＣＲＡ相当角度Ｃ（ｒ’ｉ，ｊ）に関するデータを記憶部２７０に保有している。また、上述した数式（３）により、ｔａｎ（Ｃ（ｒ’ｉ，ｊ））が求められている場合、記憶部２７０は、ｔａｎ（Ｃ（ｒ’ｉ，ｊ））に関するデータを有してもよい。なお、記憶部２７０が保有するＣ（ｒ’ｉ，ｊ）及びｔａｎ（Ｃ（ｒ’ｉ，ｊ））に関するデータは、下記の数式（１０）及び（１１）に示されるような多項式近似により算出された係数であってもよい。数式（１０）及び（１１）に示される多項式の次数は、適宜変更され得る。また、記憶部２７０は、補正位置における画像の歪み状態を補正するための補正係数ｋ’ｍ（ｍ＝１〜ｎ）を保有する。撮像装置２０がリムーバブル記憶媒体と接続するためのドライブを備える場合においては、Ｃ（ｒ’ｉ，ｊ）、ｔａｎ（Ｃ（ｒ’ｉ，ｊ））、及び補正係数ｋ’ｍは、リムーバブル記憶媒体に記憶されてもよい。
【００６５】
【数６】
2017112514.tif 000008
【００６６】
記憶部２７０が上記のデータを保有した状態で、制御部２３０がアクチュエータ２２０に信号量ΔＤを印加すると、アクチュエータ２２０は、レンズ２１０を光軸方向にΔｚ移動させる。この状況で撮影される画像Ａは、補正位置で撮影される画像とは異なる歪み状態を有する。
【００６７】
本実施形態に係る画像演算部２５０は、まず、上記で取得された画像Ａを補正位置で撮影された場合の歪み状態に合わせる処理を行い、画像Ｂを取得する。具体的には、画像演算部２５０は、画像Ａにおける画素位置を（ｘ’,ｙ’）として表す場合、下記の数式（１２）を用いて、光学中心座標から画素位置（ｘ’,ｙ’）までの距離ｒ’を算出する。次に、画像演算部２５０は、下記の数式（１３）を用いて、補正位置における歪み状態に合わせた補正後の画素位置を算出する。この際、画像演算部２５０は、算出に用いるレンズ２１０の変動量Δｚ、及びＣＲＡ相当角度Ｃ（ｒ’ｉ，ｊ）を、それぞれ制御部２３０と記憶部２７０から取得する。なお、数式（１３）で算出されたｒに対応する（ｘ,ｙ）座標を求める場合には、極座標系にてｒ’と同一の角度を保ったまま座標変換すればよい。
【００６８】
【数７】
2017112514.tif 000009
【００６９】
上記の処理により、本実施形態に係る信号処理方法では、撮影時のレンズ位置を問わず、補正位置で撮影された画像と同一の歪み状態を有する画像Ｂを得ることができる。続いて、画像演算部２５０は、画像Ｂに対し、補正位置における画像の歪み状態を補正するための補正係数ｋ’ｍを用いて歪み補正を実行し、歪みの補正された画像Ｃを画像出力部２６０に出力する。この際、歪み補正後の座標Ｒは、下記の数式（１４）を用いて算出されてもよい。また、ｔａｎ（Ｃ（ｒ’ｉ，ｊ））を多項式近似により算出している場合、上記の処理を行わずに、一段階で歪み状態の補正を行ってもよい。この場合、下記の数式（１５）により算出したｋ’’ｍを用いて、下記の数式（１６）に基づく補正を行う。数式（１５）及び（１６）により処理を行うことで、演算回数を現象し、計算を簡略化することが可能となる。
【００７０】
【数８】
2017112514.tif 000010
【００７１】
図１３は、本実施形態に係る画像演算部２５０による画像処理の流れを示すイメージ図である。図１３を参照すると、画像演算部２５０は、画像取得部２４０から取得した画像Ａに対し演算処理を行い、補正位置に合わせた歪み状態を有する画像Ｂを取得する。図１３の中段には、変換前の画素座標が点線で、変換後の画素座標が実線で表されている。
【００７２】
続いて、画像演算部２５０は、補正位置と同一の歪み状態を有する画像Ｂに対し、補正位置における画像の歪み状態を補正するための補正係数を用いて演算処理を行い、画像Ｃを取得する。図１３の下段には、変換前の画素座標が点線で、変換後の画素座標が実線で示されている。
【００７３】
以上、説明したとおり、本実施形態に係る信号処理方法では、撮影された画像の歪みを、一段階または二段階の画像処理により、補正することを特徴の一つとする。すなわち、本実施形態に係る撮像装置２０は、各画像の歪み状態を補正位置の歪み状態に合わせる処理を行った後、補正位置における画像の歪み状態を補正するための補正係数を用いて歪み補正を実行する。当該特徴により、ＣＲＡが像高に比例しないカメラモジュールにおいて、異なるレンズ位置で撮影された画像であっても、単一の補正係数を用いて歪み補正を行うことが可能となる。
【００７４】
［２．７．本実施形態に係る歪み補正の精度］
次に、図１４〜図１６を参照して、本実施形態に係る歪み補正の精度について述べる。図１４及び図１５には、本実施形態に係る信号処理方法による補正処理前、及び補正処理後の実際の撮影画像が示されている。
【００７５】
図１４には、被写体距離８０ｃｍの位置で被写体チャートＣを合焦状態で撮影した補正前画像Ａが、図中左側に示されている。また、図１４には、補正前画像Ａを撮影した状態からアクチュエータ２２０を駆動し、合焦状態からレンズ位置を変動させた状態で撮影した基準画像Ｂが、図中右側に示されている。なお、図１４に示される２つの画像は、撮影画像における被写体チャートＣの上端中央部を拡大した図である。
【００７６】
ここで、図１４に示される２つの画像上には、基準線ｂ１及びｂ２が示されている。基準線ｂ１は、基準画像Ｂ上の、被写体チャートＣの最上段に描画された正方形のうち、最も左に位置する正方形の上端と最も右に位置する正方形の上端を結んだ線を示す。また、基準線ｂ２は、基準画像Ｂの最上段に位置する正方形の上端を結んだ線を示す。図１４において、基準線ｂ１及びｂ２に着目すると、補正前画像Ａと基準画像Ｂでは、異なる歪み状態が生じていることが確認できる。すなわち、補正前画像Ａにおいて最上段に位置する各正方形の上端は、基準線ｂ２と比べ、基準線ｂ１に近いことがわかる。
【００７７】
次に、図１５を参照して、本実施形態に係る信号処理方法による補正処理後の画像について説明する。図１５には、図１４における補正前画像Ａを本実施形態に係る信号処理方法により処理した画像が、補正後画像Ｃとして、図中左側に示されている。また、図１５には、図１４と同様の基準画像Ｂが比較のために図中右側に示されている。なお、図１４の場合と同様に、図１５に示される２つの画像は、撮影画像における被写体チャートＣの上端中央部を拡大した図である。さらに、図１５に示される２つの画像上には、図１４の場合と同様に基準線ｂ１及びｂ２が示されている。
【００７８】
図１５において、基準線ｂ１及びｂ２に着目すると、補正後画像Ｃと基準画像Ｂでは、合焦からのずれによるぼけの影響は異なるものの、同一の歪み状態を有していることが確認できる。すなわち、補正後画像Ｃにおいて最上段に位置する各正方形の上端は、基準線ｂ２と一致していることがわかる。
【００７９】
続いて、図１６を参照して、本実施形態に係る信号処理方法による歪み補正の精度について説明する。図１６は、図１５に示した補正後画像と基準画像における各格子点座標のずれを定量評価したグラフである。図１６では、補正後画像Ｃと基準画像Ｂにおける各格子点座標のずれが数値とグレースケールで示されている。図１６に示す一例においては、各セルの背景色が黒に近いほど格子点座標のずれが大きく、白に近いほど格子点のずれは小さい。図１６を参照すると、本実施形態に係る信号処理方法では、最大０．８ピクセル程度の誤差で歪み補正が行えることがわかる。
【００８０】
以上説明したとおり、本実施形態に係る信号処理方法を用いることで、異なるレンズ位置で撮影された画像の歪み状態を、高い精度で補正することが可能となる。
【００８１】
［２．８．第１の実施形態に係る効果］
以上、本実施形態に係る信号処理方法及び撮像装置２０について、詳細に説明した。上記で述べたとおり、本実施形態に係る信号処理方法は、レンズ位置に応じたＣＲＡ特性を求めることを特徴の一つとする。当該特徴により、オートフォーカス機能を有するカメラモジュールにおいて、ＣＲＡが像高に比例しない場合でも、レンズ位置に応じた歪みの度合いを検出することが可能となる。
【００８２】
また、本実施形態に係る撮像装置２０は、各画像の歪み状態を補正位置の歪み状態に合わせる処理、及び補正位置における画像の歪み状態を補正するための補正係数を用いて歪み補正を実行する。当該特徴により、ＣＲＡが像高に比例しないカメラモジュールにおいて、異なるレンズ位置で撮影された画像であっても、単一の補正係数を用いて歪み補正を行うことが可能となる。
【００８３】
レンズ位置に応じた歪み特性を求めるために、異なる複数のレンズ位置で歪み特性を算出する方法がある。また、この際、線形比例を示さない歪み特性のデータを取得するめには、少なくとも３つの異なるレンズ位置で撮影した画像から歪み特性を演算することが求められる。これに対し、本実施形態に係る信号処理方法では、２つの異なるレンズ位置で撮影した画像からレンズ位置に応じた歪み特性を算出することが可能となる。また、レンズ位置に応じた歪み特性が既知の場合においては、１枚の画像撮影で歪み補正を行うことが可能となる。このため、本実施形態に係る信号処理方法を用いることで、撮像装置２０の生産時におけるタクトタイムの減少が期待できる。
【００８４】
また、上記で説明した、異なる複数のレンズ位置で歪み特性を算出する方法では、算出される歪み特性の精度は、異なるレンズ位置で撮影された画像の数に依存する。さらに、当該方法では、歪みを測定した最短、及び最長被写体距離以外での歪み補正は、外挿補間により求められるため、精度が低い。一方、本実施形態に係る信号処理方法は、２つの異なるレンズ位置で撮影した画像から、精度の高い歪み特性を算出することが可能である。
【００８５】
＜３．第２の実施形態＞
［３．１．独立モジュールを複数有する撮像装置］
次に、図１７及び図１８を参照して、本開示の第２の実施形態に係る撮像装置２０について説明する。なお、以下の説明においては、第１の実施形態との差異について重点的に説明し、共通する構成要素については、説明を省略する。
【００８６】
第１の実施形態に係る撮像装置２０は、レンズ２１０、アクチュエータ２２０、及び画像取得部２４０から成る独立モジュールを１組のみ備える場合について述べた。これに対し、本開示の第２の実施形態に係る撮像装置２０は、上記の独立モジュールを２組備えることを特徴とする。
【００８７】
［３．２．複数の制御部によるアクチュエータの制御］
まず、図１７を参照して、本実施形態に係る複数の制御部２３０ａ及び２３０ｂによるアクチュエータ２２０ａ及び２２０ｂの制御について説明する。図１７に示される撮像装置２０は、２つのレンズ２１０ａ及び２１０ｂと、２つのアクチュエータ２２０ａ及び２２０ｂと、２つの制御部２３０ａ及び２３０ｂと、を備える。
【００８８】
図１７に示される一例において、撮像装置２０は、アクチュエータ２２０ａ及び２２０ｂを連動して動作させてもよい。すなわち、制御部２３０ａ及び２３０ｂは、それぞれ、アクチュエータ２２０ａに印加する信号量Ｄ１と、アクチュエータ２２０ｂに印加する信号量Ｄ２と、を連動して制御することができる。
【００８９】
例えば、制御部２３０ａがアクチュエータ２２０ａに信号量Ｄ１を印加し、レンズ２１０ａをΔｚ１移動させた場合、第１の実施形態で説明した数式（４）を用いることで、被写体距離Ｌ’の算出が可能となる。この際、レンズ２１０ａにおける焦点距離ｆ１、基準位置ａ１、及びレンズ２１０ａの変動量Δｚ１は既知のものとする。
【００９０】
この際、補正パラメータ演算部３３０は、上記により算出した被写体距離Ｌ’、レンズ２１０ｂにおける既知の焦点距離ｆ２及び基準位置ａ２を用いることで、レンズ２１０ｂの変動量Δｚ２を算出することが可能となる。
【００９１】
［３．３．単一の制御部による複数アクチュエータの制御］
次に、図１８を参照して、本実施形態に係る単一の制御部２３０によるアクチュエータ２２０ａ及び２２０ｂの制御について説明する。図１８に示す撮像装置２０は、図１７に示した一例と同様に２組の独立モジュールを備えるが、各独立モジュールにおけるアクチュエータ２２０ａ及び２２０ｂを単一の制御部２３０により制御することを特徴とする。
【００９２】
図１８に示す一例においては、アクチュエータ２２０ａ及び２２０ｂは、同一の駆動特性を有する。すなわち、アクチュエータ２２０ａ及び２２０ｂは、同一の信号量が印加された際、レンズ２１０ａまたは２１０ｂを同一距離Δｚだけ移動させる。上記のように、各独立モジュールにおけるアクチュエータ２２０が同一の駆動特性を有する場合、各アクチュエータ２２０は、単一の制御部２３０により制御されてもよい。また、任意の信号量Ｄからレンズ２１０の変動量Δｚを算出する補正式は、各独立モジュールで共通の式を適用してもよい。
【００９３】
［３．４．第２の実施形態に係る効果］
以上、本実施形態に係る撮像装置２０の構成について説明した。上記で述べたとおり、本実施形態に係る撮像装置２０は、複数の独立モジュールを備えることを特徴の一つとする。撮像装置２０は、各独立モジュールにおけるアクチュエータ２２０を連動させて制御することで、各独立モジュールにおける歪み補正パラメータの算出を効率化することが可能となる。
【００９４】
また、歪み補正パラメータの算出に用いる係数を一部共通化することで、各独立モジュール間における歪み補正パラメータのばらつきをより小さくすることが可能となる。さらには、一般的な複眼カメラにおいて、独立モジュールそれぞれの角度や位置ずれを補正するための補正量を求める処理を同時に行うことで、作業を簡素化できる。なお、本実施形態では、２組の独立モジュールを備える撮像装置２０について説明したが、本開示に係る撮像装置の構成は係る例に限定されない。本開示に係る撮像装置は、３組以上の独立モジュールを備えてもよい。本開示に係る信号処理方法は、複数の独立モジュールを備える撮像装置に広く適用され得る。
【００９５】
＜４．第３の実施形態＞
［４．１．撮影モードによる歪み補正の制御］
次に、図１９を参照して、本開示の第３の実施形態に係る撮像装置２０について説明する。なお、以下の説明においては、第１の実施形態との差異について重点的に説明し、共通する構成要素については、説明を省略する。
【００９６】
本実施形態に係る撮像装置２０は、撮影モードにより、歪み補正の実行要否を判断することを特徴の一つとする。一般的に、画像の歪み補正処理は、高度な処理を必要とするため、処理のスピードや電力の消費が課題となる場合がある。このため、本実施形態に係る撮像装置２０は、撮影モードにより歪み補正の実行要否を判断し、求められる場合にのみ、歪み補正処理を行うことができる。
【００９７】
本実施形態に係る撮影モードを考慮した歪み補正の実行要否判断は、例えば、歪み補正を実行しない第１のモードと、歪み補正を実行する第２のモードと、の切り替えにより実現されてもよい。ここで、第１及び第２のモードは、実行されるプログラムの違いにより制御されてもよい。具体的には、制御部２３０が、動画撮影に係るプログラムによりアクチュエータ２２０を制御する場合、画像演算部２５０は、撮影モードが第１のモードであると判断し、歪み補正を実行しない判断を行う。また、第１のモードには、例えば、処理のスピードを優先するモードやプレビューモードなどが含まれてもよい。
【００９８】
一方、制御部２３０が静止画撮影に係るプログラムによりアクチュエータ２２０を制御する場合、画像演算部２５０は、撮影モードが第２のモードであると判断し、撮影された画像に対し歪み補正を実行する。なお、第２のモードには、静止画撮影以外のモードが含まれてもよいし、静止画撮影モードのうち、例えば高画質モードなどの特定のモードのみを含んでもよい。第１及び第２のモードの切り替えは、撮像装置２０の仕様に応じて、適宜変更され得る。また、第１及び第２のモードの切り替えは、撮像装置２０を操作するユーザの操作によって行われてもよい。
【００９９】
［４．２．撮影モードによる制御の流れ］
次に、図１９を参照して、本実施形態に係る撮影モードを考慮した歪み補正の実行要否判断について、制御の流れを説明する。まず、画像演算部２５０は、制御部２３０から、撮影モードに関する情報を取得する（Ｓ５１０）。ここで、撮影モードが、歪み補正を実行しない第１のモードであるとき（Ｓ５２０：ＮＯ）、画像演算部２５０は、歪み補正を実行せずに、画像出力部２６０に画像取得部２４０により取得された画像を出力させ（Ｓ５６０）、処理を終了する。
【０１００】
一方、撮影モードが、歪み補正を実行する第２のモードであるとき（Ｓ５２０：ＹＥＳ）、画像演算部２５０は、制御部２３０や記憶部２７０から、歪み補正に係る情報を取得する（Ｓ５３０）。次に、画像演算部２５０は、取得した情報に基づき、画像取得部２４０により取得された画像を、補正位置の歪み状態に合わせる補正を行う（Ｓ５３０）。続いて、画像演算部２５０は、補正位置における画像の歪み状態を補正するための補正係数を用いて、画像の歪み補正処理を行う（Ｓ５５０）。上記の歪み補正が終了すると、画像演算部２５０は、歪み補正後の画像を画像出力部２６０に出力させる（Ｓ５６０）。
【０１０１】
［４．２．第３の実施形態に係る効果］
以上、本実施形態に係る撮影モードを考慮した歪み補正の実行要否判断について述べた。本実施形態に係る画像演算部２５０は、撮影モードに応じて、画像の歪み補正の実行を判断することを特徴の一つとする。当該特性により、求められる場合にのみ、歪み補正を実行することが可能となり、消費電力を低減し、処理スピードを向上することができる。なお、本実施形態に係る撮影モードを考慮した歪み補正の実行要否判断は、第１及び第２の実施形態に係る撮像装置２０に適用されてもよい。
【０１０２】
＜５．補正パラメータ演算装置３０のハードウェア構成例＞
次に、本開示に係る補正パラメータ演算装置３０のハードウェア構成例について説明する。図２０は、本開示に係る補正パラメータ演算装置３０のハードウェア構成例を示すブロック図である。図２０を参照すると、補正パラメータ演算装置は、例えば、ＣＰＵ３７１と、ＲＯＭ３７２と、ＲＡＭ３７３と、ホストバス３７４と、ブリッジ３７５と、外部バス３７６と、インターフェース３７７と、入力部３７８と、出力部３７９と、記憶部３８０と、ドライブ３８１と、接続ポート３８２と、通信部３８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【０１０３】
（ＣＰＵ３７１）
ＣＰＵ３７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ３７２、ＲＡＭ３７３、記憶部３８０、又はリムーバブル記録媒体５０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【０１０４】
（ＲＯＭ３７２、ＲＡＭ３７３）
ＲＯＭ３７２は、ＣＰＵ３７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ３７３には、例えば、ＣＰＵ３７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１０５】
（ホストバス３７４、ブリッジ３７５、外部バス３７６、インターフェース３７７）
ＣＰＵ３７１、ＲＯＭ３７２、ＲＡＭ３７３は、例えば、高速なデータ伝送が可能なホストバス３７４を介して相互に接続される。一方、ホストバス３７４は、例えば、ブリッジ３７５を介して比較的データ伝送速度が低速な外部バス３７６に接続される。また、外部バス３７６は、インターフェース３７７を介して種々の構成要素と接続される。
【０１０６】
（入力部３７８）
入力部３７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部３７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
【０１０７】
（出力部３７９）
出力部３７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
【０１０８】
（記憶部３８０）
記憶部３８０は、各種のデータを格納するための装置である。記憶部３８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０１０９】
（ドライブ３８１）
ドライブ３８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体５０１に記録された情報を読み出し、又はリムーバブル記録媒体５０１に情報を書き込む装置である。
【０１１０】
（リムーバブル記録媒体５０１）
リムーバブル記録媒体５０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体５０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０１１１】
（接続ポート３８２）
接続ポート３８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器５０２を接続するためのポートである。
【０１１２】
（外部接続機器５０２）
外部接続機器５０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１１３】
（通信部３８３）
通信部３８３は、ネットワーク５０３に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
【０１１４】
＜６．まとめ＞
以上、説明したように、本開示の第１の実施形態に係る撮像装置２０は、各画像の歪み状態を補正位置の歪み状態に合わせる処理を行った後、補正位置における画像の歪み状態を補正するための補正係数を用いて歪み補正を実行することを特徴の一つとする。また、本開示の第２の実施形態に係る撮像装置２０は、複数の独立モジュールを備え、各独立モジュールにおけるアクチュエータ２２０を連動して制御することを特徴の一つとする。また、本開示の第３の実施形態に係る撮像装置２０は、撮影モードにより、歪み補正の実行要否を判断することを特徴の一つとする。係る構成によれば、異なるレンズ位置で撮影された画像の歪み状態を効率的に処理することが可能となる。
【０１１５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１６】
例えば、上記実施形態では、独立モジュールを１組または２組備える撮像装置としたが、本技術はかかる例に限定されない。本開示に係る信号処理方法は、例えば、独立モジュールを３組以上備える撮像装置に適用されてもよい。
【０１１７】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１１８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
プロセッサが、画素内像高に対する主光線傾角と、アクチュエータにより変動される、撮像素子に対するレンズの光軸方向上の相対的位置と、の相関から歪み補正パラメータを算出すること、
を含む、信号処理方法。
（２）
前記撮像素子に対するレンズの光軸方向上の相対的位置が異なる状態で撮影された２枚の画像における被写体上の対応点の像高と、前記２枚の画像を撮影した際の前記撮像素子に対するレンズの光軸方向上の相対的位置と、を基に、前記画素内像高に対する前記主光線傾角と、前記撮像素子に対するレンズの光軸方向上の相対的位置と、の相関を求めること、
をさらに含む、前記（１）に記載の信号処理方法。
（３）
前記被写体上の対応点の座標と、光学中心の座標と、前記撮像素子の画素ピッチと、を基に前記被写体上の対応点の像高を算出すること、
をさらに含む、前記（１）または（２）に記載の信号処理方法。
（４）
前記被写体上の対応点の座標と、前記撮像素子の中心座標と、前記撮像素子の画素ピッチと、を基に前記被写体上の対応点の像高を算出すること、
をさらに含む、前記（１）または（２）に記載の信号処理方法。
（５）
異なる２つの被写体距離でそれぞれ合焦状態となるように撮影した際の、それぞれの前記被写体距離、前記アクチュエータへの印加信号量、及び焦点距離、を基に前記撮像素子に対するレンズの光軸方向上の相対的位置を算出すること、
をさらに含む、前記（１）〜（４）のいずれかに記載の信号処理方法。
（６）
撮像素子と、レンズと、前記レンズを光軸方向に駆動するアクチュエータと、から成る組を少なくとも２組以上備える撮像装置に適用される、
前記（１）〜（５）のいずれかに記載の信号処理方法。
（７）
前記組ごとのアクチュエータは、連動して制御されること、
をさらに含む、前記（６）に記載の信号処理方法。
（８）
いずれかの組における前記撮像素子に対するレンズの光軸方向上の相対的位置を基に、当該組とは異なる別の組における撮像素子に対するレンズの光軸方向上の相対的位置を求めること、
をさらに含む、前記（６）または（７）に記載の信号処理方法。
（９）
画素内像高に対する主光線傾角と、アクチュエータにより変動される、撮像素子に対するレンズの光軸方向上の相対的位置と、の相関から算出された歪み補正パラメータを用いて画像を変換する画像演算部、
を備える、撮像装置。
（１０）
第１のモードと、第２のモードとを有し、第２のモードが適用される場合にのみ、前記歪み補正パラメータを用いて画像を変換し、
前記第２のモードは、静止画撮影時に適用される、
前記（９）に記載の撮像装置。
【符号の説明】
【０１１９】
２０      撮像装置
２１０    レンズ
２２０    アクチュエータ
２３０    制御部
２４０    画像取得部
２５０    画像演算部
２６０    画像出力部
２７０    記憶部
２８０    通信部
３０      補正パラメータ演算装置
３１０    通信部
３２０    記憶部
３３０    補正パラメータ演算部
【図１】
2017112514.tif 000011
【図２】
2017112514.tif 000012
【図３】
2017112514.tif 000013
【図４】
2017112514.tif 000014
【図５】
2017112514.tif 000015
【図６】
2017112514.tif 000016
【図７】
2017112514.tif 000017
【図８】
2017112514.tif 000018
【図９】
2017112514.tif 000019
【図１０】
2017112514.tif 000020
【図１１】
2017112514.tif 000021
【図１２】
2017112514.tif 000022
【図１３】
2017112514.tif 000023
【図１４】
2017112514.tif 000024
【図１５】
2017112514.tif 000025
【図１６】
2017112514.tif 000026
【図１７】
2017112514.tif 000027
【図１８】
2017112514.tif 000028
【図１９】
2017112514.tif 000029
【図２０】
2017112514.tif 000030