(57)【要約】【課題】複数の異なる焦点距離の光学系からなる複眼光学群を有する撮像装置において、リズーム動作の際に画像切り替え時の違和感を抑えることが可能な撮像装置を提供する。【解決手段】この撮像装置は、複数の異なる焦点距離の光学系で構成される多眼光学群と、複数の焦点距離の光学系における撮像領域において、動体が含まれるか否かを検知する検知手段と、検知手段の検知結果に応じて、第１の焦点距離の光学系における絞り値に従って前記多眼光学群の各々の光学系の絞り値を決定する第１の露出モードと、前記多眼光学群の各々の光学系におけるシャッター速度を決定してから前記絞り値を決定する第２の露出モードを切り替える切り替え手段と、を備える。【選択図】図９
2017219697.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる焦点距離の光学系で構成される多眼光学群と、
前記複数の焦点距離の光学系における撮像領域において、動体が含まれるか否かを検知する検知手段と、
前記検知手段の検知結果に応じて、第１の焦点距離の光学系における絞り値に従って、前記第１の焦点距離より長い焦点距離である前記多眼光学群の各々の光学系の絞り値を決定する第１の露出モードと、前記多眼光学群の各々の光学系におけるシャッター速度を決定してから前記絞り値を決定する第２の露出モードを切り替える切り替え手段と、
を備える
ことを特徴とする撮像装置。
【請求項２】
前記切り替え手段で切り替えた露出モードに従って、前記多眼光学群の各々の光学系の絞り値を決定する制御手段、
をさらに備え、
前記切り替え手段は、前記検知手段により前記撮像領域内に動体が含まれないと検知された場合、前記第１の露出モードに切り替えて、前記制御手段は、前記第１の露出モードに従って前記絞り値を決定し、
前記切り替え手段は、前記検知手段により前記撮像領域内に動体が含まれると検知された場合、前記第２の露出モードに切り替えて、前記制御手段は、前記第２の露出モードに従って前記絞り値を決定する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
切り替え手段は、前記検知手段が前記第１の焦点距離の光学系における撮像領域において動体が含まれ、かつ前記第１の焦点距離以外の焦点距離の光学系における撮像領域において動体が含まれないと検知した場合、前記第２の露出モードに切り替え、前記制御手段は、前記動体が含まれない焦点距離の光学系においてのみ、前記第１の露出モードに従って前記絞り値を決定する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記第１の露出モードにおいて、前記第１の焦点距離以外の焦点距離の光学系における絞り値を、前記決定した第１の焦点距離の光学系と被写界深度が等しくなるように決定する
ことを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記制御手段は、前記第２の露出モードにおいて、露出値、前記絞り値、および、前記シャッター速度の関係を示すプログラム線図に基づいてシャッター速度を決定してから前記絞り値を決定する
ことを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記検知手段は、前記第１の焦点距離の光学系における撮像領域において動体が含まれるか否かを検知する
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記第１の焦点距離は、前記多眼光学群において、最も短い焦点距離である
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
複数の異なる焦点距離の光学系で構成される多眼光学群を備える撮像装置の制御方法であって、
前記複数の焦点距離の光学系における撮像領域において、動体が含まれるか否かを検知する検知工程と、
前記検知工程の検知結果に応じて、第１の焦点距離の光学系における絞り値に従って前記多眼光学群の各々の光学系の絞り値を決定する第１の露出モードと、前記多眼光学群の各々の光学系におけるシャッター速度を決定してから前記絞り値を決定する第２の露出モードを切り替える切り替え工程と、
を有する
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置及び撮像装置の制御方法に関し、特に複数の異なる焦点距離の光学系を有することによって、複数の焦点距離画像を同時に撮影することが可能な撮像装置に関する。
【背景技術】
【０００２】
近年、複数の撮像系を用いて共通の被写体をそれぞれ撮像して取得した画像データを、デジタル合成処理することで様々な画像の出力を行う撮像装置が提案されている。その中でも、撮像装置の小型化・低価格化に伴い、光学ズームを使用することなく、焦点距離がそれぞれ異なる複数の撮像レンズによって被写体を撮像することによりズーム機能を実現する多眼方式の撮像装置が提案されている。特許文献１で提案される多眼方式の撮像装置では、撮影後に画像を再生する際に、ズーム比に応じて好適な焦点距離の撮像レンズで得られた画像を選択して画角を変更可能な、リズーム機能を有する構成にしている。これにより、ズームのための駆動機構を持つことなく、１台の撮像装置で画角の広い画像から画角の狭い画像まで撮像可能である。また、特許文献２では、同様な多眼撮像装置において、焦点距離の長い撮像レンズにより得られた画像では、焦点距離の短い撮像レンズより得られた画像に比して被写体画像のぶれの影響が大きくなることを防止する構成が提案されている。具体的には、焦点距離の長いレンズを有する撮像手段においては、焦点距離の短いレンズを有する撮像手段に比して、シャッタースピードを相対的に速くする構成が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３０３６９４号公報
【特許文献２】特開２０１３−６２６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、露出条件の設定から鑑みた場合、被写界深度を優先して露出条件を決定することが求められている。つまり、焦点距離の異なる撮像レンズにより複数の画像を得る場合において、撮影後に前記リズーム動作等のデジタル処理を行うことを考え、画像同士の露光量がそれぞれ等しくなるように絞り値、シャッター速度及びＩＳＯ感度で調整されることが考えられる。このとき、これらの画像同士の被写界深度も略同一にすることが望ましい。なぜならば、焦点距離が短く被写界深度が大きい画像と焦点距離が長く被写界深度の小さい画像といった被写界深度に差がある画像同士でリズーム動作等の画像切り替えを行うと、場合によっては注目していた箇所にボケが生じるなどといった現象が発生する。この現象は、ユーザーが違和感を覚える要因になる可能性がある。そのため、各焦点距離の撮像レンズにおける絞り値を制御し、画像同士の被写界深度を可能な限り揃え、被写界深度を優先して露出条件を決定することが求められている。
【０００５】
絞り値優先の露出条件設定は、動かない対象を撮影する場合にはよいが、スポーツをする人物等の動く対象を撮影する場合には難しい。つまり、焦点距離が長い撮像レンズから得られた画像は、焦点距離の短い撮像レンズから得られた画像に比して、被写体の動きによる画像ブレの影響が相対的に大きくなる。そのため、リズーム操作時に画像が切り替わった際に唐突にブレが目立ち、これもユーザーの違和感の原因となり得る。従って、動く対象を撮影する場合には、焦点距離の長い撮像レンズが焦点距離の短い撮像レンズに比して相対的にシャッター速度を速くするシャッター速度優先で露出条件を決定し、ブレの影響を軽減することが望ましい。しかしながら、当然ながら上記絞り値優先の露出条件とシャッター速度優先の露出条件といった相反する条件を同時に満たすことは難しい。
【０００６】
特許文献１においては、被写界深度やシャッター速度に対する開示がなく、リズーム動作時の被写界深度差及び動く対象を撮影した場合のブレ発生する恐れがある。また、特許文献２においては、被写体の輝度に応じてシャッター速度や絞りといった露出条件を決めるプログラム線図に基づいてシャッター速度優先で撮影がなされる。しかしながら、これは動く対象に対するブレ対策はでるが、常にシャッター速度優先であるため、動かない撮像対象等の被写界深度が重要になる場面で被写界深度が犠牲になる。
【０００７】
本発明は、上記課題を鑑みて、複数の異なる焦点距離の光学系からなる複眼光学群を有する撮像装置において、リズーム動作の際に画像切り替え時の違和感を抑えることが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の撮像装置は、複数の異なる焦点距離の光学系で構成される多眼光学群と、前記複数の焦点距離の光学系における撮像領域において、動体が含まれるか否かを検知する検知手段と、前記検知手段の検知結果に応じて、第１の焦点距離の光学系における絞り値に従って前記多眼光学群の各々の光学系の絞り値を決定する第１の露出モードと、前記多眼光学群の各々の光学系におけるシャッター速度を決定してから前記絞り値を決定する第２の露出モードを切り替える切り替え手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数の異なる焦点距離の光学系からなる複眼光学群を有する撮像装置において、リズーム動作の際に画像切り替え時の違和感を抑えることが可能な撮像装置を提供することができる。つまり、撮像対象によって露出モードを切り替えることにより、撮像対象に対して適切に画像ブレや被写界深度差を抑制して、リズーム動作の際に画像切り替え時の違和感を抑えることができる。
【図面の簡単な説明】
【００１０】
【図１】多眼カメラを示す斜視図及び光学群の概略図である。
【図２】多眼カメラの構成を説明するブロック図である。
【図３】多眼カメラによる撮像例を示す図である。
【図４】多眼カメラによる撮像例を示す図である。
【図５】多眼カメラによる動く被写体を撮影した撮像例を示す図である。
【図６】被写界深度を説明する模式図である。
【図７】第２の露出モードで用いられるプログラム線図である。
【図８】撮像動作のフローチャートである。
【図９】ＡＥ制御動作のフローチャートである。
【図１０】多多眼カメラによる動く被写体を撮影した撮像例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための最良の形態について図面などを参照して説明する。本発明は、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に適用可能であるが、これに限定されるものではなく、電子回路が実装された回路基板を筐体内部に収容する電子機器に広く適用することができる。
【００１２】
＜１−１．撮像装置の全体構成＞
図１は、本実施形態に係る多眼光学群を含むデジタルカメラ（撮像装置）を示す模式図である。図１（Ａ）は、カメラ１の正面を説明する斜視図で、図１（Ｂ）は、カメラ１の背面を説明する斜視図で、図１（Ｃ）は、光学群２が有する焦点距離の異なる光学系であるレンズの配置を示す模式図である。
【００１３】
図１（Ａ）に示すように、カメラ１の正面部には、複数のレンズを有する多眼光学群である光学群２が配され、カメラ１上部には、撮影の命令を行うレリーズ釦１６が配置される。また、図１（Ｂ）に示すように、カメラ１の背面には、撮影の設定や撮影後の画像を表示する画像表示手段である表示部１４と、撮影の設定や表示部１４に表示された画像を操作する画面操作部１７を有する。さらに、図１（Ｃ）に示すように、光学群２は、３ｘ３の配置で９個の焦点距離の異なるレンズ（レンズＡ（２１１）、レンズＢ（２２１〜２２４）、レンズＣ（２３１〜２３４））を有している。レンズＡ（２１１）は、焦点距離が最も短い（第１の焦点距離の）光学系である。レンズＢ（２２１〜２２４）、レンズＣ（２３１〜２３４）は、レンズＡ（２１１）より焦点距離が長い２種類の光学系である。なお、本実施形態では、レンズＢ（２２１〜２２４）よりレンズＣ（２３１〜２３４）の焦点距離がより長い光学系である。
【００１４】
図２は、撮像装置であるデジタルカメラの構成を示すブロック図である。カメラ１におけるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系３、撮像素子６、シャッター８を含み、画像処理系は、画像処理部１２を含む。また、記録再生系は、メモリ部１３、表示部１４を含み、制御系は、カメラシステム制御部１１、操作検出部１５、およびレンズ駆動部７、シャッター駆動部９を含む。レンズ駆動部７は、フォーカスレンズ４を駆動し、シャッター駆動部９は、シャッター８を駆動する。また、図２において、撮像光学系３を第１の撮像光学系３ａと第２の撮像光学系３ｂの２つの撮像光学系み図示しているが、図１（Ｃ）で示したように、本実施形態における光学群２には、９個の撮影光学系が存在する。そのため、撮影光学系毎にそれぞれフォーカスレンズ４、絞り機構５、撮像素子６、及びシャッター８を有するものとする。すなわち、第１の撮像光学系３ａは、フォーカスレンズ４ａ、絞り機構５ａ、撮像素子６ａ、及びシャッター８ａを有する。第２の撮像光学系３ｂは、フォーカスレンズ４ｂ、絞り機構５ｂ、撮像素子６ｂ、及びシャッター８ｂを有する。
【００１５】
撮像系は、被写体像からの光を撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。撮像素子６を露光することで得られた信号に基づいてフォーカスレンズ４を移動させ、また絞り機構５により開口が制限され、適切に撮影光学系３が調整されることで、撮像素子６近傍で被写体像が結像する。その上で、シャッター８により適切な時間だけ露光され、所定の露光量で画像データが得られる。
【００１６】
画像生成手段である画像処理部１２は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。メモリ部１３は、実際の記録部に加えて記録に必要な処理回路を備えている。メモリ部１３は、記録部へ出力を行うと共に、表示部１４に出力する像を生成、保存する。また、メモリ部１３は、予め定められた記録方式を用いて画像、動画、音声などの圧縮及び記録を行う。
【００１７】
カメラシステム制御部１１は、撮像の際のタイミング信号などを生成して出力する。外部操作に対応して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、図１（Ａ）のレリーズ釦１６の押下を操作検出部１５が検出して、シャッター８及び撮像素子６の駆動、画像処理部１２の動作、メモリ部１３の圧縮処理などを制御し、表示部１４に対して画像や情報を表示するように制御する。また、システム制御部１１は、後述する絞り値及びシャッター速度を制御する露光量制御手段、動体検知手段、焦点検出手段の機能を有する。さらに、カメラシステム制御部１１は、第１の露出モードと第２の露出モードを切り替えるモード切り替え手段を含む。
【００１８】
次に、制御系による光学系の調整動作について説明する。カメラシステム制御部１１には、画像処理部１２が接続されており、撮像素子６からの信号を元に適切な焦点位置を求める。また、カメラシステム制御部１１に含まれる動体検知手段は、撮像素子６からの信号を元に撮像領域に動体が含まれるか否かの検知を行い、その結果により、モード切り替え手段が撮像対象に対する最適露出モードを選択する。カメラシステム制御部１１は、選択された露出モードに従ってレンズ駆動部７、シャッター駆動部９を制御して、撮影光学系３に含まれる光学調整手段であるフォーカスレンズ４、絞り機構５及びシャッター８を駆動させてそれぞれの撮影光学系３を調整する。複数のフォーカスレンズ４は、それぞれの対応する撮像素子６で被写体像を適切に結像するように移動される。そして、絞り機構５及びシャッター８は、カメラシステム制御部１１に含まれる露出制御手段から命令を受けたレンズ駆動部７及びシャッター駆動部９により、適切な絞り値及びシャッター速度をもって露光量を調節する。
【００１９】
＜１−２．リズーム動作時における事象について＞
図３は、本実施形態における、一回の撮影で得られる撮像結果例である。各焦点距離の光学系の撮像素子６で得られた画像が、図３（Ａ）、３（Ｂ）、３（Ｃ）のように画像処理部１２で生成される。最も焦点距離の短いレンズＡの光学系における撮影画像が図３（Ａ）で表され、それより長い焦点距離のレンズＢ、レンズＣの光学系における撮像画像が焦点距離の短い順に図３（Ｂ）及び３（Ｃ）で表される。本実施形態では、図３（Ａ）〜３（Ｃ）の複数種類の焦点距離の画像が一回のレリーズ動作で同時に撮影される。なお、本実施形態では、３種類の焦点距離の光学系を含む光学群として記述しているが、２種類以上の複数種を含む光学群であれば本発明は適用可能であり、その適用範囲内で任意の種類の数の焦点距離の光学系を用いてよい。なお、上記の撮影画像は、図示されていないカメラ内のストレージ１８に保存される。また、ストレージ１８は、ＳＤカードやＣＦカード等の記録媒体が例として挙げられるが、これに限定されるものではない。
【００２０】
図３（Ａ）、３（Ｂ）、３（Ｃ）は、各撮像光学系を通り、それぞれの撮像素子６で得られた画像なので、電子ズームなどの拡大処理と異なり、長焦点の画像も高精度の解像度で得られる。画像再生時に、ユーザーによるズーム比の操作に応じて好適な焦点距離の光学系で得られた画像が選択され、高精度の解像度を保ったまま画角を変更し、画像再生を行うリズーム動作が可能な構成となっている。
【００２１】
ここで、リズーム動作時の画像切り替わりの際に、画像間の明るさに差異があると違和感が生じるため、これらの画像を撮影する際に、画像同士の露光量を合わせる必要がある。一般的には、それぞれの光学系の撮像領域内の輝度が一定の適正露出値になるように、それぞれの光学系において絞り値、シャッター速度、ＩＳＯ感度等で調整される。
【００２２】
しかしながら、焦点距離の異なる光学系を用いているため、単純に適正露出に調整しただけでは画像間で被写界深度に差が生じている可能性がある。図４（Ａ）〜４（Ｃ）は、図３と同様に、最も焦点距離の短いレンズＡの光学系における撮影画像が図４（Ａ）で表され、それより長い焦点距離のレンズＢおよびレンズＣの光学系における撮像画像が焦点距離の短い順に図４（Ｂ）及び４（Ｃ）で表されている。この時、焦点距離の短い光学系から得られた図４（Ａ）では手前、中央、奥に位置するギターが全て被写界深度範囲内に収まり、鮮明に写っている。しかし、焦点距離のより長い光学系から得られた図４（Ｂ）、４（Ｃ）では、合焦位置Ｍ０に位置する中央のギター以外の、手前のギター及び奥のギターＭ１は、ボケてしまっている。これは焦点距離が異なるため、同じ絞り値を用いた場合には、焦点距離が長くなるほど被写界深度が狭くなる、被写界深度差が生じるためである。このため、例えば、ユーザーが一番奥のギターに注目してリズーム動作を行っても、画像が長焦点距離の光学系の画像に切り替わった際に注目箇所がボケてしまい、ユーザーが違和感を覚える可能性がある。
【００２３】
また、動く対象を撮影する場合には、同様に単純に適正露出に調整しただけでは、被写体の動きによる画像ブレの影響が長焦点距離の光学系から得られた画像に目立ち、違和感の原因となる。図５（Ａ）〜５（Ｃ）では、運動中の人物を撮像した一例である。そして、図３、図４と同様に、最も焦点距離の短いレンズＡの光学系における撮影画像が図５（Ａ）で表され、それより長い焦点距離のレンズＢおよびレンズＣの光学系における撮像画像が焦点距離の短い順に図５（Ｂ）及び５（Ｃ）で表されている。図５（Ａ）からリズーム動作によって、図５（Ｂ）、５（Ｃ）と拡大処理していくと、長焦点距離の光学系から得られた図５（Ｃ）の画像において、被写体の動きによる画像ブレが目立ってしまっている。これは、焦点距離に差があるため、同じシャッター速度で撮像した場合には、長焦点距離の光学系において撮像素子面上での撮像対象の画像の移動速度がそれより短い焦点距離の撮像素子上に比して、相対的に速くなってしまうためである。そのため、ユーザーが高精細な拡大画像を求めてリズーム動作を行っても、画像が切り替わった際に画像ブレが目立ち、同様にユーザーが違和感を覚える可能性がある。
【００２４】
従って、前者の被写界深度差に対しては、被写界深度を等しくなるように、絞り値優先で露出条件を決定する。後者の画像ブレに対しては、焦点距離の長い光学系は、焦点距離の短い光学系に対し、相対的にシャッター速度を速めて、シャッター速度優先に露出条件を決定することで解決することが求められる。しかしながら、絞り値優先の撮影とシャッター速度優先の撮影といった、相反する露出条件を同時に満たすことは難しい。
【００２５】
そこで、本実施形態では、動体検知手段と、撮像対象によって第１の露出モードと、該第１の露出モードとは異なる第２の露出モードとを切り替えるモード切り替え手段とを持ち、動体検知手段の判定結果によって露出モードを切り替える。つまり、動かない対象には、絞り値を優先とする第１の露出モードを、動く対象に対しては、シャッター速度を優先とする第２の露出モードを使用して露出条件を決定することで撮像対象に対して適切な撮像処理を行い、リズーム時の違和感を解消する。以下に、第１及び第２の露出モードにおける露出条件決定過程を説明する。
【００２６】
第１の露出モードでは、それぞれの焦点距離の光学系の被写界深度が同等になるように、各々の光学系の焦点距離に応じて被写界深度を決定する。ここで、図６を用いて被写界深度の求め方について説明をする。図６は、被写界深度Ｌを説明する模式図である。レンズ７１に対し、左側に物体面を、右側に像面をとり物体面側の許容錯乱円径δから焦点深度εおよび被写界深度Ｌを示す。物体距離ａの物体７２が像面距離ｂの像面７３位置で結像する焦点距離ｆのレンズ７１において、許容錯乱円径をδ、レンズ７１の絞り値をＦとするとき、前方被写界深度Ｌｎと後方被写界深度Ｌｆと被写界深度Ｌは次の数式（１）、（２）、（３）で求められる。
2017219697.tif 000003
【００２７】
数式（１）、数式（２）からわかるように、前方被写界深度Ｌｎと後方被写界深度Ｌｆは許容錯乱円径δと物体距離ａ、絞り値Ｆ、レンズの焦点距離ｆにより求まる。そこで、ある２つのレンズの焦点距離をｆ１、ｆ２、絞り値をＦ１、Ｆ２とおくと、物体距離ａと許容錯乱円径δが同じ場合、２つのレンズの被写界深度を同じにするには数式（１）により数式（４）となる。
2017219697.tif 000004
これを解くと、各レンズの焦点距離ｆ１、ｆ２と絞り値Ｆ1、Ｆ２は数式（５）の関係になる。
2017219697.tif 000005
【００２８】
つまり、同じ許容錯乱円径の撮像素子を有しつつも互いに異なる焦点距離の２つの撮像光学系において、被写界深度を同じにするには、一方のレンズの絞り値を決めることで、もう一方のレンズの絞り値を調整すればよいことを示している。なお、本実施形態に係るカメラは、各撮像光学系において同じ性能の撮像素子６を使用しているので、許容錯乱円径δを同じとしたが、焦点距離ごとに許容錯乱円径δが異なる場合は、数式（５）により数式（６）の式でもう一方の絞り値が算出される。数式（６）において、一方のレンズの撮像素子の許容錯乱円をδ１、もう一方をδ２で示している。
2017219697.tif 000006
【００２９】
そこで、本実施形態のカメラでは、被写界深度制御手段により撮像光学系のそれぞれの被写界深度が同等になるように絞り機構を制御し絞り値を変更する。例えば、最も暗くなる、最短焦点距離のレンズの絞り値を基準として、数式（５）に基づきその他のレンズの絞り値を変更する。例えば、レンズＡ、レンズＢ、レンズＣの焦点距離をそれぞれ３５ｍｍ、５０ｍｍ、７０ｍｍとした場合、レンズＡの絞り値をＦＡ＝２．８とすると、数式（５）から、レンズＢ、レンズＣの絞り値ＦＢ、ＦＣは、それぞれＦＢ＝５．６、ＦＣ＝１１に設定される。本実施形態では、最も短い焦点距離のレンズの絞り値を基準としたが、ある一定以上に長い焦点距離の情報しか必要ないのであれば、基準となる焦点距離をユーザーが選択してもよい。そして、選択した焦点距離のレンズの絞り値を基準として、数式（５）に基づき、その他のレンズの絞り値を変更してもよい。
【００３０】
上記のように、各焦点距離の絞り値を決定した後、それぞれの焦点距離で適正露出となるようにシャッター速度を決定する。以上により、動かない撮影対象である場合は、シャッター速度の重要性が低いため、絞り値を優先して各焦点距離の被写界深度を等しくなるように設定することで、被写界深度差によるリズーム時の違和感を抑制した画像が生成できる。
【００３１】
第２の露出モードでは、焦点距離の短い光学系に対し、焦点距離の長い光学系におけるシャッター速度を相対的に速くする、シャッター速度優先で露出条件が決まる構成となる。シャッター速度比率は、メモリ部１３内に予め保存されているプログラム線図による。図７にプログラム線図の一例を示す。例えば、レンズＡ、レンズＢ、レンズＣの焦点距離をそれぞれ５０ｍｍ、７５ｍｍ、１００ｍｍとした場合、図中の一点鎖線のグラフがレンズＡ、実線のグラフがレンズＢ、二点鎖線のグラフがレンズＣである。そして、焦点距離が長いほど右側にグラフが位置する構成とする。この時、被写体輝度であるＢｖ値がＢｖ＝６とすると、レンズＡの光学系のシャッター速度ＳＡが１／１２５秒となる。そして、レンズＢ、レンズＣの光学系のシャッター速度ＳＢ、ＳＣを焦点距離が長くなるほど相対的に速いＳＢ＝１／１８０秒、ＳＣ＝１／２５０秒と設定されることとなる。また、同時に上記シャッター速度の際に適正露出となるべく、絞り値（図のＡｖ値）がプログラム線図より決定される。本実施形態では、レンズＡの絞り値ＦＡ＝５．６、レンズＢの絞り値ＦＢ＝６．３、レンズＣの絞り値ＦＣ＝８．０とする。また、開放絞り値は、被写界深度差を考慮して、焦点距離の短いものほど小さい構成となっている。以上から、動く対象に注目した撮影である場合は、被写界深度差よりも、注目している対象の画像ブレを重視し、シャッター速度を優先して焦点距離に応じて最適な値となるようにプログラム線図等を用いて設定する。これにより、長焦点距離における撮影対象の画像ブレを抑えた画像を生成可能となる。
【００３２】
次に、図８を用いて本実施形態における一連の撮影動作について説明する。図８は、本実施形態における、異なる焦点距離のレンズ間の露出モード選択を含む撮影動作のフローチャートである。まず、フローが開始されると、ステップＳ１０１で、各焦点距離の光学系の撮像素子６を適当な時間露光し、Ａ／Ｄ変換することにより画像データを読み込み、最も短い焦点距離の光学系の画像を表示部１４に表示してＬＶ表示（ライブビュー表示）を開始する。撮像素子６の露光による画像データの読み込みは、例えば３０ｆｐｓなどの一定のフレームレートで以降のフロー動作中も随時行われる。この時、撮像素子６が取得する被写体の明るさを計測する。
【００３３】
次に、ステップＳ１０２で、得られた各撮像素子の画像範囲内の被写体像について焦点検出手段により焦点検出状態の検出を行い、主被写体を決定する。例えば、被写体像の焦点状態の検出方法としては、別途設けられた、いわゆる位相差検出ユニットを有し、分離した２つの光学像の位相差による検出方法が挙げられる。なお、焦点検出方法については、既知の方法を用いてよく、詳細の説明を割愛する。そして、画像範囲内の最もカメラ側（至近側）に存在する被写体が主被写体として選択される。なお、主被写体は、撮影者がＬＶ表示を確認しながら表示操作部１７を介して選択を行ってもよいし、顔認識技術などの画像認識術によりあるアルゴリズムに基づき、主被写体を決定してもよい。
【００３４】
次に、ステップＳ１０３で、ステップＳ１０２の焦点検出結果に基づき主被写体像が合焦状態になるようにレンズ駆動部７により各焦点距離の光学系３のフォーカスレンズ４を駆動させる。次に、ステップＳ１０４で、ＬＶ表示用画像取得のために、最も焦点距離の短い光学系における適正露出での絞り値及びシャッター速度がカメラシステム制御部１１で算出され、設定し直される、仮ＡＥ制御動作が行われる。具体的には、ＬＶ表示時に撮像素子６より取得されている画像データの出力値が、ダイナミックレンジ内に収まるように、絞り値、シャッター速度、ＩＳＯ感度が再設定される。
【００３５】
次に、ステップＳ１０５で、電源がＯＦＦにされたか否かを検出し、ＯＦＦにされた場合（Ｙｅｓ）、フローを終了し、ＯＦＦにされていない場合（Ｎｏ）、ステップＳ１０６に進む。次に、ステップＳ１０６で、撮影者（ユーザー）がレリーズ釦１６を押圧して撮影命令を出したか否かを判定する。撮影命令が出されていない場合（Ｎｏ）、ステップＳ１０１に戻ってフローを繰り返し、撮影命令が出された場合（Ｙｅｓ）、ステップＳ１０７に進む。そして、ステップＳ１０７で、ＡＥ制御動作が行われ、露出条件が決定される。
【００３６】
ここで、図９を参照して、ＡＥ制御動作のフローについて説明する。まず、ステップＳ２０１で、一定のフレームレートで読み込まれる画像データより、カメラシステム制御部１１が、撮像領域内に動く被写体が含まれるか否かの動体検知を行う。例えば、検知方法としては、一例として、最新画像データとそれより過去の画像データを比較し、その輝度の差異より動体の有無を検知する方法が挙げられるが、これに限定されるものではない。また、検知には最も画角が広い、最短焦点距離の光学系から得られる画像データのみを用いることが望ましい。つまり、最短焦点距離以外のその他の焦点距離の光学系の撮像領域は、全て最短焦点距離の光学系の画角に含まれるため、最短焦点距離の光学系から得られる画像データから全ての焦点距離の光学系の撮像領域における動体の有無が推測可能となる。これにより、各焦点距離の光学系の画像全てに対して動体検知を行うより、演算負荷の軽減ができる。
【００３７】
次に、ステップＳ２０２で、動体検知結果から、カメラシステム制御部１１は、露出モードの選択を行う。つまり、カメラシステム制御部１１は、撮像領域に導体が含まれるか否かを判定する。動く対象（動体）が含まれない場合（Ｎｏ）、第１の露出モードが選択され、ステップＳ２０３へ進み、動く対象（動体）が含まれる場合（Ｙｅｓ）、第２の露出モードが選択され、ステップＳ２０６へ進む。
【００３８】
第１の露出モードが選択されたステップＳ２０３で、まず、最も短い焦点距離の撮像系において適正露出での絞り値がカメラシステム制御部１１で算出される。具体的には、ＬＶ表示時に撮像素子６より取得されている画像データの出力値が、ダイナミックレンジ内に収まるように、露光時間、絞り値、ＩＳＯ感度が決められる。
【００３９】
次に、ステップＳ２０４で、ステップＳ２０３で決定された最も短い焦点距離の光学系における絞り値と各光学系の焦点距離の値を用いて、数式（５）より、最も短い焦点距離の光学系と被写界深度が等しくなるように他の焦点距離の光学系の絞り値を決定する。なお、本実施形態では、数式（５）を用いて決定したが、被写界深度調整絞り値情報であるテーブルデータがあらかじめメモリ部１３に記録されており、そのデータに基づき、決定してもよい。次に、ステップＳ２０５で、ステップＳ２０３、ステップＳ２０４において決定された各焦点距離の光学系の絞り値から、適正露出となるように、各焦点距離の光学系におけるシャッター速度が決定され、ＡＥ制御動作終了となる。
【００４０】
一方、第２の露出モードが選択されたステップＳ２０６で、プログラム線図に基づいて各焦点距離の光学系におけるシャッター速度が優先して決定され、次いで絞り値が決定され、ＡＥ制御終了となる。以上より、図８のステップＳ１０７のＡＥ制御動作が終了され、ステップＳ１０８に進む。
【００４１】
次に、ステップＳ１０８では、ステップＳ１０１で開始された一定のフレームレートでの露光動作を一度停止し、絞り値、露光時間やＩＳＯ感度等の設定された撮影条件で露光を行い、画像データが読み込まれる。次に、ステップＳ１０９で、ステップＳ１０８で読み込まれた各焦点距離の光学系の画像データをメモリ部１３に記録し、最も短い焦点距離の光学系から得られた画像を表示部１４に表示した後にステップＳ１０１に戻る。
【００４２】
以上説明したように、本実施形態によれば、撮像対象によって露出モードを切り替え、動かない対象には絞り値を優先とする第１の露出モードを、動く対象に対してはシャッター速度を優先とする第２の露出モードを適用して露出条件を決定する。これにより、被写界深度が重要となる動かない対象に対しては被写界深度差を抑制し、画像ブレが重要となる動く被写体に関しては長焦点距離における画像ブレを抑えた画像の取得が可能となる。従って、撮像対象に対して適切な撮像条件で撮影を行い、リズーム時の違和感を解消し、画質を向上させることが可能となる。
【００４３】
また、本実施形態では、ステップＳ１０７のＡＥ制御動作時に、ステップＳ２０１において、最短焦点距離の光学系から得られた画像から動体検知を行う。そして、動体が含まれていれば、第２の露出モードが適用され、全ての光学系においてシャッター速度優先で露出条件が決定されている。しかしながら、その際に一部の焦点距離の光学系の撮像領域には動体が含まれていない場合も存在する。図１０（Ａ）〜１０（Ｃ）は、図５と同様に、運動中の人物を撮像した一例である。そして、最も焦点距離の短いレンズＡの光学系における撮影画像が図１０（Ａ）で表され、それより長い焦点距離のレンズＢ、レンズＣの光学系における撮像画像が焦点距離の短い順に図１０（Ｂ）及び１０（Ｃ）で表されている。図示されているように、図１０（Ａ）、１０（Ｂ）の画像には動体が含まれているが、図１０（Ｃ）の画像には含まれていない。この時、図１０（Ｃ）の画像のみは、シャッター速度を重視する必要がなく、被写界深度を最短焦点距離の画像に合わせるように絞り値優先で撮影し、被写界深度画質を向上させることが可能となる。そのため、上記ステップＳ２０１の動体検知の際に、撮像領域に動体が含まれる焦点距離の光学系と、含まれない焦点距離の光学系の両方が混在する場合、含まれない焦点距離の光学系のみが、第２の露出モード適用時も絞り値優先で露出条件が決定されてよい。
【００４４】
以上に説明したように、本実施形態によれば、複数の異なる焦点距離の光学系からなる複眼光学群を有する撮像装置において、リズーム動作の際に画像切り替え時の違和感を抑えることが可能な撮像装置をて供することができる。つまり、撮像対象によって露出モードを切り替えることにより、撮像対象に対して適切に画像ブレや被写界深度差を抑制して、リズーム動作の際に画像切り替え時の違和感を抑えることができる。
【００４５】
また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００４６】
１      カメラ
２      光学群
１１    カメラシステム制御部
【図１】
2017219697.tif 000007
【図２】
2017219697.tif 000008
【図３】
2017219697.tif 000009
【図４】
2017219697.tif 000010
【図５】
2017219697.tif 000011
【図６】
2017219697.tif 000012
【図７】
2017219697.tif 000013
【図８】
2017219697.tif 000014
【図９】
2017219697.tif 000015
【図１０】
2017219697.tif 000016