(57)【要約】【課題】  画素数の異なる２つの撮像素子を持つ撮像装置において、フォーカス状態の確認のために画像を拡大して表示する場合に、より詳細にフォーカス状態を確認することができる撮像装置を提供すること。【解決手段】  カメラ１００は、撮像素子１０５及び撮像素子１０５よりも取得する画像の解像度の低い撮像素子１０６を有する。撮像素子１０５はハーフミラー１３０が分離した光束のうち第１の光束を受光し、撮像素子１０６はハーフミラー１３０が分離した光束のうち第２の光束を受光する。ＣＰＵ１３１が撮像素子１０６から取得している画像を表示している場合において、撮像素子１０６から取得した画像の一部について指定された領域を拡大表示する際には、拡大表示に用いる画像として撮像素子１０５から取得した画像を用いる。【選択図】  図５
2017200061.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を通過した光束を第１の光束と第２の光束に分離する光束分離手段と、
複数の画素部を有し、前記第１の光束を受光し、信号を出力する第１の撮像素子と、
複数の画素部を有し、前記第２の光束を受光し、信号を出力する撮像素子であって、前記第１の撮像素子よりも画素部の数が少ない第２の撮像素子と、
前記第１の撮像素子又は前記第２の撮像素子から出力した信号に基づく画像を表示する表示手段における画像の拡大倍率が所定の倍率よりも小さい場合には前記第２の撮像素子から出力した信号に基づく画像を表示し、前記表示手段における画像の少なくとも一部の拡大倍率が前記所定の倍率以上の場合には前記第１の撮像素子から出力した信号に基づく画像を表示する制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記第２の撮像素子から出力した信号に基づく画像の一部について指定された指定領域を拡大表示する際に、前記拡大表示に用いる画像として、前記指定領域に対応づけられた領域について前記第１の撮像素子から出力した信号に基づく画像を表示することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記指定領域に対応する前記第１の撮像素子から出力した信号に基づく画像と前記第２の撮像素子から出力した信号に基づく画像との合成画像を表示することを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記第２の撮像素子から出力した信号に基づく画像の前記指定領域と前記第１の撮像素子における前記指定領域に対応する領域とを対応づける変換手段を有し、
前記変換手段は、前記第１の撮像素子の画素数の前記第２の撮像素子の画素数に対する比に基づいて、前記第２の撮像素子から出力した信号に基づく画像の前記指定領域と前記第１の撮像素子から出力した信号に基づく画像における対応する領域との対応づけを行い、
前記制御手段は前記変換手段の対応づけに基づいて前記指定領域に対応する前記第１の撮像素子の画像を表示することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記第１の撮像素子と前記第２の撮像素子の露出を独立に制御する露出制御手段を有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記第２の撮像素子から出力した信号に基づく画像に基づき動画を記録する場合において、前記第２の撮像素子が出力した信号に基づく画像の露出が所定の露出以上である場合には、前記露出制御手段は前記第１の撮像素子が出力した信号に基づく画像の露出が前記第２の撮像素子が出力した信号に基づく画像の露出と比較して低くなるよう制御し、前記第２の撮像素子の露出が所定の露出未満である場合には、前記露出制御手段は前記第１の撮像素子が出力した信号に基づく画像の露出が前記第２の撮像素子が出力した信号に基づく画像の露出と比較して高くなるよう制御し、
前記制御手段は前記第１の撮像素子から出力した信号に基づく画像を用いて拡大表示を行うことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は前記第１の撮像素子から出力した信号に基づく画像を前記表示手段とは異なる外部の表示手段に拡大表示を可能とすることを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記指定領域は、ユーザが指定した領域であることを特徴とする請求項１乃至請求項７のいずれか１項に記載の撮像装置。
【請求項９】
前記指定領域は、拡大表示モードが設定される前に予め指定された指定領域であることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記指定領域は、前記第２の撮像素子から出力した信号に基づく画像の一部について指定された指定領域を拡大表示する際に、ユーザが拡大表示モード中において指定した領域であることを特徴とする請求項８に記載の撮像装置。
【請求項１１】
前記指定領域を指定する指定制御手段を有することを特徴とする請求項１乃至請求項７のいずれか１項に記載の撮像装置。
【請求項１２】
前記指定領域は、中央を含む領域であることを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記指定領域は、直前に焦点検出に用いていた焦点検出エリアを含む領域であることを特徴とする請求項１１に記載の撮像装置。
【請求項１４】
前記第２の撮像素子が出力した信号に基づき動画を記録することを特徴とする請求項１乃至請求項１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記第１の撮像素子又は前記第２の撮像素子の少なくとも１つから取得した焦点検出信号を用いて位相差式の焦点検出を行う焦点検出手段を有し、
前記制御手段が前記第１の撮像素子から取得した画像を表示している場合に、前記焦点検出手段は前記第１の撮像素子から取得した焦点検出信号を用いて焦点検出を行うことを特徴とする請求項１乃至請求項１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記焦点検出手段による位相差式の焦点検出は、位相差式によるデフォーカス量の取得であることを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
前記第１の撮像素子及び前記第２の撮像素子はいずれも複数の画素部を有し、前記複数の画素部は１つの画素部につき一つのマイクロレンズと一対の光電変換部を有することを特徴とする請求項１乃至請求項１６のいずれか１項に記載の撮像装置。
【請求項１８】
前記第１の撮像素子から取得した焦点検出信号を用いて焦点検出を行う場合において、前記第１の撮像素子のフレームレートは、前記第２の撮像素子のフレームレートよりも高いことを特徴とする請求項１乃至請求項１７のいずれか１項に記載の撮像装置。
【請求項１９】
撮像光学系を通過した光束を第１の光束と第２の光束に分離する光束分離手段と、
複数の画素部を有し、前記第１の光束を受光し、信号を出力する第１の撮像素子と、
複数の画素部を有し、前記第２の光束を受光し、信号を出力する撮像素子であって、前記第１の撮像素子よりも画素部の数が少ない第２の撮像素子と、を有する撮像装置の制御方法において、
前記第１の撮像素子又は前記第２の撮像素子から出力した信号に基づく画像を第１の表示部に表示する表示ステップと、
前記表示ステップにおける画像の拡大倍率が所定の倍率より小さい場合には前記第２の撮像素子から出力した信号に基づく画像を表示し、前記表示手段における画像の少なくとも一部の拡大倍率が前記所定の倍率以上の場合には前記第１の撮像素子から出力した信号に基づく画像を表示する制御ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項２０】
請求項１９に記載の撮像装置の制御方法における各ステップをコンピュータによって実行させるためのプログラム。
【請求項２１】
請求項２０に記載のプログラムをコンピュータで読み取ることができるように記憶する記憶媒体。
【請求項２２】
撮像光学系を通過した光束を第１の光束と第２の光束に分離する光束分離手段と、
複数の画素部を有し、前記第１の光束を受光し、信号を出力する第１の撮像素子と、
複数の画素部を有し、前記第２の光束を受光し、信号を出力する撮像素子であって、前記第１の撮像素子よりも画素部の数が少ない第２の撮像素子と、
前記第１の撮像素子又は前記第２の撮像素子から出力した信号に基づく画像を表示する表示手段に前記第２の撮像素子から出力した信号に基づく画像を表示している場合において、前記第２の撮像素子から出力した信号に基づく画像の一部について指定された指定領域を拡大表示する際に、前記拡大表示に用いる画像として、前記指定領域に対応づけられた領域について前記第１の撮像素子から出力した信号に基づく画像を表示する制御手段と、を有することを特徴とする撮像装置。
【請求項２３】
前記制御手段は、前記第２の撮像素子から出力した信号に基づく画像に対する拡大表示の倍率が所定の倍率以上である場合には、前記第１の撮像素子から出力した信号に基づく画像を用いて拡大表示を行い、前記所定の倍率未満である場合には、前記第２の撮像素子から出力した信号に基づく画像を用いて拡大表示を行うことを特徴とする請求項２２に記載の撮像装置。
【請求項２４】
撮像光学系を通過した光束を第１の光束と第２の光束に分離する光束分離手段と、
複数の画素部を有し、前記第１の光束を受光し、信号を出力する第１の撮像素子と、
複数の画素部を有し、前記第２の光束を受光し、信号を出力する撮像素子であって、前記第１の撮像素子よりも出力する信号に基づく画像の解像度が低い第２の撮像素子と、
前記第１の撮像素子又は前記第２の撮像素子が出力した信号に基づく画像を表示する表示手段に前記第２の撮像素子が出力した信号に基づく画像を表示している場合において、前記第２の撮像素子から出力した信号に基づく画像の一部について指定された指定領域を拡大表示する際に、前記拡大に用いる画像として前記第１の撮像素子が出力した信号に基づく画像を表示する制御手段を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つの撮像素子を備える撮像装置における、画像の拡大表示に関するものである。また、その制御方法、プログラム及び記憶媒体に関するものである。
【背景技術】
【０００２】
従来、複数の撮像素子を備え、撮像光学系を通過した光束を複数の光束に分離し、分離された各々の光束を対応する各撮像素子が受光することによって、各撮像素子で信号の出力が可能である撮像装置が知られている。
【０００３】
特許文献１では、第１の撮像素子と第２の撮像素子を有し、第２の撮像素子は、第１の撮像素子と比較して画素数が少ない撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２３２１３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
フォーカス状態の確認などのためにライブビュー中や動画記録中に拡大表示をする場合には、解像度の高い画像を用いることが望ましい。特許文献１では、フレームレートをより高くするために、画素数の少ない第２の撮像素子から出力した信号に基づく画像を用いてライブビュー表示や動画記録を行っている。しかしながら、特許文献１では拡大表示について考慮していない。
【０００６】
そこで、本発明は、画素部の数の異なる２つの撮像素子を持つ撮像装置において、例えばフォーカス状態の確認等のために画像を拡大して表示する場合に、より詳細にフォーカス状態を確認することができる撮像装置を提供することを目的とする。また、その制御方法、プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、撮像光学系を通過した光束を第１の光束と第２の光束に分離する光束分離手段と、複数の画素部を有し、前記第１の光束を受光し、信号を出力する第１の撮像素子と、複数の画素部を有し、前記第２の光束を受光し、信号を出力する撮像素子であって、前記第１の撮像素子よりも画素部の数が少ない第２の撮像素子と、前記第１の撮像素子又は前記第２の撮像素子から出力した信号に基づく画像を表示する表示手段における画像の拡大倍率が所定の倍率よりも小さい場合には前記第２の撮像素子から出力した信号に基づく画像を表示し、前記表示手段における画像の少なくとも一部の拡大倍率が前記所定の倍率以上の場合には前記第１の撮像素子から出力した信号に基づく画像を表示する制御手段と、を有することを特徴とする。
【０００８】
また、別の側面として、本発明は、撮像光学系を通過した光束を第１の光束と第２の光束に分離する光束分離手段と、複数の画素部を有し、前記第１の光束を受光し、信号を出力する第１の撮像素子と、複数の画素部を有し、前記第２の光束を受光し、信号を出力する撮像素子であって、前記第１の撮像素子よりも画素部の数が少ない第２の撮像素子と、前記第１の撮像素子又は前記第２の撮像素子から出力した信号に基づく画像を表示する表示手段に前記第２の撮像素子から出力した信号に基づく画像を表示している場合において、前記第２の撮像素子から出力した信号に基づく画像の一部について指定された指定領域を拡大表示する際に、前記拡大表示に用いる画像として、前記指定領域に対応づけられた領域について前記第１の撮像素子から出力した信号に基づく画像を表示する制御手段と、を有することを特徴とする。
【０００９】
また、別の側面として、本発明は、撮像光学系を通過した光束を第１の光束と第２の光束に分離する光束分離手段と、複数の画素部を有し、前記第１の光束を受光し、信号を出力する第１の撮像素子と、複数の画素部を有し、前記第２の光束を受光し、信号を出力する撮像素子であって、前記第１の撮像素子よりも出力する信号に基づく画像の解像度が低い第２の撮像素子と、前記第１の撮像素子又は前記第２の撮像素子が出力した信号に基づく画像を表示する表示手段に前記第２の撮像素子が出力した信号に基づく画像を表示している場合において、前記第２の撮像素子から出力した信号に基づく画像の一部について指定された指定領域を拡大表示する際に、前記拡大に用いる画像として前記第１の撮像素子が出力した信号に基づく画像を表示する制御手段を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画素数の異なる２つの撮像素子を持つ撮像装置において、例えばフォーカス状態の確認等のために画像を拡大して表示する場合に、より詳細にフォーカス状態を確認することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１及び実施例２に係る撮像装置の構成例を示す図である。
【図２】実施例１及び実施例２に係る映像信号処理部の構成例を示す図である。
【図３】実施例１に係る撮像装置の拡大表示の例を説明するフローチャートである。
【図４】実施例２に係る撮像装置の拡大表示の例を説明するフローチャートである。
【図５】実施例１及び実施例２に係る拡大表示画面の表示例である。
【図６】撮像素子１０５と撮像素子１０６とで露出が異なる場合の拡大表示画面の表示例である。
【発明を実施するための形態】
【００１２】
［実施例１］
［カメラ１００の構成例］
以下、本発明の実施例について図１を参照して説明する。図１は本実施例に係る撮像装置であるカメラ１００の構成例を示したブロック図である。カメラ１００は、被写体の光学像に対応する光束をカメラ１００内の各部へと導くレンズ（撮像光学系）を着脱可能である。尚、本発明はカメラ１００だけではなく、例えば、レンズとカメラ本体とが一体構造となっているような撮像装置に適用することもできる。  レンズ１０１は、フォーカスレンズやズームレンズなどを備えたレンズ群１０７であり、入射した被写体の光学像である光束をハーフミラー１０３へと導く。レンズ１０１は、マウント１０２を介してカメラ本体に着脱可能である。
【００１３】
レンズ制御部１４１は、レンズ１０１の駆動を制御する。レンズ制御部１４１がレンズ１０１駆動を制御することでズーム、フォーカス、絞りの制御を実行する。
【００１４】
ハーフミラー１０３（光束分離手段）は入射した光束を第１の光束と第２の光束（不図示）に分離し、第１の光束を撮像素子１０５（第１の撮像素子）へ、第２の光束を撮像素子１０６（第２の撮像素子）へと導く。
【００１５】
撮像素子１０５、および撮像素子１０６は、例えばＣＭＯＳ撮像素子等であり、複数の画素部を有する。撮像素子１０５及び撮像素子１０６は、レンズ１０１を通過した被写体像を受光し光電変換する。本実施例では、撮像素子１０５、および撮像素子１０６は位相差式のオートフォーカス用の情報を取得できる。すなわち、本実施例ではいわゆる撮像面位相差式の焦点検出を行うことができる。なお、本実施例における焦点検出とは、デフォーカス量の取得である。撮像面位相差式の焦点検出及びこれを実現するための撮像素子の構成の例は公知であり、例えば特開２０１４−１７４４６０号公報や特開２０１３−７９９８号公報に開示されている。ここでは説明を簡略化する。本実施例では、撮像素子１０５及び撮像素子１０６はいずれも複数の画素部を有し、当該複数の画素部は１つの画素部についてそれぞれ一対の光電変換部を有する。また、当該複数の画素部は１つの画素部につきそれぞれ１つのマイクロレンズを有する。本実施例では、当該一対の光電変換部において光電変換した一対の信号はそれぞれ視差を有している。複数の画素部で一対の視差を有する信号をそれぞれ加算し、視差を有する一対の焦点検出信号を生成する。当該一対の焦点検出信号を用いることで、映像信号処理部１２１がデフォーカス量を算出する。
【００１６】
シャッタ１０４は、静止画撮影時に露光秒時を調節するフォーカルプレーンシャッタである。本実施例では、フォーカルプレーンシャッタにて撮像素子１０５の露光秒時を調節し、電子シャッタ機能で撮像素子１０６の露光秒時を調節する構成であるが、この限りではない。撮像素子１０５が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成でもよい。本実施例では、撮像素子１０５で主に静止画撮影を、撮像素子１０６で主に動画撮影を行うことを想定している。そのため、本実施例では撮像素子１０５は、撮像素子１０６よりも画素数が多いため、撮像素子１０５の出力した信号に基づいて高解像度の画像を取得することができる。ただし、撮像素子１０６に対するシャッタを具備し、撮像素子１０６で静止画撮影を行う構成としてもよく、撮像素子１０５、および撮像素子１０６の用途を限定するものではない。
【００１７】
映像信号処理部１２１は、撮像素子１０５及び撮像素子１０６が出力する画像に対し信号処理を行う。例えばデジタル画像のホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換、ノイズ低減処理や、画像の明るさ、コントラスト、位相差ＡＦ情報等の解析を行い、処理を行った画像をメモリ１３２に出力する。
【００１８】
映像信号処理部１２１が出力した解析データは、露出制御、オートフォーカス制御に利用する。
【００１９】
静止画エンコード処理部１２２は、メモリ１３２に配置されている画像を入力として、例えばＪＰＥＧなどに代表される画像圧縮を行い、圧縮静止画像を再度メモリ１３２に出力する。
【００２０】
動画エンコード処理部１２３は、メモリ１３２に配置されている複数の画像を入力として、例えばＨ．２６４などに代表される画像圧縮を行い、圧縮動画像を再度メモリ１３２に出力する。
【００２１】
メモリ１３２は、映像信号処理部１２１の出力画像の他、ＣＰＵ１３１が各種処理を行なう際にデータを一時的に記憶する。
【００２２】
不揮発性メモリ（不図示）は、ＣＰＵ１３１が実行するプログラムデータを保持する。
【００２３】
タイミング発生部１４２は、撮像素子１０５、撮像素子１０６、映像信号処理部１２１に、蓄積動作や信号処理等のタイミングを提供する。
【００２４】
バス１５０には前述した構成部以外にレンズ制御部１４１、電源１１０、メモリ１３２、不揮発性メモリ（不図示）、表示制御部１５１、カード入出力部１７１、そして、各種のスイッチ類が接続される。
【００２５】
尚、上述の各種のスイッチ類とは、メインスイッチ１６１、第１レリーズスイッチ１６２、第２レリーズスイッチ１６３、拡大縮小変更ボタン１６４、動画記録開始／終了ボタン１６５、上下左右選択ボタン１６６、決定ボタン１６７である。
【００２６】
電源１１０は、バス１５０を介してカメラ１００の内部に設けられている各回路に電源供給を行う。
【００２７】
表示制御部１５１は、バス１５０を介してタイミング発生部１４２からの信号に応じて、メモリ１３２に保存された表示用画像をＤ／Ａ変換部１５２においてデジタル画像から変換された表示用のアナログ画像を表示する。変換されたアナログ画像は、液晶表示素子を有するＴＦＴなどの表示部１５３、若しくはＶＩＤＥＯ出力端子１５４、ＨＤＭＩ（登録商標）出力端子１５５などのケーブルを介して外部に設けられた外部表示部１５６に表示される。
【００２８】
尚、デジタル画像が記憶されているメモリ１３２内部の領域をＶＲＡＭと呼ぶ。表示制御部１５１が、メモリ１３２のＶＲＡＭを読み出し前述の処理をおこなうことで、表示部１５３に表示用のアナログ画像が更新される。そして、上述の動作を連続的におこない表示部１５３あるいは外部表示部１５６に表示画像が更新され続けることによって動画の表示が可能となる。
【００２９】
カードスロット１７２は、例えばＳＤカード等の着脱可能な記録媒体１７３を差し込み可能である。そして、記録媒体１７３は、カードスロット１７２に差し込まれた状態でカード入出力部１７１と電気的に接続される。この状態で、メモリ１３２に記録されている画像を記録媒体１７３へと記録することが可能である。また、記録媒体１７３の内部に記録されたデータをカメラ１００で読み出すことも可能である。
【００３０】
ＣＰＵ１３１は、バス１５０を介して上述したようなカメラ１００内の各部へと接続されており、カメラ１００内の各部を統括的に制御する制御部である。本実施例では、ＣＰＵ１３１は、レンズ制御部１４１、タイミング発生部１４２、映像信号処理部１２１、表示制御部１５１に対して、カメラ１００内の各部の制御を指示する。尚、上述したような制御部や処理部を設けずに、ＣＰＵ１３１がカメラ１００内の各部の駆動を制御するような構成であっても良い。また、ＣＰＵ１３１を設けずに上述した制御部や処理部がそれぞれ連動して制御（処理）をおこなうことでカメラ１００内の各部の駆動を制御するような構成であってもよい。
【００３１】
［カメラ１００の基本動作］
以下、本実施例に係る撮像装置であるカメラ１００の基本動作について図１を参照して説明する。まず、ユーザによりメインスイッチ１６１がオンされることで、電源１１０はカメラ１００を構成する各部へと電源を供給する。カメラ１００を構成する各部へと電源の供給がなされると、撮像素子１０６に導かれ結像している被写体の光学像を撮像素子１０６で光電変換できるようになる。
【００３２】
次に、撮像素子１０６から定期的（例えば１秒に６０回）に画像が取り込まれ、各種処理を実行した後にメモリ１３２のＶＲＡＭへ配置する。これにより、撮像素子１０６から取り込んだ画像を表示部１５３に逐次表示（ライブビュー）することができる。
【００３３】
次に、上下左右選択ボタン１６６、決定ボタン１６７をユーザが操作することによって、ＧＵＩに表示された各種のパラメータの選択と設定を行うことが可能である。
【００３４】
また、拡大縮小変更ボタン１６４をユーザが操作することで、表示画像の拡大縮小を行うことが可能である。
【００３５】
次に、ライブビュー中にユーザが動画記録開始／終了ボタン１６５を押すと、撮像素子１０６が出力した信号に基づく動画の記録が開始または終了される。
【００３６】
次に、第１レリーズスイッチ１６２（以下ＳＷ１）はレリーズボタン（不図示）の第１ストローク（半押し状態）でオンとなり、被写体の撮影準備を開始する。ここで、撮影準備の詳細としては、レンズ制御部１４１によるレンズ１０１の駆動制御によって前述したフォーカス、ズーム、絞りなどの制御を必要に応じて実行する。
【００３７】
次に、第２レリーズスイッチ１６３（以下ＳＷ２）は、レリーズボタン（不図示）の第２ストローク（全押し状態）でオンとなり、被写体の撮影を開始する。ここでいう撮影とは、撮像素子１０５又は撮像素子１０６から出力した信号に基づき記録するための画像を取得することである。被写体の撮影の詳細としては、シャッタ１０４と、撮像素子１０５を駆動することで被写体の光学像を光電変換し、各種画像処理を施した画像を取り込む。
【００３８】
［カメラ１００の露出制御及び焦点制御（カメラ１００の基本動作）］
以下、本実施例に係る撮像装置であるカメラ１００の露出制御及び焦点制御について図２を参照して説明する。図２は映像信号処理部１２１、及び、ＣＰＵ１３１での露出制御及び焦点制御の流れを表すブロック図である。映像信号処理部１２１及びＣＰＵ１３１は、撮像素子１０５に対応して第一映像信号処理部２０１、第一露出検出部２０２（第１の露出検出部）、第一焦点検出部２０３を有する。また、映像信号処理部１２１及びＣＰＵ１３１は、撮像素子１０６に対応して第二映像信号処理部２１１、第二露出検出部２１２（第２の露出検出部）、第二焦点検出部２１３を有する。更に、映像信号処理部１２１及びＣＰＵ１３１は、露出制御部２２１、撮像素子制御部２２２、焦点制御部２２３を有する。
【００３９】
第一映像信号処理部２０１は、撮像素子１０５から出力される画像から画像の明るさ、コントラストや位相差ＡＦ情報等の解析を行う。第一映像信号処理部２０１は、画像の明るさ等の解析結果を第一露出検出部２０２に、コントラストや位相差ＡＦ情報等の解析結果を第一焦点検出部２０３に出力する。第一露出検出部２０２は第一映像信号処理部２０１から出力される画像の明るさ等の解析データを元に露出検出を行い、解析結果を露出制御部２２１に出力する。第一焦点検出部２０３は第一映像信号処理部２０１から出力されるコントラストや位相差ＡＦ情報等の解析データを元に焦点検出を行い、解析結果を焦点制御部２２３に出力する。
【００４０】
第二映像信号処理部２１１、第二露出検出部２１２、第二焦点検出部２１３は、撮像素子１０６が出力する画像に対し、それぞれ第一映像信号処理部２０１、第一露出検出部２０２、第一焦点検出部２０３と同等の処理を行う。
【００４１】
露出制御部２２１は、第一露出検出部２０２、及び、第二露出検出部２１２から出力される解析結果を入力とし露出制御値を算出し、撮像素子制御部２２２に出力する。絞り制御自動を含む露出制御モードである場合、絞り値をレンズ制御部１４１に出力してもよい。撮像素子制御部２２２は露出制御部２２１から出力される露出制御値を入力とし、撮像素子１０５、及び、撮像素子１０６の電荷蓄積時間等を制御する。
【００４２】
焦点制御部２２３は、第一焦点検出部２０３、及び、第二焦点検出部２１３から出力される解析結果を入力とし焦点制御値を算出し、レンズ制御部１４１に出力する。
【００４３】
以上が本実施例におけるカメラ１００の基本動作である。
【００４４】
［ライブビュー表示中の拡大表示（図３）］
以下ライブビュー（ＬＶとも称する）表示中の拡大表示について、図３のフローチャートで説明する。
【００４５】
この処理は、不揮発性メモリ（不図示）に記録されたプログラムを、ＣＰＵ１３１が実行することにより実現する。
【００４６】
ライブビュー表示が開始されると、Ｓ３０１ではライブビュー拡大表示が有効かどうか、すなわち拡大縮小変更ボタン１６４が操作されたか否かをＣＰＵ１３１が判断し、拡大表示が無効の場合はＳ３０２に、有効の場合はＳ３１１に進む。ここで、ライブビュー拡大表示とは、ライブビュー（Ｌｖ）中に拡大縮小変更ボタン１６４をオンされている状態である。なお、拡大縮小変更ボタン１６４がオンされてから、拡大表示を終了するまでを、拡大表示モードとも称する。
【００４７】
拡大縮小変更ボタン１６４がオンされると、拡大表示する領域として指定された領域である指定領域について拡大表示が行われる。更に、拡大表示する領域（指定領域）は上下左右選択ボタン１６６にて位置を移動する事ができる。また、指定領域は、ユーザによって予め定められた領域であっても良い。更に、指定領域は、例えばＣＰＵ１３１（指定制御手段）が中央を指定領域とするよう制御しても良いし、直前までの焦点検出エリアを含むように指定領域を指定するようにしても良い。
【００４８】
また、指定領域は、拡大表示モード中において、拡大表示を行う際に、ユーザが直接指定しても良い。例えば、拡大縮小変更ボタン１６４をオンすることにより、拡大表示する領域（指定領域）を指定するための拡大表示枠５０１が表示され、上下左右選択ボタン１６６により拡大表示する領域を移動させるようにしても良い。更に、拡大縮小変更ボタン１６４への操作により、拡大表示する領域の拡大倍率を変更できるようにしても良い。
【００４９】
また、外部表示部１５６がタッチパネルを有する場合には、画面へのドラッグ操作により拡大表示する領域を移動し、ピンチ操作によって拡大表示する領域の拡大倍率を変更できるようにしても良い。
【００５０】
なお、拡大縮小の指示や拡大表示枠５０１の移動は、趣旨に沿った操作が行われれば良く、拡大縮小変更ボタン１６４及び上下左右選択ボタン１６６以外の部材（例えばレバー、リング等）によって操作が行われても良い。
【００５１】
Ｓ３０２では撮像素子１０６が出力する画像に対し、第二映像信号処理部２１１が各種信号処理を行う。例えば第二映像信号処理部２１１はデジタル画像のホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換、ノイズ低減処理や、画像の明るさ、コントラストや位相差ＡＦ情報等の解析を行う。そして、処理を行った画像をメモリ１３２に、画像の明るさの解析結果を第二露出検出部２１２に、コントラストや位相差ＡＦ情報の解析結果を第二焦点検出部２１３に出力する。ライブビュー拡大表示が有効ではない場合には、撮像素子１０６から出力した信号に基づく画像を表示に用いることで、撮像素子１０５から出力した信号に基づく画像を表示に用いる場合と比較しより高いフレームレートでライブビュー表示を行うことができる。
【００５２】
Ｓ３０３では、第二焦点検出部２１３は第二映像信号処理部２１１から出力されるコントラストや位相差ＡＦ情報等の解析データを元に焦点検出を行い、解析結果を焦点制御部２２３に出力しＳ３０４に進む。この時、自動露出制御モードである場合、第二露出検出部２１２は第二映像信号処理部２１１から出力される画像の明るさ等の解析データを元に露出検出を行い、解析結果を露出制御部２２１に出力する。
【００５３】
Ｓ３０４では、ＣＰＵ１３１は撮像素子１０６から取り込んだ画像を表示部１５３にライブビュー表示（図５（ａ））するよう制御し、Ｓ３０５に進む。
【００５４】
Ｓ３１１では動画記録中かをＣＰＵ１３１が判断し、動画記録中の場合はＳ３２２及び、Ｓ３３２に進み、動画記録中でないと判断した場合は、Ｓ３１２に進む。
【００５５】
Ｓ３１２では、映像信号処理部１２１が撮像素子１０５から画像の読み出しを行う。このとき、撮像素子１０６から出力した信号に基づく画像のうち拡大表示する領域として、ユーザによって又は予め指定された指定領域と撮像素子１０５における当該指定領域に対応する領域とをＣＰＵ１３１（変換手段）が対応付ける。指定領域は、例えば図５（ａ）でいうと拡大表示枠５０１の領域である。一例として、以下の式１で求めた領域を、撮像素子１０６から出力した信号に基づく画像の指定領域に対応する、撮像素子１０５が出力した信号に基づく画像の領域（対応領域）とする。ＣＰＵ１３１は当該対応領域を第一映像信号処理部２０１に出力するよう制御し、Ｓ３１３に進む。
【００５６】
【数１】
2017200061.tif 000003
【００５７】
式１の変換式では、撮像素子１０５の画素数と撮像素子１０６の画素数とを用いて、ＣＰＵ１３１が撮像素子１０６が出力した信号に基づく画像の指定領域と撮像素子１０６の対応領域とを対応づける。式１のように、撮像素子１０５の画素数を分子、撮像素子１０６の画素数を分母とし、撮像素子１０６の指定領域のｘ座標とｙ座標を座標Ａ（ｘ，ｙ）とすると、撮像素子１０６の座標Ａに対応する撮像素子１０５の座標Ａ’を求める事ができる。この時、撮像素子１０５の全領域を読み出すのではなく、拡大表示処理に必要な領域のみ読み出してもよい。これにより処理速度を向上させることができる。
【００５８】
Ｓ３１３からＳ３１４では、撮像素子１０５、第一映像信号処理部２０１、第一焦点検出部２０３、第一露出検出部２０２が、ステップＳ３０３からＳ３０４と同等の処理を行う。そして、ＣＰＵ１３１（制御手段）が表示部１５３（第１の表示部）にライブビュー拡大の画像（図５（ｂ））を表示するよう制御する。
【００５９】
Ｓ３１３では、撮像素子１０５から出力した焦点検出信号を用いて映像信号処理部１２１が焦点検出を行い、当該焦点検出の結果に基づいてレンズ制御部１４１がレンズ１０１の駆動を制御する。撮像素子１０６と比較して画素数の多い撮像素子１０５から出力した焦点検出信号を用いて焦点検出を行うことで、より精度良く焦点検出を行うことができる。Ｓ３０１でライブビュー拡大表示が有効と判断されていることから、ユーザも細かくフォーカス状態を調節したいと考えていることが予想され、ユーザの要求にも合致する。
【００６０】
また、Ｓ３１２からＳ３１４の処理中は、撮像素子１０６が出力した信号に基づく画像の読み出し処理を停止してもよい。これにより撮像素子１０５と撮像素子１０６の両方を駆動する場合と比較して、電力消費を抑えることができる。
【００６１】
Ｓ３２２では撮像素子１０６が出力する画像に対し、映像信号処理部１２１がデジタル画像のホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換、ノイズ低減処理等を行い、処理を行った画像をメモリ１３２に出力する。
【００６２】
Ｓ３２２では、動画エンコード処理部１２３がメモリ１３２に配置されている複数の画像を入力として、例えばＨ．２６４などに代表される画像圧縮を行い、圧縮動画像を再度メモリ１３２に出力する。そして、メモリ１３２に記録されている圧縮動画像を記録媒体１７３に記録する。
【００６３】
Ｓ３３２からＳ３３３では、Ｓ３１２からＳ３１３と同等の処理を行いＳ３１４に進み、Ｓ３１４でライブビュー拡大画像（図５（ｂ））を表示しＳ３０５に進む。
【００６４】
Ｓ３０５ではライブビュー表示が継続しているかをＣＰＵ１３１が判断し、継続する場合はＳ３０１に進み、継続しない場合はライブビュー処理を終了する。
【００６５】
以上説明したように、本実施例では、撮像素子１０６から出力した信号に基づく画像を表示している場合において、撮像素子１０６から出力した信号に基づく画像の一部について指定された指定領域を拡大表示する。この際に、拡大表示に用いる画像として、撮像素子１０６よりも画素数の少ない撮像素子１０５から出力した信号に基づく画像を表示する。これにより、画素数の異なる２つの撮像素子を持つ撮像装置において、フォーカス状態の確認のために画像を拡大して表示する場合に、より詳細にフォーカス状態を確認することができる。
【００６６】
［実施例２］
実施例１では、ライブビュー中の拡大表示は、拡大画像のみを表示部１５３に表示していたが、通常画像の一部分に拡大画像を合成した合成画像を表示してもよい。ここでいう通常画像は、撮像素子１０５又は撮像素子１０６が出力した信号に基づくある画像の、全体の画像である。
【００６７】
以下、ライブビュー中の通常画像に拡大画像を合成して表示する場合ついて、図４のフローチャートを参照して説明する。
【００６８】
ライブビュー表示が開始されると、Ｓ５０１ではライブビュー拡大表示が有効かどうかをＣＰＵ１３１が判断し、拡大表示が無効の場合はＳ４０２に、有効の場合はＳ４１２及びＳ４１３に進む。
【００６９】
ステップＳ４０２、Ｓ４０３、Ｓ４０４、Ｓ４０５については、実施例１のステップＳＳ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５とそれぞれ同等の処理である為、説明を省略する。
【００７０】
ステップＳ４１２はステップＳ３２２と、ステップＳ４２２及びＳ４２３はステップＳ３１２及びＳ３１３とそれぞれ同等の処理である為、説明を省略する。
【００７１】
Ｓ４１４では、映像信号処理部１２１がＳ４１２の通常画像と、Ｓ４２２の拡大画像を合成し図５（ｃ）に示すように表示する。
【００７２】
なお、本実施例中において動画を記録する場合においては、例えばＳ４１２で読み出した画像に基づいて動画を記録するようにしても良い。
【００７３】
以上説明したように、本実施例によれば、画素数の異なる２つの撮像素子を持つ撮像装置において、フォーカス状態の確認のために画像を拡大して表示する場合に、より詳細にフォーカス状態を確認することができる。
【００７４】
［その他変形例］
実施例１では、通常画像の表示と拡大画像の表示は同一の表示部１５３の表示を切り替えて行っていたが、通常画像と拡大画像を表示部１５３と外部表示部１５６に別々に表示してもよい。この場合、撮像装置のＶＩＤＥＯ出力端子１５４及びＨＤＭＩ（登録商標）出力端子１５５に外部表示部１５６（第２の表示部）を接続する。拡大画像を外部表示部１５６に表示することで、より詳細にフォーカス状態を確認することができる。
【００７５】
実施例１及び実施例２では、ライブビュー拡大表示が有効な場合、撮像素子１０５が出力した信号に基づく画像に基づき拡大画像を表示する場合について説明した。このとき、表示部１５３の解像度を考慮して、拡大表示の倍率が所定の倍率未満である場合には撮像素子１０６が出力した信号に基づく画像を拡大し、所定の倍率以上である場合は、撮像素子１０５が出力した信号に基づく画像を拡大画像として表示してもよい。所定の倍率の一例として、撮像素子１０６のピクセル等倍を閾値として設定しても良い。撮像素子１０６が出力した信号に基づく画像によりフォーカス状態を確認できるうちは撮像素子１０６が出力した信号に基づく画像を用いることで、所定の倍率に達するまでは使用する撮像素子を切り替えずに済む。
【００７６】
また、実施例１及び実施例２において、撮像素子１０６及び撮像素子１０５のサイズが異なる場合は、実施例１で説明した式１に対し更にＯｆｆｓｅｔ値（オフセット値）を設定しても良い（式２）。これにより撮像素子のサイズの違いも加味した対応付けを行うことができる。
【００７７】
【数２】
2017200061.tif 000004
【００７８】
また、実施例１及び実施例２において、撮像素子１０６が出力した信号に基づいて記録のための動画を取得し、撮像素子１０５から取得した焦点検出信号を用いて焦点検出を行う場合、撮像素子１０５と撮像素子１０６とでフレームレートを異ならせても良い。具体的には、撮像素子１０５のフレームレートを撮像素子１０６のフレームレートよりも高くしても良い。動画記録中のフレームレートは記録する動画のフレームレートに固定されるため、動画記録に用いていないほうの撮像素子で動画のフレームレートより高いフレームレートで焦点検出信号を出力する。これにより、焦点検出信号を出力する回数が増えるため、高速に精度良くフォーカス処理（焦点検出とレンズ制御）を行うことができる。なお、ライブビュー中に動画記録に用いていないほうの撮像素子で動画のフレームレートより高いフレームレートで焦点検出信号を出力することによって、同様の効果を得ることができる。高解像度の撮像素子１０５のフレームレートを上げるために、撮像素子１０５の読み出しは低解像度の撮像素子１０６のフォーカスエリアに対応する領域を部分的に読み出しても良い。
【００７９】
また、実施例１及び実施例２において、露出制御部２２１が第一露出検出部２０２又は／及び第二露出検出部２１２の検出結果に基づき、撮像素子１０５と撮像素子１０６とで露出を異ならせるように独立に制御しても良い。なお、ここでいう露出とは、シャッタ速度、露光時間（電荷蓄積時間）、ＩＳＯ感度等によって決まる。例えばＳ３２３で撮像素子１０６が出力した信号に基づく動画の露出が所定の露出以上、又は所定の露出未満である場合は、Ｓ３２２で拡大表示する撮像素子１０５が出力した信号に基づく画像をフォーカス状態が確認しやすい露出となるよう制御しても良い。すなわち、撮像素子１０６の露出設定とは異なるフォーカス調整に合った撮像素子１０５の露出を第一露出検出部２０２で解析し、露出制御部２２１に出力してもよい。具体的には、図６（ａ）のように通常画像の拡大枠内の領域が所定の露出以上であるとＣＰＵ１３１（露出判定手段）が判定した場合、図６（ｂ）のように撮像素子１０５の拡大画像は撮像素子１０６の画像と比較して露出が低くなるよう制御する。一方、通常画像の拡大枠内の画像が所定の露出未満であるとＣＰＵ１３１が判定した場合、撮像素子１０５の拡大画像は撮像素子１０６の画像と比較して露出が高くなるよう制御する。これにより、露出により撮像素子１０５の画像ではフォーカス状態を確認し辛い場合であっても、撮像素子１０６の画像を用いてより詳細にフォーカス状態を確認することができる。
【００８０】
また、実施例１及び実施例２では、フォーカス処理（焦点検出とレンズ制御）を自動で行う場合（いわゆるＡＦ）について説明したが、焦点状態の調節はユーザによる手動（いわゆるＭＦ）でも良い。このとき、Ｓ３０３，Ｓ３１３，Ｓ３３３がユーザによるＭＦ操作に置き代わる。
【００８１】
また、本発明は上述の実施例の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み取り実行する処理でも実現できる。更に、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【００８２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００８３】
１００  カメラ（撮像装置）
１０３  ハーフミラー
１０５  撮像素子
１０６  撮像素子
１３１  ＣＰＵ
【図１】
2017200061.tif 000005
【図２】
2017200061.tif 000006
【図３】
2017200061.tif 000007
【図４】
2017200061.tif 000008
【図５】
2017200061.tif 000009
【図６】
2017200061.tif 000010