(57)【要約】【課題】動画撮影中にＡＦを行い、かつ動画撮影を中断することなく静止画を撮影することを可能にした撮像装置を提供する。【解決手段】撮像装置は、第１の撮像素子１００、第２の撮像素子１０３、光学系に入射された光束を撮像素子に入射させる光分割手段１０７、焦点検出手段１２２、光学系の焦点位置を変更する焦点位置変更手段１１２、画像処理手段１２０、１２１を備える。第２の撮像素子は、瞳分割された光束を受光するための少なくとも１の光電変換部を含む焦点検出用画素を持つ。第１及び第２の撮像素子に共通光学系で像が結像される様に第１及び第２の撮像素子と光分割手段が配置される。そして、第１及び第２の撮像素子の画素からの信号が、それぞれ、画像処理手段で独立に処理される。【選択図】図１
2014122957.tif 000002
【特許請求の範囲】
【請求項１】
光電変換部を含む画素が２次元に配置されている第１の撮像素子と、
光電変換部を含む画素が２次元に配置されている第２の撮像素子と、
共通光学系に入射された光束を前記第１の撮像素子と前記第２の撮像素子にそれぞれ入射させる光分割手段と、
前記第２の撮像素子の画素からの信号に基づいて焦点検出を行う焦点検出手段と、
前記焦点検出手段の検出結果に基づいて前記共通光学系の焦点位置を変更する焦点位置変更手段と、
前記第１の撮像素子の画素からの信号と前記第２の撮像素子の画素からの信号を処理する画像処理手段と、
を備え、
前記第２の撮像素子は、前記共通光学系の射出瞳の第１の領域を通って瞳分割された光束を受光するための第１の光電変換部、又は／及び、前記共通光学系の射出瞳の第１の領域からずれた第２の領域を通って瞳分割された光束を受光するための第２の光電変換部を含む焦点検出用画素を持ち、
前記第１の撮像素子と前記第２の撮像素子に前記共通光学系で像が結像される様に、前記第１の撮像素子と前記第２の撮像素子と前記光分割手段が配置され、
前記第１の撮像素子の画素からの信号と前記第２の撮像素子の画素からの信号が、それぞれ、前記画像処理手段で独立に処理されることを特徴とする撮像装置。
【請求項２】
前記第２の撮像素子の画素数は、前記第１の撮像素子の画素数よりも少ないことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記焦点検出用画素は、１つのマイクロレンズに対して複数の光電変換部を備えることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記焦点検出手段は、
前記第２の撮像素子の前記焦点検出用画素の出力を用いて、位相差検出方式で焦点検出を行うことを特徴とする請求項１から３の何れか１項に記載の撮像装置。
【請求項５】
前記焦点検出手段は、
前記第２の撮像素子の画素の出力からコントラストを検出し、コントラスト検出方式で焦点検出を行うことを特徴とする請求項１から３の何れか１項に記載の撮像装置。
【請求項６】
前記第１の撮像素子は、前記光分割手段の透過光が入射され、
前記第２の撮像素子は、前記光分割手段の反射光が入射されることを特徴とする請求項１から５の何れか１項に記載の撮像装置。
【請求項７】
前記第１の撮像素子は、前記光分割手段の反射光が入射され、
前記第２の撮像素子は、前記光分割手段の透過光が入射されることを特徴とする請求項１から５の何れか１項に記載の撮像装置。
【請求項８】
前記第２の撮像素子に入射される分割された光束の強度は、前記第１の撮像素子に入射される分割された光束の強度よりも低いことを特徴とする請求項１から７の何れか１項に記載の撮像装置。
【請求項９】
前記第１の撮像素子は、主に静止画を撮影する機能を有し、
前記第２の撮像素子は、主に動画を撮影する機能を有することを特徴とする請求項１から８の何れか１項に記載の撮像装置。
【請求項１０】
前記第１の撮像素子は焦点検出用画素を持つことを特徴とする請求項１から９の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の動画撮影中のオートフォーカスと静止画撮影の技術に関し、特に撮像素子を複数持つ撮像装置に関するものである。
【背景技術】
【０００２】
従来、画像を撮影する撮像素子と位相差ＡＦ（オートフォーカス）をするためのＡＦセンサを備え、動画撮影中に位相差ＡＦを行う技術がある。特許文献１では、ハーフミラーで撮像素子とＡＦセンサに被写体像を入射し、撮像素子で撮影した動画を表示しながら位相差ＡＦをする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１９７４０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１に開示された技術では、静止画を撮影する時には動画を停止し、静止画撮影終了後に動画を再開する必要がある。また、静止画と動画を同時に出力する撮像素子を使用しようとする場合、処理速度や回路構成が増大してしまうことになる。そこで、本発明の目的は、動画撮影中にＡＦを行い、かつ動画撮影を中断することなく静止画を撮影することを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の撮像装置は次の特徴を有する。
光電変換部を含む画素が２次元に配置されている第１の撮像素子と、光電変換部を含む画素が２次元に配置されている第２の撮像素子と、共通光学系に入射された光束を前記第１の撮像素子と前記第２の撮像素子にそれぞれ入射させる光分割手段と、前記第２の撮像素子の画素からの信号に基づいて焦点検出を行う焦点検出手段と、前記焦点検出手段の検出結果に基づいて前記共通光学系の焦点位置を変更する焦点位置変更手段と、前記第１の撮像素子の画素からの信号と前記第２の撮像素子の画素からの信号を処理する画像処理手段と、を備える。そして、前記第２の撮像素子は、前記共通光学系の射出瞳の第１の領域を通って瞳分割された光束を受光するための第１の光電変換部、又は／及び、前記共通光学系の射出瞳の第１の領域からずれた第２の領域を通って瞳分割された光束を受光するための第２の光電変換部を含む焦点検出用画素を持ち、前記第１の撮像素子と前記第２の撮像素子に前記共通光学系で像が結像される様に、前記第１の撮像素子と前記第２の撮像素子と前記光分割手段が配置され、前記第１の撮像素子の画素からの信号と前記第２の撮像素子の画素からの信号が、それぞれ、前記画像処理手段で独立に処理される。
【発明の効果】
【０００６】
本発明によれば、動画撮影中にＡＦを行い、かつ動画撮影を中断することなく静止画を撮影することを可能にした撮像装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示す図である。
【図２】本発明の第１の実施形態に係る撮像装置の構成を示す図である。
【図３】本発明の実施形態における撮像素子の構成を示す図である。
【図４】本発明の第１の実施形態における撮像素子の構成を示す図である。
【図５】本発明の実施形態における焦点検出の概念を示す図である。
【図６】本発明の第１の実施形態に係る撮像装置の動作を示すフローチャートである。
【図７】本発明の実施形態における焦点検出の概念を示す図である。
【図８】本発明の第２の実施形態に係る撮像装置の構成を示す図である。
【図９】本発明の第２の実施形態に係る撮像装置の構成を示す図である。
【図１０】本発明の第２の実施形態に係る撮像装置の動作を示すフローチャートである。
【図１１】本発明の第２の実施形態に係る撮像装置の動作を示す図である。
【図１２】本発明の第３の実施形態に係る撮像装置の構成を示す図である。
【図１３】本発明の第３の実施形態における撮像素子の構成を示す図である。
【図１４】本発明の第３の実施形態に係る撮像装置の動作を示すフローチャートである。
【図１５】本発明の第３の実施形態における撮像素子の出力結果を示す図である。
【発明を実施するための形態】
【０００８】
本発明の撮像装置では、共通の結像光学系により像が結像される様に、画素を含む第１の撮像素子と焦点検出用画素を含む第２の撮像素子が配置され、第１及び第２の撮像素子の画素からの信号が、それぞれ、画像処理手段で独立に処理される。これにより、例えば、複数の撮像素子を同じ像面倍率になる様に光分割手段とともに配置し、それぞれの撮像素子で静止画、動画を独立に撮影するようにして、動画を出力する撮像素子の出力を用いて焦点検出を行い、ＡＦ動作を同時に行うようなことができる。従って、動画撮影中にＡＦを行い、かつ動画撮影を中断することなく静止画を撮影することが可能となる。
【０００９】
以下に、本発明の実施の形態を、添付の図面に基づいて詳細に説明する。
（実施形態１）
図１は、本発明の実施形態に係る撮像装置の構成を示すブロック図である。図１を参照して、本発明の第１の実施形態による撮像装置の構成、動作について説明する。図１の撮像装置において、１００は、光学像を電気信号に変換する第１の撮像素子である。撮像素子１００では主に静止画を撮影する。１０１は、撮像素子１００から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行うアナログフロントエンド（以下、これをＡＦＥと称する）である。１０２は、撮像素子１００及びＡＦＥ１０１の駆動タイミングを制御するタイミングジェネレータ（以下、これをＴＧと称する）である。１０３は、光学像を電気信号に変換する第２の撮像素子である。撮像素子１０３では主に動画を撮影する。１０４は、撮像素子１０３から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行うＡＦＥである。１０５は、撮像素子１０３及びＡＦＥ１０４の駆動タイミングを制御するＴＧである。本実施形態では第１の撮像素子１００に関連するＡＦＥ１０１、ＴＧ１０２や、第２の撮像素子１０３に関連するＡＦＥ１０４、ＴＧ１０５が使用されているが、ＡＦＥ、ＴＧは撮像素子内に内蔵される構成も可能である。
【００１０】
１１８はＲＡＭである。ＲＡＭは、ＡＦＥ１０１、ＡＦＥ１０４でデジタル変換された画像データや、後述の画像処理部１２０または画像処理部１２１で処理された画像データを記憶する画像データ記憶手段の機能と、後述のＣＰＵ１２４が動作を行う際のワークメモリの機能を兼備する。本実施形態では、これらの機能を、ＲＡＭ１１８を用いて行うようにしているが、アクセス速度が十分に問題ないレベルのメモリであれば、他のメモリを適用することも可能である。１１９は、ＣＰＵ１２４が動作を行う際のプログラムを格納するＲＯＭである。ここで、本実施形態では、Ｆｌａｓｈ−ＲＯＭを示すが、これは一例であり、アクセス速度が十分に問題ないレベルのメモリであれば、他のメモリを適用することも可能である。１２４は、撮像装置を統括的に制御するＣＰＵである。１２０は、撮影された後述の静止画の補正・圧縮等の処理を行う画像処理部である。１２１は、撮影された後述の動画の補正・圧縮等の処理を行う画像処理部である。また、後述するＡ画像データとＢ画像データを加算する機能を備える。この様に、第１の撮像素子の画素からの信号と第２の撮像素子の画素からの信号が、それぞれ、画像処理手段で独立に処理され、画像が生成される。
【００１１】
１２２は、第２の撮像素子１０３から出力された画素信号から焦点検出を行うＡＦ演算部である。１２３は、静止画データ及び動画データを記録するための、着脱可能なフラッシュメモリである。本実施形態では、記録媒体としてフラッシュメモリを適用しているが、その他のデータ書き込み可能な不揮発メモリ、ハードディスク等でもよい。また、これらの記録媒体を内蔵した形態でもよい。１１６は、撮影命令や撮影条件等の設定をＣＰＵ１２４に対して行う操作部である。１１７は、撮影した静止画像や動画像、メニュー等の表示を行う表示部である。
【００１２】
１１１は、撮影光学系（共通光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１１０は絞りで、その開口径を調節することで撮影時の光量調節を行う。１０９は第２レンズ群である。そして、前記絞り１１０及び第２レンズ群１０９は一体となって光軸方向に進退し、前記第１レンズ群１１１の進退動作との連動により、変倍作用（ズーム機能）をなす。１０８は第３レンズ群で、光軸方向の進退により、焦点調節を行う。１０７は、入射された被写体からの光束を反射光と透過光に分割するハーフミラーである。ハーフミラー１０７の反射光は第２の撮像素子１０３に入射し、透過光は第１の撮像素子１００に入射される。
【００１３】
１０６は、静止画撮影時に露光秒時を調節するフォーカルプレーンシャッタである。本実施形態では、フォーカルプレーンシャッタにて撮像素子１００の露光秒時を調節する構成であるが、この限りではない。撮像素子１００が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成でもよい。１１２は、光学系の焦点位置を変更する焦点位置変更手段であるフォーカス駆動回路で、ＡＦ演算部１２２の焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０８を光軸方向に進退駆動して焦点調節を行なう。１１３は絞り駆動回路で、絞りアクチュエータ１１５を駆動制御して絞り１１０の開口を制御する。
【００１４】
図２は、第１の撮像素子１００、第２の撮像素子１０３、ハーフミラー１０７の位置を示した図である。前述した様に、ハーフミラー１０７の反射光は撮像素子１０３に入射され透過光は撮像素子１００に入射される位置・角度にハーフミラー１０７は配置される。つまり、第１の撮像素子は、光分割手段の透過光が入射され、第２の撮像素子は、光分割手段の反射光が入射される。ハーフミラー１０７の中心から撮像素子１００までの距離ａと、撮像素子１０３までの距離ｂは等しく配置される。これにより、第１の撮像素子１００と第２の撮像素子１０３には、等しい倍率の被写体像である一次結像が入射される。この構成により、第２の撮像素子１０３の画像信号を用いてＡＦ動作を行った場合でも、第１の撮像素子１００に結像する像の焦点を合わせることができる。
【００１５】
次に第１の撮像素子１００について説明する。図３に撮像素子１００の構成を示す。図３において、撮像素子は、画素アレイ１００ａと、画素アレイ１００ａにおける行を選択する垂直選択回路１００ｄ、画素アレイ１００ａにおける列を選択する水平選択回路１００ｃを持つ。また、画素アレイ１００ａ中の画素のうち垂直選択回路１００ｄ及び水平選択回路１００ｃによって選択される画素の信号を読み出す読み出し回路１００ｂを備える。垂直選択回路１００ｄは、画素アレイ１００ａの行を選択し、ＣＰＵ１２４から出力される水平同期信号に基づいたＴＧ１０２から出力される読出しパルスを、選択行において有効にする。読出し回路１００ｂは列毎のアンプやメモリを含み、選択行の画素信号はアンプを介してメモリに格納される。メモリに格納された１行分の画素信号は、水平選択回路１００ｃによって列方向に順に選択され、アンプ１００ｅを介して外部に出力される。この動作を行数分繰り返し、全ての画素の信号を外部に出力する。
【００１６】
図４（ａ）に画素アレイ１００ａの構成を示す。第１の撮像素子１００の画素アレイ１００ａは、２次元の画像を提供するために、複数の画素を２次元アレイ状に配列して構成される。図４（ａ）において、１００ｆはマイクロレンズであり、１００ｇは光電変換を行うフォトダイオード（ＰＤ）である。各画素、ＰＤ１つに対して１つのマイクロレンズ１００ｆが上部に配置される構成となっている。この画素が、水平方向にｈ１画素、垂直方向にｉ１画素並んで配置される。
【００１７】
第２の撮像素子１０３の構成と読出し動作は、図３に示す第１の撮像素子１００の構成と同様であるため、説明を省略する。撮像素子１０３の画素アレイを図４（ｂ）に示す。図４（ｂ）において、１０３ｆはマイクロレンズであり、１０３ｇ、１０３ｈはＰＤである。各画素、ＰＤ２つに対して１つのマイクロレンズ１０３ｆが上部に配置される構成となっている。すなわち、焦点検出用画素は、１つのマイクロレンズに対して複数の光電変換部を備える。マイクロレンズ１０３ｆが共有されている領域を１画素とした場合、この画素が水平方向にｈ２画素、垂直方向にｉ２画素並んで配置される。ＰＤ１０３ｇとＰＤ１０３ｈで蓄積された信号は、前述した読出し動作によって別々に外部に出力される。ＰＤ１０３ｇとＰＤ１０３ｈは、後述する構成により位相差を持った別の像が入射されるため、ここではＰＤ１０３ｇをＡ像用光電変換部、ＰＤ１０３ｈをＢ像用光電変換部とする。なお、本実施形態ではマイクロレンズ１つに対してＰＤが２つ配置される構成であるがこの限りではない。マイクロレンズ１つに対してＰＤが上下または左右に複数配置される構成であれば適用することができる。
【００１８】
次に第２の撮像素子１０３のＡ像用光電変換部とＢ像用光電変換部が出力する画像データについて説明する。図５（ａ）と図５（ｂ）は、撮像素子１０３におけるピント状態と位相差との関係を示す。１０３ａは画素アレイの断面を示す。１２８は前述したマイクロレンズ、１２９、１３０はそれぞれＡ像用光電変換部、Ｂ像用光電変換部である。１２５は、図１に示す第１レンズ群１１１、第２レンズ群１０９、第３レンズ群１０８を合わせて１つのレンズとして考えた、撮影レンズである。被写体１２６から発せられた光は、光軸１２７を中心として、撮影レンズ１２５の各領域を通過し、撮像素子に結像される。ここでは射出瞳と撮影レンズの中心ないし重心は同一としている。
【００１９】
この様な構成によれば、撮像光学系をＡ像用光電変換部から見た場合とＢ像用光電変換部から見た場合とで、撮像光学系の瞳が中心に関して対称に分割されたことと等価となる。言い換えれば、撮像光学系からの光束が２つの光束にいわゆる瞳分割される。そして、それぞれの分割光束（第１の光束及び第２の光束）が、瞳分割された光束をそれぞれ受光するための第１の光電変換部と第２の光電変換部であるＡ像用光電変換部及びＢ像用光電変換部に入射する。第１の光束は、射出瞳の第１の領域を通って瞳分割された光束であり、第２の光束は、射出瞳の第１の領域からずれた第２の領域を通って瞳分割された光束である。こうして、被写体１２６上の特定点からの光束は、Ａ像用光電変換部Ａに対応する分割瞳を通って該Ａ像用光電変換部Ａに入射する光束ΦＬａと、Ｂ像用光電変換部Ｂに対応する分割瞳を通って該Ｂ像用光電変換部Ｂに入射する光束ΦＬｂとに分割される。
【００２０】
これら２つの光束は、被写体１２６上の同一点から入射しているため、撮像光学系のピントが合った状態では、図５（ａ）に示すように、同一のマイクロレンズを通過して撮像素子上の１点に到達する。したがって、Ａ像用光電変換部１２９とＢ像用光電変換部１３０でそれぞれ得られる像信号は互いに一致する。しかし、図５（ｂ）に示すように、Ｙだけピントがずれている状態では、光束ΦＬａ、ΦＬｂのマイクロレンズへの入射角の変化分だけ両光束ΦＬａ、ΦＬｂの到達位置が互いにずれる。したがって、Ａ像用光電変換部１２９とＢ像用光電変換部１３０からそれぞれ得られる像信号には位相差が生じる。Ａ像用光電変換部１２９及びＢ像用光電変換部１３０により、位相差を持った２つの被写体像（Ａ像及びＢ像）が光電変換されて、別々に外部へ出力され、後述するＡＦ動作に使用される。
【００２１】
なお、第１の撮像素子１００は静止画を撮影し、第２の撮像素子１０３は動画を撮影するため、撮像素子１００の画素数ｈ１＊ｉ１画素は撮像素子１０３の画素数ｈ２＊ｉ２画素より大きい構成となっている。つまり、第２の撮像素子の画素数は、第１の撮像素子の画素数よりも少ない。撮像素子１０３は撮像素子１００よりも画素数が少ないため、ＰＤの面積が大きくなるので感度が高い。よって、ハーフミラー１０７により分割される光束は透過光と反射光でＭ：Ｎの割合で分割され、感度が高い撮像素子１０３に入射される反射光の割合Ｎの方がＭより小さくなる構成とする。つまり、第２の撮像素子に入射される分割された光束の強度は、第１の撮像素子に入射される分割された光束の強度よりも低い。
【００２２】
次に図６のフローチャートを用いて、本実施形態における撮像装置の動作を説明する。先ず、ステップＳ１０１にて操作部１１６に含まれる動画撮影スイッチが押下されるまで待機する。動画撮影スイッチが押下されると、ステップＳ１０２にて動画撮影が開始される。動画撮影が開始されると第２の撮像素子１０３、ＡＦＥ１０４、ＴＧ１０５に電源が投入され、ＣＰＵ１２４は動画撮影設定をする。設定後、ＣＰＵ１２４から出力される同期信号に基づいてＴＧ１０５は撮像素子１０３に読出しパルスを出力し、撮像素子１０３は所定のフレームレートでの読出し動作を開始する。なお、本実施形態では動画像の電荷蓄積・読出し動作はスリットローリング動作による電子シャッタ機能を使用して行われるが、この限りではない。撮像素子１０３から出力されたＡ像用光電変換部データとＢ像用光電変換部データは、ＣＰＵ１２４によりＲＡＭ１１８へ転送される。その後、画像処理部１２１に転送され、同一のマイクロレンズ下にあるＡ像用光電変換部とＢ像用光電変換部のデータを画素毎に加算する。これにより動画のフレームを作成する。その後、補正処理、圧縮等を行い、表示部１１７に動画を表示する（ライブビュー）。撮影前に、表示部１１７に表示されたメニューと操作部１１６を使用して動画記録が選択されている場合には、動画はフラッシュメモリ１２３に順次記録される。
【００２３】
ステップＳ１０３では、動画撮影スイッチが再度押下されたかを判断する。動画撮影スイッチが押下されていない場合には動画撮影を継続し、ステップＳ１０４の処理を行う。動画撮影スイッチが押下された場合には、動画撮影を終了する。
【００２４】
次にステップＳ１０４では操作部１１６に含まれるＡＦスイッチが押下されたかを判断する。ここでＡＦスイッチが押下されている場合には、ステップＳ１０５にてＡＦ演算を行う。ステップＳ１０５では、ＣＰＵ１２４はＲＡＭ１１８に格納されるＡ像用光電変換部データを用いたＡ像に対応するＡ画像データと、Ｂ像用光電変換部データを用いたＢ像に対応するＢ画像データをＡＦ演算部１２２に転送する。
【００２５】
図７（ａ）は、ピントがあった図５（ａ）の場合におけるＡ画像データとＢ画像データである。横軸は、画素位置を表し、縦軸は出力を表す。ピントがあっている場合はＡ画像データとＢ画像データは一致する。図７（ｂ）は、ピントがあっていない図５（ｂ）の場合のＡ画像データとＢ画像データである。このときは、Ａ画像データとＢ画像データは前述した状態によって位相差を持ち、画素位置がずれ量Ｘでずれている。焦点検出手段であるＡＦ演算部１２２では、動画フレーム毎のこのずれ量Ｘを算出することによりピントのずれ量、即ち図５（ｂ）におけるＹ値を算出する。つまり、焦点検出手段は、第２の撮像素子の焦点検出用画素の出力を用いて、位相差検出方式で焦点検出を行う。ＡＦ演算部１２２は、算出したＹ値をフォーカス駆動回路１１２に転送する。
【００２６】
ステップＳ１０６では、フォーカス駆動回路１１２はＡＦ演算部１２２から取得したＹ値に基づき第３レンズ群１０８を動かす量を算出し、フォーカスアクチュエータ１１４に駆動命令を出力する。第３レンズ群１０８はフォーカスアクチュエータ１１４によりピントが合う位置まで移動され、撮像素子１０３にてピントが合った状態となる。この時、第１の撮像素子１００と第２の撮像素子１０３には、像面倍率が同じである１次結像が入射されており被写界深度等も同一であるため、撮像素子１０３でピントが合った状態では、撮像素子１００でもピントが合った状態となる。
【００２７】
次にステップＳ１０７にて、操作部１１６に含まれる静止画撮影スイッチが押下されたかを判断する。静止画撮影スイッチが押下されていた場合にはステップＳ１０８にて静止画の撮影が行われる。静止画撮影が開始されると、第１の撮像素子１００、ＡＦＥ１０１、ＴＧ１０２に電源が投入され、ＣＰＵ１２４は静止画撮影設定をする。設定後、ＣＰＵ１２４はフォーカルプレーンシャッタ１０６を操作して撮像素子１００に対して露光動作を行う。その後、ＣＰＵ１２４から出力される同期信号に基づいてＴＧ１０２は撮像素子１００に読出しパルスを出力し、撮像素子１００は読出し動作を開始する。撮像素子１００から出力された画像データはＡＦＥ１０１にてデジタルデータに変換された後、ＲＡＭ１１８に格納される。ＣＰＵ１２４は、ＲＡＭ１１８に格納される画像データを画像処理部１２０に転送し、画像処理部１２０では画像データの補正処理、圧縮等が行われる。その後、画像データはフラッシュメモリ１２３に記録される。その後、ステップＳ１０３へ戻り、ステップＳ１０３からステップＳ１０８の動作を繰り返す。
【００２８】
ステップＳ１０４において、ＡＦスイッチが押下されていない場合は、ステップＳ１０７に移行し、静止画撮影スイッチが押下されているか否かを判断する。なお、表示部１１７と操作部１１６を使用してメニュー表示からＡＦ動作がＯＦＦに設定されていた場合も、同様である。
【００２９】
以上の動作により、動画撮影（ライブビューまたは動画記録）を行いながら、位相差ＡＦ動作を行って撮像素子１０３または撮像素子１００に入射される像のピントを合わせ、同時に静止画撮影を行うことができる。
【００３０】
なお、本実施形態では、第２の撮像素子１０３は全ての画素が測距可能な画素であり、位相差ＡＦを行う構成にしたが、この限りではない。離散的に配置された測距可能な画素からの信号を使用して位相差ＡＦを行う構成でもよい。この場合の測距可能な画素の構成は、マイクロレンズ下に１つのＰＤを持ち、遮光層により左または右、或いは上または下を遮光された構成で瞳分割を行う構成でもよい。つまり、第２の撮像素子は、射出瞳の第１の領域を通って瞳分割された光束を受光する第１の光電変換部、又は／及び、射出瞳の第１の領域からずれた第２の領域を通って瞳分割された光束を受光する第２の光電変換部を含む焦点検出用画素を持てばよい。また、撮像素子が、画像用画素と焦点検出用画素を含んで構成されてもよい。
【００３１】
また、本実施形態では、第２の撮像素子１０３に測距が可能な画素を含ませ、位相差ＡＦを行う構成にしたが、この限りではない。第２の撮像素子１０３も、１つのマイクロレンズ下に１つのＰＤを持つ第１の撮像素子１００と同じ画素構成とし、読み出した動画像のコントラストを検出してＡＦ動作を行うコントラストＡＦ方式を適用する構成とすることも可能である。つまり、焦点検出手段は、第２の撮像素子の画素の出力からコントラストを検出し、コントラスト検出方式で焦点検出を行うこともできる。
【００３２】
加えて、本実施形態では、撮像素子１０３のＡ画像データとＢ画像データは画像処理部で加算されて動画を生成する構成であるが、その限りではない。Ａ画像データ、Ｂ画像データがそれぞれ必要ない場合には、一部または全部の画素についてＡ画像データとＢ画像データを撮像素子内で加算して出力する構成でもよい。また、本実施形態では動画撮影中に静止画を撮影する動作について述べたが、この限りではない。動画撮影をしていない間に静止画撮影をすることも可能である。
【００３３】
（実施形態２）
以下、図８を参照して、本発明の第２の実施形態による撮像装置の構成、動作について説明する。図８の撮像装置において、２００は、光学像を電気信号に変換する第１の撮像素子である。撮像素子２００では主に静止画を撮影する。２０１は、撮像素子２００から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行うＡＦＥである。２０２は、撮像素子２００及びＡＦＥ２０１の駆動タイミングを制御するＴＧである。
【００３４】
２０３は、光学像を電気信号に変換する第２の撮像素子である。撮像素子２０３では主に動画を撮影する。２０４は、撮像素子２０３から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行うＡＦＥである。２０５は、撮像素子２０３及びＡＦＥ２０４の駆動タイミングを制御するＴＧである。本実施形態でも、第１の撮像素子２００に関連するＡＦＥ２０１、ＴＧ２０２や、第２の撮像素子２０３に関連するＡＦＥ２０４、ＴＧ２０５が使用されているが、ＡＦＥ、ＴＧは撮像素子内に内蔵される構成も可能である。
【００３５】
２０６から２２４で示される構成要素は、実施形態１の構成要素１０６から１２４にそれぞれ対応するものである。相違点は、次の点である。入射された被写体からの光束を反射光と透過光に分割するハーフミラー２０７の反射光は第１の撮像素子２００に入射し、透過光は第２の撮像素子２０３に入射される。
【００３６】
図９は撮像素子２００、撮像素子２０３、ハーフミラー２０７の位置を示した図である。ハーフミラーを通過した像は、ハーフミラーが持つ光学収差により像が不鮮明になりやすい。後述する様に、静止画は、撮像素子２０３より画素数が多い撮像素子２００で撮影されるため、より鮮明な像が要求される。よって、本実施形態では、前述した様にハーフミラー２０７の反射光は撮像素子２００に、透過光は撮像素子２０３に入射される位置・角度にハーフミラー２０７が配置される。ハーフミラー２０７の中心から撮像素子２００までの距離ｃと、撮像素子２０３までの距離ｄは等しく配置される。これにより、撮像素子２００と撮像素子２０３には等しい倍率の被写体像である一次結像が入射される。この構成により、後述する撮像素子２０３の画像信号を用いてＡＦ動作を行った場合でも、撮像素子２００に結像する像の焦点を合わせることができる。
【００３７】
第１の撮像素子２００、第２の撮像素子２０３の構成・機能については実施形態１で述べた構成・機能と同様のため、説明を省略する。なお本実施形態での撮像装置の構成では、撮像素子２００は静止画を撮影し、撮像素子２０３は動画を撮影するため、撮像素子２００の画素数ｈ１＊ｉ１画素は撮像素子２０３の画素数ｈ２＊ｉ２画素より大きい構成となっている。撮像素子２０３は撮像素子２００よりも画素数が少ないため、ＰＤの面積が大きくなるので感度が高い。ハーフミラー２０７により分割される光束は透過光と反射光でＭ：Ｎの割合で分割され、感度が高い撮像素子２０３に入射される透過光の割合Ｍの方がＮより小さくなる構成とする。
【００３８】
次に図１０のフローチャートを用いて、本実施形態における撮像装置の動作を説明する。先ず、ステップＳ２０１にて操作部１１６に含まれる動画撮影スイッチが押下されるまで待機する。動画撮影スイッチが押下されると、ステップＳ２０２にて動画撮影が開始される。動画撮影が開始されると撮像素子２０３、ＡＦＥ２０４、ＴＧ２０５に電源が投入され、ＣＰＵ２２４は動画撮影設定をする。設定後、ＣＰＵ２２４から出力される同期信号に基づいてＴＧ２０５は撮像素子２０３に読出しパルスを出力し、撮像素子２０３は所定のフレームレートでの読出し動作を開始する。なお、本実施形態でも、動画像の電荷蓄積・読出し動作はスリットローリング動作による電子シャッタ機能を使用して行われるが、この限りではない。
【００３９】
撮像素子２０３から出力されたＡ像用光電変換部データとＢ像用光電変換部データは、ＣＰＵ２２４によりＲＡＭ２１８へ転送される。その後、画像処理部２２１に転送され、同一のマイクロレンズ下にあるＡ像用光電変換部とＢ像用光電変換部のデータを画素毎に加算する。これにより動画のフレームを作成する。その後、補正処理、圧縮等を行い、表示部２１７に動画を表示する（ライブビュー）。撮影前に、表示部２１７に表示されたメニューと操作部２１６を使用して動画記録が選択されている場合には、動画はフラッシュメモリ２２３に順次記録される。
【００４０】
ステップＳ２０３では、動画撮影スイッチが再度押下されたかを判断する。動画撮影スイッチが押下されていない場合には動画撮影を継続し、ステップＳ２０４の処理を行う。動画撮影スイッチが押下された場合には、動画撮影を終了する。ステップＳ２０４ではＡＦ演算を行う。ＣＰＵ２２４は、ＲＡＭ２１８に格納されるＡ像用光電変換部データを用いたＡ像に対応するＡ画像データと、Ｂ像用光電変換部データを用いたＢ像に対応するＢ画像データをＡＦ演算部２２２に転送する。図７（ａ）は、ピントがあった図５（ａ）の場合におけるＡ画像データとＢ画像データである。横軸は、画素位置を表し、縦軸は出力を表す。ピントがあっている場合はＡ画像データとＢ画像データは一致する。図７（ｂ）は、ピントがあっていない図５（ｂ）の場合のＡ画像データとＢ画像データである。このときは、Ａ画像データとＢ画像データは前述した状態によって位相差を持ち、画素位置がずれ量Ｘでずれている。ＡＦ演算部２２２では、動画フレーム毎のこのずれ量Ｘを算出することによりピントのずれ量、即ち図５（ｂ）におけるＹ値を算出する。ＡＦ演算部２２２は算出したＹ値をフォーカス駆動回路２１２に転送する。ステップＳ２０５では、フォーカス駆動回路２１２はＡＦ演算部２２２から取得したＹ値に基づき第３レンズ群２０８を動かす量を算出し、フォーカスアクチュエータ２１４に駆動命令を出力する。第３レンズ群２０８はフォーカスアクチュエータ２１４によりピントが合う位置まで移動され、撮像素子２０３にてピントが合った状態となる。この時、撮像素子２００と撮像素子２０３は像面倍率が同じである１次結像が入射されており被写界深度等も同一であるため、撮像素子２０３でピントが合った状態では、撮像素子２００でもピントが合った状態となる。
【００４１】
次にステップＳ２０６にて、操作部２１６に含まれる静止画撮影スイッチが押下されたかを判断する。静止画撮影スイッチが押下されていた場合にはステップＳ２０７の処理に移行する。ステップＳ２０７ではフォーカス駆動、即ち第３レンズ群２０８の移動が停止したか否かを判断する。停止していない場合には停止するまで待つ。停止した場合には静止画の撮影が行われる。ステップＳ２０８にて静止画撮影が開始されると撮像素子２００、ＡＦＥ２０１、ＴＧ２０２に電源が投入され、ＣＰＵ２２４は静止画撮影設定をする。設定後、ＣＰＵ２２４はフォーカルプレーンシャッタ２０６を操作して撮像素子２００に対して露光動作を行う。その後、ＣＰＵ２２４から出力される同期信号に基づいてＴＧ２０２は撮像素子２００に読出しパルスを出力し、撮像素子２００は読出し動作を開始する。撮像素子２００から出力された画像データはＡＦＥ２０１にてデジタルデータに変換された後、ＲＡＭ２１８に格納される。ＣＰＵ２２４はＲＡＭ２１８に格納される画像データを画像処理部２２０に転送し、画像処理部２２０では画像データの補正処理、圧縮等が行われる。その後、画像データはフラッシュメモリ２２３に記録される。その後、ステップＳ２０３へ戻り、ステップＳ２０３からステップＳ２０８の動作を繰り返す。
【００４２】
以上の動作の概要を図１１に示す。時刻ｔ１からｔ２の間は動画の１フレームの動作として、Ａ画像データ、Ｂ画像データを出力する。時刻ｔ１〜ｔ２で取得したＡ画像データ、Ｂ画像データから前述したＡＦ演算を行い、時刻ｔ２にてフォーカス駆動（第３レンズ群２０８の移動）を行う。フォーカス駆動は時刻ｔ３にて終了する。動画撮影時は時刻ｔ１からｔ３の動作を繰り返し、ＡＦ動作を常時行う。時刻ｔ４にて静止画撮影スイッチが押下されるが、時刻ｔ４ではフォーカス駆動をしているために静止画撮影は開始されない。時刻ｔ５にてフォーカス駆動が終了した後に、時刻ｔ６に静止画撮影のための同期信号が出力されて静止画撮影が開始される。時刻ｔ７にてフォーカルプレーンシャッタ２０６が先幕、後幕の順で走行し、撮像素子２００の露光を行う。その後ｔ８に撮像素子２００から画像データが出力され、前述した処理の後に静止画としてフラッシュメモリ２２３に記録される。この様にフォーカス駆動が終了してから静止画を撮影する構成により、フォーカス駆動中のピントが合っていない画像を撮影することを避けることができ、鮮明な静止画を得ることができる。
【００４３】
以上の動作により、動画撮影（ライブビューまたは動画記録）を行いながら、位相差ＡＦ動作を行って撮像素子２０３または撮像素子２００に入射される像のピントを合わせ、同時に静止画撮影を行うことができる。なお、本実施形態でも、実施形態１のところで述べた様な変更が可能である。
【００４４】
（実施形態３）
以下、図１２を参照して、本発明の第３の実施形態による撮像装置の構成、動作について説明する。図１２に示す本実施形態の撮像装置の構成は、実施形態１の撮像装置の構成と同様であり、説明を省略する。つまり、３００から３２４で示される構成要素は、実施形態１の構成要素１００から１２４にそれぞれ対応するものである。また、撮像素子３００、撮像素子３０３、ハーフミラーの位置関係も実施形態１と同様である。
【００４５】
本実施形態の第１の撮像素子３００について説明する。撮像素子３００の構成は、実施形態１の撮像素子１００の構成とは画素アレイ部について異なる。撮像素子３００の画素アレイ部を図１３（ａ）に示す。図１３（ａ）において、３００ａはマイクロレンズであり、３００ｃ、３００ｂはＰＤである。各画素、ＰＤ２つに対して１つのマイクロレンズが上部に配置される構成となっている。マイクロレンズ３００ａが共有されている領域を１画素とした場合、この画素が水平方向にｊ１画素、垂直方向にｋ１画素並んで配置される。ＰＤ３００ｂとＰＤ３００ｃで蓄積された信号は、読出し動作によって別々に外部に出力される。ＰＤ３００ｂとＰＤ３００ｃには、位相差を持った別の像が入射されるため、ここではＰＤ３００ｂをＡ像用光電変換部、ＰＤ３００ｃをＢ像用光電変換部とする。なお、本実施形態でも、マイクロレンズ１つに対してＰＤが２つ配置される構成であるがこの限りではない。マイクロレンズ１つに対してＰＤが上下または左右に複数配置される構成であれば適用することができる。以上の様に、本実施形態では、第１の撮像素子も焦点検出用画素を持つ。
【００４６】
本実施形態では、撮像素子３００から出力されるＡ像用光電変換部データを用いたＡ像に対応するＡ画像データと、Ｂ像用光電変換部データを用いたＢ像に対応するＢ画像データは以下の様に使用される。Ａ画像データとＢ画像データは、実施形態１で説明した様にピントが合っていない時には、ピントのずれに応じた位相差のある画像データが得られる。図１５（ａ）、（ｂ）は同一被写体を撮影した場合の画像であり、図１５（ａ）はＡ画像データ、図１５（ｂ）はＢ画像データである。図１５（ａ）、（ｂ）は人物にピントが合っている時のデータであり、背景がずれている（位相差を持っている）ことが分かる。即ち、Ａ画像データとＢ画像データの位相差は被写体との距離に依存する。よって、Ａ画像データとＢ画像データの位相差は所謂視差に置き換えられ、Ａ画像データとＢ画像データをそれぞれ左右の目に独立に入射する様に表示すると、立体感を持った画像と認識することができる。
【００４７】
本実施形態の撮像装置は、Ａ画像データとＢ画像データを独立にし、３次元画像として表示することができる形式で記録する３Ｄ静止画撮影モードを有する。
【００４８】
次に第２の撮像素子３０３について説明する。撮像素子３０３の構成は、実施形態１の第２の撮像素子１０３と同様である。撮像素子３０３の画素アレイを図１３（ｂ）に示す。図１３（ｂ）において、３０３ａはマイクロレンズであり、３０３ｂ、３０３ｃはＰＤである。各画素、ＰＤ２つに対して１つのマイクロレンズが上部に配置される構成となっている。マイクロレンズ３０３ａが共有されている領域を１画素とした場合、この画素が水平方向にｊ２画素、垂直方向にｋ２画素並んで配置される。ＰＤ３０３ｂとＰＤ３０３ｃで蓄積された信号は、読出し動作によって別々に外部に出力される。ＰＤ３０３ｂとＰＤ３０３ｃには、位相差を持った別の像が入射されるため、ここではＰＤ３０３ｇをＡ像用光電変換部、ＰＤ３０３ｈをＢ像用光電変換部とする。なお、本実施形態でもマイクロレンズ１つに対してＰＤが２つ配置される構成であるがこの限りではない。
【００４９】
次に図１４のフローチャートを用いて、本実施形態における撮像装置の動作を説明する。図１４のステップＳ３０１〜Ｓ３０７の動作は、実施形態１で述べたステップＳ１０１〜Ｓ１０７の動作と同様であるため説明を省略する。ステップＳ３０８では、３Ｄ静止画撮影モードがＯＮであるか否かを判断する。撮影前に、表示部３１７に表示されたメニューと操作部３１６を使用して３Ｄ静止画撮影モードがＯＮにされている場合には、ステップＳ３０９にて３Ｄ静止画の撮影が行われる。３Ｄ静止画撮影が開始されると、撮像素子３００、ＡＦＥ３０１、ＴＧ３０２に電源が投入され、ＣＰＵ３２４は静止画撮影設定をする。設定後、ＣＰＵ３２４は、フォーカルプレーンシャッタ３０６を操作して撮像素子３００に対して露光動作を行う。その後、ＣＰＵ３２４から出力される同期信号に基づいてＴＧ３０２は撮像素子３００に読出しパルスを出力し、撮像素子３００は読出し動作を開始する。
【００５０】
読出し動作により、撮像素子３００からＡ画像データとＢ画像データが出力される。これらはＡＦＥ３０１にてデジタルデータに変換された後、それぞれＲＡＭ３１８に格納される。ＣＰＵ３２４は、ＲＡＭ３１８に格納されるＡ画像データとＢ画像データを画像処理部３２０に転送し、画像処理部３２０ではそれぞれ補正処理、圧縮等が行われる。その後Ａ画像データとＢ画像データはそれぞれ所定のファイル形式でフラッシュメモリ３２３に記録される。
【００５１】
ステップＳ３０８で、３Ｄ静止画撮影モードがＯＦＦである場合には、ステップＳ３１０にて通常の静止画撮影が行われる。通常静止画撮影が開始されると、撮像素子３００、ＡＦＥ３０１、ＴＧ３０２に電源が投入され、ＣＰＵ３２４は静止画撮影設定をする。設定後、ＣＰＵ３２４は、フォーカルプレーンシャッタ３０６を操作して撮像素子３００に対して露光動作を行う。その後、ＣＰＵ３２４から出力される同期信号に基づいてＴＧ３０２は撮像素子３００に読出しパルスを出力し、撮像素子３００は読出し動作を開始する。読出し動作により、撮像素子３００からＡ画像データとＢ画像データが出力される。これらはＡＦＥ３０１にてデジタルデータに変換された後、それぞれＲＡＭ３１８に格納される。ＣＰＵ３２４は、ＲＡＭ３１８に格納されるＡ画像データとＢ画像データを画像処理部３２０に転送され、同一のマイクロレンズ下にあるＡ像用光電変換部とＢ像用光電変換部のデータを画素毎に加算する。これにより通常静止画を生成する。その後、補正処理、圧縮等が行われ、通常静止画はフラッシュメモリ３２３に記録される。その後ステップＳ３０３へ戻り、ステップＳ３０３からステップＳ３１０の動作を繰り返す。
【００５２】
以上の動作により、動画撮影（ライブビューまたは動画記録）を行いながら、位相差ＡＦ動作を行って撮像素子３０３または撮像素子３００に入射される像のピントを合わせ、同時に３次元表示が可能な静止画撮影を行うことができる。
【００５３】
なお、本実施形態では撮像素子３０３で動画、撮像素子３００で３次元の静止画を撮影する構成であったがこの限りではない。撮像素子３００による動画は、３次元表示が可能な動画を撮影する構成でもよい。また、撮像素子３００と撮像素子３０３の両方の画素信号からＡＦ動作を行う構成でもよい。例えば、撮像素子３００は左右に並んだＡ像用光電変換部、Ｂ像用光電変換部を持ち、撮像素子３０３は上下に並んだＡ像用光電変換部、Ｂ像用光電変換部を持つ構成で、それぞれ左右方向と上下方向の位相差を検出する方法でもよい。さらに、本実施形態でも、実施形態１のところで述べた様な変更が可能である。
【００５４】
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５５】
１００・・第１の撮像素子、１０３・・第２の撮像素子、１０７・・ハーフミラー（光分割手段）、１１２・・フォーカス駆動回路（焦点位置変更手段）１２０、１２１・・画像処理部（画像処理手段）、１２２・・ＡＦ演算部（焦点検出手段）
【図１】
2014122957.tif 000003
【図２】
2014122957.tif 000004
【図３】
2014122957.tif 000005
【図４】
2014122957.tif 000006
【図５】
2014122957.tif 000007
【図６】
2014122957.tif 000008
【図７】
2014122957.tif 000009
【図８】
2014122957.tif 000010
【図９】
2014122957.tif 000011
【図１０】
2014122957.tif 000012
【図１１】
2014122957.tif 000013
【図１２】
2014122957.tif 000014
【図１３】
2014122957.tif 000015
【図１４】
2014122957.tif 000016
【図１５】
2014122957.tif 000017