(57)【特許請求の範囲】
【請求項１】
レンズおよび絞りを有する撮像光学系と、マイクロレンズおよび該マイクロレンズ毎に少なくとも第１の受光素子と第２の受光素子を有する撮像素子を備え、該撮像素子の出力から視差を有する複数の画像データを取得可能な撮像装置であって、
前記レンズを駆動するレンズ駆動手段と、
前記絞りを駆動する絞り駆動手段と、
前記レンズ駆動手段および絞り駆動手段を制御して、焦点調節制御および露出制御を行うとともに、前記撮像素子の駆動を制御する制御手段を備え、
前記制御手段は、
前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報が予め定めた条件を満たす場合、前記第１の受光素子に発生した電荷に応じた信号に基づく第１の画像データと、前記第２の受光素子に発生した電荷に応じた信号に基づき、かつ、前記第１の画像データに対して視差を有する第２の画像データを取得し、前記第１の画像データと前記第２の画像データから立体視表示用の画像データを出力し、
前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報が予め定めた条件を満たさない場合、前記第１の受光素子に発生した電荷と前記第２の受光素子に発生した電荷を加算して得られる電荷に応じた信号に基づく第３の画像データを取得し、前記第３の画像データから視差を有する複数の画像データを生成して、立体視表示用の画像データを出力する制御を行うことを特徴とする撮像装置。
【請求項２】
前記予め定めた条件は、前記絞り値が第１の閾値以下であること、および、撮像装置から被写体までの距離情報もしくは焦点状態検出情報が第２の閾値以下であることの、少なくともいずれかを満たすことであることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記制御手段は、前記絞り値が第１の閾値以下であること、または、撮像装置から被写体までの距離情報もしくは焦点状態検出情報が第２の閾値以下であることの、いずれかのみを満たす場合、前記複数の画像データに対して立体視効果を強調する処理を行うことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記撮像素子は、前記マイクロレンズ毎に前記第１の受光素子と前記第２の受光素子の他に複数の受光素子を有しており、
前記第１の画像データは、前記第１の受光素子と第３の受光素子を含む第１の組の受光素子に発生した電荷を加算して得られる電荷に応じた信号に基づく画像データであり、前記第２の画像データは、前記第２の受光素子と第４の受光素子を含む第２の組の受光素子に発生した電荷を加算して得られる電荷に応じた信号に基づく画像データであることを特徴とする請求項１から３のいずれか１項記載の撮像装置。
【請求項５】
レンズおよび絞りを有する撮像光学系と、マイクロレンズおよび該マイクロレンズ毎に少なくとも第１の受光素子と第２の受光素子を有する撮像素子を備え、該撮像素子の出力から視差を有する複数の画像データを取得可能な撮像装置にて実行される制御方法であって、
前記レンズを駆動するレンズ駆動手段および前記絞りを駆動する絞り駆動手段を制御して、焦点調節制御および露出制御を行うとともに、前記撮像素子の駆動を制御するステップと、
前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報を予め定めた条件と比較するステップと、
前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報が前記予め定めた条件を満たす場合、前記第１の受光素子に発生した電荷に応じた信号に基づく第１の画像データと、前記第２の受光素子に発生した電荷に応じた信号に基づき、かつ、前記第１の画像データに対して視差を有する第２の画像データを取得して立体視表示用の画像データを出力するステップと、
前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報が前記予め定めた条件を満たさない場合、前記第１の受光素子に発生した電荷と前記第２の受光素子に発生した電荷を加算して得られる電荷に応じた信号に基づく第３の画像データを取得し、前記第３の画像データから視差を有する複数の画像データを生成して、立体視表示用の画像データを出力するステップを有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロレンズ毎に複数の光電変換素子を有する撮像素子を備えた撮像装置とその制御方法に関する。
【背景技術】
【０００２】
近年、立体視表示あるいは３Ｄ表示可能な画像（以下、３Ｄ画像という）を撮影する技術が知られている。３Ｄ画像は３Ｄ静止画像および３Ｄ動画像を含む。３Ｄ画像の取得には、主被写体と前景および背景との視差データを必要とする。ここで言う視差とは相対視差を示す。図７にて、主被写体と右目、左目の両視点との成す角度をθ１とし、背景と両視点の成す角度をθ２とするとき、θ１、θ２を絶対視差と言い、θ１とθ２の差（θ１―θ２）を相対視差と言う。以下、視差とは相対視差を意味するものとする。
【０００３】
視差データの取得方法としては、下記に示すようにこれまで様々な方法が提案されてきた。
・複数の視点から同一の被写体を撮影することで主被写体と背景との視差データを取得する方法
・１台の撮像装置を所定距離だけ移動させながら複数の視点で撮影する方法
・所定距離だけ離間して配置した２つの撮影用レンズを備えた撮像装置を用いて撮影する方法
・２台の撮像装置を所定距離だけ離間させた状態に固定して撮影する方法。
【０００４】
これらの技術を用いて３Ｄ表示による演出効果の高い画像を得るには、３Ｄ表示に向いたシーンか否かを判定し、３Ｄ表示に向いたシーンのみで撮影を行う必要がある。特許文献１に開示の装置では、被写体状況判定部が３Ｄ表示に向いたシーンであるか否かを判定する。被写体と撮像装置との距離情報から３Ｄ表示に向いたシーンであると判定された場合のみ、複数の視点で３Ｄ画像の撮影が行われる。
【０００５】
しかしながら、複数の視点から同一の被写体を撮影することで３Ｄ画像を取得する方法は、複数の撮像装置や撮影用レンズが必要であるため、装置が大きくなり、コンパクト化に不向きである。そこで、１つの視点から被写体を撮影し、被写体像を撮像素子内で左右２つの像に分けて取得することで、３Ｄ画像データを得る方法が提案されている。つまり、１つのマイクロレンズ内に複数の受光素子を有する撮像素子を使用し、マイクロレンズに複数の異なる方向から光線が入射する場合には、複数の受光素子にそれぞれ異なる方向からの光線が入射する。よって視差の異なる複数の画像データが得られるので、１つの撮影用レンズと１つの撮像素子で３Ｄ画像撮影が可能な撮像装置を構成できる。この方法は撮像装置のコンパクト化に有利であり、また、２つの別々の視点に設置された撮像装置で得た画像から３Ｄ画像を作る訳ではないため、違和感のない自然な３Ｄ画像が得られる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２５２０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、撮像素子のマイクロレンズに複数の異なる方向から光線が入射する光学条件でなければ、３Ｄ画像データを取得できない。この光学条件は、具体的には、（１）絞り値が所定値以上に絞られていないこと、そして（２）主被写体から撮像装置までの距離が所定値以内であること、である。以下、これらの条件について説明する。
前記条件（１）の状態では、被写体からの光線束のうち、レンズ面に垂直な光線しか絞りを通り抜けることができない。そのため、同様に垂直な光線としてレンズに入射する背景と間の視差が得られない。また、前記条件（２）の場合、主被写体が遠方にあると、主被写体からの光が背景と同様にマイクロレンズに垂直に入射してしまうため、背景と主被写体との間の視差が得られない。
【０００８】
このように、Ｆ値が閾値を超える場合や主被写体から撮像装置までの距離が閾値を超える場合には、十分な立体視効果のある画像が得られなくなる。そのため、３Ｄ画像を取得できるシーンが限られてしまうので、コンパクトカメラ等への適用において、ユーザは３Ｄ撮影が可能シーンであるか否かを自ら判断し、３Ｄ画像を撮影できるシーンを選んで撮影しなければならない。
本発明の目的は、ユーザが３Ｄ撮影可能なシーンの選択に煩わされずに、３Ｄ画像データを取得できる撮像装置およびその制御方法を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係る装置は、レンズおよび絞りを有する撮像光学系と、マイクロレンズおよび該マイクロレンズ毎に少なくとも第１の受光素子と第２の受光素子を有する撮像素子を備え、該撮像素子の出力から視差を有する複数の画像データを取得可能な撮像装置であって、前記レンズを駆動するレンズ駆動手段と、前記絞りを駆動する絞り駆動手段と、前記レンズ駆動手段および絞り駆動手段を制御して、焦点調節制御および露出制御を行うとともに、前記撮像素子の駆動を制御する制御手段を備える。前記制御手段は、前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報が予め定めた条件を満たす場合、前記第１の受光素子に発生した電荷に応じた信号に基づく第１の画像データと、前記第２の受光素子に発生した電荷に応じた信号に基づき、かつ、前記第１の画像データに対して視差を有する第２の画像データを取得し、前記第１の画像データと前記第２の画像データから立体視表示用の画像データを出力し、前記絞りの絞り値および撮像装置から被写体までの距離情報もしくは焦点状態検出情報が予め定めた条件を満たさない場合、前記第１の受光素子に発生した電荷と前記第２の受光素子に発生した電荷を加算して得られる電荷に応じた信号に基づく第３の画像データを取得し、前記第３の画像データから視差を有する複数の画像データを生成して、立体視表示用の画像データを出力する制御を行う。
【発明の効果】
【００１０】
本発明によれば、ユーザが３Ｄ撮影可能なシーンの選択に煩わされずに、３Ｄ画像データを取得可能である。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置の制御例を説明するフローチャートである。
【図２】本発明の実施形態に係る撮像装置のシステム構成例を示す図である。
【図３】撮像装置に用いる撮像素子の概略を示す図（Ａ）、および撮像素子内の画素回路の回路図（Ｂ）である。
【図４】図３（Ａ）の撮像素子で使用する色フィルタアレイの一部を示す図である。
【図５】図３（Ｂ）内の共有画素の構成を示す図（Ａ）、および共有画素の斜視図（Ｂ）である。
【図６】撮像信号処理回路内の３Ｄ変換回路および３Ｄ強調回路を示すブロック図である。
【図７】絶対視差と相対視差の関係を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図１乃至６を用いて説明する。なお、本実施形態では、X-Yアドレス型の走査方法を採用した撮像素子により構成したカメラを例示する。図１に示す処理を説明するに先立ち、実施形態に係る撮像装置の構成を説明する。
図２は、撮像装置のシステム概要を例示したブロック図である。
レンズ部（図にはレンズと表記）６０１は、レンズ駆動部６０２によって駆動制御される可動レンズ（ズームレンズやフォーカスレンズ等）を有する。メカニカルシャッタ（図にはメカシャッタと表記）６０３と、後段の絞り６０５は、シャッタ・絞り駆動部６０４によってそれぞれ駆動される。撮像素子６０６は、レンズ部６０１等を通して結像する被写体からの光を光電変換する。なお、撮像素子６０６の構成については図３を参照して後述する。
【００１３】
撮像素子６０６の出力信号を処理する回路（ＣＤＳ・Ａ／Ｄと表記）６０７は、相関２重サンプリングやゲイン調整、アナログ信号からデジタル信号へのＡ／Ｄ変換を行い、処理後の信号を撮像信号処理回路６０８に出力する。撮像信号処理回路６０８には、第１メモリ６１０（メモリ部Ｉ参照）、第２メモリ６１６（メモリ部II参照）、表示部６１３が接続されている。この他、外部インターフェース（以下、Ｉ/Ｆと略記）部６１５、記録媒体制御Ｉ/Ｆ部６１２、全体制御演算部６１１が撮像信号処理回路６０８に接続されている。記録媒体制御Ｉ/Ｆ部６１２は記録媒体６１４へのデータの書き込みおよび読出しを制御する。
【００１４】
撮像装置の制御および各種演算を行う全体制御演算部６１１は、ＣＰＵ（中央演算処理装置）等を備えており、所定のプログラムを実行して各部を制御する。例えば全体制御演算部６１１は、タイミング発生部６０９を制御し、撮像素子６０６および撮像信号処理回路６０８の動作制御を行う。操作部６１７はユーザが使用し、操作指示信号を全体制御演算部６１１に送信する。操作部６１７は、電源スイッチやシャッタレリーズスイッチ等を含む。シャッタレリーズスイッチは、押し込み量に応じて第１スイッチ(以下、ＳＷ１と記す)及び第２スイッチ（以下、ＳＷ２と記す）が順にオン状態となる。ユーザがシャッタレリーズボタンを半押しで操作した場合にＳＷ１がオン状態となり、更にシャッタレリーズボタンを最後まで深く押し込む操作を行った場合にＳＷ２がオン状態となる。ＳＷ１、ＳＷ２のオン・オフ信号は全体制御演算部６１１に送信される。
【００１５】
次に、図３（Ａ）を参照して撮像素子６０６の概略構成を説明する。撮像素子６０６はマイクロレンズ毎に複数の受光素子を有する。なお、図３（Ａ）には、２次元配置とされた多数の画素回路２０１のうち、４行×４列のみを代表して示す。
画素回路２０１にはそれぞれ信号線２０２が接続されている。後述するＭＯＳ（金属酸化膜半導体）アンプの負荷となる定電流源２０３が各信号線２０２に接続され、読出し回路２０６に繋がっている。水平走査回路２０７は、各信号線２０２に対応する選択スイッチ素子２０４を用いて、読出し回路２０６に接続されており、選択スイッチ素子２０４に接続した出力アンプ２０８から撮像信号が得られる。垂直走査回路２０５は、複数の制御線（第ｎ乃至ｎ＋３ライン参照）を介して画素回路２０１に接続されている。
【００１６】
画素回路２０１の詳細を図３（Ｂ）に示す。本例では４画素を共有する撮像素子の画素回路を例示する。フォトダイオード（以下、ＰＤと略記する）３０１a、３０１ｂ、３０１ｃ、３０１ｄは、各カソードが、転送スイッチ素子３０２a、３０２ｂ、３０２ｃ、３０２ｄにそれぞれ接続されており、撮像光学系を通った光を個別に受光する。なお、記号ａ乃至ｄはＰＤと転送スイッチ素子との対応関係を表す。リセットスイッチ素子３０３の一端には所定の電源電圧（ＶDD参照）が印加され、他端はフローティングデフュージョン（以下、ＦＤと略記する）３０４とＭＯＳアンプ３０５の制御端子に接続されている。ソースフォロアのＭＯＳアンプ３０５は、その非制御端子の一方に電源電圧ＶDDが印加され、他端には選択スイッチ素子３０６が接続されている。ＦＤ３０４は４つのＰＤ３０１ａ−ｄで共有され、ＦＤ３０４、ＭＯＳアンプ３０５、及び定電流源２０３（図３（Ａ）参照）により、フローティングディフュージョンアンプが構成されている。ＦＤ３０４に蓄積された電荷の除去については、図３（Ａ）に示すリセットパルスφＲＥＳにより、リセットスイッチ素子３０３で行われる。また転送スイッチ素子３０２ａ−d、選択スイッチ素子３０６、リセットスイッチ素子３０３は、図３（Ａ）の垂直走査回路２０５により選択される。
【００１７】
図４は、撮像素子６０６に使用する色フィルタアレイの一部を例示する。第１の色フィルタを赤（Ｒ）、第２の色フィルタを緑（Ｇ）、第３の色フィルタを緑（Ｇ）、第４の色フィルタを青（Ｂ）とした場合を示している。この色フィルタアレイの配列は、原色の色フィルタ配列の中でも、特にベイヤ配列と呼ばれるものであり、高い解像度と優れた色再現性を有する。例えば、第１乃至第３行および第１乃至第３列にてＧが千鳥格子配置とされ、第２行ではＧの両側にＲがそれぞれ位置し、第２列ではＧの上下にＢがそれぞれ位置する。
【００１８】
図５（Ａ）は、図３（Ａ）の画素回路２０１の構成例を示す。色フィルタ５０１が設けられ、ＰＤ３０１ａ−ｄは、それらの中心位置が正方形の頂点位置にそれぞれ位置した格子配置である。マイクロレンズ５０２を円形枠で示す。ＰＤ３０１ａ−ｄの４つで１つの色フィルタ５０１とマイクロレンズ５０２を共有する構成を示す。図５（Ｂ）はマイクロレンズ５０２を通してＰＤ３０１ａ−ｄにそれぞれ入射する光線７０３ａ−ｄを示している。マイクロレンズ５０２に複数の異なる方向から光線が入射する場合、マイクロレンズ５０２の直下にある４つのＰＤ３０１ａ−ｄには、それぞれ異なる方向からの光線７０３ａ−ｄが入射する。例えば、ＰＤ３０１ａの中心とＰＤ３０１ｂの中心を通る軸方向を撮像装置の水平方向とし、ＰＤ３０１ｂおよび３０１ｄに入射する光を被写体の右側からの光成分とする。この場合、ＰＤ３０１ａおよび３０１ｃには、被写体の左側からの光線が入射することになる。そのため、ＰＤ３０１ｂおよび３０１ｄの出力から得られる画像信号と、ＰＤ３０１ａおよび３０１ｃの出力から得られる画像信号を別々に取得することで、互い視差のある画像を取得可能である。従って、視差をもった複数の画像データから３Ｄ画像の表示用データを生成して再現することができる。
【００１９】
次に、図２に示す撮像装置の動作を説明する。
レンズ部６０１を通った被写体からの光は絞り６０５にて適切な光量に調整され、撮像素子６０６に結像して光電変換を受ける。撮像素子６０６の出力は、（ＣＤＳ・Ａ／Ｄ）回路６０７にて相関２重サンプリング、ゲイン調整、Ａ／Ｄ変換の処理が行われ、Ｒ、２つのＧ（Ｇ１およびＧ２）、Ｂ（図４参照）の原色信号として取り込まれ、撮像信号処理回路６０８に送られる。撮像信号処理回路６０８は、ノイズを低減するローパスフィルタ処理やシェーディング処理、ＷＢ（白バランス）処理等の各種の画像信号処理を行い、さらには各種の補正や画像データの圧縮処理等を行う。
【００２０】
レンズ部６０１では、全体制御演算部６１１の制御指令に従ってレンズ駆動部６０２により、ズームレンズやフォーカスレンズ等が駆動され、変倍制御や焦点調節制御が行われる。メカニカルシャッタ６０３は、例えば一眼レフカメラに使用されるフォーカルプレーン型シャッタの後幕に相当する幕のみを有するシャッタ機構である。メカニカルシャッタ６０３と絞り６０５は、全体制御演算部６１１の制御指令に従ってシャッタ・絞り駆動部６０４により駆動制御され、測光結果に基づいて自動露出制御が行われる。タイミング発生部６０９は、撮像素子６０６や撮像信号処理回路６０８等に各種タイミング信号を出力する。
【００２１】
撮像信号処理回路６０８の出力信号に係る画像データは第１メモリ６１０にて一時的に記憶される。画像データの記録再生時に記録媒体制御Ｉ／Ｆ部６１２は、記録媒体６１４への画像データの記録処理や記録媒体６１４からの読み出し処理を制御する。記録媒体６１４は半導体メモリ等の着脱可能な記録媒体である。また、表示部６１３は撮像信号処理回路６０８の出力信号に従って画像データの表示処理を行う。外部Ｉ／Ｆ部６１５は、不図示の外部機器（コンピュータ等）と通信を行うための回路部である。第２メモリ６１６は全体制御演算部６１１の演算結果を記憶する。操作部６１７を用いてユーザが設定した撮像装置の駆動条件に関する情報の指示信号は全体制御演算部６１１に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。
【００２２】
以下に、図１のフローチャートを用いて撮像シーケンスを説明する。本実施形態では３Ｄ画像のみを出力するモード（３Ｄ画像モード）での駆動例を示す。
操作部６１７から撮像装置の電源投入信号が入力されると、Ｓ１０１で全体制御演算部６１１は、フラグや制御変数等を初期化し、撮像信号処理回路６０８にて必要な初期設定を行う。Ｓ１０２では電源スイッチのオン・オフ状態が判定される。電源スイッチがＯＦＦである場合、全体制御演算部６１１は、レンズ部６０１、メカニカルシャッタ６０３を所定の位置に戻し、また撮像信号処理回路６０８や全体制御演算部６１１内の各種データを第１メモリ６１０、第２メモリ６１６へ保存し、処理を終了する。電源スイッチがＯＮである場合、Ｓ１０３へ処理を進める。
【００２３】
Ｓ１０３は、第１スイッチＳＷ１がＯＮであるか否かの判定処理であり、ＳＷ１がＯＦＦの場合、この判定処理が繰り返され、ＳＷ１がＯＮである場合、Ｓ１０４に進む。全体制御演算部６１１は、被写体に対して所定の焦点状態検出ポイント、例えば第（ｎ＋１）ポイント（ｎは自然数変数）で自動焦点調節（ＡＦ）処理を行う。全体制御演算部６１１は、主被写体までの距離情報（以下、距離ＬＭと記す）、主被写体以外の複数の前景および背景までの距離情報（以下、Ｌ１乃至Ｌｎと記す）を算出する。なお、撮像装置から被写体や前景、背景までの距離情報に代えて、焦点状態検出情報を使用することもできる。つまり、撮像装置の焦点状態検出部によって検出される自動焦点調節用情報は合焦状態およびデフォーカス量の情報を含むので、撮像対象のどの位置にピントが合うかに応じて距離の違いを判別できる。全体制御演算部６１１は、算出した距離ＬＭに基づいてレンズ駆動部６０２を制御し、レンズ部６０１の焦点調節によって焦点を被写体に合わせる。また、全体制御演算部６１１は、自動露出（ＡＥ）処理を行い、被写体に適したシャッタ速度（以下、Ｔｖと記す）と、絞り値（以下、Ｆと記す）を算出する。得られた距離ＬＭと距離Ｌ１乃至Ｌｎ（または焦点状態検出情報）、シャッタ速度Ｔｖ、絞り値Ｆのデータは第２メモリ６１６に保存される。Ｓ１０５で全体制御演算部６１１は、第２メモリ６１６から距離ＬＭを読出して閾値（Ｄｆと記す）と比較する。その結果、「ＬＭ＞Ｄｆ」であれば、全体制御演算部６１１は、現時点の被写体について３Ｄ画像の撮影に適さないシーンであると判断し、Ｓ１１１に処理を進める。表示部６１３の画面上には、現時点のシーンが３Ｄ画像の撮影に適さない旨の表示として、例えば、「３Ｄ撮影できません」等のメッセージが表示された後、Ｓ１０３へ戻る。また、Ｓ１０５での判定結果が「ＬＭ≦Ｄｆ」であれば、現時点の被写体について３Ｄ画像の撮影に適したシーンであると判定され、Ｓ１０６へ処理を進める。Ｓ１０６は第２スイッチＳＷ２がＯＮであるか否かの判定処理であり、ＳＷ２がＯＦＦである場合、Ｓ１０３へ戻る。また、Ｓ１０６でＳＷ２がＯＮである場合、Ｓ１０７へ処理を進める。
【００２４】
Ｓ１０７は、距離情報または絞り値がそれぞれの閾値以下であるか否かの判定処理である。全体制御演算部６１１は第２メモリ６１６から距離ＬＭと絞り値Ｆのデータを読出し、それぞれの閾値（Ｄｎ、Ｆｈと記す）と比較する。その結果、「ＬＭ≦ＤｎまたはＦ≦Ｆｈ」の場合、Ｓ１０８に進み、「ＬＭ＞ＤｎかつＦ＞Ｆｈ」の場合、Ｓ１１２へ進む。Ｓ１０８で全体制御演算部６１１は、第１駆動モード（以下、３Ｄ駆動モードという）で撮像素子６０６の駆動制御を行い、撮像した画像データを取得する。なお、３Ｄ駆動モードの詳細については後述する。さらに、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理が実行される。演算結果は第２メモリ６１６に格納され、また、取得した画像データは第１メモリ６１０へ格納される。その後、Ｓ１０９へ進み、撮影後に絞り値および距離情報がそれぞれの閾値以下であるか否かについて判定される。全体制御演算部６１１は、再び第２メモリ６１６から距離ＬＭと絞り値Ｆのデータを読出し、それぞれの閾値Ｄｎ、Ｆｈと比較する。その結果、「ＬＭ≦ＤｎかつＦ≦Ｆｈ」であればＳ１１０に処理を進め、「ＬＭ＞ＤｎまたはＦ＞Ｆｈ」であれば、Ｓ１１４へ処理を進める。Ｓ１１４では、Ｓ１０８にて取得した画像の３Ｄ感（立体視効果）を強調する処理（以下、３Ｄ強調処理という）が実行され、その後Ｓ１１０へ進む。
【００２５】
一方、Ｓ１０７からＳ１１２に進んだ場合、全体制御演算部６１１は第２駆動モード（以下、２Ｄ駆動モードという）で撮像素子６０６の駆動制御を行い、撮像した画像データを取得する。なお、２Ｄ駆動モードの詳細について後述する。さらに、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理が行われ、演算結果は第２メモリ６１６に格納される。取得した画像データは第１メモリ６１０へ格納される。その後、Ｓ１１３へ進む。Ｓ１１３では、Ｓ１１２で取得した２Ｄ画像データを３Ｄ画像データへ変換する変換処理（以下、３Ｄ化処理という）が実行された後、Ｓ１１０へ処理を進める。
【００２６】
Ｓ１１０で全体制御演算部６１１は、第１メモリ６１０に書き込まれた画像データを読出し、現像処理と圧縮・伸張処理を行い、記録媒体６１４へデータを書き込む記録処理を行う。あるいは、立体視表示用の画像データまたは２Ｄ画像データに従って表示部６１３の画面に画像を表示する処理が行われる。そしてＳ１０３に戻って処理を続行する。
【００２７】
次に図３（Ａ）および（Ｂ）、図５（Ｂ）を用いて２Ｄ駆動モードおよび３Ｄ駆動モードについて説明する。
まず、２Ｄ駆動モードで撮像素子６０６を駆動する場合、図３（Ｂ）の全ＰＤ３０１ａ−ｄに発生した電荷は、転送スイッチ素子３０２ａ−ｄの全てに転送パルスφＴＸを与えることで転送されてＦＤ３０４に読出される。つまり、ＦＤ３０４にて４画素の信号が加算されて蓄積される。その後、選択パルスφＳＥＬによって選択スイッチ素子３０６で選択された画素の信号電荷は電圧に変換され、信号線２０２を経て読出し回路２０６に出力される。さらに水平走査回路２０７で駆動された選択スイッチ素子２０４により、出力信号が選択され、該信号は出力アンプ２０８を経て撮像素子６０６の外部に出力される。
【００２８】
他方、３Ｄ駆動モードで撮像素子を駆動する場合、まず、第１の組ＰＤ３０１ａ、ＰＤ３０１ｃに発生した電荷は、転送スイッチ素子３０２ａ、３０２ｃに転送パルスφＴＸを与えることで転送されてＦＤ３０４に読出される。ＦＤ３０４にて２画素の信号が加算されて蓄積される。その後、２Ｄ駆動モードと同様に信号線２０２、読出し回路２０６、出力アンプ２０８を経て撮像素子６０６の外部に第１の画像データに相当する信号が出力される。次に、第２の組ＰＤ３０１ｂ、ＰＤ３０１ｄに発生した電荷は、転送スイッチ素子３０２ｂ、３０２ｄに転送パルスφＴＸを与えることで転送されてＦＤ３０４に読出される。ＦＤ３０４にて２画素の信号が加算されて蓄積される。その後、信号線２０２、読出し回路２０６、出力アンプ２０８を経て撮像素子６０６の外部に第２の画像データに相当する信号が出力される。
【００２９】
次に、図６を用いて３Ｄ強調処理、３Ｄ化処理について説明する。撮像信号処理回路６０８は３Ｄ強調回路６０８ａ、３Ｄ変換回路６０８ｂを備え、これらは切替スイッチ素子６０８ｃによって選択的に使用される。
２Ｄ駆動モードでの撮影の場合、切替スイッチ素子６０８ｃは第２接点８０２に切り替わり、３Ｄ変換回路６０８ｂに接続される。３Ｄ変換回路６０８ｂは、取得した２Ｄ画像データについて画像認識処理を実行し、主被写体と前景および背景の画像データに分離する。また、３Ｄ変換回路６０８ｂは第２メモリ６１６から距離ＬＭ、距離Ｌ１乃至Ｌｎを読出して、主被写体までの距離ＬＭと主被写体以外の前景および背景までの距離Ｌ１乃至Ｌｎとの差を算出する。算出結果に基づき、３Ｄ変換回路６０８ｂは、３Ｄ感が得られる視差となるように前景および背景のデータを移動させた２枚の画像を作成して画像データを出力する。
【００３０】
３Ｄ駆動モードの場合には、以下の２通りの処理が実行される。
十分に３Ｄ感が得られる条件下での撮影の場合、切替スイッチ素子６０８ｃは第３接点８０３に切り替わり、取得した画像データはそのまま出力されて後処理が行われ、立体視表示用の画像データが生成される。
【００３１】
また、十分に３Ｄ感が得られない条件下での撮影の場合（図１のＳ１０９参照）、切替スイッチ素子６０８ｃは第１接点８０１に切り替わって３Ｄ強調回路６０８ａに接続される。３Ｄ強調回路６０８ａは、取得した２枚の３Ｄ画像について画像認識処理を実行し、主被写体と前景および背景の画像データに分離する。また３Ｄ強調回路６０８ａは第２メモリ６１６から距離ＬＭ、距離Ｌ１乃至Ｌｎのデータを読出し、主被写体までの距離ＬＭと主被写体以外の前景および背景までの距離Ｌ１乃至Ｌｎとの差を算出する。３Ｄ強調回路６０８ａは、３Ｄ感が得られる視差となるようにそれぞれの画像の前景および背景のデータを移動させた２枚の画像を作成して画像データを出力する。
【００３２】
本実施形態によれば、各マイクロレンズに対して複数のＰＤを有する撮像素子を使用した撮像装置において、撮影シーンに応じて撮像素子の駆動制御および画像処理が行われる。つまり、撮影条件から３Ｄ撮影に適しているか否かが判定され、３Ｄ撮影に適した条件下では３Ｄ駆動モードでの撮影動作が行われ、また、３Ｄ撮影に適さない条件下では２Ｄ駆動モードでの撮影が行われる。これにより、多くのシーンで高画質な３Ｄ画像を取得でき、ユーザは３Ｄ撮影可能なシーンの選択についての判断に煩わされないので、利便性が向上する。
【符号の説明】
【００３３】
２０１  画素回路
３０１ａ−ｄ  フォトダイオード
５０２  マイクロレンズ
６０１  レンズ部
６０２  レンズ駆動部
６０４  シャッタ・絞り駆動部
６０５  絞り
６０６  撮像素子
６０８  撮像信号処理回路
６１１  全体制御演算部
【図１】
0005911291.tif 000002
【図２】
0005911291.tif 000003
【図３】
0005911291.tif 000004
【図４】
0005911291.tif 000005
【図５】
0005911291.tif 000006
【図６】
0005911291.tif 000007
【図７】
0005911291.tif 000008