(57)【要約】【課題】立体視表示から２次元画像表示へと円滑に切り替え可能な撮像装置およびその制御方法を提供すること。【解決手段】撮像装置は、各画素部を構成するマイクロレンズに対して複数のフォトダイオードを配置した構成の撮像素子１０５を備える。第１ＰＤ選択合成部１０６は、複数のフォトダイオードの出力を選択して合成する右目用選択合成モードおよび左目用選択合成モードと、２Ｄ表示制御において設定される非選択合成モードを有する。ＣＰＵ１０９はカメラ操作またはカメラ状態に応じて、３Ｄ表示制御、２Ｄ表示切替えの準備処理、２Ｄ表示制御のうち、いずれを行うべきかを判定する。ＣＰＵ１０９は、３Ｄ表示から２Ｄ表示へ移行させる準備処理にて右目用画像データまたは左目用画像データから２次元表示用画像データを生成し、２Ｄ表示へ切替える際に当該画像データの表示制御を行うとともに、後続の画像データの生成処理を制御する。【選択図】  図１
2013207678.tif 000002
【特許請求の範囲】
【請求項１】
各マイクロレンズに対して撮像光学系の射出瞳の異なる領域を通過した光束を受光して光電変換する複数の光電変換部を撮像素子が有し、該撮像素子により取得した画像データの表示制御を行う撮像装置であって、
前記複数の光電変換部から選択した得た信号により右目用画像データおよび左目用画像データをそれぞれ生成する処理と、前記複数の光電変換部の出力する信号から２次元表示用の第１画像データを生成する処理を行うデータ処理手段と、
前記右目用画像データおよび左目用画像データを用いる立体視表示制御と、前記第１画像データを用いる２次元表示制御を行う制御手段を備え、
前記制御手段は、前記立体視表示制御を行うか、または前記立体視表示制御から前記２次元表示制御へ移行させる準備処理を行うか、または前記２次元表示制御を行うかを判定し、前記立体視表示制御から前記２次元表示制御へ移行させる準備処理にて前記右目用画像データまたは前記左目用画像データから２次元表示用の第２画像データを生成し、前記２次元表示制御へ切替える際に、前記第２画像データの表示制御を行うとともに前記データ処理手段による前記第１画像データの生成処理を制御することを特徴とする撮像装置。
【請求項２】
前記データ処理手段は、前記複数の光電変換部の出力から前記右目用画像データに係る信号を選択して合成する第１モードと、前記複数の光電変換部の出力から前記左目用画像データに係る信号を選択して合成する第２モードと、前記複数の光電変換部の出力を全て取得する第３モードを有する第１の選択合成手段を備え、
前記制御手段は、前記立体視表示制御から前記２次元表示制御へ移行させる準備処理にて、前記第１の選択合成手段を前記第１モードに設定して取得した前記右目用画像データ、または前記第１の選択合成手段を前記第２モードに設定して取得した前記左目用画像データから前記第２画像データを生成する処理を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第３モードに設定された前記第１の選択合成手段が出力した画像データを記憶する記憶手段を備え、
前記データ処理手段は、前記記憶手段に記憶された画像データから前記右目用画像データの生成に用いるデータを選択して合成するモードと、前記記憶手段に記憶された画像データから前記左目用画像データの生成に用いるデータを選択して合成するモードを有する第２の選択合成手段を備えることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像装置への操作指示に用いる接触検出手段を備え、
前記制御手段は、前記接触検出手段からの信号により、検出対象の接近状態を判定して前記立体視表示制御から前記２次元表示制御へ移行させる準備処理を行うことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記接触検出手段からの信号により、検出対象の接触状態を判定して前記２次元表示制御を行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記撮像装置の設定操作を行う際に用いる操作部材を備え、
前記制御手段は、前記操作部材による操作信号を取得した場合に前記２次元表示制御を行うことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
各マイクロレンズに対して撮像光学系の射出瞳の異なる領域を通過した光束を受光して光電変換する複数の光電変換部を撮像素子が有し、該撮像素子により取得した画像データの表示制御を行う撮像装置にて実行される制御方法であって、
立体視表示制御を行うか、または２次元表示制御を行うか、または前記立体視表示制御から前記２次元表示制御へ移行させる準備処理を行うか、を判定する判定ステップと、
前記判定ステップにて前記立体視表示制御を行うことが判定された場合、前記複数の光電変換部から選択して取得した信号により右目用画像データおよび左目用画像データを生成して表示制御を行うステップと、
前記判定ステップにて前記２次元表示制御を行うことが判定された場合、前記複数の光電変換部の出力する信号から２次元表示用の第１画像データを生成して表示制御を行うステップと、
前記判定ステップにて前記立体視表示制御から前記２次元表示制御へ移行させる準備処理を行うことが判定された場合、前記右目用画像データまたは前記左目用画像データから２次元表示用の第２画像データを生成し、前記２次元表示制御へ切替える際に、前記第２画像データの表示制御を行うとともに前記第１画像データの生成処理を行うステップを有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各マイクロレンズに対して複数の受光素子を配置した構成の撮像素子を有する撮像装置およびその制御方法に関するものである。
【背景技術】
【０００２】
従来、３Ｄ（３次元）表示あるいは立体視表示用の画像撮影が可能なステレオカメラが提案されている。特許文献１に開示の装置では、２つの光学手段と２つの撮像素子を使用し、左目用画像と右目用画像からなるステレオ画像のデータを取得する。特許文献２では、１つの光学手段を使用し、左目用画像と右目用画像のデータを取得する方法が開示されている。また、固体撮像素子において、１つの画素部を構成する、マイクロレンズおよび分割された複数のフォトダイオードを有する構成が知られている。各フォトダイオードが異なる瞳面の光を受光することを利用して、ステレオ画像データを取得できる。
【０００３】
一方、撮像素子から取り込んだ画像データの３Ｄ表示を行いつつ（ライブビュー）、ユーザが所定のカメラ操作を行うか、または所定のカメラ状態への移行をトリガにして３Ｄ表示から２Ｄ表示に切り替えるデジタルカメラが知られている。特に、タッチパネル操作の前後や、所定の設定状態の開始前後等においては、３Ｄ表示と２Ｄ表示の切り替えを可能にすることでユーザ操作の利便性が向上する。その際、ユーザにストレスを感じさせずに、３Ｄ表示と２Ｄ表示の切り替えを円滑に行うことが重要となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０１−２０２９８５号公報
【特許文献２】特開昭５８−２４１０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、１つの画素部に配置するフォトダイオードの数が増加するにつれて、撮像素子から読み出すデータ量は増加するため、それに伴い処理時間が長くなる。よって、３Ｄ表示用の画像撮影と２Ｄ表示用の画像撮影を順次に切り替える場合、円滑な表示切り替えが困難になる。そこで、ユーザが快適に表示を切り替えて画像を確認できるようにすることが求められる。
本発明の目的は、立体視表示から２次元画像表示へと円滑に切り替え可能な撮像装置およびその制御方法を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る装置は、各マイクロレンズに対して撮像光学系の射出瞳の異なる領域を通過した光束を受光して光電変換する複数の光電変換部を撮像素子が有し、該撮像素子により取得した画像データの表示制御を行う撮像装置であって、前記複数の光電変換部から選択した得た信号により右目用画像データおよび左目用画像データをそれぞれ生成する処理と、前記複数の光電変換部の出力する信号から２次元表示用の第１画像データを生成する処理を行うデータ処理手段と、前記右目用画像データおよび左目用画像データを用いる立体視表示制御と、前記第１画像データを用いる２次元表示制御を行う制御手段を備える。前記制御手段は、前記立体視表示制御を行うか、または前記立体視表示制御から前記２次元表示制御へ移行させる準備処理を行うか、または前記２次元表示制御を行うかを判定し、前記立体視表示制御から前記２次元表示制御へ移行させる準備処理にて前記右目用画像データまたは前記左目用画像データから２次元表示用の第２画像データを生成し、前記２次元表示制御へ切替える際に、前記第２画像データの表示制御を行うとともに前記データ処理手段による前記第１画像データの生成処理を制御する。
【発明の効果】
【０００７】
本発明によれば、立体視表示から２次元画像表示へ円滑に切り替えることができる。
【図面の簡単な説明】
【０００８】
【図１】図２ないし図８と併せて本発明の実施形態を説明するために、撮像装置の構成例を示す図である。
【図２】撮像素子の構成例を概略的に示す図である。
【図３】撮像素子の画素アレイを概略的に示す図である。
【図４】物体の結像関係を模式的に示す図である。
【図５】立体視表示および２次元表示の切替え制御処理例を示すフローチャートである。
【図６】表示切替え状態の判定処理例を示すフローチャートである。
【図７】図８とともに表示制御処理例を示すフローチャートである。
【図８】図７に続く処理例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本発明の実施形態を添付図面に基づいて詳細に説明する。なお、３次元表示あるいは立体視表示を３Ｄ表示と略記し、２次元表示を２Ｄ表示と略記する。
図１は、本発明の実施形態に係る撮像装置の概略構成図である。本実施形態の撮像装置は、例えば、デジタルカメラである。装置本体１００はレンズ部を備えるか、または着脱可能なレンズ装置が取り付けられる。
【００１０】
ＣＰＵ（Central Processing Unit）１０９は撮像装置全体を制御する。電源１１０は、装置本体１００内の各回路に電源を供給する。カードスロット１２１には、着脱可能な記録媒体であるメモリカード１２２を差し込むことができる。メモリカード１２２をカードスロット１２１に差し込んだ状態で、メモリカード１２２はカード入出力部１２０と電気的に接続される。なお、本実施形態では記録媒体としてメモリカード１２２を採用しているが、その他の記録媒体、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、その他の固体メモリを採用してもよい。
【００１１】
レンズ部を構成するレンズ群のうち、図１にはレンズ１０１，１０２だけを示す。レンズ１０２はフォーカスレンズであり、光軸に沿う方向に進退して焦点調節を行う。レンズ群を介して入射する光に対して、絞り１０３は撮像素子１０５への光量を調節する。レンズ１０１、フォーカスレンズ１０２および絞り１０３は、撮像光学系を構成する。撮像素子１０５、映像信号処理部１０７、フレームメモリ１０８は、光電変換系を構成する。この光電変換系は、撮像光学系が形成した被写体像をデジタル画像信号や画像データに変換する。
【００１２】
撮像素子１０５は、撮像光学系が形成した被写体像を光電変換し、画像信号を出力する光電変換手段として機能する。撮像素子１０５は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いた撮像素子である。撮像素子１０５は電子シャッタ機能を有し、露光時間を調整することができる。または、電子シャッタ機能に代えて、機械式シャッタで露光時間を調整する構成でも構わない。撮像素子１０５は各マイクロレンズに対して複数のフォトダイオード（以下、ＰＤと略記する）を配置した構成を有する。第１ＰＤ選択合成部１０６は、複数のＰＤの出力から必要な画像信号を選択する機能と、選択したＰＤによる画像信号を合成して出力する機能を有する。なお、第１ＰＤ選択合成部１０６は撮像素子１０５の外部に設けてもよい。
【００１３】
図２は、本実施形態の撮像装置に適用した撮像素子の構成例を概略的に示す図である。図２（Ａ）は、撮像素子の全体構成を示す。撮像素子１０５は、画素アレイ３０１と、画素アレイ３０１における行を選択する垂直選択回路３０２と、画素アレイ３０１における列を選択する水平選択回路３０４を含む。読み出し回路３０３は、画素アレイ３０１中の画素部のうち垂直選択回路３０２によって選択される画素部の信号を読み出す。読み出し回路３０３は、信号を蓄積するメモリ、ゲインアンプ、Ａ（Analog）／Ｄ（Digital）変換器等を列毎に有する。
【００１４】
シリアルインタフェース（ＳＩ）部３０５は、各回路の動作モード等を、ＣＰＵ１０９からの指示に従って決定する。垂直選択回路３０２は、画素アレイ３０１の複数の行を順次選択し、読み出し回路３０３に画素信号を取り出す。また水平選択回路３０４は、読み出し回路３０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１０５には、図２（Ａ）に示す構成要素以外に、例えば、垂直選択回路３０２、水平選択回路３０４、読み出し回路３０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。
【００１５】
図２（Ｂ）は、撮像素子１０５の画素部の構成例を示す。図２（Ｂ）に示す画素部４００は、光学素子としてのマイクロレンズ４０１と、受光素子としての複数のＰＤ４０２ａ乃至４０２ｉを有する。これらのＰＤは受光した光束を光電変換して画像信号を生成する光電変換部として機能する。なお、図２（Ｂ）に示す例では、１つの画素部が備えるＰＤの数を９個とするが、ＰＤの数は２個以上の任意の数でよい。また、画素部４００は図示の構成要素以外にも、例えば、ＰＤの信号を読み出し回路３０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチ等を備える。
【００１６】
図３は画素アレイを例示する図である。画素アレイ３０１は、２次元画像を提供するため、水平方向にＮ個、垂直方向にＭ個の画素部４００を２次元アレイ状に配列して構成される。各画素部４００はカラーフィルタを有する。例えば、奇数行が、赤（Ｒ）と緑（Ｇ）のカラーフィルタの繰り返しであり、偶数行が、緑（Ｇ）と青（Ｂ）のカラーフィルタの繰り返しである。すなわち、画素アレイ３０１が備える複数の画素部は、予め決められた画素配列（この例ではベイヤー配列）に従って配置されている。
【００１７】
次に、図３に示す画素構成を有する撮像素子の受光について説明する。図４は撮影レンズの射出瞳から出た光束が撮像素子１０５に入射する様子を表した概念図である。画素アレイの断面５０１にて各画素アレイは、マイクロレンズ５０２、カラーフィルタ５０３、ＰＤ５０４および５０５を有する。ＰＤ５０４は図２（Ｂ）中のＰＤ４０２ａに相当する。また、ＰＤ５０５は図２（Ｂ）中のＰＤ４０２ｃに相当する。
【００１８】
図４には撮影レンズの射出瞳５０６と、マイクロレンズ５０２を有する画素部に対して、射出瞳５０６から出た光束の中心を光軸５０９で示す。射出瞳５０６から出た光は、光軸５０９を中心として撮像素子１０５に入射する。射出瞳５０６における一部領域５０７、５０８は、分割された異なる領域である。光線５１０、５１１は、一部領域５０７を通過する光のうちで最外周の光線である。光線５１２、５１３は、一部領域５０８を通過する光のうちで最外周の光線である。射出瞳５０６からの光束のうち、光軸５０９を境にして、図４の上側に示す光束はＰＤ５０５に入射し、下側の光束はＰＤ５０４に入射する。つまり、ＰＤ５０４とＰＤ５０５は、撮影レンズの射出瞳５０６に対する別の領域の光をそれぞれ受光するという特性を有する。この特性を生かして、撮像装置は、視差のある少なくとも２つの画像を取得することができる。例えば、撮像装置は、画素部内の領域において、複数の左側のＰＤから得られるデータを第１ラインとし、複数の右側のＰＤから得られるデータを第２ラインとして、２つの画像を取得することができる。そして、撮像装置は、この２つの画像を利用して位相差の検知を行って位相差ＡＦ（オートフォーカス）を実現することができる。さらに、撮像装置は、上記視差のある２つの画像を左目用画像および右目用画像としてステレオ画像のデータ生成処理を実行し、ステレオ表示装置上に立体感のある画像を表示することができる。
【００１９】
図１に戻って説明を続けると、第１ＰＤ選択合成部１０６は、図２（Ａ）を参照して説明した垂直選択回路３０２、読み出し回路３０３、水平選択回路３０４、ＳＩ部３０５を備える。第１ＰＤ選択合成部１０６は、ＣＰＵ１０９が設定する動作モードに従って動作する。この動作モードは、撮像装置において開始が検知された撮影の種別に応じて設定され、静止画モードと、通常ライブビューモードと、ステレオライブビューモードを含む。静止画モードで第１ＰＤ選択合成部１０６は、全てのＰＤの出力を画像データとして映像信号処理部１０７に出力する。また通常ライブビューモードで第１ＰＤ選択合成部１０６は、画素内の全てのＰＤの出力に対して加算平均演算を行って、演算結果をその画素の出力値とする。ステレオライブビューモードの場合、第１ＰＤ選択合成部１０６は、図２（Ｂ）に示すＰＤ４０２ａ、４０２ｄ、４０２ｇの各出力に対応した加算平均値と、ＰＤ４０２ｃ、４０２ｆ、４０２ｉの出力に対応した加算平均値を算出する。これらの加算平均値は当該画素部の出力値となる。このように複数のＰＤの出力を加算合成し、これらの演算結果を１つの画素の出力とすることで、データ量を低減できる。
【００２０】
第１の選択合成処理を行う第１ＰＤ選択合成部１０６は後述の第２ＰＤ選択合成部１５１とともに主要なデータ処理を行う構成要素であり、右目用画像データおよび左目用画像データをそれぞれ生成する処理と、２次元表示用の画像データを生成する処理を行う。以下では、各選択合成部において、右目用画像データの生成に関連する第１モードを「右目選択合成モード」とし、左目用画像データの生成に関連する第２モードを「左目選択合成モード」とする。また、右目用画像または左目用画像に係るデータの選択合成処理に直接関与しない第３モードを「非選択合成モード」とする。第１ＰＤ選択合成部１０６は、右目選択合成モードにて各画素における複数の光電変換部の出力から右目用画像データに係る信号を選択して合成する。また第１ＰＤ選択合成部１０６は、左目選択合成モードにて各画素部における複数の光電変換部の出力から左目用画像データに係る信号を選択して合成する。非選択合成モードでは、第１ＰＤ選択合成部１０６は各画素部の複数の光電変換部の出力を全て取得して映像信号処理部１０７に送る。
【００２１】
ライブビューモードの場合、フレームレートを高くするために、撮像素子１０５から出力するデータ量の低減が更に要求される。そのため、第１ＰＤ選択合成部１０６は、最近接位置での同じカラーフィルタの画素について加算平均演算を行って出力値とする。本実施形態では、ライブビュー時に、水平方向にて同色の３画素の出力について平均し、垂直方向にて３画素毎に１画素を読み出す処理が実行される。これにより、データ量を９分の１に減らすことができる。その場合、使用する画素について図３を参照して具体的に説明する。ここで、図３にて第ｎ行第ｍ列目の画素部を「ｎ−ｍ画素部」と表記する。自然数変数ｎおよびｍの範囲はそれぞれ、Ｎ≧ｎ≧１，Ｍ≧ｍ≧１とする。
【００２２】
水平方向での３画素の出力に係る加算平均演算のために使用するのは、１行目の最初の赤色画素部、つまり１−１画素部、１−３画素部、１−５画素部の各出力である。前述のモードに応じて選択される各画素部の出力に対して、加算平均演算が行われて該当画素に対する値が算出される。次の赤色画素部である、１−７画素部，１−９画素部，１−１１画素部に対して同様に演算処理が実行される。１行目の最初の緑色画素部である、１−２画素部、１−４画素部、１−６画素部に対して同様に演算処理が実行される。垂直方向にて２画素分を間引く処理を行う場合、次の行は４行目となり、最初の緑色画素部である、４−１画素部、４−３画素部、４−５画素部に対して同様に演算処理が実行される。４行目の最初の青色画素部は４−２画素部、４−４画素部、４−６画素部であり、これらの画素に対して同様に演算処理が実行される。
【００２３】
図１の映像信号処理部１０７は、デジタル画像信号にシェーディング補正等のカメラで周知の画像信号処理を施す。映像信号処理部１０７は、撮像素子１０５の特性に起因する画像濃度の非線形性や光源に起因する画像色の偏りを補正する。フレームメモリ１０８は、撮像素子１０５と映像信号処理部１０７によって生成される画像データを一時記憶するバッファメモリとして機能する。フレームメモリ１０８に格納される画像データは補正処理等が施されているが、撮像素子１０５の各画素部に蓄積された電荷のエネルギーをそのままデジタルデータ化にしたものに相当する。以下では、フレームメモリ１０８に格納された画像データをＲＡＷデータと呼ぶ。特に、静止画モードの場合に第１ＰＤ選択合成部１０６で取得したＲＡＷデータを、全ＰＤ−ＲＡＷデータと呼ぶ。また、ステレオライブビューモードの場合に第１ＰＤ選択合成部１０６で取得したＲＡＷデータを、両目用ＲＡＷデータと呼ぶ。両目用ＲＡＷデータについては、フレームレートを高くするために、各画素部内でＰＤの出力に加算平均演算が施されている。一方、全ＰＤ−ＲＡＷデータについては、後工程で各種画像処理にて該データを扱うために、画像データとして極力詳細な情報を得ることを目的としている。そのため、全ＰＤ−ＲＡＷデータは選択処理や合成処理が行われずに、各画素部内の各ＰＤの出力情報に基づくデータが個別にフレームメモリ１０８に格納される。ＲＡＷデータの画像の画質に関するパラメータを撮像パラメータと呼び、絞り１０３の設定値であるＡｖ、シャッタ速度Ｔｖ、ＩＳＯ感度等を含む。
【００２４】
バス１５０には、ＣＰＵ１０９、電源１１０、不揮発性メモリ１１１、現像処理部１１２、ＲＡＭ（Random Access Memory）１１３、表示制御装置１１４、メインスイッチ１１６が接続される。ＣＰＵ１０９は撮像素子１０５の画像信号読み出しを制御し、撮像素子１０５からフレームメモリ１０８までの各部の動作タイミングを制御する。また、バス１５０には、ユーザがレリーズボタンにより操作するレリーズスイッチ１１７，１１８が接続されている。以下、第１レリーズスイッチ１１７を第１スイッチ、また第２レリーズスイッチ１１８を第２スイッチと略称する。第１スイッチ１１７の操作によって撮影準備動作が開始し、第２スイッチ１１８の操作により撮影動作が行われる。バス１５０に接続される操作部を構成する操作部材として、左選択ボタン１４０、右選択ボタン１４１、設定ボタン１４２、現像パラメータ変更ボタン１４３、ライブビュー開始／終了ボタン１４４、クイック設定ボタン１４５を例示する。バス１５０にはさらに、カード入出力部１２０、第２ＰＤ選択合成部１５１、タッチパネル検出部１１９、駆動部１６３が接続されている。タッチパネル検出部１１９はタッチパネルの接触検出および近接検出を行う。タッチパネルは表示部に設けられた接触式操作手段であり、ユーザが撮像装置への操作指示に用いる。また、駆動部１６３は撮像光学系のフォーカスレンズ１０２や絞り１０３等を駆動する。
【００２５】
不揮発性メモリ１１１は、メインスイッチ１１６の操作により電源１１０が投入された時にカメラに設定する初期カメラ設定値を記憶している。不揮発性メモリ１１１は、電源１１０が遮断された場合でも記録データが失われないように、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等で構成される。
【００２６】
第２ＰＤ選択合成部１５１は、画素選択合成パラメータの設定に基づいてフレームメモリ１０８上またはＲＡＭ１１３上にあるＲＡＷデータの選択合成に係るデータ処理を行い、処理結果の画像データをＲＡＭ１１３に格納する。画素選択合成パラメータとは、ＲＡＷデータに対してどのＰＤの出力を合成して１つの画素データとするかを決定するためのパラメータであり、第２ＰＤ選択合成部１５１の選択合成処理の内容を規定する情報である。第２ＰＤ選択合成部１５１は、右目選択合成モードと左目選択合成モードを有する。ＣＰＵ１０９が右目選択合成モードを設定した場合、第２ＰＤ選択合成部１５１は、全ＰＤ−ＲＡＷデータまたは両目用ＲＡＷデータから右目用ＲＡＷデータの取得に必要なＰＤの出力を選択して合成処理を行う。またＣＰＵ１０９が左目選択合成モードを設定した場合、第２ＰＤ選択合成部１５１は、全ＰＤ−ＲＡＷデータまたは両目用ＲＡＷデータから左目用ＲＡＷデータの取得に必要なＰＤの出力を選択して合成処理を行う。本実施形態では、ＲＡＷデータについて、フレームメモリ１０８またはＲＡＭ１１３を経由して第２ＰＤ選択合成部１５１や現像処理部１１２へ入力しているが、映像信号処理部１０７よりＲＡＷデータを直接入力しても構わない。
【００２７】
現像処理部１１２は、ＣＰＵ１０９が読み出した、フレームメモリ１０８上またはＲＡＭ１１３上にある画素毎に合成されたＲＡＷデータに対して、現像パラメータ設定に基づいて画像処理を施す。現像パラメータとは、デジタル画像データの画質に関するパラメータであり、デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度、画像圧縮等に関するパラメータを含む。以下では、１つ以上の現像パラメータを用いてデジタル画像データの画質を調整または変更する処理を現像処理と呼ぶ。現像処理を施された各画像データは、例えば、ＹＵＶ４２２形式やＹＵＶ４１１形式の画像データとして、ＲＡＭ１１３に格納される。また、圧縮処理を含む現像処理が施された画像データは、例えば、ＪＰＥＧ形式の画像データとしてＲＡＭ１１３に格納される。ＪＰＥＧは“Joint Photographic Experts Group”の略号である。ＲＡＭ１１３は、現像処理結果である画像データの他、ＣＰＵ１０９が各種処理を行う際に使用するデータを一時的に記憶する。
【００２８】
表示制御装置１１４は、液晶表示素子のＴＦＴ（薄膜トランジスタ）１１５を駆動し、撮像装置本体に搭載した表示部を制御する。また、表示制御装置１１４はＲＡＭ１１３に表示用の画像フォーマットで配置された画像データを、ビデオ出力端子１３２、Ｄ端子１３３、ＨＤＭＩ端子１３４等を介して外部表示装置へ出力する。表示用の画像データが配置されるＲＡＭ１１３をＶＲＡＭと呼ぶ。本実施形態に使用する表示装置はステレオ表示が可能である。ステレオ表示を行うために、ＶＲＡＭは、右目画像用ＶＲＡＭと左目画像用ＶＲＡＭを含む。表示画面上に、右目画像用ＶＲＡＭによる右目用画像データと、左目画像用ＶＲＡＭによる左目用画像データを配置することで、ステレオ表示が行われる。
【００２９】
ＵＳＢ制御装置１２７は、ＵＳＢ端子１２８を介して、撮像装置と外部装置との間の通信を制御する。ＬＡＮ制御装置１２９は、有線ＬＡＮ端子１３０または無線ＬＡＮインタフェース部１３１を介して、撮像装置と外部装置との間の通信を制御する。
【００３０】
次に撮像装置の動作を説明する。
ユーザがメインスイッチ１１６をオン状態にすると、ＣＰＵ１０９は所定のプログラムを実行する。またメインスイッチ１１６をオフ状態にすると、ＣＰＵ１０９が所定のプログラムを実行し、カメラをスタンバイモードに設定する。レリーズボタンの操作によって、第１スイッチ１１７は第１ストローク（半押し状態）でオン状態になり、第２スイッチ１１８はレリーズボタンの第２ストローク（全押し状態）でオン状態となる。第１スイッチ１１７がオン状態となった場合、ＣＰＵ１０９は撮影準備処理（焦点検出処理等を含む）を実行する。第２スイッチ１１８がオン状態となった場合、ＣＰＵ１０９は撮影開始の指示を検知し、撮影動作を実行する。
【００３１】
また、ＣＰＵ１０９は左選択ボタン１４０、右選択ボタン１４１、設定ボタン１４２の操作状態と、デジタルカメラの動作状態に応じた制御を行う。例えば、デジタルカメラの動作状態が再生状態であれば、左選択ボタン１４０で前の画像データを表示し、右選択ボタン１４１で次の画像データを表示する制御が行われる。またユーザは、現像パラメータの設定について、現像パラメータ変更ボタン１４３またはクイック設定ボタン１４５を使用した設定変更操作により、グラフィカルユーザインタフェースで確認および設定を行える。また、ＣＰＵ１０９はライブビュー開始／終了ボタン１４４の操作を受け付けて、定期的（例えば、１秒に３０回）に撮像素子１０５からＲＡＷデータの取り込み処理を行い、現像処理されたデータをＶＲＡＭへ配置させる。これにより、撮像素子１０５から取り込んだ画像がリアルタイムに表示される。ライブビューの動作中にユーザがライブビュー開始／終了ボタン１４４を操作すると、ライブビューが終了する。
【００３２】
再生状態、メニュー状態、ライブビュー状態では、操作部材による操作信号に加えて、タッチパネル検出部１１９による近接検出情報及び接触検出情報をＣＰＵ１０９が解析する。これにより、ユーザはタッチパネルを用いて撮像装置への操作指示を行える。
【００３３】
次に本実施形態における表示切替え制御について説明する。図５は、ライブビューにおける立体視表示制御および２次元表示制御の切替え処理を例示するフローチャートである。
Ｓ１００の表示切替え状態判定処理では、表示切替え状態が判定される。判定処理はＣＰＵ１０９がプログラムを実行することで実現され、その処理の詳細については図６で説明する。次に表示切替え状態が、２Ｄ表示切替え準備操作前状態（以下、単に準備操作前状態という）であるか否かついて判定される（Ｓ１０１）。この準備操作前状態とは、２次元画像の表示状態への切替え準備操作が行われる前の状態である。表示切替え状態が準備操作前状態であると判定された場合、Ｓ１０４に処理を進め、準備操作前状態でないと判定された場合、Ｓ１０２に処理を進める。Ｓ１０４では３Ｄ表示制御が行われる。３Ｄ表示制御はＣＰＵ１０９およびプログラムを用いた可変表示制御手段により行われ、その詳細については図７にて説明する。
【００３４】
Ｓ１０２では表示切替え状態が２Ｄ表示切替え準備操作後状態（以下、単に準備操作後状態という）であるか否かについて判定される。この準備操作後状態とは、２次元画像の表示状態への切替え準備操作が行われたと判定された状態である。表示切替え状態が準備操作後状態であると判定された場合、Ｓ１０５に処理を進め、準備操作後状態でないと判定された場合、Ｓ１０３に処理を進める。Ｓ１０５では、２Ｄ表示切替え前・３Ｄ表示用の表示制御が行われる。３Ｄ表示から２Ｄ表示への切替え準備処理では、２Ｄ表示用の第１画像データの生成処理前に２Ｄ表示させる第２画像データが生成される。その詳細については図７にて説明する。
【００３５】
Ｓ１０３では、表示切替え状態が２Ｄ表示切替え操作後状態（以下、切替え操作後状態という）であるか否かについて判定する（Ｓ１０３）。この切替え操作後状態とは、２次元画像の表示状態への切替え操作が行われたと判定された状態である。表示切替え状態が切替え操作後状態であると判定された場合、Ｓ１０６に処理を進め、切替え操作後状態でないと判定された場合、Ｓ１０７に処理を進める。
【００３６】
Ｓ１０６では２Ｄ表示用の表示制御が行われる。その詳細については図８にて説明する。Ｓ１０４、Ｓ１０５、Ｓ１０６の後、またはＳ１０３で切替え操作後状態でないと判定された場合、Ｓ１０７では電源スイッチ（図１のメインスイッチ１１６参照）の状態が判定される。電源スイッチがＯｎ状態の場合、Ｓ１００に戻り、また電源スイッチがＯｆｆ状態の場合、処理が終了する（Ｓ１０８）。
【００３７】
次に図６のフローチャートを参照して、表示切替え状態判定処理について説明する。本処理はＣＰＵ１０９およびプログラムを用いた表示切替え状態判定手段により実行される。
まずＳ２００でＣＰＵ１０９はタッチパネル検出部１１９からの検出信号を受信し、タッチパネル近接検出状態であるか否かを判定する。タッチパネル近接検出状態とは、手指やスタイラス等の検出対象がタッチパネルに接触した接触状態ではなく、所定の距離を置いた接近状態を意味する。検出対象とタッチパネルとの距離が閾値に到達してタッチパネル近接検出状態が判定された場合、Ｓ２０３に処理を進め、またタッチパネル近接検出状態でないと判定された場合、Ｓ２０１に処理を進める。Ｓ２０３にて、表示切替え状態が準備操作後状態に設定され、リターン処理に進む（Ｓ２０６）。
【００３８】
Ｓ２０１でＣＰＵ１０９はタッチパネル検出部１１９からの検出信号を受信し、タッチパネル接触検出状態であるか否かを判定する（Ｓ２０１）。タッチパネル接触検出状態とは、タッチパネルに指やスタイラス等が接触したことが検出された状態である。判定結果がタッチパネル接触検出状態の場合、Ｓ２０４に処理を進め、タッチパネル接触検出状態でないと判定された場合、Ｓ２０２に処理を進める。Ｓ２０４では、表示切替え状態が切替え操作後状態に設定され、Ｓ２０６に進む。
【００３９】
Ｓ２０２でＣＰＵ１０９は、現時点のモードが各種設定モードであるか否かを判定する。各種設定モードには、装置に設けられた操作部材（図１のクイック設定ボタン１４５等）を用いてユーザが所望の設定操作や変更操作を行うモードが含まれる。操作部材の操作により操作信号を受け付けたＣＰＵ１０９は、現時点のモードが各種設定モードであると判定した場合、Ｓ２０４に処理を進め、表示切替え状態を切替え操作後状態に設定する。一方、ＣＰＵ１０９は現時点のモードが各種設定モードでないと判定した場合、表示切替え状態を準備操作前状態に設定し（Ｓ２０５）、リターン処理に進む（Ｓ２０６）。
【００４０】
次に図７および図８のフローチャートを参照して、図５のＳ１０４からＳ１０６の表示制御を説明する。本処理はＣＰＵ１０９およびプログラムを用いた可変表示制御手段により実行される。図７は図５のＳ１０４およびＳ１０５の表示制御を例示し、図８は図５のＳ１０６の表示制御を例示する。
【００４１】
図７のＳ３００では現時点での表示形態が３Ｄ表示であるか否かについて判定される。判定結果が３Ｄ表示である場合、Ｓ３０１に処理を進め、判定結果が３Ｄ表示でない場合、Ｓ３０７に処理を進める。
Ｓ３０１からＳ３０６にかけて３Ｄ表示制御が行われる。
【００４２】
第１ＰＤ選択合成部１０６は右目選択合成モードに設定される（Ｓ３０１）。右目選択合成モードでは、右目用画像データを生成するために、第１ＰＤ選択合成部１０６が各画素部から選択した複数のＰＤ（図３（Ａ）のＰＤ４０２ａ，４０２ｄ，４０２ｇ参照）の出力に対して加算平均演算を行い、各画素部の出力値とする。次にライブビュー用の撮像パラメータで撮影動作が開始し、フレームメモリ１０８は、映像信号処理部１０７から取得した右目用ＲＡＷデータを記憶する。表示用の現像パラメータを用いて現像処理部１１２が現像処理を行い、右目用画像データを生成する（Ｓ３０２）。現像された右目用画像データは右目用ＶＲＡＭへ配置される（Ｓ３０３）。
【００４３】
次に第１ＰＤ選択合成部１０６は左目選択合成モードに設定される（Ｓ３０４）。左目選択合成モードでは、左目用画像データを生成するために、第１ＰＤ選択合成部１０６が各画素部から選択した複数のＰＤ（図３（Ａ）のＰＤ４０２ｃ，４０２ｆ，４０２ｉ参照）の出力に対して加算平均演算を行い、各画素部の出力値とする。次にライブビュー用の撮像パラメータで撮影動作が開始し、フレームメモリ１０８は、映像信号処理部１０７から取得した左目用ＲＡＷデータを記憶する。表示用の現像パラメータを用いて現像処理部１１２が現像処理を行い、左目用画像データを生成する（Ｓ３０５）。現像された左目用画像データは左目用ＶＲＡＭへ配置され（Ｓ３０６）、リターン処理に進む（Ｓ３２２）。３Ｄ表示制御では、現像処理により右目用画像データおよび左目用画像データがそれぞれ生成されて立体視表示が行われる。
【００４４】
Ｓ３０７では、現時点での表示形態が２Ｄ表示切替え前の３Ｄ表示であるか否かについて判定される。判定結果が２Ｄ表示切替え前の３Ｄ表示である場合、Ｓ３０８に処理を進めるが、そうでない場合には、図８のＳ３１５に処理を進める。
【００４５】
Ｓ３０８からＳ３１４に示す表示制御は、３Ｄ表示から２Ｄ表示へ切替える際の準備期間に行われる。Ｓ３０８からＳ３１０の処理はＳ３０１からＳ３０３の処理と同様である。第１ＰＤ選択合成部１０６は右目選択合成モードに設定され（Ｓ３０８）、ライブビュー用の撮像パラメータで撮影動作が開始し、表示用の現像パラメータを用いて現像処理部１１２が右目用画像データを生成する（Ｓ３０９）。現像された右目用画像データは右目用ＶＲＡＭへ配置される（Ｓ３１０）。
【００４６】
Ｓ３１１からＳ３１３の処理はＳ３０４からＳ３０６の処理と同様である。第１ＰＤ選択合成部１０６は左目選択合成モードに設定され（Ｓ３１１）、ライブビュー用の撮像パラメータで撮影動作が開始し、表示用の現像パラメータを用いて現像処理部１１２が左目用画像データを生成する（Ｓ３１２）。現像された左目用画像データは左目用ＶＲＡＭへ配置される（Ｓ３１３）。
【００４７】
Ｓ３１４では、右目用画像データまたは左目用画像データを用いて２Ｄ表示用画像データ（第２画像データ）が生成される。つまり、それぞれのＶＲＡＭに配置された右目用画像データまたは左目用画像データを表示用途に合わせてそのまま使用して２Ｄ表示用画像データとする処理、あるいはこれに所定の画像処理を施したデータを２Ｄ表示用画像データとする処理が行われる。生成された画像データは、拡張２Ｄ用ＶＲＡＭデータとしてＲＡＭ１１３へ一時的に記憶され、Ｓ３２２に進む。２Ｄ表示切替え前の３Ｄ表示では、現像処理により右目用画像データおよび左目用画像データがそれぞれ生成されて立体視表示が行われるとともに、右目用画像データまたは左目用画像データを用いた２Ｄ表示用画像データの生成処理が行われる。
【００４８】
図８のＳ３１５では、現時点での表示形態が２Ｄ表示であるか否かについて判定される。判定結果が２Ｄ表示である場合、Ｓ３１６へ処理を進め、２Ｄ表示でない場合、リターン処理に進む（Ｓ３２２）。
Ｓ３１６からＳ３２１では２Ｄ表示制御が行われる。
【００４９】
第１選択合成部１０６が非選択合成モードに設定されているか否かについて判定される（Ｓ３１６）。通常ライブビューモード等において撮像装置が２Ｄ表示を行っている状態では、第１選択合成部１０６が非選択合成モードになっている。その場合、第１ＰＤ選択合成部１０６は非選択合成モードに設定されたままである（Ｓ３１７）。また、非選択合成モード以外の設定モードの場合には、Ｓ３１７で第１ＰＤ選択合成部１０６が非選択合成モードに設定される。
【００５０】
次にライブビュー用の撮像パラメータで撮影動作が開始し、フレームメモリ１０８上に全ＰＤ−ＲＡＷデータが取得され（Ｓ３１８）、ＲＡＷ画像用の現像パラメータを用いて現像処理部１１２が現像処理を行って２Ｄ表示用画像データを生成する。現像された２Ｄ表示用画像データは２Ｄ用ＶＲＡＭへ配置され（Ｓ３１９）、リターン処理に進む（Ｓ３２２）。
【００５１】
一方、Ｓ３１６の判定処理で非選択合成モードでないことが判定された場合、拡張２Ｄ用ＶＲＡＭデータ（図７のＳ３１４参照）が生成済みであるか否かについて判定される（Ｓ３２０）。拡張２Ｄ用ＶＲＡＭデータが生成済みである場合、該データをＲＡＭ１１３から取得して２Ｄ用ＶＲＡＭへ配置する処理が実行され（Ｓ３２１）、即座に２Ｄ表示が行われる。その後、Ｓ３１７からＳ３１９の処理が行われる。すなわち、Ｓ３２１にて拡張２Ｄ用ＶＲＡＭデータを用いて表示画面上に画像を表示させ、その間にバックグラウンド処理で２Ｄ表示用に後続の画像データ（第１画像データ）を生成することができる。
【００５２】
以上のように、本実施形態によれば、３Ｄ表示状態から２Ｄ表示状態への移行期間に、２Ｄ表示切替え前の３Ｄ表示状態を設け、この状態で２Ｄ表示の準備処理を行うことにより、３Ｄ表示から２Ｄ表示への切替えが速やかに行われる。よって、ユーザは切替えの待ち時間によるストレスを感じることなく、３Ｄ表示から２Ｄ表示へと円滑に切り替えて表示画像を視認できる。
【００５３】
なお、前記実施形態では、第１の選択合成処理を行う第１ＰＤ選択合成部１０６と、第２の選択合成処理を行う第２ＰＤ選択合成部１５１により実現される画像データ処理を例示した。本構成により、第１ＰＤ選択合成部１０６の出力する画像データを記憶手段に一旦格納しておいた後で、第２ＰＤ選択合成部１５１によりステレオ画像データを生成することができる。これに限らず、第１および第２の選択合成処理を１つのデータ処理手段で行う実施形態や、設定モード毎に処理を行う複数のデータ処理手段を備えた実施形態でもよい。
【００５４】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５５】
１０５  撮像素子
１０６  第１ＰＤ選択合成部
１０９  ＣＰＵ
１１４  表示制御装置
１１９  タッチパネル検出部
１５１  第２ＰＤ選択合成部
４０１  マイクロレンズ
４０２ａ〜ｉ  フォトダイオード
【図１】
2013207678.tif 000003
【図２】
2013207678.tif 000004
【図３】
2013207678.tif 000005
【図４】
2013207678.tif 000006
【図５】
2013207678.tif 000007
【図６】
2013207678.tif 000008
【図７】
2013207678.tif 000009
【図８】
2013207678.tif 000010