(57)【要約】【課題】立体映像の表示中に平面画像を重畳して表示する場合に、鑑賞者の目の疲労感を軽減すること。【解決手段】撮像装置の撮像素子１０５は、各マイクロレンズに対して複数のフォトダイオードを備える。ＰＤ選択合成部１０６は、動作モードに応じてフォトダイオードを選択し、左目用画像データと右目用画像データを生成して、映像信号処理部１０７に出力する。処理済みデータはフレームメモリ１０８に一旦格納された後、表示制御部１１４を介して表示部１１５に送られる。ＬＶ表示制御部１５１は、立体映像のライブビュー表示中に平面画像を重畳して表示する場合、フォトダイオードの選択方式を切り替えて、２次元表示でライブビュー用画像を表示部１１５に出力する制御を行う。【選択図】  図１
2014146962.tif 000002
【特許請求の範囲】
【請求項１】
各マイクロレンズに対して撮像光学系の射出瞳の異なる領域をそれぞれ通過した光束を受光して光電変換する複数の光電変換部を撮像素子が備え、該撮像素子により取得した画像データを表示手段に表示しながら撮影動作を行える撮像装置であって、
前記撮像素子が出力した画素信号から、右目用画像データおよび左目用画像データと、２次元表示用の画像データを生成するデータ処理手段と、
撮影画像の立体視表示を行う場合に前記データ処理手段から前記右目用画像データおよび左目用画像データを取得して前記表示手段に出力し、撮影画像の２次元表示を行う場合に前記データ処理手段から前記２次元表示用の撮影画像の画像データを取得して前記表示手段に出力する制御を行う表示制御手段を備え、
前記表示制御手段は、前記表示手段が撮影画像の立体視表示を行っている状態で前記撮影画像と平面画像を表示させる場合、前記２次元表示用の撮影画像の画像データを取得し、前記平面画像を前記撮影画像に重畳して表示させる制御を行うことを特徴とする撮像装置。
【請求項２】
前記データ処理手段は、前記複数の光電変換部の出力から選択した画素信号を合成して前記右目用画像データおよび左目用画像データを出力する処理と、前記複数の光電変換部の出力から前記２次元表示用の撮影画像の画像データを生成する処理を行う選択合成手段を備え、
前記選択合成手段は、撮影画像の立体視表示を行う場合に前記右目用画像データおよび左目用画像データを前記表示制御手段に出力し、撮影画像の２次元表示を行う場合に前記２次元表示用の撮影画像の画像データを前記表示制御手段に出力し、
前記表示制御手段は前記表示手段に前記平面画像を表示する場合、前記平面画像を前記２次元表示用の撮影画像に重畳して表示させる制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記選択合成手段は、前記複数の光電変換部の出力から選択した画素信号を合成して前記右目用画像データを生成する右目用の選択合成モードと、前記複数の光電変換部の出力から選択した画素信号を合成して前記左目用画像データを生成する左目用の選択合成モードと、前記複数の光電変換部の出力を右目用および左目用に選択することなく画素信号を合成する非選択合成モードを有しており、
前記表示制御手段は、前記選択合成手段が前記右目用の選択合成モードで処理した前記右目用画像データと前記左目用の選択合成モードで処理した前記左目用画像データを対にして取得して前記表示手段で表示している状態から、前記選択合成手段が前記非選択合成モードで処理した画像データを取得して撮影画像に前記平面画像を重畳して表示させる状態へと切り替える制御を行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記表示制御手段は、前記平面画像として撮影条件を表す画像を、前記２次元表示用の撮影画像に重畳して前記表示手段に表示させる制御を行うことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
各マイクロレンズに対して撮像光学系の射出瞳の異なる領域をそれぞれ通過した光束を受光して光電変換する複数の光電変換部を撮像素子が備え、該撮像素子により取得した画像データを表示手段に表示しながら撮影動作を行える撮像装置にて実行される制御方法であって、
前記撮像素子が出力した画素信号から、右目用画像データおよび左目用画像データと、２次元表示用の画像データを生成するデータ処理ステップと、
撮影画像の立体視表示を行う場合に前記右目用画像データおよび左目用画像データを取得して前記表示手段に出力し、撮影画像の２次元表示を行う場合に前記２次元表示用の撮影画像の画像データを取得して前記表示手段に出力する制御を行う表示制御ステップを有し、
前記表示制御ステップでは、撮影画像の立体視表示を行っている状態で前記撮影画像と平面画像を前記表示手段に表示させる場合、前記２次元表示用の撮影画像の画像データを取得し、前記平面画像を前記撮影画像に重畳して表示させる制御を行うことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各マイクロレンズに複数のフォトダイオードを配置した構成の撮像素子を有する撮像装置およびその制御方法に関するものである。
【背景技術】
【０００２】
近年、３Ｄ（３次元）シネマや、３Ｄディスプレイ等、立体映像関連機器の普及が急速に進んでいる。立体映像の撮影は、従来、フイルムカメラ等でも行われてきたが、デジタルカメラやデジタルビデオカメラ等の普及に伴い、立体映像を生成するための元画像がデジタル撮像装置で撮影されるようになってきている。
【０００３】
立体映像を鑑賞する仕組みとしては、対象物を左目で見た像に対応する「左目用画像」と、右目で見た像に対応する「右目用画像」を表示するのが一般的である。視差バリア方式、レンチキュラ方式等では鑑賞対象の映像を視差分割する方法や、左右で特性の異なるフィルタを介して、左目と右目に異なる映像を入射させる方法等が知られている。
一方、立体映像として鑑賞できる画像の撮影方法として、異なる視点の画像を同時に撮影する方法がある。特許文献１に記載の固体撮像素子は、該素子上に形成した複数の微小レンズと、複数の微小レンズの各々に近接して配置した、対を成すフォトダイオードを備える。フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号を得て、他方のフォトダイオードの出力から第２の画像信号を得る。第１及び第２の画像信号をそれぞれ左目用画像、右目用画像の信号として用いることで、立体映像を鑑賞できる。
【０００４】
また、特許文献２には、撮像素子から取り込んだ画像をリアルタイムで表示するライブビュー表示の際、撮影条件の設定変更アイコンを重畳させて表示し、ユーザが設定変更の効果をリアルタイムに確認できるようにする技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開昭５８−２４１０５号公報
【特許文献２】特開２００１−２１１３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
立体映像は、左右方向に視差を持たせた画像を、鑑賞者がそれぞれに対応する目で見えるように表示すればよい。これは、背景技術で述べたいずれかの方式を用いて、左目用画像と右目用画像を用意することで実現できる。
【０００７】
しかしながら、立体映像の鑑賞では、平面画像の鑑賞時に比べて奥行き感が得られるので、鑑賞者が目に疲労感を抱く場合がある。例えば、立体映像としてライブビュー表示を行い、平面画像として撮影条件の設定変更アイコン等を重畳して表示する場合、立体映像と平面画像の奥行き感の違いから鑑賞者の目の疲労感がより大きくなる可能性がある。
本発明は、立体映像の表示中に平面画像を重畳して表示する場合に、鑑賞者の目の疲労感を軽減することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係る装置は、各マイクロレンズに対して撮像光学系の射出瞳の異なる領域をそれぞれ通過した光束を受光して光電変換する複数の光電変換部を撮像素子が備え、該撮像素子により取得した画像データを表示手段に表示しながら撮影動作を行える撮像装置であって、前記撮像素子が出力した画素信号から、右目用画像データおよび左目用画像データと、２次元表示用の画像データを生成するデータ処理手段と、撮影画像の立体視表示を行う場合に前記データ処理手段から前記右目用画像データおよび左目用画像データを取得して前記表示手段に出力し、撮影画像の２次元表示を行う場合に前記データ処理手段から前記２次元表示用の撮影画像の画像データを取得して前記表示手段に出力する制御を行う表示制御手段を備える。前記表示制御手段は、前記表示手段が撮影画像の立体視表示を行っている状態で前記撮影画像と平面画像を表示させる場合、前記２次元表示用の撮影画像の画像データを取得し、前記平面画像を前記撮影画像に重畳して表示させる制御を行う。
【発明の効果】
【０００９】
本発明によれば、立体映像の表示中に平面画像を重畳して表示する場合に、鑑賞者の目の疲労感を軽減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の構成例を示す図である。
【図２】本発明の実施形態に係る撮像素子の構成例を概略的に示す図である。
【図３】本発明の実施形態に係る撮像素子の画素アレイを概略的に示す図である。
【図４】撮影レンズの射出瞳からの光束が撮像素子に入射する様子を示す概念図である。
【図５】３Ｄライブビュー処理（Ａ）および２Ｄライブビュー処理（Ｂ）をそれぞれ説明するフローチャートである。
【図６】３Ｄおよび２Ｄ表示切り替え処理を説明するフローチャートである。
【図７】３Ｄおよび２Ｄ表示切り替え処理を説明する図である。
【発明を実施するための形態】
【００１１】
以下に、本発明の実施形態を添付図面に基づいて詳細に説明する。実施形態に係る撮像装置は、撮像データを処理して立体視表示用および２次元表示用の撮影画像データをそれぞれ生成して表示部の画面に表示することができる。以下、立体視表示を３Ｄ表示と略記し、２次元表示を２Ｄ表示と略記する。
図１は、本発明の実施形態に係る撮像装置の概略構成図である。本実施形態の撮像装置は、例えば、デジタルカメラである。装置本体１００はレンズ部を備えるか、または着脱可能なレンズ装置が取り付けられる。
【００１２】
ＣＰＵ（Central Processing Unit）１０９は撮像装置全体を制御する。電源１１０は、装置本体１００内の各回路に電源を供給する。カードスロット１２０には、着脱可能な記録媒体であるメモリカード１２１を差し込むことができる。メモリカード１２１をカードスロット１２０に差し込んだ状態で、メモリカード１２１はカード入出力部１１９と電気的に接続される。なお、本実施形態では記録媒体としてメモリカード１２１を採用しているが、その他の記録媒体、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、その他の固体メモリを採用してもよい。
【００１３】
レンズ部を構成するレンズ群のうち、図１にはレンズ１０１，１０２だけを示す。レンズ１０２はフォーカスレンズであり、光軸に沿う方向に進退して焦点調節を行う。レンズ群を介して入射する光に対して、絞り１０３は撮像素子１０５への光量を調節する。レンズ１０１、１０２および絞り１０３は、撮像光学系を構成する。撮像素子１０５、映像信号処理部１０７、フレームメモリ１０８は光電変換系を構成する。この光電変換系は、撮像光学系が形成した被写体像をデジタル画像信号や画像データに変換する。なお、撮像光学系のレンズ１０２や絞り１０３等の駆動部については図示および説明を省略する。
【００１４】
撮像素子１０５は撮像光学系が形成した被写体像を光電変換し、画像信号を出力する光電変換手段として機能する。撮像素子１０５には、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いる。撮像素子１０５は電子シャッタ機能を有し、露光時間を調整することができる。または、電子シャッタ機能に代えて、機械式シャッタで露光時間を調整する構成でも構わない。撮像素子１０５は各マイクロレンズに対して複数のフォトダイオード（以下、ＰＤと略記する）を配置した構成を有する。ＰＤ選択合成部１０６は撮像素子１０５の画素データ処理を行い、処理結果を映像信号処理部１０７に出力する。ＰＤ選択合成部１０６は、複数のＰＤの出力から必要な画像信号を選択する機能と、選択したＰＤによる画像信号を合成して出力する機能を有する。なお、図１ではＰＤ選択合成部１０６を撮像素子１０５内に設けているが、撮像素子１０５の外部に設けてもよい。
【００１５】
図２は、本実施形態の撮像装置に適用した撮像素子の構成例を概略的に示す図である。図２（Ａ）は、撮像素子１０５の全体構成を示す。撮像素子１０５は、画素アレイ３０１と、画素アレイ３０１における行を選択する垂直選択回路３０２と、画素アレイ３０１における列を選択する水平選択回路３０４を含む。読み出し回路３０３は、画素アレイ３０１中の画素部のうち垂直選択回路３０２によって選択される画素部の信号を読み出す。読み出し回路３０３は、信号を蓄積するメモリ、ゲインアンプ、Ａ（Analog）／Ｄ（Digital）変換器等を列毎に有する。
【００１６】
シリアルインタフェース（ＳＩ）部３０５は、各回路の動作モード等を、ＣＰＵ１０９からの指示に従って決定する。垂直選択回路３０２は、画素アレイ３０１の複数の行を順次選択し、読み出し回路３０３に画素信号を取り出す。また水平選択回路３０４は、読み出し回路３０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１０５には、図２（Ａ）に示す構成要素以外に、例えば、垂直選択回路３０２、水平選択回路３０４、読み出し回路３０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。
【００１７】
図２（Ｂ）は、撮像素子の画素部の構成例を示す。画素部４００は、光学素子としてのマイクロレンズ４０１と、受光素子としての複数のＰＤ４０２ａないし４０２ｉを有する。これらのＰＤは受光した光束を光電変換して画像信号を生成する光電変換部として機能する。なお、図２（Ｂ）に示す例では、１つの画素部が備えるＰＤの数を９個とするが、ＰＤの数は２個以上の任意の数でよい。また、画素部４００は図示の構成要素以外にも、例えば、ＰＤの信号を読み出し回路３０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチ等を備える。
【００１８】
図３は画素アレイを例示する図である。画素アレイ３０１は、２次元画像を提供するため、水平方向にＮ個、垂直方向にＭ個の画素部４００を２次元アレイ状に配列して構成される。各画素部４００はカラーフィルタを有する。例えば、奇数行が、赤（Ｒ）と緑（Ｇ）のカラーフィルタの繰り返しであり、偶数行が、緑（Ｇ）と青（Ｂ）のカラーフィルタの繰り返しである。すなわち、画素アレイ３０１が備える複数の画素部４００は、予め決められた画素配列（この例ではベイヤー配列）に従って配置されている。
【００１９】
次に、図３に示す画素構成を有する撮像素子の受光について説明する。図４は撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。画素アレイの断面５０１にて各画素部は、マイクロレンズ５０２、カラーフィルタ５０３、ＰＤ５０４および５０５を有する。ＰＤ５０４は図２（Ｂ）中のＰＤ４０２ａに相当する。また、ＰＤ５０５は図２（Ｂ）中のＰＤ４０２ｃに相当する。
【００２０】
図４には撮影レンズの射出瞳５０６と、マイクロレンズ５０２を有する画素部に対して、射出瞳５０６から出た光束の中心を光軸５０９で示す。射出瞳５０６から出た光は、光軸５０９を中心として撮像素子に入射する。射出瞳５０６における一部領域５０７、５０８は、分割された異なる領域である。光線５１０、５１１は、一部領域５０７を通過する光のうちで最外周の光線である。光線５１２、５１３は、一部領域５０８を通過する光のうちで最外周の光線である。射出瞳５０６からの光束のうち、光軸５０９を境にして、図４の上側に示す光束はＰＤ５０５に入射し、下側の光束はＰＤ５０４に入射する。つまり、ＰＤ５０４とＰＤ５０５は、撮影レンズの射出瞳５０６に対する別の領域の光をそれぞれ受光するという特性を有する。この特性を生かして、撮像装置は、視差のある少なくとも２つの画像を取得することができる。例えば、撮像装置は、画素部内の領域において、複数の左側のＰＤから得られるデータを第１ラインとし、複数の右側のＰＤから得られるデータを第２ラインとして、２つの画像を取得することができる。そして、撮像装置は、この２つの画像を利用して位相差の検知を行って位相差ＡＦ（オートフォーカス）を実現することができる。さらに、撮像装置は、視差のある２つの画像を左目用画像および右目用画像としてステレオ画像のデータ生成処理を実行し、ステレオ表示装置上に立体感のある画像を表示することができる。
【００２１】
図１に戻って説明を続けると、ＰＤ選択合成部１０６は、図２（Ａ）を参照して説明した垂直選択回路３０２、読み出し回路３０３、水平選択回路３０４、ＳＩ部３０５を備える。ＰＤ選択合成部１０６は、ＣＰＵ１０９が設定する動作モードに従って動作する。この動作モードは、撮像装置において開始が検知された撮影の種別に応じて設定され、静止画モードと、通常ライブビューモードと、ステレオライブビューモードを含む。静止画モードでＰＤ選択合成部１０６は、全てのＰＤの出力を画像データとして映像信号処理部１０７に出力する。また通常ライブビューモードでＰＤ選択合成部１０６は、画素内の全てのＰＤ（図２（Ｂ）参照）の出力に対して加算平均演算を行って、演算結果をその画素の出力値とする。ステレオライブビューモードは、ライブビュー右目モードおよびライブビュー左目モードを含む。ライブビュー右目モードの場合、ＰＤ選択合成部１０６は、図２（Ｂ）に示すＰＤ４０２ａ、４０２ｄ、４０２ｇの各出力に対応した加算平均値を算出し、これを画素の出力値とする処理が実行され、ライブビュー用の右目用画像データが生成される。またライブビュー左目モードの場合、ＰＤ選択合成部１０６は、図２（Ｂ）に示すＰＤ４０２ｃ、４０２ｆ、４０２ｉの出力に対応した加算平均値を算出し、これを画素の出力値とする処理が実行され、ライブビュー用の左目用画像データが生成される。このように複数のＰＤの出力を加算合成し、これらの演算結果を１つの画素の出力とすることで、データ量を低減できる。
【００２２】
ＰＤ選択合成部１０６は、３Ｄ表示用の右目用画像データおよび左目用画像データをそれぞれ生成するデータ処理と、２Ｄ表示用の画像データを生成するデータ処理を行う。以下では、右目用画像データの生成に関連する第１モードを「右目選択合成モード」とし、左目用画像データの生成に関連する第２モードを「左目選択合成モード」とする。また、右目用画像または左目用画像に係るデータの選択合成処理に直接関与しない第３モードを「非選択合成モード」とする。ＰＤ選択合成部１０６は、右目選択合成モードにて各画素における複数の光電変換部の出力から右目用画像データに係る信号を選択して合成する。またＰＤ選択合成部１０６は、左目選択合成モードにて各画素部における複数の光電変換部の出力から左目用画像データに係る信号を選択して合成する。非選択合成モードでは、ＰＤ選択合成部１０６は各画素部の複数の光電変換部の出力を全て取得して映像信号処理部１０７に送る。
【００２３】
ライブビューモードの場合、フレームレートを高くするために、撮像素子１０５から出力するデータ量の低減が更に要求される。そのため、ＰＤ選択合成部１０６は、最近接位置での同じカラーフィルタの画素について加算平均演算を行って出力値とする。本実施形態では、ライブビュー時に、水平方向にて３画素の出力について平均し、垂直方向にて３画素毎に１画素を読み出す処理が実行される。これにより、データ量を９分の１に減らすことができる。その場合、使用する画素について図３を参照して具体的に説明する。ここで、図３にて第ｍ行第ｎ列目の画素部を「ｍ−ｎ画素部」と表記する。自然数変数ｍおよびｎの範囲はそれぞれ、Ｍ≧ｍ≧１，Ｎ≧ｎ≧１とする。
【００２４】
水平方向での３画素の出力に係る加算平均演算のために使用するのは、１行目の最初の赤色画素部、つまり１−１画素部、１−３画素部、１−５画素部の各出力である。前述のモードに応じて選択される各画素部の出力に対して、加算平均演算が行われて該当画素に対する値が算出される。次の赤色画素部である、１−７画素部，１−９画素部，１−１１画素部に対して同様に演算処理が実行される。１行目の最初の緑色画素部である、１−２画素部、１−４画素部、１−６画素部に対して同様に演算処理が実行される。垂直方向にて２画素分を間引く処理を行う場合、次の行は４行目となり、最初の緑色画素部である、４−１画素部、４−３画素部、４−５画素部に対して同様に演算処理が実行される。４行目の最初の青色画素部は４−２画素部、４−４画素部、４−６画素部であり、これらの画素に対して同様に演算処理が実行される。
【００２５】
図１の映像信号処理部１０７は、デジタル画像信号にシェーディング補正等の画像信号処理を施す。映像信号処理部１０７は、撮像素子１０５の特性に起因する画像濃度の非線形性や光源に起因する画像色の偏りを補正する。フレームメモリ１０８は、撮像素子１０５と映像信号処理部１０７によって生成される画像データを一時記憶するバッファメモリとして機能する。フレームメモリ１０８に格納される画像データは補正処理等が施されているが、撮像素子１０５の各画素部に蓄積された電荷のエネルギーをそのままデジタルデータ化にしたものに相当する。以下では、フレームメモリ１０８に格納された画像データをＲＡＷデータと呼ぶ。特に、静止画モードの場合にＰＤ選択合成部１０６で取得したＲＡＷデータを、全ＰＤ−ＲＡＷデータと呼ぶ。また、ステレオライブビューモードの場合にＰＤ選択合成部１０６で取得したＲＡＷデータを、両目用ＲＡＷデータと呼ぶ。両目用ＲＡＷデータについては、フレームレートを高くするために、各画素部内でＰＤの出力に加算平均演算が施されている。一方、全ＰＤ−ＲＡＷデータについては、後工程で各種画像処理にて該データを扱うために、画像データとして極力詳細な情報を得ることを目的としている。そのため、全ＰＤ−ＲＡＷデータは選択処理や合成処理が行われずに、各画素部内の各ＰＤの出力情報に基づくデータが個別にフレームメモリ１０８に格納される。ＲＡＷデータの画像の画質に関するパラメータを撮像パラメータと呼び、絞り１０３の設定値であるＡｖ、シャッタ速度Ｔｖ、ＩＳＯ感度等を含む。
【００２６】
バス１５０には、ＣＰＵ１０９、電源１１０、不揮発性メモリ１１１、現像処理部１１２、ＲＡＭ（Random Access Memory）１１３、表示制御部１１４、メインスイッチ１１６が接続される。ＣＰＵ１０９は撮像素子１０５の画像信号読み出しを制御し、撮像素子１０５からフレームメモリ１０８までの各部の動作タイミングを制御する。また、バス１５０には、ユーザがレリーズボタンにより操作するレリーズスイッチ１１７，１１８が接続されている。以下、第１レリーズスイッチ１１７を第１スイッチ、また第２レリーズスイッチ１１８を第２スイッチと略称する。第１スイッチ１１７の操作によって撮影準備動作が開始し、第２スイッチ１１８の操作により撮影動作が行われる。バス１５０に接続される操作部を構成するキー入力手段の操作部材として左選択ボタン１４０、右選択ボタン１４１、設定ボタン１４２、現像パラメータ変更ボタン１４３、ライブビュー開始／終了ボタン１４４、情報表示ボタン１４５を例示する。バス１５０にはさらに、カード入出力部１１９、ＬＶ（ライブビュー）表示制御部１５１が接続されている。ＬＶ表示制御部１５１は後述するライブビュー表示制御を行う。
バス１５０にはＵＳＢ（Universal Serial Bus）制御装置１２７と、ＬＡＮ（Local
Area Network）制御装置１２９が接続されている。ＵＳＢ制御装置１２７は、ＵＳＢ端子１２８を介して、撮像装置と外部装置との間の通信を制御する。ＬＡＮ制御装置１２９は、有線ＬＡＮ端子１３０または無線ＬＡＮインタフェース部１３１を介して、撮像装置と外部装置との間の通信を制御する。
【００２７】
不揮発性メモリ１１１は、メインスイッチ１１６の操作により電源１１０が投入された時にカメラに設定する初期カメラ設定値を記憶している。不揮発性メモリ１１１は、電源１１０が遮断された場合でも記録データが失われないように、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等で構成される。
【００２８】
現像処理部１１２は、ＣＰＵ１０９が読み出した、フレームメモリ１０８上またはＲＡＭ１１３上にある画素毎に生成されたＲＡＷデータに対して、現像パラメータ設定に基づいて画像処理を施す。現像パラメータとは、デジタル画像データの画質に関するパラメータであり、デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度、画像圧縮等に関するパラメータを含む。以下では、１つ以上の現像パラメータを用いてデジタル画像データの画質を調整または変更する処理を現像処理と呼ぶ。現像処理を施された各画像データは、例えば、ＹＵＶ４２２形式やＹＵＶ４１１形式の画像データとして、ＲＡＭ１１３に格納される。また、圧縮処理を含む現像処理が施された画像データは、例えば、ＪＰＥＧ形式の画像データとしてＲＡＭ１１３に格納される。ＪＰＥＧは“Joint Photographic Experts Group”の略号である。ＲＡＭ１１３は、現像処理結果である画像データの他、ＣＰＵ１０９が各種処理を行う際に使用するデータを一時的に記憶する。
【００２９】
表示制御部１１４は、立体視表示が可能な表示部１１５の駆動制御を行う。表示部１１５は、例えば液晶表示素子を有するＴＦＴディスプレイである。表示制御部１１４は、表示用の画像フォーマットに従って配置されたＲＡＭ１１３上の画像データを表示部１１５へ出力する。また、表示制御部１１４はＲＡＭ１１３に表示用の画像フォーマットで配置された画像データを、ビデオ出力端子１３２、Ｄ端子１３３、ＨＤＭＩ端子１３４等を介して外部装置へ出力する。ＨＤＭＩは、“High Definition Multimedia Interface”の略号である。
以下では、表示用の画像フォーマットを配置するＲＡＭ１１３をＶＲＡＭと呼ぶ。３Ｄ表示を行うために、ＶＲＡＭには右目用ＶＲＡＭと左目用ＶＲＡＭがあり、それぞれ右目用画像データと左目用画像データを記憶する。これらの画像データを読み出すことで表示部１１５の画面上にステレオ画像を表示できる。また、２Ｄ表示を行うために２Ｄ用ＶＲＡＭが設けられており、これに画像データを配置することで２Ｄ表示を行える。この他には、撮影条件の設定変更アイコンや撮影情報等を表示するための情報用ＶＲＡＭもある。
【００３０】
次に、撮像装置の動作を説明する。
ユーザがメインスイッチ１１６をオン状態にすると、ＣＰＵ１０９はメモリから所定のプログラムを読み出して実行する。メインスイッチ１１６がオフ状態になると、所定のプログラムにしたがって撮像装置がスタンバイモードになる。第１スイッチ１１７は、レリーズボタンの第１ストローク（半押し）の操作でオン状態になり、第２スイッチ１１８は、レリーズボタンの第２ストローク（全押し）の操作でオン状態となる。ＣＰＵ１０９は、図１に例示した左選択ボタン１４０、右選択ボタン１４１、設定ボタン１４２の各操作による指示信号と、撮像装置の動作状態に応じて各部を制御する。例えば、撮像装置の動作状態が再生状態であれば、左選択ボタン１４０で以前の画像データを表示し、右選択ボタン１４１で次の画像データを表示する制御が行われる。現像パラメータについては、現像パラメータ変更ボタン１４３でのメニュー操作によりグラフィカルユーザインタフェースで確認および設定を行える。また、ユーザがライブビュー開始／終了ボタン１４４を操作した場合、定期的（例えば１秒に３０回）に撮像素子１０５からＲＡＷデータを取り込み、現像処理してＶＲＡＭへ配置する処理が実行される。これにより、リアルタイムに撮像素子１０５から画像データを取り込んで画像表示を行うことができる。ライブビューの動作中に、ユーザがライブビュー開始／終了ボタン１４４を操作するとライブビューが終了する。
【００３１】
ＬＶ表示制御部１５１は、ライブビューの状態でユーザが情報表示ボタン１４５を操作した場合、ライブビュー表示にて撮像パラメータの設定変更アイコンやヒストグラム等の撮影情報を重畳して表示させる制御を行う。設定変更アイコンや撮影情報が撮影画像に重畳表示された状態で、ユーザが情報表示ボタン１４５を操作した場合、ＬＶ表示制御部１５１は３Ｄ表示に戻す制御を行う。あるいは、重畳された撮影情報のみを画面から消去して２Ｄ表示に変更し、情報表示ボタン１４５が再度操作された場合に、３Ｄ表示に戻す制御をＬＶ表示制御部１５１が行ってもよい。設定変更アイコンや撮影情報が重畳表示された状態でユーザが設定ボタン１４２を操作すると、設定変更アイコンが選択状態となり、左選択ボタン１４０、右選択ボタン１４１で設定を変更できる。これにより、ユーザはライブビュー表示上でリアルタイムに設定変更を反映させた状態で、それらの効果を確認できる。設定変更アイコンが選択状態になっている場合にユーザが設定ボタン１４２を操作すると、選択状態が解除される。
【００３２】
次に図５（Ａ）のフローチャートを参照して、３Ｄ表示でのライブビュー処理について説明する。以下の処理はＣＰＵ１０９がプログラムをメモリから読み出して実行することにより実現される。
Ｓ１００で処理が開始し、次のＳ１１０でＣＰＵ１０９はライブビュー開始／終了ボタン１４４の操作状態を判定する。ライブビューが開始されていない状態にて、ライブビュー開始／終了ボタン１４４がＯＮ操作された場合、Ｓ１１１へ処理を進め、ＯＮ操作されていない場合、Ｓ１１０へ戻る。また、ライブビューが開始されている状態においてライブビュー開始／終了ボタン１４４がＯＮ操作された場合、Ｓ１１０へ戻り、ＯＮ操作されていない場合にはＳ１１１へ進む。
【００３３】
Ｓ１１１にてＣＰＵ１０９は、ＰＤ選択合成部１０６のモードを右目選択合成モードに設定し、Ｓ１１２へ処理を進める。Ｓ１１２では、ライブビュー用の撮影パラメータでの撮影が開始し、フレームメモリ１０８上に右目用ＲＡＷデータを取得する処理が行われる。表示用の現像パラメータを用いて現像処理部１１２が現像処理を行い、現像処理後の画像データが右目用のＶＲＡＭに記憶されて、Ｓ１１３へ進む。Ｓ１１３にてＣＰＵ１０９は、ＰＤ選択合成部１０６のモードを左目選択合成モードに設定し、Ｓ１１４へ処理を進める。Ｓ１１４では、フレームメモリ１０８上に左目用ＲＡＷデータを取得する処理が行われる。表示用の現像パラメータを用いて現像処理部１１２が現像処理を行い、現像処理後の画像データが左目用のＶＲＡＭへ記憶され、Ｓ１１０へ戻る。
【００３４】
次に、図５（Ｂ）のフローチャートを参照して、２Ｄ表示でのライブビュー処理について説明する。
Ｓ２００で処理が開始し、次のＳ２０１でＣＰＵ１０９はライブビュー開始／終了ボタン１４４の操作状態を判定する。この判定処理は図５（Ａ）のＳ１１０と同様であり、ライブビュー動作を行う場合（Ｓ２０１でＹＥＳ）、Ｓ２０２へ処理を進め、Ｓ２０１でＮＯの場合、Ｓ２０１の判定を繰り返す。
【００３５】
Ｓ２０２でＣＰＵ１０９は、ＰＤ選択合成部１０６のモードを通常ライブビューモードに設定し、Ｓ２０３へ処理を進める。「通常」とは、２Ｄ表示を意味する。Ｓ２０３では、ライブビュー用の撮影パラメータで撮影が開始し、フレームメモリ１０８上に通常ライブビュー用ＲＡＷデータを取得する処理が行われる。表示用の現像パラメータを用いて現像処理部１１２が現像処理を行い、現像処理後の画像データが２Ｄ用ＶＲＡＭへ記憶され、Ｓ２０１へ戻る。なお、２Ｄ用ＶＲＡＭへの画像データを記憶させるのではなく、右目用ＶＲＡＭと左目用ＶＲＡＭに対して、同一の画像データを記憶し、これを読み出して表示部１１５へ出力することで２Ｄ表示を実現してもよい。
【００３６】
次に、図６および図７を参照して、３Ｄ表示と２Ｄ表示との切り替え時のライブビュー動作を説明する。図６は処理例を説明するフローチャートである。図７は、１フレームごとにそれぞれＲＡＷデータを取得する場合の処理の流れを模式的に表した説明図である。図７の上段に示す期間９０１から９０８は各フレーム期間を示し、各期間にておいて撮像素子１０５からＲＡＷデータを取得することでライブビュー動作が行われていることを示す。取得されるＲＡＷデータは、期間９０１，９０３で右目用画像データであり、期間９０２，９０４で左目用画像データであり、交互に画像表示が行われる。３Ｄ表示の画像表示例９２１を示す。また、期間９０５ないし９０８では、２Ｄ表示での通常ライブビュー用画像データが取得される。画像表示例９２４として、撮影条件の設定変更アイコン９２５や撮影情報９２６が画像情報として撮影画像と併せて画面上に２Ｄ表示されている状態を示す。
【００３７】
図６に示すＳ１１１ないしＳ１１４は図５（Ａ）で説明済みであり、Ｓ２０２およびＳ２０３は図５（Ｂ）で説明済みである。よって、主としてＳ３０１ないしＳ３０４の処理を説明する。
Ｓ３００で処理が開始し、次のＳ３０１において、ＣＰＵ１０９はライブビュー動作の開始について判定する。これは図５（Ａ）のＳ１１０、図５（Ｂ）のＳ２０１と同様の判定処理であり、ライブビュー動作の開始と判定された場合、Ｓ３０２へ処理を進める。ライブビュー動作を開始しないことが判定された場合、Ｓ３０１の判定処理が繰り返される。
Ｓ３０２でＣＰＵ１０９は、３Ｄ表示がＯＮされているか否か、つまり立体視表示の状態であるか否かを判定する。図７の画像表示例９２１に示すように左目用画像と右目用画像を対として交互に表示する３Ｄ表示の状態で、情報表示ボタン１４５がＯＮ操作された場合、Ｓ２０２へ処理を進め、さらにＳ２０３の処理が実行される。一方、図７の画像表示例９２４に示すように、撮影条件の設定変更アイコン９２５や撮影情報９２６が画面に表示されている状態で情報表示ボタン１４５がＯＮ操作された場合、Ｓ１１１へ処理を進め、Ｓ１１２ないしＳ１１４の処理が実行される。このようなライブビュー表示の切り替え処理は、ＬＶ表示制御部１５１が制御する。
【００３８】
３Ｄ表示の場合、Ｓ１１１からＳ１１４の処理により、右目用ＲＡＷデータと左目用ＲＡＷデータを取得し、現像処理後に右目用ＶＲＡＭと左目用ＶＲＡＭへそれぞれのＲＡＷデータを配置して表示する処理が実行される。図７の期間９０１から９０４において、表示制御部１１４は、画像表示例９２１の３Ｄライブビュー表示制御を行う。
【００３９】
また、２Ｄ表示の場合、Ｓ２０２およびＳ２０３の処理により、通常ライブビュー用ＲＡＷデータを取得し、現像処理後に２Ｄ用ＶＲＡＭへＲＡＷデータを記憶する処理が行われる（図７の期間９０５から９０８参照）。Ｓ２０３に続くＳ３０３においてＣＰＵ１０９は、設定変更アイコンやヒストグラムや撮像パラメータを取得し、情報用ＶＲＡＭに配置する処理を制御する。設定変更アイコンのデータは不揮発性メモリ１１１に格納されているものとする。また、ヒストグラムや撮像パラメータについてはＲＡＭ１１３に格納されており、読み出し後に画像データに変換されるものとする。
【００４０】
Ｓ３０４にて表示制御部１１４は、Ｓ３０３で生成した情報用ＶＲＡＭのデータと、Ｓ２０３で生成した２Ｄ用ＶＲＡＭのデータを重畳して表示する制御を行う。図７の画像表示例９２４に示すように、撮影条件の設定変更アイコン９２５や撮影情報９２６の各画像と、２Ｄライブビュー表示画像とが重畳された表示状態になる。なお、２Ｄ用ＶＲＡＭではなく、右目用ＶＲＡＭと左目用ＶＲＡＭを使用して２Ｄ表示を行う場合には、それぞれの画像データに情報用ＶＲＡＭの画像データを重畳することで表示データ（画像表示例９２４参照）を生成する処理が実行される。
Ｓ１１４、Ｓ３０４の処理後、Ｓ３０１に処理を戻す。
【００４１】
本実施形態では、３Ｄライブビュー表示の場合、右目用画像と左目用画像の一対のデータを取得してから、図６のＳ３０２において表示切り替えを判定する。これは、３Ｄ表示から２Ｄ表示への切り替わりのタイミングで、例えば、左目用画像と平面画像との組み合わせのような、適切でない組み合わせで立体視表示が行われるのを防ぐためである。
本実施形態によれば、３Ｄ表示から２Ｄ表示のライブビューに切り替えて、撮影情報等をライブビュー画像（撮影画像）に重畳して表示する処理が実行される。すなわち、立体映像のライブビュー表示中に平面画像を重畳して表示する場合には、２Ｄ表示に切り替えてから画像表示が行われる。これにより、３Ｄ表示のライブビュー画像と平面画像を重畳して表示する場合に、各画像の奥行きの違いから生じ得る鑑賞者の目の疲労感を軽減できる。
【００４２】
なお、本実施形態では、３Ｄライブビュー表示と、撮影情報等が重畳された２Ｄライブビュー表示との切り替え処理について説明したが、前記の処理は、３Ｄライブビュー表示と、撮影情報を重畳表示しない２Ｄライブビュー表示との切り替えにも適用可能である。その場合、図６のＳ３０３の前には、撮影情報の重畳表示を行うか否かの判定処理が挿入される。判定の結果、重畳表示を行う場合にのみ、Ｓ３０３とＳ３０４の処理が実行され、重畳表示を行わない場合には、Ｓ３０３およびＳ３０４を実行せずにＳ３０１へ処理を戻す。また、本実施形態では、３Ｄ表示と２Ｄ表示の切り替えの際、情報表示ボタン１４５がＯＮ操作されたかどうかを判定した。これに限らず、例えばタイマーによる計時処理によって、所定時間の経過後に自動的に表示切り替え処理を行ってもよい。
【符号の説明】
【００４３】
１００  装置本体（デジタルカメラ）
１０５  撮像素子
１０６  ＰＤ選択合成部
１０９  ＣＰＵ
１１４  表示制御部
１１５  表示部
１４５  情報表示ボタン
１５１  ＬＶ表示制御部
４０１  マイクロレンズ
４０２ａ〜ｉ  フォトダイオード
【図１】
2014146962.tif 000003
【図２】
2014146962.tif 000004
【図３】
2014146962.tif 000005
【図４】
2014146962.tif 000006
【図５】
2014146962.tif 000007
【図６】
2014146962.tif 000008
【図７】
2014146962.tif 000009