(57)【特許請求の範囲】
【請求項１】
４つ以上の光電変換部を各々が備えた複数の単位画素を二次元状に配置した撮像素子と、
前記撮像素子の出力信号に基づいて立体画像を生成する画像処理手段と、
撮影画像を逐次表示するライブビュー表示モードと、静止画撮影モードのいずれかのモードに設定するためのモード設定手段と、
前記モード設定手段により前記ライブビュー表示モードが設定された場合に、前記立体画像の生成に用いる出力信号として前記複数の単位画素の各々において外郭に位置する２つの光電変換部から出力信号を読み出すとともに残りの光電変換部から出力信号を読み出さないように制御し、前記モード設定手段により前記静止画撮影モードが設定された場合に、前記立体画像の生成に用いる出力信号として前記複数の単位画素の各々における前記４つ以上の光電変換部のすべてから出力信号を読み出すように制御する制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記モード設定手段により前記ライブビュー表示モードが設定された場合に、前記立体画像の生成に用いる出力信号が読み出される前記単位画素の各々における前記光電変換部の数に応じて、前記画像処理手段が出力信号レベルを補正することを特徴とする請求項１に記載の撮像装置。
【請求項３】
複数の画素を二次元状に配置した４つ以上の撮像素子と、
前記４つ以上の撮像素子の出力信号に基づいて立体画像を生成する画像処理手段と、
撮影画像を逐次表示するライブビュー表示モードと、静止画撮影モードのいずれかのモードに設定するためのモード設定手段と、
前記モード設定手段により前記ライブビュー表示モードが設定された場合に、前記立体画像の生成に用いる画像を取得するために前記４つ以上の撮像素子において外郭に位置する２つの撮像素子を用いて撮像を行うとともに残りの撮像素子を用いた撮像を行わないように制御し、前記モード設定手段により前記静止画撮影モードが設定された場合に、前記立体画像の生成に用いる画像を取得するために前記４つ以上の撮像素子のすべてを用いて撮像を行うように制御する制御手段と、
を有することを特徴とする撮像装置。
【請求項４】
前記モード設定手段により前記ライブビュー表示モードが設定された場合に、前記撮像に用いられる前記撮像素子の数に応じて、前記画像処理手段が出力信号レベルを補正することを特徴とする請求項３に記載の撮像装置。
【請求項５】
４つ以上の光電変換部を各々が備えた複数の単位画素を二次元状に配置した撮像素子を用いた撮像制御方法であって、
前記撮像素子の出力信号に基づいて立体画像を生成する画像処理ステップと、
撮影画像を逐次表示するライブビュー表示モードと、静止画撮影モードのいずれかのモードに設定するためのモード設定ステップと、
前記モード設定ステップにより前記ライブビュー表示モードが設定された場合に、前記立体画像の生成に用いる出力信号として前記複数の単位画素の各々において外郭に位置する２つの光電変換部から出力信号を読み出すとともに残りの光電変換部から出力信号を読み出さないように制御し、前記モード設定ステップにより前記静止画撮影モードが設定された場合に、前記立体画像の生成に用いる出力信号として前記複数の単位画素の各々における前記４つ以上の光電変換部のすべてから出力信号を読み出すように制御する制御ステップと、
を有することを特徴とする撮像制御方法。
【請求項６】
複数の画素を二次元状に配置した４つ以上の撮像素子を用いた撮影制御方法であって、
前記４つ以上の撮像素子の出力信号に基づいて立体画像を生成する画像処理ステップと、
撮影画像を逐次表示するライブビュー表示モードと、静止画撮影モードのいずれかのモードに設定するためのモード設定ステップと、
前記モード設定ステップにより前記ライブビュー表示モードが設定された場合に、前記立体画像の生成に用いる画像を取得するために前記４つ以上の撮像素子において外郭に位置する２つの撮像素子を用いて撮像を行うとともに残りの撮像素子を用いた撮像を行わないように制御し、前記モード設定ステップにより前記静止画撮影モードが設定された場合に、前記立体画像の生成に用いる画像を取得するために前記４つ以上の撮像素子のすべてを用いて撮像を行うように制御する制御ステップと、
を有することを特徴とする撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体的な画像を得るための撮像装置及び撮像制御方法に関するものである。
【背景技術】
【０００２】
従来、立体的な画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を利用する方法である。これは、視差を持った左眼用画像と右眼用画像を用意し、それぞれ独立に鑑賞者の左右の眼に投影することにより立体視を行う方法である。
【０００３】
右眼用、左眼用の画像を取得する方法として、２台のカメラを所定の間隔で並べて同一の被写体を撮影し、左右画像を取得する方法がある。また、特許文献１では、１台のカメラで、左右画像を同時に取得できる方法が開示されている。特許文献１に記載の固体撮像素子では、１つのマイクロレンズ下に２つの光電変換部を有しており、撮影レンズの異なる瞳位置からの入射光をそれぞれ２つの光電変換部で受光できるようになっている。マイクロレンズ下に設けられた２つの光電変換部のうち、一方から右眼用画像を、他方から左眼用画像を生成することができる。
【０００４】
鑑賞者が感じる被写体の立体感は、前記左右画像の視差の大きさ（視差量）によって異なる。視差量が小さいほど立体感は薄れ、視差量が大きいほどより立体感を感じることができる。また、同一の左右画像であっても、画面に表示される表示サイズが異なると、視差量が変化して見え方が異なってくる。サイズの小さい表示装置で表示すると視差量が小さくなり、立体感が薄れてしまう場合がある。一般的なデジタルカメラに搭載されている画像表示部は、小型であることが多く、そのため、立体画像の表示には不向きである。特許文献２では、立体画像を表示する表示装置において良好な立体感が得られるように、左右画像の視差量を画像処理によって変換する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開昭５８−２４１０５号公報
【特許文献２】特開平１０−１５０６０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、デジタルカメラ等で撮影した画像を逐次表示するライブビュー表示を行なう際に立体画像を表示しようとする場合、特許文献２のように画像処理によって視差量を拡大する方法は、処理時間の面で適していない。また、特許文献１に記載の方法では、視差量が固定された画像しか取得できなかった。
【０００７】
本発明の目的は、撮影画像を逐次表示するライブビュー表示において、良好な立体感を得ることができる撮像装置を提供することである。
【課題を解決するための手段】
【０００８】
前記目的を達成するために、本発明の撮像装置は、４つ以上の光電変換部を各々が備えた複数の単位画素を二次元状に配置した撮像素子と、前記撮像素子の出力信号に基づいて立体画像を生成する画像処理手段と、撮影画像を逐次表示するライブビュー表示モードと、静止画撮影モードのいずれかのモードに設定するためのモード設定手段と、前記モード設定手段により前記ライブビュー表示モードが設定された場合に、前記立体画像の生成に用いる出力信号として前記複数の単位画素の各々において外郭に位置する２つの光電変換部から出力信号を読み出すとともに残りの光電変換部から出力信号を読み出さないように制御し、前記モード設定手段により前記静止画撮影モードが設定された場合に、前記立体画像の生成に用いる出力信号として前記複数の単位画素の各々における前記４つ以上の光電変換部のすべてから出力信号を読み出すように制御する制御手段と、を有することを特徴とする。
【０００９】
また、本発明の撮像装置は、複数の画素を二次元状に配置した４つ以上の撮像素子と、前記４つ以上の撮像素子の出力信号に基づいて立体画像を生成する画像処理手段と、撮影画像を逐次表示するライブビュー表示モードと、静止画撮影モードのいずれかのモードに設定するためのモード設定手段と、前記モード設定手段により前記ライブビュー表示モードが設定された場合に、前記立体画像の生成に用いる画像を取得するために前記４つ以上の撮像素子において外郭に位置する２つの撮像素子を用いて撮像を行うとともに残りの撮像素子を用いた撮像を行わないように制御し、前記モード設定手段により前記静止画撮影モードが設定された場合に、前記立体画像の生成に用いる画像を取得するために前記４つ以上の撮像素子のすべてを用いて撮像を行うように制御する制御手段と、を有することを特徴とする。
【００１０】
また、本発明の撮像制御方法は、４つ以上の光電変換部を各々が備えた複数の単位画素を二次元状に配置した撮像素子を用いた撮像制御方法であって、前記撮像素子の出力信号に基づいて立体画像を生成する画像処理ステップと、撮影画像を逐次表示するライブビュー表示モードと、静止画撮影モードのいずれかのモードに設定するためのモード設定ステップと、前記モード設定ステップにより前記ライブビュー表示モードが設定された場合に、前記立体画像の生成に用いる出力信号として前記複数の単位画素の各々において外郭に位置する２つの光電変換部から出力信号を読み出すとともに残りの光電変換部から出力信号を読み出さないように制御し、前記モード設定ステップにより前記静止画撮影モードが設定された場合に、前記立体画像の生成に用いる出力信号として前記複数の単位画素の各々における前記４つ以上の光電変換部のすべてから出力信号を読み出すように制御する制御ステップと、を有することを特徴とする。
【００１１】
また、本発明の撮像制御方法は、複数の画素を二次元状に配置した４つ以上の撮像素子を用いた撮影制御方法であって、前記４つ以上の撮像素子の出力信号に基づいて立体画像を生成する画像処理ステップと、撮影画像を逐次表示するライブビュー表示モードと、静止画撮影モードのいずれかのモードに設定するためのモード設定ステップと、前記モード設定ステップにより前記ライブビュー表示モードが設定された場合に、前記立体画像の生成に用いる画像を取得するために前記４つ以上の撮像素子において外郭に位置する２つの撮像素子を用いて撮像を行うとともに残りの撮像素子を用いた撮像を行わないように制御し、前記モード設定ステップにより前記静止画撮影モードが設定された場合に、前記立体画像の生成に用いる画像を取得するために前記４つ以上の撮像素子のすべてを用いて撮像を行うように制御する制御ステップと、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮影画像を逐次表示するライブビュー表示を行なう際に、良好な立体画像を表示することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係る撮像装置の全体ブロック図である。
【図２】本発明の第１の実施形態に係る撮像素子の構成図である。
【図３】本発明の第１の実施形態に係る撮影光学系と撮像素子及び光束の模式図である。
【図４】本発明の第１の実施形態に係る撮像素子の単位画素の回路図である。
【図５】本発明の第１の実施形態に係る撮像素子の読み出し回路図である。
【図６】本発明の第１の実施形態に係る立体画像撮影時のフローチャートを示す図である。
【図７】本発明の第２の実施形態に係る撮像装置の全体ブロック図である。
【図８】本発明の第２の実施形態に係る立体画像撮影時のフローチャートを示す図である。
【発明を実施するための形態】
【００１４】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１５】
（実施例１）
図１は、本発明の第１の実施形態に係る撮像装置の全体ブロック図である。図１において、ＣＭＯＳ型固体撮像素子１０１は、不図示の撮影レンズで結像された画像を取り込む。アナログフロントエンド（ＡＦＥ）１０２は、基準レベルの調整（クランプ処理）およびアナログデジタル変換処理を行う。デジタルフロントエンド（ＤＦＥ）１０３は、固体撮像素子１０１の各画素のデジタル出力を受けて、画像信号の補正や画素の並び替え等をデジタル処理している。
【００１６】
画像処理部１０４は、ＤＦＥ１０３からのデジタル出力に対して現像処理を行う。また、ここでは立体画像の生成も行う。メモリ回路１０５は、画像処理部１０４の作業用メモリであり、連続撮影等においてはバッファーメモリとしても使用される。制御回路１０６は、撮像装置全体を統括的に制御し、周知のＣＰＵなどを内蔵する。静止画撮影モードやライブビュー表示モードなどの撮影モードの制御もこのブロックで行う。
【００１７】
操作回路１０７は、デジタルカメラにある操作部材の操作を電気的に受け付けるものである。表示部１０８は、画像等を表示し、立体画像も表示できる。記録媒体１０９は、メモリカードやハードディスクなどである。タイミング発生回路（ＴＧ）１１０は、撮像素子１０１を駆動する各種タイミングを生成する。
【００１８】
図２は、固体撮像素子１０１の画素の構成を説明する図である。図２に示すように、光電変換部２０１〜２０４が、単位画素２００の１画素内に４つ配置されている。また、マイクロレンズ２０５が、各画素に１つずつ配置されている。このような複数の単位画素２００が行列方向に２次元状に配置されている。なお、図２では、説明を簡略化するために３×２画素の２次元状に配置されているが、画素数はこれに限られるものではない。
【００１９】
次に、図２に示す画素構造を持つ固体撮像素子１０１における立体表示の原理について説明する。図３（ａ）は、４つの光電変換部２０１〜２０４をすべて使用した場合の撮影光学系、撮像素子、及び光束の模式図である。図３（ａ）において、撮影レンズの出射瞳３０１には、Ａ像用の瞳３０２とＢ像用の瞳３０３が含まれる。
【００２０】
Ａ像用の瞳３０２で示される光束は、マイクロレンズ２０５により結像され、光電変換部２０３、２０４で受光される。また、Ｂ像用の瞳３０３で示される光束は、マイクロレンズ２０５により結像され、光電変換部２０１、２０２で受光される。ここで、Ａ像用の画像信号は、Ａ像用の光電変換部２０３、２０４の信号を加算して生成される。また、Ｂ像用の画像信号は、Ｂ像用の光電変換部２０１、２０２の信号を加算して生成される。
【００２１】
Ａ像用の光電変換部２０３、２０４から生成した画像と、Ｂ像用の光電変換部２０１、２０２から生成した画像との視差量は、Ａ像用瞳３０２とＢ像用瞳３０３の重心間距離Ｌ１となる。したがって、２つの画像をそれぞれ独立に鑑賞者の左右の眼に投影することにより立体視が可能となる。
【００２２】
図３（ｂ）は、Ａ像用光電変換部２０３、２０４への光の入射角とその強度分布３０４、Ｂ像用光電変換部２０１、２０２への光の入射角とその強度分布３０５を示している。横軸の左側が図３（ａ）の左方向からの入射角、右側が図３（ａ）の右方向からの入射角を示し、縦軸が入射光強度を示している。
【００２３】
図３（ｃ）は、４つの光電変換部２０１〜２０４のうち、外郭にある光電変換部２０１、２０４のみを使用した場合の撮影光学系、撮像素子、及び光束の模式図である。図３（ｃ）において、Ａ像用の瞳３０６で示される光束は、マイクロレンズ２０５により結像され、光電変換部２０４で受光される。Ｂ像用の瞳３０７で示される光束は、マイクロレンズ２０５により結像され、光電変換部２０１で受光される。
【００２４】
Ａ像用の光電変換部２０４から生成した画像とＢ像用の光電変換部２０１から生成した画像との視差量は、Ａ像用瞳とＢ像用瞳の重心間距離Ｌ２となり、図３（ａ）で示すＬ１よりも大きくなる。
【００２５】
また、図３（ｄ）は、Ａ像用光電変換部２０４への光の入射角とその強度分布３０８、Ｂ像用光電変換部２０１への光の入射角とその強度分布３０９を示している。図３（ｂ）に比べて、強度分布の最大値は低下するが、撮影レンズの外周からの光に対する感度は相対的に高くなる。
【００２６】
以上のことから、図３（ｃ）に示すように外郭の２つの光電変換部のみを使用することで、４つすべての光電変換部を使用する図３（ａ）の構成よりも視差量を拡大し、立体表示した時により立体感を得ることができる。そのため、撮像装置に搭載されている小型の表示部でライブビュー表示を行なう際に、外郭の２つの光電変換部のみを使用することで、良好な立体画像を表示することが可能となる。
【００２７】
図４は、図２に示す固体撮像素子１０１の単位画素２００の回路の一例であり、水平方向に並んで配置された４つの光電変換部２０１〜２０４から構成されている。この光電変換部２０１〜２０４から構成される複数の単位画素２００が行列状に配置されることで撮像素子１０１が構成される。
【００２８】
各光電変換部は、光を電荷に変換するフォトダイオード４０１、ＭＯＳトランジスタで構成された転送スイッチ４０２、フローティングディフュージョン（ＦＤ）部４０３、ＦＤ部の電圧を増幅するソースフォロアＭＯＳトランジスタ４０４、選択スイッチ４０５、ＭＯＳトランジスタで構成されたリセットスイッチ４０６、共通電源ＶＤＤ４０８を備える。リセットスイッチ４０６は、ＦＤ４０３及び転送スイッチ４０２を介してＰＤ４０１を電位ＶＤＤにリセットする。そして、同一列の光電変換部は、選択スイッチ４０５を介して共通の垂直出力線４０７に接続されている。
【００２９】
図５は、ＣＭＯＳ型固体撮像素子１０１の読み出し回路について説明する図である。ここでは、説明を簡略化するために３×２画素で構成されている例を示している。各単位画素２００の４つの光電変換部２０１〜２０４には、それぞれ垂直信号線４０７が接続されており、偶数列目の垂直信号線４０７は下側の読み出し回路に接続され、奇数列目の垂直信号線４０７は上側の読み出し回路に接続されている。
【００３０】
すなわち、光電変換部２０１、２０３の出力信号は、垂直信号線を介して下側の読出し回路から読み出され、光電変換部２０２、２０４の出力信号は、垂直信号線を介して上側の読出し回路から読み出される。図５では、説明の都合上、下側の読出し回路のみを図示し、上側の読み出し回路が図示されていないが、基本的には下側の読み出し回路と同様に構成されている。
【００３１】
各光電変換部２０１〜２０４には、不図示の垂直シフトレジスタから、各行ごとに共通の駆動信号が入力される。各光電変換部の出力信号は、電流源負荷５００が接続された垂直出力線４０７を介して、列回路内の容量（ｃ０）５０１に入力される。オペアンプ５０３は、帰還容量（ｃｆ）５０２と容量（ｃ０）５０１とともに反転増幅アンプを構成している。不図示のＰＣ０Ｒ信号で制御される不図示のアナログスイッチにより帰還容量（ｃｆ）５０２の両端をショートすることにより、容量（ｃ０）５０１、帰還容量（ｃｆ）５０２のリセット及び後段の容量（ｃｔｓ）５１０、容量（ｃｔｎ）５１１のリセットを行う。
【００３２】
オペアンプ５０３の出力は、ＰＴＳ、ＰＴＮ信号で駆動されるアナログスイッチ５０４、５０５を介してそれぞれ、保持容量（ｃｔｓ）５１０、（ｃｔｎ）５１１に保持される。ここで、前述のＦＤ４０３をリセットした直後のリセット信号を保持容量（ｃｔｎ）５１１に保持し、その後、画素からの信号をＦＤ４０３に転送した直後の信号を保持容量（ｃｔｓ）５１０に保持するものとする。１行分の画素信号が列毎に（ｃｔｓ）５１０、（ｃｔｎ）５１１に保持されると、水平走査回路５１４によりＰＨ（ｎ）パルスが順次駆動されることで、アナログスイッチ５１２、５１３が開閉され、後段の差動型読み出しアンプ５１５に入力され外部に出力される。
【００３３】
水平シフトレジスタ５１４は、ＭＯＤＥ信号に応じてＰＨ（ｎ）パルスを間引くことで、読み出す光電変換部の出力信号を切り替えることが可能である。例えば、各単位画素のすべての光電変換部の出力信号を読み出す場合、下側の水平シフトレジスタは、０、２、４、６、８、１０列目にＰＨ（ｎ）パルスを出力し、不図示の上側の水平シフトレジスタは、１、３、５、７、９、１１列目にＰＨ（ｎ）パルスを出力する。また、各画素の外郭の光電変換部２０１、２０４の出力信号のみを読み出す場合、下側の水平シフトレジスタは、０、４、８列目にＰＨ（ｎ）パルスを出力し、不図示の上側の水平シフトレジスタは、３、７、１１列目にＰＨ（ｎ）パルスを出力する。
【００３４】
ＭＯＤＥ信号は、図１の制御回路１０６で設定した撮影モードに応じて決定される。したがって、撮影モードに応じて、各単位画素から４つの光電変換部の出力信号をすべて読み出すか、外郭２つの光電変換部の出力信号のみを読み出すかを切り替えることができる。読み出した画像信号は、図１のＡＦＥ１０２及びＤＦＥ１０３でデジタル処理された後、画像処理部１０４で現像される。そして、画像として表示部１０８で表示され、または、記録回路１０９で記録媒体に書き込まれる。
【００３５】
図６は、制御回路１０６の制御による本実施例の撮像装置における立体画像撮影時の動作を説明するフローチャートである。まず、ステップ６０１で図１の操作回路１０７により撮影モードがライブビュー表示モードに設定されているか否かを判定する。例えば、撮影モードが静止画撮影モードに設定されており、ライブビュー表示モードではないと判定された場合には、ステップ６０２に移行する。
【００３６】
ステップ６０２では、図５のＭＯＤＥ信号によって各単位画素からすべての光電変換部の出力信号を選択して読み出すように設定され、ステップ６０３において、画像が取得される。ここで取得した画像は、単位画素あたり４つの光電変換部２０１〜２０４の出力信号をそれぞれもつ画像となる。
【００３７】
ステップ６０４では、画像処理部１０４にて取得画像に含まれる４つの光電変換部の出力信号に対して、光電変換部２０１の出力信号と光電変換部２０２の出力信号を加算してＢ像用画像を生成する。また、光電変換部２０３の出力信号と光電変換部２０４の出力信号を加算してＡ像用画像を生成する。その後、ステップ６０８に移行して、ステップ６０４で生成したＡ像用画像とＢ像用画像から立体画像を生成する。
【００３８】
ステップ６０１でライブビュー表示モードに設定されていると判定された場合には、ステップ６０５に移行する。ステップ６０５では、図５のＭＯＤＥ信号によって各単位画素から外郭の光電変換部２０１、２０４の出力信号のみを選択して読み出すように設定され、ステップ６０６において、画像が取得される。ここで取得した画像は、単位画素あたり外郭の光電変換部２０１、２０４の出力信号をそれぞれもつ画像となる。
【００３９】
光電変換部２０１の出力信号はＢ像用画像、光電変換部２０４の出力信号はＡ像用画像として利用できる。ただし、外郭の光電変換部２０１、２０４の出力信号のみを使用してＡ像、Ｂ像用画像を生成する場合、４つの光電変換部の出力信号からＡ像、Ｂ像用画像を生成する場合に比べて、信号出力レベルが約１／２になってしまう。そこで、ステップ６０７では、画像処理部１０４において、選択した光電変換部の個数に応じた出力信号レベルの低下分を考慮したゲイン補正を行い、Ａ像、Ｂ像用画像を生成する。その後、ステップ６０８に移行して、ステップ６０７で生成したＡ像用画像とＢ像用画像から立体画像を生成する。
【００４０】
以上の処理を行うことで、撮像装置に搭載されている小型の表示部でライブビュー表示を行なう際に、視差量の大きな画像を取得することができ、より立体感のある画像を表示できる。さらに、１画素あたり外郭２つの光電変換部の出力信号のみを読み出すことで、読み出し時間も４つの光電変換部の出力信号をすべて読み出す場合に比べて短縮できるため、撮像素子から得られる被写体像を逐次表示するライブビュー表示モードの処理に適している。また、静止画撮影モードでは、４つの光電変換部の出力信号をすべて読出し、２つずつ加算することで感度を高めることができる。
【００４１】
なお、本実施例では、ライブビュー表示モード時に外郭の光電変換部の出力信号のみを読み出す構成としたが、例えば、ユーザーが立体感をより強調したいモードを設定した場合に外郭の光電変換部の出力信号のみを読み出す構成にしてもよい。本実施例では１画素あたりの光電変換部の数は４つであったが、光電変換部の数はそれ以上でも良い。特に、水平方向の分割数が多いほど、外郭の光電変換部のみを利用した場合の視差量を大きくすることができる。また、任意の１組の光電変換部を選択することで視差量を最適な大きさにすることも可能である。さらに、本実施例では各光電変換部の面積は同じものとして説明したが、外郭と内郭の面積を変えて、外郭を狭くすることでも視差量を大きくすることが可能である。
【００４２】
（実施例２）
図７は、本発明の第２の実施形態に係る撮像装置の全体ブロック図である。図７において、図１と同一の機能を有する部分については図１と同じ図番号で示してある。第２の実施形態の撮像装置は、４つの撮像素子７０１〜７０４が所定の間隔で並べて配置されており、それぞれが不図示の撮影レンズを有し、同一の被写体を撮影できるようになっている。撮像素子７０１〜７０４は、制御回路１０６により不図示のＴＧを介して同期撮影を行うことができる。
【００４３】
また、撮像素子７０１〜７０４は、図１の撮像素子１０１と同一の構造である必要はなく、単位画素あたり１つの光電変換部をもつ構造でもよい。各撮像素子７０１〜７０４で同時に撮影した画像は、視差をもった画像となるため、立体画像表示に用いることができる。各撮像素子７０１〜７０４から出力される撮影画像信号は、それぞれ不図示のＡＦＥ１０２およびＤＦＥ１０３を介して画像処理部１０４に入力されて処理される。
【００４４】
図８は、制御回路１０６の制御による第２の実施形態の撮像装置の立体画像撮影時の動作を説明するフローチャートである。まず、ステップ８０１で図７の操作回路１０７により撮影モードがライブビュー表示モードに設定されているか判定する。ここで、ライブビュー表示モードではないと判定された場合には、ステップ８０２に移行する。
【００４５】
ステップ８０２では、図７の制御回路１０６により、４つの撮像素子７０１〜７０４が同期して撮影するように設定される。次に、ステップ８０３において、４つの撮像素子で同時に撮影が行われる。
【００４６】
ステップ８０４では、画像処理部１０４にて撮像素子７０１、７０２でそれぞれ撮影した画像を画素単位で加算してＢ像用画像を生成する。また、撮像素子７０１、７０２でそれぞれ撮影した画像を画素単位で加算してＡ像用画像を生成する。その後、ステップ８０８に移行して、ステップ８０４で生成したＡ像用画像とＢ像用画像から立体画像を生成する。
【００４７】
ステップ８０１でライブビュー表示モードに設定されていると判定された場合には、ステップ８０５に移行する。ステップ８０５では、４つの撮像素子のうち、外郭にある撮像素子７０１、７０４のみが同期して撮影するように設定される。次に、ステップ８０６において、外郭の撮像素子７０１、７０４で同時に撮影が行われる。
【００４８】
ステップ８０７では、ステップ８０６でそれぞれ撮影した画像に、選択した撮像素子の個数に応じた出力信号レベルの低下分を考慮したゲイン補正を行い、Ａ像、Ｂ像用画像を生成する。その後、ステップ８０８に移行して、ステップ８０７で生成したＡ像用画像とＢ像用画像から立体画像を生成する。
【００４９】
以上の処理を行うことで、撮像装置に搭載されている小型の表示部でライブビュー表示を行なう際に、視差量の大きな画像を取得することができ、より立体感のある画像を表示できる。
【００５０】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５１】
２００  単位画素
２０１〜２０４  光電変換部
２０５  マイクロレンズ
３０１  撮影光学系瞳
３０２  Ａ像用瞳
３０３  Ｂ像用瞳
４０１  フォトダイオード
４０２  転送スイッチ
４０３  フローティングディフュージョン
４０４  ソースフォロアＭＯＳトランジスタ
４０５  選択スイッチ
４０６  リセットスイッチ
４０７  垂直出力線
４０８  ＶＤＤ電源
５００  電流源負荷
５０１  ｃ０容量
５０２  ｃｆ容量
５０３  オペアンプ
５０４、５０５、５１２、５１３  アナログスイッチ
５１０  ｃｔｓ容量
５１１  ｃｔｎ容量
５１４  水平シフトレジスタ
５１５  読み出しアンプ
【図１】
0005984422.tif 000002
【図２】
0005984422.tif 000003
【図３】
0005984422.tif 000004
【図４】
0005984422.tif 000005
【図５】
0005984422.tif 000006
【図６】
0005984422.tif 000007
【図７】
0005984422.tif 000008
【図８】
0005984422.tif 000009