(57)【特許請求の範囲】
【請求項１】
光学像を電気信号である撮像信号に変換する撮像素子を備え、当該撮像素子が複数の単位画素を備え、前記単位画素の各々が前記光学像を前記撮像信号に変換するための複数の光電変換素子を有する撮像装置であって、
前記撮像装置で撮像を行う際、前記撮像装置の姿勢を判定する判定手段と、
前記判定手段による判定結果に応じて、前記単位画素の各々において前記複数の光電変換素子をグループ分けして複数の光電変換素子群とするグループ化手段と、
前記光電変換素子群からそれぞれ出力される撮像信号から複数の画像信号を生成する生成手段と、を有することを特徴とする撮像装置。
【請求項２】
前記判定手段は、前記撮像装置の水平面に対する傾きを検知して傾き情報を得る傾き検知手段を有し、
前記傾き情報に応じて、前記撮像装置の姿勢を判定するようにしたことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮像素子は長辺および短辺を有する長方形状であり、
前記撮像素子の長辺と水平面とがなす第１の角度と前記撮像素子の短辺と水平面とがなす第２の角度とに応じて、前記判定手段は前記撮像装置の姿勢を判定するようにしたことを特徴とする請求項１記載の撮像装置。
【請求項４】
前記単位画素は２次元マトリックス状に配置されており、さらに、前記単位画素において前記複数の光電変換素子が２次元マトリックス状に配置されており、
前記判定手段は、前記第１の角度が前記第２の角度よりも小さいと前記撮像装置の姿勢が横位置であると判定し、前記第１の角度が前記第２の角度よりも大きいと前記撮像装置の姿勢が縦位置であると判定し、
前記グループ化手段は、前記判定手段により前記撮像装置の姿勢が横位置であると判定された場合に、前記短辺に平行に配置された前記複数の光電変換素子を１つのグループとしてグループ化して前記光電変換素子群とし、前記判定手段により前記撮像装置の姿勢が縦位置であると判定された場合に、前記長辺に平行に配置された前記複数の光電変換素子を１つのグループとしてグループ化して前記光電変換素子群とすることを特徴とする請求項３記載の撮像装置。
【請求項５】
ユーザが、前記横位置および前記縦位置のいずれか一方を設定するための設定手段を有し、
前記判定手段による前記撮像装置の姿勢の判定結果に拘わらず、前記グループ化手段はユーザによる設定に応じて前記グループ化を行うことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記判定手段による判定が不能であると、判定不能である旨を表示部に表示してユーザによる設定を行うことを促す表示制御手段を有することを特徴とする請求項５記載の撮像装置。
【請求項７】
光学像を電気信号である撮像信号に変換する撮像素子を備え、当該撮像素子が複数の単位画素を備え、前記単位画素の各々が前記光学像を前記撮像信号に変換するための複数の光電変換素子を有する撮像装置を制御する方法であって、
前記撮像装置で撮像を行う際、前記撮像装置の姿勢を判定する判定ステップと、
前記判定の結果に応じて、前記単位画素の各々において前記複数の光電変換素子をグループ分けして複数の光電変換素子群とするグループ化ステップと、
前記光電変換素子群からそれぞれ出力される撮像信号から複数の画像信号を生成する生成ステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項８】
光学像を電気信号である撮像信号に変換する撮像素子を備え、当該撮像素子が複数の単位画素を備え、前記単位画素の各々が前記光学像を前記撮像信号に変換するための複数の光電変換素子を有する撮像装置を制御するための制御方法を前記撮像装置が備えるコンピュータに実行させるためのプログラムであって、
前記制御方法は、
前記撮像装置で撮像を行う際、前記撮像装置の姿勢を判定する判定ステップと、
前記判定の結果に応じて、前記単位画素の各々において前記複数の光電変換素子をグループ分けして複数の光電変換素子群とするグループ化ステップと、
前記光電変換素子群からそれぞれ出力される撮像信号から複数の画像信号を生成する生成ステップと、を有することを特徴とするプログラム。
【請求項９】
光学像を電気信号である撮像信号に変換する撮像素子を備え、当該撮像素子が複数の単位画素を備え、前記単位画素の各々が前記光学像を前記撮像信号に変換するための複数の光電変換素子を有する撮像装置を制御するための制御方法を前記撮像装置が備えるコンピュータに実行させるコンピュータ実行可能なプログラムが記録されたコンピュータで読み取り可能な記憶媒体であって、
前記制御方法は、
前記撮像装置で撮像を行う際、前記撮像装置の姿勢を判定する判定ステップと、
前記判定の結果に応じて、前記単位画素の各々において前記複数の光電変換素子をグループ分けして複数の光電変換素子群とするグループ化ステップと、
前記光電変換素子群からそれぞれ出力される撮像信号から複数の画像信号を生成する生成ステップと、を有することを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、プログラム及び記憶媒体に関し、特に、撮像装置における画像信号の生成に関する。
【背景技術】
【０００２】
近年、３Ｄ（３次元）シネマ又は３Ｄディスプレイなどの立体映像および立体映像関連機器の普及が急速に進んでいる。立体映像の撮影は、従来、フイルムカメラなどでも行われていたが、デジタルカメラ又はデジタルビデオカメラ等のデジタル撮像装置の普及に伴って、立体映像を生成する際の元となる画像も、デジタル撮像装置を用いて撮影されるようになっている。
【０００３】
立体映像を鑑賞する際に用いられる仕組みでは、対象となる物体（対象物）を左目で見た像と右目で見た像とに対応するように、左右方向に視差を有する「右目画像」と「左目画像」を用意する。そして、「右目画像」を右目で、「左目画像」を左目で見るようにする。
【０００４】
その際に用いられる手法として、所謂視差バリア方式、レンチキュラ方式などによって鑑賞対象の映像を視差分割する手法が知られている。また、左右で特性の異なるフィルタを介して左目と右目とに異なる映像を入射させるなどの手法も知られている。
【０００５】
一方、立体映像として鑑賞可能な画像を撮影する手法として、異なる視点の画像を同時に撮影するという手法が知られている。
【０００６】
例えば、固体撮像素子上に複数の微小レンズを形成し、これら微小レンズの各々に近接して、対をなすフォトダイオードを少なくとも１対配置するようにしたものがある（例えば、特許文献１参照）。ここでは、フォトダイオード対のうち一方のフォトダイオードの出力から第１の画像信号を得、さらに、他方のフォトダイオードから第２の画像信号を得る。そして、第１および第２の画像信号を、それぞれ「左目画像」および「右目画像」として用いて、立体映像を鑑賞するようにしている。
【０００７】
同様に、固体撮像素子上に複数の微小レンズを形成し、これら微小レンズの各々に対してフォトダイオードを複数配置するようにしたものがある（例えば、特許文献２参照）。ここでは、１つの微小レンズに対応して配置された複数のフォトダイオード同士がそれぞれゲートを介して接続されて、隣り合うフォトダイオード同士の信号について加算および非加算を制御するようにしている。
【０００８】
特許文献２においては、上記の固体撮像素子を用いて、撮像信号および撮像装置の焦点検出信号を得るため、通常の撮影の際には、全てのフォトダイオードから出力される信号を加算して画像信号を生成する。左右に視差を有する信号を得る際には、上下方向に隣接したフォトダイオード同士を接続し、上下に視差を有する信号を得るため、左右方向に隣接したフォトダイオード同士を接続する。そして、被写体像に応じて、被写体像の焦点検出に適したフォトダイオード同士の加算の組合せを用いて焦点検出を行っている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開昭５８−２４１０５号公報
【特許文献２】特開２００７−３２５１３９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、一般に、撮像装置によって生成された画像信号は、画像として紙などの媒体に印刷されるか、又はテレビ、モニタ、又はプロジェクタ等の表示装置に表示される。
【００１１】
ここで、デジタルカメラ又はデジタル一眼レフカメラなどの撮像装置を用いて撮影された写真の鑑賞について説明する。
【００１２】
縦横の長さが異なるフォーマットで写真を撮影する際、一般的に撮影者は、その撮影意図に応じて縦位置構図と横位置構図とを使い分けている。従って、撮影した写真を表示する際には、撮影者の意図した構図（縦位置構図又は横位置構図）で表示されることが望ましい。このことは、当然ながら立体映像を鑑賞する場合についても当てはまる。
【００１３】
立体映像を鑑賞する際には、前述したように、左右方向に視差を有する画像を、それぞれ対応する目で見ることが必要である。このため、左目で鑑賞するための画像と右目で鑑賞するための画像を用意する必要がある。
【００１４】
前述の従来技術においては、微小レンズおよびフォトダイオードを有する固体撮像素子を用いて立体映像として表示可能な複数の撮像信号を得るようにしている。しかしながら、ここでは、「左目画像」と「右目画像」とを得ることができたとしても、これら画像が撮影者の意図した構図による表示に適さない視差の方向となってしまう場合がある。
【００１５】
つまり、従来技術においては、撮影された画像が有する視差の方向が、対をなすフォトダイオードを設計の際にどのように配置するかによって決定されてしまう。
【００１６】
また、従来技術においては、撮影された画像が有する視差の方向が、被写体像に応じて選択されたフォトダイオードの加算の組合せによって決定されてしまう。つまり、ここでは、複数の画像につけられた視差の方向が撮影者の選択した構図に拘わらず決定されてしまうことになる。
【００１７】
視差の方向が撮影者の意図した構図における表示に適さなかった場合、撮影者の意図した構図で画像を表示しようとすると、例えば、２つの画像につけられた視差の方向が左右方向ではなく上下方向となって、立体像として鑑賞できなくなってしまうことになる。
【００１８】
従って、本発明の目的は、撮影者の意図した構図（縦位置構図又は横位置構図）で撮影した画像を立体像として鑑賞するための画像信号を生成することのできる撮像装置、その制御方法、プログラム及び記憶媒体を提供することにある。
【課題を解決するための手段】
【００１９】
上記の目的を達成するために、本発明による撮像装置は、光学像を電気信号である撮像信号に変換する撮像素子を備え、当該撮像素子が複数の単位画素を備え、前記単位画素の各々が前記光学像を前記撮像信号に変換するための複数の光電変換素子を有する撮像装置であって、前記撮像装置で撮像を行う際、前記撮像装置の姿勢を判定する判定手段と、前記判定手段による判定結果に応じて、前記単位画素の各々において前記複数の光電変換素子をグループ分けして複数の光電変換素子群とするグループ化手段と、前記光電変換素子群からそれぞれ出力される撮像信号から複数の画像信号を生成する生成手段と、を有することを特徴とする。
【００２０】
本発明による撮像装置の制御方法は、光学像を電気信号である撮像信号に変換する撮像素子を備え、当該撮像素子が複数の単位画素を備え、前記単位画素の各々が前記光学像を前記撮像信号に変換するための複数の光電変換素子を有する撮像装置を制御する方法であって、前記撮像装置で撮像を行う際、前記撮像装置の姿勢を判定する判定ステップと、前記判定の結果に応じて、前記単位画素の各々において前記複数の光電変換素子をグループ分けして複数の光電変換素子群とするグループ化ステップと、前記光電変換素子群からそれぞれ出力される撮像信号から複数の画像信号を生成する生成ステップと、を有することを特徴とする。
【００２１】
本発明によるプログラムは、光学像を電気信号である撮像信号に変換する撮像素子を備え、当該撮像素子が複数の単位画素を備え、前記単位画素の各々が前記光学像を前記撮像信号に変換するための複数の光電変換素子を有する撮像装置を制御するための制御方法を前記撮像装置が備えるコンピュータに実行させるためのプログラムであって、前記制御方法は、前記撮像装置で撮像を行う際、前記撮像装置の姿勢を判定する判定ステップと、前記判定の結果に応じて、前記単位画素の各々において前記複数の光電変換素子をグループ分けして複数の光電変換素子群とするグループ化ステップと、前記光電変換素子群からそれぞれ出力される撮像信号から複数の画像信号を生成する生成ステップと、を有することを特徴とする。
【発明の効果】
【００２２】
本発明によれば、撮影者（ユーザ）の意図した構図（縦位置構図又は横位置構図）で撮影した画像を立体像として鑑賞するための画像信号を生成することができるという効果がある。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態による撮像装置の一例を示すブロック図である。
【図２】図１に示す固体撮像素子の構成の一例を説明するための図であり、（Ａ）は固体撮像素３の全体の一例を示す図、（Ｂ）は撮像素子の全体の他の例を示す図、（Ｃ）は固体撮像素子の単位画素の構成の一例を示す図である。
【図３】図２に示す単位画素の構成の一例を示す回路図である。
【図４】図２に示す単位画素３ｂにおいてフォトダイオードＰＤの組合せを説明するための図であり、（Ａ）は組み合わせの一例を示す図、（Ｂ）は組み合わせの他の例を示す図である。
【図５】図２に示す固体撮像素子３の駆動を説明するためのタイミングチャートであり、（Ａ）は第１の読出しモードを説明するためのタイミングチャート、（Ｂ）は第２の読出しモードを説明するためのタイミングチャートである。
【図６】図１で説明したカメラの傾き検出を説明するための図である。
【図７】図１で説明したカメラが横位置構図であるか縦位置構図であるについて説明するための図であり、（Ａ）は横位置構図を示す図、（Ｂ）は縦位置構図を示す図である。
【図８】横位置構図および縦位置構図における画像を模式的に示す図であり、（Ａ）は図７（Ａ）の状態で得られる第１および第２の画像信号による画像を模式的に示す図、（Ｂ）は図７（Ｂ）の状態で得られる第１および第２の画像信号による画像を模式的に示す図である。
【図９】図１に示すカメラにおける撮影動作を説明するためのフローチャートである。
【図１０】図９で説明したモード判定を詳細に説明するためのフローチャートである。
【図１１】図９で説明した読出し処理を詳細に説明するためのフローチャートである。
【図１２】図９で説明した画像信号生成処理を詳細に説明するためのフローチャートである。
【図１３】図１に示すカメラの撮影動作の他の例を説明するためのフローチャートである。
【図１４】図１に示すカメラで行われるモード判定処理の他の例を説明するためのフローチャートである。
【図１５】図１に示すカメラで行われるモード判定処理のさらに他の例を説明するためのフローチャートである。
【図１６】図１に示すカメラで行われる読出し処理の他の例を説明するためのフローチャートである。
【図１７】図１に示すカメラで用いられる固体撮像素子における単位画素に含まれるフォトダイオードの数の一例を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００２５】
図１は、本発明の実施の形態による撮像装置の一例を示すブロック図である。
【００２６】
図１を参照して、図示の撮像装置（以下、単にカメラと呼ぶ）は、レンズおよび絞りなどの光学部材を有する光学系１を備えている。光学系１の後段にはメカニカルシャッタ２が配置され、このメカニカルシャッタ２は、固体撮像素子３の露光時間を制御するため遮光を行う。
【００２７】
メカニカルシャッタ２の後段に配置された固体撮像素子（例えば、ＣＭＯＳイメージセンサ）３は、固体撮像素子３上に結像された光学像（被写体像ともいう）を電気信号に変換して、撮像信号（画像信号ともいう）として出力する。
【００２８】
カメラはタイミング信号発生回路５および駆動回路６を有しており、タイミング信号発生回路５は、システム制御部１３の制御下で、固体撮像素子３などを動作させるため駆動回路６に対してタイミング信号を発生する。そして、駆動回路６は、光学系１、メカニカルシャッタ２、および固体撮像素子３を後述するようにして駆動する。
【００２９】
前述の撮像信号は信号処理回路７に与えられ、信号処理回路７は撮像信号に対して各種補正等の信号処理を行って画像データとする。そして、信号処理回路７は、内蔵する画像メモリ８に画像データを記憶する。
【００３０】
カメラには、カメラに対して着脱可能な画像記録媒体９が装着されており、この画像記録媒体９には、記録化色１０によって画像データが記録される。さらに、画像データは、表示回路１２によって画像として画像表示装置（表示部）１１に表示される。
【００３１】
カメラには、システム制御部１３が備えられており、このシステム制御部１３は、カメラ全体の制御を司る。不揮発性メモリ（ＲＯＭ）１４には、システム制御部１３で実行される制御プログラム、そして、制御プログラムを実行する際に用いられるパラメータおよびテーブル等の制御データが記憶されるとともに、画像信号に係る各種補正に用いるデータが記憶される。
【００３２】
揮発性メモリ（ＲＡＭ）１５には、不揮発性メモリ１４に記憶された制御プログラム、制御データ、および補正データが転送され、システム制御部１３は揮発性メモリ１５に転送された制御プログラム、制御データ、および補正データに応じてカメラの制御を実行する。
【００３３】
システム制御部１３には、電源スイッチ（Ｓ０）１６、撮影準備動作指示スイッチ（Ｓ１）１７、撮影動作開始スイッチ（Ｓ２）１８、およびモード判定部１９が接続されている。
【００３４】
電源スイッチ１６は、カメラ電源をオン／オフを行うためのスイッチであり、撮影準備動作指示スイッチ１７は、撮影動作を行う際、各種撮影準備動作の開始をシステム制御部１３に指示するスイッチである。また、撮影動作開始スイッチ１８は、カメラによる撮影動作開始をシステム制御部１３に指示するスイッチである。モード判定部１９は、カメラの撮影構図（以下、単に構図ともいう）を検出して、当該検出結果からそのモードを判定する。
【００３５】
図示しないが、カメラは構図選択スイッチおよびカメラ傾き検出部（傾き検出手段）を有している。ユーザは、例えば、構図選択スイッチ（ユーザ設定手段）を用いて、モード縦位置構図、横位置構図、および自動の３つ構図モードから１つを選択してユーザ設定する。
【００３６】
カメラ傾き検出部は、例えば、ジャイロスコープである。構図選択スイッチによって選択された構図モード（選択構図モード）とカメラ傾き検出部による傾き検出結果とに応じて、モード判定部１９は固体撮像素子３の信号読み出しモード又は画像処理のモードを判定する。
【００３７】
上述のカメラの構成は、本発明を実施するために必要な構成の一例であり、カメラの構成は図示の例に限定されず、種々の変形及び変更が可能である。
【００３８】
図２は、図１に示す固体撮像素子３の構成の一例を説明するための図である。そして、図２（Ａ）は固体撮像素子３の全体の一例を示す図であり、図２（Ｂ）は撮像素子３の全体の他の例を示す図である。また、図２（Ｃ）は固体撮像素子３の単位画素３ｂの構成の一例を示す図である。
【００３９】
図２（Ａ）および（Ｂ）に示すように、固体撮像素子３は、短辺および長辺を有する長方形状である。固体撮像素子３は２次元平面状の撮像面３ａ上に行列状（２次元マトリックス状）に配列された複数の単位画素３ｂを有している。
【００４０】
ここで、撮像装置に組み込まれた固体撮像素子３をカメラの正面から見た場合、カメラの底面に対して平行な軸をＸ軸、カメラの底面に対して鉛直な軸をＹ軸、そして、固体撮像素子３の表面（撮像面）に対して鉛直な軸をＺ軸と規定する。
【００４１】
固体撮像素子３の長辺がカメラの底面に平行となるように、固体撮像素子３がカメラに組み込まれるものとする。従って、固体撮像素子３の長辺に平行な軸がＸ軸、短辺に平行な軸がＹ軸となる。
【００４２】
図２（Ａ）においては、Ｘ軸は横方向に延び、Ｙ軸は縦方向に延びている。これを横位置構図と呼ぶことがある。同様に、図２（Ｂ）においては、Ｘ軸は縦方向に延び、Ｙ軸は横方向に延びている。これを縦位置構図と呼ぶことがある。
【００４３】
図２（Ｃ）に示すように、単位画素３ｂの各々は、当該単位画素３ｂに照射された光を電気信号に変換して出力する。図示の単位画素３ｂは複数のフォトダイオード（光電変換部）ＰＤ（０，０）、（０，１）、（１，０）、および（１，１）と当該フォトダイオードＰＤ（０，０）、（０，１）、（１，０）、および（１，１）上に配置されたマイクロレンズＭＬとを有している。フォトダイオードＰＤ（０，０）、（０，１）、（１，０）、および（１，１）は光を電気信号に変換する光電変換手段として機能する。また、マイクロレンズＭＬは光をフォトダイオードＰＤに集光させる集光手段として機能する。
【００４４】
図３は、図２に示す単位画素３ｂの構成の一例を示す回路図である。ここでは、個体撮像素子３はＣＭＯＳイメージセンサであるとして説明する。
【００４５】
図３を参照すると、図示の例では、位画素３ｂは、４つのフォトダイオードＰＤ（０，０）、ＰＤ（０，１）、ＰＤ（１，０）、およびＰＤ（１，１）を備えている。フォトダイオードＰＤ（０，０）、ＰＤ（０，１）、ＰＤ（１，０）、およびＰＤ（１，１）にはそれぞれ転送ＭＯＳトランジスタＭｔｘ（０，０）、Ｍｔｘ（０，１）、Ｍｔｘ（１，０）、およびＭｔｘ（１，１）が接続されている。そして、これら転送ＭＯＳトランジスタＭｔｘ（０，０）、Ｍｔｘ（０，１）、Ｍｔｘ（１，０）、およびＭｔｘ（１，１）はそれぞれフォトダイオードＰＤ（０，０）、ＰＤ（０，１）、ＰＤ（１，０）、およびＰＤ（１，１）に蓄積された電荷をＦＤ（フローティングディフュージョン）領域に転送する。
【００４６】
リセットＭＯＳトランジスタＭｒｅｓは、単位画素３ｂに蓄積された電荷を排出してリセットを行う。増幅ＭＯＤトランジスタＭｓｆはＦＤ領域へ転送された電荷に応じて電圧信号（Ｍｓｆ信号）を出力する。また、選択ＭＯＳトランジスタＭｓｅｌは電圧信号を出力する画素（つまり、ＰＤ）を選択する。
【００４７】
具体的には、フォトダイオードＰＤ（０，０）、ＰＤ（０，１）、ＰＤ（１，０）、およびＰＤ（１，１）に対して、それぞれ転送ＭＯＳトランジスタＭｔｘ（０，０）、Ｍｔｘ（０，１）、Ｍｔｘ（１，０）、およびＭｔｘ（１，１）のドレイン端が接続されている。また、転送ＭＯＳトランジスタＭｔｘのソース端はＦＤ領域に接続される。
【００４８】
転送ＭＯＳトランジスタＭｔｘ（０，０）、Ｍｔｘ（０，１）、Ｍｔｘ（１，０）、およびＭｔｘ（１，１）のゲートには、それぞれ制御信号出力部（図示せず）から出力される転送パルスＰｔｘ（０，０）、Ｐｔｘ（０，１）、Ｐｔｘ（１，０）、およびＰｔｘ（１，１）が供給される。転送パルスＰｔｘ（０，０）、Ｐｔｘ（０，１）、Ｐｔｘ（１，０）、およびＰｔｘ（１，１）によって、それぞれ転送ＭＯＳトランジスタＭｔｘ（０，０）、Ｍｔｘ（０，１）、Ｍｔｘ（１，０）、およびＭｔｘ（１，１）がアクティブ状態になる。これによって、光電変換によってフォトダイオードＰＤ（０，０）、ＰＤ（０，１）、ＰＤ（１，０）、およびＰＤ（１，１）に生じた電荷がＦＤ領域へ転送される。
【００４９】
図示の例では、転送ＭＯＳトランジスタＭｔｘ（０，０）、Ｍｔｘ（０，１）、Ｍｔｘ（１，０）、およびＭｔｘ（１，１）が独立に制御されるので、任意のフォトダイオードＰＤ（０，０）、ＰＤ（０，１）、ＰＤ（１，０）、又はＰＤ（１，１）からの出力を選択的に後段へと転送することができる。
【００５０】
また、複数のフォトダイオードフォトダイオードＰＤ（０，０）、ＰＤ（０，１）、ＰＤ（１，０）、およびＰＤ（１，１）からの出力を選択的に転送すれば、単位画素３ｂの内部で任意のフォトダイオードＰＤ（０，０）、ＰＤ（０，１）、ＰＤ（１，０）、又はＰＤ（１，１）からの出力を加算することができる。
【００５１】
増幅ＭＯＳトランジスタＭｓｆは、フォトダイオードＰＤ（０，０）、ＰＤ（０，１）、ＰＤ（１，０）、又はＰＤ（１，１）から転送された電荷信号を増幅して電圧信号として出力する。
【００５２】
選択ＭＯＳトランジスタＭｓｅｌのゲートには、制御信号出力部から出力される選択パルスＰｓｅｌが供給される。この選択パルスＰｓｅｌによって選択ＭＯＳトランジスタＭｓｅｌがアクティブ状態となって、増幅ＭＯＳトランジスタＭｓｆから出力される電圧信号が後段に出力される。この選択パルスＰｓｅｌを、所望の単位画素３ｂに対して選択的に印加すれば、任意の単位画素３ｂを選択して電圧信号を出力させることができる。
【００５３】
転送ＭＯＳトランジスタＭｔｘのドレインと増幅ＭＯＳトランジスタＭｓｆのゲートとは、リセットＭＯＳトランジスタＭｒｅｓを介して電圧源ＶＤＤに接続される。制御信号出力部からリセットＭＯＳトランジスタＭｒｅｓのゲートにリセットパルスＰｒｅｓを供給すると、リセットＭＯＳトランジスタＭｒｅｓがアクティブ状態になる。これによって、ＦＤ領域に蓄積された信号電荷を排出が排出されて、単位画素３ｂがリセットされる。
【００５４】
このように、図示の固体撮像素子３は、１つのマイクロレンズＭＬに対して、複数のフォトダイオードＰＤを有し、単位画素３ｂのうちで任意のフォトダイオードＰＤからの出力同士を加算することが可能である。但し、図示の例は一例であり、１集光手段（つまり、マイクロレンズ）に対して、複数の光電変換手段（つまり、フォトダイオード）を有する固体撮像素子であればよく、種々の変形及び変更が可能である。
【００５５】
なお、１単位画素に含まれる複数の光電変換手段の間において、複数方向の視差を生じさせるためには、フォトダイオードＰＤの数は３つ以上であることが好ましい。
【００５６】
図４は図２に示す単位画素３ｂにおいてフォトダイオードＰＤの組合せを説明するための図である。そして、図４（Ａ）は組み合わせの一例を示す図であり、図４（Ｂ）は組み合わせの他の例を示す図である。
【００５７】
図４（Ａ）は図２（Ａ）に対応する図であり、単位画素３ｂに含まれる複数のフォトダイオードＰＤ（０，０）、ＰＤ（０，１）、ＰＤ（１，０）、およびＰＤ（１，１）について、Ｘ軸方向に隣接して配置されたフォトダイオードＰＤ（０，０）およびＰＤ（１，０）をグループ化（グループ分け）して第１のＰＤ群（光電変換群）３１とする。
【００５８】
同様に、フォトダイオードＰＤ（０，１）およびＰＤ（１，１）をグループ化して、第２のＰＤ群（光電変換群）３２とする。そして、グループ化されたフォトダイオードＰＤ（つまり、第１及び第２のＰＤ群）の出力から１つの画像を生成する。これによって、Ｘ軸方向に異なる視差を有する第１及び第２の画像信号を得る。この際の読み出しモードを、以下Ｒｅａｄ  Ｏｕｔ１と呼ぶことにする。
【００５９】
つまり、ここでは、フォトダイオードＰＤ（０，０）およびＰＤ（１，０）を第１の画素群とし、第１の画素群の出力を用いて第１の画像信号を生成する。また、フォトダイオードＰＤ（０，１）およびＰＤ（１，１）を第２の画素群とし、第２の画素群の出力を用いて第２の画像信号を生成する。
【００６０】
このようにして得た第１および第２の画像信号を、それぞれ「左目画像」および「右目画像」として用いる。この場合、図２（Ａ）に示す配置の固体撮像素子３においては、後述するように、横位置構図において取得した画像信号が立体映像として鑑賞となる。
【００６１】
一方、図４（Ｂ）は図２（Ｂ）に対応する図であり、単位画素３ｂに含まれる複数のフォトダイオードＰＤ（０，０）、ＰＤ（０，１）、ＰＤ（１，０）、およびＰＤ（１，１）について、Ｙ軸方向に隣接して配置されたフォトダイオードＰＤ（０，０）およびＰＤ（０，１）をグループ化して第１のＰＤ群３１とする。同様に、フォトダイオードＰＤ（１，０）およびＰＤ（１，１）をグループ化して、第２のＰＤ群３２とする。そして、グループ化されたフォトダイオードＰＤ（つまり、第１及び第２のＰＤ群）の出力から１つの画像を生成する。これによって、Ｙ軸方向に異なる視差を有する第１及び第２の画像信号を得る。この際の読み出しモードを、以下Ｒｅａｄ  Ｏｕｔ２と呼ぶことにする。
【００６２】
つまり、ここでは、フォトダイオードＰＤ（０，０）およびＰＤ（０，１）を第１の画素群とし、第１の画素群の出力を用いて第１の画像信号を生成する。また、フォトダイオードＰＤ（１，０）およびＰＤ（１，１）を第２の画素群とし、第２の画素群の出力を用いて第２の画像信号を生成する。
【００６３】
このようにして得た第１および第２の画像信号を、それぞれ「左目画像」および「右目画像」として用いる。この場合、図４（Ａ）に示す状態から９０°回転した視点による立体映像を鑑賞することができる。つまり、図２（Ｂ）に示す配置の固体撮像素子３においては、後述するように、縦位置構図において取得した画像信号が立体映像として鑑賞となる。
【００６４】
図５は図２に示す固体撮像素子３の駆動を説明するためのタイミングチャートである。そして、図５（Ａ）は第１の読出しモード（Ｒｅａｄ  Ｏｕｔ１）を説明するためのタイミングチャートであり、図５（Ｂ）は第２の読出しモード（Ｒｅａｄ  Ｏｕｔ２）を説明するためのタイミングチャートである。
【００６５】
まず、図５（Ａ）を参照して、ここでは、図４（Ａ）に示すように、Ｙ軸方向に隣接したフォトダイオードＰＤ（０，０）およびＰＤ（１，０）、フォトダイオードＰＤ（０，１）およびＰＤ（１，１））の出力をそれぞれ加算して読み出す。
【００６６】
以下の説明では、Ｎ（Ｎは２以上の整数）番目の単位画素群の読み出し動作について説明する。ここで、単位画素群は、複数の単位画素からなり、制御パルスが同一のタイミングで供給される。そして、時間Ｔ０〜Ｔ１５までの動作において、単位画素群について同時に読み出し動作が行われる。そして、単位画素群毎に順次読み出し動作を行うことによって、固体撮像素子３の全ての画素からその出力を読み出す。
【００６７】
１つの単位画素に注目してみると、単位画素に含まれるフォトダイオードＰＤを複数のＰＤ群に分割して、ＰＤ群ごとに異なるタイミングで順々に読出しを行う。つまり、図５（Ａ）に示すでは、単位画素に含まれるフォトダイオードＰＤを２つのＰＤ群に分割して、第１のＰＤ群および第２のＰＤ群の順に読出し動作を行う。
【００６８】
まず、時刻Ｔ０において、選択パルスＰｓｅｌがＨレベルになると、選択ＭＯＳトランジスタＭｓｅｌがアクティブ状態となる。これによって、信号読み出しが行われる単位画素群が、後段に位置する読み出し回路に電気的に接続される。信号読み出しが行われる単位画素群が選択されると、まず、第１のＰＤ群３１から信号読出しが行われる。
【００６９】
時刻Ｔ１において、フォトダイオードＰＤから、信号転送前のＦＤ領域の電荷に応じた電圧レベルが、第１の基準信号として読み出し回路の基準信号保持部に保持される。
【００７０】
時刻Ｔ２で、転送パルスＰｔｘ（０，０）およびＰｔｘ（１，０）がＨレベルとなって、転送ＭＯＳトランジスタＭｔｘ（０，０）および、Ｍｔｘ（１，０）がアクティブ状態になる。この結果、第１のＰＤ群３２であるフォトダイオードＰＤ（０，０）およびＰＤ（１，０）が選択され、フォトダイオードＰＤ（０，０）およびＰＤ（１，０）に保持された信号電荷のＦＤ領域への転送が開始される。
【００７１】
時刻Ｔ３において、転送パルスＰｔｘ（０，０）およびＰｔｘ（１，０）がロー（Ｌ）レベルとなって、転送ＭＯＳトランジスタＭｔｘ（０，０）およびＭｔｘ（１，０）が非アクティブ状態になる。これによって第１のＰＤ群からＦＤ領域に対する信号電荷の転送が終了する。
【００７２】
時刻Ｔ４において、ＦＤ領域に転送された電荷に応じた電圧レベルが、第１のＰＤ群の蓄積信号として、読み出し回路の蓄積信号保持部（図示せず）に保持される。
【００７３】
このようにして、第１のＰＤ群の信号読出しが完了する。なお、保持された第１のＰＤ群の蓄積信号と第１の基準信号との差分に応じて、差分回路（図示せず）によって差分信号を得て、この差分信号を、第１の画像信号の生成に用いる。
【００７４】
次に、第２のＰＤ群の読み出し動作に備えて、ＦＤ領域および第１のＰＤ群の電荷がリセットされる。
【００７５】
時刻Ｔ５において、リセットパルスＰｒｅｓがＨレベルになって、リセットＭＯＳトランジスタＭｒｅｓがアクティブ状態になる。さらに、転送パルスＰｔｘ（０，０）およびＰｔｘ（１，０）がハイレベルとなって、転送ＭＯＳトランジスタＭｔｘ（０，０）およびＭｔｘ（１，０）がアクティブ状態になる。そして、ＦＤ領域および信号の読出しが完了したフォトダイオードＰＤ（０，０）およびＰＤ（１，０）がリセットされる。
【００７６】
時刻Ｔ６において、転送パルスＰｔｘ（０，０）およびＰｔｘ（１，０）がＬレベルとなって、転送ＭＯＳトランジスタＭｔｘ（０，０）およびＭｔｘ（１，０）とが非アクティブ状態になる。これによって、フォトダイオードＰＤ（０，０）およびＰＤ（１，０）のリセット状態が終了する。
【００７７】
時刻Ｔ７において、リセットパルスＰｒｅｓがＬレベルとなって、リセットＭＯＳトランジスタＭｒｅｓが非アクティブ状態になる。これによって、ＦＤ領域のリセット状態が終了する。
【００７８】
続いて、ＦＤ領域および第１のＰＤ群のリセットが完了した後、第２のＰＤ群からの信号読み出しが行われる。
【００７９】
時刻Ｔ８において、フォトダイオードＰＤから、信号転送前のＦＤ領域の電荷に応じた電圧レベルが、第２の基準信号として基準信号保持部に保持される。
【００８０】
時刻Ｔ９において、転送パルスＰｔｘ（０，１）およびＰｔｘ（１，１）がＨレベルとなって、転送ＭＯＳトランジスタＭｔｘ（０，１）およびＭｔｘ（１，１）がアクティブ状態になる。この結果、第２のＰＤ群３２であるフォトダイオードＰＤ（０，１）およびＰＤ（１，１）が選択されて、フォトダイオードＰＤ（０，１）およびＰＤ（１，１）に保持された信号電荷のＦＤ領域への転送が開始される。
【００８１】
時刻Ｔ１０において、転送パルスＰｔｘ（０，１）およびＰｔｘ（１，１）がＬレベルとなって、転送ＭＯＳトランジスタＭｔｘ（０，１）およびＭｔｘ（１，１）が非アクティブ状態になる。これによって、第２のＰＤ群３２からＦＤ領域への信号電荷転送が終了する。
【００８２】
時刻Ｔ１１において、第２のＰＤ群３２からＦＤ領域に転送された電荷に応じた電圧レベルが蓄積信号として、第２のＰＤ群の信号として蓄積信号保持部に保持される。
【００８３】
このようにして、第２のＰＤ群３２の信号読出しが完了する。なお、第２のＰＤ群の蓄積信号と第２の基準信号の差分に応じて差分回路によって差分信号を得て、この差分信号が第２の画像信号の生成に用いられる。最後に、ＦＤ領域および第２のＰＤ群の電荷をリセットする。
【００８４】
時刻Ｔ１２において、リセットパルスＰｒｅｓがＨレベルになって、リセットＭＯＳトランジスタＭｒｅｓがアクティブ状態になる。さらに、転送パルスＰｔｘ（０，１）およびＰｔｘ（１，１）がＨレベルとなって、転送ＭＯＳトランジスタＭｔｘ（０，１）およびＭｔｘ（１，１）がアクティブ状態になる。そして、ＦＤ領域と信号の読出しが完了したフォトダイオードＰＤ（０，１）およびＰＤ（１，１）とがリセットされる。
【００８５】
時刻Ｔ１３において、選択パルスＰｓｅｌがＬレベルとなって、選択ＭＯＳトランジスタＭｓｅｌが非アクティブ状態となる。これによって、信号読み出しの終了した単位画素群が読み出し回路から電気的に切断される。
【００８６】
時刻Ｔ１４において、転送パルスＰｔｘ（０，１）およびＰｔｘ（１，１）がＬレベルとなって、転送ＭＯＳトランジスタＭｔｘ（０，１）およびＭｔｘ（１，１）が非アクティブ状態になる。これによって、フォトダイオードＰＤ（０，１）およびＰＤ（１，１）のリセットが終了する。
【００８７】
時刻Ｔ１５において、リセットパルスＰｒｅｓがＬレベルとなって、リセットＭＯＳトランジスタＭｒｅｓが非アクティブ状態になる。これによって、ＦＤ領域のリセットが終了する。このようにして、Ｎ番目の単位画素群の読み出し動作が全て完了する。
【００８８】
このようにして、Ｎ番目の単位画素群の読み出し動作が全て完了する。なお、ここでは、第１のＰＤ群３１について先に読み出しを行い、続いて第２のＰＤ群３２について読み出しを行っているが、第２のＰＤ群３２、そして、第１のＰＤ群３１の順で読出しを行うようにしてもよい。
【００８９】
また、電荷の蓄積開始前に行う各ＰＤ群のリセットのタイミング（図示せず）は同時に行うようにしてもよいが、ＰＤ群同士の蓄積期間の長さを揃えるためには、各ＰＤ群からの電荷転送タイミングに合わせて、リセットのタイミングをずらすようにするとよい。
【００９０】
または、ＰＤ群同士の蓄積期間の長さおよびタイミングを揃えるため、転送ＭＯＳトランジスタＭｔｘとＦＤ領域との間に、各フォトダイオードＰＤの信号電荷を保持するためのメモリを設けるようにしてもよい。この場合、フォトダイオードＰＤにおける電荷蓄積前のリセット、蓄積、そして、メモリへの電荷転送までについて、全てのフォトダイオードＰＤにおいて同時に行って、加算を行うべきフォトダイオードＰＤの出力について、メモリからＦＤ領域に対する電荷転送を同時に行うようにすればよい。
【００９１】
ここでは、同一のＰＤ群に備えられたフォトダイオードＰＤ同士の出力を、単位画素において加算して読み出す際の駆動について説明したが、各フォトダイオードＰＤからの出力を単位画素において加算せずに、読み出すこともできる。
【００９２】
各フォトダイオードＰＤからその出力を、単位画素において加算せずに読み出す場合には、転送パルスＰｔｘを単独に制御して、各フォトダイオードＰＤからから別々のタイミングで出力させるようにすればよい。このようにして得た信号（出力）を用いて、後段で加算するようにしても、第１のＰＤ群の信号および第２のＰＤ群の信号を得ることができる。そして、Ｘ軸方向に異なる視差を有する第１および第２の画像信号を得ることができる。
【００９３】
この読み出しをＲｅａｄ  ｏｕｔ１として用いても、目的とする横位置構図で鑑賞可能な立体映像を得ることができる。なお、ここで、後段とは、固体撮像素子３に設けられた読み出し回路又は信号処理回路７を意味し、これらのいずれかに信号加算回路が含まれる。
【００９４】
また、各ＰＤ群に対して当該ＰＤ群に印加される転送パルスＭｔｘのうちいずれか一方を印加するようにすれば、各ＰＤ群において当該ＰＤ群に含まれるフォトダイオードＰＤのうち、いずれか一方の信号（出力）を選択的に読み出すことができる。このようにして得た信号（出力）を用いるようにしても、Ｘ軸方向に異なる視差を有する第１および第２の画像信号を得ることができる。このような読出しを行っても、横位置構図で鑑賞可能な立体映像を得ることができる。
【００９５】
続いて、図５（Ｂ）を参照して、ここでは、図４（Ｂ）に示すように、Ｘ軸方向に隣接したフォトダイオードＰＤ（０，０）およびＰＤ（０，１）、フォトダイオードＰＤ（１，０）およびＰＤ（１，１））の出力をそれぞれ加算して読み出す。
【００９６】
まず、時刻Ｔ０において、選択パルスＰｓｅｌがハイ（Ｈ）レベルになると、選択ＭＯＳトランジスタＭｓｅｌがアクティブ状態となる。これによって、信号読み出しが行われる単位画素群が、後段に位置する読み出し回路（図示せず）に電気的に接続される。信号読み出しが行われる単位画素群が選択されると、まず、第１のＰＤ群３１から信号読出しが行われる。
【００９７】
時刻Ｔ１において、フォトダイオードＰＤから、信号転送前のＦＤ領域の電荷に応じた電圧レベルが、第１の基準信号として読み出し回路の基準信号保持部（図示せず）に保持される。
【００９８】
続いて、時刻Ｔ２で、転送パルスＰｔｘ（０，０）およびＰｔｘ（０，１）がＨレベルとなって、転送ＭＯＳトランジスタＭｔｘ（０，０）および、Ｍｔｘ（０，１）がアクティブ状態になる。この結果、第１のＰＤ群３２であるフォトダイオードＰＤ（０，０）およびＰＤ（０，１）が選択され、フォトダイオードＰＤ（０，０）およびＰＤ（０，１）に保持された信号電荷のＦＤ領域への転送が開始される。
【００９９】
時刻Ｔ３において、転送パルスＰｔｘ（０，０）およびＰｔｘ（０，１）がロー（Ｌ）レベルとなって、転送ＭＯＳトランジスタＭｔｘ（０，０）およびＭｔｘ（０，１）が非アクティブ状態になる。これによって第１のＰＤ群３１からＦＤ領域に対する信号電荷の転送が終了する。
【０１００】
時刻Ｔ４において、ＦＤ領域に転送された電荷に応じた電圧レベルが、第１のＰＤ群の蓄積信号として、読み出し回路の蓄積信号保持部（図示せず）に保持される。
【０１０１】
このようにして、第１のＰＤ群の信号読出しが完了する。なお、保持された第１のＰＤ群の蓄積信号と第１の基準信号との差分に応じて、差分回路（図示せず）によって差分信号を得て、この差分信号を、第１の画像信号の生成に用いる。
【０１０２】
次に、第２のＰＤ群の読み出し動作に備えて、ＦＤ領域および第１のＰＤ群の電荷がリセットされる。
【０１０３】
時刻Ｔ５において、リセットパルスＰｒｅｓがＨレベルになって、リセットＭＯＳトランジスタＭｒｅｓがアクティブ状態になる。さらに、転送パルスＰｔｘ（０，０）およびＰｔｘ（０，１）がハイレベルとなって、転送ＭＯＳトランジスタＭｔｘ（０，０）およびＭｔｘ（０，１）がアクティブ状態になる。そして、ＦＤ領域および信号の読出しが完了したフォトダイオードＰＤ（０，０）およびＰＤ（０，１）がリセットされる。
【０１０４】
時刻Ｔ６において、転送パルスＰｔｘ（０，０）およびＰｔｘ（０，１）がＬレベルとなって、転送ＭＯＳトランジスタＭｔｘ（０，０）およびＭｔｘ（０，１）とが非アクティブ状態になる。これによって、フォトダイオードＰＤ（０，０）およびＰＤ（０，１）のリセット状態が終了する。
【０１０５】
時刻Ｔ７において、リセットパルスＰｒｅｓがＬレベルとなって、リセットＭＯＳトランジスタＭｒｅｓが非アクティブ状態になる。これによって、ＦＤ領域のリセット状態が終了する。
【０１０６】
続いて、ＦＤ領域および第１のＰＤ群のリセットが完了した後、第２のＰＤ群からの信号読み出しが行われる。
【０１０７】
時刻Ｔ８において、フォトダイオードＰＤから、信号転送前のＦＤ領域の電荷に応じた電圧レベルが、第２の基準信号として基準信号保持部に保持される。
【０１０８】
時刻Ｔ９において、転送パルスＰｔｘ（１，０）およびＰｔｘ（１，１）がＨレベルとなって、転送ＭＯＳトランジスタＭｔｘ（１，０）およびＭｔｘ（１，１）がアクティブ状態になる。この結果、第２のＰＤ群３２であるフォトダイオードＰＤ（１，０）およびＰＤ（１，１）が選択されて、フォトダイオードＰＤ（１，０）およびＰＤ（１，１）に保持された信号電荷のＦＤ領域への転送が開始される。
【０１０９】
時刻Ｔ１０において、転送パルスＰｔｘ（１，０）およびＰｔｘ（１，１）がＬレベルとなって、転送ＭＯＳトランジスタＭｔｘ（１，０）およびＭｔｘ（１，１）が非アクティブ状態になる。これによって、第２のＰＤ群３２からＦＤ領域への信号電荷転送が終了する。
【０１１０】
時刻Ｔ１１において、第２のＰＤ群３２からＦＤ領域に転送された電荷に応じた電圧レベルが蓄積信号として、第２のＰＤ群の信号として蓄積信号保持部に保持される。
【０１１１】
このようにして、第２のＰＤ群３２の信号読出しが完了する。なお、第２のＰＤ群の蓄積信号と第２の基準信号の差分に応じて差分回路によって差分信号を得て、この差分信号が第２の画像信号の生成に用いられる。最後に、ＦＤ領域および第２のＰＤ群の電荷をリセットする。
【０１１２】
時刻Ｔ１２において、リセットパルスＰｒｅｓがＨレベルになって、リセットＭＯＳトランジスタＭｒｅｓがアクティブ状態になる。さらに、転送パルスＰｔｘ（１，０）およびＰｔｘ（１，１）がＨレベルとなって、転送ＭＯＳトランジスタＭｔｘ（１，０）およびＭｔｘ（１，１）がアクティブ状態になる。そして、ＦＤ領域と信号の読出しが完了したフォトダイオードＰＤ（１，０）およびＰＤ（１，１）とがリセットされる。
【０１１３】
時刻Ｔ１３において、選択パルスＰｓｅｌがＬレベルとなって、選択ＭＯＳトランジスタＭｓｅｌが非アクティブ状態となる。これによって、信号読み出しの終了した単位画素群が読み出し回路から電気的に切断される。
【０１１４】
時刻Ｔ１４において、転送パルスＰｔｘ（１，０）およびＰｔｘ（１，１）がＬレベルとなって、転送ＭＯＳトランジスタＭｔｘ（１，０）およびＭｔｘ（１，１）が非アクティブ状態になる。これによって、フォトダイオードＰＤ（１，０）およびＰＤ（１，１）のリセットが終了する。
【０１１５】
時刻Ｔ１５において、リセットパルスＰｒｅｓがＬレベルとなって、リセットＭＯＳトランジスタＭｒｅｓが非アクティブ状態になる。これによって、ＦＤ領域のリセットが終了する。
【０１１６】
各フォトダイオードＰＤからその出力を、単位画素において加算せずに読み出す場合には、転送パルスＰｔｘを単独に制御して、各フォトダイオードＰＤからから別々のタイミングで出力させるようにすればよい。このようにして得た信号（出力）を用いて、後段で加算するようにしても、第１のＰＤ群の信号および第２のＰＤ群の信号を得ることができる。そして、Ｙ軸方向に異なる視差を有する第１および第２の画像信号を得ることができる。
【０１１７】
この読み出しをＲｅａｄ  ｏｕｔ２として用いても、目的とする縦位置構図で鑑賞可能な立体映像を得ることができる。なお、ここで、後段とは、固体撮像素子３に設けられた読み出し回路又は信号処理回路７を意味し、これらのいずれかに信号加算回路が含まれる。
【０１１８】
また、各ＰＤ群に対して当該ＰＤ群に印加される転送パルスＭｔｘのうちいずれか一方を印加するようにすれば、各ＰＤ群において当該ＰＤ群に含まれるフォトダイオードＰＤのうち、いずれか一方の信号（出力）を選択的に読み出すことができる。このようにして得た信号（出力）を用いるようにしても、Ｙ軸方向に異なる視差を有する第１および第２の画像信号を得ることができる。このような読出しを行っても、縦位置構図で鑑賞可能な立体映像を得ることができる。
【０１１９】
図６は図１で説明したカメラの傾き検出を説明するための図である。
【０１２０】
前述したように、カメラ６０１は構図選択スイッチおよびカメラ傾き検出部を有している。いま、図６において、水平面を基準とし、固体撮像素子３のＸ軸と水平面との角度（傾き角度：第１の角度）の絶対値｜θｘ｜と固体撮像素子３のＹ軸と水平面との傾き角度（第２の角度）の絶対値｜θｙ｜とを辛め傾き検出部によって検出する。
【０１２１】
ここで、０°≦｜θｘ｜≦９０°、０°≦｜θｙ｜≦９０°とし、絶対値｜θｘ｜および｜θｙ｜を比較器（図示せず）によって比較した際、例えば、｜θｙ｜＞｜θｘ｜であれば、システム制御部１３はユーザが意図する構図が横位置構図であると判定する。一方、｜θｙ｜＜｜θｘ｜であれば、システム制御部１３はユーザが意図する構図が縦位置構図であると判定する。
【０１２２】
図７は、図１で説明したカメラが横位置構図であるか縦位置構図であるについて説明するための図である。そして、図７（Ａ）は横位置構図を示す図であり、図７（Ｂ）縦横位置構図を示す図である。
【０１２３】
また、図８は横位置構図および縦位置構図における画像を模式的に示す図である。そして、図８（Ａ）は図７（Ａ）の状態で得られる第１および第２の画像信号による画像を模式的に示す図であり、図８（Ｂ）は図７（Ｂ）の状態で得られる第１および第２の画像信号による画像を模式的に示す図である。
【０１２４】
例えば、図７（Ａ）に示すように、｜θｘ｜＝９０°および｜θｙ｜＝０°である場合には、システム制御部１３は縦位置構図であると判定する。そして、システム制御部１３は、図８（Ａ）に示す第１および第２の画像信号を生成するため、読み出しモードとしてＲｅａｄ  Ｏｕｔ１を選択する。
【０１２５】
一方、図７（Ｂ）に示すように｜θｘ｜＝０°および｜θｙ｜＝９０°である場合には、システム制御部１３は横位置構図であると判定する、そして、システム制御部１３は図８（Ｂ）に示す第１および第２の画像信号を生成するため、読み出しモードとしてＲｅａｄ  Ｏｕｔ２を選択する。
【０１２６】
なお、｜θｙ｜＝｜θｘ｜である際には、どちら側にも傾いていない状態であり、この場合には、システム制御部１３は判定不能とする。｜θｙ｜＝｜θｘ｜の場合とは、例えば、カメラ６０１の傾きがちょうど構図の切り替わりポイントに等しいような場合である。
【０１２７】
さらに、絶対値｜θｙ｜および｜θｘ｜が双方とも０°である場合にも、システム制御部１３は判定不能とする。絶対値｜θｙ｜および｜θｘ｜が双方とも０°である場合とは、例えば、カメラ６０１が真上又は真下を向いているような場合である。
【０１２８】
なお、判定不能とする条件には、ユーザがカメラ６０１を構えた際における誤差分を加味して、幅を持たせるようにしもよい。例えば、角度±αを構えの誤差分として加味する場合、｜θｙ｜＝｜θｘ｜±αの場合に判定不能とする。
【０１２９】
ここでは、｜θｙ｜＝｜θｘ｜となるポイントを構図の切り替わりポイントとしたが、例えば、傾き検知部の検知結果に応じてモニタの縦横表示の切り替わりポイントと同様のポイントを構図の切り替わりポイントとするようにしてもよい。
【０１３０】
さらに、固体撮像素子３の撮像領域のうち画像信号の生成に用いられる領域のアスペクト比に応じて、切り替わりポイントを異ならせるようにしてもよい。例えば、アスペクト比が３：２で、Ｘ軸方向に固体撮像素子３の撮像領域の長辺を配置した場合には、｜θｙ｜＝｜θｘ｜×２／３となるポイントで構図の切り替えを行うようにしてもよい。
【０１３１】
ここで、図１に示すカメラの動作について詳細に説明する。
【０１３２】
図９は、図１に示すカメラにおける撮影動作を説明するためのフローチャートである。
【０１３３】
図１および図９を参照して、まず、システム制御部１３は構図モードＭに初期値を設定する（ステップＳ９０１）。ここでは、システム制御部１３は、例えば、横位置構図を示すＭｏｄｅ１を初期値として設定する。続いて、システム制御部１３は、後述するモード判定を行う（ステップＳ９０２）。
【０１３４】
次に、システム制御部１３は撮影準備動作指示スイッチ（Ｓ１）１７がオンされたか否かについて判定する（ステップＳ９０３）。撮影準備動作指示スイッチ１７がオンされないと（ステップＳ９０３において、ＮＯ）、システム制御部１３はステップＳ９０２に戻る。
【０１３５】
一方、撮影準備動作指示スイッチ１７がオンされる（ステップＳ９０３において、ＹＥＳ）、システム制御部１３は撮影開始指示スイッチ（レリーズスイッチ）１８がオンされたか否かについて判定する（ステップＳ９０４）。レリーズスイッチ（Ｓ２）がオンされないと（ステップＳ９０４において、ＮＯ）、システム制御部１３は待機する。
【０１３６】
レリーズスイッチ（Ｓ２）がオンされると（ステップＳ９０４において、ＹＥＳ）、システム制御部１３は駆動回路６を制御して、固体撮像素子３に対する信号電荷の蓄積を開始する（ステップＳ９０５）。そして、システム制御部１３は再度モード判定を行う（ステップＳ９０６）。
【０１３７】
続いて、システム制御部１３は駆動回路６を制御して固体撮像素子３に対する信号電荷の蓄積を終了する（ステップＳ９０７）。そして、システム制御部１３は駆動回路６を制御して固体撮像素子３に蓄積された信号電荷（電圧信号）の読出しを行う（ステップＳ９０８）。次に、システム制御部１３の制御下で、信号処理装置７が読み出した電圧信号に応じて画像信号の生成を行う（ステップＳ９０９）。そして、この画像信号は画像データとして記録回路１０によって記録媒体に保存される（ステップＳ９１０）。
【０１３８】
続いて、システム制御部１３はレリーズスイッチ（Ｓ２）１８がオンされているか否かについて判定する（ステップＳ９１１）。レリーズスイッチ１８がオンされていると（ステップＳ９１１において、ＹＥＳ）、システム制御部１３はステップＳ９０５に戻る。
【０１３９】
一方、レリーズスイッチ１８がオンされていないと（ステップＳ９１１において、ＮＯ）、システム制御部１３は撮影準備動作指示スイッチ（Ｓ１）１７がオンされたか否かについて判定する（ステップＳ９１２）。スイッチＳ１がオンされていると（ステップＳ９１２において、ＹＥＳ）、システム制御部１３はステップＳ９０４に戻る。
【０１４０】
スイッチＳ１がオンされていないと（ステップＳ９１２において、ＮＯ）、システム制御部１３は撮影動作を終了する。
【０１４１】
図１０は、図９で説明したモード判定（ステップＳ９０２およびＳ９０６）を詳細に説明するためのフローチャートである。
【０１４２】
図１および図１０を参照して、モード判定を開始すると、まず、システム制御部１３は取得する画像が動画像であるか又は静止画像であるかについて判定する（ステップＳ１００１）。カメラが動画像取得モードである場合には、取得する画像は動画像である。また、カメラが静止画像取得モードである場合には、取得する画像は静止画像である。
【０１４３】
取得する画像が動画像であると（ステップＳ１００１において、動画像）、システム制御部１３は構図モードＭとしてＭｏｄｅ１を設定して（ステップＳ１００２）、モード判定を終了する。そして、システム制御部１３は図９に示すステップＳ９０３又はＳ９０７に進む。
【０１４４】
取得する画像が静止画像であると（ステップＳ１００１において、静止画像）、システム制御部１３は、カメラの傾き（傾き情報）を取得する（ステップＳ１００３）。つまり、システム制御部１３は、前述の傾き検出部から固体撮像素子３に係るＸ軸およびＹ軸の傾き角度の絶対値｜θｘ｜および｜θｙ｜を取得する。
【０１４５】
続いて、システム制御部１３は傾き情報に応じて、ユーザが意図する構図が横位置構図であるか否かについて判定する（ステップＳ１００４）。例えば、｜θｙ｜＞｜θｘ｜であれば、システム制御部１３は横位置構図であると判定する。
【０１４６】
構図が横位置構図であると（ステップＳ１００４において、ＹＥＳ）、システム制御部１３は構図モードＭとしてＭｏｄｅ１を設定する（ステップＳ１００５）。そして、システム制御部１３は図９に示すステップＳ９０３又はＳ９０７に進む。
【０１４７】
構図が横位置構図でないと（ステップＳ１００４において、ＮＯ）、システム制御部１３はユーザが意図する構図が縦位置構図であるか否かについて判定する（ステップＳ１００６）。例えば、｜θｙ｜＜｜θｘ｜であれば、システム制御部１３は、ユーザの意図する構図が縦位置構図であると判定する。
【０１４８】
構図が縦位置構図であると（ステップＳ１００６において、ＹＥＳ）、システム制御部１３は構図モードＭとしてＭｏｄｅ２を設定して（ステップＳ１００７）、モード判定を終了する。そして、システム制御部１３は図９に示すステップＳ９０３又はＳ９０７に進む。
【０１４９】
一方、構図が縦位置構図でないと（ステップＳ１００６において、ＮＯ）、システム制御部１３は判定不能とする。そして、システム制御部１３は構図モードＭとして前回設定された設定値を再度設定する（ステップＳ１００８：Ｍ＝Ｍ）。そして、システム制御部１３はモード判定を終了して、図９に示すステップＳ９０３又はＳ９０７に進む。
【０１５０】
図１１は、図９で説明した読出し処理（ステップＳ９０８）を詳細に説明するためのフローチャートである。
【０１５１】
図１および図１１を参照して、読出し処理が開始されると、システム制御部１３は、構図モードＭがＭｏｄｅ１であるかＭｏｄｅ２であるかについて判定する（ステップＳ１１０１）。構図モードＭがＭｏｄｅ１であると（ステップＳ１１０１において、Ｍｏｄｅ１）、システム制御部１３は読み出しモードをＲｅａｄ  Ｏｕｔ１として（ステップＳ１００２）、固体撮像素子３から信号読出しを行って、読出し処理を終了する。そして、システム制御部１３は図９に示すステップＳ９０９に進む。
【０１５２】
一方、構図モードＭがＭｏｄｅ２であると（ステップＳ１１０１において、Ｍｏｄｅ２）、システム制御部１３は読み出しモードをＲｅａｄ  Ｏｕｔ２として（ステップＳ１００３）、固体撮像素子３から信号読出しを行って、読出し処理を終了する。そして、システム制御部１３は図９に示すステップＳ９０９に進む。
【０１５３】
図１２は、図９で説明した画像信号生成処理（ステップＳ９０９）を詳細に説明するためのフローチャートである。
【０１５４】
図１および図１２を参照して、信号処理回路７は、システム制御部１３の制御下で第１のＰＤ群から得た電圧信号に応じて第１の画像信号を生成する（ステップＳ１２０１）。続いて、信号処理回路７は、システム制御部１３の制御下で第２のＰＤ群から得た電圧信号に応じて第２の画像信号を生成して（ステップＳ１２０２）、画像信号生成処理を終了する。そして、システム制御部１３は図９に示すステップＳ９１０に進む。
【０１５５】
なお、第１の画像信号生成と第２の画像信号生成ステップとは、逆の順序で行ってもよく、また、同時に行うようにしてもよい。
【０１５６】
上述したようにして、カメラを動作させれば、ユーザによる指示又は操作なしに、ユーザが意図した構図で立体映像として鑑賞可能な画像を生成することができる。
【０１５７】
上述の例では、図９に示すステップＳ９０２およびＳ９０６において、同一のモード判定処理を行うようにした。これによって、動画像の取得中に静止画像を撮影しようとした場合、動画像は必ず横位置に適した読み出しモードが選択されることになるが、静止画像についてはユーザの選択した構図に最適な読み出しモードが選択されるようになる。
【０１５８】
また、図９に示すステップＳ９０２およびＳ９０６において、取得画像が動画像および静止画像のいずれであるかについての判定は行わなくてもよい。これによって、例えば、画像表示装置１１が縦位置構図の動画像を表示可能であった場合に、縦位置構図で取得された動画像を縦位置構図で表示すれば、立体映像として鑑賞可能な動画像を生成することができる。
【０１５９】
さらに、図９に示すステップＳ９０２で説明したモード判定の結果、取得画像が静止画像であれば、ステップＳ９０６でモード判定を行い、取得画像が動画像であれば、ステップＳ９０６のモード判定を行わないようにしてもよい。これによって、動画像取得の際の処理を簡略化することができる。
【０１６０】
上述例では、｜θｙ｜＝｜θｘ｜の際、構図判定不能として前回の判定結果を用いるようにしたが、前回の判定結果を用いることなく、毎回必ずいずれかのモードに判定するようにしてもよい。
【０１６１】
例えば｜θｙ｜≧｜θｘ｜を横位置構図と判定するようにして、判定不能領域をなくして、必ずいずれかの構図に判定を行うようにしてもよい。この場合、初期値の設定（図９のステップＳ９０１）、縦位置構図の判定（図１０のステップＳ１００６）、および前回の判定結果の設定（図１０のステップＳ１００８）は不要である。つまり、ステップＳ１００４において横位置構図ではないと判定したら、ステップＳ１００７に進めばよい。
【０１６２】
なお、図９に示すステップＳ９１１において、レリーズスイッチ１８の状態を判定した際に、レリーズスイッチ１８がオンの状態が継続していた場合には、システム制御部１３は連写撮影のため構図の変更が無いものと判定するようにしてもよい。この際には、システム制御部１３は次フレームの電荷蓄積中における判定を行わず、直前の判定結果に従うようにしてもよい。
【０１６３】
この場合の撮影動作について、図１３を参照して説明する。
【０１６４】
図１３は図１に示すカメラの撮影動作の他の例を説明するためのフローチャートである。なお、図１３において、図９で説明したステップと同一のステップについては同一の参照符号を付し、説明を省略する。
【０１６５】
図１および図１３を参照して、ステップＳ９１１において、レリーズスイッチ１８のオン状態を継続している判定すると（ステップＳ９１１において、ＹＥＳ）、システム制御部１３は駆動回路６を制御して固体撮像素子１３に対する信号電荷の蓄積を開始する（ステップＳ１３０１）。そして、システム制御部１３はステップＳ９０７に進む。
【０１６６】
このようにすれば、連写撮影の際には、次フレームの電荷蓄積中に構図判定を行わずに、直前の判定結果を用いて撮影を行う。これによって、連写撮影時の処理を簡略化することができる。
【０１６７】
続いて、本発明の実施の形態によるカメラの他の例について説明する。なお、カメラ自体の構成は図１に示す構成と同様であり、撮影動作における処理についても図９に示す処理と同様である。ここでは、モード判定処理が異なるので、モード判定処理について説明する。
【０１６８】
図１４は図１に示すカメラで行われるモード判定処理の他の例を説明するためのフローチャートである。
【０１６９】
図１および図１４を参照して、モード判定を開始すると、まず、システム制御部１３は取得する画像が動画像であるか又は静止画像であるかについて判定する（ステップＳ１４０１）。取得する画像が動画像であると（ステップＳ１４０１において、動画像）、システム制御部１３は構図モードＭとしてＭｏｄｅ１を設定して（ステップＳ１４０２）、モード判定を終了する。そして、システム制御部１３は図９に示すステップＳ９０３又はＳ９０７に進む。
【０１７０】
取得する画像が静止画像であると（ステップＳ１４０１において、静止画像）、システム制御部１３は、ユーザによって設定された構図が横位置構図であるか否かについて判定する（ステップＳ１４０３）。ユーザ設定が横位置構図であると  （ステップＳ１４０３において、横位置）、システム制御部１３は構図モードＭとしてＭｏｄｅ１を設定して（ステップＳ１４０４）、モード判定を終了する。そして、システム制御部１３は図９に示すステップＳ９０３又はＳ９０７に進む。
【０１７１】
ユーザ設定が横位置構図でないと（ステップＳ１４０３において、それ以外）、システム制御部１３は、ユーザによって設定された構図が縦位置構図であるか否かについて判定する（ステップＳ１４０５）。
【０１７２】
ユーザ設定が縦位置構図であると  （ステップＳ１４０５において、縦位置）、システム制御部１３は構図モードＭとしてＭｏｄｅ２を設定して（ステップＳ１４０６）、モード判定を終了する。そして、システム制御部１３は図９に示すステップＳ９０３又はＳ９０７に進む。
【０１７３】
ユーザ設定が縦位置構図でないと（ステップＳ１４０５において、自動）、システム制御部１３は、ユーザ設定は「自動」である判定する。ユーザ設定が「自動」であると、システム制御部１３はカメラの傾き（傾き情報）を取得する（ステップＳ１４０７）。
【０１７４】
続いて、システム制御部１３は傾き情報に応じて、ユーザが意図する構図が横位置構図であるか否かについて判定する（ステップＳ１４０８）。ユーザが意図する構図が横位置構図であると（ステップＳ１４０８において、ＹＥＳ）、システム制御部１３は構図モードＭとしてＭｏｄｅ１を設定する（ステップＳ１４０９）。そして、システム制御部１３は図９に示すステップＳ９０３又はＳ９０７に進む。
【０１７５】
ユーザが意図する構図が横位置構図でないと（ステップＳ１４０８において、ＮＯ）、システム制御部１３はユーザが意図する構図が縦位置構図であるか否かについて判定する（ステップＳ１４１０）。ユーザが意図する構図が縦位置構図であると（ステップＳ１４１０において、ＹＥＳ）、システム制御部１３は構図モードＭとしてＭｏｄｅ２を設定して（ステップＳ１４１１）、モード判定を終了する。そして、システム制御部１３は図９に示すステップＳ９０３又はＳ９０７に進む。
【０１７６】
一方、ユーザが意図する構図が縦位置構図でないと（ステップＳ１４１０において、ＮＯ）、システム制御部１３は判定不能とする。そして、システム制御部１３は構図モードＭとして前回設定された設定値を再度設定する（ステップＳ１４１２：Ｍ＝Ｍ）。そして、システム制御部１３はモード判定を終了して、図９に示すステップＳ９０３又はＳ９０７に進む。
【０１７７】
このようなモード判定処理を行えば、ユーザの指示に従った構図で撮影を行うことができ、ユーザの指示がない場合に、ユーザが意図する構図で撮影を行って、立体映像として鑑賞可能な画像を生成することができる。
【０１７８】
続いて、本発明の実施の形態によるカメラのさらに他の例について説明する。なお、カメラ自体の構成は図１に示す構成と同様であり、撮影動作における処理についても図９に示す処理と同様であるが、図９に示すステップＳ９０１およびステップＳ９０２は行わなくてもよい。そして、この例では、図９で説明したモード判定および読み出し処理が異なる。
【０１７９】
ところで、前述したように、撮像装置の傾きがちょうど構図の切り替わりポイントに等しいような場合又は撮像装置が真上や真下を向いている場合には、モード判定不能として、前回のモード判定結果により設定されたモードを利用するようにした。
【０１８０】
ここでは、モード判定不能と判定すると、例えば、システム制御部１３は画像表示装置１１に警告を表示して、ユーザに対して構図を設定するよう促す。
【０１８１】
図１５は図１に示すカメラで行われるモード判定処理のさらに他の例を説明するためのフローチャートである。なお、図１５において、図１０で説明したモード判定処理と同一のステップについては同一の参照符号を付し、説明を省略する。
【０１８２】
図１および図１５を参照して、ステップＳ１００６において、ユーザが意図する構図が縦位置構図でないと（ステップＳ１００６において、ＮＯ）、システム制御部１３は構図モードＭとして、ユーザに対して構図を設定させるモードであるＭｏｄｅ３を設定する（ステップＳ１５０１）。そして、システム制御部１３はモード判定処理を終了する。
【０１８３】
図１６は、図１に示すカメラで行われる読出し処理の他の例を説明するためのフローチャートである。
【０１８４】
図１および図１６を参照して、読出し処理が開始されると、システム制御部１３は、構図モードＭがＭｏｄｅ３であるかについて判定する（ステップＳ１６０１）。構図モードＭがＭｏｄｅ３であると（ステップＳ１６０１において、Ｍｏｄｅ３）、システム制御部１３は、画像表示装置１１に構図を選択する旨の警告を表示して、ユーザに対して構図の選択を促す（ステップＳ１６０２）。
【０１８５】
この警告によって、ユーザが横位置構図又は縦位置構図を示す構図Ｍを入力すると（ステップＳ１６０３）、システム制御部１３は、入力された構図ＭがＭｏｄｅｌ１であるか否かについて判定する（ステップＳ１６０４）。入力された構図ＭがＭｏｄｅｌ１であると（ステップＳ１６０４において、Ｍｏｄｅｌ１）、システム制御部１３は読み出しモードをＲｅａｄ  Ｏｕｔ１として（ステップＳ１６０５）、固体撮像素子３から信号読出しを行って、読出し処理を終了する。そして、システム制御部１３は図９に示すステップＳ９０９に進む。
【０１８６】
一方、入力された構図モードＭがＭｏｄｅ２であると（ステップＳ１６０４において、Ｍｏｄｅ２）、システム制御部１３は読み出しモードをＲｅａｄ  Ｏｕｔ２として（ステップＳ１６０６）、固体撮像素子３から信号読出しを行って、読出し処理を終了する。そして、システム制御部１３は図９に示すステップＳ９０９に進む。
【０１８７】
なお、ステップＳ１６０１において、構図ＭがＭｏｄｅｌ３でないと（ステップＳ１６０１において、それ例外）、システム制御部１３はステップＳ１６０４に進む。
【０１８８】
このようにして、カメラを動作させれば、構図の自動判定ができない状況においては、ユーザに構図を指定させることができ、ユーザの指定した構図で立体映像として鑑賞可能な画像を生成することができる。
【０１８９】
以上のように、本実施の形態では、第１の画像信号と第２の画像信号との間に、Ｘ軸方向およびＹ軸方向に視差をもたせるように、単位画素のフォトダイオードＰＤからの出力を処理した。
【０１９０】
ところで、第１の画像信号と第２の画像信号との間における視差の方向は、Ｘ軸方向およびＹ軸方向のみではなく、第１および第２の画像信号を生成する際に用いられるフォトダイオードＰＤの選択（組み合わせ）によって、種々の方向に視差をもたせることが可能である。
【０１９１】
図２（Ｃ）に示すように、４つのフォトダイオードＰＤが２×２の行列状に配置された単位画素である場合には、例えば、フォトダイオードＰＤ（０，０）の出力を用いて第１の画像信号を生成し、フォトダイオードＰＤ（１，１）の出力を用いて第２の画像信号を生成する。これによって、Ｘ軸から４５°傾いた方向の視差をもたせることができる。
【０１９２】
一方、フォトダイオードＰＤ（１，０）の出力を用いて第１の画像信号を生成し、フォトダイオードＰＤ（０，１）の出力を用いて第２の画像信号を生成すれば、Ｘ軸から−４５°傾いた方向の視差をもたせることができる。
【０１９３】
例えば、カメラの水平面からの傾き角度に応じて、第１および第２の画像信号に対して最も水平面に対して平行に近い方向に視差をもたせるように、フォトダイオードＰＤを選択する。これによって、カメラが傾いて撮影した画像の水平が取れていなかった場合に、後で画像を回転させて水平を合わせたときに最適となるような方向に視差をもたせておくことができる。
【０１９４】
この場合には、固体撮像素子３における単位画素には、多数のフォトダイオードが配されていることが望ましい。
【０１９５】
図１７は、図１に示すカメラで用いられる固体撮像素子３における単位画素に含まれるフォトダイオードの数の一例を示す図である。
【０１９６】
図１７に示すように、単位画素が多数のフォトダイオードＰＤ（０，０）〜ＰＤ（４，４）を有するほど、第１および第２の画像信号を生成する際に選択するフォトダイオードＰＤを自由に選択することができる。このため、２つの画像間に設ける視差の方向を細かく調整することができる。
【０１９７】
上述の説明から明らかなように、図１において、システム制御部１３およびモード判定部１９が構図判定手段として機能する。また、システム制御部１３および駆動回路６がグループ化手段として機能する。そして、信号処理回路７が生成手段として機能する。さらに、システム制御部１３および表示回路１２が表示制御手段として機能する。
【０１９８】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１９９】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を、撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有する制御プログラムを、撮像装置が備えるコンピュータに実行させるようにしてもよい。
【０２００】
この際、制御方法及び制御プログラムは、少なくとも構図判定ステップ、グループ化ステップ、および生成ステップを有することになる。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０２０１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０２０２】
３  固体撮像素子
６  駆動回路
７  信号処理装置
９  記録媒体
１１  画像表示装置
１３  システム制御部
１９  モード判定部
ＰＤ  フォトダイオード
ＭＬ  マイクロレンズ
【図１】
0005627438.tif 000002
【図２】
0005627438.tif 000003
【図３】
0005627438.tif 000004
【図４】
0005627438.tif 000005
【図５】
0005627438.tif 000006
【図６】
0005627438.tif 000007
【図７】
0005627438.tif 000008
【図８】
0005627438.tif 000009
【図９】
0005627438.tif 000010
【図１０】
0005627438.tif 000011
【図１１】
0005627438.tif 000012
【図１２】
0005627438.tif 000013
【図１３】
0005627438.tif 000014
【図１４】
0005627438.tif 000015
【図１５】
0005627438.tif 000016
【図１６】
0005627438.tif 000017
【図１７】
0005627438.tif 000018