"第1の画像を生成するための第1の受光素子と、前記第1の画像に対して視差を有する第2の画像を生成するための第2の受光素子とを含む受光素子群と、該受光素子群の直上に配置されたマイクロレンズとを単位画素とし、該単位画素を二次元に配置した固体撮像素子であって、前記第1の受光素子からの信号を第1の方向から読み出し、前記第2の受光素子からの信号を第2の方向から読み出すようにしたことを特徴とする固体撮像素子。前記第1の受光素子からの信号を第1の読み出し回路により前記第1の方向から読み出し、前記第2の受光素子からの信号を第2の読み出し回路により前記第2の方向から読み出すことを特徴とする請求項1に記載の固体撮像素子。前記単位画素は受光素子からの信号を読み出すための複数のフローティングディフュージョン部を有し、前記単位画素に含まれる複数の受光素子のうち、同一の読み出し方向から読み出される受光素子からの信号は、同一のフローティングディフュージョン部から読み出されることを特徴とする請求項1に記載の固体撮像素子。請求項1乃至3のいずれか1項に記載の固体撮像素子と、前記第1の受光素子からの信号を処理する第1の画像処理回路と、前記第2の受光素子からの信号を処理する第2の画像処理回路と、を備えることを特徴とする撮像装置。図10で説明したように複数の受光素子によって単位画素を構成する撮像素子を用いた撮像装置で、例えば視差を持ったA画像とB画像を生成する場合、独立した2つの画像を生成する必要がある。従って1つの画像の補正や現像処理といった1画面分の画像処理はA像とB像とでは別々に行う必要があるとともに、そのための効率的な画像信号読み出し方法が撮像素子に望まれている。また、複数の受光素子によって単位画素を構成すると各受光素子のサイズが小さくなるため、各受光素子の信号の読み出し回路幅も縮小させる必要があるが、その縮小幅にも回路設計上の限界がある。つまり、複数の受光素子によって単位画素を構成する撮像素子において、A像用画像信号とB像用画像信号を効率よく読み出すことで後段での画像処理をやり易いようにすることが望まれる。また、その読み出し回路を効率よく配置させることで設計自由度の高い撮像素子が望まれる。本発明は、上述した課題に鑑みてなされたものであり、その目的は、複数の受光素子によって単位画素を構成する撮像素子において、2つの画像信号を効率よく読み出せるようにするとともに、読み出し回路を効率良く配置できるようにすることである。本発明に係わる固体撮像素子は、第1の画像を生成するための第1の受光素子と、前記第1の画像に対して視差を有する第2の画像を生成するための第2の受光素子とを含む受光素子群と、該受光素子群の直上に配置されたマイクロレンズとを単位画素とし、該単位画素を二次元に配置した固体撮像素子であって、前記第1の受光素子からの信号を第1の方向から読み出し、前記第2の受光素子からの信号を第2の方向から読み出すようにしたことを特徴とする。本発明によれば、複数の受光素子によって単位画素を構成する撮像素子において、2つの画像信号を効率よく読み出すとともに、読み出し回路を効率良く配置することが可能となる。以下、本発明の実施形態について、添付図面を参照して詳細に説明する。第1の実施形態図1は、視差を持ったA画像とB画像を生成する撮像装置に用いられる、複数の受光素子によって単位画素を構成するCMOS型固体撮像素子を説明する図である。図1は、A像用受光素子またはB像用受光素子のいずれか一方をPixelとしてその構成を示している。図1において、光信号電荷を発生するフォトダイオード102pは、この例ではアノード側が接地されている。フォトダイオード102pのカソード側は、転送MOSトランジスタ602を介して不図示のフローティングディフュージョン部に接続されている。またフローティングディフュージョン部は増幅MOSトランジスタ604のゲートに接続されている。また、増幅MOSトランジスタ604のゲートには、これをリセットするためのリセットMOSトランジスタ603のソースが接続されている。リセットMOSトランジスタ603のドレインは電源電圧VDDに接続されている。さらに、増幅MOSトランジスタ604は、ドレインが電源電圧VDDに接続され、ソースが選択MOSトランジスタ605のドレインに接続されている。転送MOSトランジスタ602のゲート端子はPtx信号により駆動され、フォトダイオード102pの信号をフローティングディフュージョン部及び増幅MOSトランジスタ604のゲートに転送する。リセットMOSトランジスタ603のゲート端子はPres信号により駆動され、フローティングディフュージョン部及びフォトダイオード102pをリセットする。選択MOSトランジスタ605のゲート端子はPsel信号により駆動され、信号はVout端子から出力される。Vout端子は不図示の垂直出力線に接続され、増幅MOSトランジスタ604は選択MOSトランジスタ605を介して垂直出力線負荷と接続されることで、ソースフォロワアンプとして機能する。図2は、本実施形態のCMOS型固体撮像素子の構成を更に詳細に説明するブロック図である。102はA像用受光素子第1の受光素子、103はB像用受光素子第2の受光素子であり、それぞれ図1の構成である。二次元のベイヤ配列の単位画素1画素101、111、121、131は破線で示されており、夫々101はR赤画素、111はGr緑画素、121はGb緑画素、131はB青画素である。図示していないが単位画素の受光素子受光素子群の直上にはマイクロレンズが配置されている。ここでは説明を簡略化するため水平4受光素子2単位画素、垂直4受光素子4単位画素のみを図示しているが、単位画素101、111、121、131は水平垂直方向に所定数繰り返し配置されることで画素部308を構成しているものとする。垂直シフトレジスタ301は、行選択線Pres1,Ptx1,Psel1等の信号をA像用受光素子102とB像用受光素子103に出力する。各受光素子は図1の構成を有し、A像用受光素子102からの出力第1の画像は行毎に読み出し回路第1の読み出し回路302aCH1に読み出される。また、B像用受光素子103からの出力第2の画像は行毎に読み出し回路第2の読み出し回路302bCH2に各垂直信号線を介して読み出される。尚、同一行の受光素子に対しては、同一の行選択線Pres1,Ptx1,Psel1等の信号が供給される。電流源307a、307bは、各垂直信号線に接続される。読み出し回路302a、302bは、垂直信号線上の画素信号を入力し、画素信号をnチャネルMOSトランジスタ303a、303bを介して差動増幅器305aまたは305bに出力する。また、ノイズ信号をnチャネルMOSトランジスタ304a、304bを介して差動増幅器305aまたは305bに出力する。ここで読み出し回路302a、302bは列毎の読み出し回路を含み、作動増幅器305a、305bは最終段読み出し回路に相当する。また、水平シフトレジスタ306a、306bは、トランジスタ303a、303b及び304a、304bのオン/オフを制御する。差動増幅器305aはA像用画像信号を、差動増幅器305bはB像用画像信号を出力する。図2の構成において、CH1の読み出し回路302aからはA像信号が読み出され、CH2の読み出し回路302bからはB像信号が読み出される。そのため、CH1の信号のみを使用すればA像のみの画像が、CH2の信号のみを使用すればB像のみの画像が生成できる。また、同一単位画素のCH1とCH2の信号を加算して1画素とすれば、通常の画像を生成することも可能である。図3は、図1、図2で説明した撮像素子を用いた本実施形態の撮像装置の構成を示すブロック図である。図3において、801はCMOS型固体撮像素子であり、802aは撮像素子801からのA像用画像信号を増幅しAD変換等を行う信号処理回路AFE、802bは撮像素子801からのB像用画像信号を増幅しAD変換等を行う信号処理回路AFEである。そして、それぞれ後述するタイミング発生回路804からタイミングを受け取りそれに従って動作する。803a、803bはDSPDigitalSignalProseccerであり、信号処理回路802a、802bからの各データに対して各種補正処理等を行なう。それとともに、後述するCPU805からの制御により、ROM806a、806b、RAM807a、807b等各種メモリの制御、記録媒体808への映像データの書き込み処理を行う。804は、撮像素子801、信号処理回路802a、802b、DSP803a、803bにクロック信号や制御信号を供給するタイミング発生回路であるTGTimingGeneratorであり、後述するCPU805により制御される。805はDSP803a、803b、TG804の制御、及び測距回路813、測光回路814など各部を使ったカメラ機能の制御を行なうCPUである。CPU805には、各種スイッチ809~812が接続され、それぞれの状態に応じた処理を実行する。806a、806bはカメラの制御プログラムや補正テーブルなどを記憶するROMである。807a、807bはDSP803a、803bで処理される映像データや補正データを一時的に記憶するRAMである。RAM807a,807bはROM806a,806bより高速アクセスが可能である。808は撮影された映像を保存するコンパクトフラッシュ登録商標メモリカード等の記録媒体であり、不図示のコネクタを介してカメラと接続される。809はカメラを起動させるための電源スイッチ、810は測光処理、測距処理、被写体映像をリアルタイムに外部に表示する所謂EVF動作等の撮影準備動作開始を指示するシャッタースイッチSW1である。811は不図示のミラー及びシャッターを駆動し、撮像素子801から読み出した信号を信号処理回路802a,802b、DSP803a,803bを介して記録媒体808に書き込む一連の撮像動作の開始を指示するシャッタースイッチSW2である。812はカメラの撮影モード例えば通常モード、3Dモード、動画モードなどを指示するためのモードダイアルスイッチである。813は被写体までの距離を検出し、不図示の撮像レンズの焦点調節を行わせるための測距回路、814は被写体輝度を測定し撮像素子への露光量を決定するための測光回路、815は撮影した映像を外部に表示するための表示装置である。ここで、破線で示した851aは撮像素子801から出力されたA像用画像信号を処理する回路ブロック、851bは撮像素子801から出力されたB像用画像信号を処理する回路ブロックである。撮像素子801内において、A像用受光素子からの信号はA像用の読み出し回路302a第1の方向から、B像用受光素子からの信号はB像用の読み出し回路302b第2の方向から読み出すようにしている。言い換えれば同一の画像を生成する受光素子からの信号は同一方向から読み出すようにしているので、A像用画像信号をA像用画像処理回路ブロック851a第1の画像処理回路へ、B像用画像信号をB像用画像処理回路ブロック851b第2の画像処理回路へ、それぞれ直接接続することが可能である。つまり、撮像素子からの画像信号の入れ替え等を行うことなくA像とB像に対して独立して画像処理を施すことが出来る、効率的な画像信号読み出しおよび画像処理が可能となる。第2の実施形態第1の実施形態では2つの受光素子で単位画素を構成する例を示したが、次に4つの受光素子で単位画素を構成する例について説明する。図4は、CMOS型固体撮像素子の構成を示すブロック図であり、図2の構成とよく似ている。ベイヤ配列の単位画素1画素150、160、170、180は破線で示しており、夫々150はR赤画素、160はGr緑画素、170はGb緑画素、180はB青画素である。図4の単位画素150は、左からB像用受光素子208、202、A像用受光素子201、207の順に配置された4つの受光素子から構成されており、図示していないが単位画素の受光素子の直上にはマイクロレンズが配置されている。A像用受光素子である201、207の信号はA像用読み出し回路902aに読み出され、B像用受光素子である202、208の信号はB像用読み出し回路902bに読み出される構成である。ここでは説明を簡略化するため水平4受光素子1単位画素、垂直4受光素子4単位画素のみを図示しているが、単位画素150、160、170、180は水平垂直方向に所定数繰り返し配置されているものとする。垂直シフトレジスタ901は、行選択線Pres1,Ptx1,Psel1等の信号をA像用受光素子201、207及びB像用受光素子202、208に出力する。A像用受光素子201、207からの出力は行毎に読み出し回路902aCH1に読み出され、B像用受光素子202、208からの出力は行毎に読み出し回路902bCH2に各垂直信号線を介して読み出される。尚、同一行の受光素子に対しては、同一の行選択線Pres1,Ptx1,Psel1等の信号が供給される。図4の構成において、CH1の読み出し回路902aからはA像信号が読み出され、CH2の読み出し回路902bからはB像信号が読み出される。そのため、CH1の信号のみを使用すればA像のみの画像が、CH2の信号のみを使用すればB像のみの画像が生成できる。より詳細には画像の使用目的に応じて受光素子を選択的に使用することも可能である。例えば、A像に使用する素子を単位画素内の201、B像に使用する素子を単位画素内の202としたり、A像に使用する素子を単位画素内の207、B像に使用する素子を単位画素内の208としたりすることも可能である。また、図2の説明と同様に、同一単位画素のCH1とCH2の信号を加算して1画素とすれば、通常の画像を生成することも可能である。図4の構成の撮像素子を図3の撮像装置に組み込むことによって、第2の実施形態を実現する。このように撮像素子内において、A像用受光素子201、207からの信号はA像用の読み出し回路902aから、B像用受光素子202、208からの信号はB像用の読み出し回路902bから読み出すようにしている。言い換えれば同一の画像を生成する受光素子からの信号は同一方向から読み出すようにしている。そのため、A像用画像信号をA像用画像処理回路ブロック図3の851aへ、B像用画像信号をB像用画像処理回路ブロック図3の851bへ、それぞれ直接接続することが可能である。つまり、撮像素子からの画像信号の入れ替え等を行うことなくA像とB像に対して独立して画像処理を施すことが出来る、効率的な画像信号読み出しが可能となる。第3の実施形態第2の実施形態では4つの受光素子で単位画素を構成した例を示したが、このことを別の模式図で示したのが図5、図6である。図5において単位画素150は、左からB像用受光素子208、202、A像用受光素子201、207の順に配置され4つの受光素子から構成されている。210はマイクロレンズである。A像用受光素子である201、207の信号はA像用読み出し回路902aに読み出され、B像用受光素子である202、208の信号はB像用読み出し回路902bに読み出される構成である。ここでは説明を簡略化するため、単位画素を水平方向に2画素分だけ示しているが、単位画素は水平方向、垂直方向に所定数繰り返し配置されているものとする。図6は、図5の撮像素子920を撮像装置に組み込んだイメージを示している。A画像処理回路851aには撮像素子920のA像用受光素子からの信号が、B画像処理回路851bには撮像素子920のB像用受光素子からの信号が入力され、それぞれA画像とB画像を生成している。図5でA像用読み出し回路902a、B像用読み出し回路902bは、受光素子からの信号を増幅する回路や受光素子毎の出力オフセットキャンセル回路などを含み、各受光素子列毎に構成されている。このことは他の文献にも記載があるので詳細は割愛する。一方撮像装置としての解像力性能は、単位画素の配列ピッチによって決まるので単位画素の配列ピッチを大きしたのでは解像力性能を落とすことになる。従って、水平方向に受光素子数を増やして単位画素を構成し受光素子からの信号を垂直方向に読み出す場合、撮像装置の解像力性能を落とさないためにその読み出し回路の水平方向のサイズは図5に示すように単位画素の配列ピッチの1/2であるLだけしか取れない。そのため読み出し回路のレイアウトを垂直方向に延ばして構成させるなど、レイアウト設計上の制約が出てきてしまう。上記説明を第1の実施形態に当てはめて説明するのが、図7である。図7において単位画素101は、左からB像用受光素子103、A像用受光素子102の順に配置され2つの受光素子から構成されている。310はマイクロレンズである。A像用受光素子である102の信号はA像用読み出し回路302aに読み出され、B像用受光素子である103の信号はB像用読み出し回路302bに読み出される構成である。図7から明らかなように読み出し回路の水平方向のサイズは単位画素の配列ピッチと等しい2Lとることが出来ている。つまり第1の実施形態は第2の実施形態に比べて読み出し回路の水平方向のサイズを大きく取れるためレイアウト設計上の制約が少なくなっている。第3の実施形態は、第2の実施形態の読み出し回路のレイアウト設計上の制約を改善するもので、図8、図9を用いて説明する。図8は、後述する図9におけるB像用受光素子402、408を示している。図8において、光信号電荷を発生するフォトダイオード402p、408pは、この例ではアノード側が接地されている。フォトダイオード402p、408pのカソード側は、それぞれ転送MOSトランジスタ702、707を介して不図示の共通のフローティングディフュージョン部に接続されている。またフローティングディフュージョン部は増幅MOSトランジスタ704のゲートに接続されている。また、増幅MOSトランジスタ704のゲートには、これをリセットするためのリセットMOSトランジスタ703のソースが接続されている。リセットMOSトランジスタ703のドレインは電源電圧VDDに接続されている。さらに、増幅MOSトランジスタ704は、ドレインが電源電圧VDDに接続され、ソースが選択MOSトランジスタ705のドレインに接続されている。転送MOSトランジスタ702、707のゲート端子はPtxaおよびPtxb信号により駆動され、フォトダイオード402p、408pの信号をフローティングディフュージョン部及び増幅MOSトランジスタ704のゲートに転送する。リセットMOSトランジスタ703のゲート端子はPres信号により駆動され、フローティングディフュージョン部及びフォトダイオード402p、408pをリセットする。選択MOSトランジスタ705のゲート端子はPsel信号により駆動され、信号はVout端子から出力される。Vout端子は不図示の垂直出力線に接続され、増幅MOSトランジスタ704は選択MOSトランジスタ705を介して垂直出力線負荷と接続されることで、ソースフォロワアンプとして機能する。ここで、Ptxaのみ駆動すればフォトダイオード402pからの信号のみがVout端子から読み出され、Ptxbのみ駆動すればフォトダイオード408pからの信号のみがVout端子から読み出される。それぞれを読み出す場合は時系列に読み出せばよい。また、PtxaとPtxbを同時に駆動すればフォトダイオード402pとフォトダイオード408pの信号を加算して読み出すことも可能である。図8の構成は、B像用受光素子402と408からの信号を共通のフローティングディフュージョン部、増幅MOSトランジスタ704、選択MOSトランジスタ705を介して、1つのVout端子に読み出し可能な構成である。そのため、受光素子が2つでも読み出し回路は1つで良いことになる。このような受光素子の構成を撮像素子全体に適用すれば読み出し回路を減らすことが出来る。図9は図8の受光素子構成を用いた撮像素子を示したもので、単位画素450は、左からB像用受光素子408、402、A像用受光素子401、407の順に配置され4つの受光素子から構成されている。410はマイクロレンズである。A像用受光素子401、407の信号は共通のVout端子からA像用読み出し回路402aに読み出され、B像用受光素子402、408の信号は共通のVout端子からB像用読み出し回路402bに読み出される構成である。ここで注目するべきは、2つのA像用受光素子からの信号を共通のVout端子に読み出し、2つのB像用受光素子からの信号を他の共通のVout端子に読み出すようにしている点である。言い換えれば同一の読み出し方向から読み出される受光素子からの信号は、共通のフローティングディフュージョン部から読み出すようにしている。このようにすることで図9から明らかなように、読み出し回路の水平方向のサイズは単位画素の配列ピッチと等しい2Lとることが出来る。つまり第2の実施形態と同等にA像とB像に対して独立して画像処理を施すことが出来る、効率的な画像信号読み出しが可能となる。また、第2の実施形態に比べて読み出し回路の水平方向のサイズを大きく取れるためレイアウト設計上の制約を大きく改善することができる。図8、図9は水平方向に並んだ2つのA像用受光素子と2つのB像用受光素子を配置した単位画素を用いた撮像素子の例であったが、本発明の主旨の範囲内であれば単位画素内の各受光素子は3つ以上であっても良いし、垂直方向に並んだ受光素子の構成でも良い。"