(57)【要約】      （修正有）【課題】高品質な立体動画像と平面動画像の両方を１つの撮像素子で撮像できる様にする。【解決手段】複数の画素が二次元アレイ状に配列形成され奇数行又は偶数行の一方の画素行で構成される第１群画素と奇数行又は偶数行の他方の画素行で構成される第２群画素とが水平方向及び垂直方向に１／２画素ピッチずらして配置された半導体基板と、第１群画素に積層されたベイヤ配列のカラーフィルタＲＧＢ及び第２群画素に積層されたベイヤ配列のカラーフィルタｒｇｂを備える撮像素子であって、第１群画素の各々の画素と該画素に対して斜めに隣接し該画素と同色の前記カラーフィルタが積層された第２群画素に属する画素とをペア画素とし、該ペア画素のうち水平方向及び垂直方向に２ｎ＋１（ｎ＝１，２，…）個間隔に対応するペア画素を位相差検出画素で構成する。遮光膜開口２ａ，２ｂを持つペア画素が位相差検出画素ペアである。【選択図】図３
2014158062.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が二次元アレイ状に配列形成され奇数行又は偶数行の一方の画素行で構成される第１群画素と奇数行又は偶数行の他方の画素行で構成される第２群画素とが水平方向及び垂直方向に１／２画素ピッチずらして配置された半導体基板と、前記第１群画素に積層されたベイヤ配列のカラーフィルタ及び前記第２群画素に積層されたベイヤ配列のカラーフィルタを備える撮像素子であって、前記第１群画素の各々の画素と該画素に対して斜めに隣接し該画素と同色の前記カラーフィルタが積層された前記第２群画素に属する画素とをペア画素とし、該ペア画素のうち水平方向及び垂直方向に２ｎ＋１（ｎ＝１，２，…）個間隔に対応するペア画素を位相差検出画素で構成した撮像素子。
【請求項２】
請求項１に記載の撮像素子であって、前記第１群画素に含まれる前記位相差検出画素は右眼用の画像又は左眼用の画像の一方を取得し、前記第２群画素に含まれる前記位相差検出画素は右眼用画像又は左眼用の画像の他方を取得する構成とした撮像素子。
【請求項３】
請求項１又は請求項２に記載の撮像素子であって、ｎ＝１であることを特徴とする撮像素子。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載の撮像素子と、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を前記第１群画素の画素行と前記第２群画素の画素行とから交互に読み出す撮像素子駆動手段とを備える撮像装置。
【請求項５】
請求項４に記載の撮像装置であって、平面動画像の撮像時には前記位相差検出画素以外の前記ペア画素の撮像画像信号を、前記撮像素子駆動手段が前記第１群画素の画素行と前記第２群画素の画素行とから交互に読み出す撮像装置。
【請求項６】
請求項５に記載の撮像装置であって、前記位相差検出画素以外の前記ペア画素の撮像画像信号のうち、いずれか１方の画素の撮像画像信号を用いて、又は、２つの画素の撮像画像信号の加算平均値を用いて、前記平面動画像を生成する画像処理手段を備える撮像装置。
【請求項７】
請求項５に記載の撮像装置であって、撮影シーンが暗い場合には、前記位相差検出画素以外の前記ペア画素の撮像画像信号の両方を加算して前記平面動画像を生成する画像処理手段を備える撮像装置。
【請求項８】
請求項７に記載の撮像装置であって、撮影シーンが更に暗い場合、前記画像処理手段は、前記位相差検出画素以外の前記ペア画素のうち近接する同色のペア画素を構成する複数の画素の撮像画像信号を加算して前記平面動画像を生成する撮像装置。
【請求項９】
請求項４乃至請求項８のいずれか１項に記載の撮像装置であって、前記平面動画像を前記立体動画像と同時に撮像する撮像装置。
【請求項１０】
請求項４乃至請求項８のいずれか１項に記載の撮像装置であって、前記位相差検出画素は前記撮像素子のうちアスペクト比１６：９の範囲に配置され、前記平面動画像は、前記撮像素子の水平方向の画素間引きをせずに垂直方向の画素間引きだけを行い、アスペクト比１６：９の画像とする撮像装置。
【請求項１１】
請求項４乃至請求項１０のいずれか１項に記載の撮像装置であって、高精細平面静止画像の撮像時には、前記撮像素子の全画素から撮像画像信号を読み出すと共に前記位相差検出画素の撮像画像信号を補正して高精細平面静止画像を生成する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体動画像及び平面動画像を撮像するのに好適な構造の撮像素子及びこの撮像素子に搭載した撮像装置に関する。
【背景技術】
【０００２】
立体画像（以下、３Ｄ画像ともいう。）を撮像する従来の撮像装置として、例えば、下記の特許文献１記載のものがある。この従来の撮像装置は、２台のカメラを備え、同じ被写体を左右のカメラで撮影し、被写体の立体画像を再生できる様になっている。しかし、従来の立体画像撮像装置は、カメラを２台用意する必要があるため、コストが嵩み、更に装置も大型化してしまうという問題がある。
【０００３】
そこで、１台のカメラで被写体の立体画像を撮影できる撮像装置として、下記の特許文献２記載の従来技術が提案されている。この立体画像撮像装置は、固体撮像素子表面に二次元配列された複数の画素（光電変換素子：フォトダイオード）を２つのグループに分け、一方のグループには被写体を右側から見た光が入射し、他方のグループには被写体を左側から見た光が入射する様にしている。
【０００４】
この従来技術によれば、１台のカメラ（撮像素子）で被写体の立体画像を撮像できるが、被写体の二次元画像（平面画像、以下、２Ｄ画像ともいう。）を撮影することができないという問題がある。
【０００５】
近年の撮像装置に対する要求は多く、低価格，小型化はいうに及ばず、上記の特許文献１，２に記載の従来技術では実現が困難な、３Ｄの動画像及び２Ｄの動画像を共に撮影することができる動画撮影機能が要求される様になっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１―３４１５２２号公報
【特許文献２】特開２００３―７９９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、３Ｄの動画撮影と２Ｄの動画撮影の両方を好適に処理できる撮像素子及びこの撮像素子に搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の撮像素子は、複数の画素が二次元アレイ状に配列形成され奇数行又は偶数行の一方の画素行で構成される第１群画素と奇数行又は偶数行の他方の画素行で構成される第２群画素とが水平方向及び垂直方向に１／２画素ピッチずらして配置された半導体基板と、前記第１群画素に積層されたベイヤ配列のカラーフィルタ及び前記第２群画素に積層されたベイヤ配列のカラーフィルタを備える撮像素子であって、前記第１群画素の各々の画素と該画素に対して斜めに隣接し該画素と同色の前記カラーフィルタが積層された前記第２群画素に属する画素とをペア画素とし、該ペア画素のうち水平方向及び垂直方向に２ｎ＋１（ｎ＝１，２，…）個間隔に対応するペア画素を位相差検出画素で構成したことを特徴とする。
【０００９】
本発明の撮像装置は、上記の撮像素子と、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を前記第１群画素の画素行と前記第２群画素の画素行とから交互に読み出す撮像素子駆動手段とを備えることを特徴とする。
【００１０】
本発明の撮像装置は、平面動画像を撮像する時、前記位相差検出画素以外の前記ペア画素の撮像画像信号を前記撮像素子駆動手段が前記第１群画素の画素行と前記第２群画素の画素行とから交互に読み出す。
【発明の効果】
【００１１】
本発明によれば、１つの撮像素子で高品質な立体動画像と平面動画像の両方を撮像することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る撮像装置（デジタルカメラ）の外観斜視図である。
【図２】図１に示す撮像装置の機能ブロック構成図である。
【図３】図２に示す固体撮像素子の表面模式図である。
【図４】図３に示す固体撮像素子で３Ｄの動画像を撮像するときの説明図である。
【図５】位相差検出画素で３Ｄ画像を撮影できる原理説明図である。
【図６】図３の固体撮像素子で２Ｄ動画像データを読み出す説明図である。
【図７】２Ｄ動画像データを生成するときの処理手順を示すフローチャートである。
【図８】高感度な２Ｄ動画像を４画素加算で生成するときの加算画素位置を示す図である。
【図９】高感度な２Ｄ動画像を８画素加算で生成するときの加算画素位置を示す図である。
【図１０】高感度な２Ｄ動画像を１６画素加算で生成するときの加算画素位置を示す図である。
【図１１】ＨＤ画質の２Ｄ動画像データを図３の固体撮像素子から読み出すときの説明図である。
【図１２】ＨＤ画質の２Ｄ動画像を４画素加算で生成するときの加算画素位置を示す図である。
【図１３】ＨＤ画質の２Ｄ動画像を撮影シーンの明るさに応じて生成する処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１４】
図１は、本発明の一実施形態に係る撮像装置の外観斜視図である。この単眼の撮像装置（デジタルカメラ）１０は、カメラ筐体１１の前部に、撮影レンズ１２を収納するレンズ鏡筒１３が沈胴可能に取り付けられている。カメラ筐体１１の上面右端部にはシャッタレリーズボタン１４が設けられており、カメラ筐体１１の背部には、図１では図示しない液晶表示部（図２の表示部２８）が設けられている。
【００１５】
図２は、図１に示す撮像装置１０の機能ブロック構成図である。この撮像装置１０は、撮影レンズ１２と、撮影レンズ１２の背部に置かれその結像面に配置されたＣＭＯＳ型の固体撮像素子２１とを備える。撮影レンズ１２及び固体固体撮像素子２１は、後述のシステム制御部（ＣＰＵ）２９からの指示によって駆動される。
【００１６】
固体撮像素子２１は、本実施形態ではＣＭＯＳ型のイメージセンサであるが、ＣＣＤ型やその他の形式の固体撮像素子でも良い。
【００１７】
本実施形態の撮像装置１０は更に、固体撮像素子２１から出力されるデジタルの撮像画像信号を取り込み補間処理やホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、撮像画像信号をＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備える。
【００１８】
更に、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続され、システム制御部２９からの指示によって発光するフラッシュ２５が接続される。
【００１９】
撮像装置１０は、被写体の高精細な２Ｄ静止画像や，高精細静止画像に比べて解像度を落とした２Ｄの動画像や３Ｄの動画像を、ユーザの操作部３３からの選択指示に基づいて撮影し、これらの選択指示に基づいて、固体撮像素子２１の駆動制御や画像処理を行う。
【００２０】
図３は、固体撮像素子２１の表面模式図であり、画素配列と各画素上のカラーフィルタ配列を示している。斜めに４５度傾けた個々の正方形２が、半導体基板上に形成された各画素（光電変換素子）を示しており、その上に記載されたＲ（＝ｒ），Ｇ（＝ｇ），Ｂ（＝ｂ）は、各画素２上に積層された三原色カラーフィルタの色（Ｒ，ｒ＝赤、Ｇ，ｇ＝緑、Ｂ，ｂ＝青）を示している。信号読出回路や垂直走査回路，水平走査回路等は、通常のＣＭＯＳ型イメージセンサと同じで良いため、図示は省略している。
【００２１】
本実施形態の固体撮像素子２１は、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチづつずらして配置されている。偶数行の画素行だけ見ると各画素２は正方格子配列され、その上に、三原色のカラーフィルタがベイヤ配列され、奇数行の画素行だけ見ても各画素２は正方格子配列され、その上に、三原色のカラーフィルタがベイヤ配列されている。
【００２２】
偶数行の各画素上のカラーフィルタを大文字のＲＧＢで示し、奇数行の各画素上のカラーフィルタを小文字のｒｇｂで示している。偶数行または奇数行の一方（図示する例では偶数行）の各画素を、以下、Ａ群（或いは第１群）画素ともいい、偶数行または奇数行の他方（図示する例では奇数行）の各画素を、Ｂ群（或いは第２群）画素ともいうことにする。図示する様に、Ａ群画素，Ｂ群画素共に、夫々カラーフィルタ配列がベイヤ配列のため、斜めに最隣接するＡ群画素とＢ群画素とは同色画素となり、これがペア画素を構成する。
【００２３】
本実施形態の固体撮像素子２１は、全画素ペアのうち、離散的，周期的位置に存在するペア画素を位相差検出画素のペア画素としている。位相差検出画素（焦点検出用画素ともいわれる。）とは、瞳分割したペア画素のことをいい、図示する例では、ペア画素の一方と他方とで遮光膜開口２ａ，２ｂを夫々の画素中心に対して反対方向に偏心させて構成される。
【００２４】
通常の画素（位相差検出画素でない画素）には、図示省略したマイクロレンズの下部に、図３の左上に点線矩形枠で記載した様に、当該画素の受光面と略同一の大きさの遮光膜開口１が開口されている。これに対し、位相差検出画素のペア画素の遮光膜開口２ａ，２ｂは、遮光膜開口１より小さく、図示する例では遮光膜開口２ａは開口１に対して左半分しか開口せず、遮光膜開口２ｂは開口１に対して右半分しか開口しない構成となっている。なお、図３では遮光膜開口１を１箇所だけ図示しているが、他の通常画素にも設けられている（図が煩雑になるため、図示は省略している。）。なお、この実施形態では、マイクロレンズは位相差検出画素にも積層される。
【００２５】
遮光膜開口２ａの開口中心位置は、当該画素の中心に対して左側に偏心し、遮光膜開口２ｂの開口中心位置は、当該画素の中心に対して右側に偏心して設けられている。図１に示す様に、固体撮像素子２１の前段にはレンズ１２が配置されており、このレンズ１２を通ることで、遮光膜開口２ａを通って画素に受光される光は、レンズ１２の左側からの光すなわち被写体を左眼で見た方向から来た光が主となり、遮光膜開口２ｂを通って画素に受光される光は、レンズ１２の右側からの光すなわち被写体を右眼で見た方向から来た光が主となる。
【００２６】
即ち、位相差検出画素を構成する各ペア画素のうち遮光膜開口２ａを持つ画素の撮像画像信号が被写体を左眼で見た画像となり、遮光膜開口２ｂを持つ画素の撮像画像信号が被写体を右眼で見た画像となる。このため、両者を組み合わせることで、被写体の立体画像を再生することができる。
【００２７】
図３で例示した瞳分割方法は、遮光膜開口２ａ，２ｂを偏心させて構成したが、この他にも、例えば特開２００７―２８１２９６号公報に記載されている様に、ペア画素に共通に１つの楕円形等のマイクロレンズを搭載し、ペア画素の各々の画素への入射角を異ならせる構成とすることでも良い。
【００２８】
本実施形態の位相差検出画素のペア画素は、垂直方向，水平方向共に、３ペア毎に１ペアを位相差検出画素ペアとしているが、５ペア毎に１ペアを位相差検出画素ペアとしても良い。一般的には、〔２ｎ＋１〕ペア毎（ｎ＝１，２，…）に１ペアを位相差検出画素ペアとする。この様に、位相差検出画素ペアの配置位置を決めることで、位相差検出画素ペアのカラーフィルタ配列もＲ，Ｇ，Ｂの三原色を有したベイヤ配列となる。
【００２９】
図４は、図３に示す固体撮像素子２１で立体動画像を撮像するときに撮像画像信号を読み出すペア画素を示しており、水平，垂直共に２ｎ＋１ペア毎の画素間引き読み出しにより、図に太線枠で示す位相差検出画素ペアの各々の画素が検出した撮像画像信号だけを読み出す。
【００３０】
撮影は、例えばローリングシャッタ駆動で行い、固体撮像素子２１から撮像画像信号を読み出す場合には、Ａ群画素→Ｂ群画素→Ａ群画素→Ｂ群画素→……と、水平ライン順に読み出す。
【００３１】
そして、遮光膜開口２ａを搭載した画素の撮像画像信号を左眼で見た被写体の画像データとして画像処理し、遮光膜開口２ｂを搭載した画素の撮像画像信号を右眼で見た被写体の画像データとして画像処理し、画像処理後の被写体画像を関連付けて、各フレーム毎の撮像画像データをメモリに記録することで、被写体の立体動画像を記録することができる。勿論、立体の静止画像としても記録できる。
【００３２】
固体撮像素子２１から読み出した左眼用の撮像画像信号や右眼用の撮像画像信号は、夫々、ベイヤ配列画素から読み出された信号となるため、上記画像処理は、既存のベイヤ配列用の画像処理エンジンを使用することができ、低コスト化を図ることができる。
【００３３】
図５は、位相差検出画素ペアで被写体の立体画像を撮像できる原理を説明する図である。位相差検出画素ペアが水平方向に所要間隔で並び、遮光膜開口２ａを通して得られた撮像画像信号の変化を信号ｆ（ｘ）とし、遮光膜開口２ｂを通して得られた撮像画像信号の変化を信号ｇ（ｘ）とする。
【００３４】
信号ｆ（ｘ）と信号ｇ（ｘ）とは、同一水平線上の同一被写体からの入射光を受光した結果得られるもので、互いに水平方向にずれた同一波形となり、両者間のズレ量が位相差量となる。この位相差量は、被写体までの距離に応じた視差であり、この位相差量を持った右眼用撮像画像信号及び左眼用撮像画像信号を固体撮像素子２１から読み出すことで、被写体の立体画像を生成することが可能となる。
【００３５】
次に、撮像装置１０を用いて２Ｄの動画像を撮影する場合を説明する。前述した様に、この撮像装置１０では、３Ｄの動画像を撮影することができるが、ユーザによっては２Ｄの動画像を好む場合もある。また、再生するモニタやテレビジョン受像機が３Ｄ画像再生用では無く、２Ｄ画像にしか対応しない場合もある。あるいは、３Ｄの動画像と２Ｄの動画像を同時に両方撮影することが要求されることもある。そこで、本実施形態の撮像装置１０では、３Ｄのみならず２Ｄの動画像の撮影機能も搭載している。
【００３６】
図６は、２Ｄの動画像を撮影する第１実施形態の説明図である。勿論、固体撮像素子２１は同じため、図６に示す画素配列，カラーフィルタ配列は、図３，図４と同じである。本実施形態では、図６に示す太線黒枠で囲った通常画素を、２Ｄの動画像撮影時に用いる。
【００３７】
図６の太線黒枠で囲った画素ペアは、図４の太線黒枠で囲った位相差検出画素ペアの水平方向に隣接する画素であり、通常画素のペアである。本実施形態では、通常画素ペアの各々の画素が検出した撮像画像信号の加算平均値を用いて、動画像を生成する。加算平均値を用いることで、Ｓ／Ｎが向上する。
【００３８】
３Ｄの動画像と２Ｄの動画像とを両方共に撮影する場合、本実施形態では、水平方向に隣接する画素を用いて３Ｄの動画像と２Ｄの動画像とを同時に撮影することができる。２Ｄ動画像を生成するデータとして上記の加算平均値を用いるため、その各画素位置はペア画素の加算重心位置となり、３Ｄ画像の各画素位置に最も近い位置となる。このため、同じ画像で同じ解像度の３Ｄ動画像と２Ｄ動画像とが得られる。
【００３９】
また、固体撮像素子２１から３Ｄ動画像データと２Ｄ動画像データとを同一水平ラインから読み出すことができるため、短時間で３Ｄ動画像と２Ｄ動画像とを同時に読み出すことが可能となる。２Ｄ動画像データの画像処理も、３Ｄ動画像の画像処理と同様に、読み出した撮像画像信号のカラー配列がベイヤ配列であるため、ベイヤ配列用の画像処理エンジンを使用することができ、低コスト化を図ることが可能となる。
【００４０】
図７は、第２実施形態に係る２Ｄ動画像撮影を行うときの処理手順を示すフローチャートである。図６の実施形態では、通常画素ペアの加算平均値を用いて２Ｄ動画像を生成したが、これに限るものではなく、ペア画素の一方の画素の撮像画像信号だけを用いて２Ｄ動画像を生成しても、ペア画素の両方の撮像画像信号を固体撮像素子外部で信号加算して２Ｄ動画像を生成しても良い。いずれとするかは、撮影シーンの明るさで決めるのが良い。
【００４１】
本実施形態では、ステップＳ１で撮影シーンの明るさを判定し、明るさが所定の閾値α以上の場合にはステップＳ２に進み、ペア画素の一方の画素の撮像画像信号を採用し、あるいはペア画素の２つ画素の撮像画像信号の加算平均値を採用してステップＳ４に進む。
【００４２】
ステップＳ１の判定の結果、シーンの明るさが閾値α未満で暗い場合には、高感度化を図るためにステップＳ３に進み、ペア画素の２つの画素の撮像画像信号を加算してステップＳ４に進み、ステップＳ４で、２Ｄ動画像データを生成してこの処理を終了する。
【００４３】
なお、３Ｄ動画像と２Ｄ動画像とを同時に撮影するのではなく、２Ｄ動画像だけを撮影する場合には、ダイナミックレンジの広い動画像を撮影することも可能である。画素の信号読出回路に印加するリセット信号や読出信号のタイミング等を調整することで、Ａ群画素の露光時間に対してＢ群画素の露光時間を短くして撮影を行い、ペア画素の一方（Ａ群画素）と他方（Ｂ群画素）で露光時間を変えてやれば、両者の撮像画像信号を加算することで、ダイナミックレンジの広い２Ｄ動画像を得ることができる。
【００４４】
図８〜図１０は、本発明の第３実施形態に係る２Ｄ動画像用の撮像画像信号を固体撮像素子２１から読み出す方法を示す図である。図７の実施形態では、撮影シーンが暗く低照度の場合にはペア画素の２画素加算を行って高感度化を図った。しかし、撮影シーンが更に暗い場合には、画素加算数を更に増やす必要がある。この画素加算数を増やすときの加算対象画素位置を示す図が図８〜図１０である。
【００４５】
即ち、撮影シーンが通常の明るさの場合には、図６で説明したペア画素の加算平均値や一方の画素の撮像画像信号だけを用いて２Ｄ動画像を生成するが、更に撮影シーンが暗い場合には、図８に示すように、例えば楕円で示す画素位置の画像データとして、楕円で示す位相差検出画素位置の水平方向左右に隣接する同色２つの通常画素ペア（太線黒枠で示す）の計４画素の撮像画像信号を加算して、楕円中心位置の画像データとする。
【００４６】
更に暗い場合には、８画素加算や１０画素加算を行う。８画素加算を行う場合、４つのペア画素位置は、例えば図９に示す位置とする。即ち、楕円で示す位相差検出画素位置の画像データとして、上下左右にある４つの同色通常画素ペアの撮像画像信号を加算対象として選択する。
【００４７】
１０画素加算を行う場合は、８画素加算に加えて、楕円で示す位相差検出画素も加算する。位相差検出画素は、左眼と右眼の加算なので、ペアで加算すると、通常画素と同じ様に使える。
【００４８】
更に暗い場合には、１６画素加算か１８画素加算を行う。１６画素加算を行う８つのペア画素位置を図１０に示す。即ち、楕円で示す位相差検出画素位置の画像データとして、図９の上下左右の他に、斜め方向の４ペア画素の撮像画像信号を加える。１８画素加算を行う場合は、１６画素加算に加えて、上記と同様に楕円で示す位相差検出画素ペアも加算する。
【００４９】
図１０では１つの位相差検出画素位置に対する８つのペア画素位置だけを示しているが、各々の位相差検出画素位置用の８つのペア画素位置をとると、全ての通常画素ペアが加算対象として選択されることになる。即ち、全ての通常画素の撮像画像信号を利用して２Ｄ動画像を生成するため、偽色やジャギー等の画質劣化要因を抑えることが可能となる。
【００５０】
図１１は、第４実施形態に係る２Ｄ動画像用の撮像画像信号を固体撮像素子からの読み出す方法を説明する図である。第２，第３実施形態では、３Ｄ動画像と同じ解像度の２Ｄ動画像を生成する場合について述べたが、３Ｄ動画像とは別に、水平解像度を増やした２Ｄ動画像が欲しい場合がある。例えば、アスペクト比１６：９のＨＤ画質の動画像が欲しい場合がある。
【００５１】
撮像装置１０で撮影する画像のアスペクト比は、通常は４：３であるが、動画像をアスペクト比１６：９の大型テレビジョン受像機の大画面で観賞したい場合がある。この様な場合、次の第４実施形態の読み出し方法を採用すれば良く、撮像装置１０のメニュー画面で選択する。
【００５２】
図１１において、太線黒枠で示した通常画素のペア画素を選択して２Ｄ画像用の撮像画像信号を読み出す。この場合、水平ラインでは画素間引きはせずに、垂直ラインは、位相差検出画素が存在する水平ラインを読まずに画素間引きする。撮影は、例えばローリングシャッタ駆動で行い、固体撮像素子２１から撮像画像信号を読み出す場合には、Ａ群画素→Ｂ群画素→Ａ群画素→Ｂ群画素→……と、水平ライン順に読み出す。
【００５３】
上述した実施形態と同様に、ペア画素の夫々の撮像画像信号を加算平均した値を採用して、ペア画素位置の信号を１画素の信号として使用する。この様に画素間引きすることで、加算平均した結果の撮像画像信号のカラー配列はベイヤ配列となり、ベイヤ配列用の画像処理エンジンを使用することが可能となる。
【００５４】
次に第５の実施形態について説明する。第５の実施形態では、ペア画素の加算平均値を用いて２Ｄ動画像データを生成するのではなく、図７で説明したのと同様に、ペア画素のうちの一方の画素を選択して２Ｄ動画像データを生成したり、ペア画素の２画素加算を行って２Ｄ動画像データを生成する。画素加算は、固体撮像素子２１から撮像画像信号を読み出した後に、図２のデジタル信号処理部２６で演算するのが良い。これにより、２Ｄ動画像データの生成速度が向上し、または、高感度な２Ｄ動画像データを得ることが可能となる。
【００５５】
図１２は、第６実施形態に係る２Ｄ動画像用の撮像画像信号読出方法を示す図である。本実施形態でも、位相差検出画素が存在する水平ラインについては信号読出は行わず、その他の通常画素しか存在しない水平ラインは読み出す。そして、本実施形態は、撮影シーンが暗く、上述した第５実施形態の２画素加算でも感度が不足する場合に、図１２に示す様に、非読出ラインを垂直方向に挟む同色の２組のペア画素を４画素加算する。図１２では、ペア画素を楕円で囲み、画素加算するペア画素の楕円を線で結んで示している。これにより、高感度且つＨＤ画質の２Ｄ動画像を撮影することが可能となる。
【００５６】
図１３は、画素加算数を、撮影シーンの明るさに応じて可変制御する処理手順を示すフローチャートである。先ず、撮影シーンの明るさが第１閾値α１より明るいか否かを判定し、明るい場合にはステップＳ１２に進み、図１１で説明した様に、ペア画素の一方の画素の撮像画像信号だけを採用し、或いは、ペア画素の撮像画像信号の加算平均値を採用する。そして、次のステップＳ１３に進み、採用した撮像画像信号を用いてＨＤ画質の２Ｄ動画像を生成し、この処理を終了する。
【００５７】
ステップＳ１１の判定の結果、明るさが第１閾値α１より暗い場合には、次にステップＳ１４に進み、α１より暗い第２閾値α２より撮影シーンが明るいか否かを判定する。第２閾値α２より明るい場合には、ステップＳ１４からステップＳ１５に進み、ペア画素の２画素の撮像画像信号を加算して、ステップＳ１３に進む。
【００５８】
ステップＳ１４の判定の結果、撮影シーンの明るさが第２閾値α２より暗い場合には、ステップＳ１６に進み、図１２で説明した撮像画像信号の４画素加算を行い、ステップＳ１３に進む。
【００５９】
以上により、撮影シーンの明るさが明るい場合でも暗い場合でも所要範囲内の感度でＨＤ画質の２Ｄ動画像を撮影することが可能となる。
【００６０】
この固体撮像素子２１を用いて高精細な２Ｄの静止画像を撮影する場合には、全画素の夫々の撮像画像信号を読み出す。固体撮像素子２１からは、画素配列（撮像画像信号の配列）が縦横それぞれ半ピッチずれた２枚のベイヤ配列の画像（Ａ群画素による撮像画像と、Ｂ群画素による撮像画像）が取得できるため、この２枚の画像データを用いて高精細な２Ｄの静止画像を生成することができる。
【００６１】
この場合、位相差検出画素の遮光膜開口２ａ，２ｂは、通常画素の遮光膜開口１より狭いため感度が低い。そこで、位相差検出画素の撮像画像信号を、周囲の通常画素のデータを用いて補間演算して補正したり、あるいは、位相差検出画素の撮像画像信号に対して図２のデジタル信号処理部２６が行う増幅処理の増幅率を、通常画素の撮像画像信号に対する増幅率より高くして補正する。
【００６２】
静止画像を撮像するとき、Ａ群画素とＢ群画素の露光時間を同じ時間としてペア画素の撮像画像信号を加算し被写体画像を生成すると、正方配列の２枚の画像として高精細な被写体画像を生成することができる。Ａ群画素とＢ群画素をペア画素間で画素加算すると、信号配列は１枚の正方配列となり高感度な画像を生成できる。また、静止画像データを画像処理する場合、本実施形態の固体撮像素子２１ではカラーフィルタ配列の基本がベイヤ配列であるため、ベイヤ配列用の画像処理エンジンを使用でき、低コスト化を図ることができる。この場合も、上記と同様に、位相差検出画素の撮像画像信号を補正する必要がある。
【００６３】
固体撮像素子２１を用いてダイナミックレンジの広い高精細（実画素数の１／２の画素数）な静止画像を撮影することも可能である。各画素の信号読出回路に印加するリセット信号や読出信号のタイミング等を調整し、Ａ群画素の露光時間に対してＢ群画素の露光時間を短くして撮影を行う。そして、全画素から撮像画像信号を読み出し、ペア画素の撮像画像信号を加算することで、撮像画像のダイナミックレンジが広くなる。この場合も、上記と同様に、位相差検出画素の検出信号を補正する必要がある。
【００６４】
以上の様に、上述した実施形態によれば、３Ｄ画像を撮像する場合には、位相差検出画素の撮像画像信号だけを用いて画像処理し、静止画像でない２Ｄ画像を撮像する場合には、位相差検出画素以外の通常画素の撮像画像信号だけを用いて画像処理するため、両者を一緒に撮像し、両者を固体撮像素子２１から読み出してから、画像処理にて区別し、別々の画像データとして記録メディアに保存することができる。また、２Ｄ動画像を撮像する場合には、撮影シーンの明るさに応じて画素加算数を制御できるため、所要感度の動画像を生成することができる。
【００６５】
また、上述した実施形態の様に、画素加算する場合に、加算重心位置を位相差検出画素の位置とすることで、画面内の位相差ムラを無くすことができ、高品質な動画像を得ることが可能となる。
【００６６】
尚、アスペクト比４：３の受光面の撮像素子を用いてアスペクト比１６：９の３Ｄ動画像を撮像する場合、この受光面のうちアスペクト比１６：９の範囲にだけ位相差検出画素ペアを配置しておけば良い。
【００６７】
以上述べた様に、実施形態の撮像素子は、複数の画素が二次元アレイ状に配列形成され奇数行又は偶数行の一方の画素行で構成される第１群画素と奇数行又は偶数行の他方の画素行で構成される第２群画素とが水平方向及び垂直方向に１／２画素ピッチずらして配置された半導体基板と、前記第１群画素に積層されたベイヤ配列のカラーフィルタ及び前記第２群画素に積層されたベイヤ配列のカラーフィルタを備える撮像素子であって、前記第１群画素の各々の画素と該画素に対して斜めに隣接し該画素と同色の前記カラーフィルタが積層された前記第２群画素に属する画素とをペア画素とし、該ペア画素のうち水平方向及び垂直方向に２ｎ＋１（ｎ＝１，２，…）個間隔に対応するペア画素を位相差検出画素で構成したことを特徴とする。これにより、静止画像，動画像を画像処理するときの画像処理エンジンとして、ベイヤ配列用のものが使用可能となる。
【００６８】
また、実施形態の撮像素子は、前記第１群画素に含まれる前記位相差検出画素は右眼用の画像又は左眼用の画像の一方を取得し、前記第２群画素に含まれる前記位相差検出画素は右眼用画像又は左眼用の画像の他方を取得する構成としたことを特徴とする。
【００６９】
また、実施形態の撮像素子は、ｎ＝１とすることを特徴とする。これにより、撮像素子の画素数に対して３Ｄ動画像の画素数を最大にすることができる。
【００７０】
また、実施形態の撮像装置は、上記の撮像素子と、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を、前記第１群画素の画素行と前記第２群画素の画素行とから交互に読み出す撮像素子駆動手段とを備えることを特徴とする。これにより、第１群画素と第２群画素の露光時間のずれを最小に抑えることができ、後処理もサイドバイサイドで簡単となる。
【００７１】
また、実施形態の撮像装置は、平面動画像の撮像時には前記位相差検出画素以外の前記ペア画素の撮像画像信号を、前記撮像素子駆動手段が前記第１群画素の画素行と前記第２群画素の画素行とから交互に読み出すことを特徴とする。これにより、位相差画素の影響を避けて２Ｄ動画像を生成することが可能となる。
【００７２】
また、実施形態の撮像装置は、前記位相差検出画素以外の前記ペア画素の撮像画像信号のうち、いずれか１方の画素の撮像画像信号を用いて、又は、２つの画素の撮像画像信号の加算平均値を用いて、前記平面動画像を生成する画像処理手段を備えることを特徴とする。これにより、迅速に２Ｄ動画像を得ることができ、また、Ｓ／Ｎの良好な２Ｄ動画像が得られる。
【００７３】
また、実施形態の撮像装置では、撮影シーンが暗い場合には、前記位相差検出画素以外の前記ペア画素の撮像画像信号の両方を加算して前記平面動画像を生成する画像処理手段を備えることを特徴とする。これにより、高感度な２Ｄ動画像を得ることができる。
【００７４】
また、実施形態の撮像装置は、撮影シーンが更に暗い場合、前記画像処理手段は、前記位相差検出画素以外の前記ペア画素のうち近接する同色のペア画素を構成する複数の画素の撮像画像信号を加算して前記平面動画像を生成することを特徴とする。これにより、更に高感度な２Ｄ動画像を撮像することが可能となる。
【００７５】
また、実施形態の撮像装置は、前記平面動画像を前記立体動画像と同時に撮像することを特徴とする。これにより、２種類の動画像を短時間に撮像することが可能となる。
【００７６】
また、実施形態の撮像装置の前記位相差検出画素は前記撮像素子のうちアスペクト比１６：９の範囲に配置され、前記平面動画像が、前記撮像素子の水平方向の画素間引きをせずに垂直方向の画素間引きだけを行い、アスペクト比１６：９の画像とすることを特徴とする。これにより、アスペクト比１６：９のテレビジョン受像機による大画面の動画を撮像可能となる。
【００７７】
また、実施形態の撮像装置は、高精細平面静止画像の撮像時には、前記撮像素子の全画素から撮像画像信号を読み出すと共に前記位相差検出画素の撮像画像信号を補正して高精細平面静止画像を生成することを特徴とする。位相差検出画素の周囲には通常の画素が配置されているため、補正が容易且つ確実にでき、高精細な静止画像を取得可能となる。
【００７８】
以上述べた実施形態によれば、ユーザの要求に応える動画像を短時間且つ低コストに取得することが可能となる。
【産業上の利用可能性】
【００７９】
本発明に係る撮像装置は、静止画像のみならず３Ｄ動画像と２Ｄ動画像を撮影することができ、動画撮影機能付のデジタルカメラ等として有用である。
【符号の説明】
【００８０】
１  通常画素の遮光膜開口
２  画素（光電変換素子）
２ａ，２ｂ  位相差検出画素の遮光膜開口
１０  撮像装置
１２  撮影レンズ
２６  デジタル信号処理部
２９  システム制御部
【図１】
2014158062.tif 000003
【図２】
2014158062.tif 000004
【図３】
2014158062.tif 000005
【図４】
2014158062.tif 000006
【図５】
2014158062.tif 000007
【図６】
2014158062.tif 000008
【図７】
2014158062.tif 000009
【図８】
2014158062.tif 000010
【図９】
2014158062.tif 000011
【図１０】
2014158062.tif 000012
【図１１】
2014158062.tif 000013
【図１２】
2014158062.tif 000014
【図１３】
2014158062.tif 000015