(57)【要約】【課題】より幅広い画像表現に適応可能な撮像装置を提供する。【解決手段】この撮像装置は、第１の開口を含む第１の遮光部と第１の受光部とを物体側から順に有し、第１の画像信号を出力する第１の画素と、第１の開口よりも小さな面積の第２の開口を含む第２の遮光部と第２の受光部とを物体側から順に有し、第２の画像信号を出力する第２の画素と、第１の画像信号に基づく第１の画像と、第２の画像信号に基づく第２の画像とを合成することにより一の合成画像を形成する合成部とを備えたものである。【選択図】図５
2012222742.tif 000002
【特許請求の範囲】
【請求項１】
第１の開口を含む第１の遮光部と第１の受光部とを物体側から順に有し、第１の画像信号を出力する第１の画素と、
前記第１の開口よりも小さな面積の第２の開口を含む第２の遮光部と第２の受光部とを物体側から順に有し、第２の画像信号を出力する第２の画素と、
前記第１の画像信号に基づく第１の画像と、前記第２の画像信号に基づく第２の画像とを合成することにより一の合成画像を形成する合成部と
を備えた撮像装置。
【請求項２】
前記第２の画素として、緑色光を受光する緑色画素を備え、
前記第１の画素として、赤色光を受光する赤色画素および青色光を受光する青色画素を備えた
請求項１記載の撮像装置。
【請求項３】
前記第２の画素として、緑色光を受光する第１の緑色画素を備え、
前記第１の画素として、赤色光を受光する赤色画素、青色光を受光する青色画素、および緑色光を受光する第２の緑色画素を備えた
請求項１記載の撮像装置。
【請求項４】
前記合成部は、前記第２の画像から抽出された被写体画像と、前記第１の画像から抽出された背景画像とを合成する
請求項１記載の撮像装置。
【請求項５】
前記合成部は、前記第２の画像から抽出された高輝度領域画像と、前記第１の画像から抽出された低輝度領域画像とを合成する
請求項１記載の撮像装置。
【請求項６】
前記第１の画素および第２の画素が同一の基体に設けられている
請求項１記載の撮像装置。
【請求項７】
前記第２の受光部は、その中心位置が前記第２の開口と重なり合う領域に含まれるように配置されている
請求項１記載の撮像装置。
【請求項８】
第３の開口を含む第３の遮光部と、前記第３の開口に対して第１の方向に偏心して設けられた第３の受光部とを物体側から順に有する第１の受光素子と、
第４の開口を含む第４の遮光部と、前記第４の開口に対して前記第１の方向と反対の第２の方向に偏心して設けられた第４の受光部とを物体側から順に有する第２の受光素子と
をさらに備えた請求項１記載の撮像装置。
【請求項９】
基体上に、
第１の開口を含む第１の遮光部と第１の受光部とを物体側から順に有し、第１の画像信号を出力する第１の画素と、
前記第１の開口よりも小さな面積の第２の開口を含む第２の遮光部と第２の受光部とを物体側から順に有し、第２の画像信号を出力する第２の画素と
を備えた撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の画素を有する撮像素子およびこれを備えた撮像装置に関する。
【背景技術】
【０００２】
一般的な写真表現において、撮影光学系にＦ値の小さな大口径レンズを用い、人物などの主要被写体を引き立てるために背景画像を大きくぼかす技法が知られている。ところが、大口径レンズは焦点深度が比較的浅いので、高精度のピント合わせが求められる。すなわち、大口径レンズを用いた場合にはピントずれによる解像度劣化が生じやすい。そのうえ、大口径レンズにおいては周縁光の収差（例えば球面収差）の補正が不十分であることが多く、その場合には大口径であることの本来の利点を十分に生かすことが困難である。
【０００３】
こうした状況下、撮影光学系において生じる軸上色収差を利用し、撮影画像を構成する高周波成分を色ごとに抽出し、焦点深度を調節するようにした撮像装置が提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−８１００２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術は、ズームレンズへの適用が困難である。変倍動作によって軸上色収差の発生量に変動が生じるので、所定の焦点距離において焦点深度の調節に要する軸上色収差が得られない場合があるからである。また、撮影光学系が単焦点レンズの場合であっても軸上色収差の発生を伴うことから、撮影画像において色にじみなどの劣化が生じることとなる。
【０００６】
本開示はかかる問題点に鑑みてなされたもので、その目的は、背景を大きくぼかしつつ主要被写体についてより鮮明な画像が得られるなどの、より幅広い画像表現に適応可能な撮像素子および撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
本開示の撮像装置は、下記の（Ａ１）〜（Ａ３）を備えたものである。
（Ａ１）第１の開口を含む第１の遮光部と第１の受光部とを物体側から順に有し、第１の画像信号を出力する第１の画素。
（Ａ２）第１の開口よりも小さな面積の第２の開口を含む第２の遮光部と第２の受光部とを物体側から順に有し、第２の画像信号を出力する第２の画素。
（Ａ３）第１の画像信号に基づく第１の画像と第２の画像信号に基づく第２の画像とを合成することにより、一の合成画像を形成する合成部。
【０００８】
本開示の撮像装置では、第１の画素によって比較的大きな集光角の入射光線が撮像されると共に、第２の画素によって比較的小さな集光角の入射光線が撮像される。また、合成部において、第１の画素によって撮像された第１の画像と第２の画素によって撮像された第２の画像とに基づいて所望の合成画像が形成される。
【０００９】
本開示の撮像素子は、基体上に下記の（Ｂ１）および（Ｂ２）を備えたものである。
（Ｂ１）第１の開口を含む第１の遮光部と第１の受光部とを物体側から順に有し、第１の画像信号を出力する第１の画素。
（Ｂ２）第１の開口よりも小さな面積の第２の開口を含む第２の遮光部と第２の受光部とを物体側から順に有し、第２の画像信号を出力する第２の画素。
【００１０】
本開示の撮像素子では、第１の画素によって比較的大きな集光角の入射光線が撮像されると共に、第２の画素によって比較的小さな集光角の入射光線が撮像される。
【発明の効果】
【００１１】
本開示の撮像素子および撮像装置によれば、第１の画素からの第１の画像信号に基づく被写界深度の浅い第１の画像と、第２の画素からの第２の画像信号に基づく被写界深度の深い第２の画像とを組み合わせた合成画像を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施の形態に係る撮像素子を備えた撮像装置の外観を表す正面図である。
【図２】図１に示した撮像装置の外観を表す背面図である。
【図３】図１に示した撮像装置の内部構造を表す概略図である。
【図４】図１に示した撮像装置の電気的な構成を表すブロック図である。
【図５】図１に示した撮像装置における撮像素子の画素配列を表す平面図である。
【図６】図５に示した画素の断面構造を表す断面図である。
【図７】画像合成部における画像合成処理のフローを説明するためのフローチャートである。
【図８】画像合成部における画像合成処理を説明するための概念図である。
【図９】撮像素子の画素配列の第１の変形例を表す平面図である。
【図１０】撮像素子の画素配列の第２の変形例を表す平面図である。
【図１１】撮像素子の画素配列の第３の変形例を表す平面図である。
【図１２】撮像素子の画素配列の第４の変形例を表す平面図である。
【図１３】撮像素子の画素配列の第５の変形例を表す平面図である。
【図１４】図１に示した撮像装置の変形例を表す概念図である。
【発明を実施するための形態】
【００１３】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。
【００１４】
［撮像装置の全体構成］
図１および図２は、本実施の形態としての撮像素子１を備えた撮像装置の全体構成を表す正面図（図１）および背面図（図２）である。また、図３は、この撮像装置の断面構成を表す概略図であり、図４は撮像装置の機構を説明するためのブロック図である。
【００１５】
この撮像装置は例えば一眼レフレクッスタイプのデジタルスチルカメラであり、外装部材としての本体１０の被写体側の面（前面）に、着脱可能な撮像レンズ２が取り付けられたものである。
【００１６】
図１に示したように、本体１０の前面には、撮像レンズ２が装着されるマウント部３０１と、マウント部３０１の右横に配置されたレンズ交換ボタン３０２と、撮影者が把持するためのグリップ部３０３とが設けられている。また、本体１０の上部には、撮影レンズ２の上方に位置するフラッシュ部１８および接続端子部３１９と、それらの両側に位置するモード設定ダイアル３０５および制御値設定ダイアル３０６と、グリップ部３０３の上方に位置するシャッタボタン３０７とが設けられている。
【００１７】
図２に示したように、本体１０の背面には、液晶画面（ＬＣＤ：Liquid Crystal Display）３１１と、ＬＣＤ３１１の左側に配置された設定ボタン群３１２と、ＬＣＤ３１１の右側に配置された十字キー３１４と、十字キー３１４の中央に配置されたプッシュボタン３１５とが備えられている。また、ＬＣＤ３１１の上方には電子ビューファインダ（ＥＶＦ：Electronic View Finder）３１６と、ＥＶＦ３１６の周囲を囲むアイカップ３２１とが配置されている。さらに、ＥＶＦ３１６の左側にはメインスイッチ３１７が設けられ、ＥＶＦ３１６の右側には露出補正ボタン３２３および自動露出（ＡＥ：Automatic Exposure）ロックボタン３２４が設けられている。
【００１８】
マウント部３０１には、本体１０にマウント部３０１に装着された撮像レンズ２との電気的接続を行うためコネクタＥｃ（図４参照）や、機械的接続を行うためのカプラ７５（図４参照)が設けられている。
【００１９】
レンズ交換ボタン３０２は、マウント部３０１に装着された撮像レンズ２を取り外す際に押下されるボタンである。
【００２０】
グリップ部３０３は、ユーザが撮影時に撮像装置を把持する部分であり、フィッティング性を高めるために指形状に合わせた表面凹凸が設けられている。なお、グリップ部３０３の内部には電池収納室およびカード収納室（図示せず）が設けられている。電池収納室にはカメラの電源として電池６９Ｂ（図４参照）が収納されており、カード収納室には撮影画像の画像データを記録するためのメモリカード（図示せず）が着脱可能に収納されるようになっている。
【００２１】
モード設定ダイアル３０５および制御値設定ダイアル３０６は、本体１０の上面に沿った面内で回転可能な円盤状の部材からなる。モード設定ダイアル３０５は、自動露出（ＡＥ）制御モードや自動焦点（ＡＦ：オートフォーカス）制御モード、或いは１枚の静止画を撮影する静止画撮影モードや連続撮影を行う連続撮影モード等の各種撮影モード、記録済みの画像を再生する再生モード等、撮像装置に搭載されたモードや機能を択一的に選択するためのものである。一方、制御値設定ダイアル３０６は、撮像装置に搭載された各種の機能に対する制御値を設定するためのものである。
【００２２】
シャッタボタン３０７は、途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチである。静止画撮影モードにおいてシャッタボタン３０７が半押しされると、被写体の静止画を撮影するための準備動作（露出制御値の設定や焦点検出等の準備動作）が実行される。そして、シャッタボタン３０７が全押しされると、撮影動作（撮像素子１（図３参照）を露光し、その露光によって得られた画像信号に所定の画像処理を施してメモリカード等に記録する一連の動作）が実行される。
【００２３】
ＬＣＤ３１１は、画像表示が可能なカラー液晶パネルを備えており、撮像素子１により撮像された画像の表示や記録済みの画像の再生表示等を行うとともに、撮像装置に搭載される機能やモードの設定画面を表示するものである。なお、ＬＣＤ３１１に代えて、有機ＥＬやプラズマ表示装置を用いるようにしてもよい。
【００２４】
設定ボタン群３１２は、撮像装置に搭載された各種の機能に対する操作を行うための操作部である。この設定ボタン群３１２には、例えばＬＣＤ３１１に表示されるメニュー画面で選択された内容を確定するための選択確定スイッチ、選択取り消しスイッチ、メニュー画面の内容を切り替えるメニュー表示スイッチ、表示オン／オフスイッチ、表示拡大スイッチなどが含まれる。
【００２５】
十字キー３１４は、円周方向に一定間隔で配置された複数の押圧部（図中の三角印の部分）を備える環状の部材を有し、各押圧部に対応して備えられた図示省略の接点（スイッチ）により押圧部の押圧操作が検出されるように構成されている。また、プッシュボタン３１５は、十字キー３１４の中央に配置されている。十字キー３１４及びプッシュボタン３１５は、撮影倍率の変更（ズームレンズ２１２（図４参照）のワイド方向やテレ方向への移動）、ＬＣＤ３１１等に再生する記録画像のコマ送り、および撮影条件（絞り値、シャッタスピード、フラッシュ発光の有無等）の設定等の指示を入力するためのものである。
【００２６】
ＥＶＦ３１６は、液晶パネル３１０（図３参照）を備えており、撮像素子１によって撮像された画像の表示や記録済みの画像の再生表示等を行う。このＥＶＦ３１６やＬＣＤ３１１において、本撮影（画像記録用の撮影）前に撮像素子１で順次に生成される画像信号に基づき動画的態様で被写体を表示するライブビュー（プレビュー）表示が行われることにより、ユーザは、実際に撮像素子１にて撮影される被写体を視認することが可能となる。
【００２７】
メインスイッチ３１７は、左右にスライドする２接点のスライドスイッチからなり、例えば左にセットすると撮像装置の電源が投入され、右にセットすると電源が切断される。
【００２８】
フラッシュ部３１８は、ポップアップ式の内蔵フラッシュとして構成されている。一方、外部フラッシュ等を本体１０に取り付ける場合には、接続端子部３１９を使用して接続する。
【００２９】
アイカップ３２１は、遮光性を有してＥＶＦ３１６への外光の侵入を抑制する遮光部材である。
【００３０】
露出補正ボタン３２３は、露出値（絞り値やシャッタスピード）を手動で調整するためのボタンであり、ＡＥロックボタン３２４は、露出を固定するためのボタンである。
【００３１】
撮像レンズ２は、被写体からの光（光像）を取り込むレンズ窓として機能するとともに、その被写体光を本体１０の内部に配置されている撮像素子１に導くための撮影光学系として機能するものである。この撮像レンズ２は、上述のレンズ交換ボタン３０２を押下操作することで、本体１０から取り外すことが可能となっている。
【００３２】
撮像レンズ２は、図４に示したように光軸ＬＴに沿って直列的に配置された複数のレンズからなるレンズ群２１を備えている。このレンズ群２１は、例えば焦点の調節を行うためのフォーカスレンズ２１１と、変倍を行うためのズームレンズ２１２とを含んでおり、それぞれ光軸ＬＴに沿って駆動されることで、変倍や焦点調節が行われる。また、撮像レンズ２には、その鏡胴の外周適所に該鏡胴の外周面に沿って回転可能な操作環が備えられており、上記のズームレンズ２１２は、マニュアル操作あるいはオート操作により、上記操作環の回転方向及び回転量に応じて光軸方向に移動し、その移動先の位置に応じたズーム倍率（撮影倍率）に設定されるようになっている。
【００３３】
［撮像装置の内部構成］
次に、本実施の形態における撮像装置の内部構成について説明する。図３に示したように、本体１０の内部には、例えば撮像素子１、シャッタユニット４０およびＥＶＦ３１６などが配置されている。
【００３４】
撮像素子１は、例えばＣＣＤイメージセンサもしくはＣＭＯＳイメージセンサなどの固体撮像素子であり、例えば図５（Ａ）および図５（Ｂ）に示したように、基板１１上に複数の画素が配列されたものである。図５（Ａ）および図５（Ｂ）は、いずれも、本実施の形態の撮像素子１における画素配列の一具体例の一部を表す平面図である。基板１１は、光軸ＬＴと直交する面に沿って延在している。撮像素子１における複数の画素は、比較的大きな面積の開口１４Ｋ１（後出）を有する広開口画素３１と、この広開口画素３１よりも小さな面積の開口１４Ｋ２（後出）を有する狭開口画素３２とに分類される。図５（Ａ）および５（Ｂ）では、広開口画素３１および狭開口画素３２を表す矩形の大きさは、各々における開口１４Ｋ１，１４Ｋ２の相対的な大きさを表している。広開口画素３１および狭開口画素３２は、撮像レンズ２を通って受光された被写体からの光束を、それぞれ、Ｒ（赤），Ｇ（緑）またはＢ（青）の各色成分光に対応したアナログの電気信号（画像信号）に変換して出力するものである。以下、赤色、緑色および青色の各色成分光に対応した画像信号を出力する広開口画素３１を画素Ｒ１，Ｇ１，Ｂ１とそれぞれ記載し、赤色、緑色および青色の各色成分光に対応した画像信号を出力する狭開口画素３２を画素Ｒ２，Ｇ２，Ｂ２とそれぞれ記載する。各図面における表記についても同様である。
【００３５】
図５（Ａ）および図５（Ｂ）では、いずれも画素の配列がいわゆるベイヤー配列となっている。図５（Ａ）の画素配列では、Ｘ方向（水平方向）に延在する画素列Ｌ１１および画素列Ｌ１２が、Ｙ方向（鉛直方向）において交互に複数並べられた構成となっている。画素列Ｌ１１は、Ｘ方向において、画素Ｒ１と画素Ｇ１とが交互に複数配置されたものである。一方、画素列Ｌ１２は、Ｘ方向において、画素Ｇ２と画素Ｂ１とが交互に複数配置されたものである。ここで、画素列Ｌ１１における画素Ｒ１および画素Ｇ１は、それぞれ、画素列Ｌ１２における画素Ｇ２および画素Ｂ１とＹ方向において隣り合うようになっている。すなわち、画素Ｒ１と画素Ｇ２とがＹ方向に交互配置された画素列Ｌ２１と、画素Ｇ１と画素Ｂ１とがＹ方向に交互配置された画素列Ｌ２２とが、Ｘ方向において交互に並べられた構成となっている。この結果、図５（Ａ）では、Ｘ方向、Ｙ方向および斜め方向のいずれにおいても狭開口画素３２である画素Ｇ２が、広開口画素３１である画素Ｂ１，Ｒ１およびＧ１のいずれかを挟んで１つおきに配置された状態となっている。
【００３６】
また、図５（Ｂ）に示した画素配列では、Ｘ方向およびＹ方向に対して傾斜した右上がりの斜め方向に延在する画素列Ｌ３１，Ｌ３２，Ｌ３３，Ｌ３４が、その延在方向と直交する左上がりの斜め方向へ順次配置された構成となっている。画素列Ｌ３１は、画素Ｇ２が右上がりの斜め方向に沿って複数並べられたものである。画素列Ｌ３２，Ｌ３４は、画素Ｒ１と画素Ｂ１とが右上がりの斜め方向に沿って交互に繰り返し配置されたものである。画素列Ｌ３４は、画素Ｇ１が右上がりの斜め方向に沿って複数並べられたものである。図５（Ｂ）に示した例では、Ｘ方向へ延在する画素列の全てにおいて、広開口画素３１である画素Ｇ１と、狭開口画素３２である画素Ｇ２とが同数ずつ含まれている。
【００３７】
図６（Ａ）および６（Ｂ）に、それぞれ、広開口画素３１および狭開口画素３２の断面構造を表す。図６（Ａ）および６（Ｂ）に示したように、広開口画素３１および狭開口画素３２は、いずれも、基板１１の上に、光電変換部１２と、平坦化膜１３と、中央付近に開口１４（１４Ｋ１，１４K２）を有する遮光膜１４と、カラーフィルタ１５と、平坦化膜１６と、マイクロレンズ１７とが順に積層された構造を有している。広開口画素３１および狭開口画素３２のいずれにおいても、光電変換部１２は、その中心位置が開口１４と重なり合う領域に含まれるように配置されている。但し、先に述べたように、狭開口画素３２の開口１４Ｋ２は、広開口画素３１の開口１４Ｋ１よりもその占有面積が小さいものである。そのため、狭開口画素３２では、撮像レンズ２からの入射光のうち遮光膜１４によって遮られる成分光の割合が広開口画素３１に比べて高くなる。すなわち、狭開口画素３２の光電変換部１２が実際に受光する入射光は、広開口画素３１と比較して集光角の小さな成分光に限定される。その結果、狭開口画素３２では、広開口画素３１と比較して、被写界深度が深く、かつ比較的良好に収差補正がなされた入射光のみが受光される。この結果、狭開口画素３２では、より高い解像度の画像が取得される。特に、本実施の形態では、緑色成分光に対応した画像信号を出力する画素Ｇの設置数を、画素Ｒおよび画素Ｂのそれぞれの設置数に対して２倍とし、かつ、画素Ｇの一部を狭開口画素３２として設けるようにした。これにより、観察者は、よりいっそう高い解像度の画像を認識することができる。
【００３８】
シャッタユニット４０は、撮像素子１の前方（物体側）に設けられている。このシャッタユニット４０は例えば上下方向に移動する幕部材を有し、その開閉動作により、撮像レンズ２からの入射光を透過させ、または遮断するようになっている。
【００３９】
ＥＶＦ３１６は、液晶パネル３１０と、接眼レンズ１０６とを有している。液晶パネル３１０は、例えば画像表示が可能なカラー液晶パネルであり、撮像素子１により撮像された画像を表示するものである。接眼レンズ１０６は、液晶パネル３１０に表示された被写体画像を外部へ導くものである。これにより観察者が視認できる。
【００４０】
［撮像装置の電気的構成］
次に、図４を参照して、撮像装置の電気的構成について説明する。
【００４１】
図４に示したように、撮像レンズ２は、レンズ群２１に加え、例えばレンズ駆動機構２４と、レンズ位置検出部２５と、レンズ制御部２６と、絞り駆動機構２７とを備えている。
【００４２】
（撮像レンズの電気的構成）
レンズ群２１では、フォーカスレンズ２１１およびズームレンズ２１２と、本体１０に設けられた撮像素子１へ入射される光量を調節するための絞り２３とが、鏡筒２２の内部に収容されて光軸ＬＴに沿って配置されている。レンズ群２１は、被写体からの光を取り込んで撮像素子１の表面上に結像させるものである。さらにフォーカス制御駆動部７１Ａおよびアクチュエータ７１Ｍを設け、これによってフォーカスレンズ２１１が光軸ＬＴに沿って移動し、焦点の調節がなされるようになっている。
【００４３】
フォーカス制御駆動部７１Ａは、レンズ制御部２６を介して本体１０に設けられたメイン制御部６２から与えられるＡＦ制御信号に基づき、ＡＦアクチュエータ７１Ｍに対する駆動制御信号を生成するものである。ＡＦアクチュエータ７１Ｍは、ステッピングモータ等からなり、レンズ駆動機構２４にレンズ駆動力を与えるようになっている。
【００４４】
レンズ駆動機構２４は、例えばヘリコイド及び該ヘリコイドを回転させる図示省略のギア等で構成され、ＡＦアクチュエータ７１Ｍからの駆動力を受けて、フォーカスレンズ２１１等を光軸ＬＴに沿って駆動させるものである。なお、フォーカスレンズ２１１の移動方向及び移動量は、それぞれＡＦアクチュエータ７１Ｍの回転方向及び回転数に従う。
【００４５】
レンズ位置検出部２５は、レンズ群２１の移動範囲内において光軸ＬＴ方向に複数個のコードパターンが所定ピッチで形成されたエンコード板と、このエンコード板に摺接しながらレンズと一体的に移動するエンコーダブラシとを備えており、レンズ群２１の焦点調節時の移動量を検出する。なお、レンズ位置検出部２５で検出されたレンズ位置は、例えばパルス数として出力される。
【００４６】
レンズ制御部２６は、例えば制御プログラム等を記憶するＲＯＭや状態情報に関するデータを記憶するフラッシュメモリ等のメモリが内蔵されたマイクロコンピュータからなっている。
【００４７】
また、レンズ制御部２６は、コネクタＥｃを介してカメラボディ１０のメイン制御部６２との間で通信を行う通信機能を有している。これにより、例えばレンズ群２１の焦点距離、射出瞳位置、絞り値、合焦距離及び周辺光量状態等の状態情報データや、レンズ位置検出部２５で検出されるフォーカスレンズ２１１の位置情報をメイン制御部６２に送信できるとともに、メイン制御部６２から例えばフォーカスレンズ２１１の駆動量のデータを受信できる。
【００４８】
絞り駆動機構２７は、カプラ７５を介して絞り駆動アクチュエータ７６Ｍからの駆動力を受けて、絞り２３の絞り径を変更するものである。
【００４９】
（本体の電気的構成）
続いて、本体１０の電気的構成について説明する。本体１０は、撮像素子１などの他、以下のものを備えている。すなわち、ＡＦＥ（アナログフロントエンド）５、画像処理部６１、画像メモリ６１４、メイン制御部６２、フラッシュ回路６３、操作部６４、画像合成部６５、電源回路６９、電池６９Ｂ、シャッタ駆動制御部７３Ａ、シャッタ駆動アクチュエータ７３Ｍ、絞り駆動制御部７６Ａおよび絞り駆動アクチュエータ７６Ｍなどを備えている。
【００５０】
撮像素子１は、後述のタイミング制御回路５１により、露光動作の開始および終了や、各画素の出力選択、あるいは画素信号の読出しなどの撮像動作が制御される。
【００５１】
ＡＦＥ５は、タイミング制御回路５１、信号処理部５２およびＡ／Ｄ変換部５３などを備えている。ＡＦＥ５は、撮像素子１に対して所定の動作を行わせるタイミングパルスを与えるものである。また、ＡＦＥ５は、撮像素子１の各画素から出力される画像信号（アナログ信号）に所定の信号処理を施し、それをデジタル信号に変換して画像処理部６１に出力するものでもある。
【００５２】
タイミング制御回路５１は、メイン制御部６２から出力される基準クロックに基づいて所定のタイミングパルス（垂直走査パルスφＶｎ、水平走査パルスφＶｍ、リセット信号φＶｒ等を発生させるパルス）を生成して撮像素子１に出力し、撮像素子１の撮像動作を制御する。また、所定のタイミングパルスを信号処理部５２やＡ／Ｄ変換部５３にそれぞれ出力することにより、信号処理部５２及びＡ／Ｄ変換部５３の動作を制御する。
【００５３】
信号処理部５２は、撮像素子１から出力されるアナログの画像信号に所定のアナログ信号処理を施すものである。この信号処理部５２には、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（オートゲインコントロール）回路及びクランプ回路等が備えられている。Ａ／Ｄ変換部５３は、信号処理部５２から出力されたアナログのＲ、Ｇ、Ｂの画像信号を、タイミング制御回路５１から出力されるタイミングパルスに基づいて、複数のビット（例えば１２ビット）からなるデジタルの画像信号に変換するものである。
【００５４】
画像処理部６１は、ＡＦＥ５から出力される画像データに所定の信号処理を行って画像ファイルを作成するもので、黒レベル補正回路６１１、ホワイトバランス制御回路６１２、ガンマ（γ）補正回路６１３および画像合成部６１４等を備えて構成されている。なお、画像処理部６１へ取り込まれた画像データは、撮像素子１の読み出しに同期して画像メモリ６５に一旦書き込まれ、以後この画像メモリ６５に書き込まれた画像データにアクセスして、画像処理部６１の各ブロックにおいて処理が行われる。
【００５５】
黒レベル補正回路６１１は、Ａ／Ｄ変換部５３によりＡ／Ｄ変換されたＲ、Ｇ、Ｂの各デジタル画像信号の黒レベルを、基準の黒レベルに補正するものである。
【００５６】
ホワイトバランス補正回路６１２は、光源に応じた白の基準に基づいて、Ｒ，Ｇ，Ｂの各色成分のデジタル信号のレベル変換（ホワイトバランス（ＷＢ）調整）を行うものである。すなわちホワイトバランス制御回路６１２は、メイン制御部６２から与えられるＷＢ調整データに基づき、被写体のうち、輝度や彩度データ等から本来白色であると推定される部分を特定する。さらに、その部分のＲ，Ｇ，Ｂそれぞれを色成分の平均と、Ｇ／Ｒ比及びＧ／Ｂ比とを求め、これをＲ、Ｂの補正ゲインとしてレベル補正する。
【００５７】
ガンマ補正回路６１３は、ホワイトバランスの調整がなされた画像信号（画像データ）の階調特性を補正するものである。具体的にはガンマ補正回路６１３は、画像データのレベルを色成分毎に予め設定されたガンマ補正用テーブルを用いて非線形変換するとともにオフセット調整を行う。
【００５８】
画像合成部６１４は、ガンマ補正回路６１３からの複数の画像データに基づいて合成画像を形成し、その合成画像のデータ（合成画像データ）を画像メモリ６５へ出力するものである。合成画像の形成の詳細については後述する。
【００５９】
画像メモリ６５は、撮影モード時において、画像処理部６１から出力される画像データを一時的に記憶するとともに、この画像データに対しメイン制御部６２により所定の処理を行うための作業領域として用いられるメモリである。また、再生モード時には、メモリカード６７から読み出した画像データを一時的に記憶する。
【００６０】
メイン制御部６２は、例えば制御プログラムを記憶するＲＯＭ６２１と、一時的にデータを記憶するＲＡＭ（図示せず）とを含む記憶部が内蔵されたマイクロコンピュータからなり、撮像装置各部の動作を総括的に制御するものである。
【００６１】
フラッシュ回路６３は、フラッシュ撮影モードにおいて、フラッシュ部３１８または接続端子部３１９に接続される外部フラッシュの発光量を、メイン制御部６２により設定された発光量に制御するものである。
【００６２】
操作部６４は、操作情報をメイン制御部６２に入力するためのものである。操作部６４は、例えばモード設定ダイアル３０５、制御値設定ダイアル３０６、シャッタボタン３０７、設定ボタン群３１２、十字キー３１４、プッシュボタン３１５、メインスイッチ３１７などを含む。
【００６３】
電源回路６９は、例えば定電圧回路等からなり、メイン制御部６２などの制御部、撮像素子１およびその他の各種駆動部など、撮像装置全体を駆動させるための電圧を生成する。撮像素子１への通電制御は、メイン制御部６２から電源回路６９に与えられる制御信号により行われる。電池６９Ｂは、ニッケル水素充電池等の二次電池や、アルカリ乾電池等の一次電池からなり、撮像装置全体に電力を供給する電源である。
【００６４】
シャッタ駆動制御部７３Ａは、メイン制御部６２から与えられる制御信号に基づき、シャッタ駆動アクチュエータ７３Ｍに対する駆動制御信号を生成するものである。シャッタ駆動アクチュエータ７３Ｍは、シャッタユニット４０の開閉駆動を行うアクチュエータである。
【００６５】
絞り駆動制御部７６Ａは、メイン制御部６２から与えられる制御信号に基づき、絞り駆動アクチュエータ７６Ｍに対する駆動制御信号を生成するものである。絞り駆動アクチュエータ７６Ｍは、カプラ７５を介して絞り駆動機構２７に駆動力を与えるものである。
【００６６】
［撮像装置の撮影動作］
次に、この撮像装置の撮影動作について説明する。この撮影動作は、メイン制御部６２の制御下において実施される。この撮像装置では、本体１０の背面に設けられたＬＣＤ３１１およびＥＶＦ３１６の少なくとも一方に表示されるライブビュー画像を用いて撮影者が構図の決定を行うようになっている。すなわち、撮影者は、ライブビュー画像に撮影対象とする主要被写体（例えば人物）が登場するように撮像レンズ２の向きを決定する。ライブビュー画像は、撮像レンズ２を通過して撮像素子１によって順次取得された複数の画像が順次生成されたものである。構図の決定ののち、撮影者がシャッタボタン３０７を半押し状態とすると、被写体の静止画を撮影するための準備動作（露出制御値の設定や焦点検出等の準備動作）が実行される。このとき、メイン制御部６２における合焦制御部（図示せず）とフォーカス制御駆動部７１Ａとが協働してレンズ駆動機構２４を駆動し、主要被写体が合焦状態となるようにフォーカスレンズ２１１の位置が調整される。合焦状態の検出は、例えば位相差方式のＡＦセンサ（図示せず）を複数用いて行うことができる。主要被写体が合焦状態となったのち、撮影者がシャッタボタン３０７を全押し状態とすると、撮影動作が実行される。すなわち、撮像素子１は、撮像レンズ２を通過して到達した被写体からの光を受光し、主要被写体を含む被写体像に対応した画像信号（アナログ信号）を信号処理部５２へ出力する。そののち、画像信号は、信号処理部５２からＡ／Ｄ変換部５３を経てデジタル信号に変換されたのち画像処理部６１に入力される。画像処理部６１に入力された画像信号は、黒レベル補正回路６１１、ホワイトバランス制御回路６１２、ガンマ（γ）補正回路６１３を経たのち、画像合成部６１４に到達する。画像合成部６１４では、広開口画素３１からの画像信号に基づく画像と、狭開口画素３２からの画像信号に基づく画像とを合成することにより一の合成画像が形成される。この合成画像は、画像メモリ６５に一時的に記録される。
【００６７】
［画像合成処理］
ここで、図７および図８を参照して、画像合成部６１４における画像合成処理について説明する。図７は、画像合成部６１４における画像合成処理のフローを説明するためのフローチャートであり、図８は、その画像合成処理を説明するための概念図である。詳細には、図８（Ａ）は広開口画素３１（画素Ｒ１，Ｇ１，Ｂ１）からの画像信号のみに基づく画像ＩＭＧ１の一例を表す。図８（Ｂ）は、広開口画素３１（画素Ｒ１，Ｂ１）および狭開口画素３２（画素Ｇ２）からの画像信号に基づく画像ＩＭＧ２の一例を表す。図８（Ｃ）は、画像ＩＭＧ１の一部と、画像ＩＭＧ２の一部とを合成してなる合成画像ＩＭＧ３を表す。なお、画像ＩＭＧ１および画像ＩＭＧ２を生成する画像信号は、広開口画素３１および狭開口画素３２において同時に取り込まれたものである。
【００６８】
画像合成部６１４では、まず、図８（Ａ）に示した画像ＩＭＧ１から、所定値以上のコントラスト比を有する部分画像ＡＲ１１を抽出する（ステップＳ１０１）。図８（Ａ）の画像ＩＭＧ１には、この撮像装置から近い順に位置する主要被写体としての人物の像Ｓ１と、木立の像Ｓ２と、山の像Ｓ３とが含まれている。ここで、人物の像Ｓ１が合焦状態となるように合焦制御がなされているので、コントラスト比は人物の像Ｓ１において最も高く、以下、木立の像Ｓ２、山の像Ｓ３の順にコントラスト比が低くなっている。そのため、このステップＳ１０１では、例えば人物の像Ｓ１および木立の像Ｓ２を含む部分画像ＡＲ１１が抽出される。
【００６９】
さらに、画像ＩＭＧ１の部分画像ＡＲ１１から、コントラスト比に基づき、主要被写体である人物の像Ｓ１を含む部分画像ＡＲ１２（図８（Ａ））を抽出する（ステップＳ１０２）。この際、合焦状態の検出を行う際に用いる測距情報のほか、顔認識情報などに基づき、主要被写体である人物の像Ｓ１を識別するようにしてもよい。また、ステップＳ１０１において、画像ＩＭＧ１から部分画像ＡＲ１２を直接抽出するようにしてもよい。
【００７０】
次に、画像ＩＭＧ１の部分画像ＡＲ１２に対応する部分画像ＡＲ２１を、図８（Ｂ）に示した画像ＩＭＧ２から抽出する（ステップＳ１０３）。図８（Ｂ）の画像ＩＭＧ２においても、主要被写体としての人物の像Ｓ１と、木立の像Ｓ２と、山の像Ｓ３とが含まれている。
【００７１】
次に、画像ＩＭＧ１における部分画像ＡＲ１２以外の領域を占める部分画像ＡＲ１３と、画像ＩＭＧ２における部分画像ＡＲ２１との露出調整を必要に応じて行う（ステップＳ１０４）。具体的には、開口１４Ｋ２は開口１４Ｋ１よりも小さいので、狭開口画素３２（画素Ｇ２）においては広開口画素３１（画素Ｒ１，Ｂ１）と比較して受光する光量が少ない。そのため、狭開口画素３２では、そのゲイン調整（ゲインを上げる調整）を行うことが望ましい。
【００７２】
最後に、部分画像ＡＲ１３と、部分画像ＡＲ２１との合成を行い、合成画像を形成することで、画像合成部６１４における画像合成処理が完了する（ステップＳ１０５）。
【００７３】
［実施の形態の効果］
このように、本実施の形態の撮像装置では、互いに異なる大きさの開口１４Ｋ１，１４Ｋ２を有する広開口画素３１および狭開口画素３２と、画像合成部６１４とを備えるようにした。これにより、広開口画素３１によって比較的大きな集光角の入射光線が撮像されると共に、狭開口画素３２によって比較的小さな集光角の入射光線が撮像される。さらに、画像合成部６１４において、広開口画素３１からの画像信号のみに基づく部分画像ＡＲ１３と、狭開口画素３２からの画像信号を含む部分画像ＡＲ２１とを合成することにより、一の合成画像ＩＭＧ３を形成するようにした。この結果、被写界深度の浅い背景画像と、被写界深度が深く、良好に収差補正がなされた主要被写体の画像とを組み合わせた合成画像を得ることができる。すなわち、大きくぼかした背景画像と、より鮮明な主要被写体の画像との組み合わせが可能となり、主要被写体をより引き立てるようにした写真表現を実現することができる。
【００７４】
また、撮像素子１においても収差補正が実質的になされることから、撮像レンズ２の（絞り解放時の）収差補正の度合いを緩和することが可能となる。よって、撮像レンズ２における設計自由度が向上するので、例えば収差補正に要していたレンズを削減し、あるいは非球面を球面にするなどの構成の簡素化に有利となる。
【００７５】
また、本実施の形態の撮像装置では、露出調整を実施せずに、広開口画素３１と狭開口画素３２との間で生じる露出差を利用することで、ダイナミックレンジの広い画像の一括取得が可能となる。すなわち、広開口画素３１からの画像信号に基づく画像から比較的明るい被写体に対応した部分画像（高輝度領域画像）を抽出すると同時に、狭開口画素３２からの画像信号に基づく画像から比較的暗い被写体に対応した部分画像（低輝度領域画像）を抽出することができる。そして、それらの部分画像を合成することで輝度のダイナミックレンジの広い合成画像を得ることができる。その結果、いわゆる白飛びや黒つぶれの比較的少ない合成画像が一時に獲得できるので、従来困難であった輝度のダイナミックレンジの広い動画の撮影も可能となる。
【００７６】
以上、実施の形態を挙げて本技術を説明したが、本技術は上記実施の形態に限定されるものではなく、種々変形が可能である。例えば、上記実施の形態では、第２の画素（狭開口画素３２）として緑色成分光に対応した画像信号を出力する画素（画素Ｒ２）を設けるようにした。しかしながら、本技術では、例えば図９〜図１１に示したように、第２の画素（狭開口画素３２）として赤色および青色の各色成分光に対応した画像信号を出力する画素（画素Ｒ２，Ｂ２）を設けるようにしてもよい。図９〜図１１は、いずれも、図５（Ａ）および図５（Ｂ）で示した画素配列と同様に、いわゆるベイヤー配列と呼ばれる画素配列を表している。
【００７７】
詳細には、図９では、Ｘ方向およびＹ方向に対して傾斜した右上がりの斜め方向に延在する画素列Ｌ３５，Ｌ３６，Ｌ３７，Ｌ３８が、その延在方向と直交する左上がりの斜め方向へ順次配置された構成となっている。画素列Ｌ３５は、画素Ｒ１と画素Ｂ１とが右上がりの斜め方向に沿って交互に繰り返し配置されたものである。画素列Ｌ３６は、画素Ｇ１と画素Ｇ２とが右上がりの斜め方向に沿って交互に繰り返し配置されたものである。画素列Ｌ３７は、画素Ｒ２と画素Ｂ２とが右上がりの斜め方向に沿って交互に繰り返し配置されたものである。画素列Ｌ３８は、画素Ｇ１が右上がりの斜め方向に沿って複数並べられたものである。
【００７８】
図１０では、Ｘ方向に延在する画素列Ｌ１３，Ｌ１４，Ｌ１５，Ｌ１６が、Ｙ方向において順次配列された構成となっている。画素列Ｌ１３は、Ｘ方向において、画素Ｒ１と画素Ｇ１とが交互に複数配置されたものである。画素列Ｌ１４は、Ｘ方向において、画素Ｇ１と画素Ｂ１とが交互に複数配置されたものである。画素列Ｌ１５は、Ｘ方向において、画素Ｒ２と画素Ｇ２とが交互に複数配置されたものである。画素列Ｌ１６は、Ｘ方向において、画素Ｇ２と画素Ｂ２とが交互に複数配置されたものである。ここで、画素列Ｌ１３，Ｌ１５における画素Ｒ１，Ｒ２は、それぞれ、画素列Ｌ１４，Ｌ１６における画素Ｇ１，Ｇ２とＹ方向において隣り合うようになっている。すなわち、画素Ｒ１，Ｇ１，Ｒ２，Ｇ２がこの順にＹ方向に配置された画素列Ｌ２３と、画素Ｇ１，Ｂ１，Ｇ２，Ｂ２がこの順にＹ方向に配置された画素列Ｌ２４とが、Ｘ方向において交互に並べられた構成となっている。
【００７９】
図１１では、画素ブロックＢＬ１と、画素ブロックＢＬ２とが市松模様を形成するように配置される。画素ブロックＢＬ１は１つの画素Ｒ１と、１つの画素Ｂ１と、２つの画素Ｇ１とで構成される。画素ブロックＢＬ２と、１つの画素Ｒ２と、１つの画素Ｂ２と、２つの画素Ｇ２とで構成される。なお、図１０および図１１の画素配列では、広開口画素３１と狭開口画素３２とが同数ずつ存在している。また、画素Ｒ１、画素Ｇ１および画素Ｂ１の存在比は１：２：１であり、画素Ｒ２、画素Ｇ２および画素Ｂ２の存在比も１：２：１となっている。
【００８０】
また、例えば図１２（Ａ）〜（Ｃ）に示したように、撮像素子１の基板１１上に、広開口画素３１および狭開口画素３２と共にＡＦセンサとしての画素４１，４２を配置するようにしてもよい。画素４１，４２は位相差方式のＡＦセンサであり、合焦状態の検出を行う際に用いられるものである。画素４１はＹ方向の位相差を検出するためのＡＦセンサであり、受光領域（光電変換部）の中心位置からＹ方向にシフトした開口４１Ｋを各々有する２種類の画素４１Ａ，４１Ｂに分類される。一方、画素４２はＸ方向の位相差を検出するためのＡＦセンサであり、受光領域の中心位置からＸ方向にシフトした開口４２Ｋを各々有する２種類の画素４２Ａ，４２Ｂに分類される。実際に合焦状態の検出を行う際には、画素４１Ａと画素４１Ｂとを一組として用いてＹ方向の位相差を検出し、画素４２Ａと画素４２Ｂとを一組として用いてＸ方向の位相差を検出する。なお、画素４１，４２における広開口画素３１および狭開口画素３２に対する構造上の相違点は、開口４１Ｋ，４２Ｋの中心位置が受光領域（光電変換部）の中心位置からずれていること、およびカラーフィルタが不要であることである。図１２（Ａ）〜（Ｃ）は、ぞれぞれ、図９、図１０、図５（Ａ）の画素配列に、画素４１Ａ，４１Ｂからなる画素列Ｌ４１と、画素４２Ａ，４２Ｂからなる画素列Ｌ４２とが適宜挿入配置された例を表す。
【００８１】
また、上記実施の形態では、いわゆるベイヤー配列の画素配列を例示して説明したが、本技術はこれに限定されるものではない。例えば図１３に示したようなクリアビットパターンとしてもよい。このようは画素配列においても広開口画素３１（画素Ｒ１，Ｇ１，Ｂ１）と、狭開口画素３２（画素Ｇ２）とを設けることにより、上記実施の形態と同様の効果が得られる。
【００８２】
また、上記実施の形態では、同一の基板上に広開口画素と狭開口画素との双方が形成された一の撮像素子を用いるようにしたが、本技術はこれに限定されるものではない。例えば、図１４に示したように、半透過性ミラー（波長選択性を持たず、入射光Ｌ１の一部を透過し、一部を反射する性質を有する光学部材）８１を用いて、撮像レンズ２からの光束Ｌ１を分割し、２つの撮像素子１Ａ，１Ｂによって撮像を行うようにしてもよい。このとき、例えば撮像素子１Ａには広開口画素のみを設け、撮像素子１Ｂには狭開口画素のみ、もしくは広開口画素および狭開口画素の双方を設けるようにすることができる。
【００８３】
また、上記実施の形態では、露出調整をゲイン調整により行うようにした。しかしながら、ゲイン調整ではなく、例えば上記図１４の例において撮像素子１Ａの直前（物体側）にシャッタユニットを設け、その開時間を調整し、露光時間を変えることで露出調整を行うことも可能である。また、このような露光時間調整とゲイン調整とを併せて行うようにしてもよい。
【００８４】
また、上記実施の形態では、遮光部の開口の面積が相互に異なる２種類の画素（広開口画素および狭開口画素）を用いる場合について説明したが、本技術はこれに限定されるものではない。例えば遮光部の開口の面積が相互に異なる３種類以上の画素を用いてもよい。
【００８５】
なお、上記実施の形態では、撮像装置において画像合成部６１４を利用して画像合成を行う場合について説明したが、この撮像装置では、撮影モードの選択により、そのような画像合成を行わずに通常の撮影を行うようにしてもよい。その場合、ガンマ補正回路６１３からの画像データを画像合成部６１４に送信せずに、画像メモリ６５へ直接出力するようにすればよい。
【００８６】
また、本技術は以下のような構成を取り得るものである。
（１）第１の開口を含む第１の遮光部と第１の受光部とを物体側から順に有し、第１の画像信号を出力する第１の画素と、
前記第１の開口よりも小さな面積の第２の開口を含む第２の遮光部と第２の受光部とを物体側から順に有し、第２の画像信号を出力する第２の画素と、
前記第１の画像信号に基づく第１の画像と、前記第２の画像信号に基づく第２の画像とを合成することにより一の合成画像を形成する合成部と
を備えた撮像装置。
（２）前記第２の画素として、緑色光を受光する緑色画素を備え、
前記第１の画素として、赤色光を受光する赤色画素および青色光を受光する青色画素を備えた
上記（１）記載の撮像装置。
（３）前記第２の画素として、緑色光を受光する第１の緑色画素を備え、
前記第１の画素として、赤色光を受光する赤色画素、青色光を受光する青色画素、および緑色光を受光する第２の緑色画素を備えた
上記（１）または（２）記載の撮像装置。
（４）前記合成部は、前記第２の画像から抽出された被写体画像と、前記第１の画像から抽出された背景画像とを合成する
上記（１）から（３）のいずれか１つに記載の撮像装置。
（５）前記合成部は、前記第２の画像から抽出された高輝度領域画像と、前記第１の画像から抽出された低輝度領域画像とを合成する
上記（１）から（４）のいずれか１つに記載の撮像装置。
（６）前記第１の画素および第２の画素が同一の基体に設けられている
上記（１）から（５）のいずれか１つに記載の撮像装置。
（７）前記第２の受光部は、その中心位置が前記第２の開口と重なり合う領域に含まれるように配置されている
上記（１）から（６）のいずれか１つに記載の撮像装置。
（８）第３の開口を含む第３の遮光部と、前記第３の開口に対して第１の方向に偏心して設けられた第３の受光部とを物体側から順に有する第１の受光素子と、
第４の開口を含む第４の遮光部と、前記第４の開口に対して前記第１の方向と反対の第２の方向に偏心して設けられた第４の受光部とを物体側から順に有する第２の受光素子と
をさらに備えた上記（１）から（７）のいずれか１つに記載の撮像装置。
【符号の説明】
【００８７】
１…撮像素子、２…撮像レンズ、３１…広開口画素、３２…狭開口画素、
１０…本体、１１…基板、１２…光電変換部、１３…平坦化膜、１４…遮光膜、１４Ｋ１，１４Ｋ２…開口、２１…レンズ群、２１１…フォーカスレンズ、２１２…ズームレンズ、２２…鏡筒、２３…絞り、３１…広開口画素、３２…狭開口画素、４０…シャッタユニット、６１４…画像合成部。
【図１】
2012222742.tif 000003
【図２】
2012222742.tif 000004
【図３】
2012222742.tif 000005
【図４】
2012222742.tif 000006
【図５】
2012222742.tif 000007
【図６】
2012222742.tif 000008
【図７】
2012222742.tif 000009
【図８】
2012222742.tif 000010
【図９】
2012222742.tif 000011
【図１０】
2012222742.tif 000012
【図１１】
2012222742.tif 000013
【図１２】
2012222742.tif 000014
【図１３】
2012222742.tif 000015
【図１４】
2012222742.tif 000016