(57)【特許請求の範囲】
【請求項１】
画素が複数配列された撮像素子であって複数の前記画素のうち指定された画素から読み出された画素信号を加算して出力可能な第１撮像素子と、
被写体を撮像して前記第１撮像素子の撮像範囲と前記被写体の輝度との対応関係を示す輝度分布情報を生成する第２撮像素子と、
前記輝度分布情報に基づいて前記第１撮像素子に配列された複数の前記画素のうち画素信号の加算を行う画素の位置を示す画素位置情報を生成する画素加算判別部と、
前記画素位置情報に基づいて指定された画素に対して画素信号の加算を行わせるための駆動信号を前記第１撮像素子に供給するタイミングジェネレータと、
前記第１撮像素子に配列された複数の前記画素のうち指定された画素から読み出された画素信号を加算して出力した場合、画素信号を加算して出力された信号により示される画像と画素信号を加算せずに出力された信号により示される画像とで解像度を調整する画像処理部と、を備え、
前記画素加算判別部は、前記輝度分布情報から前記第１撮像素子の撮像範囲内において被写体の明るい部分と被写体の暗い部分との面積比を求め、前記第１撮像素子の撮像範囲内において被写体の暗い部分よりも被写体の明るい部分が多い場合、画素信号を加算して出力された信号により示される画像を拡大するように前記画像処理部に対して指示を行い、前記第１撮像素子の撮像範囲内において被写体の明るい部分よりも被写体の暗い部分が多い場合、画素信号を加算せずに出力された信号により示される画像を縮小するように前記画像処理部に対して指示を行う
ことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記画素加算判別部は、前記第１撮像素子が撮像動作を行う前に前記輝度分布情報に基づいて前記第１撮像素子に配列された複数の前記画素のうち画素信号の加算を行う画素の数を設定することを特徴とする撮像装置。
【請求項３】
請求項１又は請求項２に記載の撮像装置において、
前記第２撮像素子の解像度は、前記第１撮像素子の解像度よりも低く設定されていることを特徴とする撮像装置。
【請求項４】
請求項１から請求項３のいずれか一項に記載の撮像装置において、
前記第２撮像素子で生成された前記輝度分布情報を用いて、前記第１撮像素子が撮像を行うときの撮像条件を調整する撮像条件調整部をさらに備えることを特徴とする撮像装置。
【請求項５】
画素が複数配列された撮像素子であって、複数の前記画素のうち指定された画素から読み出された画素信号を加算して出力可能な撮像素子と、
前記撮像素子の撮像範囲と被写体輝度との対応関係を示す輝度分布情報に基づいて複数の前記画素のうち画素信号の加算を行う画素の位置を示す画素位置情報を生成する画素加算判別部と、
前記画素位置情報に基づいて指定された画素に対して画素信号の加算を行わせるための駆動信号を前記撮像素子に供給するタイミングジェネレータと、
複数の前記画素のうち指定された画素から読み出された画素信号を加算して出力した場合、画素信号を加算して出力された信号により示される画像と画素信号を加算せずに出力された信号により示される画像とで解像度を調整する画像処理部と、を備え、
前記画素加算判別部は、前記輝度分布情報から前記撮像素子の撮像範囲内において被写体の明るい部分と被写体の暗い部分との面積比を求め、前記撮像素子の撮像範囲内において被写体の暗い部分よりも被写体の明るい部分が多い場合、画素信号を加算して出力された信号により示される画像を拡大するように前記画像処理部に対して指示を行い、前記撮像素子の撮像範囲内において被写体の明るい部分よりも被写体の暗い部分が多い場合、画素信号を加算せずに出力された信号により示される画像を縮小するように前記画像処理部に対して指示を行う
ことを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記画素加算判別部は、前記撮像素子が撮像動作を行う前に輝度分布情報に基づいて複数の前記画素のうち画素信号の加算を行う画素の位置を示す画素位置情報を生成することを特徴とする撮像装置。
【請求項７】
請求項５又は請求項６に記載の撮像装置において、
前記輝度分布情報を用いて、前記撮像素子が撮像を行うときの撮像条件を調整する撮像条件調整部をさらに備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来から、例えば特許文献１に示すように、輝度差のあるシーンを撮像するときに画像内の低輝度領域で局所的に画素加算を行う撮像装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２５１６９４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１には、画素加算をする領域と、画素加算をしない領域とで生じる解像度の差を如何に調整して１つの画像を出力するかについて改善の余地があった。
【課題を解決するための手段】
【０００５】
一の態様の撮像装置は、第１撮像素子と、第２撮像素子と、画素加算判別部と、タイミングジェネレータと、画像処理部とを備える。第１撮像素子は、画素が複数配列された撮像素子であって複数の画素のうち指定された画素から読み出された画素信号を加算して出力可能である。第２撮像素子は、被写体を撮像して第１撮像素子の撮像範囲と被写体の輝度との対応関係を示す輝度分布情報を生成する。画素加算判別部は、輝度分布情報に基づいて第１撮像素子に配列された複数の画素のうち画素信号の加算を行う画素の位置を示す画素位置情報を生成する。タイミングジェネレータは、画素位置情報に基づいて指定された画素に対して画素信号の加算を行わせるための駆動信号を第１撮像素子に供給する。画像処理部は、第１撮像素子に配列された複数の画素のうち指定された画素から読み出された画素信号を加算して出力した場合、画素信号を加算して出力された信号により示される画像と画素信号を加算せずに出力された信号により示される画像とで解像度を調整する。また、画素加算判別部は、輝度分布情報から第１撮像素子の撮像範囲内において被写体の明るい部分と被写体の暗い部分との面積比を求め、第１撮像素子の撮像範囲内において被写体の暗い部分よりも被写体の明るい部分が多い場合、画素信号を加算して出力された信号により示される画像を拡大するように画像処理部に対して指示を行い、第１撮像素子の撮像範囲内において被写体の明るい部分よりも被写体の暗い部分が多い場合、画素信号を加算せずに出力された信号により示される画像を縮小するように画像処理部に対して指示を行う。
【０００６】
別の態様の撮像装置は、撮像素子と、画素加算判別部と、タイミングジェネレータと、画像処理部と、を備える。撮像素子は、画素が複数配列された撮像素子であって、複数の画素のうち指定された画素から読み出された画素信号を加算して出力可能である。画素加算判別部は、撮像素子の撮像範囲と被写体輝度との対応関係を示す輝度分布情報に基づいて複数の画素のうち画素信号の加算を行う画素の位置を示す画素位置情報を生成する。タイミングジェネレータは、画素位置情報に基づいて指定された画素に対して画素信号の加算を行わせるための駆動信号を撮像素子に供給する。画像処理部は、複数の画素のうち指定された画素から読み出された画素信号を加算して出力した場合、画素信号を加算して出力された信号により示される画像と画素信号を加算せずに出力された信号により示される画像とで解像度を調整する。また、画素加算判別部は、輝度分布情報から撮像素子の撮像範囲内において被写体の明るい部分と被写体の暗い部分との面積比を求め、撮像素子の撮像範囲内において被写体の暗い部分よりも被写体の明るい部分が多い場合、画素信号を加算して出力された信号により示される画像を拡大するように画像処理部に対して指示を行い、撮像素子の撮像範囲内において被写体の明るい部分よりも被写体の暗い部分が多い場合、画素信号を加算せずに出力された信号により示される画像を縮小するように画像処理部に対して指示を行う。
【発明の効果】
【０００７】
本発明の撮像装置では、画素加算をする領域と、画素加算をしない領域とで生じる解像度の差が適切に調整される。
【図面の簡単な説明】
【０００８】
【図１】一の実施形態に係る撮像装置の構成例を示すブロック図
【図２】（ａ）：Ｒ面における４画素分の画素加算の例を示す図、（ｂ）：Ｒ面における１６画素分の画素加算の例を示す図
【図３】一の実施形態での第１撮像素子の回路構成例を示す図
【図４】一の実施形態における撮像装置の動作例を説明する流れ図
【図５】（ａ）：撮像素子内部で画素加算を行う場合を説明する模式図、（ｂ）：撮像素子外部で画素加算を行う場合（比較例）を説明する模式図
【図６】（ａ）：画素加算が行なわれた部分を拡大して画像の解像度を揃える例を示す図、（ｂ）：画素加算が行なわれていない部分を縮小して画像の解像度を揃える例を示す図
【発明を実施するための形態】
【０００９】
図１は、一の実施形態に係る撮像装置の構成例を示すブロック図である。撮像装置は、撮像光学系１１および絞り１２と、第１撮像素子１３と、ＡＦＥ１４と、画像処理部１５と、タイミングジェネレータ（ＴＧ）１６と、フレームメモリ１７と、記録Ｉ／Ｆ１８と、レンズ１９および第２撮像素子２０と、信号処理部２１と、ＣＰＵ２２と、操作部２３とを有している。なお、絞り１２、画像処理部１５、ＴＧ１６、記録Ｉ／Ｆ１８、信号処理部２１および操作部２３は、それぞれＣＰＵ２２と接続されている。
【００１０】
撮像光学系１１は、ズームレンズ、フォーカシングレンズを含む複数のレンズで構成されている。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。また、絞り１２は、第１撮像素子１３に入射する単位時間当たりの光量を調節する。この絞り１２の開口量（絞り値）は、ＣＰＵ２２の指示に応じて調整される。
【００１１】
第１撮像素子１３の受光面上には、複数の画素がマトリックス状に配列されている。また、第１撮像素子１３の各画素には、赤色（Ｒ）、緑色（Ｇｒ，Ｇｂ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列で配置されている。そして、第１撮像素子１３は、撮像光学系１１および絞り１２を通過した光束による被写体の像を撮像し、アナログの画像信号を生成する。なお、第１撮像素子１３の出力はＡＦＥ１４に接続されている。
【００１２】
また、第１撮像素子１３は、任意の画素の画像信号をランダムアクセスで読み出し可能なＣＭＯＳ型の固体撮像素子で構成される。また、第１撮像素子１３は、受光面の画素配列のうちで指定された部分領域に含まれる画素群の信号値を加算して出力可能である。この画素加算では、指定された部分領域において、カラーフィルタの色別（Ｒ面、Ｇｒ面、Ｇｂ面、Ｂ面）にそれぞれ信号値の加算が行われる。また、一の実施形態での第１撮像素子１３は、各色における２×２画素（４画素分）の範囲を１画素に加算する画素加算と、各色における４×４画素（１６画素分）の範囲を１画素に加算する画素加算とを選択的に実行できる。なお、一例として、図２（ａ）では、Ｒ面における４画素分の画素加算の例を示し、図２（ｂ）では、Ｒ面における１６画素分の画素加算の例を示す。なお、上記した他の色についても同様の画素加算が行われるものとする。
【００１３】
また、図３は、一の実施形態での第１撮像素子１３の回路構成例を示す図である。図３では、簡単のため、図２で示す２×２個分のＲ画素（画素ＰＸ１−ＰＸ４）のみを部分的に示すが、図２（ｂ）に示す画素ＰＸ５−ＰＸ８、ＰＸ９−ＰＸ１２、ＰＸ１３−ＰＸ１６の各回路もそれぞれ画素ＰＸ１−ＰＸ４と同様に構成されるものとする。勿論、実際の第１撮像素子１３の受光面にはさらに多数の画素が配列されることはいうまでもない。また、図３では、垂直デコーダ、水平デコーダなどの図示は省略する。
【００１４】
図３に示す画素ＰＸ１−ＰＸ４では、フォトダイオードＰＤおよび転送トランジスタＴＸが、各画素でそれぞれ１つずつ配置されている。また、画素ＰＸ１−ＰＸ４の４画素において、フローティングディフュージョンＦＤと、リセットトランジスタＲＥＳと、増幅トランジスタＡＭＰと、選択トランジスタＳＥＬとがそれぞれ共有されている（いわゆる７Ｔｒ／４画素の１．７５Ｔｒ構成）。
【００１５】
上記のフォトダイオードＰＤは、入射光の光量に応じて信号電荷を生成する。転送トランジスタＴＸは、フォトダイオードＰＤに蓄積された信号電荷をフローティングディフュージョンＦＤに転送する。リセットトランジスタＲＥＳは、フローティングディフュージョンＦＤを電源電圧にリセットする。増幅トランジスタＡＭＰは、フローティングディフュージョンＦＤの電圧値に応じて、選択トランジスタＳＥＬを介して出力端子に読み出し電流を出力する。選択トランジスタＳＥＬは、増幅トランジスタＡＭＰのソースを出力端子に接続する。
【００１６】
また、画素ＰＸ１−ＰＸ４の信号値を別々に読み出す場合、第１撮像素子１３は、４つのフォトダイオードＰＤの信号電荷を時分割で順次出力すればよい。一方、画素ＰＸ１−ＰＸ４を画素加算して読み出す場合、第１撮像素子１３は、４つのフォトダイオードＰＤの信号電荷をフローティングディフュージョンＦＤにまとめて蓄積してから出力すればよい。また、画素加算が行われる場合、増幅トランジスタＡＭＰは加算する画素の数に応じて信号値のゲインを調整する。例えば、上記のように４画素を加算する場合、増幅トランジスタＡＭＰは加算後の信号値を１／４倍する。
【００１７】
なお、画素ＰＸ１−ＰＸ４、ＰＸ５−ＰＸ８、ＰＸ９−ＰＸ１２、ＰＸ１３−ＰＸ１６の４系統の出力は、第１撮像素子１３内の画素加算回路にそれぞれ接続されている。この画素加算回路は、ＣＰＵ２２の指示に応じて、画素ＰＸ１−ＰＸ１６の１６画素分の信号値の加算を行う。
【００１８】
図１に戻って、ＡＦＥ１４は、第１撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。そして、ＡＦＥ１４の出力は画像処理部１５に接続されている。なお、ＣＰＵ２２は、ＡＦＥ１４により画像信号のゲインを調整することで、ＩＳＯ感度に相当する撮像感度の調整を行う。
【００１９】
画像処理部１５は、デジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、ホワイトバランス調整など）を施す。また、画像処理部１５は、第１撮像素子１３で画素加算を行って撮像画像を取得したときに、１フレームの撮像画像のうちで画素加算が行なわれた部分と画素加算が行われていない部分との間で解像度（画像サイズ）を調整する。
【００２０】
ＴＧ１６は、ＣＰＵ２２の出力に基づいて、第１撮像素子１３、ＡＦＥ１４、画像処理部１５に対して、同期用の駆動信号をそれぞれ供給する。また、ＴＧ１６は、画素加算を行うときに、第１撮像素子１３のうちの部分領域の各画素に対して、画素加算での信号値の読み出しを指示する駆動信号を供給する。
【００２１】
フレームメモリ１７は、画像処理部１５に接続されたメモリであって、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、フレームメモリ１７は、揮発性の記憶媒体であるＳＤＲＡＭにより構成される。
【００２２】
記録Ｉ／Ｆ１８は、不揮発性の記憶媒体２４を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１８は、コネクタに接続された記憶媒体２４に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２４は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２４の一例としてメモリカードを図示する。
【００２３】
第２撮像素子２０は、撮像光学系１１とは別個のレンズ１９を通過した光束によって、第１撮像素子１３の撮像範囲を含む被写体の像をカラーで撮像する測光用センサである。一の実施形態では、第２撮像素子２０の解像度（画素数）は第１撮像素子１３の解像度よりも低く設定されている。この第２撮像素子２０は、第１撮像素子１３の撮像範囲と被写体の輝度との対応関係を示す輝度分布情報を取得する。また、第２撮像素子２０の出力は信号処理部２１に接続されている。信号処理部２１は、第２撮像素子２０の出力に対して各種の信号処理とＡ／Ｄ変換とを行う。
【００２４】
ＣＰＵ２２は、撮像装置の動作を統括的に制御するプロセッサである。このＣＰＵ２２は、画素加算判別部２５と、撮像条件調整部２６と、ＣＰＵ２２での演算結果を記憶するワークメモリ２７とを有している。
【００２５】
画素加算判別部２５は、上記の輝度分布情報を用いて、第１撮像素子１３の画素配列で画素加算を行う部分領域の位置を指定する。また、画素加算判別部２５は、上記の輝度分布情報を用いて、画像処理部１５による解像度の調整方法を決定する。
【００２６】
撮像条件調整部２６は、上記の輝度分布情報を用いて、第１撮像素子１３で撮像画像を撮像するときの撮像条件を調整する。例えば、撮像条件調整部２６は、輝度分布情報を用いて公知の自動露出（ＡＥ）演算を実行する。そして、撮像条件調整部２６は、絞り１２の絞り値、第１撮像素子１３の電荷蓄積時間（シャッタ秒時）、ＡＦＥ１４のゲイン（撮像感度）をそれぞれ設定する。
【００２７】
また、撮像条件調整部２６は、輝度分布情報を用いてホワイトバランス演算を実行する。このとき、撮像条件調整部２６は、被写体の各色成分における階調の平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅに基づいてホワイトバランス調整値（Ｇｒｄ，Ｇｂｄ）を求める。Ｒのレベルを補正するホワイトバランス調整値Ｇｒｄは、Ｇａｖｅ／Ｒａｖｅで求めることができる。また、Ｂのレベルを補正するホワイトバランス調整値Ｇｂｄは、Ｇａｖｅ／Ｂａｖｅで求めることができる。なお、画像処理部１５は、上記のホワイトバランス調整値（Ｇｒｄ，Ｇｂｄ）を適用して、撮像画像のホワイトバランス調整を実行する。
【００２８】
操作部２３は、ユーザの操作を受け付ける複数のスイッチを有している。この操作部２３は、例えば、撮像画像の取得指示を受け付けるレリーズ釦や、十字状のカーソルキーや、決定釦などで構成される。
【００２９】
次に、図４の流れ図を参照しつつ、一の実施形態における撮像装置の動作例を説明する。この図４の流れ図の処理は、レリーズ釦の押圧による撮像画像の取得指示をＣＰＵ２２が受け付けたときに開始される。
【００３０】
ステップＳ１０１：ＣＰＵ２２は、第２撮像素子２０を駆動させて輝度分布情報を取得する。なお、輝度分布情報は、ＣＰＵ２２の制御によりワークメモリ２７に記憶される。
【００３１】
ステップＳ１０２：画素加算判別部２５は、輝度分布情報（Ｓ１０１）に基づいて、第１撮像素子１３の撮像範囲のうちで画素加算を行う部分領域の位置を示すアドレス情報を生成する。このとき、画素加算判別部２５は、輝度分布情報の示す各位置の輝度値の大きさに注目する。そして、画素加算判別部２５は、第１撮像素子１３の撮像範囲のうちで被写体の輝度値が閾値以下となる箇所を上記の部分領域として指定する。
【００３２】
一例として、第１撮像素子１３で撮像されるＲＡＷ画像の階調が１２ｂｉｔ（０−４０９５）のとき、画素加算判別部２５は、ＲＡＷ画像の出力に換算したときに２００ＬＳＢ相当となる値を第１閾値とし、ＲＡＷ画像の出力に換算したときに１００ＬＳＢ相当となる値を第２閾値とする。そして、画素加算判別部２５は、第１撮像素子１３の撮像範囲のうちで輝度値が第２閾値以下となる箇所を１６画素分の画素加算を行う部分領域に指定する。また、画素加算判別部２５は、第１撮像素子１３の撮像範囲のうちで輝度値が第２閾値を上回るが第１閾値以下となる箇所を４画素分の画素加算を行う部分領域に指定する。
【００３３】
また、画素加算判別部２５は、上記の部分領域の位置を示すアドレス情報を生成する。このアドレス情報は、ＣＰＵ２２の制御によりワークメモリ２７に記憶される。なお、第１撮像素子１３の撮像範囲全域で輝度値がいずれも第１閾値を上回る場合、画素加算判別部２５は、アドレス情報を生成することなくＳ１０３に処理を移行させる。
【００３４】
ここで、一の実施形態において低輝度部分で画素加算を行うのは、画像の低輝度部分ほどノイズが目立ちやすくなるためである。画素加算を行って信号値を平均化すればノイズの影響を低減できる。また、一の実施形態では、撮像素子の内部で画素加算を行うことでノイズの影響をより一層抑制することができる。
【００３５】
図５（ａ）は、撮像素子内部で画素加算を行う場合を説明する模式図である。この例では、２画素分の出力を加算する例をそれぞれ説明する。図５（ａ）の例で、各画素で発生するノイズをＮＰ１，ＮＰ２とし、ベースラインノイズをＮＢとし、アンプでのゲインをＡとすると、トータルノイズＮ１は以下の式（１）で表すことができる。
0005637326.tif 000002
【００３６】
上記の式（１）において、簡単のため、ＮＰ１＝ＮＰ２＝ＮＰとし、かつゲインＡを１とし、２画素を加算した分を考慮して２で割ると、以下の式（２）のように整理できる。
0005637326.tif 000003
【００３７】
一方、図５（ｂ）は、比較例として、撮像素子外部で画素加算を行う場合を説明する模式図である。図５（ｂ）の例で、各画素で発生するノイズをＮＰ１，ＮＰ２とし、各々のベースラインノイズをＮＢ１，ＮＢ２とし、アンプでのゲインをＡとすると、トータルノイズＮ２は以下の式（３）で表すことができる。
0005637326.tif 000004
【００３８】
上記の式（３）において、簡単のため、ＮＰ１＝ＮＰ２＝ＮＰ、ＮＢ１＝ＮＢ２＝ＮＢ、かつゲインＡを１とし、２画素を加算した分を考慮して２で割ると、以下の式（４）のように整理できる。
0005637326.tif 000005
【００３９】
式（２）のＮ１と式（４）のＮ２とを比較すると、式中の分子における平方根内のＮＢ２にかかる「２」の分だけ、式（４）で示したＮ２の値の方が大きくなる。このことから、撮像素子内部で画素加算を行うことで、撮像素子外部で画素加算を行う場合よりもノイズを低減できることが分かる。
【００４０】
ステップＳ１０３：撮像条件調整部２６は、輝度分布情報（Ｓ１０１）を用いて、第１撮像素子１３で撮像画像を撮像するときの撮像条件（絞り値、シャッタ秒時など）を調整する。また、撮像条件調整部２６は、輝度分布情報（Ｓ１０１）を用いてホワイトバランス調整値を求める。
【００４１】
ステップＳ１０４：画素加算判別部２５は、ワークメモリ２７のアドレス情報（Ｓ１０２）の有無に基づいて、画素加算を行う部分領域が指定されたか否かを判定する。アドレス情報が存在する場合には、画素加算判別部２５はＳ１０４のＹＥＳ側の判定を行って、Ｓ１０５に処理を移行させる。一方、アドレス情報が存在しない場合には、画素加算判別部２５はＳ１０４のＮＯ側の判定を行って、Ｓ１０７に処理を移行させる。
【００４２】
ステップＳ１０５：ＣＰＵ２２は、ＴＧ１６を介して第１撮像素子１３を駆動させて被写体の撮像処理を実行する。
【００４３】
Ｓ１０５での画素加算判別部２５は、撮像に先立ってＴＧ１６にアドレス情報（Ｓ１０２）を出力し、画素加算を行う部分領域の位置をＴＧ１６に指示する。そして、撮像時のＴＧ１６は、第１撮像素子１３の部分領域の各画素に対して、画素加算での信号値の読み出しを指示する駆動信号を供給する。
【００４４】
これにより、アドレス情報で指定された部分領域の画素の出力が局所的に加算された状態で、第１撮像素子１３から撮像画像の画像信号が出力される。一例として、全画素読み出しでの撮像を行う場合、第１撮像素子１３で画素加算が行われない部分では１画素につき１つの信号値が出力されるが、第１撮像素子１３で画素加算を行う部分では４画素または１６画素につき１つの信号値が出力されることとなる。
【００４５】
なお、第１撮像素子１３から出力された各画像信号は、ＡＦＥ１４および画像処理部１５をパイプライン式に通過してフレームメモリ１７にバッファリングされる。
【００４６】
ステップＳ１０６：画像処理部１５は、フレームメモリ１７に記憶された１フレームの撮像画像について、画素加算が行なわれた部分と画素加算が行われていない部分との間で解像度の調整を行う。このとき、画像処理部１５は、（イ）画素加算が行なわれた部分を拡大して画像の解像度を揃えてもよい（図６（ａ）参照）。また、画像処理部１５は、（ロ）画素加算が行なわれていない部分を縮小して画像の解像度を揃えてもよい（図６（ｂ）参照）。なお、１つの撮像画像において、１６画素分の画素加算と４画素分の画素加算とがそれぞれ行われる場合、画像処理部１５は、異なる画素数で画素加算が行われた部分の間でも解像度の調整を行うものとする。
【００４７】
また、Ｓ１０６での解像度の調整を上記の（イ）、（ロ）のいずれの方法で行うかは、画素加算判別部２５が輝度分布情報（Ｓ１０１）に基づいて決定する。一例として、画素加算判別部２５は、輝度分布情報（Ｓ１０１）に基づいて、撮像範囲内の被写体の明るい部分と暗い部分との面積比を求める。上記の面積比で明るい部分が暗い部分よりも多くなる場合、画素加算判別部２５は、画素加算された部分を拡大して画像の解像度を揃える指示を行う。一方、上記の面積比で暗い部分の方と明るい部分とが等しくなるか、あるいは暗い部分が明るい部分よりも多くなる場合には、画素加算判別部２５は、画素加算されていない部分を縮小して画像の解像度を揃える指示を行う。
【００４８】
そして、ＣＰＵ２２は、上記の処理後に、記録Ｉ／Ｆ１８を介して記憶媒体２４に撮像画像のデータを記録し、図４の一連の処理を終了する。
【００４９】
ステップＳ１０７：ＣＰＵ２２は、ＴＧ１６を介して第１撮像素子１３を駆動させて被写体の撮像処理を実行する。このＳ１０８でのＣＰＵ２２は、ＴＧ１６を介して通常の信号読み出しを第１撮像素子１３に指示する。そして、第１撮像素子１３は、局所的な画素加算を行うことなく撮像画像の画像信号を出力する。なお、撮像画像のデータは、ＡＦＥ１４および画像処理部１５で所定の処理が施された後に、記録Ｉ／Ｆ１８を介して記憶媒体２４に記録される。以上で、図４の流れ図の説明を終了する。
【００５０】
一の実施形態での撮像装置は、第２撮像素子２０から取得した輝度分布情報を用いて、被写体の輝度が閾値以下となる箇所を求める（Ｓ１０１、Ｓ１０２）。そして、撮像装置は、被写体の輝度が閾値以下となる箇所について、第１撮像素子１３内で局所的に画素加算を行って撮像画像を取得する（Ｓ１０５、Ｓ１０６）。これにより、一の実施形態の撮像装置では、被写体の低輝度部分においてノイズの影響が抑制された撮像画像を取得できる。
【００５１】
また、一の実施形態の撮像装置では、撮像画像を撮像する第１撮像素子１３とは別個の第２撮像素子２０によって輝度分布情報を取得する。そのため、一の実施形態の撮像装置では、第１撮像素子１３を駆動させずに輝度分布情報を取得できるので、画素加算を伴う撮像をより迅速に行うことができる。
【００５２】
また、一の実施形態の撮像装置では、第１撮像素子１３の内部で局所的な画素加算を行うことにより、撮像画像の低輝度部分のノイズをより低減することができる。また、一の実施形態の撮像装置では、第１撮像素子１３の内部で局所的な画素加算を行うことにより、撮像画像の読み出しを高速化することもできる。
【００５３】
＜実施形態の補足事項＞
（１）上記の一の実施形態では、撮像画像の取得指示に応じて輝度分布情報を取得する例を説明したが、例えば、撮像画像の取得指示に先立つＡＦ動作時に輝度分布情報を取得してもよい。
【００５４】
（２）上記の一の実施形態では、撮像画像として静止画像を取得する例を説明したが、本発明の撮像装置は動画撮影を行うときにも、上記と同様に各フレームで局所的な画素加算を行ってもよい。
【００５５】
（３）上記の一の実施形態における画素加算の構成はあくまで一例にすぎない。例えば、本発明の撮像装置は、第１撮像素子で４画素分の画素加算のみ行うようにしてもよい。また、本発明の第１撮像素子は、縦方向または横方向の２画素で画素加算を行うようにしてもよい（この場合の図示は省略する）。
【００５６】
（４）上記の一の実施形態において、第２撮像素子の解像度は、第１撮像素子の解像度と同じであってもよい。
【００５７】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００５８】
１３…第１撮像素子、１５…画像処理部、１６…タイミングジェネレータ（ＴＧ）、２０…第２撮像素子、２２…ＣＰＵ、２５…画素加算判別部、２６…撮像条件調整部
【図１】
0005637326.tif 000006
【図２】
0005637326.tif 000007
【図３】
0005637326.tif 000008
【図４】
0005637326.tif 000009
【図５】
0005637326.tif 000010
【図６】
0005637326.tif 000011