(57)【特許請求の範囲】
【請求項１】
撮像装置であって、
所定方向に沿って第１の色成分の画素と第２の色成分の画素とが交互に配列され、前記所定方向に沿って順次画素値を出力する光電変換素子と、
前記光電変換素子に画素値を出力させる際に、前記所定方向に沿って連続する奇数個の画素値を加算させた画素加算値を順次出力させる制御手段と、
を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
順次出力される前記画素加算値のうち、前記第１の色成分を多く含む第１の画素群から求められた第１の画素加算値と、前記第２の色成分を多く含む第２の画素群から求められた第２の画素加算値とに基づいて、前記第１及び第２の画素群それぞれの色成分値を決定する色再現手段、
をさらに備える撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記色再現手段において求められる前記色成分値に基づいて、ホワイトバランス調整を行うことを特徴とする撮像装置。
【請求項４】
請求項２又は３に記載の撮像装置において、
前記色再現手段において求められる前記色成分値に基づいて、前記光電変換素子を用いた撮影動作を行う際の露出制御を行うことを特徴とする撮像装置。
【請求項５】
請求項２乃至４のいずれかに記載の撮像装置において、
前記光電変換素子によって得られる画像を表示するカラー画像表示手段をさらに備え、
前記カラー画像表示手段は、前記色再現手段において求められる前記色成分値に基づいて、前記画像のカラー表示を行うことを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、光電変換素子を備えた、デジタルカメラ等の撮像装置に関する。
【０００２】
【従来の技術】
デジタルカメラ等のように、光電変換素子としてＣＣＤ撮像素子が用いられている撮像装置では、暗い環境で被写体の撮影を行う場合、ＣＣＤ撮像素子の各画素値がオートゲインコントロール回路等で増幅される。しかし、そこで適用されるゲイン値が無制限に大きく設定されると、それによってノイズ成分までもが増幅されることになり、その結果得られる画像は著しく画質の劣化した画像になる。このため、ホワイトバランス調整、露出制御及びオートフォーカス制御のそれぞれにおいて適切かつ正確な処理を行うことが困難な状況に陥る。
【０００３】
これに対し、ノイズによる画質劣化を抑制するために、隣接する画素の画素値を加算することが考えられる。隣接する画素の画素値を加算することで、ノイズ成分を増幅することなく、大きな信号成分を得ることが可能になるからである。
【０００４】
【発明が解決しようとする課題】
しかしながら、デジタルカメラ等の撮像装置においては、一般にベイヤー配列等のＣＣＤ撮像素子が採用され、互いに隣接する２つの画素はそれぞれ異なる色成分を検出するように構成される。このため、上記のようにノイズによる画質劣化を抑制するために、隣接する画素の画素値を加算すると、色情報が失われるという問題が発生し、この場合も正確な色調整や露出制御を行うことができなくなる。また、撮像装置にカラー画像を表示するための表示器が設けられている場合には、画像のカラー表示を行うことができなくなるという問題も発生する。
【０００５】
そこで、この発明は、上記課題に鑑みてなされたものであって、暗い環境下においても色情報を失うことなく、良好にノイズ成分を抑制することの可能な撮像装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、撮像装置であって、所定方向に沿って第１の色成分の画素と第２の色成分の画素とが交互に配列され、前記所定方向に沿って順次画素値を出力する光電変換素子と、前記光電変換素子に画素値を出力させる際に、前記所定方向に沿って連続する奇数個の画素値を加算させた画素加算値を順次出力させる制御手段と、を備えて構成される。
【０００７】
請求項２に記載の発明は、請求項１に記載の撮像装置において、順次出力される前記画素加算値のうち、前記第１の色成分を多く含む第１の画素群から求められた第１の画素加算値と、前記第２の色成分を多く含む第２の画素群から求められた第２の画素加算値とに基づいて、前記第１及び第２の画素群それぞれの色成分値を決定する色再現手段、をさらに備えて構成される。
【０００８】
請求項３に記載の発明は、請求項２に記載の撮像装置において、前記色再現手段において求められる前記色成分値に基づいて、ホワイトバランス調整を行うことを特徴としている。
【０００９】
請求項４に記載の発明は、請求項２又は３に記載の撮像装置において、前記色再現手段において求められる前記色成分値に基づいて、前記光電変換素子を用いた撮影動作を行う際の露出制御を行うことを特徴としている。
【００１０】
請求項５に記載の発明は、請求項２乃至４のいずれかに記載の撮像装置において、前記光電変換素子によって得られる画像を表示するカラー画像表示手段をさらに備え、前記カラー画像表示手段が、前記色再現手段において求められる前記色成分値に基づいて、前記画像のカラー表示を行うことを特徴としている。
【００１１】
【発明の実施の形態】
以下、この発明の実施の形態について図面を参照しつつ詳細に説明する。なお、以下の説明においては撮像装置の一例としてデジタルカメラを例示する。
【００１２】
図１及び図２はデジタルカメラ１の外観構成を示す図であり、図１は正面図を、図２は背面図をそれぞれ示している。
【００１３】
デジタルカメラ１の正面側には撮影レンズ２が設けられ、撮影レンズ２の内側に配置される光電変換素子に対して被写体からの光を結像させるように構成される。
【００１４】
また、デジタルカメラ１のグリップ部１ａの上部にはシャッタボタン（レリーズボタン）９が設けられる。シャッタボタン９はユーザによる半押し状態と全押し状態とを区別して検出可能な２段階押し込みスイッチとなっており、例えば、半押し状態のときに自動合焦制御を開始し、全押し状態のときに記録用画像を撮影するための本撮影動作を開始する。
【００１５】
また、デジタルカメラ１の上部には、「撮影モード」と「再生モード」とを切替設定するモード切替えダイアル３が設けられている。撮影モードは被写体の撮影を行って画像データの生成を行うモードである。また、再生モードはメモリカード９０に記録された画像データを、デジタルカメラ１の背面側に設けられた液晶表示部（以下、ＬＣＤという。）５に再生表示するモードである。
【００１６】
デジタルカメラ１の背面側には、本撮影動作前のライブビュー表示及び撮影画像の再生表示等を行うためのＬＣＤ５と、電子ビューファインダ（以下、ＥＶＦという。）４とが設けられている。ＬＣＤ５及びＥＶＦ４は、それぞれカラー画像の表示が可能なように構成されており、それぞれカラー画像表示手段として機能する。
【００１７】
また、デジタルカメラ１の側面には、着脱自在な記録媒体であるメモリカード９０の挿入装着部１ｂが設けられており、本撮影動作によって得られる画像データはこの挿入装着部１ｂにセットされるメモリカード９０に記録される。
【００１８】
上記のデジタルカメラ１において、撮影モード時での、ユーザがシャッタボタン９の全押し操作を行う前の状態（すなわち、デジタルカメラ１において本撮影動作が開始される前の撮影待機状態）では、ＬＣＤ５又はＥＶＦ４において被写体のリアルタイムな表示画像であるライブビュー画像がカラー表示される。このため、撮影待機状態においてもデジタルカメラ１内部の光電変換素子では光電変換作用が繰り返し行われ、ライブビュー表示を行うための画像生成が継続的に行われることになる。
【００１９】
次に、デジタルカメラ１の内部構成について説明する。図３はデジタルカメラ１の内部構成を示すブロック図である。
【００２０】
被写体からの光は撮影レンズ２を介して、複数の受光素子（画素に相当）が平面状に配列された構造を有するＣＣＤ撮像素子１０に入射する。ＣＣＤ撮像素子１０は光電変換素子として機能するものであり、画素毎に光電変換を行うことにより、入射光量に応じた画素信号（画素値）を蓄積する。そしてタイミングジェネレータ３０からのサンプリングパルスに応答して、画素毎に蓄積した画素値をアナログ信号として順次出力するように構成される。
【００２１】
図４はＣＣＤ撮像素子１０における受光面の画素配列の一例を示す図である。なお、図４においてＧｒ及びＧｂはいずれもＧ（緑）成分であるが、読み出しタイミングの相違等からライン毎に感度が若干異なるため、これらを区別して示している。
【００２２】
図４に示すように、ＣＣＤ撮像素子１０を構成する各画素は、Ｒ（赤），Ｇ（緑），Ｂ（青）の３つの色成分のうちのいずれかの色成分の光を検出するように構成されており、水平方向Ｈに沿って、異なる色成分の画素が交互に繰り返し配列されたベイヤー配列となっている。すなわち、水平方向Ｈに平行なラインであるラインＸではＲ成分を検出する画素とＧｒ成分を検出する画素とが交互に繰り返されて配列され、ラインＹではＧｂ成分を検出する画素とＢ成分を検出する画素とが交互に繰り返されて配列された構成となっている。
【００２３】
そしてＣＣＤ撮像素子１０が画素値を出力する際には、水平方向Ｈに沿って画素毎に蓄積した画素値を順次出力することになる。例えば、ラインＸに着目すれば、最初にＲ成分の画素値が出力され、次にＧｒ成分の画素値が出力され、続いて再びＲ成分の画素値が出力される。つまり、各ラインの画素値を出力させる場合、ＣＣＤ撮像素子１０からは異なる色成分の画素値が交互に出力されることになる。
【００２４】
信号処理回路１１はＣＣＤ撮像素子１０から得られる画素毎のアナログ信号に対して所定の信号処理を施すものであり、オートゲインコントロール回路（以下、ＡＧＣ回路という。）１１ａと相関二重サンプリング回路（以下、ＣＤＳ回路という。）１１ｂとを備えて構成される。ＡＧＣ回路１１ａは画素値に対して信号レベルに応じたゲインを与えるように構成され、ＣＤＳ回路１１ｂは画素値に含まれるノイズ成分の除去を行うように構成される。
【００２５】
そして信号処理回路１１において所定の信号処理が施された画素値は、Ａ／Ｄ変換器１２に入力し、アナログ信号からデジタル信号に変換される。Ａ／Ｄ変換器１２はアナログ信号である画素値を例えば１２ビットのデジタル信号に変換する機能を有する。そしてデジタル信号化された画素値は画像メモリ１３に順次転送されることになる。
【００２６】
画像メモリ１３は少なくとも１フレーム分の画素値を格納する記憶領域を有する。そして画像メモリ１３に１フレーム分のデジタル信号化された画素値が格納されることにより、画像メモリ１３において１フレーム分の画像データが形成されることになる。そして画像メモリ１３において生成される画像データは全体制御部２０に与えられる。
【００２７】
次に、レンズ駆動回路４１は全体制御部２０からの指令に基づいて、撮影レンズ２を駆動し、ＣＣＤ撮像素子１０に結像される被写体像の合焦状態を実現する。例えば、撮影モード時にシャッタボタン９が半押し状態にされると、全体制御部２０においてＡＦ制御部２６が機能し、レンズ駆動回路４１を介して撮影レンズ２を光軸方向に沿って段階的に移動させ、各レンズ位置において得られる画像のコントラスト又はエッジに基づいて、合焦状態を実現するレンズ位置を特定し、そのレンズ位置に撮影レンズ２を駆動させるように構成される。
【００２８】
表示制御部４２は全体制御部２０から得られる表示用画像をＥＶＦ４又はＬＣＤ５に対して出力するものであり、撮影待機状態においては全体制御部２０から得られるライブビュー画像をＥＶＦ４又はＬＣＤ５に対して出力する。これにより、撮影待機状態ではＥＶＦ４又はＬＣＤ５においてライブビュー表示が行われる。なお、ＥＶＦ４及びＬＣＤ５の表示画素数はＣＣＤ撮像素子１０の画素数に比べて少なくなっており、画像メモリ１３に格納される画像データに基づいて、表示制御部４２が表示用画像の出力を行う際には、画素の間引き処理等を行うことで画像の縮小化を行い、表示画素数に適合した画像データに変換する機能を有する。
【００２９】
カードインタフェース４３はデジタルカメラ１に装着されるメモリカード９０に対して記録動作又は読み出し動作を行うものであり、本撮影動作によって得られる撮影画像データは全体制御部２０がカードインタフェース４３を介してメモリカード９０に記録する。
【００３０】
なお、操作部５０はユーザがデジタルカメラ１に対して指示を与えるための操作部材であり、シャッタボタン９等も含まれる。
【００３１】
全体制御部２０は、デジタルカメラ１の内部に設けられるＣＰＵが所定のプログラムを実行することによって実現されるものであり、デジタルカメラ１における各部を統括的に制御する機能を有する。
【００３２】
また、図３に示すように、撮影待機状態において全体制御部２０は、被写体の輝度を判定する輝度判定部２１、ＣＣＤ撮像素子１０の画素値出力モードを切り替えるためのモード設定部２２、画素毎の色情報を再現するための色再現部２３、画像のホワイトバランス（以下、ＷＢという。）を調整するためのＷＢ演算部２４、本撮影動作に備えて露出制御を行うための露出制御部２５、及び、自動合焦（ＡＦ）制御を行うためのＡＦ制御部２６として機能する。
【００３３】
輝度判定部２１は画像メモリ１３に格納される画像データを取得し、全体的な画像の輝度レベルを評価するように構成される。例えば、輝度判定部２１は、画像全体についての平均輝度値を求め、その平均輝度値が所定値ＴＨ１よりも小さいか否かを評価する。そして平均輝度値が所定値ＴＨ１よりも小さい場合、輝度判定部２１は、モード設定部２２に対してＣＣＤ撮像素子１０の画素値出力モードを加算出力モードに切り替えるように指令する。
【００３４】
また、モード設定部２２において既に加算出力モードが設定されている場合、輝度判定部２１は、画像メモリ１３から得られる画像の平均輝度値が所定値ＴＨ２以上となった場合に、モード設定部２２に対してＣＣＤ撮像素子１０の画素値出力モードを個別出力モードに切り替えるように指令する。
【００３５】
モード設定部２２はＣＣＤ撮像素子１０の画素値出力モードを個別出力モードと加算出力モードとで切り替えるものであり、輝度判定部２１からの切替指令に応答して画素値出力モードを切り替える。そしてモード設定部２２は、被写体の輝度レベルに応じて設定されるＣＣＤ撮像素子１０の画素値出力モードに基づいて、タイミングジェネレータ３０を制御する。
【００３６】
ここで個別出力モードとはＣＣＤ撮像素子１０からの画素値の出力を１画素単位で行うモードであり、被写体輝度が比較的明るい場合であって、個々の画素が十分な信号レベルの画素値を蓄積している場合に適用される。
【００３７】
これに対して加算出力モードとは、ＣＣＤ撮像素子１０からの画素値の出力を水平方向Ｈに連続する奇数個の画素単位で加算して行うモードであり、被写体輝度が比較的暗い場合であって、個々の画素が十分な信号レベルの画素値を蓄積していない場合に適用される。そして加算出力モードでは、ＣＣＤ撮像素子１０において所定方向に連続して分布する奇数個の画素で蓄積された画素値が加算され、画素加算値が出力される。
【００３８】
個別出力モード設定時においてタイミングジェネレータ３０は、各画素が蓄積している画素値を個別に出力させるように、ＣＣＤ撮像素子１０に対してサンプリングパルスを与える。
【００３９】
図５は、個別出力モード設定時における、タイミングジェネレータ３０からのサンプリングパルスＳＰ１，ＳＰ２とＣＣＤ撮像素子１０から出力される出力信号ＳＧＮとの関係を示す図である。
【００４０】
図５に示すように個別出力モード設定時には、タイミングジェネレータ３０からＣＣＤ撮像素子１０に対して、１画素ごとに基準となる黒レベルをセットするためのサンプリングパルスＳＰ１と、１画素ごとに信号レベルをセットするためのサンプリングパルスＳＰ２とが与えられる。ＣＣＤ撮像素子１０はタイミングジェネレータ３０から１画素ごとに入力するサンプリングパルスＳＰ１，ＳＰ２を入力すると、１画素ごとにリセット信号ＲＳを所定期間発生させ、その後、黒レベル信号ＢＬを出力し、さらにその後、信号レベルを示す信号ＳＬを出力する。したがって、個別出力モード設定時にＣＣＤ撮像素子１０から出力される画素値は、黒レベルＢＬと信号レベルＳＬとの差分Ｌとして示される。
【００４１】
そして図５に示すように、タイミングジェネレータ３０からＣＣＤ撮像素子１０に対してサンプリングパルスＳＰ１，ＳＰ２が１画素に対応する周期で繰り返し与えられることにより、ＣＣＤ撮像素子１０からは水平方向Ｈに沿って１画素ごとに蓄積した画素値の出力が行われる。ただし、図４に示すように、ＣＣＤ撮像素子１０は水平方向Ｈに沿って異なる色成分を検出するための画素が交互に配置された構造となっているため、ＣＣＤ撮像素子１０から出力される出力信号ＳＧＮにおいては異なる色成分について検出された画素値Ｌが交互に出力されることになる。
【００４２】
ところで、図５に示すような個別出力モード設定時において、被写体の輝度が低下してくると、黒レベルＢＬと信号レベルＳＬとの差分Ｌが減少する。
【００４３】
図６は個別出力モード設定時において被写体輝度が低下した場合のサンプリングパルスＳＰ１，ＳＰ２とＣＣＤ撮像素子１０からの出力信号ＳＧＮとの関係を示す図である。図６に示すように、被写体の輝度の低下に伴って、黒レベルＢＬと信号レベルＳＬとの差分Ｌが減少すると、十分な信号レベルの画素値を得ることができない。また、出力信号ＳＧＮの黒レベル信号ＢＬには一定の割合でノイズ成分が含まれるため、黒レベルＢＬと信号レベルＳＬとの差分Ｌが減少した場合に、後段のＡＧＣ回路１１ａにおいて画素値に大きなゲインを与えると、そのノイズ成分までをも著しく増幅させてしまうことになる。
【００４４】
そこで、この実施の形態では、被写体輝度が所定値ＴＨ１よりも低下した場合に全体制御部２０がタイミングジェネレータ３０の動作形態を変更し、ＣＣＤ撮像素子１０の画素値出力方向である水平方向Ｈに沿って奇数個の画素値を加算させた状態で出力を行わせるように構成される。
【００４５】
加算出力モード設定時においてタイミングジェネレータ３０は、各画素が蓄積している画素値を奇数個加算させて出力させるように、ＣＣＤ撮像素子１０に対してサンプリングパルスを与える。
【００４６】
図７は、加算出力モード設定時における、タイミングジェネレータ３０からのサンプリングパルスＳＰ１，ＳＰ２とＣＣＤ撮像素子１０から出力される出力信号ＳＧＮとの関係を示す図である。なお、図７では加算対象画素数を３個に設定した場合を例示している。
【００４７】
図７に示すように加算出力モード設定時には、タイミングジェネレータ３０からＣＣＤ撮像素子１０に対して、３画素ごとに基準となる黒レベルをセットするためのサンプリングパルスＳＰ１と、３画素ごとに信号レベルをセットするためのサンプリングパルスＳＰ２とが与えられる。
【００４８】
ＣＣＤ撮像素子１０はタイミングジェネレータ３０から３画素ごとに入力するサンプリングパルスＳＰ１，ＳＰ２を入力すると、３画素ごとにリセット信号ＲＳを所定期間発生させ、その後、黒レベル信号ＢＬを出力する。
【００４９】
そして、黒レベル信号ＢＬを出力した後、まず１画素目の信号レベルを示す信号ＳＬ１を出力する。このとき、個別出力モード設定時とは異なり、サンプリングパルスＳＰ２がＣＣＤ撮像素子１０に入力しないので、ＣＣＤ撮像素子１０は出力レベルのリセットを行わず、２画素目の黒レベルを１画素目の信号レベルに設定して、２画素目の信号レベルを示す信号ＳＬ２を出力する。さらにＣＣＤ撮像素子１０は出力レベルのリセットを行わず、３画素目の黒レベルを２画素目の信号レベルに設定して、３画素目の信号レベルを示す信号ＳＬ３を出力する。そしてこのときに、サンプリングパルスＳＰ２がＣＣＤ撮像素子１０に与えられることになる。このため、加算出力モード設定時にＣＣＤ撮像素子１０から出力される画素値（画素加算値）は、黒レベルＢＬと信号レベルＳＬ３との差分Ｌとして示され、個々の画素が十分な信号レベルの画素値を蓄積していない場合でも、ＣＣＤ撮像素子１０から十分な信号レベルの画素加算値を出力させることができる。
【００５０】
そして図７に示すように、タイミングジェネレータ３０からＣＣＤ撮像素子１０に対してサンプリングパルスＳＰ１，ＳＰ２が３画素に対応する周期で繰り返し与えられることにより、ＣＣＤ撮像素子１０からは水平方向Ｈに沿って連続する３画素のそれぞれに蓄積された画素値が加算された画素加算値の出力が行われる。
【００５１】
このように加算出力モード設定時には、個々の画素に蓄積される信号レベルが小さくても、それを増幅させることなく、大きな信号成分を取り出すことができる。そのため、ＡＧＣ回路１１ａにおいて設定されるゲインを大きくする必要がなくなるので、ノイズ成分を増加させることなく、有効な信号成分を得ることが可能になる。
【００５２】
ただし、加算出力モード設定時には、水平方向Ｈに沿って連続する３画素から１つの画素加算値しか得られないため、水平方向Ｈのデータ数（画素数）は１／３に減少することになる。
【００５３】
また図４に示すように、ＣＣＤ撮像素子１０は水平方向Ｈに沿って異なる色成分を検出するための画素が交互に配置された構造となっているため、加算出力モード設定時には、ＣＣＤ撮像素子１０から、異なる色成分について検出された画素値を加算した画素加算値が出力されることになる。
【００５４】
図８は、加算出力モード設定時におけるＣＣＤ撮像素子１０からの出力信号の概念を示す図であり、加算対象画素数が３個の場合を示している。例えば、Ｒ成分の画素とＧｒ成分の画素とが交互に配列されたラインＸに着目すると、ラインＸからは３画素単位で画素加算値Ｘｒ，Ｘｇが交互に出力される。また、Ｇｂ成分の画素とＢ成分の画素とが交互に配列されたラインＹに着目すると、ラインＹからは３画素単位で画素加算値Ｙｇ，Ｙｂが交互に出力される。
【００５５】
この実施の形態では、水平方向Ｈに沿って奇数個の画素を加算するように構成されているため、画素加算値Ｘｒの算出対象となった画素群にはＲ成分の画素がＧｒ成分の画素よりも１画素多く含まれ、画素加算値Ｘｇの算出対象となった画素群にはＧｒ成分の画素がＲ成分の画素よりも１画素多く含まれることになる。また、画素加算値Ｙｇの算出対象となった画素群にはＧｂ成分の画素がＢ成分の画素よりも１画素多く含まれ、画素加算値Ｙｂの算出対象となった画素群にはＢ成分の画素がＧｂ成分の画素よりも１画素多く含まれることになる。
【００５６】
すなわち、水平方向Ｈへの加算対象画素数を奇数個に設定することで、画素加算値Ｘｒ，Ｘｇ，Ｙｇ，Ｙｂのそれぞれには、特定の色成分の画素が他の色成分の画素よりも１画素分多く含まれることになり、色情報は完全には失われない状態になる。したがって、後述する色再現部２３において特定の色成分をより多く含む各画素加算値Ｘｒ，Ｘｇ，Ｙｇ，Ｙｂから、それぞれの画素加算値の算出対象となった画素群の色情報を再現することが可能になる。
【００５７】
加算出力モード設定時には、上記のようにＣＣＤ撮像素子１０からの出力信号において、水平方向Ｈに連続して分布する奇数個の画素値が加算された画素加算値Ｘｒ，Ｘｇ，Ｙｇ，Ｙｂが出力されることとなり、これらの画素加算値Ｘｒ，Ｘｇ，Ｙｇ，Ｙｂが信号処理回路１１に与えられる。
【００５８】
そして個別出力モード設定時及び加算出力モード設定時のいずれにおいても、ＣＣＤ撮像素子１０から出力される画素値又は画素加算値は、信号処理回路１１を介してＡ／Ｄ変換器１２に与えられ、デジタル信号化された画像データが画像メモリ１３に格納される。
【００５９】
ここで個別出力モード設定時においては、ＣＣＤ撮像素子１０から、水平方向Ｈにｐ個の画素値が個別出力され、かつ、垂直方向Ｖにｑライン分が出力される場合（ただし、ｐ，ｑは任意の整数）、画像メモリ１３にはｐ×ｑ個の画素から構成される画像データが格納されることになる。
【００６０】
これに対し、加算出力モード設定時においては、水平方向Ｈに連続して分布する（２ｎ＋１）個の画素値が加算されるとすると（ただし、ｎは任意の自然数）、画像メモリ１３にはｐ／（２ｎ＋１）×ｑ個の画素から構成される画像データが格納されることになる。
【００６１】
図９は加算出力モード設定時において画像メモリ１３に格納される画像データの概念を示す図である。図９に示すように、加算出力モード設定時には、水平方向Ｈに沿って奇数の画素加算対象となった画素群の画素加算値が１画素として表現されることなる。
【００６２】
つまり、加算出力モード設定時には画像データを構成する水平方向Ｈの画素数が１／（２ｎ＋１）に減少することになるが、撮影待機状態における画像データの利用目的は、表示画素数の少ないＥＶＦ４やＬＣＤ５でのライブビュー表示、ＷＢ演算、露出演算及びＡＦ制御等を適切に行うことであって、記録や保存用の画像データではないため、特に問題となることはない。
【００６３】
また、加算出力モード設定時には全体制御部２０において色再現部２３が機能し、画像メモリ１３に格納された画像データは色再現部２３に入力される。色再現部２３は画素加算値Ｘｒ，Ｘｇ，Ｙｇ，Ｙｂから、それぞれの画素加算対象となった画素群を１画素とした場合の、Ｒ，Ｇ，Ｂの色情報を再現するものである。
【００６４】
ここでまず、色再現の原理について説明する。加算出力モード設定時において奇数として設定される加算対象画素数が（２ｎ＋１）であるとする。ただし、ｎは任意の自然数である。
【００６５】
ＣＣＤ撮像素子１０において水平方向ＨにＲ成分の画素とＧｒ成分の画素とが交互に配置されたラインＸから、第１に、Ｒ成分を多く含む画素加算値Ｘｒが得られる。この画素加算値Ｘｒは、
【００６６】
【数１】
0003682482.tif 000002
【００６７】
として表される。また、同じくラインＸから、第２に、Ｇｒ成分を多く含む画素加算値Ｘｇが得られる。この画素加算値Ｘｇは、
【００６８】
【数２】
0003682482.tif 000003
【００６９】
として表される。
【００７０】
また、ＣＣＤ撮像素子１０において水平方向ＨにＧｂ成分の画素とＢ成分の画素とが交互に配置されたラインＹから、第１に、Ｇｂ成分を多く含む画素加算値Ｙｇが得られる。この画素加算値Ｙｇは、
【００７１】
【数３】
0003682482.tif 000004
【００７２】
として表される。また、同じくラインＹから、第２に、Ｂ成分を多く含む画素加算値Ｙｂが得られる。この画素加算値Ｙｂは、
【００７３】
【数４】
0003682482.tif 000005
【００７４】
として表される。
【００７５】
そして画素加算値ＸｒとＸｇとから、Ｇｒ成分とＲ成分との差分値ΔＸが、
【００７６】
【数５】
0003682482.tif 000006
【００７７】
により求められる。また、画素加算値ＹｇとＹｂとから、Ｇｂ成分とＢ成分との差分値ΔＹが、
【００７８】
【数６】
0003682482.tif 000007
【００７９】
により求められる。
【００８０】
そしてこれら差分値ΔＸ，ΔＹに対して、加算対象となった奇数個に応じた値ｎを乗算した乗算値ｎ・ΔＸ，ｎ・ΔＹを求め、その乗算値ｎ・ΔＸ，ｎ・ΔＹを画素加算値Ｘｒ，Ｘｇ，Ｙｇ，Ｙｂのそれぞれに対して加算又は減算することにより、Ｒ，Ｇ，Ｂの色情報を再現することができる。
【００８１】
具体的には、画素加算値Ｘｒが得られた画素群に対する色情報Ｒ’は、
【００８２】
【数７】
0003682482.tif 000008
【００８３】
により求められ、画素加算値Ｘｇが得られた画素群に対する色情報Ｇｒ’は、
【００８４】
【数８】
0003682482.tif 000009
【００８５】
により求められる。また、画素加算値Ｙｇが得られた画素群に対する色情報Ｇｂ’は、
【００８６】
【数９】
0003682482.tif 000010
【００８７】
により求められ、画素加算値Ｙｂが得られた画素群に対する色情報Ｂ’は、
【００８８】
【数１０】
0003682482.tif 000011
【００８９】
により求められる。
【００９０】
したがって、色再現部２３において上記の演算が実行されることにより、画素加算値Ｘｒ，Ｘｇ，Ｙｇ，Ｙｂから、それぞれの画素加算対象となった画素群に対応する、Ｒ，Ｇ，Ｂの色情報を再現することが可能になる。
【００９１】
図１０は色再現部２３の構成を示す図である。図１０に示すように、色再現部２３は、画像メモリ１３に格納された画像データから処理対象領域となる２×２領域に含まれる画素加算値Ｘｒ，Ｘｇ，Ｙｇ，Ｙｂを取得し、２×２領域に含まれる色情報Ｒ’，Ｇｒ’，Ｇｂ’，Ｂ’を生成するように構成される。そして処理対象領域を画像データの全領域において走査させることにより、画像データ全体について色情報の再現を行うように構成される。
【００９２】
画素加算値Ｘｒは乗算器１１１において係数器１１０から与えられる係数−１が乗算される。そして加算器１１２において画素加算値Ｘｇが加算され、上記数５の式に示した演算が行われる。このため、乗算器１１１、係数器１１０及び加算器１１２は、画素加算値Ｘｇと画素加算値Ｘｒとの差分値ΔＸを求める差分検出器として機能する。
【００９３】
そして加算器１１２からの出力は乗算器１２１に与えられ、乗算器１２１において係数器１２０から与えられる係数ｎが乗算される。このため、係数器１２０及び乗算器１２１は、差分値ΔＸに対して、奇数個に応じた値ｎを乗算して乗算値ｎ・ΔＸを得る乗算手段として機能する。
【００９４】
そして乗算器１２１からの出力は加算器１３０及び乗算器１４１に与えられる。加算器１３０は画素加算値Ｘｇに対して乗算値ｎ・ΔＸを加算する機能を有し、加算器１３０の出力によって画素加算値Ｘｇが求められた画素群に対応する色情報Ｇｒ’が得られる。また、乗算器１４１においては係数器１４０から与えられる係数−１が乗算され、その出力値が加算器１４２に与えられる。加算器１４２は画素加算値Ｘｇに対して乗算値（−ｎ・ΔＸ）を加算する機能を有し、加算器１４２の出力によって画素加算値Ｘｒが求められた画素群に対応する色情報Ｒ’が得られる。すなわち、加算器１３０、係数器１４０、乗算器１４１及び加算器１４２は画素加算値Ｘｒ，Ｘｇのそれぞれに対して乗算値ｎ・ΔＸを加算又は減算する加減算手段として機能する。そしてその結果、ラインＸについて得られる画素加算値Ｘｒ，Ｘｇから色情報Ｒ’，Ｇｒ’が求められることになる。
【００９５】
次に、画素加算値Ｙｂは乗算器２１１において係数器２１０から与えられる係数−１が乗算される。そして加算器２１２において画素加算値Ｙｇが加算され、上記数６の式に示した演算が行われる。このため、乗算器２１１、係数器２１０及び加算器２１２は、画素加算値Ｙｇと画素加算値Ｙｂとの差分値ΔＹを求める差分検出器として機能する。
【００９６】
そして加算器２１２からの出力は乗算器２２１に与えられ、乗算器２２１において係数器２２０から与えられる係数ｎが乗算される。このため、係数器２２０及び乗算器２２１は、差分値ΔＹに対して、奇数個に応じた値ｎを乗算して乗算値ｎ・ΔＹを得る乗算手段として機能する。
【００９７】
そして乗算器２２１からの出力は加算器２３０及び乗算器２４１に与えられる。加算器２３０は画素加算値Ｙｇに対して乗算値ｎ・ΔＹを加算する機能を有し、加算器２３０の出力によって画素加算値Ｙｇが求められた画素群に対応する色情報Ｇｂ’が得られる。また、乗算器２４１においては係数器２４０から与えられる係数−１が乗算され、その出力値が加算器２４２に与えられる。加算器２４２は画素加算値Ｘｂに対して乗算値（−ｎ・ΔＹ）を加算する機能を有し、加算器２４２の出力によって画素加算値Ｙｂが求められた画素群に対応する色情報Ｂ’が得られる。すなわち、加算器２３０、係数器２４０、乗算器２４１及び加算器２４２は画素加算値Ｙｇ，Ｙｂのそれぞれに対して乗算値ｎ・ΔＹを加算又は減算する加減算手段として機能する。そしてその結果、ラインＹについて得られる画素加算値Ｙｇ，Ｙｂから色情報Ｇｂ’，Ｂ’が求められることになる。
【００９８】
以上のような構成により、色再現部２３では、画像メモリ１３に格納された画像データから処理対象領域となる２×２領域に含まれる画素加算値Ｘｒ，Ｘｇ，Ｙｇ，Ｙｂを取得し、２×２領域に含まれる色情報Ｒ’，Ｇｒ’，Ｇｂ’，Ｂ’を生成することが可能であり、処理対象領域を画像データの全領域において走査することで、画像データ全体について色情報の再現を行うことが可能になる。
【００９９】
そして色再現部２３が上記のような色再現演算を実行することにより、画像メモリ１３に格納された画像データから色情報の再現された画像データを生成する。図１１は、加算出力モード設定時に色再現部２３によって生成される画像データの概念を示す図である。色再現部２３が上記演算処理を行うことにより、図９に示す画像データから図１１に示すように色情報の再現された画像データを生成することができるのである。また、図１１に示す画像データを構成する画素数は図９に示す画像データを構成する画素数と同等である。
【０１００】
なお、図１０においては色再現部２３がハードウェア構成で実現される場合を例示したが、これに限定されるものではなく、上述した演算処理をソフトウェア的に実行するように実現してもよい。
【０１０１】
そして色再現部２３において色情報が再現された画像データはＷＢ演算部２４へと与えられる。
【０１０２】
なお、個別出力モード時には、Ｒ，Ｇ，Ｂの色成分を個別に検出した画素値が個別に出力されているため、色情報を再現する必要はない。このため、個別出力モード時には、全体制御部２０において色再現部２３は機能せず、画像メモリ１３に格納された画像データがＷＢ演算部２４に直接与えられることになる。
【０１０３】
ＷＢ演算部２４では、色再現部２３から得られる、色情報の再現された画像データからホワイトバランスを調整するためのゲイン値Ｇ（Ｒ），Ｇ（Ｂ）を求め、これらのゲイン値Ｇ（Ｒ），Ｇ（Ｂ）からホワイトバランスの調整が行われたＲ成分の色情報Ｒ''及びＢ成分の色情報Ｂ''を生成する。
【０１０４】
具体的には、色情報の再現された画像データにおける水平方向Ｈの画素数をｈ個、垂直方向Ｖの画素数をｖ個とすると、Ｒ成分を調整するためのゲイン値Ｇ（Ｒ）は、
【０１０５】
【数１１】
0003682482.tif 000012
【０１０６】
により求められる。また、Ｂ成分を調整するためのゲイン値Ｇ（Ｂ）は、
【０１０７】
【数１２】
0003682482.tif 000013
【０１０８】
により求められる。そしてゲイン値Ｇ（Ｒ）を用いて、
【０１０９】
【数１３】
0003682482.tif 000014
【０１１０】
の演算を行うことにより、ホワイトバランス調整が行われたＲ成分の色情報Ｒ''が得られる。また、ゲイン値Ｇ（Ｂ）を用いて、
【０１１１】
【数１４】
0003682482.tif 000015
【０１１２】
の演算を行うことにより、ホワイトバランス調整が行われたＢ成分の色情報Ｂ''が得られる。
【０１１３】
ＷＢ演算部２４において、上記のようなホワイトバランス調整を行うことにより、ＥＶＦ４やＬＣＤ５に対してライブビュー表示を行う際、違和感のない適切なカラー画像を表示することが可能になる。なお、個別出力モード設定時には、ＷＢ演算部２４は画像メモリ１３から得られる画像データに対して上記と同様の演算を行うことでホワイトバランス調整の施された画像データを生成する。
【０１１４】
そしてＷＢ演算部２４はホワイトバランス調整の行われた画像データを表示制御部４２、露出制御部２５及びＡＦ制御部２６に対して出力する。
【０１１５】
表示制御部４２はＷＢ演算部２４からホワイトバランス調整された画像データを入力すると、ＥＶＦ４又はＬＣＤ５の表示サイズに適合させた表示用画像を生成し、ＥＶＦ４又はＬＣＤ５に対してライブビュー表示を行う。そして加算出力モードによってＣＣＤ撮像素子１０から画素値の加算された画素加算値が出力されている場合でも、表示制御部４２はＷＢ演算部２４から適切な色情報を含む画像データを入力するので、ライブビュー画像をカラー表示することができるように構成されている。
【０１１６】
露出制御部２５は、ＷＢ演算部２４から得られる、ホワイトバランス調整された画像データから露出制御用の評価値Ｅｘを求める。露出制御用の評価値Ｅｘは例えば被写体輝度によって表現され、
【０１１７】
【数１５】
0003682482.tif 000016
【０１１８】
の演算を行うことで求められる。なお、数１５においてＧ’は上述した色情報Ｇｒ’及びＧｂ’を示している。
【０１１９】
そして露出制御部２５は、上記数１５の演算によって求められる評価値Ｅｘ（すなわち被写体輝度）が所定レベルとなるように、ＣＣＤ撮像素子１０のシャッタスピード（露光時間）や撮影レンズ２の絞り値等を決定し、それらの値を各部に設定することで自動露出制御を行う。そして加算出力モードによってＣＣＤ撮像素子１０から画素値の加算された画素加算値が出力されている場合でも、露出制御部２５はＷＢ演算部２４から適切な色情報を含む画像データを入力するので、正常かつ適切な露出制御を行うことができるように構成されている。
【０１２０】
またＡＦ制御部２６は、シャッタボタン９が半押し状態とされたときに、ＷＢ演算部２４から得られる画像データに基づいて画像の合焦状態を評価し、撮影レンズ２を駆動させることでオートフォーカス制御を行う。そして加算出力モードによってＣＣＤ撮像素子１０から画素値の加算された画素加算値が出力されている場合でも、露出制御部２５はＷＢ演算部２４から適切な色情報を含む画像データを入力するので、正常かつ適切なＡＦ制御を行うことができるように構成されている。
【０１２１】
そしてユーザがシャッタボタン９の全押し操作を行って本撮影を指示した場合には、ＣＣＤ撮像素子１０において個別出力モードが適用され、１画素毎に個別に画素値が出力され、全体制御部２０において記録用の撮影画像データが生成されてメモリカード９０に記録される。
【０１２２】
以上説明したように、この実施の形態のデジタルカメラ１では、被写体輝度が低下したときに、加算出力モードが設定され、ＣＣＤ撮像素子１０からは水平方向Ｈに連続して分布する画素の画素値が加算された画素加算値が出力される。したがって、低輝度の被写体を撮影する場合において、ＡＧＣ回路１１ａにおいて適用されるゲインを画質劣化が生じる程度にまで上げなくても、信号成分が多く含まれた画素加算値を得ることができる。
【０１２３】
また、デジタルカメラ１では、画素加算値を得る際の加算対象となる画素数は奇数個となるように設定されており、それによってＣＣＤ撮像素子１０からは特定の色成分が他の色成分よりも多く含まれた画素加算値が出力される。このため加算出力モード設定時における奇数個の画素値が加算された画素加算値からは色情報が完全に消失してしまうのではないので、画素加算値から色情報を再現することが可能である。
【０１２４】
したがって、この実施の形態のデジタルカメラ１では、暗い環境下においても色情報を失うことなく、かつ、ノイズ成分を抑制した画像を得ることができるので、ＥＶＦ４やＬＣＤ５に対してライブビュー画像をカラー表示することができるとともに、ホワイトバランス調整、露出制御及びＡＦ制御を高精度に行うことが可能になる。
【０１２５】
また、デジタルカメラ１においては、タイミングジェネレータ３０からＣＣＤ撮像素子１０に与えるサンプリングパルスＳＰ１，ＳＰ２を変更するだけで、ＣＣＤ撮像素子１０から個別に画素値を出力させたり、奇数個の画素値が加算された画素加算値を出力させるように構成されている。換言すれば、ＣＣＤ撮像素子１０の制御方式を切り替えるだけで、奇数個の画素値が加算された画素加算値を出力させることができるように実現されているのである。このため、ＣＣＤ撮像素子１０の後段に奇数個の画素値を加算させるための特別な加算器等を設ける必要はなく、容易かつ安価に画素加算値を得るための構成が実現される。
【０１２６】
上述したデジタルカメラ１のようにアナログ信号の段階で画素値の加算を行うように構成することで、ビット落ち等の量子化誤差を解消することができるとともに、効率的に画素加算値を得ることが可能であるが、デジタル信号化された値に奇数個の画素値を加算してもかまわない。
【０１２７】
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１２８】
例えば、上記説明においては、ＣＣＤ撮像素子１０の画素配列がベイヤー配列である場合を例示したが、ベイヤー配列に限定されるものではなく、所定方向に沿って第１の色成分の画素と第２の色成分の画素とが交互に配列され、所定方向に沿って順次画素値を出力するように構成されていればよい。
【０１２９】
また、上記の技術内容は、低輝度の物体を撮像して、ノイズ成分の少ない良好なカラー画像を生成する場合に適用可能であるため、その適用範囲がデジタルカメラに限定されるものでもない。
【０１３０】
また、奇数個として設定される加算対象画素数の設定を大きくする程、大きな信号成分を得ることができるため、例えば、被写体輝度が低くなるに従って、画素加算対象となる奇数個の設定がより大きな値となるように、段階的に加算対象画素数を増加させてもよい。
【０１３１】
なお、上述した内容には以下の発明概念が含まれる。
【０１３２】
（１）  請求項２乃至５のいずれかに記載の撮像装置において、前記色再現手段は、前記第１の画素加算値と前記第２の画素加算値との差分値を求める差分検出手段と、前記差分値に対して、前記奇数個に応じた値を乗算して乗算値を得る乗算手段と、前記第１の画素加算値及び前記第２の画素加算値のそれぞれに対して前記乗算値を加算又は減算する加減算手段と、を備え、前記加減算手段の出力から、前記第１及び第２の画素群の各色成分値を決定することを特徴とする撮像装置。
【０１３３】
これにより、ノイズ成分の少ない色情報を得ることができる。
【０１３４】
（２）  請求項１乃至５のいずれか又は上記（１）に記載の撮像装置において、前記制御手段は、前記光電変換素子から得られる画素値に基づいて被写体の輝度を判定し、前記輝度が所定値よりも小さい場合に、前記奇数個の画素値を加算させるように制御することを特徴とする撮像装置。
【０１３５】
これにより、被写体輝度が低い場合に、ノイズ成分を増幅させることなく、大きな信号成分を得ることが可能であり、また色情報を完全に損なうことなく、画素加算値を得ることができるので、画像の色情報を再現することが可能である。
【０１３６】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、光電変換素子に画素値を出力させる際に、所定方向に沿って連続する奇数個の画素値を加算させた画素加算値を順次出力させるように構成されるため、ノイズ成分を増幅させることなく、大きな信号成分を得ることが可能である。また、色情報を完全に損なうことなく、画素加算値を得ることができるので、画像の色情報を再現することが可能である。
【０１３７】
請求項２に記載の発明によれば、光電変換素子から順次出力される画素加算値のうち、第１の色成分を多く含む第１の画素群から求められた第１の画素加算値と、第２の色成分を多く含む第２の画素群から求められた第２の画素加算値とに基づいて、第１及び第２の画素群それぞれの色成分値を決定するように構成されるため、ノイズ成分の少ない色情報を得ることができる。
【０１３８】
請求項３に記載の発明によれば、色再現手段において求められる色成分値に基づいて、ホワイトバランス調整を行うように構成されるため、正確なホワイトバランス調整を行うことができる。
【０１３９】
請求項４に記載の発明によれば、色再現手段において求められる色成分値に基づいて、光電変換素子を用いた撮影動作を行う際の露出制御を行うため、正確な露出制御を行うことができる。
【０１４０】
請求項５に記載の発明によれば、色再現手段において求められる色成分値に基づいて、画像のカラー表示を行うように構成されるため、適切なカラー画像の表示を行うことができる。
【図面の簡単な説明】
【図１】デジタルカメラの外観構成を示す正面図である。
【図２】デジタルカメラの外観構成を示す背面図である。
【図３】デジタルカメラの内部構成を示すブロック図である。
【図４】ＣＣＤ撮像素子における受光面の画素配列の一例を示す図である。
【図５】個別出力モード設定時のサンプリングパルスと出力信号との関係を示す図である。
【図６】個別出力モード設定時において被写体輝度が低下した場合のサンプリングパルスと出力信号との関係を示す図である。
【図７】加算出力モード設定時のサンプリングパルスと出力信号との関係を示す図である。
【図８】加算出力モード設定時におけるＣＣＤ撮像素子からの出力信号の概念を示す図である。
【図９】加算出力モード設定時において画像メモリに格納される画像データの概念を示す図である。
【図１０】色再現部の構成を示す図である。
【図１１】加算出力モード設定時に色再現部によって生成される画像データの概念を示す図である。
【符号の説明】
１  デジタルカメラ（撮像装置）
２  撮影レンズ
４  電子ビューファインダ（ＥＶＦ）（カラー画像表示手段）
５  液晶表示部（ＬＣＤ）（カラー画像表示手段）
９  シャッタボタン
１０  ＣＣＤ撮像素子（光電変換素子）
１１  信号処理回路
１２  Ａ／Ｄ変換器
１３  画像メモリ
２０  全体制御部
２１  輝度判定部
２２  モード設定部
２３  色再現部（色再現手段）
２４  ホワイトバランス（ＷＢ）演算部
２５  露出制御部
２６  オートフォーカス（ＡＦ）制御部
３０  タイミングジェネレータ（制御手段）
【図１】
0003682482.tif 000017
【図２】
0003682482.tif 000018
【図３】
0003682482.tif 000019
【図４】
0003682482.tif 000020
【図５】
0003682482.tif 000021
【図６】
0003682482.tif 000022
【図７】
0003682482.tif 000023
【図８】
0003682482.tif 000024
【図９】
0003682482.tif 000025
【図１０】
0003682482.tif 000026
【図１１】
0003682482.tif 000027