(57)【特許請求の範囲】
【請求項１】
撮影レンズを通過する被写体像をマイクロレンズおよび色フィルタが設けられた撮像素子で撮像して画像データを出力する撮像装置と、前記撮像装置から出力される画像データに対して各色ごとに所定のゲインをかけてゲイン調整を行うゲイン調整手段とを備えたデジタルカメラにおいて、
前記撮像素子上における前記撮影レンズの光軸を検出する検出手段と、
前記撮影レンズによる周辺減光特性および前記マイクロレンズへの入射角による該マイクロレンズの通過損失特性を補正するゲイン調整係数を、前記撮像素子上における像位置と前記光軸との間の距離に対応させて前記各色ごとに算出するゲイン調整係数算出手段とを備え、前記ゲイン調整手段は、前記各色ごとのゲイン調整係数を用いてゲイン調整を行うことを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラにおいて、
前記各色ごとのゲイン調整係数は、前記像位置と前記光軸との間の距離の関数であることを特徴とするデジタルカメラ。
【請求項３】
請求項１または２に記載のデジタルカメラにおいて、
前記ゲイン調整係数算出手段で算出された前記各色ごとのゲイン調整係数を、前記撮影レンズの瞳位置および絞り値の少なくとも一方を含むレンズ撮影条件に応じて変更するゲイン調整係数変更手段をさらに備え、
前記ゲイン調整手段は、前記変更された各色ごとのゲイン調整係数を用いてゲイン調整を行うことを特徴とするデジタルカメラ。
【請求項４】
マイクロレンズおよび色フィルタが設けられた撮像素子で撮像された画像データに対して、前記撮像素子上における撮影レンズの光軸相当画素データを検出する検出処理と、
前記撮影レンズによる周辺減光特性および前記マイクロレンズへの入射角による該マイクロレンズの通過損失特性を補正するゲイン調整係数を、前記撮像素子上における像位置と前記光軸との間の距離に対応させて前記各色ごとに算出するゲイン調整係数算出処理と、
前記各色ごとのゲイン調整係数を用いて前記各色ごとにゲイン調整を行うゲイン調整処理とをコンピュータに実行させるための画像信号処理用プログラムが格納されていることを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項５】
請求項４に記載の記録媒体において、
前記ゲイン調整係数算出処理で算出された前記各色ごとのゲイン調整係数を、前記撮影レンズの瞳位置および絞り値の少なくとも一方を含むレンズ撮影条件に応じて変更するゲイン調整係数変更処理をさらに行い、
前記ゲイン調整処理は、前記変更された各色ごとのゲイン調整係数を用いてゲイン調整を行うことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
本発明は、デジタルカメラおよびコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
撮影レンズを通過した被写体像を撮像して画像データを出力するＣＣＤのような撮像装置と、撮像装置から出力される画像データに対する増幅利得を調整して、たとえば、ホワイトバランス調整やγ補正などの画像処理を施す画像処理回路を備えるデジタルカメラが知られている。画像処理回路では、撮像装置から出力される画像データに基づいて、あらかじめ定めたアルゴリズムによりホワイトバランス調整用のＲゲインやＢゲイン、あるいはγ補正用の階調カーブなどのパラメータを算出して画像処理が行われる。
【０００３】
【発明が解決しようとする課題】
上述した従来のデジタルカメラでは、撮影レンズに白キャップをつけたり、白く均一な輝度を有する被写体を撮像して、ＣＣＤの所定の領域から出力される画像データに基づいてホワイトバランス調整係数を算出し、算出された調整係数を用いてＣＣＤの全ての領域の画像データに対するホワイトバランス調整が行われる。一般に、ＣＣＤはその画素数を増やすために所定の面積にたくさんの画素が収められているので、一画素あたりのＣＣＤの面積が小さくなり集光率が低下する。そこで、ＣＣＤの集光率を高めるためにＣＣＤ上にオンチップマイクロレンズが形成されている。
【０００４】
このようなＣＣＤでは、マイクロレンズを通してフォトダイオードで受光される光のＲ、ＧおよびＢ成分の強さがマイクロレンズに入射される光の角度により変化する。したがって、撮影レンズを通過した光をＣＣＤに導いて光電変換するデジタルカメラでは、撮影レンズの瞳位置、絞り値および撮影レンズの光軸とＣＣＤとの相対的な位置の変化によりＣＣＤ上のマイクロレンズへの光の入射角が変化すると、フォトダイオードで受光される光のＲ、Ｇ、Ｂ成分の強さが変化してホワイトバランス調整係数の調整不良が生じやすく、色落ち、色かぶり画像が発生するおそれがある。とくに、２００万画素を超えるような高画質タイプのデジタルカメラで問題となりやすい。
【０００６】
【課題を解決するための手段】
本発明は、撮影レンズを通過する被写体像をマイクロレンズおよび色フィルタが設けられた撮像素子で撮像して画像データを出力する撮像装置と、撮像装置から出力される画像データに対して各色ごとに所定のゲインをかけてゲイン調整を行うゲイン調整手段とを備えたデジタルカメラに適用される。そして、撮像素子上における撮影レンズの光軸を検出する検出手段と、撮影レンズによる周辺減光特性およびマイクロレンズへの入射角による該マイクロレンズの通過損失特性を補正するゲイン調整係数を、撮像素子上における像位置と光軸との間の距離に対応させて各色ごとに算出するゲイン調整係数算出手段とを備え、ゲイン調整手段は、各色ごとのゲイン調整係数を用いてゲイン調整を行うことを特徴とする。
本発明によるコンピュータ読み取り可能な記録媒体は、マイクロレンズおよび色フィルタが設けられた撮像素子で撮像された画像データに対して、撮像素子上における撮影レンズの光軸を検出する検出処理と、撮影レンズによる周辺減光特性およびマイクロレンズへの入射角による該マイクロレンズの通過損失特性を補正するゲイン調整係数を、撮像素子上における像位置と光軸との間の距離に対応させて各色ごとに算出するゲイン調整係数算出処理と、各色ごとのゲイン調整係数を用いて各色ごとにゲイン調整を行うゲイン調整処理とをコンピュータに実行させるための画像信号処理用プログラムが格納されていることを特徴とする。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１に示すように、この実施の形態による一眼レフデジタルスチルカメラは、カメラ本体７０と、カメラ本体７０に着脱されるファインダ装置８０と、レンズ９１と絞り９２を内蔵してカメラ本体７０に着脱される交換ズームレンズ９０とを備える。被写体光は交換ズームレンズ９０を通ってカメラ本体７０に入射し、レリーズ前は点線で示す位置にあるクイックリターンミラー７１でファインダ装置８０に導かれてファインダマット８１に結像するとともに、焦点検出装置３６にも結像する。ファインダーマット８１上の被写体像はさらにペンタプリズム８２で接眼レンズ８３に導かれる。また、レリーズ前に、プリズム８４と結像レンズ８５を通って被写体像がホワイトバランスセンサ８６に入射して、被写体像の色温度を検出する。レリーズ後はクイックリターンミラー７１が実線で示す位置に回動し、被写体光はシャッタ７２を介して撮像装置７３上に結像する。交換ズームレンズ９０には、ホワイトバランス調整値を設定する際に白キャップ９３が装着される。白キャップ９３は均一な拡散光をカメラ本体７０に入射させるために使用されるもので、通常の撮影時は使用されない。
【０００９】
図２は本発明によるデジタルカメラの一実施の形態の回路を示すブロック図である。ＣＰＵ２１にはレリーズ釦に連動する半押しスイッチ２２と全押しスイッチ２３から半押し信号と全押し信号がそれぞれ入力される。半押しスイッチ２２が操作されて半押し信号が入力されると、ＣＰＵ２１からの指令により焦点検出装置３６が交換ズームレンズ９０の焦点調節状態を検出し、交換ズームレンズ９０に入射する被写体光が撮像装置７３上で結像するようにレンズ９１を合焦位置へ駆動する。また、タイミングジェネレータ２４とドライバ２５を介して撮像装置７３のＣＣＤ２６が駆動制御される。そして、タイミングジェネレータ２４によりアナログ処理回路２７とＡ／Ｄ変換回路２８の動作タイミングが制御される。
【００１０】
半押しスイッチ２２のオン操作に引続いて全押しスイッチ２３がオン操作されるとクイックリターンミラー７１が上方に回動し、交換ズームレンズ９０からの被写体光はＣＣＤ２６の受光面上で結像し、ＣＣＤ２６には被写体像の明るさに応じた信号電荷が蓄積される。ＣＣＤ２６に蓄積された信号電荷はドライバ２５により掃き出され、ＡＧＣ回路やＣＤＳ回路などを含むアナログ信号処理回路２７に入力される。アナログ信号処理回路２７でアナログ画像信号に対してゲインコントロール、雑音除去等のアナログ処理が施された後、Ａ／Ｄ変換回路２８によってデジタル信号に変換される。デジタル変換された信号は、たとえば、ＡＳＩＣとして構成される画像処理回路２９に導かれ、そこでホワイトバランス調整、輪郭補償、ガンマ補正等の画像前処理が行われる。
【００１１】
画像前処理が行なわれた画像データに対してはさらに、ＪＰＥＧ圧縮のためのフォーマット処理（画像後処理）が行なわれ、その後、その画像データはバッファメモリ３０に一時的に格納される。
【００１２】
バッファメモリ３０に記憶された画像データは、表示画像作成回路３１により表示用の画像データに処理され、ＬＣＤ等の外部モニタ３２に撮影結果として表示される。また、バッファメモリ３０に記憶された画像データは、圧縮回路３３によりＪＰＥＧ方式で所定の比率にデータ圧縮を受け、フラッシュメモリなどの記憶媒体（ＰＣカード）３４に記録される。
【００１３】
図３は上述したように動作するデジタルカメラにおける画像処理回路２９の詳細を示すブロック図である。図３はＣＣＤ２６からの画像データに対してラインごとに信号処理するライン処理回路１００であり、上述した画像前処理を行う。このライン処理回路１００は、Ａ／Ｄ変換回路２８から出力される１２ビットのＲ、Ｇ、Ｂ信号に対して後述する各種の信号処理を行なうものであり、デジタルクランプ回路１０１と、ゲイン設定回路１０２と、ゲイン調整回路１０３と、黒レベル回路１０４と、γ補正回路１０５とを有する。
【００１４】
Ａ／Ｄ変換回路２８から出力される１２ビットのＲ，Ｇ，Ｂ信号は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、欠陥のある画素（そのアドレスがあらかじめ特定されてレジスタにセットされている）からのデータを補正したのちデジタルクランプ回路１０１に入力される。デジタルクランプ回路１０１は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、オプティカルブラックとして使用する複数の画素データの加重平均をそのラインの各画素データから減算する。
【００１５】
ゲイン設定回路１０２はＲ、Ｇ、Ｂ各色の画素データに対する調整用ゲインを設定する。本実施の形態によるゲイン調整においては、あらかじめ白キャップ９３をズームレンズ９０に装着して白基準となる拡散光を撮像し、その画像データに基づいて各色の画素データに対する調整用ゲインを算出するプリセット処理を行う。プリセット処理では、交換ズームレンズ９０の絞り値および焦点距離を変えて調整用ゲインが算出され、算出された調整用ゲインが記憶される。ゲイン設定回路１０２は、プリセット処理により算出されて記憶されたゲインの調整値を交換ズームレンズ９０の焦点距離および絞り値に応じて読み出し、ゲイン調整回路１０３に設定する。
【００１６】
−プリセット処理−
プリセット処理は、白基準となる白キャップ９３を交換ズームレンズ９０に装着して行われ、ホワイトバランス調整とＣＣＤ２６の撮像面における周辺の受光光量の低下の補正のためのゲインの調整値が算出される。図２のホワイトバランス検出処理回路３５は、色温度センサであるホワイトバランスセンサ３５Ａ（図１のホワイトバランスセンサ８６）と、ホワイトバランスセンサ３５Ａからのアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路３５Ｂと、デジタル色温度信号に基づいてホワイトバランス調整信号を生成するＣＰＵ３５Ｃとを含む。ホワイトバランスセンサ３５Ａは、たとえば、赤色Ｒと青色Ｂと緑色Ｇとにそれぞれ感度を有する複数の光電変換素子からなり、被写界全体の光像を受光する。ＣＰＵ３５Ｃは、複数の光電変換素子の出力に基づいてＲ信号用ゲイン調整値とＢ信号用ゲイン調整値を以下に説明する手順で求める。
【００１７】
白基準となる拡散光を撮像するために、白キャップ９３を交換ズームレンズ９０に装着して撮像された被写界全域の画像データの中から、たとえば、焦点検出装置３６が焦点検出を行うエリアを中心とした５１２×５１２の領域の画像データを抽出して、Ｒ信号用のゲイン調整値ＲgainとＢ信号用のゲイン調整値Ｂgainを次式(１)、(２)により算出する。このとき、５１２×５１２の画素領域上に、たとえば、図４に示すようにカラーフィルタが配置されている場合、Ｒ、Ｇ、Ｂ信号の平均値を(３)〜(５)式で算出し、(１)、(２)式に示すように、Ｇ信号の平均値ＧaveとＲ信号の平均値Ｒaveとの比およびＧ信号の平均値ＧaveとＢ信号の平均値Ｂaveとの比からゲイン調整値ＲgainとＢgainを算出する。
【００１８】
【数１】
Ｒgain＝Ｇave／Ｒave                       （１）
Ｂgain＝Ｇave／Ｂave                       （２）
ただし、Ｒave＝Ｒsum／Ｒpixel数            （３）
Ｇave＝Ｇsum／Ｇpixel数            （４）
Ｂave＝Ｂsum／Ｂpixel数            （５）
【００１９】
算出されたこれらのゲイン調整値ＲgainとＢgainは、レンズ情報入力部３８から入力される交換ズームレンズ９０の焦点距離と絞り値とともに、プリセットホワイトバランス調整値としてＣＰＵ２１のレジスタに一旦格納される。このような平均値方式によると、画像データのＲ、Ｇ、Ｂの各信号の階調の平均値を求めたことになり、経験的にホワイトバランスの調整結果（全体的なホワイトバランス）が良好となる。すなわち、画面の平均色温度を白に近づけるようにゲイン調整値ＲゲインおよびＢゲインが算出され、算出されたゲイン調整値ＲgainとＢgainに基づいてホワイトバランス調整が行われる。
【００２０】
レンズ情報入力部３８から入力されるレンズ情報は、交換ズームレンズ９０の焦点距離（瞳位置）に関するものであり、レンズの焦点距離は図示しないズームスイッチからの信号により変更され、レンズ内蔵のズームエンコーダからの信号によりレンズの焦点距離を認識できる。
【００２１】
次に、白キャップ９３による拡散光を撮像した被写界全域の画像データに基づいて、ＣＣＤ２６に入射される光量の補正が行われる。一般に撮影レンズはコサイン４乗則と呼ばれる周辺光量の低下が生じる。撮影レンズのコサイン４乗則を説明する図５において、レンズ９１の光軸上に位置する被写体９の被写体像９９がＣＣＤ２６上に結像される。被写体９上の点９ａがＣＣＤ２６上の点９９ａに結像され、レンズ９１の光軸に対してθの角度で入射される被写体９上の点９ｂがＣＣＤ２６上の点９９ｂとして結像される。被写体９上の点９ａおよび９ｂの輝度が同じである場合は、ＣＣＤ２６上の点９９ｂにおける入射光量は、点９９ａにおける入射光量に対してcos4θに比例して減少する。交換ズームレンズ９０に装着された白キャップ９３の作用により、被写界全領域の輝度が一定となるので、撮像された画像データはＣＣＤ２６上の交換ズームレンズ９０の光軸に相当する画素から出力される値が最大値となり、ＣＣＤ２６上の画素位置が光軸から離れるにつれて画素出力値が上記のコサイン４乗則に比例して減少する。
【００２２】
ＣＣＤ２６におけるレンズ９０の光軸の光量をＬ0とすれば、ＣＣＤ２６上における光量Ｌは次式(６)で表される。図５の光学系において、ＣＣＤ２６上の画素位置を図６に示すＸＹ座標で表すとき、光軸がＣＣＤ２６の中心である原点Ｏにあるとすれば像高ｈは式(７)で表され、角度θは式(８)で表される。
【数２】
Ｌ＝ Ｌ0 ・cos4θ                              （６）
ｈ＝（ｘ2＋ｙ2）1/2                            （７）
θ＝１／（ｈ2＋１）＝１／（ｘ2＋ｙ2＋１） （８）
【００２３】
像高ｈが高くなるとＣＣＤ２６に対する光の入射角Ｉが変化するので、ＣＣＤ２６上に形成されたマイクロレンズの透過損失が入射角Ｉに応じて変化するときは、上述したコサイン４乗則に加えてＣＣＤ２６上のマイクロレンズにおける透過光量が低下するので、ＣＣＤ２６から出力される信号レベルが変化する。ＣＣＤ２６のマイクロレンズによる光量低下Ｌｍは、像高ｈに対して、たとえば、次式(９)〜(１１)で表される。
【数３】
Ｌｍ＝Ka・ｈ2＋Kb・ｈ＋Kc          （0≦ｈ＜d1）（９）
Ｌｍ＝Kd・ｈ3＋Ke・ｈ2＋Kf・ｈ＋Kg （d1≦ｈ＜d2）（１０）
Ｌｍ＝Kh・ｈ＋Ki                  (d2≦ｈ)     （１１）
ただし、d1およびd2は所定の像高値であり、Ka〜Kiは係数である。
【００２４】
図７は光軸からの距離(像高)ｈとその位置における画素から出力されるＧ色成分の信号との関係を表したグラフである。像高ｈが高くなるにつれて生じるＣＣＤ２６上の周辺光量の低下は、(６)式および(９)〜(１１)式の積で表されるので、ＣＣＤ２６の各画素から出力される信号に対するゲイン調整値を設定するとき、上式(６)および(９)〜(１１)の積の逆数が上述したプリセットホワイトバランス調整値と掛け合わされる。すなわち、信号が出力された画素位置の座標と、レンズ９１の光軸に相当する画素位置の座標とから像高ｈを算出して、図７に示すような像高ｈに応じた周辺光量の低下を求め、その逆数をとることによりゲイン調整値が決定される。つまり、周辺光量の低下を補正するゲイン調整値は、光軸に近い画素データに対して小さく、光軸から離れた画素データに対して大きくなる。
【００２５】
上式(６)および(９)〜(１１)の積の逆数と上式(１)〜(５)のプリセットホワイトバランス調整値との積により決定されたゲインの調整値は、交換ズームレンズ９０の焦点距離(射出瞳位置)および絞り値とともに、ＣＰＵ２１のレジスタに格納される。なお、上式(６)および(９)〜(１１)は、ＣＣＤ２６の画素から出力されるＲ、Ｇ、Ｂ色の各成分ごとに算出される。
【００２６】
上述したプリセットホワイトバランスおよび周辺光量低下は、交換ズームレンズ９０の絞り値および焦点距離(射出瞳位置)に応じて次のように変化する。図８(ａ)、(ｂ)は、交換ズームレンズ９０に入射する平行光が絞り９２を介してＣＣＤ２６に入射する様子を示す図である。図８(ａ)に示すように、一般の交換ズームレンズ９０は、絞り９２の設定値を大きくして絞り込むと射出瞳Ｐａが小さくなり、レンズ９１の開口角Ａａが狭くなる。このとき、ＣＣＤ２６に入射される光の入射角Ｉａはほとんど変化しないので、ＣＣＤ２６から出力されるＲ、Ｇ、Ｂ色の信号レベルの変化は少ない。
【００２７】
ところが、図８(ｂ)に示すように絞り９２の設定値を開放に近づけると射出瞳Ｐｂが大きくなり、開口角Ａｂが大きくなる。そして、開口角Ａｂの広がりに応じてＣＣＤ２６に入射される光の入射角Ｉｂが変化する。ＣＣＤ２６上に形成されたマイクロレンズの透過損失が入射角に対して波長依存性をもつとき、あるいは、ＣＣＤ２６上に図４のように形成されたカラーフィルタの特性が入射角に応じて変化するときは、ＣＣＤ２６から出力されるＲ、Ｇ、Ｂ色の信号レベルがそれぞれ変化する。
【００２８】
図９は、カメラ本体７０に装着される交換ズームレンズ９０の絞り値に対してＣＣＤ２６から出力されるＧ色成分の信号量の変化例を表した絞り値感度依存性のグラフである。このデータは、交換ズームレンズ９０の絞り値を変化させてもＣＣＤ２６が載置される位置の輝度が一定になるように交換ズームレンズ９０へ入射する光量、すなわち光源の明るさを調節してＣＣＤ２６の出力を測定したもので、たとえば、焦点検出を行うエリアを中心とした領域に対応するＣＣＤ２６の出力を示したものである。図９のグラフの縦軸は、絞り値＝Ｆ８のときにＣＣＤ２６から出力される値で基準化されているので、交換ズームレンズ９０の絞り９２を開放側にすると、上述した理由により信号量が減少することが図９のグラフからわかる。
【００２９】
また、図１０(a)は、カメラ本体７０に装着される交換ズームレンズ９０の射出瞳の位置に対するＣＣＤ２６から出力される信号量の変化の例を表すグラフであり、図１０(b)はその数値をまとめた表である。このデータは、交換ズームレンズ９０の瞳位置を変化させてもＣＣＤ２６が載置される位置の輝度が一定になるように交換ズームレンズ９０へ入射する光量、すなわち光源の明るさを調節してＣＣＤ２６の出力を測定したもので、たとえば、焦点検出を行うエリアを中心とした領域に対応するＣＣＤ２６の出力を示したものである。そして、図１０(a)のグラフの縦軸は、ＣＣＤ２６の周辺部から出力される信号量とＣＣＤ２６の中央部から出力される信号量との比を示している。図１０より、交換ズームレンズ９０の焦点距離を変えて射出瞳の位置が変わり、射出瞳位置が短くなるほど、ＣＣＤ２６の周辺部から出力される信号量が減少することがわかる。これも上述したものと同様な理由による。
【００３０】
以上説明したように、上式(６)および(９)〜(１１)の積の逆数と上式(１)〜(５)のプリセットホワイトバランス調整値との積により決定されたゲインの調整値は、交換ズームレンズ９０の焦点距離と絞り値に応じて変更する必要がある。本実施の形態では、交換ズームレンズ９０の焦点距離について、たとえば、ワイド側、テレ側およびその中間の３つの条件が設定される。また、交換ズームレンズ９０の絞り値について、たとえば、開放側と絞り込み側の２つの条件が設定される。これら６通りの条件で算出されたゲインの調整値が、交換ズームレンズ９０の焦点距離と絞り値とともに、ＣＰＵ２１のレジスタに格納される。
【００３１】
なお、上述した例ではレンズ９１の光軸がＣＣＤ２６の中心である原点Ｏと一致する場合を説明したが、レンズ９１の光軸とＣＣＤ２６の中心との位置関係をずらしてあおり撮影が行われる場合、たとえば、光軸が位置する座標が（ｘ1,ｙ1）であるとき、上式(７)〜(８)においてｘを(ｘ−ｘ1)に、ｙを(ｙ−ｙ1)とおけばよい。
【００３２】
なお、ゲイン設定回路１０２がゲイン調整回路１０３に対してゲイン調整値を設定するとき、使用されるＣＣＤ２６のばらつきを補正するためにあらかじめ用意されている所定の補正値による補正も合わせて行う。これらの補正には、Ｇ信号に対する感度のばらつき補正とＲ，Ｂ信号に対する感度比のばらつき補正とがある。したがって、ゲイン調整値は、Ｒ成分については(１)式×｛(６)式および(９)〜(１１)のいずれかの式の積の逆数｝×(Ｇ信号に対する感度比のばらつき補正)、Ｂ成分については(２)式×｛(６)式および(９)〜(１１)のいずれかの式の積の逆数｝×(Ｇ信号に対する感度比のばらつき補正)となる。
【００３３】
図３において、このようにしてゲイン設定回路１０２でゲインが設定されると、ゲイン調整回路１０３はゲイン設定回路１０２で設定されたゲイン調整値であるＲゲインとＢゲインをＲ，Ｂ信号にかけ合わせる。黒レベル回路１０４は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、あらかじめ決定されてＣＰＵ２１のレジスタに格納されている値をＲ，Ｇ，Ｂ信号に対して加算する。γ補正回路１０５は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、階調ルックアップテーブルを用いてγ補正を行なう。
【００３４】
次に、図１１を参照して焦点検出装置３６の構成およびこの焦点検出装置３６による焦点検出動作の原理について説明する。焦点検出装置３６は、赤外光カットフィルタ７００、視野マスク９００、フィールドレンズ３００、開口マスク４００、再結像レンズ５０１および５０２、そしてイメージセンサ３１０などで構成される。領域８００はレンズ９１（図１）の射出瞳である。また、領域８０１、８０２は、開口マスク４００に穿設される開口部４０１、４０２をフィールドレンズ３００によって領域８００上に逆投影した像の存在する領域である。なお、赤外光カットフィルタ７００の位置は視野マスク９００の右側でも左側でも構わない。領域８０１、８０２を介して入射した光束は、撮像装置等価面６００上で焦点を結んだ後、赤外光カットフィルタ７００、視野マスク９００、フィールドレンズ３００、開口部４０１、４０２および再結像レンズ５０１、５０２を通りイメージセンサアレイ３１０ａ、３１０ｂ上に結像する。
【００３５】
これらイメージセンサアレイ３１０ａ、３１０ｂ上に結像した一対の被写体像は、レンズ９１が撮像装置等価面６００よりも前（被写体側）に被写体の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆に撮像装置等価面６００よりも後に被写体の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。そして、イメージセンサアレイ３１０ａ、３１０ｂ上に結像した被写体像が所定の間隔となるときに被写体の鮮鋭像は撮像装置等価面６００上に位置する。したがってこの一対の被写体像をイメージセンサアレイ３１０ａ、３１０ｂで光電変換して電気信号に換え、これらの信号を演算処理して一対の被写体像の相対距離を求めることによりレンズ９１の焦点調節状態、つまりレンズ９１により鮮鋭な像が形成される位置が、撮像装置等価面６００に対してどの方向にどれだけ離れているか、つまりずれ量が求められる。図１１において焦点検出領域は、イメージセンサアレイ３１０ａ、３１０ｂが再結像レンズ５０１、５０２によって逆投影されて、撮像装置等価面６００の近傍で重なった部分に相当する。こうして上記撮影画面内の焦点検出領域について焦点を検出する。
【００３６】
焦点検出装置３６は焦点検出領域の焦点を検出したのち、この焦点検出データによりレンズ９１を合焦位置へ駆動する。なお、焦点検出領域が複数ある場合は、焦点検出装置３６で選択された領域を中心とした５１２×５１２の画像データを利用して、前述したプリセット処理でゲインの調整値ＲgainとＢgainを算出する。
【００３７】
このように構成されたデジタルスチルカメラの動作について説明する。図１２はプリセット処理を示すフローチャートであり、図１３は半押しスイッチで起動されるプログラムを示すフローチャートである。図１２のステップＳ１０において、交換ズームレンズ９０に白キャップ９３が装着された状態で全押しスイッチ２３が操作されると、ステップＳ１１へ進みＣＣＤ２６が受光信号を蓄積する。蓄積終了後、全画素の蓄積電荷が読み出される。ステップＳ１２において、読み出された画像データがアナログ信号処理回路２７で処理された後、Ａ／Ｄ変換回路２８でデジタル画像データに変換され、画像処理回路２９を経てバッファメモリ３０に記憶される。ステップＳ１３では、バッファメモリ３０に記憶された画像データから信号値（輝度）が最大となるデータを検出して、そのデータを出力した画素位置(ｘ1,ｙ1)が読み出される。
【００３８】
ステップＳ１４において、画素位置(ｘ1,ｙ1)を光軸として全画素位置における像高ｈが求められ、上式(６)と(９)〜(１１)式の積の逆数が算出される。ステップＳ１５で上式(１)〜(５)によりプリセットホワイトバランス調整値ＲgainおよびＢgainが算出されたのちステップＳ１６へ進み、上記逆数とプリセットホワイトバランス調整値ＲgainおよびＢgainの積がゲインの調整値として算出される。ステップＳ１７において、ゲインの調整値が交換ズームレンズ９０の焦点距離および絞り値とともに、ゲイン調整値としてＣＰＵ２１のレジスタに格納される。ステップＳ１８において、交換ズームレンズ９０の焦点距離および絞り値を変えて上述した６通りの条件のすべてに処理が行われたかが判定され、否定判定（Ｎ）されると新たな条件に設定してステップＳ１１へ戻る。一方、ステップＳ１８で肯定判定（Ｙ）されると図１２のプリセット処理を終了する。以上の処理により、焦点距離と絞り値の６通りの条件に対するゲインが記憶される。
【００３９】
図１３において、半押しスイッチ２２が操作されるとステップＳ２０で測光装置３７により被写体の輝度を測定して露出演算し、焦点検出装置３６により焦点検出領域の焦点調節状態を検出する。ステップＳ２１において、レンズ情報入力部３８から出力されている交換ズームレンズ９０の焦点距離および露出演算で得られた絞り値に基づいて、上述したようにＣＰＵ２１のレジスタ内に格納されているゲインの調整値が読み出される。上記の焦点距離および絞り値に対応したゲインの調整値がＣＰＵ２１のレジスタ内に格納されていない場合は、格納されているゲインの調整値の中から上記の焦点距離および絞り値に近い条件で算出されたゲインの調整値を２組読み出して、２組のゲインの調整値から補間処理によりゲインの調整値を得る。
【００４０】
ステップＳ２２において全押しスイッチ２３が操作されたと判断されると、クイックリターンミラーが跳ね上がり、撮影シーケンスが開始される。ステップＳ２３では、ＣＣＤ２６の各画素が受光信号を蓄積し、蓄積終了後、全画素の蓄積電荷を順次に読み出す。ステップＳ２４において、読み出された画像データはアナログ信号処理回路２７で処理された後、Ａ／Ｄ変換回路２８でデジタル画像データに変換され、画像処理回路２９に入力される。次にステップＳ２５に進み、上述したゲインの調整値によるゲイン調整、γ階調補正、ＪＰＥＧフォーマット化処理などが画像処理回路２９で行なわれる。画像処理が終了するとステップＳ２６に進み、画像処理後の画像データをいったんバッファメモリ３０に記憶する。ステップＳ２７において、バッファメモリ３０から画像データを読み込んでＪＰＥＧ圧縮回路３３でデータを圧縮する。ステップＳ２８では、圧縮した画像データをＰＣカード３４に記憶する。
【００４１】
この実施の形態の特徴についてまとめる。
（１）交換ズームレンズ９０に白キャップ９３をつけて撮像し、画素出力値が最大となるＣＣＤ２６上の画素位置から交換ズームレンズ９０の光軸を検出して、ＣＣＤ２６から出力される全ての画素データに対するゲインの調整値を光軸からの像高ｈに応じて補正するようにしたので、レンズ９１のコサイン４乗則およびＣＣＤ２６上に形成されたマイクロレンズにおける透過光量の低下により生じる色落ちや色かぶりを抑えることが可能になり、高品質な画像が得られる。
（２）光軸からの像高ｈに応じて補正するゲインの調整値は、この調整値を決定した時の交換ズームレンズ９０の焦点距離および絞り値とともに記憶するようにした。そして、撮影時に装着されている交換ズームレンズ９０の焦点距離および絞り値に応じたゲインの調整値を読み出して、読み出したゲインの調整値でゲイン調整を行うので、焦点距離および絞り値に応じてＣＣＤ２６の受光感度が変化する場合でも、色落ちや色かぶり画像が発生することが防止されて、高画質な画像が得られる。
【００４２】
上述した説明では、周辺光量の低下を表す式(６)および(９)〜(１１)において、ＣＣＤ２６から出力されたＲ、Ｇ、Ｂ色の各成分ごとに算出するようにしたが、ＣＣＤ２６から出力された、たとえば、Ｇ色成分の信号量のみに基づいて算出を行い、Ｒ、Ｂ色についてはＧ色に対する所定の係数をかけて簡易的に算出するようにしてもよい。
【００４３】
また、ＣＣＤ２６で受光される光量およびホワイトバランスに影響が出ない範囲内においてプリセット処理を行う条件数を減らしても良い。以上の説明では、プリセット処理を行う絞り値および焦点距離の条件について、絞り値は開放側（最小絞り）と絞り込み側（最大絞り）の２点について行い、焦点距離はワイド側、テレ側およびワイドとテレの中間の３点について行うようにした。簡易的な方法として、たとえば、絞り値はＦ＝８、焦点距離は７５ｍｍの１点でプリセット処理を行い、他の設定条件におけるゲインの調整値は上記の条件により算出されたゲインの調整値に対して所定の係数をかけて算出するようにしてもよい。
【００４４】
以上説明したようなコサイン４乗則およびＣＣＤ２６上に形成されたマイクロレンズにおける透過光量の低下に対するゲイン調整値の補正処理は、この補正処理を行うか否かを選択できるようにしてもよい。
【００４５】
上式(９)〜(１１)式は、像高ｈに応じて分けるようにしたが、次式(１２)のように全ての像高ｈに対して共通な式としてもよい。
【数４】
Ｌｍ＝K1＋K2・ｈ+K3・ｈ2＋K4・ｈ3              （１２）
ただし、K1〜K4は係数であり、ｈは像高である。
【００４６】
以上の説明ではデジタルスチルカメラについて説明したが、ライン処理回路１００をソフトウエアの形態でＣＤ−ＲＯＭやフロッピデイスクなどの記憶媒体に画像処理プログラムとして格納し、パソコンで画像処理する際に使用することもできる。この場合、ＣＣＤ２６で撮像してデジタル化された画像データを大容量の画像データ用記憶媒体に記憶し、この記憶媒体をパソコンにセットして画像データを取込んだ上で、上記画像処理プログラムにより上述のようなライン処理を行うようにする。たとえば、図３において、黒レベル回路１０４の出力データを生データとしてＰＣカード３４に記憶し、そのＰＣカード３４をパソコンにセットして生データの画像処理を行なうことができる。
【００４７】
上述したようにパソコン上で画像処理する際、上記画像データ用記憶媒体に記憶された画像データが既にホワイトバランス調整を施されている場合には、コサイン４乗則およびＣＣＤ２６上に形成されたマイクロレンズの透過光量の低下に対するゲイン調整値の補正処理だけを行なうようにプログラムを作成する。この場合、上記画像データ用記憶媒体には、交換ズームレンズ９０の焦点距離と絞り値も合わせて記憶しておき、上記パソコン上で画像処理を行う際にゲイン調整値の補正処理を行うための情報として使用する。一方、上記画像データ用記憶媒体に記憶された画像データがホワイトバランス調整を施されていない場合には、ホワイトバランス調整処理とコサイン４乗則およびＣＣＤ２６上に形成されたマイクロレンズの透過光量の低下に対するゲイン調整値の補正処理を行なうようにプログラムを作成する。その場合、画像データ用記憶媒体にはＣＣＤ２６からの撮像データとホワイトバランスセンサ３５Ａで検出した被写体の色温度情報もしくは、この色温度情報に基づいて算出されたゲインの調整値、さらに上述した交換ズームレンズ９０の焦点距離と絞り値も合せて記憶しておき、これらのデータに基づいたゲインの調整値に対する補正処理を行なう。
【００４８】
以上の説明では、一眼レフデジタルスチルカメラについて説明したが、レンズ交換ができないデジタルスチルカメラ、動画像も取込めるデジタルビデオカメラにも本発明を適用できる。
【００４９】
以上の説明では、ＣＣＤ２６上にマイクロレンズが形成されている場合について説明したが、ＣＣＤ２６上にマイクロレンズが形成されていない場合や、マイクロレンズに代えて他の光学部材、たとえば光学フィルタが設けられている場合についても本発明を適用することができる。マイクロレンズが形成されていない場合には、上式(６)のみを使用して上式(９)〜(１１)は使用しない。また、他の光学部材が用いられる場合は、その光学部材に関して、像高ｈと光学部材による光量低下を表す式（上式(９)〜(１１)相当）を用意して、上式(６)との積をとれば、ＣＣＤ２６上の周辺光量の低下を算出できる。撮像装置としてＣＣＤを例にあげて説明したが、ＣＣＤでなくてもよいのはもちろんである。
【００５０】
なお、上述した説明では交換ズームレンズ９０に白キャップ９３を装着して撮像することにより、ＣＣＤ２６上の光軸を検出するようにしたが、白キャップ９３を用いずに被写界における輝度が一様な被写体、たとえば、白い壁などを撮像してＣＣＤ２６上の光軸を検出するようにしてもよい。また、白色に限らず他の色であってもよい。
【００５２】
【発明の効果】
本発明によれば、マイクロレンズおよび色フィルタが設けられた撮像素子に入射される光量が撮影レンズの光軸からの距離に応じて変化する場合でも、色落ちや色かぶり現象を抑制した高画質な画像を得ることができる。
【図面の簡単な説明】
【図１】一眼レフデジタルスチルカメラの一実施の形態の構成を示す図である。
【図２】一眼レフデジタルスチルカメラの信号処理系統の一実施の形態を示すブロック図である。
【図３】図２に示した信号処理系統のうちライン処理を行なう回路を説明するブロック図である。
【図４】ＣＣＤ上に設けられたカラーフィルタの配列を示す図である。
【図５】撮影レンズのコサイン４乗則を説明する図である。
【図６】図５の光学系におけるＣＣＤ上の画素位置を表すＸＹ座標系を示す図である。
【図７】像高に対するＣＣＤから出力される信号量の変化を表す図である。
【図８】撮影レンズに入射する平行光が絞りを介してＣＣＤに入射する様子を示す図である。
【図９】交換ズームレンズの絞り値に対するＣＣＤから出力される信号量の変化を表す図である。
【図１０】  (a)交換ズームレンズの射出瞳の位置に対するＣＣＤの中央部から出力される信号量と周辺部から出力される信号量との比を表す図、(b)上記の数値例を示す図である。
【図１１】焦点検出装置を説明する図である。
【図１２】プリセット処理を示すフローチャートである。
【図１３】半押しスイッチで起動されるプログラムを示すフローチャートである。
【符号の説明】
９…被写体、                          ２１…ＣＰＵ、
２２…半押しスイッチ、                ２３…全押しスイッチ、
２６…ＣＣＤ、                        ２９…画像処理回路、
３３…ＪＰＥＧ圧縮回路、              ３５…ホワイトバランス検出処理回路、
３５Ａ…ホワイトバランスセンサ、      ３６…焦点検出装置、
３７…測光装置、                      ３８…レンズ情報入力部、
７３…ＣＣＤ、                        ９０…交換ズームレンズ、
９１…撮影レンズ、                    ９２…絞り、
９９…被写体像                        １００…ライン処理回路、
１０２…ゲイン設定回路、              １０３…ゲイン調整回路、
ＰａおよびＰｂ…射出瞳、              ＡａおよびＢｂ…開口角、
Ｉ，ＩａおよびＩｂ…入射角
【図１】
0004366768.tif 000002
【図２】
0004366768.tif 000003
【図３】
0004366768.tif 000004
【図４】
0004366768.tif 000005
【図５】
0004366768.tif 000006
【図６】
0004366768.tif 000007
【図７】
0004366768.tif 000008
【図８】
0004366768.tif 000009
【図９】
0004366768.tif 000010
【図１０】
0004366768.tif 000011
【図１１】
0004366768.tif 000012
【図１２】
0004366768.tif 000013
【図１３】
0004366768.tif 000014