(57)【要約】【課題】適正なホワイトバランス調整を自動的に行なう。【解決手段】ＷＢゲイン演算回路４７には、画像データの他に、測色センサ１９〜２１からカメラ本体１１の上方向，右手方向，左手方向の各外光色の測色データが入力される。ＷＢゲイン演算回路４７は、３方向の測色データから環境色温度を算出するとともに画像データから被写体光の色温度を算出し、被写体光の色温度と環境色温度とから各色成分のゲインを算出する。各ゲインはＣＤＳ／ＡＭＰ回路４５に送られる。ＣＤＳ／ＡＭＰ回路４５のＡＭＰは、ＷＢゲイン演算回路４７から入力された各ゲインを用いて撮像信号の各色成分を増幅することにより、ホワイトバランス調整を行なう。【選択図】図３
2009033410.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して撮像信号を生成する固体撮像素子を備えた撮像装置において、
前記固体撮像素子による撮像方向とは別方向の外光色を測色する測色センサと、
この測色センサからの出力から装置周りの外光の色温度である環境色温度を算出する環境色温度算出部と、
前記撮像信号の各色成分から得られる被写体光の色温度と前記環境色温度とに基づいて前記各色成分毎のゲインを求めるゲイン演算部と、
前記各色成分毎のゲインを用いて撮像信号の各色成分を個別に増幅するホワイトバランス調整部と
を設けたことを特徴とする撮像装置。
【請求項２】
前記測色センサは、複数個が設けられていることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記測色センサの測色方向は、前記撮像方向とほぼ直交する方向であることを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記測色センサは３個が設けられているとともに、互いに隣接する２個の測色方向が互いに９０°をなすように設けられていることを特徴とする請求項３記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して撮像信号を生成する固体撮像素子を備えた撮像装置に関するものである。
【背景技術】
【０００２】
ＣＣＤ型やＣＭＯＳ型の固体撮像素子を用いて被写体を撮像（光電変換）し、得られた撮像信号をデジタルの画像データに変換してメモリカード等の記憶媒体に記憶するデジタルカメラやカメラ付き携帯電話などの撮像装置が普及している。このような撮像装置は、カラーバランスの崩れをなくして被写体の色を正確に再現するために、ホワイトバランスを自動的に調整する機能（オートホワイトバランス機能）を備えている。
【０００３】
カラーバランスの崩れは、主に被写体を照明している光源の色温度の違いによって生じる。ホワイトバランスの調整は、白あるいはグレーの被写体を撮影したときに、赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の各レベルが同じになるように、固体撮像素子から出力される撮像信号又は画像データを増幅するゲインを調整することによって行なわれる。
【０００４】
オートホワイトバランス機能を備えた撮像装置としては、撮影のための主撮像系とは別に補助撮像系を備え、この補助撮像系を用いて、焦点調整，露光調整，ホワイトバランス調整を行なうものが知られている（特許文献１）。また、固体撮像素子とは別に測色センサを備え、測色センサからのデータに基づく第１のホワイトバランス制御信号と、固体撮像素子からの撮像信号に基づく第２のホワイトバランス制御信号とから色温度補正データを算出する撮像装置が知られている（特許文献２）。
【特許文献１】特開平６−３０３４８６
【特許文献２】特開２００５−１７５８３８
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１，２記載の各撮像装置では、補助撮像系や測色センサがいずれも被写体に向けられており、被写体光の色温度を測定している。このため、例えば被写体である人物が真っ赤や真っ青の色のセーターを着ている場合などのように、被写体光の色温度が被写体を照明している光源の色温度と大きく異なる場合には、適正なホワイトバランスが得られないという不都合が生じる。
【０００６】
なお、光源の種類（例えば太陽光，電球，蛍光灯など）を撮影者が判断し、これを選択スイッチなどで撮像装置に入力することによりホワイトバランスを調整するマニュアルホワイトバランス機能を備えた撮像装置も知られているが、誰でも簡単に使いこなせるものではない。
【０００７】
本発明は、上記のような問題点を解決するためになされたもので、被写体の服の色などに影響されることなく、適正なホワイトバランス調整を自動的に行なうことができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、被写体を撮像して撮像信号を生成する固体撮像素子を備えた撮像装置において、前記固体撮像素子による撮像方向とは別方向の外光色を測色する測色センサと、この測色センサからの出力から装置周りの外光の色温度である環境色温度を算出する環境色温度算出部と、前記撮像信号の各色成分から得られる被写体光の色温度と前記環境色温度とに基づいて前記各色成分毎のゲインを求めるゲイン演算部と、前記各色成分毎のゲインを用いて撮像信号の各色成分を個別に増幅するホワイトバランス調整部とを設けたことを特徴とする。
【０００９】
前記測色センサは、複数個が設けられていることを特徴とする。また、前記測色センサの測色方向は、前記撮像方向とほぼ直交する方向であることを特徴とする。また、前記測色センサは３個が設けられているとともに、互いに隣接する２個の測色方向が互いに９０°をなすように設けられていることを特徴とする。
【発明の効果】
【００１０】
本発明の撮像装置によれば、撮像信号の各色成分から得られる被写体光の色温度と、撮像方向とは別方向の外光色を測色する測色センサの出力から得られる環境色温度とに基づいて各色成分毎のゲインを求め、このゲインにより撮像信号の各色成分を個別に増幅するので、被写体の服の色などに影響されることなく、適正なホワイトバランス調整を自動的に行なうことができる。また、測色センサを複数個としたので、種々の方向の外光の色温度を測色でき、より適正なホワイトバランス調整を行なうことができる。また、測色センサの測色方向を撮像方向とほぼ直交する方向としたので、被写体の服の色などに影響されることなく、装置周りの環境色温度をより正確に求めることができる。また、測色センサは、互いに隣接する２個の測色方向が互いに９０°をなすように設けられた３個であるから、効率よく装置周りの環境色温度を求めることができる。
【発明を実施するための最良の形態】
【００１１】
本発明の撮像装置であるデジタルカメラは、被写体を撮像する固体撮像素子とは別に３個の測色センサを備え、固体撮像素子の撮像方向とほぼ直交する方向のカメラ周りの外光色を測色する。この測色データからカメラ周りの外光の色温度である環境色温度を算出し、これを固体撮像素子から得られる撮像信号に基づく被写体光の色温度に加味して、適正なホワイトバランス調整を行なう。
【００１２】
デジタルカメラ１０の外観を示す図１において、デジタルカメラ１０のカメラ本体１１の前面には、沈胴式のズームレンズである撮影レンズ１２、ストロボ発光部１４が設けられている。なお、図示しないが、カメラ本体１１の左手側には、メモリカード５９（図３参照）を装着するためのカードスロットが設けられている。
【００１３】
カメラ本体１１の上面には、回転させることによりモードの切替を行うリング状のモード切換ダイヤル１６，この中心部に設けられたシャッタボタン１７，電源ボタン１８，及び測色センサ１９が配設されている。
【００１４】
シャッタボタン１７は２段階式に構成され、軽く押して止める「半押し」の状態では自動焦点制御（ＡＦ）及び自動露出制御（ＡＥ）が作動してからＡＦとＡＥをロックし、「半押し」から更に押し込む「全押し」の状態で撮影が実行される。なお、カメラ本体１１の背面には、液晶ディスプレイ（ＬＣＤ）５８（図３参照）や各種の操作ボタンが設けられている。
【００１５】
測色センサ１９は、撮像方向とほぼ直交するカメラ本体１１の上方向の外光色を測色する。また、測色センサ１９と同様の測色センサ２０，２１が、カメラ本体１１の右手側面，左手側面にそれぞれ設けられている。測色センサ２０は、撮像方向とほぼ直交するカメラ本体１１の右手方向の外光色を測色し、測色センサ２１は、撮像方向とほぼ直交するカメラ本体１１の左手方向の外光色を測色する。
【００１６】
測色センサ１９〜２１は、全て同じ構造をしているから、測色センサ１９について説明する。図２に示すように、測色センサ１９は、半導体基板２３に形成した３個のフォトダイオード２４の上にＲ，Ｇ，Ｂフィルタ２５〜２７を被せ、各フォトダイオード２４毎にフローティング・ディフュージョン（ＦＤ）キャパシタ２８，ソース・フォロワ・アンプ２９及びＡ／Ｄコンバータ３０を設けたものである。
【００１７】
Ｒフィルタ２５を被せられたフォトダイオード２４がカメラ本体１１の上方向からの外光を受けて信号電荷を出力すると、この信号電荷はＦＤキャパシタ２８に蓄積され、蓄積電荷量に応じた信号電圧に変換される。この信号電圧がソース・フォロワ・アンプ２９によって緩衝増幅されてからＡ／Ｄコンバータ３０に入力される。Ａ／Ｄコンバータ３０は、信号電圧をデジタルの赤色成分の測色データに変換して後述するＷＢゲイン演算回路４７（図３参照）に送る。
【００１８】
同様に、Ｇフィルタ２６を被せられたフォトダイオード２４からの出力は緑色成分の測色データ、Ｂフィルタ２７を被せられたフォトダイオード２４からの出力は青色成分の測色データとしてＷＢゲイン演算回路４７に送られる。
【００１９】
デジタルカメラ１０の電気的構成を示す図３において、ＣＰＵ３５は、電源ボタン１８を押圧操作することにより電源がオンにされると、フラッシュメモリ３６に格納された制御プログラムをＲＡＭ３７にロードして初期設定を行なう。この後、ＣＰＵ３５は、モード切換ダイヤル１６，シャッタボタン１７，電源ボタン１８を含む操作部３８から入力される各種の操作信号に応じて、データバス３９を介してカメラ本体１１の各部を制御する。
【００２０】
撮影レンズ１２は、焦点距離の変更（変倍）を行なう変倍レンズ及び焦点調節を行なうフォーカシングレンズを含むレンズ群と絞りとからなる。これらの移動はモータによって行なわれ、このモータは、ＣＰＵ３５に制御されるモータ駆動部４１によって駆動される。
【００２１】
撮影レンズ１２の背後には、前述の固体撮像素子としてＣＣＤイメージセンサ（以下、単にＣＣＤという）４３が配置されている。ＣＣＤ４３は、受光面に二次元配列された複数の光電変換素子（フォトダイオード）を備え、撮影レンズ１２を通過してその受光面に結像された被写体像を光電変換素子が光電変換する。ＣＣＤ４３は、各光電変換素子毎に受光量に応じた信号電荷を生成し、各信号電荷を電圧信号に変換することにより撮像信号を生成する。なお、ＣＣＤ４３には、Ｒ，Ｇ，Ｂのカラーフィルタが設けられており、撮像信号にはＲ，Ｇ，Ｂの色成分が含まれる。
【００２２】
ＣＣＤ４３は、タイミングジェネレータ（ＴＧ）４４から入力されるタイミング信号（クロックパルス）に基づいて制御される。スルー画表示の際には、ＣＣＤ４３からフィールド画（偶数フィールド又は奇数フィールド）の撮像信号が読み出され、ＣＤＳ／ＡＭＰ回路４５に入力される。また、撮影時には、ＣＣＤ４３からフレーム画の撮像信号が読み出され、ＣＤＳ／ＡＭＰ回路４５に入力される。
【００２３】
ＣＤＳ／ＡＭＰ回路４５は、相関二重サンプリング回路（ＣＤＳ）と、増幅器（ＡＭＰ）とからなる。ＣＤＳは、相関二重サンプリングを施すことにより、撮像信号に含まれるノイズを除去し、信号電荷の電荷量に正確に対応したＲ，Ｇ，Ｂの撮像信号を生成する。ＡＭＰは、撮像信号に含まれるＲ，Ｇ，Ｂの各色成分を増幅する。また、ＡＭＰのゲイン（増幅率）を後述するＷＢゲイン演算回路４７によってＲ，Ｇ，Ｂ毎に変更することにより、ホワイトバランスの調整を行なう。
【００２４】
ＣＤＳ／ＡＭＰ回路４５から出力された撮像信号は、Ａ／Ｄ変換器４６によりデジタルの画像データに変換された後、環境色温度算出部及びゲイン演算部としてのＷＢゲイン演算回路４７と画像入力コントローラ４８とに送られる。
【００２５】
ＷＢゲイン演算回路４７は、測色センサ１９〜２１から入力される各測色データに基づいてカメラ本体１１周りの外光の色温度である環境色温度を算出するとともに、Ａ／Ｄ変換器４６から入力される画像データの赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の各色成分に基づいて被写体光の色温度を算出する。そして、被写体光の色温度と環境色温度とから、各色成分のゲインを演算し、得られた各ゲインをＣＤＳ／ＡＭＰ回路４５に送る。被写体光の色温度と環境色温度との重み付けは、例えば７：３とし、測色センサ１９〜２１から入力される各測色データの重み付けは、例えば均等とする。
【００２６】
ＣＤＳ／ＡＭＰ回路４５のＡＭＰは、撮像信号のＲ，Ｇ，Ｂの各色成分にＷＢゲイン演算回路４７から入力された各ゲインを乗算して撮像信号のホワイトバランスを補正する。
【００２７】
画像入力コントローラ４８は、データバス３９を介してＣＰＵ３５に接続され、ＣＰＵ３５の制御命令に応じてＣＣＤ４３，ＣＤＳ／ＡＭＰ回路４５、Ａ／Ｄ変換器４６及びＷＢゲイン演算回路４７を制御する。
【００２８】
データバス３９には、ＣＰＵ３５，画像入力コントローラ４８の他、画像信号処理回路５０，圧縮伸長処理回路５１，ビデオエンコーダ５２，ＳＤＲＡＭ５３，メディアコントローラ５４，ＡＥ／ＡＦ検出回路５５が接続されている。ＣＰＵ３５には、操作部３８，フラッシュメモリ３３，ＲＡＭ３４の他、ストロボ発光部１４を発光させるストロボ装置５６が接続されている。
【００２９】
画像信号処理回路５０は、画像データに対して、階調変換、γ補正処理などの各種画像処理と、ＹＣ変換処理とを施す。撮影モード下で撮影処理が実行される前には、画像信号処理回路５０に入力されたスルー画の画像データ（フィールド画）は、簡易な画像処理とＹＣ変換処理とが施されてＳＤＲＡＭ５３に一時的に書き込まれる。
【００３０】
ＳＤＲＡＭ５３には、連続した２フィールド画分を記憶するスルー画用のメモリ領域があり、一方から読み出し中に、他方に書き込みをする。ビデオエンコーダ５２は、ＳＤＲＡＭ５３に書き込まれた画像データをコンポジット信号に変換し、ＬＣＤ５８にスルー画像として表示する。
【００３１】
また、撮影処理が実行されたときには、画像信号処理回路５０に入力されたフレーム画の画像データは、本格的な画像処理とＹＣ変換処理とが施され、ＳＤＲＡＭ５３に一時的にストアされた後、圧縮伸長処理回路５１で圧縮処理が施されてから、メディアコントローラ５４を介してメモリカード５９に記憶される。
【００３２】
ＡＥ／ＡＦ検出回路５５は、画像データに基づいて露出検出、焦点位置検出を行う。露出検出では、Ａ／Ｄ変換器４６から出力された画像データの輝度レベルを１画面分積算し、この積算値を露出情報として、データバス３９を介してＣＰＵ３５に出力する。焦点位置検出では、撮像信号から輝度レベルの高域成分のみを抽出して積算し、この積算値を焦点評価値として、ＣＰＵ３０に出力する。ＣＰＵ３０は、ＡＥ／ＡＦ検出回路５５から入力された検出結果に基づいて、モータ駆動部４１及びＴＧ４４を制御してシャッタ速度、絞り値を最適な値に調節する。
【００３３】
このように構成されたデジタルカメラ１０の作用について図４に示すフローチャートを参照して説明する。デジタルカメラ１０は撮影モードにセットされているものとする。ＣＣＤ４３からフィールド画の撮像信号が読み出され（ｓｔ１）、ＣＤＳ／ＡＭＰ回路４５に入力される。撮像信号からノイズが減じられ、増幅されてからＡ／Ｄ変換器４６に入力される。ここでデジタルの画像データに変換された後、ＷＢゲイン演算回路４７及び画像入力コントローラ４８に入力される。
【００３４】
ＷＢゲイン演算回路４７には、画像データの他に、測色センサ１９〜２１からカメラ本体１１の上方向，右手方向，左手方向の各外光色の測色データが入力される。ＷＢゲイン演算回路４７は、３方向の測色データから環境色温度を算出するとともに画像データから被写体光の色温度を算出し、被写体光の色温度と環境色温度とから各色成分のゲインを算出する（ｓｔ２）。そして、得られた各ゲインをＣＤＳ／ＡＭＰ回路４５に入力する。
【００３５】
ＣＤＳ／ＡＭＰ回路４５のＡＭＰは、ＷＢゲイン演算回路４７から入力された各ゲインを用いて撮像信号の各色成分を増幅することにより、ホワイトバランス調整を行なう（ｓｔ３）。これにより、被写体光の色温度のみに依らず、カメラ周りの外光の色温度も考慮されたホワイトバランス調整が行なわれるから、被写体の人物がたとえ真っ赤や真っ青の色の服を着ていてもそれらの色に影響されることなく、より適正なホワイトバランス調整を行なうことができる。このホワイトバランス調整は、フィールド画の撮像信号が読み出される毎に繰り返し行なわれる。
【００３６】
Ａ／Ｄ変換器４６から画像入力コントローラ４８に入力された画像データは、画像信号処理回路５０で各種の処理を施された後、ＳＤＲＡＭ５３に一時的に格納された後、スルー画としてＬＣＤ５８に表示される（ｓｔ４）。
【００３７】
シャッタボタン１７を全押し操作すると（ｓｔ５）、ＣＣＤ４３からフレーム画の撮像信号が読み出される（ｓｔ６）。この撮像信号は、ＣＤＳ／ＡＭＰ回路４５でＲ，Ｇ，Ｂ信号に変換されてから、ＷＢゲイン演算回路４７から入力された各ゲインにより個別に増幅されてホワイトバランス調整が行なわれる（ｓｔ７）。なお、この場合の各ゲインは、シャッタボタン１７を全押し操作する直前に取得されたフィールド画の撮像信号から得られる被写体光の色温度及び環境色温度に基づいて算出されたものである。
【００３８】
ホワイトバランス調整が施された撮像信号は、Ａ／Ｄ変換器４６でデジタルの画像データに変換され、画像入力コントローラ４８により画像信号処理回路５０に送られる。画像信号処理回路５０で各種の処理を施された画像データは、ＳＤＲＡＭ５３に一時的に格納された後、圧縮伸長処理回路５１で圧縮処理され、メディアコントローラ５４によりメモリカード５９に記録される（ｓｔ８）。
【００３９】
以上説明した実施形態では、カメラ本体１１の上面に設けた測色センサ１９は、その受光面がカメラ本体１１の真上を向くようにしたが、本発明はこれに限定されることなく、図５に示すように、デジタルカメラ６０のカメラ本体６１の上面に２個の測色センサ６２，６３を設け、各受光面がそれぞれ反対側の斜め上方を向くようにしてもよい。これにより、より広範囲な外光の色温度を取得することができる。
【００４０】
上記実施形態では、測色センサの数を３個又は４個としたが、本発明はこれに限定されることなく、例えば１個や５個としてもよい。なお、測色センサを１個とした場合、測色方向はカメラ本体の上方とするのが好ましい。上記実施形態では、被写体光の色温度と環境色温度との重み付けを７：３としたが、本発明はこれに限定されることなく、例えば８：２や６：４でもよい。
【００４１】
また、上記実施形態では、被写体光の色温度と環境色温度とを重み付けしたが、本発明はこれに限定されることなく、例えば両方の色温度を平均してもよく、また撮影シーンに応じてユーザがどちらか一方の色温度を選択するようにしてもよい。また、カメラ本体に設けられた全ての測色センサを常に使用して環境色温度を求めるだけでなく、撮影シーンに応じてユーザが使用する測色センサを取捨選択するようにしてもよい。
【００４２】
上記実施形態では、測色センサを３個のフォトダイオードで構成したが、本発明はこれに限定されることなく、例えば画素数が少ないローコストのＣＣＤやＣＭＯＳイメージセンサで構成してもよい。また、上記実施形態では、撮像装置の例としてデジタルカメラを挙げて説明したが、本発明はこれに限定されることなく、固体撮像素子を用いるものであれば、例えばカメラ付き携帯電話やカメラ付きＰＤＡやデジタルビデオカメラなどでもよい。
【図面の簡単な説明】
【００４３】
【図１】本発明のデジタルカメラの外観を示す斜視図である。
【図２】測色センサの構成を示す説明図である。
【図３】デジタルカメラの電気的な構成を示すブロック図である。
【図４】撮影モードの主なシーケンスを示すフローチャートである。
【図５】測色センサの配設が異なる別のデジタルカメラの外観を示す斜視図である。
【符号の説明】
【００４４】
１０，６０  デジタルカメラ
１９〜２１，６２，６３  測色センサ
３５  ＣＰＵ
４３  ＣＣＤ
４５  ＣＤＳ／ＡＭＰ
４７  ＷＢゲイン演算回路
【図１】
2009033410.tif 000003
【図２】
2009033410.tif 000004
【図３】
2009033410.tif 000005
【図４】
2009033410.tif 000006
【図５】
2009033410.tif 000007