(57)【要約】【課題】高性能なオートホワイトバランスを実現でき、かつ、画面全体の色を正しく再現して画質を向上させる。【解決手段】固体撮像素子よりＡ／Ｄ変換して得られるデジタル画像信号を、輝度信号処理部５１の色分離処理によって色分離して得られたＲ（赤）、Ｇ（緑）、Ｂ（青）の原色信号と、デジタル画像信号の輝度信号（Ｙ）とをオプティカルディテクタ５２に入力し、これらの信号を、それぞれフィールド毎に積分し、その積分値と積分画素数とによって画像信号の撮像状態を判定する。そして、この判定結果に応じて、デジタルフィルタによるデジタル画像信号の画素平均処理、ホワイトバランス制御用の積分回路における積分処理のオン／オフ制御を行い、オートホワイトバランス処理を行なう。【選択図】　　　　　　　図１
2004023205.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を入力する入力手段と、
前記入力手段によって入力された画像信号を色分離してＲＧＢの原色信号と輝度信号とを出力する色分離手段と、
前記色分離手段によって得られた原色信号と輝度信号をそれぞれフィールド毎に積分する積分手段と、
前記積分手段によって得られた積分値と積分画素数とに基づいて前記画像信号の撮像状態を判定する判定手段と、
前記判定手段の判定結果に基づいて画像信号のホワイトバランスを制御するホワイトバランス制御手段と、
を有することを特徴とする色信号処理回路。
【請求項２】
前記画像信号は、固体撮像素子によって撮像された信号であることを特徴とする請求項１記載の色信号処理回路。
【請求項３】
前記ホワイトバランス制御手段は、前記判定手段による判定結果に基づいて画像信号に対する垂直Ｍ段×水平Ｎ段の画素平均処理を行なう画素平均処理手段を有することを特徴とする請求項１記載の色信号処理回路。
【請求項４】
前記ホワイトバランス制御手段は、前記画素平均処理手段によって得られたＲＧＢの原色信号から色温度変化以外のデータ変化を検出し、ホワイトバランス制御用の積分処理をオン／オフする積分ゲートパルスの生成手段を有することを特徴とする請求項３記載の色信号処理回路。
【請求項５】
前記ホワイトバランス制御手段は、前記積分ゲートパルスによって積分が許可された期間の間だけ、前記ホワイトバランス制御用の積分処理を行うことを特徴とする請求項４記載の色信号処理回路。
【請求項６】
前記画像信号の入力から前記ホワイトバランス制御までの動作をリアルタイム処理によって行うことを特徴とする請求項５記載の色信号処理回路。
【請求項７】
前記判定手段による判定に用いる積分処理を行う第１の積分手段と、前記ホワイトバランス制御に用いる積分処理を行う第２の積分手段とを有することを特徴とする請求項６記載の色信号処理回路。
【請求項８】
画像信号を色分離して得られたＲＧＢの原色信号と輝度信号について、それぞれフィールド毎の第１の積分処理を行い、その積分値と積分画素数とによって前記画像信号の撮像状態を判定し、その判定結果に応じて画像信号のホワイトバランスを制御する、
ことを特徴とする色信号処理方法。
【請求項９】
前記画像信号は、固体撮像素子によって撮像された信号であることを特徴とする請求項８記載の色信号処理方法。
【請求項１０】
前記撮像状態の判定結果に基づいて前記画像信号に対する垂直Ｍ段×水平Ｎ段の画素平均処理を行なうことを特徴とする請求項８記載の色信号処理方法。
【請求項１１】
前記画素平均処理によって得られたＲＧＢの原色信号から色温度変化以外のデータ変化を検出し、その検出結果に応じて前記ホワイトバランス制御用の第２の積分処理をオン／オフすることを特徴とする請求項１０記載の色信号処理方法。
【請求項１２】
前記積分処理がオンされた期間の間だけ、前記画像信号を色分離して得られたＲＧＢの原色信号の第２の積分処理を行うことを特徴とする請求項１１記載の色信号処理方法。
【請求項１３】
前記画像信号の入力から前記ホワイトバランス制御までの動作をリアルタイム処理によって行うことを特徴とする請求項１２記載の色信号処理方法。
【請求項１４】
前記第１の積分処理と第２の積分処理を異なる積分手段によって行うことを特徴とする請求項１３記載の色信号処理方法。
【請求項１５】
被写体を撮像する撮像手段と、前記撮像手段より得られた画像信号の色信号処理を行う色信号処理回路とを有するカメラ装置において、
前記色信号処理回路は、
前記撮像手段より得られた画像信号を色分離してＲＧＢの原色信号と輝度信号とを出力する色分離手段と、
前記色分離手段によって得られた原色信号と輝度信号をそれぞれフィールド毎に積分する積分手段と、
前記積分手段によって得られた積分値と積分画素数とに基づいて前記画像信号の撮像状態を判定する判定手段と、
前記判定手段の判定結果に基づいて画像信号のホワイトバランスを制御するホワイトバランス制御手段とを有して構成される、
ことを特徴とするカメラ装置。
【請求項１６】
前記撮像手段は、固体撮像素子によって撮像された信号であることを特徴とする請求項１５記載のカメラ装置。
【請求項１７】
前記ホワイトバランス制御手段は、前記判定手段による判定結果に基づいて画像信号に対する垂直Ｍ段×水平Ｎ段の画素平均処理を行なう画素平均処理手段を有することを特徴とする請求項１５記載のカメラ装置。
【請求項１８】
前記ホワイトバランス制御手段は、前記画素平均処理手段によって得られたＲＧＢの原色信号から色温度変化以外のデータ変化を検出し、ホワイトバランス制御用の積分処理をオン／オフする積分ゲートパルスの生成手段を有することを特徴とする請求項１７記載のカメラ装置。
【請求項１９】
前記ホワイトバランス制御手段は、前記積分ゲートパルスによって積分が許可された期間の間だけ、前記ホワイトバランス制御用の積分処理を行うことを特徴とする請求項１８記載のカメラ装置。
【請求項２０】
前記画像信号の入力から前記ホワイトバランス制御までの動作をリアルタイム処理によって行うことを特徴とする請求項１９記載のカメラ装置。
【請求項２１】
前記判定手段による判定に用いる積分処理を行う第１の積分手段と、前記ホワイトバランス制御に用いる積分処理を行う第２の積分手段とを有することを特徴とする請求項２０記載のカメラ装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体を撮像して得られる色信号に適正なホワイトバランス処理を行うことができる色信号処理回路、色信号処理方法、及びそれらを用いたカメラ装置に関する。
【０００２】
【従来の技術】
従来より、例えばＣＣＤ撮像素子などの固体撮像素子を用いて被写体の撮像を行うと、その被写体に含まれる白色は、屋内などの色温度が低い場所では画面全体が赤色にシフトし、屋外などの色温度が高い場所では画面全体が青色にシフトする。
ところで、固体撮像素子を撮像デバイスとして用いたカメラシステムでは、被写体の白色を撮像した撮像結果において、無彩色の白色して映し出すために、光源の色温度が変化した場合に、例えば図２に示すように、色温度の変化に応じて白色が黒体放射カーブに沿って移動し、色がついて見える白色を、無彩色の白に合わせるオートホワイトバランス処理を行なうようにしている。なお、図２において、横軸は色差信号Ｂ−Ｙの振幅（ゲイン）を示し、縦軸は色差信号Ｒ−Ｙの振幅を示し、原点が無彩色の白となる。
このオートホワイトバランス処理では、図３に示す加法混色、すなわち全ての色を足し合わせると白色になるという考えに基づき、Ｒ、Ｇ、Ｂの各原色信号を積分し、この積分データをもとに色温度判定を行い、ホワイトバランスを合わせるようにしていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述したように、全ての画素データを積分したデータをもとに色温度反判定を行うようにした従来の色信号処理回路では、撮像している被写体にバランスよくさまざまな色があれば理想的であるが、被写体に原色、補色などの色が偏って存在する場合には、積分データが色温度変化に偏りがあるかどうかの判定が難しいという問題があった（例えば特開平１１−２４３５５７号公報参照）。
【０００４】
そこで本発明の目的は、高性能なオートホワイトバランスを実現でき、かつ、画面全体の色を正しく再現して画質を向上させることができる色信号処理回路、色信号処理方法、及びカメラ装置を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は前記目的を達成するため、画像信号を入力する入力手段と、前記入力手段によって入力された画像信号を色分離してＲＧＢの原色信号と輝度信号とを出力する色分離手段と、前記色分離手段によって得られた原色信号と輝度信号をそれぞれフィールド毎に積分する積分手段と、前記積分手段によって得られた積分値と積分画素数とに基づいて前記画像信号の撮像状態を判定する判定手段と、前記判定手段の判定結果に基づいて画像信号のホワイトバランスを制御するホワイトバランス制御手段とを有することを特徴とする。
また本発明は、画像信号を色分離して得られたＲＧＢの原色信号と輝度信号について、それぞれフィールド毎の第１の積分処理を行い、その積分値と積分画素数とによって前記画像信号の撮像状態を判定し、その判定結果に応じて画像信号のホワイトバランスを制御することを特徴とする。
【０００６】
また本発明は、被写体を撮像する撮像手段と、前記撮像手段より得られた画像信号の色信号処理を行う色信号処理回路とを有するカメラ装置において、前記色信号処理回路は、前記撮像手段より得られた画像信号を色分離してＲＧＢの原色信号と輝度信号とを出力する色分離手段と、前記色分離手段によって得られた原色信号と輝度信号をそれぞれフィールド毎に積分する積分手段と、前記積分手段によって得られた積分値と積分画素数とに基づいて前記画像信号の撮像状態を判定する判定手段と、前記判定手段の判定結果に基づいて画像信号のホワイトバランスを制御するホワイトバランス制御手段とを有して構成されることを特徴とする。
【０００７】
本発明の色信号処理回路、色信号処理方法、及びカメラ装置では、画像信号を色分離して得られた原色信号と輝度信号をフィールド毎に積分し、その積分値と積分画素数とによって画像信号の撮像状態を判定し、この判定結果に基づいて画像信号のホワイトバランスを制御するようにしたことから、ホワイトバランス制御のための積分前に、原色や補色に近い色や白色に近い色を判定し、色温度変化時の色と判定した時にのみ色信号情報を積分することが可能となる。
例えば、色温度変化時の色と判定した時のデータのみをオートホワイトバランス用のデータとして採用したり、色温度変化以外の時の色と判定した時のデータをオートホワイトバランス用のデータから除外することができる。
したがって、被写体に原色あるいは補色が偏って存在する場合でも、精度よくホワイトバランスを合わせることができるようになり、オートホワイトバランスの性能向上を実現でき、出力画像の色再現性や画質の向上を実現することができる。
【０００８】
【発明の実施の形態】
以下、本発明による色信号処理回路、色信号処理方法、及びカメラ装置の実施の形態例について説明する。
図１は本発明の実施の形態例を適用したカメラ装置の全体構成を示すブロック図である。
図示のように、このカメラ装置は、レンズ１０、撮像素子２０、プリアンプ３０、Ａ／Ｄコンバータ４０、デジタル信号処理回路５０、システムコントローラ６０とで構成されている。
撮像素子２０は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子であり、レンズ１０を通して被写体の撮像を行い、その撮像結果である画像信号を出力する。
プリアンプ３０は、このような撮像素子２０による画像信号を増幅してＡ／Ｄコンバータ４０に送出し、Ａ／Ｄコンバータ４０は、プリアンプ３０からのアナログ画像信号をデジタル画像信号に変換してデジタル信号処理回路５０に出力する。
【０００９】
デジタル信号処理回路５０は、ＤＳＰ（デジタルシグナルプロセッサ）等より構成され、Ａ／Ｄコンバータ４０から入力されたデジタル画像信号に各種の信号処理を施し、最終的な画像信号としてアナログ信号に変換して出力するものである。
システムコントローラ６０は、本カメラ装置全体を制御するものであり、例えば、デジタル信号処理回路５０における色信号の処理に必要なプログラム６１等を格納している。
【００１０】
次に、本例におけるデジタル信号処理回路５０について説明する。
図示のように、本例のデジタル信号処理回路５０は、主な構成要素として、輝度信号処理部５１と、オプティカルディテクタ５２と、Ｄ／Ａコンバータ５３とを有している。
輝度信号処理部５１は、Ａ／Ｄコンバータ４０から入力されたデジタル画像信号の色分離処理、オートホワイトバランス処理、ガンマ補正処理、色差マトリクス処理、及びエンコーダ処理等を行うものである。
また、オプティカルディテクタ５２は、輝度信号処理部５１の色分離処理によって得られた輝度信号を入力し、その検波信号をシステムコントローラ６０に出力するとともに、システムコントローラ６０からの色信号処理制御信号を受け取るものであり、輝度信号処理部５１におけるオートホワイトバランス処理に必要な色信号の判定処理を行う。
また、Ｄ／Ａコンバータ５３は、輝度信号処理部５１よって処理されたデジタル画像信号を再びアナログ画像信号に戻して後段に出力するものである。
【００１１】
特に本例では、輝度信号処理部５１及びオプティカルディテクタ５２によるデジタル画像信号の色分離処理、オートホワイトバランス処理について、以下のような処理を行う。
（１）入力されたデジタル画像信号を、輝度信号処理部５１の色分離処理によって色分離して得られたＲ（赤）、Ｇ（緑）、Ｂ（青）の原色信号と、デジタル画像信号の輝度信号（Ｙ）とをオプティカルディテクタ５２に入力し、これらの信号を、それぞれフィールド毎に積分し、その積分値と積分画素数とによって画像信号の撮像状態を判定する。
（２）そして、この判定結果に応じて、デジタル画像信号に対し、Ｍ段（垂直）×Ｎ段（水平）の画素平均処理を行なう。
（３）さらに、この画素平均処理を行なったＲ（赤）、Ｇ（緑）、Ｂ（青）の原色信号から色温度変化以外のデータ変化（原色に近い色、補色に近い色）を検出し、リアルタイムでオートホワイトバランス用の積分処理のオン／オフを制御する積分ゲートパルスを生成する。
（４）そして、この積分ゲートパルスで積分を許可された期間の間だけで、輝度信号処理部５１でデジタル画像信号を色分離して得られたＲ（赤）、Ｇ（緑）、Ｂ（青）の原色信号を積分する。
【００１２】
以下、このような本例の色信号処理を行うための構成と信号処理の内容について具体的に説明する。
図４は、上述したデジタル信号処理回路５０のオプティカルディテクタ５２内の処理内容を示すブロック図である。
本例の色信号処理回路は、ハードウェア部分とシステムコントローラ６０を含むソフトウェア部分とで構成されている。
このうちハードウェア部分は、デジタルフィルタによって垂直方向にＭ段、水平方向にＮ段の画素情報を平均化する画素平均回路１１０と、Ｇ（緑）、Ｒ（赤）、Ｂ（青）の原色信号の情報から色の飽和度を抽出し、白色に近い色、補色に近い色、原色に近い色のいずれかを判定する色信号判定回路（飽和度検出回路）１２０と、輝度信号もしくは色信号を上述した積分ゲートパルスで積分を許可された期間に限り積分する積分回路（第２の積分手段）１３０とを含している。
【００１３】
また、本例では、積分回路１３０と同様の構成を有する積分回路（第１の積分手段）１４０を搭載している。
そして、この積分回路１４０では、撮像素子２０の撮像結果に応じたデジタル画像信号を色分離して得られたＲ（赤）、Ｇ（緑）、Ｂ（青）の原色信号と、デジタル画像信号の輝度信号（Ｙ）を、それぞれフィールド毎に積分にし、そのＹ信号とＲ、Ｇ、Ｂ信号の積分値と積分画素数を出力としてシステムコントローラ６０に渡すものである。
また、システムコントローラ６０では、この出力結果を基にして、画素平均回路１１０と色信号判定回路（飽和度検出回路）１２０を制御する制御信号１、２を出力する。
画素平均回路１１０では、デジタル画像信号を色分離して得られたＲ、Ｇ、Ｂの原色信号に対し、Ｍ×Ｎ段のフィルタによって空間周波数を落とす処理を行う（垂直Ｍライン×水平Ｎ画素の平均をとっている）。
【００１４】
これにより、垂直ライン数（Ｍ）と水平画素数（Ｎ）は、積分回路１４０の出力結果に基づいて、システムコントローラ６０からの制御信号２によって制御される。
この制御方法としては、例えば以下のような例が考えられる。
（１）積分回路１４０から出力されたＲ、Ｇ、Ｂの値に偏りがある場合には、原色もしくは補色に近い色の被写体が画面の大部分を占めていると考えられるので、垂直ライン数と水平画素数を大きな値に設定して、画面の大部分を占めると予測される被写体を同一色とみなす。
（２）積分回路１４０から出力されたＲ、Ｇ、Ｂの値が均等の場合には、画面の中には様々な被写体が存在していると予測されるので、垂直ライン数と水平画素数を小さな値に設定して、局所的に存在する原色にもしくは補色に近い色の画素を対象とする。
【００１５】
また、このような色信号判定回路１２０のアルゴリズムは、図５に示すように、Ｇ、Ｒ、Ｂの信号量成分から白色に近い色（Ｇ、Ｒ、Ｂの信号量が均等）、補色に近い色（Ｇ、Ｒ、Ｂの中の１つの信号量が他の２つに比べて無視できるくらい小さい）、原色に近い色（Ｇ、Ｒ、Ｂの中の２つの信号量が残る１つに比べて無視できるくらい小さい）を判定するものである。
そして、色信号判定回路１２０では、このようなアルゴリズムを実現する手段として、図６に示すように、色情報検出回路１２１、色情報判定回路１２２、及び積分ゲートパルス発生回路１２３を含む構成で実現している。
【００１６】
色情報検出回路１２１では、比較器１２１Ａで、色信号のＧ、Ｒ、Ｂの各成分を任意の色信号スライスレベルと順次比較し、色信号が色信号スライスレベル以上なら１を出力し、未満なら０を出力する。この比較器１２１Ａの出力は、１画素単位でＤフリップフロップによる３つのラッチ回路１２１Ｂ、１２１Ｃ、１２１Ｄに順次シフトされてラッチされる。
そして、ラッチ回路１２１Ｂ、１２１Ｃ、１２１Ｄの出力が加算器１２１Ｅに出力され、この１画素単位での色信号のＧ、Ｒ、Ｂの各成分の比較器出力の和が算出される。なお、比較器１２１Ａにおける色信号スライスレベルの設定は、システムコントローラ６０により積分回路１４０の出力結果から値を算出し、リアルタイムに設定される。
【００１７】
また、色情報判定回路１２２では、色情報検出回路１２１の出力から色信号の色情報を判定する。
すなわち、色情報検出回路１２１の出力の和が３ならＧ≒Ｒ≒Ｂということなので白色に近い色となり、和が２なら補色に近い色、和が１なら原色に近い色となる。
この色情報判定回路１２２では、色情報検出回路１２１の出力をＤフリップフロップによるラッチ回路１２２Ａでラッチし、この値を２つの比較器１２２Ｂ、１２２Ｃと２つのパラメータ（飽和度判定レベル１と飽和度判定レベル２）、及び各比較出力のＡＮＤをとるＡＮＤ回路１２２Ｄとによって判定する。
例えば、飽和度判定レベル１＝３、飽和度判定レベル２＝３と設定した場合は、白色に近い色（色情報検出回路１２１の出力が３）の時のみ色情報判定回路１２２の出力が１となる。
また、飽和度判定レベル１＝２、飽和度判定レベル２＝１と設定した場合は、原色に近い色（色情報検出回路１２１の出力が１）の時と補色に近い色（色情報検出回路１２１の出力が２）の時に色情報判定回路１２２の出力が１となる。
【００１８】
積分ゲートパルス発生回路１２３では、インバータ回路１２３Ａとスイッチ回路１２３Ｂとで構成され、色情報判定回路１２２の出力を反転／正転する機能を実現するものである。
本例においは、積分回路１３０は積分ゲートパルスがＬレベルの期間に積分する設計になっているため、この積分ゲートパルス発生回路１２３においてパルスの極性を変えることにより、白色に近い色を積分する／積分しない、補色に近い色を積分する／積分しない、原色に近い色を積分する／積分しないの設定が可能になる。
そして、積分回路１３０では、画像信号を色分離して得られたＲ、Ｇ、Ｂを、色信号判定回路１２０で生成した積分ゲートパルスによって積分が許可された期間の間だけ積分を行う。このことにより、色温度変化時の色と判定した時にのみ色信号情報を積分することが可能となる。
【００１９】
以上のような本実施の形態例によれば、オートホワイトバランス制御の際に、原色や補色に近い色や白色に近い色を判定回路で積分前に判定し、色温度変化時の色と判定した時にのみ色信号情報を積分することが可能となる。言い換えると、色温度変化時の色と判定した時のデータのみをオートホワイトバランス用のデータと採用したり、色温度変化以外の時の色と判定した時のデータをオートホワイトバランス用のデータから除外することができるようになる。
したがって、被写体に原色あるいは補色が偏って存在する場合でも、精度よくホワイトバランスを合わせることができるようになり、オートホワイトバランスの性能アップにつながり、カメラ装置の色再現および画質を向上させることができる。
【００２０】
なお、以上の実施の形態例は、本発明による色信号処理回路及び色信号処理方法をカメラ装置として構成した場合について説明したが、本発明は色信号処理回路単体及び色信号処理方法単体として構成することも可能である。
また、以上の実施の形態例では、固体撮像素子による画像信号を処理する構成について説明したが、本発明は他の撮像手段や媒体より入力した画像信号を処理するものにも同様に適用し得るものであり、さらに、スチルカメラ、ビデオカメラのいずれにも適用できるものである。
【００２１】
【発明の効果】
以上説明したように本発明の色信号処理回路、色信号処理方法、及びカメラ装置によれば、オートホワイトバランス制御の際に、原色や補色に近い色や白色に近い色を判定回路で積分前に判定し、色温度変化時の色と判定した時にのみ色信号情報を積分することが可能となるため、被写体に原色あるいは補色が偏って存在する場合でも、精度よくホワイトバランスを合わせることができるようになり、オートホワイトバランス制御の性能を向上でき、出力画像の色再現および画質を向上することができる効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態例を適用したカメラ装置の全体構成を示すブロック図である。
【図２】ベクトルスコープ上での黒体放射カーブを示す説明図である。
【図３】加法混色を説明する説明図である。
【図４】図１に示すカメラ装置におけるデジタル信号処理回路のオプティカルディテクタ内の処理内容を示すブロック図である。
【図５】図４に示す色信号判定回路におけるアルゴリズムを示す説明図である。
【図６】図４に示す色信号判定回路の構成例を示すブロック図である。
【符号の説明】
１０……レンズ、２０……撮像素子、３０……プリアンプ、４０……Ａ／Ｄコンバータ、５０……デジタル信号処理回路、６０……システムコントローラ。
【図１】
2004023205.tif 000003
【図２】
2004023205.tif 000004
【図３】
2004023205.tif 000005
【図４】
2004023205.tif 000006
【図５】
2004023205.tif 000007
【図６】
2004023205.tif 000008