(57)【要約】【課題】  カラーローリング現象を抑制するとともに、撮像時の露光時間に関係なく最適なホワイトバランス調整を行うことにより表示画像の画質を向上させることができる画像処理方法及び同方法によりホワイトバランス調整を行うカラー撮像装置を提供する。【解決手段】  撮影した画像データに対してホワイトバランス調整を施す画像処理方法において、被写体を撮影する際の露光時間に応じてホワイトバランス調整を行わない色調領域の範囲を変更することにした。  また、撮影した画像に対してホワイトバランス調整を施す画像処理手段を有するカラー撮像装置において、画像処理手段は、被写体を撮影する際の露光時間に応じてホワイトバランス調整を行わない色調領域の範囲を変更することにした。【選択図】図２
2005223898.tif 000002
【特許請求の範囲】
【請求項１】
露光時間が調整可能なカラー映像を撮像する撮像部と
上記撮像部からの上記カラー映像信号のホワイトバランスを調整するホワイトバランスアンプと、
上記カラー撮像部からのカラー映像信号から画像情報信号を得る検出回路と、
上記カラー撮像部からのカラー映像信号から位置データ信号を得る動き検出回路と、
上記画像情報信号に基づきホワイトバランス制御信号を生成する制御回路とを備え、
上記ホワイトバランス制御信号を前記ホワイトバランスアンプに入力しホワイトバランスを制御するようにしたカラー撮像装置の画像処理方法において、
上記動き検出回路は静止している位置データ信号を制御回路に入力し、該静止している位置データからなる画像領域のホワイトバランスは、露光時間と色成分データから上記ホワイトバランスアンプの調整を開始する閾値からなる色成分領域を変化させることを特徴とするカラー撮像装置の画像処理方法。
【請求項２】
前記ホワイトバランスの調整を行う色成分領域は、前記露光時間が短くなるにつれて徐々に狭くすることを特徴とする請求項1に記載の画像処理方法。
【請求項３】
前記ホワイトバランス調整を行わない色成分領域の範囲は、黄色成分及び青色成分の色調領域に関してのみ変更することを特徴とする請求項1又は2に記載の画像処理方法。
【請求項４】
露光時間が調整可能なカラー映像を撮像する撮像部と
上記撮像部からの上記カラー映像信号のホワイトバランスを調整するホワイトバランスアンプと、
前記カラー撮像部からのカラー映像信号から画像情報信号を得る検出回路と、
前記カラー撮像部からのカラー映像信号から位置データ信号を得る動き検出回路と、
上記画像情報信号に基づきホワイトバランス制御信号を生成する制御回路とを備え、
上記ホワイトバランス制御信号を前記ホワイトバランスアンプに入力しホワイトバランスを制御するようにしたカラー撮像装置において、
上記動き検出回路は静止している位置データ信号を制御回路に入力し、該静止している位置データからなる画像領域のホワイトバランスは、露光時間と色成分データから上記ホワイトバランスアンプの調整を開始する閾値からなる色成分領域を変化させることを特徴とするカラー撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法及び画像処理装置を有するカラー撮像装置に関するものである。
【背景技術】
【０００２】
従来より、ディジタルカメラやビデオカメラなどのカラー撮像装置は、被写体を撮影する際に、光源の種類に応じてその分光特性(赤、緑、青からなる３原色の色成分の比)の値を自動的に調整して白色を決定する(以下、「ホワイトバランス調整」という。)画像処理手段を有していた（たとえば、特許文献１参照。）。
【０００３】
この画像処理手段を有するカラー撮像装置は、以下のような方法でホワイトバランス調整を行って白色を決定していた。
【０００４】
まず、図６に示すように、カラー撮像装置では、ホワイトバランス調整を行わない色調領域である不感帯領域100を設定することによりホワイトバランス調整の感度を決定する。
【０００５】
次に、画像データから画像の色データを検出する検波回路を用いて画像に含まれる色成分データを取得し、この色成分データから光源の分光特性の値を演算する。
【０００６】
次に、光源の分光特性の値が先に設定した不感帯領域100の内側か外側かを判別する。
【０００７】
そして、光源の分光特性の値がこの不感帯領域の内側(図６中の101)であれば、分光特性の値の偏りが小さく人間が視覚的に違和感を感じない色調であるとしてホワイトバランス調整を終了する。
【０００８】
これに対して、光源の分光特性の値が不感帯領域の外側(図６中の102)である場合は、分光特性の値の偏りが大きく人間が視覚的に違和感を感じる色調であるとして、分光特性の値を不感帯領域の内側へ移行させる調整を行うことによってホワイトバランス調整を行い白色の決定を行っていた。
【０００９】
図６中の縦軸は赤色成分軸、横軸は青色成分軸である。
【特許文献１】特開平8-186828号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところが、従来のカラー撮像装置では、ホワイトバランス調整の感度を決定する不感帯領域を予め設定していたため、以下のような不具合が生じるおそれがあった。
【００１１】
すなわち、蛍光灯などの周期的に明滅を繰り返す光源のもとで被写体を撮影する際には、光源の明滅周期とカラー撮像装置のサンプリング周期とが異なることに起因して表示画像の色調が周期的に変化するカラーローリング現象が発生するおそれがあった。
【００１２】
このカラーローリング現象は、撮像素子の露光時間が短くなるにつれて発生しやすいことが知られており、そのため、カラーローリング現象が発生しないように、撮影時の露光時間を比較的長くした場合には、適正な露光とならないことによって画質が劣化するおそれがあった。
【課題を解決するための手段】
【００１３】
そこで、請求項１に係る本発明では、露光時間が調整可能なカラー映像を撮像する撮像部と、撮像部からのカラー映像信号のホワイトバランスを調整するホワイトバランスアンプと、カラー撮像部からのカラー映像信号から画像情報信号を得る検出回路と、カラー撮像部からのカラー映像信号から位置データ信号を得る動き検出回路と、画像情報信号に基づきホワイトバランス制御信号を生成する制御回路とを備え、ホワイトバランス制御信号を前記ホワイトバランスアンプに入力しホワイトバランスを制御するようにしたカラー撮像装置の画像処理方法において、動き検出回路は静止している位置データ信号を制御回路に入力し、静止している位置データからなる画像領域のホワイトバランスは、露光時間と色成分データからホワイトバランスアンプの調整を開始する閾値からなる色成分領域を変化させることにした。
【００１４】
また、請求項２に係る本発明では、ホワイトバランスの調整を行う色成分領域は、露光時間が短くなるにつれて徐々に狭くすることにした。
【００１５】
また、請求項３に係る本発明では、ホワイトバランス調整を行わない色成分領域の範囲は、黄色成分及び青色成分の色調領域に関してのみ変更することにした。
【００１６】
また、請求項４に係る本発明では、露光時間が調整可能なカラー映像を撮像する撮像部と、撮像部からのカラー映像信号のホワイトバランスを調整するホワイトバランスアンプと、カラー撮像部からのカラー映像信号から画像情報信号を得る検出回路と、カラー撮像部からのカラー映像信号から位置データ信号を得る動き検出回路と、画像情報信号に基づきホワイトバランス制御信号を生成する制御回路とを備え、ホワイトバランス制御信号を前記ホワイトバランスアンプに入力しホワイトバランスを制御するようにしたカラー撮像装置において、動き検出回路は静止している位置データ信号を制御回路に入力し、静止している位置データからなる画像領域のホワイトバランスは、露光時間と色成分データからホワイトバランスアンプの調整を開始する閾値からなる色成分領域を変化させることにした。
【発明の効果】
【００１７】
これにより、本発明では、以下に記載するような効果を奏する。
【００１８】
請求項１に係る本発明では、露光時間が調整可能なカラー映像を撮像する撮像部と、撮像部からのカラー映像信号のホワイトバランスを調整するホワイトバランスアンプと、カラー撮像部からのカラー映像信号から画像情報信号を得る検出回路と、カラー撮像部からのカラー映像信号から位置データ信号を得る動き検出回路と、画像情報信号に基づきホワイトバランス制御信号を生成する制御回路とを備え、ホワイトバランス制御信号を前記ホワイトバランスアンプに入力しホワイトバランスを制御するようにしたカラー撮像装置の画像処理方法において、動き検出回路は静止している位置データ信号を制御回路に入力し、静止している位置データからなる画像領域のホワイトバランスは、露光時間と色成分データからホワイトバランスアンプの調整を開始する閾値からなる色成分領域を変化させることにしたため、カラーローリング現象を効果的に抑制することができる。
【００１９】
また、請求項２に係る本発明では、ホワイトバランスの調整を行う色成分領域は、露光時間が短くなるにつれて徐々に狭くすることにしたため、露光時間の変化にともなって発生しやすくなるカラーローリング現象を抑制しながら適正な露光時間に調整することができるので画質の向上を図ることができる。
【００２０】
また、請求項３に係る本発明では、ホワイトバランス調整を行わない色成分領域の範囲は、黄色成分及び青色成分の色調領域に関してのみ変更することにしたため、被写体の変化に起因する分光特性の変化への追従性を抑制しながらも、カラーローリング現象を効果的に抑制することができる。
【００２１】
また、請求項４に係る本発明では、露光時間が調整可能なカラー映像を撮像する撮像部と、撮像部からのカラー映像信号のホワイトバランスを調整するホワイトバランスアンプと、カラー撮像部からのカラー映像信号から画像情報信号を得る検出回路と、カラー撮像部からのカラー映像信号から位置データ信号を得る動き検出回路と、画像情報信号に基づきホワイトバランス制御信号を生成する制御回路とを備え、ホワイトバランス制御信号を前記ホワイトバランスアンプに入力しホワイトバランスを制御するようにしたカラー撮像装置において、動き検出回路は静止している位置データ信号を制御回路に入力し、静止している位置データからなる画像領域のホワイトバランスは、露光時間と色成分データからホワイトバランスアンプの調整を開始する閾値からなる色成分領域を変化させることにしたため、露光時間の変化にともなって発生しやすくなるカラーローリング現象を効果的に抑制可能なカラー撮像装置とすることができる。
【発明を実施するための最良の形態】
【００２２】
本発明に係るカラー撮像装置は、撮影した画像に対してホワイトバランス調整を施す画像処理手段を有しており、特に、画像処理手段は、被写体を撮影する際の露光時間に応じて、ホワイトバランス調整を行わない色調領域の範囲を変更することとした。したがって、露光時間の変化にともなって発生しやすくなるカラーローリング現象を効果的に抑制することができる。
【００２３】
また、本発明に係る画像処理方法は、撮影した画像データに対してホワイトバランス調整を施す画像処理方法であって、被写体を撮影する際の露光時間に応じてホワイトバランス調整を行わない色調領域の範囲を変更するようにしている。
【００２４】
そして、ホワイトバランス調整を行わない色調領域の範囲を露光時間が短くなるにつれて徐々に狭くするように変更することで、露光時間の変化にともなって発生しやすくなるカラーローリング現象の発生を抑制できるようにしている。
【００２５】
そのため、被写体を撮影する際には、適正な露光時間に調整することができるので画質の向上を図ることができ、しかも、最適なホワイトバランス調整を行うことができる。
【００２６】
さらに、一般的な蛍光灯のスペクトルはλ＝400nm〜650nmで山形に分布し、輝線スペクトルを持っている。また、その輝線スペクトルは赤色成分の周波数領域には無いため、赤色成分はカラーローリングに対して大きく影響しない。そのため、ホワイトバランス調整を行わない色調領域の範囲を黄色成分及び青色成分の色調領域に関してのみ変更する。したがって、被写体の変化に起因する分光特性の変化への追従性を抑制しながらも、カラーローリング現象を効果的に抑制することができる。
【００２７】
また、連続して撮影した全画像データに対してホワイトバランス調整を行う際には、撮影した全画像データを複数のブロックに分割し、各ブロック毎に被写体の動きの有無を検出し、被写体の動きのないブロックの画像データに基づいて全画像データのホワイトバランス調整を行うようにしている。したがって、光源の分光特性が変化したときにだけ全画像データに対して最適なホワイトバランス調整を実行することができる。
【００２８】
以下に、本発明に係るカラー撮像装置について、図面を参照しながら具体的に説明する。
【００２９】
特に、以下においては、カラー撮像装置は、監視カメラ装置として説明するが、監視カメラ装置に限定するものではなく、ホワイトバランス制御を行うカラー撮像装置に対して適用することができる。
【００３０】
監視カメラ装置１は、図１に示すように、映像を撮影する撮像部２と、この撮像部２で撮影した画像を処理する画像処理部３と、この画像処理部３で処理した画像を表示する画像表示部４とで構成している。
【００３１】
撮像部２は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの光信号S1を光電変換する撮像素子５と、この撮像素子５の出力信号を調整する出力信号調整回路６とから構成している。尚、本実施の形態では、撮像素子５としてＣＣＤやＣＭＯＳを例に挙げているが、これらに限定されるものではない。
【００３２】
出力信号調整回路６は、具体的には、ＡＧＣ(Auto Gain Control)6a及びＳＨ(Sample Hold)6b等から構成している。
【００３３】
画像処理部３は、撮像部２から入力されたアナログ画像データ信号S2をディジタルの画像信号であるディジタル画像データ信号S4に変換するＡＤＣ(Analog Digital Converter)８と、このＡＤＣ８で変換したディジタル画像データ信号S4に対してホワイトバランス調整を行って表示用画像信号S7を出力するホワイトバランス調整回路９と、ディジタル画像データ信号S4に基づいて露光制御に必要な輝度成分データ及び色成分データ等の画像情報信号S9を出力する検波回路10と、ディジタル画像データ信号S4に基づいて被写体の動きを検出する動き検出回路11と、ホワイトバランス調整回路９を制御しているマイクロコンピュータ12とから構成している。
【００３４】
さらに、画像処理部３には同期信号発生回路13を設けこの同期信号発生回路13で生成した同期信号S3を撮像部２に入力して撮像部２と画像処理部３とを同期させている。
【００３５】
ホワイトバランス調整回路９には、ＡＤＣ８から入力された入力信号を増幅又は減衰させる可変ゲインのアンプであるホワイトバランスアンプ9aを設け、マイクロコンピュータ12から入力されたホワイトバランス制御信号S6に基づいて、ホワイトバランスアンプ9aのゲインの設定を変更することによりディジタル画像データ信号S4の１画像分の画像データに対してホワイトバランス調整を行っている。
【００３６】
動き検出回路11は、図１及び図３(a)、(b)に示すように、ディジタル画像データ信号S4によって得られた第１画像データ14bを順次記憶する第１画像メモリ11aと、この第１画像メモリ11aにおいて、先に記憶されていた第２画像データ14aを順次記憶する第２画像メモリ11bと、第１画像メモリ11aの第１画像データ14bと第２画像メモリ11bの第２画像データ14aとを比較する比較回路11cとから構成している。
【００３７】
比較回路11cによって、第２画像データ14aを基準として第１画像データ14bを比較することにより、第１画像データ14b中の被写体15aの動きの有無を検出することができ、この被写体15aの動き情報から、逆に第１画像データ14b中の静止画像データを検出することができる。
【００３８】
特に、比較回路11cでは、第１画像データ14b及び第２画像データ14aを複数のブロックに分割し、各ブロックでの画像データどうしを比較することにより被写体15aの動きの有無を検出する。
【００３９】
そして、被写体15aの動き(変化)がないブロックである静止ブロック15を検出し、この静止ブロック15の位置データの情報を位置データ信号S8としてマイクロコンピュータ12へ出力している。
【００４０】
検波回路10は、ディジタル画像データS4から色成分データ及び輝度成分データを順次検出して画像情報信号S9を生成してマイクロコンピュータ12へ出力する。
【００４１】
マイクロコンピュータ12は、検波回路10から入力された画像情報信号S9と、動き検出回路11から入力された位置データ信号S8とを用いて静止ブロック15部分の色成分データを検出し、この色成分データから光源の分光特性の値を演算している。
【００４２】
このとき、位置データ信号S8を用いずに画像情報信号S9のみを用いて分光特性を演算した場合には、１画像全体の分光特性の値を演算することができる。
【００４３】
また、マイクロコンピュータ12は、検波回路10から入力された画像情報信号S9に基づいて撮像素子５の露光時間を演算し、この演算結果から撮像素子５の露光制御を行うための制御信号S10を生成して同期信号生成回路13へ出力するとともに、演算した露光時間に応じてホワイトバランス調整を開始する閾値からなる色成分領域である不感帯領域16の設定を変更する。
【００４４】
また、不感帯領域の設定データは図２のフローチャートの制御に従う限りどこに設けられても良いが、本実施例である図１ではマイクロコンピュータ12またはホワイトバランス調整回路９に設けられる。
【００４５】
すなわち、図５に示すように、露光時間が比較的長い場合は、不感帯領域16の面積を比較的に広く設定しておき、露光時間が短くなるにつれて不感帯領域16の面積を徐々に狭く設定する。
【００４６】
そして、分光特性の値と不感帯領域16とに基づいてホワイトバランスアンプ9aのゲイン調整量を演算し、ホワイトバランス制御信号S6を生成し、このホワイトバランス制御信号S6をホワイトバランス調整回路９へ出力する。
【００４７】
同期信号発生回路13は、ホワイトバランス調整回路９から入力された画像クロック信号S5とマイクロコンピュータ12から入力された制御信号S10とに基づいて撮像部２の制御クロック信号S3を生成し、この制御クロック信号S3を撮像部２へ出力して、撮像部２と画像処理部３とを同期させている。
【００４８】
画像表示部4は、ＬＣＤ(Liquid Crystal Display)やＣＲＴ(Cathode Ray Tube)など既知の画像表示装置により構成し、画像処理部３から入力された表示用画像信号S7に基づいて画像の表示を行っている。
【００４９】
次に、本発明に係るホワイトバランス調整方法について図２に示すフローチャート及び図３、図４を参照しながら説明する。
【００５０】
まず、図２に示すように、撮像部２が撮影したアナログ画像データ信号S2を画像処理部３へ出力する。(ステップT1)。
【００５１】
画像処理部３では、このアナログ画像データ信号S2をＡＤＣ８によりディジタル画像データ信号S4に変換した後、このディジタル画像データ信号S4をホワイトバランス調整回路９に入力するとともに、このディジタル画像データ信号S4を検波回路10及び動き検出回路11に入力する。
【００５２】
動き検出回路11では、ディジタル画像データ信号S4から検出した画像データを第１画像メモリ11aと第２画像メモリ11bとに順次記憶し、比較回路11cにおいて、図３(a)、(b)に示すように第１画像メモリ11aの第１画像データ14bと第２画像メモリ11bの第２画像データ14aとをそれぞれ複数のブロックに分割して、各ブロックの画像データどうしを比較することにより、被写体15aの動き(変化)がない静止ブロック15を検出し、この静止ブロック15の位置データ信号S8を生成してマイクロコンピュータ12へ出力する。
【００５３】
また、検波回路10は、ディジタル画像データS4から色成分データ及び輝度成分データを順次検出して画像情報信号S9を生成し、この画像情報信号S9をマイクロコンピュータ12へ出力する(ステップT2)。
【００５４】
マイクロコンピュータ12は、検波回路10から入力された画像情報信号S9と、動き検出回路11から入力された位置データ信号S8とを用いて静止ブロック15部分の光源の分光特性の値を演算する(ステップT3)。
【００５５】
次に、マイクロコンピュータ12は、検波回路10から入力された画像情報信号S9をもとに撮像素子５の露光時間を演算する(ステップT4)。
【００５６】
次に、撮像素子５の露光時間に応じて不感帯領域16の設定を行う。(図４及び図５参照。)
【００５７】
すなわち、図５に示すように、露光時間が比較的長い場合は、不感帯領域16の面積を比較的に広く設定しておき、露光時間が短くなるにつれて不感帯領域16の面積を徐々に狭く設定する(ステップT5)。
【００５８】
つまり、被写体を撮影する際には、露光時間が短いほどカラーローリング現象の発生率が高いので、露光時間が短くなるにつれて不感帯領域16を狭く設定することでホワイトバランス調整の感度を向上させて、カラーローリング現象による色調の周期的な変化にホワイトバランス調整が追従できるようにしている。
【００５９】
次に、静止ブロック15での光源の分光特性の値が、不感帯領域16の内側にあるか外側にあるかを判別する。
【００６０】
そして、図４に示すように、静止ブロック15での光源の分光特性の値が不感帯領域16の内側にある場合(図５中の17)、つまり、分光特性の値が比較的に均等である場合には、ホワイトバランス調整を終了する。
【００６１】
これに対して、静止ブロック15での分光特性の値が不感帯領域16の外側にある場合(図５中の18)、つまり、分光特性の値がある色側に偏っている場合には、ホワイトバランス調整を続行する(ステップT6)。
【００６２】
次に、ステップT4において、分光特性の値が不感帯領域16の外側にある場合には、静止ブロック15の画像情報信号S9をもとに静止ブロック15の内部で白色検出を行い、白色を検出できなければホワイトバランス調整を終了し、白色を検出できればホワイトバランス調整を続行する(ステップT7)。
【００６３】
次に、ステップT5で検出した白色部分の分光特性の値を不感帯領域16の内側へ移行させるための変化量を演算し、この変化量をもとにホワイトバランスアンプ9aのゲイン調整量を算出し、このゲイン調整量を含むホワイトバランス制御信号S6をホワイトバランス調整回路９へ出力する(ステップT8)。
【００６４】
次に、ホワイトバランス調整回路９は、ホワイトバランス制御信号S6をもとにホワイトバランスアンプ9aのゲイン設定を変更することでディジタル画像データS4にホワイトバランス調整を行って白色を決定するとともに、他の色に対してもこの白色を基準とした色調調整を行ってホワイトバランス調整を終了する(ステップT9)。
【図面の簡単な説明】
【００６５】
【図１】本発明に係るカラー撮像装置を示すブロック図である。
【図２】本発明に係る画像処理方法を示すフローチャートである。
【図３】静止ブロックを示す説明図である。
【図４】不感帯領域と光源の分光特性とを示す説明図である。
【図５】露光時間と不感帯領域の面積の関係を示す説明図である。
【図６】不感帯領域と光源の分光特性とを示す説明図である。
【符号の説明】
【００６６】
１  監視カメラ装置
２  撮像部
３  画像処理部
４  画像表示部
５  撮像素子
６  出力信号調整回路
６a ＡＧＣ
６b ＳＨ
８  ＡＤＣ
９  ホワイトバランス調整回路
９a ホワイトバランスアンプ
10  検波回路
11  動き検出回路
11a 第１画像メモリ
11b 第２画像メモリ
11c 比較回路
12  マイクロコンピュータ
13  同期信号発生回路
14a 第２画像データ
14b 第１画像データ
15a 被写体
15  静止ブロック
16  不感帯領域
【図１】
2005223898.tif 000003
【図２】
2005223898.tif 000004
【図３】
2005223898.tif 000005
【図４】
2005223898.tif 000006
【図５】
2005223898.tif 000007
【図６】
2005223898.tif 000008