(57)【要約】【課題】  カラーローリング現象を抑制しつつ、被写体の動きに追従することなく、光源の分光特性が変化したときにだけ画像データに対して最適なホワイトバランス調整を実行することができる画像処理方法及び同方法によりホワイトバランス調整を行う撮像装置を提供する。【解決手段】  連続して撮影した画像データに対してホワイトバランス調整を行う画像処理方法において、撮影した画像データのうち被写体の動きがない部分の画像データに基づいて画像データのホワイトバランス調整を行うことにした。  また、ホワイトバランス調整を行う画像処理手段を有する撮像装置において、画像処理手段は、撮影した画像データのうち被写体の動きがない部分の画像データに基づいて画像データのホワイトバランス調整を行うことにした。【選択図】図２
2005198159.tif 000002
【特許請求の範囲】
【請求項１】
連続して撮影した画像データに対してホワイトバランス調整を行う画像処理方法において、
撮影した前記画像データのうち被写体の動きがない部分の画像データに基づいて前記画像データのホワイトバランス調整を行うことを特徴とする画像処理方法。
【請求項２】
連続して撮影した画像データに対してホワイトバランス調整を行う画像処理方法において、
前記画像データを複数のブロックに分割し、各ブロック毎に被写体の動きの有無を検出し、前記被写体の動きのないブロックの画像データに基づいて前記画像データのホワイトバランス調整を行うことを特徴とする画像処理方法。
【請求項３】
ホワイトバランス調整を行う画像処理手段を有する撮像装置において、
前記画像処理手段は、撮影した画像データのうち被写体の動きがない部分の画像データに基づいて前記画像データのホワイトバランス調整を行うことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法及び画像処理手段を有する撮像装置に関するものである。
【背景技術】
【０００２】
従来より、ディジタルカメラやビデオカメラなどの撮像装置は、被写体を撮影する際に、光源の種類に応じてその分光特性(赤、緑、青からなる3原色の色成分の比)の値を自動的に調整して白色を決定する(以下、「ホワイトバランス調整」という。)画像処理手段を有していた（たとえば、特許文献１参照。）。
【０００３】
この画像処理手段を有する撮像装置は、一般に、撮影時に光源の種類が変化した場合にホワイトバランス調整を行うが、同一の光源のもとで撮影する場合であってもホワイトバランス調整を行うことがあった。
【０００４】
すなわち、蛍光灯などのように周期的に明滅する光源のもとで被写体を撮影した場合には、光源の明滅周期と、撮像装置のサンプリング周期が異なることに起因して、画像の色調が周期的に変化してしまうカラーローリング現象が発生することが知られており、このようなカラーローリング現象を抑制するためにホワイトバランス調整を行っていた。
【０００５】
そして、カラーローリング現象を抑制するためには、ホワイトバランス調整を実行する時間間隔を狭く設定するとともに、ホワイトバランス調整を行わない色調領域を狭く設定することによって、画像の色調が周期的に変化することに対してホワイトバランス調整の追従性を高くする必要があった。
【特許文献１】特開平8-186828号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが、従来の撮像装置のように、カラーローリング現象を抑制するために、ホワイトバランス調整を行わない色調領域を狭く設定することによって画像の色調が周期的に変化することに対するホワイトバランス調整の追従性を高めた場合には、撮影時に被写体の動き(変化)を光源の分光特性の変化として認識することによって、光源の分光特性に変化がないにもかかわらずホワイトバランス調整を行うおそれがあった。
【０００７】
具体的には、自然光などのように分光特性の変化がない光源のもとで撮影を行っている際に、撮影領域に人の顔などのコントラストの高い被写体が進入してきた場合に、撮像装置は、この被写体の動きを光源の分光特性の変化として認識してホワイトバランス調整を行ってしまうおそれがあった。
【０００８】
このように、撮像装置が被写体の動き(変化)を光源の分光特性の変化として認識してホワイトバランス調整を行うと、実際の被写体の色調と撮影した被写体の色調との間に色調のずれが生じるおそれがあった。
【課題を解決するための手段】
【０００９】
そこで、請求項1に係る本発明では、連続して撮影した画像データに対してホワイトバランス調整を行う画像処理方法において、撮影した画像データのうち被写体の動きがない部分の画像データに基づいて画像データのホワイトバランス調整を行うことにした。
【００１０】
また、請求項2に係る本発明では、連続して撮影した画像データに対してホワイトバランス調整を行う画像処理方法において、画像データを複数のブロックに分割し、各ブロック毎に被写体の動きの有無を検出し、被写体の動きのないブロックの画像データに基づいて画像データのホワイトバランス調整を行うことにした。
【００１１】
また、請求項3に係る本発明では、ホワイトバランス調整を行う画像処理手段を有する撮像装置において、画像処理手段は、撮影した画像データのうち被写体の動きがない部分の画像データに基づいて画像データのホワイトバランス調整を行うことにした。
【発明の効果】
【００１２】
そして、本発明では、以下に記載する効果を奏する。
【００１３】
請求項1に係る本発明では、連続して撮影した画像データに対してホワイトバランス調整を行う画像処理方法において、撮影した画像データのうち被写体の動きがない部分の画像データに基づいて画像データのホワイトバランス調整を行うことにしたため、カラーローリング現象を抑制しつつ、被写体の動きに追従することなく、光源の分光特性が変化したときにだけ画像データに対して最適なホワイトバランス調整を実行することができる。
【００１４】
また、請求項2に係る本発明では、連続して撮影した画像データに対してホワイトバランス調整を行う画像処理方法において、画像データを複数のブロックに分割し、各ブロック毎に被写体の動きの有無を検出し、被写体の動きのないブロックの画像データに基づいて画像データのホワイトバランス調整を行うことにしたため、被写体の動きがないブロックの画像データには、光源の分光特性の変化だけが現れるので、カラーローリング現象を抑制しつつ、被写体の動きに追従することなく、光源の分光特性が変化したときにだけ画像データに対して最適なホワイトバランス調整を実行することができる。
【００１５】
また、請求項3に係る本発明では、ホワイトバランス調整を行う画像処理手段を有する撮像装置において、画像処理手段は、撮影した画像データのうち被写体の動きがない部分の画像データに基づいて画像データのホワイトバランス調整を行うこととしたため、カラーローリング現象を抑制しつつ、被写体の動きに追従することなく、光源の分光特性が変化したときにだけ画像データに対して最適なホワイトバランス調整を実行する撮像装置とすることができる。
【発明を実施するための最良の形態】
【００１６】
本発明にかかる撮像装置は、ホワイトバランス調整を行う画像処理手段を有する撮像装置であって、特に、画像処理手段は、撮影した画像データのうち被写体の動きがない部分の画像データに基づいて画像データのホワイトバランス調整を行うことによりカラーローリング現象を抑制しつつ、被写体の動きに追従することなく、光源の分光特性が変化したときにだけ画像データに対して最適なホワイトバランス調整を行うようにしている。
【００１７】
また、本発明に係る画像処理方法は、連続して撮影した画像データに対してホワイトバランス調整を行う画像処理方法であって、撮影した画像データのうち被写体の動きがない部分の画像データに基づいて画像データのホワイトバランス調整を行っているものであり、カラーローリング現象を抑制しつつ、被写体の動きに追従することなく、光源の分光特性が変化したときにだけ画像データに対して最適なホワイトバランス調整を行うことができる。
【００１８】
特に、画像データから被写体の動きのない部分を検出する際には、画像処理手段内部のメモリに、画像データを1画像分ずつ順次記憶させ、このメモリに記憶させた画像データを複数のブロックに分割し、各ブロック毎に画像データを比較することで被写体の動きの有無を検出するようにしている。
【００１９】
そして、被写体の動きのないブロックの画像データのみを用いて画像データに対してホワイトバランス調整を行うようにしている。
【００２０】
そのため、被写体の動きがないブロックの画像データには、光源の分光特性の変化だけが現れるので、カラーローリング現象を抑制しつつ、被写体の動きに追従することなく、光源の分光特性が変化したときにだけ画像データに対して最適なホワイトバランス調整を実行することができる。
【００２１】
また、カラーローリング現象は、被写体を撮影する際の露光時間が短いほど発生しやすいため、露光時間に応じてホワイトバランス調整を行わない色調領域の範囲を変更するようにしている。
【００２２】
そして、ホワイトバランス調整を行わない色調領域の範囲は、露光時間が短くなるにつれて徐々に狭くするようにしており、さらに全色調領域のうちで、黄色成分及び青色成分の色調領域に関してのみ変更するようにしている。
【００２３】
これにより、被写体の動きに対する追従性を抑制しながら、より一層カラーローリング現象を抑制するホワイトバランス調整を行うことができる。
【００２４】
以下に、本発明に係る撮像装置について、図面を参照しながら具体的に説明する。
【００２５】
特に、以下においては、撮像装置は、監視カメラ装置として説明するが、監視カメラ装置に限定するものではなく、ホワイトバランス制御を行う撮像装置に対して適用することができる。
【００２６】
監視カメラ装置1は、図1に示すように、映像を撮影する撮像部2と、この撮像部2で撮影した画像を処理する画像処理部3と、この画像処理部3で処理した画像を表示する画像表示部4とで構成している。
【００２７】
撮像部2は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの光信号S1光電変換する撮像素子5と、この撮像素子5の出力信号を調整する出力信号調整回路6とから構成している。尚、本実施の形態では、撮像素子5としてCCDやCMOSを例に挙げているが、これらに限定されるものではない。
【００２８】
出力信号調整回路6は、具体的には、AGC(Auto Gain Control)6a及びSH(Sample Hold)6b等から構成している。
【００２９】
画像処理部3は、撮像部2から入力されたアナログ画像データ信号S2をディジタルの画像信号であるディジタル画像データ信号S4に変換するADC(Analog Digital Converter)8と、このADC8で変換したディジタル画像データ信号S4に対してホワイトバランス調整を行って表示用画像信号S7を出力するホワイトバランス調整回路9と、ディジタル画像データ信号S4に基づいて露光制御に必要な輝度成分データ及び色成分データ等の画像情報信号S9を出力する検波回路10と、ディジタル画像データ信号S4に基づいて被写体の動きを検出する動き検出回路11と、ホワイトバランス調整回路9を制御しているマイクロコンピュータ12とから構成している。
【００３０】
さらに、画像処理部3には同期信号発生回路13を設けこの同期信号発生回路13で生成した同期信号S3を撮像部2に入力して撮像部2と画像処理部3とを同期させている。
【００３１】
ホワイトバランス調整回路9には、ADC8から入力された入力信号を増幅又は減衰させる可変ゲインのアンプであるホワイトバランスアンプ9aを設け、マイクロコンピュータ12から入力されたホワイトバランス制御信号S6に基づいて、ホワイトバランスアンプ9aのゲインの設定を変更することによりディジタル画像データ信号S4の1画像分の画像データに対してホワイトバランス調整を行っている。
【００３２】
動き検出回路11は、図1及び図3(a)、(b)に示すように、ディジタル画像データ信号S4によって得られた第1画像データ14bを順次記憶する第1画像メモリ11aと、この第1画像メモリ11aにおいて、先に記憶されていた第2画像データ14aを順次記憶する第2画像メモリ11bと、第1画像メモリ11aの第1画像データ14bと第2画像メモリ11bの第2画像データ14aとを比較する比較回路11cとから構成している。
【００３３】
比較回路11cによって、第2画像データ14aを基準として第1画像データ14bを比較することにより、第1画像データ14b中の被写体15aの動きの有無を検出することができ、この被写体15aの動き情報から、逆に第1画像データ14b中の静止画像データを検出することができる。
【００３４】
特に、比較回路11cでは、第1画像データ14b及び第2画像データ14aを複数のブロックに分割し、各ブロックでの画像データどうしを比較することにより被写体15aの動きの有無を検出する。
【００３５】
そして、被写体15aの動き(変化)がないブロックである静止ブロック15を検出し、この静止ブロック15の位置データの情報を位置データ信号S8としてマイクロコンピュータ12へ出力している。
【００３６】
検波回路10は、ディジタル画像データS4から色成分データ及び輝度成分データを順次検出して画像情報信号S9を生成してマイクロコンピュータ12へ出力する
マイクロコンピュータ12は、検波回路10から入力された画像情報信号S9と、動き検出回路11から入力された位置データ信号S8とを用いて静止ブロック15部分の色成分データを検出し、この色成分データから光源の分光特性の値を演算している。
【００３７】
このとき、位置データ信号S8を用いずに画像情報信号S9のみを用いて分光特性を演算した場合には、1画像全体の分光特性の値を演算することができる。
【００３８】
また、マイクロコンピュータ12は、検波回路10から入力された画像情報信号S9に基づいて撮像素子5の露光時間を演算し、この演算結果から撮像素子5の露光制御を行うための制御信号S10を生成して同期信号生成回路13へ出力するとともに、演算した露光時間に応じてホワイトバランス調整を行わない色調領域である不感帯領域16の設定を変更する(図4参照)。
【００３９】
すなわち、図5に示すように、露光時間が比較的長い場合は、不感帯領域16の面積を比較的に広く設定しておき、露光時間が短くなるにつれて不感帯領域16の面積を徐々に狭く設定する。
【００４０】
そして、分光特性の値と不感帯領域16とに基づいてホワイトバランスアンプ9aのゲイン調整量を演算し、ホワイトバランス制御信号S6を生成し、このホワイトバランス制御信号S6をホワイトバランス調整回路9へ出力する。
【００４１】
同期信号発生回路13は、ホワイトバランス調整回路9から入力された画像クロック信号S5とマイクロコンピュータ12から入力された制御信号S10とに基づいて撮像部2の制御クロック信号S3を生成し、この制御クロック信号S3を撮像部2へ出力して、撮像部2と画像処理部3とを同期させている。
【００４２】
画像表示部4は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)など既知の画像表示装置により構成し、画像処理部3から入力された表示用画像信号S7に基づいて画像の表示を行っている。
【００４３】
次に、本発明に係るホワイトバランス調整方法について図2に示すフローチャート及び図3,4を参照しながら説明する。
【００４４】
まず、図2に示すように、撮像部2が撮影したアナログ画像データ信号S2を画像処理部3へ出力する(ステップT1)。
【００４５】
画像処理部3では、このアナログ画像データ信号S2をADC8によりディジタル画像データ信号S4に変換した後、このディジタル画像データ信号S4をホワイトバランス調整回路9に入力するとともに、このディジタル画像データ信号S4を検波回路10及び動き検出回路11に入力する。
【００４６】
動き検出回路11では、ディジタル画像データ信号S4から検出した画像データを第1画像メモリ11aと第2画像メモリ11bとに順次記憶し、比較回路11cにおいて、図3(a)，(b)に示すように第1画像メモリ11aの第1画像データ14bと第2画像メモリ11bの第2画像データ14aとをそれぞれ複数のブロックに分割して、各ブロックの画像データどうしを比較することにより、被写体15aの動き(変化)がない静止ブロック15を検出し、この静止ブロック15の位置データ信号S8を生成してマイクロコンピュータ12へ出力する。
【００４７】
また、検波回路10は、ディジタル画像データS4から色成分データ及び輝度成分データを順次検出して画像情報信号S9を生成し、この画像情報信号S9をマイクロコンピュータ12へ出力する(ステップT2)。
【００４８】
マイクロコンピュータ12は、検波回路10から入力された画像情報信号S9と、動き検出回路11から入力された位置データ信号S8とを用いて静止ブロック15部分の光源の分光特性の値を演算する(ステップT3)。
【００４９】
次に、マイクロコンピュータ12は、検波回路10から入力された画像情報信号S9をもとに撮像素子5の露光時間を演算する(ステップT4)。
【００５０】
次に、撮像素子5の露光時間に応じて不感帯領域16の設定を行う。(図4，5参照。)
すなわち、図5に示すように、露光時間が比較的長い場合は、不感帯領域16の面積を比較的に広く設定しておき、露光時間が短くなるにつれて不感帯領域16の面積を徐々に狭く設定する(ステップT5)。
【００５１】
つまり、被写体を撮影する際には、露光時間が短いほどカラーローリング現象の発生率が高いので、露光時間が短くなるにつれて不感帯領域16を狭く設定することでホワイトバランス調整の感度を向上させて、カラーローリング現象による色調の周期的な変化にホワイトバランス調整が追従できるようにしている。
【００５２】
次に、静止ブロック15での光源の分光特性の値が、不感帯領域16の内側にあるか外側にあるかを判別する。
【００５３】
そして、図4に示すように、静止ブロック15での光源の分光特性の値が不感帯領域16の内側にある場合(図5中の17)、つまり、分光特性の値が比較的に均等である場合には、ホワイトバランス調整を終了する。
【００５４】
これに対して、静止ブロック15での分光特性の値が不感帯領域16の外側にある場合(図5中の18)、つまり、分光特性の値がある色側に偏っている場合には、ホワイトバランス調整を続行する(ステップT6)。
【００５５】
次に、ステップT4において、分光特性の値が不感帯領域16の外側にある場合には、静止ブロック15の画像情報信号S9をもとに静止ブロック15の内部で白色検出を行い、白色を検出できなければホワイトバランス調整を終了し、白色を検出できればホワイトバランス調整を続行する(ステップT7)。
【００５６】
次に、ステップT5で検出した白色部分の分光特性の値を不感帯領域16の内側へ移行させるための変化量を演算し、この変化量をもとにホワイトバランスアンプ9aのゲイン調整量を算出し、このゲイン調整量を含むホワイトバランス制御信号S6をホワイトバランス調整回路9へ出力する(ステップT8)。
【００５７】
次に、ホワイトバランス調整回路9は、ホワイトバランス制御信号S6をもとにホワイトバランスアンプ9aのゲイン設定を変更することでディジタル画像データS4にホワイトバランス調整を行って白色を決定するとともに、他の色に対してもこの白色を基準とした色調調整を行ってホワイトバランス調整を終了する(ステップT9)。
【図面の簡単な説明】
【００５８】
【図１】本発明に係る撮像装置を示すブロック図である。
【図２】本発明に係る画像処理方法を示すフローチャートである。
【図３】静止ブロックを示す説明図である。
【図４】不感帯領域と光源の分光特性とを示す説明図である。
【図５】露光時間と不感帯領域の面積の関係を示す説明図である。
【符号の説明】
【００５９】
１  監視カメラ装置
２  撮像部
３  画像処理部
４  画像表示部
５  撮像素子
６  出力信号調整回路
６a  AGC
６b  SH
８  ADC
９  調整回路
９a  ホワイトバランスアンプ
１０  検波回路
１１  動き検出回路
１１a  第1画像メモリ
１１b  第2画像メモリ
１１c  比較回路
１２  マイクロコンピュータ
１３  同期信号発生回路
１４a  第2画像データ
１４b  第1画像データ
１５a  被写体
１５  静止ブロック
１６  不感帯領域
【図１】
2005198159.tif 000003
【図２】
2005198159.tif 000004
【図３】
2005198159.tif 000005
【図４】
2005198159.tif 000006
【図５】
2005198159.tif 000007