(57)【要約】【課題】高精度なホワイトバランス調整を可能とする画像処理装置を提供すること。【解決手段】実施の形態の画像処理装置であるＤＳＰ３は、輪郭成分抽出回路５と、色判定回路１０と、積算回路１１と、ホワイトバランスゲイン算出回路１２と、偽色マスク信号生成回路２２と、を有する。色判定回路１０は、画素ごとの色判定を実施し、ホワイトバランスゲイン２１の算出のための積算対象とする画素を抽出する。偽色マスク信号生成回路２２は、輪郭成分抽出回路５からの輪郭成分信号１５を基にして、偽色成分画素の除外のための偽色画素マスク信号２３を生成する。また、ホワイトバランスゲイン算出回路１２は、偽色画素マスク信号２３により偽色成分画素が除外されて算出された積算値２０から、ホワイトバランスゲイン２１を算出する。【選択図】図１
2011239067.tif 000002
【特許請求の範囲】
【請求項１】
映像信号から映像の輪郭成分を抽出し、輪郭成分信号を生成する輪郭成分抽出手段と、
画素ごとの色判定を実施し、ホワイトバランスゲインの算出のための積算対象とする画素を抽出する色判定手段と、
前記色判定手段において前記積算対象として抽出された画素の信号レベルを積算する積算手段と、
前記積算手段において算出された積算値から前記ホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
前記輪郭成分抽出手段からの前記輪郭成分信号を基にして、偽色成分画素の除外のための偽色画素マスク信号を生成する偽色マスク信号生成手段と、を有し、
前記ホワイトバランスゲイン算出手段は、前記偽色画素マスク信号により前記偽色成分画素が除外されて算出された前記積算値から、前記ホワイトバランスゲインを算出することを特徴とする画像処理装置。
【請求項２】
前記色判定手段は、前記偽色画素マスク信号に応じて、前記偽色成分画素を除外して前記色判定を実施することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記積算手段は、前記色判定手段において前記積算対象として抽出された画素から、前記偽色画素マスク信号に応じて前記偽色成分画素を除外し、前記積算値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記偽色マスク信号生成手段は、前記輪郭成分について設定されたスレッシュレベルと前記輪郭成分信号との比較により、前記輪郭成分信号のレベルが前記スレッシュレベルから外れた画素を前記偽色成分画素であると判断することを特徴とする請求項１から３のいずれか一つに記載の画像処理装置。
【請求項５】
前記偽色マスク信号生成手段は、映像の垂直方向、水平方向、前記垂直方向及び前記水平方向に対して斜め方向、の各輪郭成分の少なくとも一つについての前記輪郭成分信号を基にして、前記偽色画素マスク信号を生成することを特徴とする請求項１から４のいずれか一つに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
従来、光源の持つ色温度に応じたホワイトバランス調整を行う撮像装置が普及している。ホワイトバランス調整がなされなければ、例えば、蛍光灯下の被写体は緑色を帯びた状態で撮影される場合や、白熱灯下の被写体は赤みを帯びた状態で撮影される場合がある。撮像装置は、ホワイトバランス調整により、被写体の白い部分が自然に近い白い状態で撮影されるようにする。オートホワイトバランス（Ａｕｔｏｍａｔｉｃ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ  ｃｏｎｔｒｏｌ（ＡＷＢ））システムは、自動的にホワイトバランスを調整するシステムである。
【０００３】
ＡＷＢシステムは、ホワイトバランス判定の対象とする色温度範囲を、色判定ゲートに設定する。本来無彩色であるが光源からの光によって色づいた範囲をホワイトバランス調整の対象とすることで、色判定ゲートは、光源の色温度によらず、本来無彩色である部分と有彩色である部分とを選別できる。ＡＷＢシステムは、色判定ゲートで選別された画素の信号レベルを１フレーム分積算し、選別された画素数で積算値を除算することで、そのフレームにおける１画素当たりの平均値を算出する。積算したデータが色差信号であった場合、ＡＷＢシステムは、色判定ゲートで選別された画素の信号レベルがゼロとなるようにホワイトバランスを調整する。
【０００４】
単板のイメージセンサを用いる撮像装置は、イメージセンサの構造上、被写体に本来存在しない色が現れる現象、いわゆる偽色を生じさせる場合がある。イメージセンサは、色そのものは識別しないため、カラーフィルタにより光の三原色（若しくはインクの三原色）を色分解して取り出している。色が正しく分離、認識がなされないことで、偽色が原理的に生じてしまうこととなる。偽色は、特に、被写体像の縁の部分、色の境界、明暗の境界等で生じ易くなる。偽色は、高い彩度である場合もあれば、無彩色に近く色判定ゲートで選別される色温度範囲に含まれてしまう場合もある。従って、従来のＡＷＢシステムでは、無彩色に近い偽色成分の画素がホワイトバランス調整の積算対象に含まれてしまうことで、ホワイトバランス調整の精度を低下させる場合があるという問題が生じる。特に、無彩色が少ない被写体を撮影した際には、積算対象とする画素のほとんどが偽色成分で占められることで、ホワイトバランスが理想的なポイントから大きくずれたポイントに調整される場合がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１０９４６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施形態は、高精度なホワイトバランス調整を可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施の形態の画像処理装置は、輪郭成分抽出手段と、色判定手段と、積算手段と、ホワイトバランスゲイン算出手段と、偽色マスク信号生成手段と、を有する。輪郭成分抽出手段は、映像信号から映像の輪郭成分を抽出し、輪郭成分信号を生成する。色判定手段は、画素ごとの色判定を実施し、ホワイトバランスゲインの算出のための積算対象とする画素を抽出する。積算手段は、前記色判定手段において前記積算対象として抽出された画素の信号レベルを積算する。ホワイトバランスゲイン算出手段は、前記積算手段において算出された積算値から前記ホワイトバランスゲインを算出する。偽色マスク信号生成手段は、前記輪郭成分抽出手段からの前記輪郭成分信号を基にして、偽色成分画素の除外のための偽色画素マスク信号を生成する。また、前記ホワイトバランスゲイン算出手段は、前記偽色画素マスク信号により前記偽色成分画素が除外されて算出された前記積算値から、前記ホワイトバランスゲインを算出する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施の形態に係る画像処理装置を備える撮像装置の構成を示すブロック図。
【図２】第２の実施の形態に係る画像処理装置を備える撮像装置の構成を示すブロック図。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、本発明の実施の形態に係る画像処理装置を詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。
【００１０】
（第１の実施の形態）
図１は、第１の実施の形態に係る画像処理装置を備える撮像装置の構成を示すブロック図である。撮像装置は、レンズユニット１、イメージセンサ２、画像処理装置であるＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）３を有する。
【００１１】
レンズユニット１は、光学レンズ、ＩＲカットフィルタ等を有する。光学レンズは、被写体からの光を取り込み、イメージセンサ２に結像させる。ＩＲカットフィルタは、入射した光から赤外光を除去する。イメージセンサ２は、レンズユニット１によって取り込まれた光１３を信号電荷に変換することにより、被写体像を撮像する。
【００１２】
イメージセンサ２には、例えば、赤色（Ｒ）用、緑色（Ｇ）用、青色（Ｂ）用のカラーフィルタがベイヤー配列をなして設けられている。イメージセンサ２は、Ｒ、Ｇ、Ｂの信号をベイヤー配列に対応する順序で画素ごとに取り込むことにより、映像信号（ＲＡＷデータ）１４を生成する。
【００１３】
ＤＳＰ３は、ラインメモリ４、輪郭成分抽出回路（輪郭成分抽出手段）５、色分離同時化回路６、ホワイトバランス調整回路７、輪郭付加回路８及びＡＷＢシステム９を有する。ラインメモリ４は、イメージセンサ２から順次伝達されてくる映像信号（ＲＡＷデータ）を一時的に格納する。
【００１４】
輪郭成分抽出回路５は、ラインメモリ４から適宜読み出された映像信号から映像の輪郭成分を抽出し、輪郭成分信号１５を生成する。輪郭成分抽出回路５は、映像の垂直方向についての垂直輪郭成分、水平方向についての水平輪郭成分、垂直方向及び水平方向に対して斜め方向の斜め輪郭成分を抽出し、輪郭成分信号１５を生成する。
【００１５】
色分離同時化回路６は、ラインメモリ４に格納された映像信号を適宜読み出し、色分離同時化処理を実行する。色分離同時化回路６は、色分離同時化処理により、各画素のＲ、Ｇ、Ｂ成分のレベルを計算し、ＲＧＢ映像信号１６を生成する。ホワイトバランス調整回路７は、色分離同時化回路６からのＲＧＢ映像信号１６にホワイトバランスゲイン２１を乗算することで、ホワイトバランス調整を実施する。ホワイトバランス調整回路７は、ホワイトバランス調整により、ホワイトバランス調整後映像信号１７を生成する。輪郭付加回路８は、輪郭成分信号１５による輪郭付加処理をホワイトバランス調整後映像信号１７に施し、出力映像信号１８を生成する。
【００１６】
ＡＷＢシステム９は、色判定回路（色判定手段）１０、積算回路（積算手段）１１、ホワイトバランスゲイン算出回路（ホワイトバランスゲイン算出手段）１２および偽色マスク信号生成回路（偽色マスク信号生成手段）２２を有する。色判定回路１０は、色分離同時化回路６からのＲＧＢ映像信号１６を基に、画素ごとの色判定を実施する。色判定回路１０は、ホワイトバランス判定の対象である色温度範囲に入る画素を、ホワイトバランスゲインの算出のための積算対象として抽出し、積算対象画素信号１９を生成する。
【００１７】
偽色マスク信号生成回路２２は、輪郭成分抽出回路５からの輪郭成分信号１５を基にして、偽色成分画素の除外のための偽色画素マスク信号２３を生成する。偽色マスク信号生成回路２２は、輪郭成分について予め設定されたスレッシュレベル（閾値）と輪郭成分信号１５とを比較し、輪郭成分信号１５のレベルがスレッシュレベルから外れた画素を偽色成分画素であると判断する。偽色成分は、映像のうち偽色が発生し易い部分、例えば、被写体の縁の部分、色の境界、明暗の境界などとする。
【００１８】
スレッシュレベルは、映像の垂直方向成分、水平方向成分、斜め方向成分のそれぞれについて調整可能とされる。偽色マスク信号生成回路２２は、映像の垂直方向、水平方向、斜め方向の各輪郭成分についての輪郭成分信号１５を基にして、偽色画素マスク信号２３を生成する。
【００１９】
スレッシュレベルは、例えばレジスタによって設定されることとし、外部からの操作によって適宜調整される。スレッシュレベルの調整は、製造時、使用時のいずれに実施するものとしても良い。なお、垂直方向及び水平方向については、垂直方向の輪郭成分と水平方向の輪郭成分とを加算したものに対してスレッシュレベルを設定することとし、垂直方向及び水平方向について同時に偽色成分か否かの判定を可能としても良い。
【００２０】
スレッシュレベルは、垂直方向成分、水平方向成分、斜め方向成分の少なくとも一つが調整可能であれば良い。スレッシュレベルは、自由に調整可能とする他、固定値としても良い。偽色マスク信号生成回路２２は、垂直方向、水平方向、斜め方向の各輪郭成分の少なくとも一つについての輪郭成分信号１５を基にして、偽色画素マスク信号２３を生成するものであれば良い。
【００２１】
色判定回路１０は、偽色マスク信号生成回路２２からの偽色画素マスク信号２３に応じて、偽色成分画素を除外して色判定を実施する。これにより、色判定回路１０は、偽色成分画素のうち、ホワイトバランス判定の対象となる色温度範囲に入る画素を、積算対象とする画素から除外する。積算回路１１は、色判定回路１０からの積算対象画素信号１９を基に、ホワイトバランス調整後映像信号１７のうち積算対象に該当する画素の信号レベルを積算する。積算回路１１は、積算対象に該当する画素の信号レベルを１フレーム分積算した積算値２０を算出する。
【００２２】
ホワイトバランスゲイン算出回路１２は、積算回路１１において算出された積算値２０からホワイトバランスゲイン２１を算出する。以上により、ホワイトバランスゲイン算出回路１２は、偽色画素マスク信号２３により偽色成分画素が除外されて算出された積算値２０から、ホワイトバランスゲイン２１を算出する。ＤＳＰ３は、ホワイトバランスゲイン算出回路１２で算出したホワイトバランスゲイン２１を、次のフレームのＲＧＢ映像信号１６に反映させる。
【００２３】
ＤＳＰ３は、輪郭成分を基にして、偽色が発生し易い部分をホワイトバランス判定対象から除去する比較的簡単な処理により、ホワイトバランス調整の精度が向上する。ＤＳＰ３は、一般的に備えられる輪郭成分抽出回路５で輪郭成分を抽出し、輪郭成分を基にして偽色画素マスク信号２３を生成する構成を採用することで、回路規模を殆ど増大させず、容易にＡＷＢの性能を向上させることが可能である。例えば、ＲＧＢ映像信号１６と偽色画素マスク信号２３とが同程度のタイミングとなる場合は、色判定回路１０において偽色成分画素の除外を実施することで、色判定回路１０での遅延差の調整を不要にできる。
【００２４】
（第２の実施の形態）
図２は、第２の実施の形態に係る画像処理装置を備える撮像装置の構成を示すブロック図である。本実施の形態は、積算回路１１は、偽色画素マスク信号２３に応じて偽色成分画素を除外することを特徴とする。第１の実施の形態と同一の部分は同一の符号を付し、重複する説明を省略する。
【００２５】
色判定回路１０は、偽色成分画素のうちホワイトバランス判定の対象となる色温度範囲に入る画素が、積算対象から除外される前の積算対象画素信号１９’を生成する。積算回路１１は、積算対象画素信号１９’において積算対象とされている画素から、偽色画素マスク信号２３に応じて偽色成分画素を除外して、積算値２０を算出する。
【００２６】
これにより、ホワイトバランスゲイン算出回路１２は、偽色画素マスク信号２３により偽色成分画素が除外されて算出された積算値２０から、ホワイトバランスゲイン２１を算出する。本実施の形態のＤＳＰ３も、ホワイトバランス調整の精度を向上させることができる。例えば、ＲＧＢ映像信号１６に対して偽色画素マスク信号２３に遅延が生じる場合は、偽色成分画素の除去より先に色判定回路１０での色判定処理を実施することで、積算回路１１において、積算対象画素信号１９’に対する偽色画素マスク信号２３の遅延差を低減でき、ＤＳＰ３全体の処理速度を上げることを可能とする。
【００２７】
このように、第１及び第２の実施の形態によれば、高精度なホワイトバランス調整が可能になるという効果を奏する。
【符号の説明】
【００２８】
３  ＤＳＰ、５  輪郭成分抽出回路、１０  色判定回路、１１  積算回路、１２  ホワイトバランスゲイン算出回路、１４  映像信号（ＲＡＷデータ）、１５  輪郭成分信号、２０  積算値、２１  ホワイトバランスゲイン、２２  偽色マスク信号生成回路、２３  偽色画素マスク信号。
【図１】
2011239067.tif 000003
【図２】
2011239067.tif 000004