(57)【要約】  【課題】  原画像に対して、その輝度をダイナミックレンジ内で平滑化するとともに、画像のボケを抑えて、認識処理などにも適した画像に補正できる輝度補正装置を提供する。  【解決手段】  輝度補正装置１は、原画像を取得する画像取得部１２と、画像取得部１２にて取得した原画像に、輝度平滑化処理を施して、輝度平滑化処理画像を生成するシングルスケールレチネックス処理部１３と、輝度平滑化処理画像を用いて、画像を鮮鋭化するための強調画像を生成する強調画像生成部１４とを備え、画像合成部１５にて輝度平滑化処理画像と強調画像とを合成することにより、輝度補正された画像を生成する。【選択図】  図１
2005182232.tif 000002
【特許請求の範囲】
【請求項１】
原画像を取得する画像取得手段と、
前記画像取得手段にて取得した原画像から輝度平滑化処理画像を生成する輝度平滑化手段と、
前記輝度平滑化処理画像の生成過程で生成されたボケ画像を用いて、画像鮮鋭化のための強調画像を生成する強調画像生成手段と、
前記輝度平滑化処理画像と前記強調画像とを合成して合成画像を生成する画像合成手段と
を備えたことを特徴とする輝度補正装置。
【請求項２】
前記画像取得手段にて取得した原画像を色画像と輝度画像とに分離する分離手段と、
前記合成画像と前記色画像とを合成する色合成手段とを備え、
前記輝度平滑化手段は、前記輝度画像の輝度を平滑化して前記輝度平滑化処理画像を生成することを特徴とする請求項１に記載の輝度補正装置。
【請求項３】
前記輝度平滑化手段は、シングルスケールレチネックス処理またはマルチスケールレチネックス処理によって前記輝度平滑化処理画像を生成すること特徴とする請求項１または２に記載の輝度補正装置。
【請求項４】
原画像を取得する画像取得ステップと、
前記画像取得ステップにて取得した原画像から輝度平滑化処理画像を生成する輝度平滑化ステップと、
前記輝度平滑化画像の生成過程で生成されたボケ画像を用いて、画像鮮鋭化のための強調画像を生成する強調画像生成ステップと、
前記輝度平滑化処理画像と前記強調画像とを合成して合成画像を生成する画像合成ステップと
を含むことを特徴とする輝度補正方法。
【請求項５】
前記画像取得ステップにて取得した原画像を色画像と輝度画像とに分離する分離ステップと、
前記合成画像と前記色画像とを合成する色合成ステップとを含み、
前記輝度平滑化ステップでは、前記輝度画像の輝度を平滑化して前記輝度平滑化処理画像を生成することを特徴とする請求項４に記載の輝度補正方法。
【請求項６】
原画像を取得する画像取得ステップと、
前記画像取得ステップにて取得した原画像から輝度平滑化処理画像を生成する輝度平滑化ステップと、
前記輝度平滑化画像の生成過程で生成されたボケ画像を用いて、画像鮮鋭化のための強調画像を生成する強調画像生成ステップと、
前記輝度平滑化処理画像と前記強調画像とを合成して合成画像を生成する画像合成ステップと
を含むことを特徴とする輝度補正方法をコンピュータに実行させるためのプログラム。
【請求項７】
前記画像取得ステップにて取得した原画像を色画像と輝度画像とに分離する分離ステップと、
前記合成画像と前記色画像とを合成する色合成ステップとを含み、
前記輝度平滑化ステップでは、前記輝度画像の輝度を平滑化して前記輝度平滑化処理画像を生成することを特徴とする請求項６に記載の輝度補正方法をコンピュータに実行させるためのプログラム。
【請求項８】
請求項６または７に記載のプログラムを記録した、コンピュータにて読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラなどで得られた原画像が、極端に暗い画像、極端に明るい画像、または部分的な影をもつ画像である場合に、それらの原画像を見やすい画像に補正するための輝度補正技術に関する。
【背景技術】
【０００２】
カメラで被写体を撮影すると、被写体の明るさによって、極端に暗い画像や極端に明るい画像が生成されることがある。また、部分的に影になっている画像が生成されることもある。これらの画像では、画素値がダイナミックレンジ内で特定のレベルに偏っており、見にくい画像になっている。
【０００３】
従来より、ダイナミックレンジ内で輝度を平滑化するための輝度平滑化処理を含む輝度補正処理が知られている。輝度平滑化処理としては、例えば、シングルスケールレチネックス法（例えば非特許文献１参照）およびマルチスケールレチネックス法（例えば非特許文献２参照）がある。
【０００４】
これらの輝度補正処理では、画像に対して、輝度値が低くて暗い部分の輝度値を高くし、輝度値が高くて明るい部分の輝度値を低くすることにより、画像を見やすくしている。
【非特許文献１】ダニエル・ジェー・ジョブソン（Daniel J. Jobson）、他２名，「プロパティズ アンド パフォーマンス オブ センタ／サラウンド レチネックス（Properties and Performance of a Center/Surround Retinex）」，（米国），ＩＥＥＥ トランザクションズ オン イメージ プロセッシング（IEEE Transactions On Image Processing），１９９７年３月，Ｖｏｌ．６，Ｎｏ．３，ｐ．４５１−４６２
【非特許文献２】ダニエル・ジェー・ジョブソン（Daniel J. Jobson）、他２名，「ア マルチスケール レチネックス フォー ブリッジング ザ ギャップ ビトゥウィーン カラー イメージズ アンド ザ ヒューマン オブザべーション オブ シーンズ（A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes）」，（米国），ＩＥＥＥ トランザクションズ オン イメージ プロセッシング（IEEE Transactions On Image Processing），１９９７年７月，Ｖｏｌ．６，Ｎｏ．７，ｐ．９６５−９７６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、レチネックス処理のような輝度平滑化処理を原画像に施した場合、画像における低輝度部分では輝度値が高くされ、高輝度部分では輝度値が低くされる。このため、輝度平滑化処理によって得られる輝度平滑化処理画像では、原画像よりもダイナミックレンジが狭くなる。ダイナミックレンジが狭くなると、画像中の線分やエッジなどの特徴が小さくなってしまう。そのため、輝度平滑化処理画像は、原画像よりも、メリハリがなく、ボケた画像になってしまう。このようなボケた画像では、画像中の特徴を利用した認識処理などが困難になる。
【０００６】
そこで本発明は、画像をより見やすくするとともに、画像のボケを抑えることができる輝度補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の輝度補正装置は、原画像を取得する画像取得手段と、前記画像取得手段にて取得した原画像から輝度平滑化処理画像を生成する輝度平滑化手段と、前記輝度平滑化処理画像の生成過程で生成されたボケ画像を用いて、画像鮮鋭化のための強調画像を生成する強調画像生成手段と、前記輝度平滑化処理画像と前記強調画像とを合成して合成画像を生成する画像合成手段とを備えている。
【０００８】
この構成により、輝度平滑化処理によって原画像からメリハリのない輝度平滑化処理画像が生成されたとしても、その輝度平滑化処理画像と画像鮮鋭化のための強調画像とを合成するので、認識処理等にも適したメリハリのある輝度補正画像が得られる。また、輝度平滑化処理画像の生成過程で生成されたボケ画像を用いて強調画像を生成するので、強調画像の生成のためにわざわざボケ画像を生成する処理をする必要がなく、強調画像生成の処理負担が軽減される。
【０００９】
また、本発明の輝度補正装置は、前記画像取得手段にて取得した原画像を色画像と輝度画像とに分離する分離手段と、前記合成画像と前記色画像とを合成する色合成手段とを備えている。そして、前記輝度平滑化手段は、前記輝度画像の輝度を平滑化して前記輝度平滑化処理画像を生成する。
【００１０】
この構成により、カラーの原画像についても、認識処理等にも適したメリハリのある輝度補正画像が得られる。
【００１１】
また、本発明の輝度補正装置では、前記輝度平滑化手段が、シングルスケールレチネックス処理またはマルチスケールレチネックス処理によって前記輝度平滑化処理画像を生成する。
【００１２】
この構成により、シングルスケールレチネックス処理またはマルチスケールレチネックス処理に伴うボケの影響を好適に低減できる。
【００１３】
また、本発明の輝度補正方法は、原画像を取得する画像取得ステップと、前記画像取得ステップにて取得した原画像から輝度平滑化処理画像を生成する輝度平滑化ステップと、前記輝度平滑化画像の生成過程で生成されたボケ画像を用いて、画像鮮鋭化のための強調画像を生成する強調画像生成ステップと、前記輝度平滑化処理画像と前記強調画像とを合成して合成画像を生成する画像合成ステップとを含んでいる。
【００１４】
この構成により、輝度平滑化処理によって原画像からメリハリのない輝度平滑化処理画像が生成されたとしても、その輝度平滑化処理画像と画像鮮鋭化のための強調画像とを合成するので、認識処理等にも適したメリハリのある輝度補正画像が得られる。また、輝度平滑化処理画像の生成過程で生成されたボケ画像を用いて強調画像を生成するので、強調画像の生成のためにわざわざボケ画像を生成する処理をする必要がなく、強調画像生成の処理負担が軽減される。
【００１５】
また、本発明の輝度補正方法は、前記画像取得ステップにて取得した原画像を色画像と輝度画像とに分離する分離ステップと、前記合成画像と前記色画像とを合成する色合成ステップとを含んでいる。そして、前記輝度平滑化ステップでは、前記輝度画像の輝度を平滑化して前記輝度平滑化処理画像を生成する。
【００１６】
この構成により、カラーの原画像についても、認識処理等にも適したメリハリのある輝度補正画像が得られる。
【００１７】
また、本発明は、輝度補正装置および輝度補正方法の態様には限定されない。本発明の別の態様は、例えば、上記の輝度補正方法をコンピュータに実行させるためのプログラムであり、また例えば、そのプログラムを記録した記録媒体である。
【発明の効果】
【００１８】
本発明は、原画像から輝度平滑化処理画像を生成する輝度平滑化手段と、輝度平滑化処理画像の生成過程で生成されたボケ画像を用いて、画像鮮鋭化のための強調画像を生成する強調画像生成手段とを含み、輝度平滑化処理画像と強調画像とを合成する構成としたので、カメラでの撮像等によって得られた原画像に対して、その輝度をダイナミックレンジ内で平滑化するとともに、画像のボケを抑えて、認識処理などにも適した画像に補正できるという効果を有する輝度補正装置を提供することができる。
【発明を実施するための最良の形態】
【００１９】
（第１の実施の形態）
以下、本発明の第１の実施の形態について、図面を用いて説明する。
図１において、本発明の第１の実施の形態における輝度補正装置１は、画像取得部１２、シングルスケールレチネックス処理部１３、強調画像生成部１４および画像合成部１５を備えている。輝度補正装置１には、カメラ１１および画像出力装置１６が接続されている。
【００２０】
輝度補正装置１は、コンピュータで構成されている。輝度補正装置１が輝度補正用のプログラムを実行することにより、画像取得部１２、シングルスケールレチネックス処理部１３、強調画像生成部１４および画像合成部１５が構成され、以下に説明する輝度補正処理が実行される。なお、輝度補正装置１において、画像取得部１２、シングルスケールレチネックス処理部１３、強調画像生成部１４および画像合成部１５はハードウェアによって構成されてもよい。
【００２１】
カメラ１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Silicon）等の固定撮像素子を備えている。そして、カメラ１１は、固定撮像素子を用いて被写体像を撮像することにより画像信号を生成し、画像取得部１２に出力する。カメラ１１には、図示しないパン機構、チルト機構およびズーム機構が備えられている。カメラ１１は、例えば、屋外に監視用カメラとして設置され、または、自動車に設置される。
【００２２】
カメラ１１がモノクロ画像を撮影するカメラであるときは、輝度補正装置１の画像取得部１２は、カメラ１１から入力された原画像の画像信号をモノクロ画像の画像信号としてシングルスケールレチネックス処理部１３及び強調画像生成部１４へ出力する。カメラ１１がＲＧＢのフィルタを備えており、カラー画像を撮影するカメラであるときは、画像取得部１２は、カメラ１１から入力された原画像の画像信号をＲＧＢのフルカラー画像の画像信号として出力する。
【００２３】
シングルスケールレチネックス処理部１３は、画像取得部１２から入力された原画像に対してシングルスケールレチネックス処理を施す。原画像における注目画素（ｘ，ｙ）の画素値をＩｉ（ｘ，ｙ）とすると、レチネックス処理画像の画素値Ｒｉ（ｘ，ｙ）は、式（１）で表される。なお、ｉは画像の輝度成分を表している。
【数１】
2005182232.tif 000003
ここで、「＊」は畳み込み積分を表している。また、Ｇは、式（２）で表されるガウシアン関数である。
【数２】
2005182232.tif 000004
式（２）に含まれるＫは正規化のための定数である。また、δはガウス周辺関数の標準偏差であり、平滑化処理を行う際に用いる周辺領域の面積の大きさの度合いを表す。式（１）で示されるレチネックス処理画像は、本発明の輝度平滑化画像に相当する。
【００２４】
強調画像生成部１４は、画像鮮鋭化のための強調画像を生成する。強調画像は、画像取得部１２にて取得した原画像のエッジ部分が強調された画像である。原画像における注目画素（ｘ，ｙ）の画素値をＩｉ（ｘ，ｙ）とすると、強調画像生成部１４にて生成される強調画像の画素値Ｉ’ｉ（ｘ，ｙ）は式（３）で表される。
【数３】
2005182232.tif 000005
式（３）に示されるように、強調画像はＧ（ｘ，ｙ）＊Ｉｉ（ｘ，ｙ）（以下、ボケ画像という）と原画像Ｉｉ（ｘ，ｙ）の差分の絶対値を定数倍したものである。
【００２５】
ここで、式（３）にて強調画像の生成に用いるボケ画像Ｇ（ｘ，ｙ）＊Ｉｉ（ｘ，ｙ）は、式（１）で表されるシングルスケールレチネックス処理の過程で既に生成されている。そこで、強調画像生成部１４は、図１に示すように、式（３）によって強調画像を生成する際に、シングルスケールレチネックス処理部１３にて式（１）によって既に生成されたボケ画像Ｇ（ｘ，ｙ）＊Ｉｉ（ｘ，ｙ）を用いる。なお、式（３）の定数Ｂは、実験により得られた値であり、０．１〜０．５程度に設定するのが望ましい。
【００２６】
画像合成部１５は、シングルスケールレチネックス処理部１３の出力と強調画像生成部１４の出力、すなわち、レチネックス処理画像と強調画像とを合成する。この合成処理は、式（４）で表される。
【数４】
2005182232.tif 000006
ここで、Ｏｉ（ｘ，ｙ）は、合成画像の画素値であり、本実施の形態の輝度補正装置１における輝度補正の結果である。なお、式（４）の計算結果が値の上限を超えた場合には、クリッピング処理が施される。例えば、Ｏｉ（ｘ，ｙ）の取り得る範囲が、０〜２５５である場合に、ある画素についての式（４）の計算結果が２５５を超えたときは、その画素値は２５５とされる。
【００２７】
画像出力装置１６は、画像合成部１５で生成された合成画像を、モニタや後段の処理装置へ出力する。
【００２８】
以上のように構成された輝度補正装置１について、図２を用いてその動作を説明する。
まず、シングルスケールレチネックス処理部１３が、画像取得部１２にて取得された原画像に、シングルスケールレチネックス処理を施す（ステップＳ３１）。次に、強調画像生成部１４が、シングルスケールレチネックス処理の過程で生成されたボケ画像と画像取得部１２にて取得された原画像を用いて、エッジの強調された強調画像を生成する（ステップＳ３２）。そして、画像合成部１５が、強調画像とレチネックス処理画像を合成して、合成画像を生成する（ステップＳ３３）。
【００２９】
以上に説明した第１の実施の形態では、強調画像生成部１４にて生成される強調画像は、上記の通り、原画像におけるエッジ部分が強調された画像であるので、レチネックス処理画像がボケてしまっている場合にも、そのレチネックス処理画像に強調画像を合成することにより、エッジ部分が強調されて鮮鋭化された画像になる。したがって、第１の実施の形態の輝度補正装置１によれば、入力された原画像の輝度をダイナミックレンジ内で平滑化するとともに、認識処理等にも適したメリハリのある画像に補正できる。
【００３０】
また、第１の実施の形態の輝度補正装置１では、強調画像生成部１４にて画像鮮鋭化のための強調画像を生成するために用いるボケ画像として、既にレチネックス処理の過程で生成されたボケ画像を用いる。これにより、強調画像生成のためにわざわざボケ画像を生成する必要がなく、強調画像生成のための処理負担を軽減できる。
【００３１】
（第２の実施の形態）
次に、本発明の第２の実施の形態の画像補正装置２を図３に示す。
本実施の形態の輝度補正装置２は、第１の実施の形態の輝度補正装置１の構成に加えて、色情報分離部２３および色情報合成部２７を備えている。
【００３２】
カメラ２１は、ＲＧＢのフィルタを備えている。画像取得部２２は、カメラ１１の撮影によって生成された原画像の画像信号を取得して、ＲＧＢのフルカラー画像の画像信号として色情報分離部へ出力する。
【００３３】
色情報分離部２３は、入力された原画像から、色情報を抽出して色画像を生成し、また、原画像から輝度情報を抽出して輝度画像を生成する。色情報分離部２３において、フルカラー画像である原画像を色画像および輝度画像に分離する手法としては、公知の種々の手法を採用できる。本実施の形態では、色情報分離部２３は、ＨＳＶ空間を用いて、原画像をＨＳＶデータに変換する。そして、色情報分離部２３は、色情報として（Ｈ，Ｓ）を用い、輝度情報としてＶを用い、色画像および輝度画像を生成する。ＲＧＢデータからＨＳＶデータへの変換は以下の変換式を用いて行う。
【００３４】
Ｈ  ＝  ｔａｎ-1｛（Ｇ−Ｂ）／（２Ｒ−Ｇ−Ｂ）｝
Ｓ  ＝｛（Ｂ−Ｒ）2＋（Ｒ−Ｇ）2＋（Ｇ−Ｂ）2｝／３
Ｖ  ＝  Ｒ＋Ｇ＋Ｂ
ただし、Ｒ、Ｇ、Ｂは、それぞれ０から１に規格化されており、Ｖは０から３に、Ｈは０から２πに、Ｓは０から２／３に、それぞれ規格化されている。ＲＧＢデータからＨＳＶデータへの変換は、例えば、高木幹雄ら著，「画像解析ハンドブック」，東京大学出版会，ｐ．４８５−４９１（１９９１）にも記載されている。
【００３５】
画像分離の他の手法としては、ＨＳＶ空間の他にも、色情報と輝度情報が分離可能である別の色空間を用いることができる。例えば、式（５）で表されるＹＩＱ空間、または式（６）で表されるＹＣｒＣｖ空間を用いてもよい。
【数５】
2005182232.tif 000007
【数６】
2005182232.tif 000008
色画像は、色情報合成部２７に出力され、輝度画像は、シングルスケールレチネックス処理部２４および強調画像生成部２５に出力される。
【００３６】
シングルスケールレチネックス処理部２４は、色情報分離部２３から入力された輝度画像に対して、第１の実施の形態と同様にして、シングルスケールレチネックス処理を施す。強調画像生成部２５は、色情報分離部２３にて生成された輝度画像とシングルスケールレチネックス処理部２４にて生成されたボケ画像を用いて、第１の実施の形態と同様にして、エッジ部分が強調された強調画像を生成する。また、画像合成部２６も第１の実施の形態と同様にして、レチネックス処理画像と強調画像とを合成し、合成画像を生成する。
【００３７】
色情報合成部２７は、色情報分離部２３にて生成された色画像を取り込んで、この色画像と画像合成部２６にて生成された合成画像とを合成し、色合成画像を生成する。ここで、画像合成部２６にて生成された合成画像は、輝度情報のみを表す画像であって、一方、色情報分離部２３から出力された色画像は、画像取得部２２から出力された原画像の色情報のみを表す画像である。したがって、両画像を合成することにより生成される色合成画像は、輝度成分が補正されたカラーの画像である。
【００３８】
画像出力装置２８は、色情報合成部２７にて生成された色合成画像を取り込み、モニタや後段の処理装置へ出力する。
【００３９】
以上のように構成された輝度補正装置２について、図４を用いてその動作を説明する。
まず、色情報分離部２３が、画像取得部２２にて取得された原画像を色画像と輝度画像に分離する（ステップＳ４１）。そして、シングルスケールレチネックス処理部２４が、色情報分離部２３にて分離された輝度画像に、シングルスケールレチネックス処理を施す（ステップＳ４２）。次に、強調画像生成部２５が、そのシングルスケールレチネックス処理の過程で生成されたボケ画像と色情報分離部２３にて分離された輝度画像を用いて、エッジの強調された強調画像を生成する（ステップＳ４３）。次に、画像合成部２６が、強調画像とレチネックス処理画像を合成して、合成画像を生成する（ステップＳ４４）。最後に、色情報合成部２７が、色情報分離部２３にて分離された色画像と画像合成部２６にて生成された合成画像とを合成して、色合成画像を生成する（ステップＳ４５）。
【００４０】
このような第２の実施の形態の輝度補正装置２によれば、入力されたカラーの原画像の輝度成分のみを用いて、シングルスケールレチネックス処理、強調画像生成処理および合成処理を行うので、カラー画像についても、好適にダイナミックレンジ内で画素値が平滑化された見やすい画像に補正するとともに、認識処理等にも適したメリハリのある輝度補正画像が得られる。
【００４１】
なお、上記の第１および第２の実施の形態では、シングルスケールレチネックス処理部１３を設けて、原画像または原画像から分離された輝度画像にシングルスケールレチネックス処理を施したが、画像の輝度を平滑化する処理は、マルチスケールレチネックス処理でもよいし、他の輝度平滑化処理でもよい。
【産業上の利用可能性】
【００４２】
以上のように、本発明にかかる輝度補正装置は、原画像から輝度平滑化処理画像を生成する輝度平滑化手段と、輝度平滑化処理画像の生成過程で生成されたボケ画像を用いて、画像鮮鋭化のための強調画像を生成する強調画像生成手段とを含み、輝度平滑化処理画像と強調画像とを合成する構成としたので、カメラで撮像すること等によって得られた原画像に対して、その輝度をダイナミックレンジ内で平滑化するとともに、画像のボケを抑えて、認識処理などにも適した画像に補正できるという効果を有し、カメラなどで得られた原画像が、極端に暗い画像、極端に明るい画像、または部分的に影がある画像である場合に、それらの原画像を見やすい画像に補正するための輝度補正装置として有用である。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１の実施の形態における輝度補正装置のブロック図
【図２】本発明の第１の実施の形態における輝度補正装置の動作説明のためのフロー図
【図３】本発明の第２の実施の形態における輝度補正装置のブロック図
【図４】本発明の第２の実施の形態における輝度補正装置の動作説明のためのフロー図
【符号の説明】
【００４４】
１、２  輝度補正装置
１２、２２  画像取得部
１３、２４  シングルスケールレチネックス処理部
１４、２５  強調画像生成部
１５、２６  画像合成部
２３  色情報分離部
２７  色情報合成部
【図１】
2005182232.tif 000009
【図２】
2005182232.tif 000010
【図３】
2005182232.tif 000011
【図４】
2005182232.tif 000012