(57)【要約】【課題】  安定した画質の画像を出力できるために、入力画像の輝度情報に応じて、自動的に輝度を調整するための画質改善装置及び画質改善方法並びにその方法を実行するためのコンピュータプログラムを提供する。【解決手段】  入力画像から雑音を除去し、隣接画素間での輝度の変化などを用いてコントラストを向上させるバンドパスフィルタ部21と、輝度値の平均値を求め、所定の条件を満たすように輝度値を補正する平均値補正部22と、輝度値の分布を求め、所定の条件を満たすように輝度値の分布を補正する分散値補正部23を有し、輝度値の輝度値と分散値が常に一定の範囲内にある（安定した画質の）画像を生成する。【選択図】  図１
2006277688.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像信号で得られるラスタを構成する複数の画素の内、主要な各画素の輝度を当該画素の周囲の画素の輝度と比較して画素値を得るステップと、
前記画素値の平均値を算出するステップと、
前記平均値が所定値からずれているときは、画素値とその頻度により定まる画素値の分布における前記平均値が所定値に一致するよう、前記分布をシフトして前記画素値を補正するステップと、
前記補正するステップで得られた画素値の分布から所定範囲の画素値を変換対象画素値として求めるステップと、
前記変換対象画素値の範囲内にある画素が所定の分散値を持つ分布になるように補正するステップとを、
有する画質改善方法。
【請求項２】
前記変換対象画素値として求めるステップが、前記補正するステップで得られた画素値の分布から画素値が第１の所定値以上のものを前記第１の所定値に変換し、画素値が第２の所定値以下のものを前記第２の所定値に変換することにより実行される請求項１に記載の画質改善方法。
【請求項３】
前記変換対象画素値として求めるステップが、画素値の累積確率分布を求めるステップを含む請求項１又は２に記載の画質改善方法。
【請求項４】
前記所定の分散値を持つ分布になるように補正するステップが、画素値の頻度分布において、前記画素値の平均値と前記変換対象画素値の範囲の最小値の差を所定値で除算して第１の標本値を得、前記変換対象画素値の範囲の最大値と前記平均値の差を前記所定値で除算して第２の標本値を得るステップを含む請求項３に記載の画質改善方法。
【請求項５】
前記所定の分散値を持つ分布になるように補正するステップが、前記第１の標本値と前記第２の標本値を用いて所定のアルゴリズムで画素値を変換するステップを含む請求項４に記載の画質改善方法。
【請求項６】
入力された画像信号で得られるラスタを構成する複数の画素の内、主要な各画素の輝度を当該画素の周囲の画素の輝度と比較して画素値を得るステップと、
前記画素値の平均値を算出するステップと、
前記平均値が所定値からずれているときは、画素値とその頻度により定まる画素値の分布における前記平均値が所定値に一致するよう、前記分布をシフトして前記画素値を補正するステップと、
前記補正するステップで得られた画素値の分布から所定範囲の画素値を変換対象画素値として求めるステップと、
前記変換対象画素値の範囲内にある画素が所定の分散値を持つ分布になるように補正するステップとを、
有する画質改善方法をコンピュータに実行させるためのプログラム。
【請求項７】
前記変換対象画素値として求めるステップが、前記補正するステップで得られた画素値の分布から画素値が第１の所定値以上のものを前記第１の所定値に変換し、画素値が第２の所定値以下のものを前記第２の所定値に変換することにより実行される請求項６に記載のプログラム。
【請求項８】
前記変換対象画素値として求めるステップが、画素値の累積確率分布を求めるステップを含む請求項６又は７に記載のプログラム。
【請求項９】
前記所定の分散値を持つ分布になるように補正するステップが、画素値の頻度分布において、前記画素値の平均値と前記変換対象画素値の範囲の最小値の差を所定値で除算して第１の標本値を得、前記変換対象画素値の範囲の最大値と前記平均値の差を前記所定値で除算して第２の標本値を得るステップを含む請求項８に記載のプログラム。
【請求項１０】
前記所定の分散値を持つ分布になるように補正するステップが、前記第１の標本値と前記第２の標本値を用いて所定のアルゴリズムで画素値を変換するステップを含む請求項９に記載のプログラム。
【請求項１１】
入力された画像信号で得られるラスタを構成する複数の画素の内、主要な各画素の輝度を当該画素の周囲の画素の輝度と比較して画素値を得る画素値算出部と、
前記画素値の平均値を算出する平均値算出部と、
前記平均値が所定値からずれているときは、画素値とその頻度により定まる画素値の分布における前記平均値が所定値に一致するよう、前記分布をシフトして前記画素値を補正する画素値の補正部と、
前記補正部で得られた画素値の分布から画素値が所定値以上であるものと、所定値以下であるものを削除して変換対象画素値の範囲を求める変換対象画素値範囲の算出部と、
前記変換対象画素値の範囲内にある画素が所定の分散値を持つ分布になるように補正する画素値の補正部とを、
有する画質改善装置。
【請求項１２】
前記画素値算出部として入力画像上の雑音を除去すると同時に画像のコントラストを向上させるバンドパスフィルタ手段を用いた請求項１１に記載の画質改善装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像の画質改善に関し、特に明暗環境の変動がある屋外や車の中などで被写体を撮像して得た画像を用いた物体検出・認識システムに良好な画質改善装置及び画質改善方法並びにその方法を実行するためのコンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、画像を用いた物体検出・認識システムについての研究が行われている。以下、説明をわかりやすくするため、検出・認識対象物体を人物として説明する。このような研究は、人物の顔を検出・認識することで、セキュリティシステムの性能向上や自動車などの運転手の居眠り・脇見運転防止などを目的としている。
【０００３】
これらのアプリケーションにおいて人物検出・認識装置では、画像に写されている人物の輝度情報は一定条件を満たすことが要求されている。しかし、屋外や車室内などの環境では明暗の変動が激しく、屋外でのセキュリティ装置や運転者監視装置などにとって安定した画質の画像の生成が不可欠であり、安定した画質の画像生成装置及び方法が必要である。
【０００４】
安定した画質の画像を生成するための従来技術として、まず、顔領域を抽出し、カメラ光軸の周りの回転を補正してから、顔表面上にある輝度ムラを補正する。このような技術が下記の特許文献１に開示されている。
【特許文献１】特開２００１−３３１７９５号公報（段落００１４〜００２９）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、明暗環境の変化により、顔表面上の輝度値が明る過ぎたり、暗過ぎると、顔の検出が困難な場合があるため、特許文献1で開示されている技術の利用が困難となる。そこで、撮影部であるカメラから入力される画像信号に対して常に安定した画質の画像を生成する必要がある。
【０００６】
本発明は、上述の課題を解決するものであり、カメラから入力される画像信号に対し、常に安定した画質の画像を生成可能とする、画質改善装置及び画質改善方法並びにその方法を実行するためのプログラムの提供を目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するために、本発明によれば、入力された画像信号中、ラスタを構成する複数の画素の内、主要な各画素の輝度を当該画素の周囲の画素の輝度と比較して画素値を得る画素値算出部と、目標の平均輝度値に画像の画素値を補正する平均値補正手段と、目標の輝度分散値に画像の画素値を補正する分散値補正手段とを備える画質改善装置、及び同様な処理を行う画質改善方法及びその方法を実行するためのプログラムが提供される。
【０００８】
すなわち本発明によれば、入力された画像信号で得られるラスタを構成する複数の画素の内、主要な各画素の輝度を当該画素の周囲の画素の輝度と比較して画素値を得るステップと、
前記画素値の平均値を算出するステップと、
前記平均値が所定値からずれているときは、画素値とその頻度により定まる画素値の分布における前記平均値が所定値に一致するよう、前記分布をシフトして前記画素値を補正するステップと、
前記補正するステップで得られた画素値の分布から所定範囲の画素値を変換対象画素値として求めるステップと、
前記変換対象画素値の範囲内にある画素が所定の分散値を持つ分布になるように補正するステップとを、
有する画質改善方法が提供される。
【０００９】
また本発明によれば、入力された画像信号で得られるラスタを構成する複数の画素の内、主要な各画素の輝度を当該画素の周囲の画素の輝度と比較して画素値を得るステップと、
前記画素値の平均値を算出するステップと、
前記平均値が所定値からずれているときは、画素値とその頻度により定まる画素値の分布における前記平均値が所定値に一致するよう、前記分布をシフトして前記画素値を補正するステップと、
前記補正するステップで得られた画素値の分布から所定範囲の画素値を変換対象画素値として求めるステップと、
前記変換対象画素値の範囲内にある画素が所定の分散値を持つ分布になるように補正するステップとを、
有する画質改善方法をコンピュータに実行させるためのプログラムが提供される。
【００１０】
また本発明によれば、入力された画像信号で得られるラスタを構成する複数の画素の内、主要な各画素の輝度を当該画素の周囲の画素の輝度と比較して画素値を得る画素値算出部と、
前記画素値の平均値を算出する平均値算出部と、
前記平均値が所定値からずれているときは、画素値とその頻度により定まる画素値の分布における前記平均値が所定値に一致するよう、前記分布をシフトして前記画素値を補正する画素値の補正部と、
前記補正部で得られた画素値の分布から画素値が所定値以上であるものと、所定値以下であるものを削除して変換対象画素値の範囲を求める変換対象画素値範囲の算出部と、
前記変換対象画素値の範囲内にある画素が所定の分散値を持つ分布になるように補正する画素値の補正部とを、
有する画質改善装置が提供される。
なお、画素値算出部として入力画像上の雑音を除去すると同時に画像のコントラストを向上させるバンドパスフィルタ手段を用いることは本発明の好ましい態様である。
【発明の効果】
【００１１】
本発明の画質改善装置及び方法並びにプログラムは、上記構成を有し、カメラから入力される画像信号に対して輝度を補正し、明暗環境の変動があっても常に安定した画質の画像の生成を可能とさせる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態に係る画質改善装置及び処理方法について、図１〜図８を用いて説明する。図１は本発明の一実施の形態としての画質改善装置の概略構成を示す図である。図２Ａ及び図２Ｂは本発明の実施の形態に係る画質改善装置における平均値補正部での補正前と補正後の画素値の分布を示す図である。図３は本発明の実施の形態に係る画質改善装置における平均値補正部の構成を示す図である。図４は本発明の実施の形態に係る画質改善装置における分散値補正部の構成を示す図である。図５は本発明の実施の形態に係る画質改善装置における変換対象画素値範囲の算出部の構成を示す図である。図６は本発明の実施の形態に係る画質改善装置における画素値の累積確率分布を示す図である。図７は本発明の実施の形態に係る画質改善装置における画素値の標本値算出概要を示す図である。図８は本発明の実施の形態に係る画質改善装置における画質改善フローについて説明するためのフローチャートである。
【００１３】
まず、本発明の実施の形態に係る画質改善装置の概略構成について図１を用いて説明する。図１に示すように、画質改善装置20は、バンドパスフィルタ部21、平均値補正部22、分散値補正部23から構成されている。画像入力部10はカメラなどにより撮影された画像を示す信号を取り込む。この画像入力部10に取り込まれた入力画像信号はバンドパスフィルタ部21に送られる。ここでは、取り込まれた入力画像信号の輝度値の範囲が0〜255である。本実施の形態では、画素値を８ビットのデジタル信号で表しているが、輝度値の範囲は、画素値を表すデジタル信号のビット数に応じて変更可能である。なお、図１に示す画質改善装置20内の複数のブロックや、後述する他のブロック図に示すブロックは、ディスクリートな回路として構成することもできるが、ＣＰＵ（中央演算処理装置）とメモリ、インターフェイスなどからなるコンピュータにより実現することができる。
【００１４】
バンドパスフィルタ部21では、画像入力部10から送られた入力画像に対してバンドパスフィルタを用いて雑音の除去と輝度特徴（コントラスト）の強調が行われる。ここでは、バンドパスフィルタとしてラプラシアン・オブ・ガウシアン（Laplacian of Gaussian、以下、単にLoGとも言う）フィルタを用いる。なお、LoGフィルタについては公知の技術であるため、詳細については説明を省略する。LoGフィルタの処理方法を下記の式（１）に示す。LoGフィルタの性能はσ（周辺画素との輝度変化を強調する度合いを表す数値）の値に依存する。例としてここではσ＝１とした。また、σ＝１の場合に生成されたフィルタマスクLoG（ｉ，ｊ）の係数を下記の式（２）に示す。このマスクサイズは７×７画素である。なお、処理された画素の値は実数値であり、式（２）を用いた場合、処理された画素値の範囲は-4590〜+4335となる。このように、バンドパスフィルタ部21は、入力された画像信号で得られるラスタ（１つの画面）を構成する複数の画素の内、主要な各画素の輝度を当該画素の周囲の画素の輝度と比較して画素値を得る画素値算出部として機能している。なお、ラスタの上下左右の外周部に近い位置の画素については、下記の式（２）を適用することができないので、これらの画素の処理は行わない。処理された画像は平均値補正部22に送られる。
【００１５】
【数１】
2006277688.tif 000003
【００１６】
【数２】
2006277688.tif 000004
【００１７】
平均値補正部22では、図２Ａ示すようにバンドパスフィルタで処理された画素の値の平均値を補正する。図３に示すように平均値補正部22は、平均値算出部222と、補正値算出部222と、画素値の補正部223を備えている。まず、下記の式（３）を用いて処理された画素の値の平均値を求める。ここでは、Mean_org、Ireal(n,m)、X、Yはそれぞれ補正前の画素値の平均値、横軸nと縦軸mにある画素、画像の横幅と縦幅である。次に、式（３）で算出されたMean_orgを用いて、補正値算出部222で補正値を算出する。補正値算出の一例として、下記の式（４）に示す。ここでは、SHIFT、T_Averageはそれぞれ補正値と補正対象となる目標平均値である。なお、T_Averageは所定のパラメータである。最後に、算出された補正値を用いて、画素値の補正部223で画素値を補正する。画素値の補正方法の一例を式（５）に示す。ここでは、Ireal_restored(x,y)、Ireal(x,y)はそれぞれ横軸xと縦軸yにある画素の補正後の値と補正前の値である。図２Ｂに補正後の画素値の分布の例を示す。ただし、この例では、T_Average値を0とした。画素平均値が補正された画像は分散値補正部23に送られる。
【００１８】
【数３】
2006277688.tif 000005
【００１９】
【数４】
2006277688.tif 000006
【００２０】
【数５】
2006277688.tif 000007
【００２１】
分散値補正部23では、安定した画質の画像を得るために、輝度分散がある一定の範囲内になるように画素値を変換し補正する。分散値補正部23は、図４に示すように変換対象画素値範囲の算出部231と、標本値算出部232と、画素値変換部233とを備えている。また、図５に示すように、変換対象画素値範囲の算出部231は、画素累積確率分布算出部2311と範囲の算出部2312とを備えている。照明条件の違いや背景・対象物の模様などにより、画像の画素値（輝度）分布が異なっている。そのため、画像ごとに変換対象の画素値の範囲が異なっている。変換対象画素値範囲の算出部231は、各画像において、変換（補正）対象の画素値の範囲を算出するため、まず、画素累積確率分布算出部2311で図６に示すような画素値の累積確率分布を求める。画素値の累積確率分布は下記の式（６）で求められる。ここで、F(Ireal_restored)はIreal_restoredにおける累積確率（単位：[%]）で、P(Ireal_restored)は画素値であるIreal_restoredにおける出現割合（単位：[%]）である。次に、算出された画素値の累積確率分布を用いて、変換対象の画素値の範囲を範囲の算出部2312で求める。変換対象画素値範囲の算出方法を下記の式（7）に示す。ここでは、Intensity_min、Intensity_max、Aはそれぞれ、変換対象の最小画素値と変換対象の最大画素値と変換対象外の画素値の累積量である。なお、Aは所定パラメータである。これらの情報と画像は標本値算出部232に送られる。
【００２２】
【数６】
2006277688.tif 000008
【００２３】
【数７】
2006277688.tif 000009
【００２４】
次に、標本値算出部232では、実数値である画素値（Ireal_restored(x,y)）を0〜255の離散値の輝度に変換するために用いられる標本数を算出する。ここで、図７に示すように、平均値より小さい値の画素値の幅（LMinus）と平均値より大きい画素値の幅（LPlus）が同じ幅にならないことが多いため、平均値が目標となる輝度値からずれないように、平均値より小さい値の画素用の標本値と平均値より大きい値の画素用の標本値を別々に求める必要がある。これらの標本値は下記の式（８）で求められる。ここで、Sampling_Minus、Sampling_Plusはそれぞれ平均値より小さい値の画素用の標本値と平均値より大きい値の画素用の標本値である（図７参照）。また、BとCはそれぞれ平均値より小さい値の画素用の標本数と平均値より大きい値の画素用の標本数であり、所定パラメータである。この値が補正後画像の輝度分布の広がりを決定するものである。なお、BとCは等しい場合もある。
【００２５】
【数８】
2006277688.tif 000010
【００２６】
画素値変換部233は、変換対象画素値範囲の算出部231で算出されたIntensity_minとIntensity_maxと、標本値算出部232で算出されたSampling_MinusとSampling_Plusを用いて画素値を変換する。変換は下記の式（９）で行われる。ここでは、Iout(x,y)は変換後の輝度値であり、Iout(x,y)の範囲は0〜255である。また、Dは補正後画像の輝度中心値であり、所定パラメータである。なお、Round[]は小数点第１位を四捨五入することを意味する。
【００２７】
【数９】
2006277688.tif 000011
【００２８】
次に、本発明の画質改善装置における画質改善フローについて図８を用いて説明する。画像入力部10 は、対象物を撮影する、あるいは、不図示の装置から画像を入力し、入力画像はバンドパスフィルタ部10に送られる（ステップS30）。バンドパスフィルタ部21は、入力された画像に対してバンドパスフィルタ（ここでは、LoGフィルタ）をかけて、処理する（ステップS31）。平均値補正部22は、LoGフィルタで処理された画像に対して、画素値の平均を求め、ある画素値（目標値）に対する画素の平均値とのずれを算出し、そのずれを補正する（ステップS32）。分散値補正部23は、平均値を補正された画素値に対して、変換（補正）対象画素値の範囲を求め、その範囲内にある画素をある分散値（目標値）を持つ分布になるように補正（変換）を行う（ステップS33）。
【産業上の利用可能性】
【００２９】
以上のように本発明にかかる画質改善装置及び画質改善方法並びにその方法を実行するためのコンピュータプログラムは、輝度変化の激しい画像であっても、その画質を改善することが可能であり、カメラで撮像された画像を用いて被写体の認識を行う各種装置などの分野で有用である。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施の形態に係る画質改善装置の構成を示す図である。
【図２Ａ】本発明の実施の形態に係る画質改善装置における平均値補正部での補正前の画素値の分布を示す図である。
【図２Ｂ】本発明の実施の形態に係る画質改善装置における平均値補正部での補正後の画素値の分布を示す図である。
【図３】本発明の実施の形態に係る画質改善装置における平均値補正部の構成を示す図である。
【図４】本発明の実施の形態に係る画質改善装置における分散値補正部の構成を示す図である。
【図５】本発明の実施の形態に係る画質改善装置における変換対象画素値範囲の算出部の構成を示す図である。
【図６】本発明の実施の形態に係る画質改善装置における画素値の累積確率分布を示す図である。
【図７】本発明の実施の形態に係る画質改善装置における画素値の標本値算出概要を示す図である。
【図８】本発明の実施の形態に係る画質改善装置における画質改善フローについて説明するためのフローチャートである。
【符号の説明】
【００３１】
１０  画像入力部
２０  画質改善装置
２１  バンドパスフィルタ部
２２  平均値補正部
２３  分散値補正部
２２１  平均値算出部
２２２  補正値算出部
２２３  画素値の補正部
２３１  変換対象画素値範囲の算出部
２３２  標本値算出部
２３３  画素値変換部
２３１１  画素累積確率分布算出部
２３１２  範囲の算出部
【図１】
2006277688.tif 000012
【図２Ａ】
2006277688.tif 000013
【図２Ｂ】
2006277688.tif 000014
【図３】
2006277688.tif 000015
【図４】
2006277688.tif 000016
【図５】
2006277688.tif 000017
【図６】
2006277688.tif 000018
【図７】
2006277688.tif 000019
【図８】
2006277688.tif 000020