(57)【特許請求の範囲】
【請求項１】
モノクロ画像を処理する画像処理装置において、
輝度Ｙに対し、変換された輝度ｆ(Ｙ)を与える輝度レベル変換手段であって、ｆ(Ｙ)は上に凸で滑らかな単調増加関数であるような輝度レベル変換手段と、
前記輝度レベル変換手段の出力である変換された輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、
前記低周波成分抑制手段の出力輝度について、その出力輝度分布と表示装置の入力レベルから決定される２つの定数によって、前記出力輝度に一方の定数を乗じたのち他方の定数を加える線形輝度レベル変換手段と、
を有することを特徴とする画像処理装置。
【請求項２】
カラー画像を処理する画像処理装置において、
カラー入力画像の画像信号から輝度と、色信号を抽出する信号抽出手段と、
輝度Ｙに対し、変換された輝度ｆ(Ｙ)を与える輝度レベル変換手段であって、ｆ(Ｙ)は上に凸で滑らかな単調増加関数であるような輝度レベル変換手段と、
前記輝度レベル変換手段の出力である変換された輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、
前記低周波成分抑制手段の出力輝度について、その出力輝度分布と表示装置の入力レベルから決定される２つの定数によって、前記出力輝度に一方の定数を乗じたのち他方の定数を加える線形輝度レベル変換手段と、
前記線形輝度レベル変換手段の出力と、同一画素にあたる前記信号抽出手段の抽出する色信号とから、カラー画像信号を生成する画像信号生成手段と、
を有することを特徴とする画像処理装置。
【請求項３】
モノクロ画像を処理する画像処理装置において、
輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段を有することを特徴とする画像処理装置。
【請求項４】
カラー画像を処理する画像処理装置において、
カラー入力画像の画像信号から輝度と、色信号を抽出する信号抽出手段と、
前記輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、
前記低周波成分抑制手段の出力と、同一画素にあたる前記信号抽出手段の抽出する色信号とから、カラー画像信号を生成する画像信号生成手段と、
を有することを特徴とする画像処理装置。
【請求項５】
前記信号抽出手段により抽出された輝度値が所定値以下の時に、前記色信号を無彩色を示す信号に変換する入力画像の色変換手段を有することを特徴とする請求項２又は請求項４に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は明暗差の大きい画像のダイナミックレンジを圧縮する画像処理装置に関する。
【０００２】
【従来の技術】
陰の領域、地面等に形成される影及び日向の領域を含むような、明暗差の大きい画像は、その暗部の中での画像の明暗差が小さいものとなり、これをダイナミックレンジの小さい表示装置に表示させたときに暗部が一様に黒化し、暗部における物体等の把握の困難な画像となってしまう。そこでHomomorphic Filteringと呼ばれる画像のダイナミックレンジを圧縮する方法が知られている。Homomorphic Filteringとは、陰日向や照明ムラなどの照明強度の情報は輝度の低空間周波数成分であることに着目し、物体の反射率と照明強度の積である輝度を対数変換することにより反射率の対数と照明強度の対数の和に変換し、低周波数成分である照明強度の成分を除去したのち、逆対数変換するものである。
【０００３】
Homomorphic Filteringでは空間周波数成分のうち高周波成分が強調される結果、エッジが不自然に強調される問題がある。そこで例えば特開平５−１６７８８９号公報記載の発明のように、画像内の各位置でエッジの大きさを表す特徴量を求め、その特徴量に基づいてフィルタの特性を可変とする方法が提案されている。即ち、Homomorphic Filteringの改良として、空間周波数成分のうち、低周波成分と、エッジの大きい部分では高周波成分も抑制するものである。これらの概略を図６に示す。
【０００４】
図６の（ａ）は、Homomorphic Filteringの基本構成を示すブロック図である。１フレーム毎に各画素の輝度Ｙが対数変換器９１１により対数変換された輝度Ｙ'となる。この対数変換された輝度Ｙ'を１フレーム毎に、低周波抑制器９１２により低周波抑制処理が行われる。低周波抑制器９１２の処理内容は、対数変換された輝度Ｙ'をコンボルーションフィルタなどにより低空間周波数成分が抑制された、対数変換された輝度Ｙ''とするものである。こうして、低周波成分が抑制された対数変換された輝度Ｙ''を逆対数変換器（指数変換器）９１３により逆対数変換して、１フレーム毎に照明強度による明暗差の抑制された画像出力を得る。
【０００５】
また、図６の（ｂ）は特開平５−１６７８８９号公報記載の、輝度信号圧縮の基本原理を示すブロック図である。１フレーム毎に各画素の輝度Ｙが対数変換器９２１により対数変換された輝度Ｙ'となる。この対数変換された輝度Ｙ'を１フレーム毎に、特徴抽出器９２２と低周波抑制器９２３により低周波抑制処理が行われる。特徴抽出器９２２においては画像内の各位置でエッジの大きさを表す特徴量を求め、その特徴量に基づいて低周波抑制器９２３のフィルタの周波数特性を変化させる。即ち、低周波抑制器９２３で、対数変換された輝度Ｙ'を低周波が抑制された対数変換された輝度とする際、エッジの大きい部分では高周波成分をも抑制する。こうして、低周波が抑制された対数変換された輝度Ｙについて、輝度分布特性を輝度分布特性判定器９２４により判定し、その情報からオフセット補正器９２５、定数倍器９２６をとおして、出力輝度の平均レベル及びダイナミックレンジの調整を行ったのち、逆対数変換器（指数変換器）９２７により逆対数変換して、１フレーム毎に明暗差の抑制された画像出力を得る。
【０００６】
【発明が解決しようとする課題】
一般的なHomomorphic Filteringも、また上記特開平５−１６７８８９号公報記載の発明も、輝度を対数圧縮した段階でフィルタリング処理を行った後、逆対数変換している。このような方法は、対数変換と逆対数変換の２回の非線形輝度レベル変換を行うために処理が複雑になるという問題がある。輝度信号はその最小値が０の他は正の値を持つため、輝度信号の対数変換はその値域が負の部分を含む。逆対数変換を行わずに表示するためには、低周波数成分抑制ののちに正の定数を加える必要が有り、この正の定数が大きくなると高輝度のコントラストが低下するという問題が生じる。また、対数関数を折れ線近似した関数により変換を行う場合、変換された画像に不自然な輝度変化が生じるという問題がある。また、低周波成分が抑制されると相対的に高周波成分が強調され、信号成分よりも高周波成分を多く含むノイズ成分が強調される。したがって、明暗差の抑制により低輝度部分が相対的に明るくなり、且つ低周波成分抑制によりノイズ成分が強調されるため、ＳＮ比が小さい低輝度部分のノイズが目立つ画像になるという問題がある。これはカラー画像の場合、特に精度の低い色情報を持つ低輝度のエッジ部分が強調されて不自然な色として表示される場合がある。また、対象物までの距離が大きくなるほど撮像画像中での照明強度による明暗差の情報が相対的に高周波成分になるのに対して、対象物までの距離と無関係にフィルタリングを行うので、遠方で明暗差の抑制が十分に行えないという問題があった。
【０００７】
本発明は上記の課題を解決するため成されたものであり、その目的は、輝度の逆対数変換処理を行わないで済む、明暗差を抑制する簡便な画像のダイナミックレンジ圧縮を行う画像処理装置を提供することである。また、カラー画像において低輝度部分で不自然な色の発生を抑えた画像処理装置を提供することも目的とする。更には、撮像画像中の対象物までの実際の距離を考慮した、明暗差を抑制する画像のダイナミックレンジ圧縮を行う画像処理装置を提供することをも目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、請求項１に記載の手段によれば、モノクロ画像を処理する画像処理装置において、輝度Ｙに対し、変換された輝度ｆ(Ｙ)を与える輝度レベル変換手段であって、関数Ｙ'＝ｆ(Ｙ)は上に凸で滑らかな単調増加関数であるような輝度レベル変換手段と、輝度レベル変換手段の出力である変換された輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、低周波成分抑制手段の出力輝度について、その出力輝度分布と表示装置の入力レベルから決定される２つの定数によって、出力輝度に一方の定数を乗じたのち他方の定数を加える線形輝度レベル変換手段と、を有することを特徴とする。
【０００９】
また、請求項２に記載の手段によれは、カラー画像を処理する画像処理装置において、カラー入力画像の画像信号から輝度と、色信号を抽出する信号抽出手段と、輝度Ｙに対し、変換された輝度ｆ(Ｙ)を与える輝度レベル変換手段であって、関数Ｙ'＝ｆ(Ｙ)は上に凸で滑らかな単調増加関数であるような輝度レベル変換手段と、輝度レベル変換手段の出力である変換された輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、低周波成分抑制手段の出力輝度について、その出力輝度分布と表示装置の入力レベルから決定される２つの定数によって、出力輝度に一方の定数を乗じたのち他方の定数を加える線形輝度レベル変換手段と、線形輝度レベル変換手段の出力と、同一画素にあたる信号抽出手段の抽出する色信号とから、カラー画像信号を生成する画像信号生成手段と、を有することを特徴とする。ここで色信号とは、ＲＧＢ信号、ＹＵＶ方式のＵＶ信号、ＹＩＱ方式のＩＱ信号等の色差信号、その他任意である。
【００１０】
請求項３又は請求項４に記載の手段によれば、低周波成分抑制手段の周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする周波数特性制御手段を有することを特徴とする。
【００１１】
また、請求項５に記載の手段によれば、信号抽出手段により抽出された輝度値が所定値以下の時に、色信号を無彩色を示す信号に変換する入力画像の色変換手段を有することを特徴とする。無彩色とは輝度情報のみによる白色、灰色、黒色を意味する。
【００１２】
【００１３】
【００１４】
【００１５】
【００１６】
【作用及び発明の効果】
撮像画像の輝度信号は、物体の反射率の成分と照明強度の成分の積として得られるので、照明強度の成分は物体の反射率の成分の振幅とオフセットの増幅率と考えることができる。即ち、照明強度が大きい部分ほど物体の反射率の成分の平均輝度（オフセット）が大きく、且つ輝度差（振幅）が大きくなる。輝度レベル変換手段における関数Ｙ'＝ｆ(Ｙ)は、上に凸な単調増加関数であるので、輝度Ｙの小さい部分において出力輝度の差が大きくなるよう、輝度Ｙの大きい部分において出力輝度の差が小さくなるよう変換する関数である。したがって、照明強度が不均一な撮像画像の輝度信号をこのように変換することにより、物体の反射率の成分の振幅の増幅率を照明強度によらずに一様に近づけることができる。更に、低周波成分を抑制することにより、物体の反射率の成分のオフセットの増加率を一様に近づけることができる。以上の、輝度レベル変換と、低周波数成分抑制手段とにより、照明強度によらずに物体の反射率の成分の振幅とオフセットの増幅率をともに一様に近づけることができるため、照明強度による明暗差の情報が抑制されたダイナミックレンジの圧縮された画像を得ることが可能である。また、輝度レベル変換手段における関数Ｙ'＝ｆ(Ｙ)は滑らかな関数であるので、輝度変換に起因して画像中に不自然な輝度変化が生じることはない。表示装置の入力は、一般に０から正の有限値までの正のレンジである。また、ダイナミックレンジの狭い表示装置に表示する画像は、低輝度部分での黒つぶれ防止のために、低輝度部分がより明るくなるよう変換された画像が適している。輝度レベル変換手段における関数Ｙ'＝ｆ(Ｙ)はＹの最小値Ｙmin＝０に対してｆ(Ｙmin)＝０である単調増加関数であれば、変換後の輝度は最小値が０、その他の場合は正の値となる。また、低周波成分の抑制後に得られる画像は低輝度部分がより明るくあるよう変換された画像である。このため、低周波成分を抑制された画像の輝度信号を表示装置の入力レンジに合わせて定数倍するだけで、ダイナミックレンジの狭い表示装置に表示することが可能である。したがって、逆対数変換やオフセットの加算が不要となり、装置の簡略化が可能である。
【００１７】
また、低周波成分抑制手段の周波数特性を画像中の各位置における対象までの概算距離に応じて可変とすれば、遠くの対象の明暗差を適切に抑制することができ、また画像上密集する遠くの対象のエッジが不自然に強調されることを抑制することができる（請求項１、請求項２、請求項３、請求項４）。更に、輝度レベルが所定値以下の場合に、無彩色に変換することで、カラー画像中の低輝度のエッジ部分で、低周波成分抑制により不自然な色が強調されて表示することを防止できる（請求項５）。このようにして、本願のいずれの請求項に係る画像処理装置も、明暗差を抑制しつつダイナミックレンジを圧縮することができる。
【００１８】
【発明の実施の形態】
以下、本発明の具体的な実施例について図とともに説明する。尚、本発明は以下の実施例に限定されるものではない。
【００１９】
〔第１実施例〕
図１は、本発明の具体的な第１の実施例に係る画像処理装置１０を用いた撮像、処理、表示の一連の構成を示すブロック図である。モノクロ撮像装置１により得られた画像データがディジタル処理装置２により１フレーム毎の各画素の輝度Ｙとして画像処理装置１０に送られる。画像処理装置１０は次に述べる処理を行いアナログ処理装置３に１フレーム毎の輝度Ｙ'''を出力する。アナログ処理装置３は１フレーム毎の各画素の輝度Ｙ'''からアナログ信号を形成してアナログ表示装置４に出力する。
【００２０】
画像処理装置１０の処理内容は次のとおりである。ディジタル処理装置２の出力Ｙは、輝度レベル変換器１１により次に示すＹ'＝ｆ(Ｙ)により変換された輝度Ｙ'に変換される。
【数１】
0003807266.tif 000002
【００２１】
上記変換関数は、低輝度部分では輝度に比例し、高輝度部分では輝度の対数に比例するような特性であり、Ｙの最小値Ｙmin＝０に対してｆ(Ｙmin)＝０であり、且つ関数Ｙ'＝ｆ(Ｙ)は上に凸で滑らかな単調増加関数の一例である。ここで、定数ａは変換後の輝度のスケールを決定する正のパラメータであり、フィルタリング処理を行う階調数に応じて決定する。また、定数ｂは低輝度部分と高輝度部分の境界を定義する正のパラメータである。輝度の対数に比例した変換となる高輝度部分（ｂ＜Ｙ＜Ｙmax）では、物体の反射率の成分の振幅の増幅率を一様に近づけることができるが、輝度に比例した変換となる低輝度部分（０＜Ｙ＜ｂ）では、物体の反射率の成分の振幅の増幅率が小さくなりコントラストが低下する。したがって、定数ｂを小さくすると、物体の反射率の成分を一様に近づけることができる輝度Ｙの範囲が大きくなる。しかし、定数ｂを小さくすると変換関数の高輝度部分の傾きが低輝度部分に比べて小さくなるため、高輝度部分のコントラストがより低下する。以上の特性を考慮し、実験により良好な結果が得られた定数ｂは、輝度信号Ｙのノイズレベルの数倍程度であった。輝度レベル変換器１１の出力Ｙ'はメモリ１２に１フレーム毎に記憶される。
【００２２】
次に、１フレーム毎にメモリ１２に記憶されたＹ'を、低周波抑制器１３によりフィルタリング処理を行い、低周波数成分を抑制する。低周波数成分を抑制するフィルタは例えば図１の（ｂ）に示すようなバタワース特性のハイパスフィルタを用いる。こうして、１フレーム毎にメモリ１２に記憶されたＹ'から、低周波数成分を抑制されたＹ''に変換し、再度メモリ１２に１フレーム毎に記憶する。
【００２３】
次に、１フレーム毎にメモリ１２に記憶された低周波数成分を抑制されたＹ''から、最大値検出器１４により最大値Ｙ''maxを検出する。次に予め記憶されている表示装置の入力レベルの最大値Ｌmaxとから係数Ｌmax／Ｙ''maxを係数算出器１５により算出し、メモリ１２からＹ''を順次読み出して乗算器１６により係数算出器１５の有する係数Ｌmax／Ｙ''maxと乗じて出力Ｙ'''＝Ｙ''Ｌmax／Ｙ''maxを求める。出力Ｙ'''は、照明強度による明暗差の抑制された画像出力としてアナログ処理装置３に出力される。このようにして、画像処理装置１０は、明暗差を圧縮することができる。
【００２４】
モノクロ撮像装置１、表示装置４が各々ディジタルデータを出力及び入力できる装置であるとき、ディジタル処理装置２、アナログ処理装置４は不要となる。また、ディジタル処理装置２、アナログ処理装置４を画像処理装置１０と一体化させたものも本願発明に包含される。
【００２５】
本実施例では、低周波成分を抑制された輝度Ｙ''のフレーム内での最大値Ｙ''maxが乗算器１６により定数倍され表示装置の入力の最大値Ｌmaxに変換される例を示した。即ち、フレーム内での輝度の最大値Ｙ''maxが表示される輝度の最大値である。表示される輝度の最大値は、フレーム内の所定の画素数の輝度が飽和するように決定したり、フレーム内の輝度の平均や分散などの統計量を用いて決定することも可能である。また、本実施例では、表示装置の入力レンジの最大値が一般にゼロであるため、変換関数ｆ(Ｙ)の最小値をゼロとしたが、表示装置の入力レンジの最小値がゼロでない場合や表示装置の特性により一定のオフセット値の加算が必要な場合などにｆ(Ｙ)の最小値がゼロに近い正の値とする変換関数を用いるものも本願発明に包含される。
【００２６】
〔第１実施例の変形例〕
図１の（ａ）の輝度レベル変換器１１の輝度Ｙの変換関数ｆ(Ｙ)として、次の変換関数を用いても良い。
【数２】
0003807266.tif 000003
【００２７】
式（２）による変換は、Ｙがｂよりも十分小さい（Ｙ≪ｂ）とき、次の式（３）で近似できる。
【数３】
0003807266.tif 000004
【００２８】
逆に  式（２）による変換は、Ｙがｂよりも十分大きい（Ｙ≫ｂ）とき、次の式（４）で近似できる。
【数４】
0003807266.tif 000005
【００２９】
即ち、本変形例の式（２）による輝度レベル変換は、輝度Ｙが境界値ｂより十分小さいときは輝度Ｙに比例した変換となり、輝度Ｙが境界値ｂより十分大きいときは輝度Ｙの対数に比例した変換となり、輝度Ｙが境界値ｂ付近ではそれらの中間（式（２）と式（３）の中間）の特性の変換となる。式（２）の変換関数による変換は、変換前の輝度に定数を加えたのちに対数変換することと等価であり、本願発明はこのように定数値加算後に対数変換するものも含む。又その他の変形例として、図１の（ａ）の輝度レベル変換器１１の輝度Ｙの変換関数ｆ(Ｙ)として、次のような輝度Ｙのγ乗（γ＜１）に比例した関数を用いても良い。
【数５】
0003807266.tif 000006
【００３０】
尚、本願発明の輝度レベル変換手段は、広義の意味で上に凸、且つ広義の意味で単調増加であれば良い。尚「広義の意味」とは、本願ではディジタル処理を行うため、丸め誤差のために実際の変換に際し部分的に上に凸でなかったり単調増加でない場合が起こり得ることを意味する。例えば２５４、２５４、２５５、２５５というような場合でも、それが丸め誤差によるもの（本来は２５３．５、２５４．２、２５４．７、２５５となるべき場合等）は広義の意味で上に凸であり単調増加である。
【００３１】
〔第２実施例〕
図２は、本発明の具体的な第２の実施例に係る画像処理装置２０を用いた撮像、処理、表示の一連の構成を示すブロック図である。カラー撮像装置１ｃにより得られた画像データが画像処理装置２０で処理された後、アナログカラー表示装置４ｃに出力される。
【００３２】
画像処理装置２０においての処理は次のとおりである。アナログカラー画像信号がビデオデコーダ２１により、輝度Ｙと、いわゆるＲＧＢ信号を輝度Ｙで除したｒ、ｇ、ｂの信号に分解され、ディジタル値で出力される。即ち、ｒ＝Ｒ／Ｙ、ｇ＝Ｇ／Ｙ、ｂ＝Ｂ／Ｙである。輝度Ｙは輝度レベル変換器２２に、ｒ、ｇ、ｂ信号はｒｇｂメモリ２３に出力される。輝度レベル変換器２２では、第１実施例と同じ関数Ｙ'＝ｆ(Ｙ)により変換された輝度Ｙ'に変換され、変換された輝度Ｙ'はメモリ２４に出力される。こうして、ｒｇｂメモリ２３、メモリ２４に１フレーム毎のｒｇｂ信号と変換された輝度信号Ｙ'が記憶された後、以下の処理が行われる。
【００３３】
１フレーム毎にメモリ２４に記憶されたＹ'を、低周波抑制器２５によりフィルタリング処理を行い、低周波数成分を抑制する。低周波数成分を抑制するフィルタは例えば図１の（ｂ）に示すようなバタワース特性のハイパスフィルタを用いる。こうして、１フレーム毎にメモリ２４に記憶されたＹ'から、低周波数成分を抑制されたＹ''に変換し、再度メモリ２４に１フレーム毎に記憶する。
【００３４】
次に、１フレーム毎にメモリ２４に記憶された低周波数成分を抑制されたＹ''から、最大値検出器２６により最大値Ｙ''maxを検出する。次に予め記憶されているＬmaxを用い、乗算器２７により、Ｌmax及び各画素のＹ''とＹ''maxとから明暗差の抑制された輝度Ｙ''Ｌmax／Ｙ''maxを求める。この明暗差の抑制された輝度Ｙ''Ｌmax／Ｙ''maxに対応するｒ、ｇ、ｂ信号をメモリ２３から読出し、各々乗算器２８ｒ、２８ｇ、２８ｂにおいてＲ'＝ｒＹ''Ｌmax／Ｙ''max、Ｇ'＝ｇＹ''Ｌmax／Ｙ''max、Ｂ'＝ｂＹ''Ｌmax／Ｙ''maxを各々求める。こうして得られたＲ'、Ｇ'、Ｂ'は、照明強度による明暗差の抑制されたＲＧＢ信号であるので、これを基にビデオエンコーダ２９によりアナログカラー表示装置４ｃに入力できるアナログカラー信号を生成する。このようにして、画像処理装置２０は、色情報に変化を来すことなく明暗差を圧縮することができる。
【００３５】
〔第２実施例の変形例〕
上記第２実施例ではＲＧＢ方式の変形を用いたが、ビデオデコーダが輝度Ｙと、通常のＲＧＢを出力するものでも良い。その際は、Ｒ'＝ＲＹ''Ｌmax／ＹＹ''max、Ｇ'＝ＧＹ''Ｌmax／ＹＹ''max、Ｂ'＝ＢＹ''Ｌmax／ＹＹ''maxとなるよう装置を構成する必要が有り、ｒｇｂメモリ２３に対応するＲＧＢメモリ、メモリ２４の他に輝度Ｙを１フレーム毎に記憶するメモリが更に必要となる。また、いわゆるＹＵＶ、ＹＩＱ方式にカラー信号を分解する方式では、Ｙ信号のみを処理するように第２実施例を変形することで構成できる。また、カラー撮像装置１ｃ、アナログカラー表示装置４ｃが各々ディジタルデータ出力及び入力できる装置である場合、ビデオデコーダ及びビデオエンコーダを各々ディジタルカラー信号を所望の形式に変換する演算器に置き替えるのみで構成できる。
【００３６】
〔第３実施例〕
上記第２実施例の構成では、低周波成分を抑制するフィルタリング処理によれ、ＳＮ比の小さい低輝度のエッジ部分が強調されることにより、不自然な色が表示される可能性がある。そこで下記のような構成を付加した実施例を図３示す。
【００３７】
本実施例は、第２実施例において、ビデオデコーダ２１とｒｇｂメモリ２３の間に色変換器２１Ａを加えた構成である。色変換器２１Ａの処理は、輝度Ｙが決められた値Ｙ0より大きいときはビデオデコーダ２１の出力ｒ＝Ｒ／Ｙ、ｇ＝Ｇ／Ｙ、ｂ＝Ｂ／Ｙをそのままｒ'＝ｒ＝Ｒ／Ｙ、ｇ'＝ｇ＝Ｇ／Ｙ、ｂ'＝ｂ＝Ｂ／Ｙとしてｒｇｂメモリ２３にｒ'、ｇ'、ｂ'を出力する。一方、輝度Ｙが決められた値Ｙ0より小さいときは、輝度Ｙであって無彩色を示す信号ｒ'＝１、ｇ'＝１、ｂ'＝１をｒｇｂメモリ２３に出力する。この構成により、低輝度Ｙを有する画素は常に無彩色（灰色又は黒色）として最終的にビデオエンコーダ２９から出力されることになるので、低輝度部分に不自然な着色が成されることが無くなる。
【００３８】
〔第４実施例〕
本実施例は、対象物までの距離に応じて低周波抑制を補正する構成を有するものである。図４は本願の第４の実施例に係る画像処理装置４０を用いた撮像、処理及び表示の一連の構成を示すブロック図である。モノクロ撮像装置１によりえられた画像データがディジタル処理装置２により１フレーム毎の各画素の輝度Ｙとして画像処理装置４０に送られる。画像処理装置４０は、次に述べる処理を行い、アナログ処理装置３に１フレーム毎の輝度Ｙ'''を出力する。アナログ処理装置３は１フレーム毎の各画素の輝度Ｙ'''からアナログ信号を形成してアナログ表示装置４に出力する。
【００３９】
画像処理装置４０の処理内容は次のとおりである。ディジタル処理装置２の出力Ｙは、対数変換器４１によりＹ'＝log(Ｙ)に変換される。次に１フレーム毎にメモリ１２に記憶されたＹ'を、次に述べる低周波抑制器１３によりフィルタリング処理を行い、低周波成分を抑制する。フィルタ記憶部１３Ａでは、画像中の各位置での対象物までの距離に応じた周波数特性のフィルタのカーネルを記憶しておき、低周波抑制器１３は、画像中の各位置においてフィルタ記憶部１３Ａに記憶された対応する位置のフィルタを用いてフィルタリングを行う。走行中の車両から路面を撮像した場合、例えば図５の（ａ）のような撮像画像がえられる。図５の（ａ）の縦軸をｙとすると、図５の（ａ）はｙが大きいほど地平線に近づく画像である。したがって、ｙの大きい位置ほど対象までの距離が大きくなるので、撮像画像中で小さくなり、即ち高周波成分となる。対象物までの距離と無関係な周波数特性のフィルタによりフィルタリングを行うと、ｙの大きい位置での対象物の輪郭等のエッジが、高周波成分として強調され過ぎてしまうのは明らかである。対象までの距離に応じた周波数特性のフィルタを用いることにより、遠くのエッジが強調され過ぎることなくフィルタリングを行うことができる。
【００４０】
画像中の各位置におけるフィルタの周波数特性は、次のように定める。図５の（ｂ）に示すように、高度ｈに設置されたカメラから俯角θで路面を撮像しており、カメラ光学系はピンホールカメラで近似できるものとする。カメラ光学系の光学中心をＯとし、画像面の横方向と縦方向及び光軸方向を、それぞれｘ軸、ｙ軸、ｚ軸とする。レンズの焦点距離をＦとすると、画像面上での位置(ｘ,ｙ)に対応する路面までの距離ｄは、次のとおりとなる。
【数６】
0003807266.tif 000007
【００４１】
フィルタのカットオフ周波数をｄに比例させることにより、対象までの距離に応じた周波数特性となる。画像中の全ての位置におけるフィルタを記憶する必要はなく、距離ｄの所定範囲を１つのフィルタで近似して用いても良い。また、距離ｄとフィルタのカットオフ周波数を完全に比例させずに、距離ｄの変化に対するカットオフ周波数の変化の度合いを緩和させても良い。例えば、図１（ｂ）で空間周波数ｆの小さい領域で、｜Ｈ(ｆ)｜をｄ大で大きく、ｄ小で小さくしても良い。
【００４２】
こうして、１フレーム毎にメモリ１２に記憶されたＹ'から、低周波成分を抑制されたＹ''に変換し、再度メモリ１２に１フレーム毎に記憶する。次に、１フレーム毎にメモリ１２に記憶された低周波成分を抑制されたＹ''から、演算器４２により最大値Ｙ''maxと、平均値Ｙ''aveを検出する。次に予め記憶されている表示装置の入力レベルの最大値Ｌmaxとから、乗算係数Ｍ及び加算係数Ｐを係数算出器４３により算出し、乗算器１６で係数Ｍを乗じて、加算器４４で係数Ｐを加え、出力Ｙ'''＝ＭＹ''＋Ｐを求める。乗算係数Ｍと加算係数Ｐは次の式により求める。
【数７】
0003807266.tif 000008
【００４３】
加算器４４の出力Ｙ'''は、逆対数変換器４５によりＹ''''＝exp(Ｙ''')に変換される。逆対数変換器４５の出力Ｙ''''は、照明強度の抑制された画像出力としてアナログ処理装置３に出力される。
【００４４】
さて、メモリ１２に記憶された低周波成分を抑制された輝度Ｙ''の最大値Ｙ''maxと、平均値Ｙ''aveは、係数Ｍを乗ぜられたのち係数Ｐを加算されるのでそれぞれlogＬmaxと、log(Ｌmax/２)に変換され、更に逆対数変換により、それぞれＬmaxとＬmax/２に変換される。即ち、輝度Ｙ''の最大値と平均値は、表示装置の入力レベルのそれぞれ最大値と中央値に変換されて表示装置に表示されるので、表示装置の明るさレンジを有効に使い、適切な明るさで表示することができる。このようにして画像処理装置４０は、遠くの対象のエッジが強調され過ぎることなく、明暗差を抑制しつつ画像のダイナミックレンジを圧縮することができる。本実施例の画像処理装置４０の主たる特徴である低周波抑制器１３とフィルタ記憶部１３Ａは、請求項３に係る発明の具体的な実施例を構成する。
【００４５】
〔第４実施例の変形例〕
第４実施例では、対象までの距離のみを考慮したフィルタリングを行う方法を示したが、対象を観察する方向による対象の形状の変形も考慮したフィルタリングを行うことも可能である。図５（ａ）のように、例えば路面の円形のマンホールは撮像により楕円として入力される。即ち、対象の縦横比が変化し、縦方向と横方向とで異なった周波数特性となるため、縦方向のエッジが強調され過ぎることがある。図５の（ｂ）に示したように、路面を撮像する場合、画像面上の位置(ｘ,ｙ)において、路面上の構造物の縦横比は次式のＲとなる。
【数８】
0003807266.tif 000009
【００４６】
縦方向のカットオフ周波数が横方向のカットオフ周波数のＲ倍であるような周波数特性のコンボルーションフィルタのカーネルをフィルタ記憶部１３Ａに記憶し、これを用いてフィルタリングを行うことにより、縦方向のエッジが強調され過ぎることなく低周波成分の抑制を行うことが可能となる。
【００４７】
また、実際の大きさと縦横比が等しい対象物は、その画像中での位置によらず画像中での大きさと縦横比もほぼ等しくなるように、入力画像に幾何学的変換を行った後に、同一のコンボルーションカーネルで画像全体にフィルタリングを行い、逆の幾何学的変化を行うことにより、実際の対象の大きさと縦横比に応じた周波数特性でのフィルタリングを実現することができる。この場合、装置の構成は、低周波抑制器１３の前段と後段に幾何学的変換器と対応する逆幾何学的変換器とを設け、フィルタ記憶部１３Ａは不要となる。このような幾何学的変換の例として、図５（ａ）の入力画像において対象が全て路面であると仮定して、路面を真上から観察した画像に変換する方法がある。図５の（ｂ）にしめしたように路面を撮像する場合、画像面を路面に投影して画像面上の座標(ｘ,ｙ)を路面上の座標(x',y')に変化することにより、路面を真上から観察した画像に変換することができる。画像面上の座標(x,y)は次の式で路面上の座標(x',y')に変換できる。
【数９】
0003807266.tif 000010
【００４８】
路面を真上から観察した画像では、画像中の位置によらず対象までの距離がほぼ等しいので、実際の大きさと縦横比が等しい対象物の画像中での大きさと縦横比は画像中での位置によらずほぼ等しくなる。このように、入力画像に幾何学的変換を行ったのちに、同一の周波数特性のフィルタを用いて画像全体にフィルタリングを行い、対応する逆幾何学的変換を行うことにより、遠くの対象のエッジや縦方向のエッジが強調され過ぎることなく低周波成分を抑制することができる。
【００４９】
〔第５実施例〕
図７は、本発明の具体的な第５の実施例に係る画像処理装置５０を用いた撮像、表示の一連の構成を示すブロック図である。本実施例の画像処理装置５０は、第４実施例の画像処理装置４０の内部構成の一部と、第１実施例の画像処理装置１０の内部構成の一部とを組合せ、両者の利点を共に有するものである。
【００５０】
即ち、本実施例の画像処理装置５０の構成は、第１実施例の画像処理装置１０の構成要素である低周波抑制器１３に、第４実施例の画像処理装置４０の構成要素であるフィルタ記憶部１３Ａに当たるフィルタ記憶部５Ａを追加したものである。よって、本実施例の画像処理装置５０は、第１実施例の画像処理装置１０の効果である、非線形変換を１度だけ用いて明暗差を圧縮することができることと、第４実施例の画像処理装置４０の効果である、遠くの対象のエッジが強調され過ぎることがないことの、２つの効果を併せ持つ。本実施例の画像処理装置５０は、請求項１に係る発明の具体的な実施例に当たる。
【００５１】
〔第６実施例〕
図８は、本発明の具体的な第６の実施例に係る画像処理装置６０を用いた撮像、表示の一連の構成を示すブロック図である。本実施例の画像処理装置６０は、第４実施例の画像処理装置４０の内部構成の一部を、第２実施例の画像処理装置２０の内部構成に盛り込み、両者の利点を共に有するものである。
【００５２】
即ち、本実施例の画像処理装置６０の構成は、第２実施例の画像処理装置２０の構成要素である低周波抑制器２５に、第４実施例の画像処理装置４０の構成要素であるフィルタ記憶部１３Ａに当たるフィルタ記憶部６Ａを追加したものである。よって、本実施例の画像処理装置６０は、第２実施例の画像処理装置２０の効果である、非線形変換を１度だけ用いて色情報に変化を来すことなく明暗差を圧縮することができることと、第４実施例の画像処理装置４０の効果である、遠くの対象のエッジが強調され過ぎることがないことの、２つの効果を併せ持つ。本実施例の画像処理装置６０は、請求項２に係る発明の具体的な実施例に当たる。
【００５３】
〔第７実施例〕
図９は、本発明の具体的な第７の実施例に係る画像処理装置７０を用いた撮像、表示の一連の構成を示すブロック図である。本実施例の画像処理装置７０は、第４実施例の画像処理装置４０の構成と、第２実施例の画像処理装置２０の内部構成の一部とを組合せたものであり、第４実施例の利点をカラー画像処理において有するものである。
【００５４】
即ち、本実施例の画像処理装置７０の構成は、第２実施例の画像処理装置２０の構成要素であるビデオデコーダ２１、ｒｇｂメモリ２３、乗算器２８ｒ、２８ｇ、２８ｂ、ビデオエンコーダ２９と、第４実施例の画像処理装置４０の構成要素の全てである対数変換器４１、メモリ１２、低周波抑制器１３、フィルタ記憶部１３Ａ、演算器４２、係数算出器４３、乗算器１６、加算器４４、逆対数変換器４５を有するものである。また、第２実施例の画像処理装置２０においてビデオデコーダ２１の出力が輝度レベル変換器２２乃至乗算器２７によってｒ、ｇ、ｂに乗ぜられる係数を算出するのに対応して、本実施例の画像処理装置７０は、第４実施例の画像処理装置４０同様、対数変換器４１乃至逆対数変換器４５によりｒ、ｇ、ｂに乗ぜられる係数を算出するものである。よって、本実施例の画像処理装置７０は、第２実施例の画像処理装置２０の効果である、色情報に変化を来すことなく明暗差を圧縮することができることと、第４実施例の画像処理装置４０の効果である、遠くの対象のエッジが強調され過ぎることがないことの、２つの効果を併せ持つ。本実施例の画像処理装置７０の主たる特徴であるビデオデコーダ２１、低周波抑制器１３、フィルタ記憶部１３Ａ、乗算器２８ｒ、２８ｇ、２８ｂは、請求項４に係る発明の具体的な実施例に当たる。
【００５５】
〔第５乃至第７実施例の変形例〕
第５乃至第７実施例は、第１、第２、第４実施例を組み合わせたものであると言えるので、第１、第２、第４実施例の変形例を第５乃至第７実施例に適用できることは当然である。即ち、第５実施例には第１実施例の変形例及び／又は第４実施例の変形例に当たる変形例を容易に作ることができ、第６又は第７実施例には第２実施例の変形例及び／又は第４実施例の変形例に当たる変形例を容易に作ることができる。また、第３実施例で、第２実施例に色調変換器２１Ａを加えた構成を挙げたように、第６、第７実施例に色調変換器２１Ａを加えてもよい。それらは、請求項２の従属請求項たる請求項５に係る発明、請求項４の従属請求項たる請求項５に係る発明の具体的な実施例に当たる。
【図面の簡単な説明】
【図１】  （ａ）は本発明の具体的な第１の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図、（ｂ）は低周波抑制器のフィルタの一例を示したグラフ図。
【図２】  本発明の具体的な第２の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図３】  本発明の具体的な第３の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図４】  本発明の具体的な第４の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図５】  第４実施例の機能を説明するための図。
【図６】  従来の２つのダイナミックレンジ圧縮方法の概略を示すブロック図。
【図７】  本発明の具体的な第５の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図８】  本発明の具体的な第６の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図９】  本発明の具体的な第７の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【符号の説明】
１０、２０、３０、４０、５０、６０、７０  画像処理装置
１１、２２  輝度レベル変換器
１２、２４  メモリ
１３、２５  低周波抑制器
１３Ａ、５Ａ、６Ａ  フィルタ記憶部
１４、２６  最大値検出器
１５、４３  係数算出器
１６、２７、２８ｒ、２８ｇ、２８ｂ  乗算器
２１  ビデオデコーダ
２１Ａ  色調変換器
２３  ｒｇｂメモリ
４１  対数変換器
４２  演算器
４４  加算器
４５  逆対数変換器
【図１】
0003807266.tif 000011
【図２】
0003807266.tif 000012
【図３】
0003807266.tif 000013
【図４】
0003807266.tif 000014
【図５】
0003807266.tif 000015
【図６】
0003807266.tif 000016
【図７】
0003807266.tif 000017
【図８】
0003807266.tif 000018
【図９】
0003807266.tif 000019