(57)【要約】【課題】使用するメモリの容量がより小さく、演算量が少なくて、ハードウェア化が容易であり、かつ、適切に階調圧縮された画像のコントラストを強調する。【解決手段】ステップＳ２１で、広ＤＲ画像Ｌの輝度が対数変換される。ステップＳ２２で、対数トーンカーブ補正画像logＬcが生成される。ステップＳ２３で、対数縮小画像logＬclが生成され、さらに、補間演算により、対数平滑化画像の画素の輝度logＬcl（ｐ）が算出される。ステップＳ２４で、ゲイン値ｇ（ｐ）が各画素位置に対して算出される。ステップＳ２５で、対数階調圧縮画像logＬuの画素の輝度logＬu（ｐ）が算出される。ステップＳ２６で、輝度logＬu（ｐ）が対数逆変換される。本発明は、ディジタルビデオカメラ等の撮影デバイス、ディスプレイ、プリンタ等の再現デバイスに適用することができる。【選択図】図１６
2008259242.tif 000002
【特許請求の範囲】
【請求項１】
画像のコントラストを補正する画像処理装置において、
入力された前記画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化手段と、
入力された前記画像を構成する画素の輝度Ｌc、前記平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正手段と、
前記ゲイン値ｇを設定するゲイン値設定手段と
を含み、
前記ゲイン値設定手段は、前記ゲイン値ｇを、入力された初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、および入力された前記画像を構成する画素の前記輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する
画像処理装置。
【請求項２】
前記ゲイン値設定手段は、前記ゲイン値ｇを次式
ｇ＝１＋（ｇ0−１）・attn（Ｔｈ1，Ｔｈ2，Ｌc）
に従って設定する
請求項１に記載の画像処理装置。
【請求項３】
前記ゲイン値設定手段は、前記減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）を、次式
attn（Ｔｈ1，Ｔｈ2，Ｌc）＝｜（Ｌc−Ｔｈ1）／（Ｔｈ2−Ｔｈ1）｜
（２Ｔｈ1−Ｔｈ2≦Ｌc≦Ｔｈ2）
attn（Ｔｈ1，Ｔｈ2，Ｌc）＝１
（Ｌc＜２Ｔｈ1−Ｔｈ2，Ｔｈ2＜Ｌc）
に従って算出する
請求項２に記載の画像処理装置。
【請求項４】
前記コントラスト補正手段は、前記コントラスト補正画像を構成する画素の輝度Ｌuを、次式
Ｌu＝ｇ・（Ｌc−Ｌl）＋Ｌl
に基づいて算出する
請求項１に記載の画像処理装置。
【請求項５】
前記第１の輝度閾値Ｔｈ1は、中庸のグレイレベルであり、
前記第２の輝度閾値Ｔｈ2は、最大の白レベルである
請求項１に記載の画像処理装置。
【請求項６】
前記平滑化手段に入力する前の前記画像を構成する画素の輝度Ｌcを対数変換する対数変換手段と、
前記コントラスト補正手段によって出力された前記コントラスト補正画像を構
成する画素の輝度を対数逆変換する対数逆変換手段と
をさらに含む請求項１に記載の画像処理装置。
【請求項７】
画像のコントラストを補正する画像処理装置の画像処理方法において、
入力された前記画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化ステップと、
入力された前記画像を構成する画素の輝度Ｌc、前記平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップと、
前記ゲイン値ｇを設定するゲイン値設定ステップと
を含み、
前記ゲイン値設定ステップの処理は、前記ゲイン値ｇを、入力された初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、および入力された前記画像を構成する画素の前記輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する
画像処理方法。
【請求項８】
入力された前記画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化ステップと、
入力された前記画像を構成する画素の輝度Ｌc、前記平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップと、
前記ゲイン値ｇを設定するゲイン値設定ステップと
を含み、
前記ゲイン値設定ステップは、前記ゲイン値ｇを、入力された初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、および入力された前記画像を構成する画素の前記輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する
処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項９】
入力された前記画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化ステップと、
入力された前記画像を構成する画素の輝度Ｌc、前記平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップと、
前記ゲイン値ｇを設定するゲイン値設定ステップと
を含み、
前記ゲイン値設定ステップは、前記ゲイン値ｇを、入力された初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、および入力された前記画像を構成する画素の前記輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する
処理をコンピュータに実行させるプログラム。
【請求項１０】
画像の輝度の階調を圧縮する画像処理装置において、
入力された前記画像を構成する画素の輝度Ｌを、変換関数に基づいて変換し、トーン変換画像を生成する変換手段と、
前記トーン変換画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化手段と、
前記トーン変換画像を構成する画素の輝度Ｌc、前記平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正手段と、
前記変換関数の傾きγの逆数１／γである初期ゲイン値ｇ0に基づき、前記ゲイン値ｇを設定するゲイン値設定手段と
を含み、
前記ゲイン値設定手段は、前記ゲイン値ｇを、前記初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、および前記トーン変換画像を構成する画素の前記輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する
画像処理装置。
【請求項１１】
前記ゲイン値設定手段は、前記ゲイン値ｇを次式
ｇ＝１＋（ｇ0−１）・attn（Ｔｈ1，Ｔｈ2，Ｌc）
に従って設定する
請求項１０に記載の画像処理装置。
【請求項１２】
前記ゲイン値設定手段は、前記減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）を、次式
attn（Ｔｈ1，Ｔｈ2，Ｌc）＝｜（Ｌc−Ｔｈ1）／（Ｔｈ2−Ｔｈ1）｜
（２Ｔｈ1−Ｔｈ2≦Ｌc≦Ｔｈ2）
attn（Ｔｈ1，Ｔｈ2，Ｌc）＝１
（Ｌc＜２Ｔｈ1−Ｔｈ2，Ｔｈ2＜Ｌc）
に従って算出する
請求項１１に記載の画像処理装置。
【請求項１３】
前記コントラスト補正手段は、前記コントラスト補正画像を構成する画素の輝度Ｌuを、次式
Ｌu＝ｇ・（Ｌc−Ｌl）＋Ｌl
に基づいて算出する
請求項１０に記載の画像処理装置。
【請求項１４】
前記第１の輝度閾値Ｔｈ1は、中庸のグレイレベルであり、
前記第２の輝度閾値Ｔｈ2は、最大の白レベルである
請求項１０に記載の画像処理装置。
【請求項１５】
前記トーン変換手段に入力する前の前記画像を構成する画素の輝度Ｌを対数変換する対数変換手段と、
前記コントラスト補正手段によって出力された前記コントラスト補正画像を構成する画素の輝度を対数逆変換する対数逆変換手段と
をさらに含む請求項１０に記載の画像処理装置。
【請求項１６】
前記平滑化手段は、
入力された前記トーン変換画像を縮小して、縮小画像を生成する縮小手段と、
前記縮小画像を構成する画素を用いた補間演算により、前記平滑化画像の画素の輝度Ｌlを演算する補間手段と
を含む
請求項１０に記載の画像処理装置。
【請求項１７】
画像の輝度の階調を圧縮する画像処理装置の画像処理方法において、
入力された前記画像を構成する画素の輝度Ｌを、変換関数に基づいて変換し、トーン変換画像を生成する変換ステップと、
前記トーン変換画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化ステップと、
前記トーン変換画像を構成する画素の輝度Ｌc、前記平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップと、
前記変換関数の傾きγの逆数１／γである初期ゲイン値ｇ0に基づき、前記ゲイン値ｇを設定するゲイン値設定ステップと
を含み、
前記ゲイン値設定ステップは、前記ゲイン値ｇを、前記初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、および前記トーン変換画像を構成する画素の前記輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する
画像処理方法。
【請求項１８】
入力された前記画像を構成する画素の輝度Ｌを、変換関数に基づいて変換し、トーン変換画像を生成する変換ステップと、
前記トーン変換画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化ステップと、
前記トーン変換画像を構成する画素の輝度Ｌc、前記平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップと、
前記変換関数の傾きγの逆数１／γである初期ゲイン値ｇ0に基づき、前記ゲイン値ｇを設定するゲイン値設定ステップと
を含み、
前記ゲイン値設定ステップは、前記ゲイン値ｇを、前記初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、および前記トーン変換画像を構成する画素の前記輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する
処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項１９】
入力された前記画像を構成する画素の輝度Ｌを、変換関数に基づいて変換し、トーン変換画像を生成する変換ステップと、
前記トーン変換画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化ステップと、
前記トーン変換画像を構成する画素の輝度Ｌc、前記平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップと、
前記変換関数の傾きγの逆数１／γである初期ゲイン値ｇ0に基づき、前記ゲイン値ｇを設定するゲイン値設定ステップと
を含み、
前記ゲイン値設定ステップは、前記ゲイン値ｇを、前記初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、および前記トーン変換画像を構成する画素の前記輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、記録媒体、およびプログラムに関し、特に、見栄得を損なうことなく、画像のコントラストを強調する場合に用いて好適な画像処理装置、画像処理方法、記録媒体、およびプログラムに関する。
【背景技術】
【０００２】
従来、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の固体撮像素子がビデオカメラやスチルカメラなどの撮像機器、ＦＡ(Factory Automation)における部品検査装置、ME(Medical Electronics)における電子内視鏡などの光計測装置等に幅広く利用されている。
【０００３】
近年、これらの固体撮像素子を用いて光学フィルム写真に匹敵するような画素値のダイナミックレンジが広い画像（以下、広ＤＲ画像と記述する）を得るための技術が多数提案されている（例えば、特許文献１参照）。
【０００４】
一方、動画像や静止画像を表示するCRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)等の表示装置、プロジェクタ等の投影装置、各種の印刷装置は、現在においても、対応できる画素値のダイナミックレンジは広域化されておらず、対応可能な輝度階調に制限がある。このため、広ＤＲ画像を撮影したとしても、それをその状態で表示、投影あるいは印刷可能な装置が存在していないのが現状である。
【０００５】
そこで、当面においては、広ＤＲ画像の画素値のダイナミックレンジを狭めて、換言すれば、輝度階調を圧縮して、表示装置などのダイナミックレンジに適応させた画像（以下、狭ＤＲ画像と記述する）を生成するための技術（以下、階調圧縮技術と記述する）が必要とされている。
【０００６】
ここで、従来において提案された階調圧縮技術について説明する。階調圧縮技術は、単純には、広ＤＲ画像の画素値の階調を、表示装置等が対応可能なより狭いダイナミックレンジの階調に合わせて再配分することにより実現される。
【０００７】
しかしながら、上述したように、単に、広ＤＲ画像の画素値の階調を、狭いダイナミックレンジに均等に階調を再配分しただけでは、画像全体の輝度変化が小さくなってしまい、コントラストが低下した見栄得が悪い画像に変換されてしまうことになる。そこで、従来、コントラスト低下を抑制することができる階調圧縮技術がいくつか提案されている。以下、従来提案されている３種類の階調圧縮技術について説明する。
【０００８】
第１の階調圧縮技術としては、入力する広ＤＲ画像の輝度のヒストグラムに基づき、階調の再配分規則を適応的に決定する（具体的には、階調変換曲線を、入力画像のヒストグラムを元に算出する）技術を挙げることができる。第１の階調圧縮技術は、画像中の重要な被写体が占める面積の比率は大きいことを前提として、ヒストグラムのピーク近辺の輝度値になるべく多くの階調を配分するように階調変換曲線を決定するようにし、少なくとも重要な被写体におけるコントラスト低下を抑制しようとするものである（例えば、特許文献２参照）。
【０００９】
しかしながら、このような階調配分のみの工夫ではあらゆる状況で満足が得られる結果を得ることは難しい。例えば、重要な被写体が画像中に複数存在する場合、背景が均一な輝度であって、かつ、比較的広い面積を占めている場合（例えば青空）などでは、しばしば被写体に十分な階調が配分されなくなることがある。
【００１０】
第２の階調圧縮技術としては、階調変換前または後のどちらか一方において画像中の高周波成分を強調する技術を挙げることができる。第２の階調圧縮技術は、階調変換によって失われた（または階調変換によって失われると思われる）コントラストを画像から見積もり、その分をアンシャープマスキングなどの高周波強調フィルタを用いて補償するものである（例えば、特許文献３参照）。
【００１１】
第２の階調圧縮技術は、第１の階調圧縮技術のように画像の構図に依存する問題は生じないという利点がある。しかしながら、高周波強調フィルタは被写体の輪郭部分においてオーバーシュートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があり、見栄得が良い画像を得られないことがある。
【００１２】
第３の階調変換技術としては、広ＤＲ画像を低周波成分画像と高周波成分画像に分離し、高周波成分画像はそのままに、低周波成分画像に対して適当な階調変換処理を施して、最後にそれらを１つの画像に加算合成する技術を挙げることができる（例えば、特許文献４参照）。
【００１３】
第３の階調変換技術によれば、広ＤＲ画像の高周波成分は階調圧縮を施さないので、生成される画像のコントラスト低下を防ぐことができる。しかしながら、第３の階調変換技術も、第２の階調変換技術と同様に、被写体の輪郭部分において輝度のオーバーシュートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があるので、低周波成分画像と高周波成分画像に分離する処理に非線形フィルタ（例えば、メディアンフィルタ）を用いることにより、この問題を解決する方法も提案されている（例えば、特許文献４参照）。
【００１４】
【特許文献１】特開平８−２２３４９１号公報
【特許文献２】特開平９−３３１４６９号公報
【特許文献３】特開２０００−１１５５３４号公報
【特許文献４】特開平９−２１４７６６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
以上に説明した第１乃至第３の階調圧縮技術をまとめると以下の課題が存在する。
【００１６】
第１に、高周波成分を強調することに伴い、被写体の輪郭部分において輝度のオーバーシュートが生じることである。これを抑止するためには、比較的大きいサイズ（２０×２０画素）の２次元非線形フィルタが必要であるが、このようなサイズの２次元非線形フィルタをソフトウェアとして実現するには演算コストが非常に大きくなる課題があり、ハードウェアとして実現するためにはディレイラインを大量に必要とするため回路規模が大きくなってしまう課題があった。
【００１７】
第２に、高輝度域および低輝度域における高周波成分のコントラスト強調量の制御についてである。上述した第２および第３の階調圧縮技術では、輝度を低周波成分と高周波成分に分離して、低周波成分を比較的抑制し、高周波成分を強調することにより、コントラストを保持した階調圧縮を行うことが共通している。
【００１８】
しかしながら、表示装置などが許容する最大輝度と最小輝度の近辺では高周波成分を強調することによって輝度のクリッピングが生じて結果的に画像のディテールが失われ、適切な階調変換が行われたとはいえないので、輝度のクリッピングが生じないような対処が必要である課題があった。
【００１９】
さらに、輝度のクリッピングが生じないような状態でも、コントラストの強調が強すぎれば、被写体の輪郭部分が不自然に強調された画像となってしまう課題があった。
【００２０】
本発明はこのような状況に鑑みてなされたものであり、使用するメモリの容量がより小さく、演算が少なくて、ハードウェア化が容易であり、かつ、適切に画像のコントラストを強調できるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の第１の側面である画像処理装置は、入力された画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化手段と、入力された画像を構成する画素の輝度Ｌ、平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正手段と、ゲイン値ｇを設定するゲイン値設定手段とを含み、前記ゲイン値設定手段は、ゲイン値ｇを、入力された初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、および入力された画像を構成する画素の輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する。
【００２２】
前記ゲイン値設定手段は、ゲイン値ｇを次式
ｇ＝１＋（ｇ0−１）・attn（Ｔｈ1，Ｔｈ2，Ｌc）
に従って設定するようにすることができる。
【００２３】
前記ゲイン値設定手段は、減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）を、次式
attn（Ｔｈ1，Ｔｈ2，Ｌc）＝｜（Ｌc−Ｔｈ1）／（Ｔｈ2−Ｔｈ1）｜
（２Ｔｈ1−Ｔｈ2≦Ｌc≦Ｔｈ2）
attn（Ｔｈ1，Ｔｈ2，Ｌc）＝１
（Ｌc＜２Ｔｈ1−Ｔｈ2，Ｔｈ2＜Ｌc）
に従って算出するようにすることができる。
【００２４】
前記コントラスト補正手段は、コントラスト補正画像を構成する画素の輝度Ｌuを、次式
Ｌu＝ｇ・（Ｌc−Ｌl）＋Ｌl
に基づいて算出するようにすることができる。
【００２５】
前記第１の輝度閾値Ｔｈ1は、中庸のグレイレベルであり、前記第２の輝度閾値Ｔｈ2は、最大の白レベルであるようにすることができる。
【００２６】
本発明の第１の側面である画像処理装置は、平滑化手段に入力する前の画像を構成する画素の輝度Ｌcを対数変換する対数変換手段と、コントラスト補正手段によって出力されたコントラスト補正画像を構成する画素の輝度を対数逆変換する対数逆変換手段とをさらに含むことができる。
【００２７】
本発明の第１の側面である画像処理方法は、入力された画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化ステップと、入力された画像を構成する画素の輝度Ｌ、平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップと、ゲイン値ｇを設定するゲイン値設定ステップとを含み、前記ゲイン値設定ステップの処理は、ゲイン値ｇを、入力された初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、および入力された画像を構成する画素の輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する。
【００２８】
本発明の第１の側面である記録媒体は、入力された画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化ステップと、入力された画像を構成する画素の輝度Ｌc、平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップと、ゲイン値ｇを設定するゲイン値設定ステップとを含み、前記ゲイン値設定ステップは、ゲイン値ｇを、入力された初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、および入力された画像を構成する画素の輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する処理をコンピュータに実行させるプログラムが記録されている。
【００２９】
本発明の第１の側面であるプログラムは、入力された画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化ステップと、入力された画像を構成する画素の輝度Ｌc、平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップと、ゲイン値ｇを設定するゲイン値設定ステップとを含み、前記ゲイン値設定ステップは、ゲイン値ｇを、入力された初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、および入力された画像を構成する画素の輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する処理をコンピュータに実行させる。
【００３０】
本発明の第１の側面においては、入力された画像を構成する画素の輝度Ｌcを元に平滑化画像が生成され、入力された画像を構成する画素の輝度Ｌ、平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像が生成される。ゲイン値ｇは、入力された初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、および入力された画像を構成する画素の輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定される。
【００３１】
本発明の第２の側面である画像処理装置は、入力された画像を構成する画素の輝度Ｌを、変換関数に基づいて変換し、トーン変換画像を生成する変換手段と、トーン変換画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化手段と、トーン変換画像を構成する画素の輝度Ｌc、平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正手段と、変換関数の傾きγの逆数１／γである初期ゲイン値ｇ0に基づき、ゲイン値ｇを設定するゲイン値設定手段とを含み、前記ゲイン値設定手段は、ゲイン値ｇを、初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、およびトーン変換画像を構成する画素の輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する。
【００３２】
前記ゲイン値設定手段は、ゲイン値ｇを次式
ｇ＝１＋（ｇ0−１）・attn（Ｔｈ1，Ｔｈ2，Ｌc）
に従って設定するようにすることができる。
【００３３】
前記ゲイン値設定手段は、減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）を、次式
attn（Ｔｈ1，Ｔｈ2，Ｌc）＝｜（Ｌc−Ｔｈ1）／（Ｔｈ2−Ｔｈ1）｜
（２Ｔｈ1−Ｔｈ2≦Ｌc≦Ｔｈ2）
attn（Ｔｈ1，Ｔｈ2，Ｌc）＝１
（Ｌc＜２Ｔｈ1−Ｔｈ2，Ｔｈ2＜Ｌc）
に従って算出するようにすることができる。
【００３４】
前記コントラスト補正手段は、コントラスト補正画像を構成する画素の輝度Ｌuを、次式
Ｌu＝ｇ・（Ｌc−Ｌl）＋Ｌl
に基づいて算出するようにすることができる。
【００３５】
前記第１の輝度閾値Ｔｈ1は、中庸のグレイレベルであり、前記第２の輝度閾値Ｔｈ2は、最大の白レベルであるようにすることができる。
【００３６】
本発明の第２の側面である画像処理装置は、トーン変換手段に入力する前の画像を構成する画素の輝度Ｌを対数変換する対数変換手段と、コントラスト補正手段によって出力されたコントラスト補正画像を構成する画素の輝度を対数逆変換する対数逆変換手段とをさらに含むことができる。
【００３７】
前記平滑化手段は、入力されたトーン変換画像を縮小して、縮小画像を生成する縮小手段と、縮小手段によって生成された縮小画像を構成する画素を用いた補間演算により、平滑化画像の画素の輝度Ｌlを演算する補間手段とを含むようにすることができる。
【００３８】
本発明の第２の側面である画像処理方法は、入力された画像を構成する画素の輝度Ｌを、変換関数に基づいて変換し、トーン変換画像を生成する変換ステップと、トーン変換画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化ステップと、トーン変換画像を構成する画素の輝度Ｌc、平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップと、変換関数の傾きγの逆数１／γである初期ゲイン値ｇ0に基づき、ゲイン値ｇを設定するゲイン値設定ステップとを含み、前記ゲイン値設定ステップは、ゲイン値ｇを、初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、およびトーン変換画像を構成する画素の輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する。
【００３９】
本発明の第２の側面である記録媒体は、入力された画像を構成する画素の輝度Ｌを、変換関数に基づいて変換し、トーン変換画像を生成する変換ステップと、トーン変換画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化ステップと、トーン変換画像を構成する画素の輝度Ｌc、平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップと、変換関数の傾きγの逆数１／γである初期ゲイン値ｇ0に基づき、ゲイン値ｇを設定するゲイン値設定ステップとを含み、前記ゲイン値設定ステップは、ゲイン値ｇを、初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、およびトーン変換画像を構成する画素の輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する処理をコンピュータに実行させるプログラムが記録されている。
【００４０】
本発明の第２の側面であるプログラムは、入力された画像を構成する画素の輝度Ｌを、変換関数に基づいて変換し、トーン変換画像を生成する変換ステップと、トーン変換画像を構成する画素の輝度Ｌcを平滑化して、平滑化画像を生成する平滑化ステップと、トーン変換画像を構成する画素の輝度Ｌc、平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップと、変換関数の傾きγの逆数１／γである初期ゲイン値ｇ0に基づき、ゲイン値ｇを設定するゲイン値設定ステップとを含み、前記ゲイン値設定ステップの処理は、ゲイン値ｇを、初期ゲイン値ｇ0、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、およびトーン変換画像を構成する画素の輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定する処理をコンピュータに実行させる。
【００４１】
本発明の第２の側面においては、入力された画像を構成する画素の輝度Ｌが、変換関数に基づいてトーン変換画像に変換され、トーン変換画像を構成する画素の輝度Ｌcを元に平滑化画像が生成される。また、トーン変換画像を構成する画素の輝度Ｌc、平滑化画像を構成する画素の輝度Ｌl、およびゲイン値ｇに基づき、コントラスト補正画像が生成される。ゲイン値ｇは、変換関数の傾きγの逆数１／γ、基準ゲイン値１、並びに、第１の輝度閾値Ｔｈ1、第２の輝度閾値Ｔｈ2、およびトーン変換画像を構成する画素の輝度Ｌcによって算出される減衰値attn（Ｔｈ1，Ｔｈ2，Ｌc）に基づいて設定される。
【発明の効果】
【００４２】
以上のように、本発明によれば、使用するメモリの容量がより小さく、演算量が少なくて、ハードウェア化が容易であり、かつ、適切に階調圧縮された画像のコントラストを強調することが可能となる。
【発明を実施するための最良の形態】
【００４３】
図１は、本発明を適用した画像処理システムの構成例を示している。この画像処理システム１は、被写体を撮影し、通常よりも広いダイナミックレンジの画素値（輝度）を有する画素から構成される広ＤＲ画像Ｌを生成するビデオカメラ２、ビデオカメラ２によって生成された広ＤＲ画像Ｌの階調を、ディスプレイ１１が表示可能な階調の範囲に圧縮する画像処理装置１０、および画像処理装置１０によって生成される階調圧縮画像Ｌuを表示するディスプレイ１１から構成される。
【００４４】
ビデオカメラ２は、被写体の光画像を集光するレンズ３、光画像の光量を調整する絞り４、集光された光画像を光電変換して輝度信号を生成するCCDイメージセンサ５、生成された輝度信号からノイズ成分を除去する前置増幅器(Pre-amp.)６、ノイズ成分が除去された輝度信号を、例えば１４乃至１６ビット程度のビット幅のディジタルデータに変換するＡＤコンバータ（Ａ／Ｄ）７、およびディジタル化された輝度を有する画素から構成される広ＤＲ画像Ｌを画像処理装置１０に出力するＩ／Ｏインタフェース（Ｉ／Ｏ）８から構成される。
【００４５】
図２は、画像処理システム１の動作概要を示している。ステップＳ１において、ビデオカメラ２は、被写体を撮影し、対応する広ＤＲ画像Ｌを生成して、画像処理装置１０に出力する。ステップＳ２において、画像処理装置１０は、広ＤＲ画像Ｌに階調圧縮処理を施して階調圧縮画像Ｌuを生成し、ディスプレイ１１に出力する。ステップＳ３において、ディスプレイ１１は、階調圧縮画像Ｌuを表示する。
【００４６】
次に、図３は、画像処理装置１０の第１の構成例を示している。画像処理装置１０のトーンカーブ補正部２１は、ビデオカメラ２から入力される広ＤＲ画像Ｌを、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正し、その結果として得られるトーンカーブ補正画像Ｌcを、平滑化輝度生成部２２、ゲイン値設定部２３、およびコントラスト補正部２４に出力する。なお、このトーンカーブ補正画像Ｌcは、階調が圧縮されており、階調が圧縮されたことに起因して、コントラストが弱められたものとなっている。また、トーンカーブ補正部２１は、補正に用いたトーンカーブの傾きを示す代表値γをゲイン値設定部２３に出力する。
【００４７】
図４は、トーンカーブ補正部２１の構成例を示している。トーンカーブ補正部２１のLUTメモリ３１には、図５に示すような単調増加のトーンカーブに相当するルックアップテーブル（以下、LUTと記述する）と、トーンカーブの傾きを示す代表値γが予め保持されている。なお、LUTの代わりに、トーンカーブに相当する関数を保持するようにしてもよい。テーブル参照部３２は、LUTメモリ３１に保持されているLUTに基づき、広ＤＲ画像Ｌを、トーンカーブ補正画像Ｌcに補正する。
【００４８】
図５は、トーンカーブの一例を示しており、横軸が広ＤＲ画像Ｌの輝度を、縦軸が補正後のトーンカーブ補正画像Ｌcの輝度を、それぞれ［０，１］に正規化して表示している。図５に示されたトーンカーブは、正規化された広ＤＲ画像Ｌの輝度値が０．５よりも大きい場合にはその値を補正せず、正規化された広ＤＲ画像Ｌの輝度値が０．５よりも小さい場合には、その値が小さいほど、大きな補正量で補正する。つまり、ディスプレイ１１に表示されたとき、画像の中の暗い領域が黒くつぶれないように補正が行われる。なお、トーンカーブの傾きを示す代表値γは、例えば、輝度全域の傾きをそれぞれ求めて、それらの平均値を代表値γとすればよい。例えば、図５に示されたトーンカーブの代表値は、γ＝０．９４である。
【００４９】
図３に戻る。平滑化輝度生成部２２は、トーンカーブ補正画像Ｌcの輝度を平滑化し、得られる平滑化画像の輝度Ｌcl（ｐ）をコントラスト補正部２４に出力する。図６は、平滑化輝度生成部２２の構成例を示している。
【００５０】
平滑化輝度生成部２２の縮小画像生成部４１は、トーンカーブ補正部２１から入力されたトーンカーブ補正画像Ｌcの画素を、その画素位置に対応してｍ×ｎブロックに分類し、各ブロックに分類された画素の輝度の平均値を画素とする縮小画像Ｌclを生成する。縮小画像メモリ４２は、生成されたｍ×ｎ画素の縮小画像Ｌclを保持する。補間部４３は、順次指定される画素位置ｐの輝度を、縮小画像メモリ４２に保持されている縮小画像の画素を用いた補間処理により算出して、得られた補間値Ｌcl（ｐ）を、平滑化画像の画素の輝度としてコントラスト補正部２４に出力する。ここで、ｐ＝（ｘ，ｙ）は、画素位置を示す座標またはベクトルである。従って、補間部４３から出力される平滑化画像のサイズは、トーンカーブ補正画像Ｌcのサイズは同一である。
【００５１】
すなわち、平滑化輝度生成部２２では、トーンカーブ補正画像Ｌcが縮小されて縮小画像Ｌclが生成され、保持された縮小画像Ｌclが利用されて平滑化画像の輝度Ｌcl（ｐ）が１画素ずつ補間演算によって算出されることになる。
【００５２】
従来では、上述したように、効果的な階調圧縮処理を実施するためには比較的大きなサイズのフィルタ処理が必要であったが、平滑化輝度生成部２２では、ｍ×ｎ画素の縮小画像を保持する縮小画像メモリ４２を設ければ済むことになる。
【００５３】
図７は、図６の縮小画像生成部４１の構成例を示している。縮小画像生成部４１のソート部５１は、前段のトーンカーブ補正部２１から入力されたトーンカーブ補正画像Ｌcの画素を、その画素位置に応じてｍ×ｎ個のブロックに分類し、平均値計算部５２−１乃至５２−Ｎ（＝ｍ×ｎ）に供給する。例えば、１番目のブロックに分類されたものは平均値計算部５２−１に供給され、２番目のブロックに分類されたものは平均値計算部５２−２に供給される。以下同様であり、Ｎ番目のブロックに分類されたものは平均値計算部５２−Ｎに供給される。以下、平均値計算部５２−１乃至５２−Ｎを個々に区別する必要がない場合、単に平均値計算部７２と記述する。
【００５４】
平均値計算部５２−ｉ（ｉ＝１，２，…，Ｎ）は、ｉ番目のブロックに分類されたトーンカーブ補正画像Ｌcの画素の輝度の平均値を算出して、合成部５３に出力する。合成部５３は、平均値計算部５２−ｉからそれぞれ入力される輝度の平均値を画素値とするｍ×ｎ画素の縮小画像を生成する。
【００５５】
図８は、図７の平均値計算部５２の構成例を示している。平均値計算部５２の加算器６１は、前段のソート部５１から入力されるトーンカーブ補正画像Ｌcの輝度に、レジスタ（ｒ）６２が保持する値を加算して、レジスタ（ｒ）６２が保持する値を更新する。除算器６３は、レジスタ６２が最終的に保持している値を、１個のブロックを構成する画素数Ｑで除算することにより、１個のブロックに分類されたＱ個の画素の輝度の平均値を算出する。
【００５６】
図９は、図６の補間部４３の構成例を示している。補間部４３の近傍選択部７１は、補間位置ｐの入力を受けて、縮小画像メモリ４２に保持されているｍ×ｎ画素の縮小画像Ｌclから、補間位置ｐの近傍の４×４画素の輝度ａ[4][4]を取得して、積和部７４に出力する。
【００５７】
ここでａ[i][j]の表記は、輝度ａがｉ×ｊの２次元配列データであることを示す。また、近傍選択部７１は、取得した輝度ａ[4][4]と補間位置ｐとの水平方向の位置ずれ量ｄｘ、垂直方向の位置ずれ量ｄｙを、それぞれ、水平係数算出部７２または垂直係数算出部７３に出力する。
【００５８】
ここで、補間位置ｐ、近傍の輝度ａ[4][4]、位置ずれ量ｄｘ，ｄｙの関係について、図１０を参照して説明する。
【００５９】
図１０のｍ×ｎのマス目は、縮小画像Ｌclを構成するｍ×ｎ画素を表している。いま、補間位置ｐ＝（ｐｘ，ｐｙ）が与えられたとすると、補間位置ｐに対応する縮小画像Ｌcl上の位置ｑは、ｑ＝（ｑｘ，ｑｙ）＝（ｐｘ／ｂｘ−０．５，ｐｙ／ｂｙ−０．５）である。ただし、（ｂｘ，ｂｙ）＝（トーンカーブ補正画像Ｌcの水平画素数／ｍ，トーンカーブ補正画像Ｌcの垂直画素数／ｎ）である。
【００６０】
補間位置ｐに対応する縮小画像Ｌcl上の位置ｑから近傍の画素を得るには、図１０においては斜線で示されたｑｘ−２＜ｘ＜ｑｘ＋２、ｑｙ−２＜ｙ＜ｑｙ＋２の範囲に位置する縮小画像Ｌclの画素を取得すればよい。斜線で示された領域内の４×４の”＋”マークで示された位置が取得される画素の位置である。近傍画素と補間位置ｐのずれ量（ｄｘ，ｄｙ）は、補間位置ｑの左下方向の最も近い画素との差分とする。すなわち、ずれ量（ｄｘ，ｄｙ）＝（ｑｘの小数部，ｑｙの小数部）である。
【００６１】
図９に戻る。水平係数算出部７２は、近傍選択部７１から入力された水平方向ずれ量ｄｘに基づき、水平方向の３次補間係数ｋx[4]を計算する。同様に、垂直係数算出部７３は、近傍選択部７１から入力された垂直方向ずれ量ｄｙに基づき、垂直方向の３次補間係数ｋy[4]を計算する。
【００６２】
例えば、水平方向の３次補間係数ｋx[4]は、次式（１）を用いて計算する。
【数１】
2008259242.tif 000003
…（１）
【００６３】
また、例えば、垂直方向の３次補間係数ｋy[4]は、次式（２）を用いて計算する。
【数２】
2008259242.tif 000004
…（２）
【００６４】
なお、３次補間係数ｋx[4]，ｋy[4]の計算には、上述した式（１），（２）の他、十分に滑らかな補間が得られるならば、任意の計算式を用いることができる。
【００６５】
積和部７４は、近傍の画素の輝度ａ[4][4]と、水平方向の補間係数ｋx[4]および垂直方向の補間係数ｋy[4]との積和計算により、縮小画像Ｌclの補間位置ｐの補間値Ｌcl（ｐ）を、次式（３）を用いて算出する。
【数３】
2008259242.tif 000005
…（３）
【００６６】
図３に戻る。ゲイン設定部２３は、トーンカーブ補正部２１から入力される代表値γに基づき、コントラスト補正部２４において平滑化画像の輝度Ｌcl（ｐ）のコントラストを補正するときの補正量を調整するゲイン値ｇ（ｐ）を各画素位置に対して算出し、コントラスト補正部２４に出力する。
【００６７】
ここで、ゲイン値ｇ（ｐ）について説明する。ゲイン値ｇ（ｐ）＝１である場合、コントラスト補正部２４においてコントラストは強調も抑制も行われない。ゲイン値ｇ（ｐ）＞１である場合、その値に対応してコントラストが強調される。反対に、ゲイン値ｇ（ｐ）＜１である場合、その値に対応してコントラストが抑制される。
【００６８】
ゲイン値設定の概略を説明する。トーンカーブ補正画像Ｌcのコントラストは、トーンカーブ補正による階調圧縮によって既に抑制されているが、その抑制量はトーンカーブの傾きに依存している。例えば強い階調圧縮を行うように傾きの小さなトーンカーブが適用されていれば、コントラストの抑制も強くなされていることになる。また、例えばトーンカーブとして傾き１の直線が適用されていれば、画像が変化しない、すなわち、コントラストの抑制は行われていないことになる。
【００６９】
そこで、ゲイン値設定部２３では、トーンカーブの傾きの代表値γが１よりも小さい場合には、ゲイン値が１より大きくなるように、トーンカーブの傾きの代表値γの逆数１／γをゲイン値として採用する。
【００７０】
また、入力されるトーンカーブ補正された輝度Ｌcが白レベルまたは黒レベルに近い場合には、中間輝度域と同じようなコントラスト強調を行うとクリッピングが生じて逆に画像のディテールを失う結果となるので、入力されたトーンカーブ補正された輝度Ｌcが白レベルまたは黒レベルに近くなるに従って、ゲイン値が１に近づくようする。
【００７１】
すなわち、代表値γの逆数１／γ＝ｇ0として、ゲイン値ｇ（ｐ）を次式（４）のように算出する。
ｇ（ｐ）＝１＋（ｇ0−１）×attn（ｐ）
…（４）
ここで、attn（ｐ）は、減衰する係数であって、次式（５）を用いて計算される。
【数４】
2008259242.tif 000006
…（５）
【００７２】
なお、式（５）において、Ｌgrayは、中庸なグレイレベルの輝度を示し、Ｌwhiteは、白クリップレベル（最大の白レベル）の輝度を示しており、どちらも予め設定されている定数である。
【００７３】
図１１は、ゲイン値設定部２３の構成例を示している。除算器８１は、前段から入力される代表値γの逆数１／γ＝ｇ0を算出して減算器８２に出力する。減算器８２は、（ｇ0−１）を演算して乗算器８８に出力する。
【００７４】
減算器８３は、トーンカーブ補正画像Ｌcの各輝度と、中庸なグレイレベルの輝度Ｌgrayの差（Ｌc−Ｌgray）を演算して、除算器８５に出力する。減算器８４は、白クリップレベルの輝度Ｌwhiteと、輝度Ｌgrayの差（Ｌwhite−Ｌgray）を演算して、除算器８５に出力する。除算器８５は、減算器８３の出力（Ｌc−Ｌgray）を、減算器８４の出力（Ｌwhite−Ｌgray）で除算して、絶対値計算器８６に出力する。絶対値計算器８６は、除算器８５の出力の絶対値を計算してクリップ器８７に出力する。クリップ器８７は、絶対値計算器８６の出力が１を超過する場合、その値を１にクリッピングし、絶対値計算器８６の出力が１を超過しない場合、その値をそのまま、attn（ｐ）として乗算器８８に出力する。
【００７５】
乗算器８８は、減算器８２の出力に、クリップ器８７の出力を乗算して、加算器８９に出力する。加算器８９は、乗算器８８の出力に１を加算し、演算結果をゲイン値ｇ（ｐ）として後段に出力する。
【００７６】
図３に戻る。コントラスト補正部２４は、ゲイン値設定部２３から入力される各画素位置ｐのゲイン値ｇ（ｐ）および平滑化輝度生成部２２から入力される平滑化画像の輝度Ｌcl（ｐ）に基づき、コントラストが弱められているトーンカーブ補正画像Ｌcのコントラストを強調して階調圧縮画像Ｌuを生成する。
【００７７】
図１２は、コントラスト補正部２４の構成例を示している。コントラスト補正部２４の減算器９１は、トーンカーブ補正画像Ｌcの各画素の輝度Ｌc（ｐ）と、平滑化画像の対応する画素の輝度（すなわち、縮小画像の補間値Ｌcl（ｐ））との差（Ｌc（ｐ）−Ｌcl（ｐ））を演算して、乗算器９２に出力する。乗算器９２は、減算器９１の出力と、ゲイン値設定部２３から入力されたゲイン値ｇ（ｐ）との積を演算して、加算器９３に出力する。加算器９３は、乗算器９２の出力に、平滑化画像の画素の輝度（縮小画像の補間値Ｌcl（ｐ））を加算して、その結果得られた輝度Ｌu（ｐ）を、コントラスト補正がなされた階調圧縮画像Ｌuを構成する画素の輝度として後段に出力する。
【００７８】
なお、平滑化画像の画素の輝度（縮小画像の補間値Ｌcl（ｐ））は、ｍ×ｎ画素の縮小画像Ｌclの画素を元にして補間された値であるから、縮小前のトーンカーブ補正画像Ｌcのごく低周波域成分だけをもつものである。
【００７９】
従って、減算器９１の出力（Ｌc（ｐ）−Ｌcl（ｐ））は、元のトーンカーブ補正画像logＬcから、ごく低域成分だけを差し引いたものとなる。このように輝度信号を、ごく低周波域の成分とそれ以外の成分に分離し、そのうち、低周波域成分以外（減算器９１の出力）を、ゲイン値ｇ（ｐ）を乗算することによってコントラストを強調した後、再び加算器９３により合成したものが、コントラスト補正がなされた階調圧縮画像の輝度Ｌu（ｐ）である。
【００８０】
このように、コントラスト補正部２４では、ごく低周波域を除く、低中周波域から高周波域の成分が同じゲイン値ｇ（ｐ）で強調されるようになされている。従って、コントラスト補正がなされた階調圧縮画像の輝度Ｌu（ｐ）は、高周波域だけを強調したときに目立つ、エッジ部分の局所的なオーバーシュートは発生せず、見た目にもごく自然にコントラストが強調された画像が得られるようになされている。
【００８１】
次に、画像処理装置１０の第１の構成例による階調圧縮画像生成処理（すなわち、図２のフローチャートを参照して上述したステップＳ２の処理）の詳細について、図１３のフローチャートを参照して説明する。
【００８２】
ステップＳ１１において、トーンカーブ補正部２１は、ビデオカメラ２から入力された広ＤＲ画像Ｌの輝度を、予め用意されているLUTに基づいて補正し、その結果として得られるトーンカーブ補正画像Ｌcを、平滑化輝度生成部２２、ゲイン値設定部２３、およびコントラスト補正部２４に出力する。また、トーンカーブ補正部２１は、補正に用いたトーンカーブの傾きを示す代表値γをゲイン値設定部２３に出力する。
【００８３】
ステップＳ１２において、平滑化輝度生成部２２は、トーンカーブ補正画像Ｌcを縮小して、縮小画像Ｌclを生成し、さらに、縮小画像Ｌclの画素を用いた補間演算により、平滑化画像の画素の輝度Ｌcl（ｐ）を算出して、コントラスト補正部２４に出力する。
【００８４】
ステップＳ１３において、ゲイン設定部２３は、トーンカーブ補正部２１から入力された代表値γに基づき、コントラスト補正部２４において平滑化画像の輝度Ｌcl（ｐ）のコントラストを補正するときの補正量を調整するゲイン値ｇ（ｐ）を各画素位置に対して算出し、コントラスト補正部２４に出力する。
【００８５】
なお、ステップＳ１２の処理と、ステップＳ１３の処理は、並行して実施することが可能である。
【００８６】
ステップＳ１４において、コントラスト補正部２４は、ゲイン値設定部２３から入力された各画素位置ｐのゲイン値ｇ（ｐ）および平滑化輝度生成部２２から入力される平滑化画像の輝度Ｌcl（ｐ）に基づき、トーンカーブ補正画像Ｌcの輝度を補正して、階調圧縮画像Ｌuの画素の輝度Ｌu（ｐ）を算出する。このようにして得られた、コントラスト補正がなされた階調圧縮画像Ｌuは、高周波域だけを強調したときに目立つ、エッジ部分の局所的なオーバーシュートは発生せず、見た目にもごく自然にコントラストが強調された画像となる。以上で、画像処理装置１０の第１の構成例による階調圧縮画像生成処理の説明を終了する。
【００８７】
次に、図１４は、画像処理装置１０の第２の構成例を示している。この第２の構成例は、図３に示された第１の構成例のトーンカーブ補正部２１の上段に、ビデオカメラ１から入力される広ＤＲ画像Ｌの輝度を対数変換する対数変換部１０１を設け、さらに、第１の構成例のコントラスト補正部２４の下段に、コントラスト補正部２４の出力を対数逆変換する対数逆変換部１０２を設けたものである。
【００８８】
画像処理装置１０の第２の構成例を構成する対数変換部１０１および対数逆変換部１０２以外の構成要素については、図３の第１の構成例と同等であるので、同一の符号を付しており、その説明は適宜省略する。ただし、第２の構成例において、トーンカーブ補正部２１乃至コントラスト補正部２４は、それぞれ対数変換された輝度を処理することになる。
【００８９】
図１５は、第２の構成例におけるトーンカーブ補正部２１で適用されるトーンカーブの一例であり、横軸が広ＤＲ画像Ｌの輝度を、縦軸がトーンカーブ補正画像Ｌcの輝度を、それぞれ［０，１］に正規化して対数軸で表示している。この例のように、単調増加であって、緩やかな逆Ｓ字形のトーンカーブを適用すると、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ツブレや黒ツブレが少ない良好な色調が得られる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、コントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な階調圧縮画像Ｌuを得ることができる。図１５に示されたトーンカーブの場合、代表値γ＝０．６７である。
【００９０】
次に、画像処理装置１０の第２の構成例による階調圧縮画像生成処理の詳細について、図１６のフローチャートを参照して説明する。
【００９１】
ステップＳ２１において、対数変換部１０１は、ビデオカメラ２から入力された広ＤＲ画像Ｌの輝度を対数変換し、その結果得られた対数広ＤＲ画像logＬをトーンカーブ補正部２１に出力する。
【００９２】
ステップＳ２２において、トーンカーブ補正部２１は、対数広ＤＲ画像logＬ
の輝度を、予め用意されている、例えば、図１５に示されたトーンカーブに相当するLUTに基づいて補正し、その結果として得られた対数トーンカーブ補正画像logＬcを、平滑化輝度生成部２２、ゲイン値設定部２３、およびコントラスト補正部２４に出力する。また、トーンカーブ補正部２１は、補正に用いたトーンカーブの傾きを示す代表値γをゲイン値設定部２３に出力する。
【００９３】
ステップＳ２３において、平滑化輝度生成部２２は、対数トーンカーブ補正画像logＬcを縮小して、対数縮小画像logＬclを生成し、さらに、対数縮小画像logＬclの画素を用いた補間演算により、対数平滑化画像の画素の輝度logＬcl（ｐ）を算出して、コントラスト補正部２４に出力する。
【００９４】
ステップＳ２４において、ゲイン設定部２３は、トーンカーブ補正部２１から入力された代表値γに基づき、コントラスト補正部２４において対数平滑化画像の輝度logＬcl（ｐ）のコントラストを補正するときの補正量を調整するゲイン値ｇ（ｐ）を各画素位置に対して算出し、コントラスト補正部２４に出力する。
【００９５】
なお、ステップＳ２３の処理と、ステップＳ２４の処理は、並行して実施することが可能である。
【００９６】
ステップＳ２５において、コントラスト補正部２４は、ゲイン値設定部２３から入力された各画素位置ｐのゲイン値ｇ（ｐ）および平滑化輝度生成部２２から入力される対数平滑化画像の輝度logＬcl（ｐ）に基づき、対数トーンカーブ補正画像logＬcの輝度を補正して、対数階調圧縮画像logＬuの画素の輝度logＬu（ｐ）を算出し、対数逆変換部１０２に出力する。
【００９７】
ステップＳ２６において、対数逆変換部１０２は、対数階調圧縮画像logＬuの画素の輝度logＬu（ｐ）を対数逆変換して、その結果得られたＬu（ｐ）を階調圧縮画像Ｌuの画素の輝度として出力する。
【００９８】
このようにして得られた、コントラスト補正がなされた階調圧縮画像Ｌuは、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ツブレや黒ツブレが少ない良好な色調となる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、コントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な画像となる。以上で、画像処理装置１０の第２の構成例による階調圧縮画像生成処理の説明を終了する。
【００９９】
以上説明したように、本発明の一実施の形態である画像処理装置１０によれば、従来の階調圧縮技術に必要であった大量のメモリ（フレームメモリや画素系列データのディレイラインとして使用される）を大幅に削減した構成で、通常よりも広いダイナミックレンジの輝度を有する広ＤＲ画像を、見栄得を損なうことなく、表示可能な輝度のダイナミックレンジがより狭いディスプレイ１１に表示させることができる階調圧縮画像に変換することが可能となる。また、従来大きなフィルタ処理をもって実現されていた階調圧縮処理と遜色のない階調圧縮画像を得ることができる。
【０１００】
勿論、画像処理装置１０は、広ＤＲ画像を、ディスプレイ１１以外のプリンタやプロジェクタが表現可能なダイナミックレンジに適合させて、広ＤＲ画像を階調圧縮画像に変換することが可能である。
【０１０１】
なお、本発明は、例えば、ディジタルビデオカメラ、ディジタルスチルカメラの撮影デバイスの他、ディスプレイ、プリンタ、プロジェクタ等の表現デバイスに内蔵される画像信号処理回路に適用することができる。
【０１０２】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１０３】
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータ１２０は、CPU(Central Processing Unit)１２１を内蔵している。CPU１２１にはバス１２４を介して、入出力インタフェース１２５が接続されている。バス１２４には、ROM(Read Only Memory)１２２およびRAM(Random Access Memory)１２３が接続されている。
【０１０４】
入出力インタフェース１２５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１２６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１２７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１２８、ビデオカメラ２等と画像データを通信するＩ／Ｏインタフェース１２９が接続されている。また、磁気ディスク１３１（フレキシブルディスクを含む）、光ディスク１３２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク１３３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ１３４などの記録媒体に対してデータを読み書きするドライブ１３０が接続されている。
【０１０５】
CPU１２１は、ROM１２２に記憶されているプログラム、または磁気ディスク１３１乃至半導体メモリ１３４から読み出されて記憶部１２８にインストールされ、記憶部１２８からRAM１２３にロードされたプログラムに従って各種の処理を実行する。RAM１２３にはまた、CPU１２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１０６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１０８】
【図１】本発明を適用した画像処理システムの構成例を示すブロック図である。
【図２】図１に示された画像処理システムの動作を説明するフローチャートである。
【図３】図１に示された画像処理装置の第１の構成例を示すブロック図である。
【図４】図３に示されたトーンカーブ補正部の構成例を示すブロック図である。
【図５】画像処理装置の第１の構成例において用いられるトーンカーブの一例を示す図である。
【図６】図３に示された平滑化輝度生成部の構成例を示すブロック図である。
【図７】図６に示された縮小画像生成部の構成例を示すブロック図である。
【図８】図７に示された平均値計算部の構成例を示すブロック図である。
【図９】図６に示された補間部の構成例を示すブロック図である。
【図１０】図６に示された補間部の処理を説明するための図である。  う
【図１１】図３に示されたゲイン値設定部の構成例を示すブロック図である。
【図１２】図３に示されたコントラスト補正部の構成例を示すブロック図である。
【図１３】画像処理装置の第１の構成例による階調圧縮画像生成処理を説明するフローチャートである。
【図１４】図１に示された画像処理装置の第２の構成例を示すブロック図である。
【図１５】画像処理装置の第２の構成例において用いられるトーンカーブの一例を示す図である。
【図１６】画像処理装置の第２の構成例による階調圧縮画像生成処理を説明するフローチャートである。
【図１７】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１０９】
１  画像処理システム，  ２  ビデオカメラ，５  CCDイメージセンサ，  １０  画像処理装置，  １１  ディスプレイ，  ２１  トーンカーブ補正部，  ２２  平滑化輝度生成部，  ２３  ゲイン値設定部，  ２４  コントラスト補正部，  １０１  対数変換部，  １０２  対数逆変換部，  １２１  CPU，  １３１  磁気ディスク，  １３２  光ディスク，  １３３  光磁気ディスク，  １３４  半導体メモリ
【図１】
2008259242.tif 000007
【図２】
2008259242.tif 000008
【図３】
2008259242.tif 000009
【図４】
2008259242.tif 000010
【図５】
2008259242.tif 000011
【図６】
2008259242.tif 000012
【図７】
2008259242.tif 000013
【図８】
2008259242.tif 000014
【図９】
2008259242.tif 000015
【図１０】
2008259242.tif 000016
【図１１】
2008259242.tif 000017
【図１２】
2008259242.tif 000018
【図１３】
2008259242.tif 000019
【図１４】
2008259242.tif 000020
【図１５】
2008259242.tif 000021
【図１６】
2008259242.tif 000022
【図１７】
2008259242.tif 000023