(57)【要約】【課題】自然で良好なコントラスト調整を実現可能にすることを課題とする。【解決手段】ローカルゲインマップ生成部（１１０）は、入力画像に対し局所的にコントラスト調整を行うためのローカルゲインマップを生成する。さらに、ローカルゲインマップ生成部（１１０）は、生成したローカルゲインマップに対し、入力画像の信号値に応じて、ゲインアップ側とゲインダウン側の少なくともどちらか一方についてコントラスト調整の強度を弱める方向への調整を施す。【選択図】図１
2019053590.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対し局所的にコントラスト調整を行うためのローカルゲインマップを生成する第１の生成手段と、
前記生成されたローカルゲインマップに対し、入力画像の信号値に応じて、ゲインアップ側とゲインダウン側の少なくともどちらか一方についてコントラスト調整の強度を弱める方向への調整を施す調整手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記入力画像から低周波画像を生成する画像生成手段を有し、
前記第１の生成手段は、前記低周波画像を用いて前記ローカルゲインマップを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記調整手段は、前記入力画像の信号値に応じたクリップ処理により、前記生成されたローカルゲインマップの前記調整を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記調整手段は、前記生成されたローカルゲインマップのゲインアップ側の信号に対して、前記入力画像の輝度信号が高輝度になる場合に前記クリップ処理を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記調整手段は、前記生成されたローカルゲインマップのゲインダウン側の信号に対して、前記入力画像の輝度信号が低輝度になる場合に前記クリップ処理を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記調整手段は、前記入力画像の信号値に応じたゲイン処理により前記ローカルゲインマップの前記調整を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
前記調整手段は、前記生成されたローカルゲインマップのゲインアップ側の信号に対して、前記入力画像の輝度信号が高輝度になる場合にゲインダウンさせる前記ゲイン処理を行うことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記調整手段は、前記生成されたローカルゲインマップのゲインダウン側の信号に対して、前記入力画像の輝度信号が低輝度になる場合にゲインアップさせる前記ゲイン処理を行うことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
入力画像から明るさ調整を行うためのグローバルゲインマップを生成する第２の生成手段をさらに有することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記生成されたグローバルゲインマップと、前記調整手段による前記調整が施された前記ローカルゲインマップとを基に、最終的なゲインマップを生成する第３の生成手段をさらに有することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記第３の生成手段は、前記生成されたグローバルゲインマップと、前記調整手段による前記調整が施された前記ローカルゲインマップとを加算して、前記最終的なゲインマップを生成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記最終的なゲインマップを用いて、前記入力画像に対してゲイン処理を行うゲイン処理手段をさらに有することを特徴とする請求項１０または１１に記載の画像処理装置。
【請求項１３】
画像処理装置が実行する画像処理方法であって、
入力画像に対し局所的にコントラスト調整を行うためのローカルゲインマップを生成する第１の生成工程と、
前記生成されたローカルゲインマップに対し、入力画像の信号値に応じて、ゲインアップ側とゲインダウン側の少なくともどちらか一方についてコントラスト調整の強度を弱める方向への調整を施す調整工程と、
を有することを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、階調処理等の画像処理のための技術に関する。
【背景技術】
【０００２】
従来、入力画像から低周波画像を生成し、その低周波画像に基づく階調処理を入力画像に施すことで、局所的に画像のコントラストを向上させるローカルトーンマッピング技術がある。
ローカルトーンマッピング技術では、画像のコントラストを局所的に向上させる効果をもたらすが、領域によっては高輝度側が必要以上に飽和したり、低輝度側が必要以上に黒潰れしてしまったりすることがある。これを解決可能な技術の一つとして、特許文献１に記載された技術がある。特許文献１の技術では、第１の領域の平均輝度が高輝度になる程、明るさ調整の補正係数が小さくなる第１の補正係数を算出し、かつ第１の領域より小さい第２の領域の平均輝度が低輝度になる程、明るさ調整の補正係数が小さくなる第２の補正係数を算出する。そして、それら２つの補正係数を用いた階調変換処理が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１６３０９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、サイズの異なる第１の領域と第２の領域の平均輝度でそれぞれ高輝度と低輝度の補正量を変えているため、第１の領域の平均輝度と第２の領域の平均輝度が大きく異なる領域などでは、不自然な補正になってしまう。また、輝度に応じて補正係数を小さくすることで、明るさ調整そのものを弱めるため、明るさ調整のコントロールが適切に行われないという問題がある。
【０００５】
そこで、本発明は、自然で良好なコントラスト調整を実現可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、入力画像に対し局所的にコントラスト調整を行うためのローカルゲインマップを生成する第１の生成手段と、前記生成されたローカルゲインマップに対し、入力画像の信号値に応じて、ゲインアップ側とゲインダウン側の少なくともどちらか一方についてコントラスト調整の強度を弱める方向への調整を施す調整手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、自然で良好なコントラスト調整を実現可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施形態の画像処理装置の概略構成を示す図である。
【図２】画像処理装置における処理の流れを示したフローチャートである。
【図３】ローカルゲインマップ生成及び調整処理のフローチャートである。
【図４】最終的なゲインマップ生成処理のフローチャートである。
【図５】階調特性とゲインマップの説明図である。
【図６】ローカルゲインによるローカルコントラスト調整の説明図である。
【図７】階調特性の一例の説明図である。
【図８】ローカルコントラスト強調の効果と課題の説明図である。
【図９】クリップ処理によるローカルゲインマップ調整の説明図である。
【図１０】ゲイン処理によるローカルゲインマップ調整の説明図である。
【発明を実施するための形態】
【０００９】
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１０】
図１は、本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
図１に示した本実施形態の画像処理装置は、ローカルゲインマップ生成部１１０と、グローバルゲインマップ生成部１１１と、ゲイン処理部１０９とを有して構成されている。なお、本実施形態の画像処理装置への入力画像は、撮像画像等から生成された輝度信号により構成された輝度画像であり、出力画像も輝度信号により構成された輝度画像であるとする。撮像画像の取得やその撮像信号に対する現像処理、輝度画像の生成処理等の各種信号処理のための構成とその説明は省略する。
【００１１】
ローカルゲインマップ生成部１１０は、局所的にコントラストを調整するためのローカルゲインマップ（ローカルコントラストゲインマップ）を生成する部分である。本実施形態において、ローカルゲインマップ生成部１１０は、入力画像から低周波画像を生成し、その低周波画像に対して後述する階調特性を適用することにより、ローカルゲインマップを生成する。またローカルゲインマップ生成部１１０は、生成したローカルゲインマップに対して、入力画像信号に応じてゲインアップ側とゲインダウン側の少なくともどちらか一方についてコントラスト調整の強度を弱める方向への調整を施す。ローカルゲインマップ生成部１１０の詳細な構成と動作の説明は後述する。
【００１２】
グローバルゲインマップ生成部１１１は、入力画像の輝度に応じて明るさを調整するためのグローバルゲインマップを生成し、そのグローバルゲインマップにローカルゲインマップを加算することで最終的なゲインマップを生成する部分である。グローバルゲインマップ生成部１１１の詳細な構成と動作の説明は後述する。
【００１３】
このように、本実施形態の画像処理装置は、グローバルゲインマップによる明るさ調整とローカルゲインマップによるローカルコントラスト調整とをそれぞれ独立に制御可能となされている。そして、本実施形態の画像処理装置では、それら生成したグローバルゲインマップとローカルゲインマップとから、最終的なゲインマップを生成している。
【００１４】
ゲイン処理部１０９は、グローバルゲインマップ生成部１１１により生成された最終的なゲインマップを基に、入力画像に対してゲイン処理を行う部分である。ゲイン処理部１０９の詳細な動作の説明は後述する。
【００１５】
ここで、図１に示した本実施形態の画像処理装置の詳細な構成及び動作について述べる前に、本実施形態における階調特性と、低周波画像を用いたローカルトーンマッピング処理およびローカルコントラスト調整の効果について説明する。
先ず、本実施形態における階調特性は、例えば図５（ａ）に示すように、横軸を入力画像の輝度信号（輝度値）、横軸をゲイン信号（ゲイン値）としたテーブルにより表される。また本実施形態におけるゲインマップは、図５（ａ）のテーブルで表される階調特性を用いて、入力画像の画素毎の輝度値に対応したゲイン値を求めることにより生成される。具体的には、ゲインマップは、図５（ｂ）に示すように、各画素位置に対応して各ゲイン値が配列されたマップとして生成される。例えば、画像がｘ方向にＷ画素、ｙ方向にＨ画素で表される場合、ゲインマップは、図５（ｂ）に示すように、各画素の座標（ｘ，ｙ）の位置に対してそれぞれ適用されるゲイン値Ｇａｉｎ（ｘ，ｙ）が２次元配列されたマップとして生成される。なお、図５（ｂ）の例の場合、座標（ｘ，ｙ）のｘは０，１，２，・・・，Ｗ−１の何れか、ｙは０，１，２，・・・，Ｈ−１の何れかとなる。
【００１６】
次に、低周波画像を用いたローカルトーンマッピング処理とそれによるローカルコントラスト調整の効果について、図６（ａ）〜図６（ｃ）を参照して説明する。図６（ａ）〜図６（ｃ）の横軸は画像のｘ方向の位置を表し、図６（ａ）と図６（ｃ）の縦軸は輝度信号の輝度値を、図６（ｂ）の縦軸はゲイン信号のゲイン値を表している。
【００１７】
図６（ａ）は、或る入力画像の輝度信号（輝度値）をｘ方向（ｘ座標方向）にプロットした図である。また、図６（ａ）の実線部は、入力画像の輝度信号６０１を示している。すなわち、図６（ａ）に例示した輝度信号６０１は、ｘ方向の或る位置において輝度値が急激に変化するようなエッジ部を有した信号である。また、図６（ａ）の点線部は、入力画像に対して縮小・拡大処理やフィルタ処理等を行うことで生成された低周波画像の輝度信号６０２を示している。低周波画像の輝度信号６０２は、入力画像に縮小・拡大処理やフィルタ処理等が行われた信号であるため、入力画像のエッジ部において図６（ｂ）の点線部に示すように緩やかに輝度値が変化する信号となる。
【００１８】
図６（ｂ）は、例えば図５（ａ）に示したように輝度に対しゲイン値が単調減少になる階調特性を用いて、図６（ａ）の点線部で示した低周波画像の輝度信号６０２を基に生成されるゲインマップの、各ゲイン値をｘ方向にプロットした図である。図６（ａ）の輝度信号６０２から生成されるゲインマップのゲイン信号６０３は、図６（ｂ）の点線部で示すように緩やかにゲイン値が変化する特性の信号となる。
【００１９】
ここでコントラスト調整効果のポイントとなるのは、図６（ａ）に示した入力画像の輝度信号６０１がｘ方向の左から右にかけて輝度値が急激に減少するのに対し、図６（ｂ）のゲイン信号６０３では左から右にかけてゲイン値が緩やかに増加する点である。この図６（ｂ）に示した特性のゲイン信号６０３を用い、図６（ａ）に示した入力画像の輝度信号６０１にゲイン処理を行った場合、そのゲイン処理後の輝度信号は、図６（ｃ）の実線部に示すような輝度信号６０４になる。すなわち図６（ｂ）のゲイン信号６０３を用いて図６（ａ）の入力画像の輝度信号６０１にゲイン処理を行った場合、図６（ｃ）の矢印で示された範囲６０５内の信号部分が強調されてコントラストが向上した輝度信号６０４が得られる。
【００２０】
このように、低周波画像に基づくローカルトーンマッピング処理によれば、入力画像のエッジ部周辺の局所的なコントラスト（ローカルコントラスト）を向上させる効果が得られることになる。
これに加え、本実施形態の画像処理装置では、前述のように生成したローカルゲインマップに対し、入力画像信号に応じて、ゲインアップ側とゲインダウン側の少なくともどちらか一方についてコントラスト調整の強度を弱める方向への調整を施す。そして、本実施形態の画像処理装置は、その調整後のローカルゲインマップを、入力画像の輝度に応じて明るさを調整するためのグローバルゲインマップに加算して最終的なゲインマップを生成し、その最終的なゲインマップを用いて入力画像のゲイン処理を行う。これにより、本実施形態の画像処理装置では、必要以上に飽和領域や黒潰れ領域を発生させないことを実現している。
【００２１】
以下、本実施形態の画像処理装置における、ローカルゲインマップの生成処理から、ローカルゲインマップの調整処理、最終的なゲインマップの生成処理、さらにゲイン処理までの画像処理について詳細に説明する。
図２は、本実施形態の画像処理装置における画像処理の大まかな流れを示すフローチャートである。以下の説明では、図２のフローチャートにおける各ステップＳ２０１〜Ｓ２０３をＳ２０１〜Ｓ２０３と略記する。また、このフローチャートに示す各処理は、例えばＣＰＵ等が本実施形態に係る画像処理プログラムを実行することにより実現されてもよいし、それら処理の一部又は全部が電子回路などのハードウェアにより実現されてもよい。これらのことは後述する他のフローチャートにおいても同様とする。
【００２２】
図２の２０１において、ローカルゲインマップ生成部１１０は、入力画像を基に、ローカルコントラストを調整するためのローカルゲインマップを生成する。さらに、ローカルゲインマップ生成部１１０は、その生成したローカルゲインマップに対し、入力画像の信号に応じてゲインアップ側とゲインダウン側の少なくともどちらか一方についてコントラスト調整の強度を弱める方向への調整を施す。このＳ２０１におけるローカルゲインマップ生成処理とローカルゲインマップの調整処理の内容については後ほど詳細に説明する。
【００２３】
次に、Ｓ２０２において、グローバルゲインマップ生成部１１１は、入力画像の輝度に応じて明るさを調整するためのグローバルゲインマップを生成する。さらに、グローバルゲインマップ生成部１１１は、生成したグローバルゲインマップと、Ｓ２０１で生成と調整がなされたローカルゲインマップとを基に、最終的なゲインマップを生成する処理を行う。このＳ２０２におけるグローバルゲインマップの生成処理と最終的なゲインマップの生成処理の内容については後ほど詳細に説明する。
【００２４】
次に、Ｓ２０３において、ゲイン処理部１０９は、Ｓ２０２で生成された最終的なゲインマップを用いて、入力画像に対しゲインをかける処理を行う。ここで、例えば入力画像の座標（ｘ，ｙ）の輝度値をｉｎ（ｘ，ｙ）、最終的なゲインマップの中で同座標（ｘ，ｙ）に対応したゲイン値をＧａｉｎ（ｘ，ｙ）とすると、ゲイン処理後の出力輝度値ｏｕｔ（ｘ，ｙ）は、式（１）で表される。
【００２５】
ｏｕｔ（ｘ，ｙ）＝Ｇａｉｎ（ｘ，ｙ）×ｉｎ（ｘ，ｙ）        式（１）
【００２６】
以上が本実施形態の画像処理装置における画像処理の大まかな流れである。
次に、図２のＳ２０１におけるローカルゲインマップの生成処理およびローカルゲインマップの調整処理、図２のＳ２０２におけるグローバルゲインマップの生成処理および最終的なゲインマップの生成処理の詳細について説明する。図３は図２のＳ２０１の詳細な処理のフローチャートであり、図４は図２のＳ２０２の詳細な処理のフローチャートである。
【００２７】
先ず、図３のフローチャートを参照して、図１のローカルゲインマップ生成部１１０の詳細な構成、および、ローカルゲインマップ生成処理と、その生成したローカルゲインマップの調整処理について説明する。
ローカルゲインマップ生成部１１０は、第１の縮小画像生成部１０１、第２の縮小画像生成部１０２、第１のゲイン変換部１０３、階層ゲインマップ合成部１０４、ローカルゲインマップ算出部１０５、ローカルゲインマップ調整部１０６を有して構成されている。
【００２８】
図３のＳ３０１において、第１の縮小画像生成部１０１は入力画像に対して縮小処理を行って第１の縮小画像を生成し、第２の縮小画像生成部１０２は第１の縮小画像に対して更に縮小処理を行って第２の縮小画像を生成する。このように、第１の縮小画像は入力画像を縮小処理することにより生成され、第２の縮小画像は第１の縮小画像を更に縮小処理することにより生成されている。したがって、第１の縮小画像と第２の縮小画像は、画像サイズが異なり、それぞれの周波数レベルが異なる低周波画像となっている。縮小処理の方法については、例えばバイリニア法を用いた縮小処理等のような公知の方法が用いられる。以下の説明では、第１の縮小画像である輝度画像を第１階層輝度画像と表記し、第２の縮小画像である輝度画像を第２階層輝度画像と表記する。
【００２９】
次に、Ｓ３０２において、第１のゲイン変換部１０３は、入力画像である輝度画像（以下、入力輝度画像とする。）に対して第１の階調特性を適用することでゲインマップを生成する。以下、入力輝度画像に対して第１の階調特性を適用して生成されたゲインマップを等倍階層ゲインマップと表記する。また、Ｓ３０２において、第１のゲイン変換部１０３は、Ｓ３０１で生成された第１階層輝度画像と第２階層輝度画像とに対し、それぞれ第１の階調特性を適用することで、それぞれゲインマップを生成する。以下、第１階層輝度に対して第１の階調特性を適用して生成されたゲインマップを第１階層ゲインマップと表記し、第２階層輝度画像に対して第１の階調特性を適用して生成されたゲインマップを第２階層ゲインマップと表記する。そして、等倍階層ゲインマップはローカルゲインマップ算出部１０５に送られ、第１階層ゲインマップおよび第２階層ゲインマップは階層ゲインマップ合成部１０４に送られる。第１の階調特性、等倍階層ゲインマップ、第１階層ゲインマップ、第２階層ゲインマップの具体的な例については後述する。
【００３０】
次に図３のＳ３０３において、階層ゲインマップ合成部１０４は、Ｓ３０２で生成された第１階層ゲインマップと第２階層ゲインマップとを合成することで合成ゲインマップを生成する。合成ゲインマップの生成方法については、画像サイズの大きいゲインマップのゲイン信号と画像サイズの小さいゲインマップのゲイン信号をゲインの信号差に応じて加重加算する公知の手法を用いる。この公知の手法としては、例えば特開２０１４−１５４１０８号公報に記載の手法などが挙げられる。階層ゲインマップ合成部１０４にて生成された合成ゲインマップは、ローカルゲインマップ算出部１０５に送られる。
【００３１】
次にＳ３０４において、ローカルゲインマップ算出部１０５は、階層ゲインマップ合成部１０４にて生成された合成ゲインマップと、第１のゲイン変換部１０３により生成された等倍階層ゲインマップとを用いて、ローカルゲインマップを算出する。この生成されたローカルゲインマップは、ローカルゲインマップ調整部１０６に送られる。合成ゲインマップと等倍階層ゲインマップとを用いて生成されるローカルゲインマップの具体的な例については後述する。
【００３２】
次にＳ３０４において、ローカルゲインマップ調整部１０６は、ローカルゲインマップ算出部１０５にて算出されたローカルゲインマップを、入力輝度画像の輝度信号を基に調整する。すなわち、ローカルゲインマップ調整部１０６は、ローカルゲインマップに対し、入力画像の輝度信号を基に、ゲインアップ側とゲインダウン側の少なくともどちらか一方についてコントラスト強調を弱める方向への調整を施す。この調整後のローカルゲインマップは、グローバルゲインマップ生成部１１１の最終ゲインマップ生成部１０８に送られる。ローカルゲインマップの調整の具体的な例については後述する。
【００３３】
以下、ローカルゲインマップを生成する際に用いられる第１の階調特性について、図７（ａ）〜図７（ｃ）を用いて詳細に説明する。
本実施形態において、第１の階調特性は、ローカルコントラストの調整で使用する階調特性であり、グローバルゲインマップ生成部１１１における後述する明るさ調整で使用される第２の階調特性に合わせた特性として生成される。
【００３４】
図７（ａ）は横軸が入力の輝度信号、縦軸が出力の輝度信号を表し、図７（ｂ）と図７（ｃ）はそれぞれ横軸が入力の輝度信号、縦軸が出力のゲイン信号を表している。図７（ａ）は、本実施形態の階調処理において、グローバルゲインマップ生成部１１１で行われる明るさ調整の目標となる階調補正のカーブ７０１を示す図である。また、図７（ｂ）の実線部は、図７（ａ）の階調補正のカーブ７０１をゲインテーブルに変換したものであり、明るさ調整を行うための第２の階調特性を表している。この第２の階調特性に対し、第１の階調特性は、図７（ｃ）のように、図７（ｂ）の第２の階調特性の輝度域７０２の部分のように単調増加となっている部分を、輝度域７０３のように単調減少に変換した特性となされる。第１の階調特性を単調減少の特性にする理由は、前述したようなローカルコントラスト向上の効果が得られるようにするためである。
【００３５】
また、図７（ｂ）の輝度値Ｙ１から輝度値Ｙ２までの輝度域７０２について明るさ調整で使用する第２の階調特性を下記の式（２）で示すと、ローカルコントラストの調整で使用する第１の階調特性は下記の式（３）のようになる。なお、式（２）と式（３）のＸは入力の信号値を表し、ａは傾き、Ｇａｉｎは明るさ調整で使用するゲイン信号の値、Ｇａｉｎ＿ｄａｓｈはローカルコントラスト調整で使用するゲイン信号の値を表す。また、式（２）のＧ１は第２の階調特性において入力輝度が輝度値Ｙ１の時のゲイン値であり、式（３）のＧ１＿ｄａｓｈは第１の階調特性において入力輝度が輝度値Ｙ１の時のゲイン値である。なお、図７（ｂ）と図７（ｃ）では、Ｇ１とＧ１＿ｄａｓｈの値を同じ値にした例を挙げているが、いずれかに固定値を足すなどしてそれらの値が異なる値になされてもよい。
【００３６】
Ｇａｉｎ＝ａ（Ｘ−Ｙ１）＋Ｇ１                            式（２）
Ｇａｉｎ＿ｄａｓｈ＝−ａ（Ｘ−Ｙ１）＋Ｇ１＿ｄａｓｈ      式（３）
【００３７】
次に、等倍階層ゲインマップ、第１階層ゲインマップ、第２階層ゲインマップ、合成ゲインマップ、ローカルゲインマップについて、図８（ａ）〜図８（ｃ）を用いて詳細に説明する。なお、図８（ｄ）と図８（ｅ）については後述する。
【００３８】
図８（ａ）は、入力輝度画像の輝度信号（輝度値）をｘ方向（ｘ座標方向）にプロットした図であり、横軸がｘ方向の位置、縦軸が輝度値を表している。図８（ａ）の実線部は、入力輝度画像の輝度信号８０１を表している。図８（ａ）に例示した輝度信号８０１は、ｘ方向の或る位置において輝度値Ｙ１から輝度値Ｙ２に上昇するようなエッジ部を有した信号である。なお、図８（ａ）には図示していないが、第１階層輝度画像および第２階層輝度画像の輝度信号は、入力輝度画像で輝度信号が輝度値Ｙ１から輝度値Ｙ２に上昇するエッジ部において、ｘ方向の左から右に緩やかに輝度値が上昇するような信号となる。つまり、第１階層輝度画像と第２階層輝度画像は共に低周波画像であるため、それらの輝度信号は、輝度値Ｙ１から輝度値Ｙ２に上昇するエッジ部を含んだ或る程度広がりのある範囲で輝度値が緩やかに変化（左から右に緩やかに上昇）する信号となる。
【００３９】
図８（ｂ）と図８（ｃ）は、横軸がｘ方向の位置、縦軸がゲイン信号を表している。図８（ｂ）の実線部は、図７（ｃ）に示した第１の階調特性を用いて、図８（ａ）に示した入力輝度画像の輝度信号８０１を基に生成される等倍階層ゲインマップの各ゲイン値をｘ方向にプロットしたゲイン信号８０２を示した図である。この図８（ｂ）に例示したゲイン信号８０２は、図８（ａ）の輝度信号８０１において輝度値Ｙ１から輝度値Ｙ２に上昇するエッジ部に対応したゲイン値がＧ１＿ｄａｓｈからＧ２＿ｄａｓｈに減少するようなゲイン特性を有するものとされている。なお、ゲイン値Ｇ１＿ｄａｓｈは輝度値Ｙ１に対応したゲイン値であり、ゲイン値Ｇ２＿ｄａｓｈは輝度値Ｙ２に対応したゲイン値である。
【００４０】
また、図８（ｂ）の点線部は、第１の階調特性を用いて生成された第１階層ゲインマップと第２階層ゲインマップとを合成した合成ゲインマップの各ゲイン値をｘ方向にプロットしたゲイン信号８０３を示した図である。第１階層ゲインマップと第２階層ゲインマップとは、前述したように、それぞれ低周波画像である第１階層輝度画像と第２階層輝度画像を基に生成され、また合成ゲインマップは第１階層ゲインマップと第２階層ゲインマップを合成して生成される。このため、図８（ｂ）に示すように、合成ゲインマップのゲイン信号８０３は、ゲイン値がＧ１＿ｄａｓｈからＧ２＿ｄａｓｈに緩やかかに減少するような信号となる。
【００４１】
そして、ローカルゲインマップは、前述したように、ローカルゲインマップ算出部１０５において、等倍階層ゲインマップと合成ゲインマップとを基に算出される。ここで、図８（ｂ）の例において、座標を（ｘ，ｙ）とし、等倍階層ゲインマップのゲイン信号をｏｒｇ＿Ｇ（ｘ，ｙ）、合成ゲインマップのゲイン信号をｃｏｍｐ＿Ｇ（ｘ，ｙ）で表すとする。この場合、ローカルゲインマップ算出部１０５は、式（４）により、ローカルゲインマップのゲイン信号ｓｕｂ＿Ｇ（ｘ，ｙ）を算出する。
【００４２】
ｓｕｂ＿Ｇ（ｘ，ｙ）＝ｃｏｍｐ＿Ｇ（ｘ，ｙ）−ｏｒｇ＿Ｇ（ｘ，ｙ）    式（４）
【００４３】
図８（ｂ）の例において式（４）により算出されるローカルゲインマップのゲイン信号ｓｕｂ＿Ｇ（ｘ，ｙ）は、図８（ｃ）に示すような信号８０４となる。つまり、ローカルゲインマップのゲイン信号８０４は、低周波画像を基に生成された合成ゲインマップのゲイン信号８０３から、入力画像を基に生成された等倍階層ゲインマップのゲイン信号８０２を、式（４）のように減算して生成される。すなわち、ローカルゲインマップ算出部１０５では、低周波画像を用いたことによるゲインマップ生成の効果に係る信号成分のみを、ローカルゲインマップのゲイン信号８０４として取得しているといえる。
【００４４】
次に、ローカルゲインマップ調整部１０６において行われるローカルゲインマップの調整について、図９（ａ）および図９（ｂ）を用いて詳細に説明する。
図９（ａ）は、図８（ｃ）と同様のローカルゲインマップのゲイン信号の例を示した図である。ローカルゲインマップのゲイン信号は、ゲイン値が正となっている場合にはゲインアップ側にコントラストをつける信号であり、逆に、ゲイン値が負となっている場合にはゲインダウン側にコントラストをつける信号である。ただし、前述したように画像の領域によっては、高輝度側が必要以上に飽和したり、低輝度側が必要以上に黒潰れしてしまったりすることがある。このため本実施形態のローカルゲインマップ調整部１０６は、ローカルコントラスト強調で不必要に飽和や黒つぶれが生ずるのを抑制するために、ローカルゲインマップを、ゲインアップ側またはゲインダウン側についてコントラスト強調を弱める方向へ調整する。例えば不必要な飽和を抑制する場合、ローカルゲインマップ調整部１０６は、ローカルゲインマップにおけるゲインアップ側のゲイン信号（つまり正のゲイン信号）を高輝度領域で抑制するような調整を行う。一方、不必要な黒つぶれを抑制する場合、ローカルゲインマップ調整部１０６は、ローカルゲインマップにおけるゲインダウン側のゲイン信号（つまり負のゲイン信号）を低輝度領域で抑制するような調整を行う。なお、ゲイン信号に対する抑制が行われる高輝度領域と低輝度領域については、例えばそれぞれ所定の輝度領域として設定されていているとする。所定の輝度領域は、予め設定されていてもよいし、任意に設定可能となされていてもよい。
【００４５】
具体的には、ローカルゲインマップ調整部１０６は、図９（ｂ）に示すように、入力の輝度信号の輝度値に応じたクリップ値を表すテーブルを用いたクリップ処理により、ローカルゲインマップの調整を行う。図９（ｂ）のテーブルは、高輝度側の領域９０１のように入力輝度信号が高輝度の場合に、ゲインアップ側のクリップ値が大きく下がる特性を有する。また、図９（ｂ）のテーブルは、低輝度側の領域９０２のように入力輝度信号が低輝度の場合に、ゲインダウン側のクリップ値が大きく下がる特性を有する。ここで、この図９（ｂ）のテーブルにより得られるゲインアップ側のクリップ値をＵＰ＿ＬＩＭＩＴで表し、ゲインダウン側のクリップ値をＤＯＷＮ＿ＬＩＭＩＴ、ローカルゲインマップの信号をｓｕｂ＿Ｇ（ｘ，ｙ）で表すとする。この場合、ローカルゲインマップ調整部１０６は、式（５）で表される調整を行うことにより、その調整後のローカルゲインマップのゲイン信号ｓｕｂ＿Ｇ＿ａｄｊ（ｘ，ｙ）を取得する。
【００４６】
ｓｕｂ＿Ｇ＿ａｄｊ（ｘ，ｙ）＝ＵＰ＿ＬＩＭＩＴ      （ｓｕｂ＿Ｇ（ｘ，ｙ）≧０かつｓｕｂ＿Ｇ（ｘ，ｙ）＞ＵＰ＿ＬＩＭＩＴの時）
ｓｕｂ＿Ｇ＿ａｄｊ（ｘ，ｙ）＝ｓｕｂ＿Ｇ（ｘ，ｙ）  （ｓｕｂ＿Ｇ（ｘ，ｙ）≧０かつｓｕｂ＿Ｇ（ｘ，ｙ）＜ＵＰ＿ＬＩＭＩＴの時）
ｓｕｂ＿Ｇ＿ａｄｊ（ｘ，ｙ）＝ＤＯＷＮ＿ＬＩＭＩＴ  （ｓｕｂ＿Ｇ（ｘ，ｙ）＜０かつｓｕｂ＿Ｇ（ｘ，ｙ）＜ＤＯＷＮ＿ＬＩＭＩＴの時）
ｓｕｂ＿Ｇ＿ａｄｊ（ｘ，ｙ）＝ｓｕｂ＿Ｇ（ｘ，ｙ）  （ｓｕｂ＿Ｇ（ｘ，ｙ）＜０かつｓｕｂ＿Ｇ（ｘ，ｙ）＞ＤＯＷＮ＿ＬＩＭＩＴの時）                    式（５）
【００４７】
前述の説明では、入力輝度信号に応じたゲインアップ側のクリップ値、ゲインダウン側のクリップ値をテーブルから取得してローカルゲインマップの調整を行う例を挙げたが、入力輝度信号に応じた調整ゲインのテーブルを用いてもよい。
図１０（ａ）と図１０（ｂ）は入力輝度信号に応じた調整ゲインのテーブルの例を示しており、図１０（ａ）はゲインアップ側の調整ゲインのテーブルを、図１０（ｂ）はゲインダウン側の調整ゲインのテーブルを示している。この例の場合、ローカルゲインマップ調整部１０６は、図１０（ａ）、図１０（ｂ）に示した調整ゲインのテーブルを用いて、ローカルゲインマップを調整する。
【００４８】
図１０（ａ）のテーブルは、高輝度側の領域１００１のように入力輝度信号が高輝度の場合に、ゲインアップ側の調整ゲイン値が大きく下がる特性を有する。一方、図１０（ｂ）のテーブルは、低輝度側の領域１００２のように入力輝度信号が低輝度の場合に、ゲインダウン側の調整ゲイン値が大きく下がる特性を有する。ここで、図１０（ａ）のテーブルにおけるゲインアップ側の調整ゲイン値をＵＰ＿ＧＡＩＮで表し、図１０（ｂ）のテーブルにおけるゲインダウン側の調整ゲイン値をＤＯＷＮ＿ＧＡＩＮ、ローカルゲインマップの信号をｓｕｂ＿Ｇ（ｘ，ｙ）で表すとする。この場合、ローカルゲインマップ調整部１０６は、式（６）で表される調整を行うことにより、その調整後のローカルゲインマップのゲイン信号ｓｕｂ＿Ｇ＿ａｄｊ（ｘ，ｙ）を取得する。
【００４９】
ｓｕｂ＿Ｇ＿ａｄｊ（ｘ，ｙ）＝ＵＰ＿ＧＡＩＮ×ｓｕｂ＿Ｇ（ｘ，ｙ）      （ｓｕｂ＿Ｇ（ｘ，ｙ）≧０の時）
ｓｕｂ＿Ｇ＿ａｄｊ（ｘ，ｙ）＝ＤＯＷＮ＿ＧＡＩＮ×ｓｕｂ＿Ｇ（ｘ，ｙ）  （ｓｕｂ＿Ｇ（ｘ，ｙ）＜０の時）                                            式（６）
【００５０】
次に、図４のフローチャートを参照して、図２のＳ２０２において、グローバルゲインマップ生成部１１１により行われる最終的なゲインマップの生成処理の詳細について説明する。
図４のＳ４０１において、第２のゲイン変換部１０７は、入力画像である輝度画像（入力輝度画像）に対して第２の階調特性を適用することにより、明るさを調整するのを目的としたグローバルゲインマップを生成する。なお、第２の階調特性は、前述の図７（ｂ）で説明したように、入力輝度信の輝度域に応じてゲイン値が単調増加または単調減少に変化するような特性となされている。
【００５１】
図８（ｄ）は、図７（ｂ）に示した第２の階調特性を用いて、図８（ａ）に例示した輝度信号を基に生成されるグローバルゲインマップの各ゲイン値をｘ方向にプロットしたゲイン信号８０５を示した図である。図８（ｄ）は、横軸がｘ方向の位置、縦軸がゲイン信号を表している。図８（ｄ）のゲイン信号８０５は、第２の階調特性を用いて、図８（ａ）の実線部で示される輝度信号８０１（入力画像の輝度信号）を基に生成されるグローバルゲインマップの各ゲイン値を表している。グローバルゲインマップは、図８（ｄ）のゲイン信号８０５に示すように、図８（ａ）の輝度信号８０１において輝度値Ｙ１から輝度値Ｙ２に上昇する部分に対応したゲイン値がＧ１からＧ２に増加するようなゲイン特性を有する信号である。なお、ゲイン値Ｇ１は入力の輝度値Ｙ１に対応したゲイン値、ゲイン値Ｇ２は入力の輝度値Ｙ２に対応したゲイン値である。このように、第２のゲイン変換部１０７は、第２の階調特性を用い、図８（ａ）の輝度信号８０１を基に、図８（ｄ）に示すような特性のグローバルゲインマップを生成する。そして、第２のゲイン変換部１０７により生成されたグローバルゲインマップは、最終ゲインマップ生成部１０８に送られる。
【００５２】
次にＳ４０２において、最終ゲインマップ生成部１０８は、第２のゲイン変換部１０７で生成したグローバルゲインマップと、前述したローカルゲインマップ調整部１０６による調整後のローカルゲインマップとを基に、最終的なゲインマップを生成する。ここで、図８（ｄ）の例において、座標を（ｘ，ｙ）とし、グローバルゲインマップのゲイン信号をｏｒｇ２＿Ｇ（ｘ，ｙ）、調整後のローカルゲインマップのゲイン信号をｓｕｂ＿Ｇ＿ａｄｊ（ｘ，ｙ）で表すとする。この場合、最終ゲインマップ生成部１０８は、式（７）により、最終的なゲインマップのゲイン信号Ｇａｉｎ（ｘ，ｙ）を算出する。
【００５３】
Ｇａｉｎ（ｘ，ｙ）＝ｓｕｂ＿Ｇ＿ａｄｊ（ｘ，ｙ）＋ｏｒｇ２＿Ｇ（ｘ，ｙ）
式（７）
【００５４】
図８（ｅ）は、この最終的なゲインマップのゲイン信号８０６を表す図であり、横軸がｘ方向の位置、縦軸がゲイン信号の値を表している。最終的なゲインマップのゲイン信号８０６（Ｇａｉｎ（ｘ，ｙ））は、グローバルゲインマップのゲイン信号ｏｒｇ２＿Ｇ（ｘ，ｙ）と、調整後のローカルゲインマップのゲイン信号ｓｕｂ＿Ｇ＿ａｄｊ（ｘ，ｙ）とを、式（７）により加算して生成されている。すなわち、最終的なゲインマップのゲイン信号８０６は、グローバルゲインマップによる明るさ調整と、前述した調整後のローカルゲインマップによるローカルコントラスト調整とを同時に行うことが可能な信号となっている。
【００５５】
そして、最終ゲインマップ生成部１０８は、その最終的なゲインマップを、図１のゲイン処理部１０９に送る。これにより、ゲイン処理部１０９では入力画像に対して最終的なゲインマップを適用したゲイン処理が行われることになる。
【００５６】
以上説明したように、本実施形態の画像処理装置は、ローカルコントラストの調整において、不必要な飽和や黒潰れの発生を抑制し、自然な形でコントラストを向上させることができるローカルトーンマッピングを実現可能となっている。
【００５７】
本実施形態の画像処理装置は、例えばデジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、工業用カメラ、車載カメラ、医療用カメラ等に適用可能である。また、本実施形態に係る画像処理は、ハードウェア構成により実現される場合だけでなく、例えばパーソナルコンピュータやデジタルカメラ等に内蔵されたコンピュータ等においてソフトウェアにより実現されてもよい。
【００５８】
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５９】
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６０】
１０１：第１の縮小画像生成部、１０２：第２の縮小画像生成部、１０３：第１のゲイン変換部、１０４：階層ゲインマップ合成部、１０５：ローカルゲインマップ算出部、１０６：ローカルゲインマップ調整部、１０７：第２のゲイン変換部、１０８：最終ゲインマップ生成部、１０９：ゲイン処理部、１１０：ローカルゲインマップ生成部、１１１：グローバルゲインマップ生成部
【図１】
2019053590.tif 000003
【図２】
2019053590.tif 000004
【図３】
2019053590.tif 000005
【図４】
2019053590.tif 000006
【図５】
2019053590.tif 000007
【図６】
2019053590.tif 000008
【図７】
2019053590.tif 000009
【図８】
2019053590.tif 000010
【図９】
2019053590.tif 000011
【図１０】
2019053590.tif 000012