(57)【要約】  本発明は、画像における区画の画像強度値を、ダイナミックレンジ圧縮画像変換に基づいて変更することを含む画像補正処理方法を提供する。区域の出力画像強度は、入力画像強度から、区画の増幅係数に基づいて変更される。区画の増幅係数は、少なくとも一つの近傍区画の増幅係数に基づいて変更される。本発明は、ダイナミックレンジを圧縮するために処理された画像におけるコントラストを保存する。【選択図】  図７【特許請求の範囲】
【請求項１】
非線形画像変換を用いて入力画像を変更して出力画像を生成することを含む画像処理方法であって、
該方法は、画像を区域ごとに補正して、区域の出力画像強度（Ｏｉｊ）を該区域の入力画像強度（Ｉｉｊ）と異なるように生成し、
区域の前記出力画像強度（Ｏｉｊ）は該区域の前記入力画像強度（Ｉｉｊ）に
【数１】
2008511048.tif 000028
の比によって関連付けられており、
該画像処理方法は、所与の区域の前記増幅係数を少なくとも一つの近傍区画の前記増幅係数に基づいて変更して、出力画像を生成し、前記画像の少なくとも一部において、前記入力画像の局所コントラストを前記出力画像において少なくとも部分的に保存する、
方法。
【請求項２】
前記非線形画像変換が、前記画像のダイナミックレンジを変更する変換である、請求項１に記載の方法。
【請求項３】
前記変換が、ダイナミックレンジ圧縮画像変換である、請求項２に記載の方法。
【請求項４】
該画像処理方法が、所与の区域の前記増幅係数を少なくとも一つの近傍区域の前記増幅係数に基づいて変更して、出力画像を生成し、前記画像の少なくとも一部において、前記出力画像の前記局所コントラストを、
【数２】
2008511048.tif 000029
のように前記入力画像の前記局所コントラストと大きく異ならないようにし、
ここで、Ｉ１及びＩ２は前記入力画像の二つの近接区域の画像強度であり、Ｏ１及びＯ２は前記出力画像の同じ二つの区域の画像強度である、
請求項１〜３の何れか一項に記載の方法。
【請求項５】
該画像処理方法が、所与の区域の前記増幅係数を複数の近傍区域の増幅係数に基づいて変更して、出力画像を生成する、請求項１〜４の何れか一項に記載の方法。
【請求項６】
該画像処理方法が、所与の区域の前記増幅係数を、前記複数の近傍区域の前記増幅係数の平均に基づいて変更して、出力画像を生成する、請求項５に記載の方法。
【請求項７】
該画像処理方法が、ローパスフィルタを用いて前記増幅係数を変更する、請求項１〜６の何れか一項に記載の方法。
【請求項８】
該画像処理方法が、前記所与の区域の前記増幅係数の値を、近傍区域の集合における実質的に最小の増幅係数に基づいて変更することによって、前記増幅係数を変更する、請求項１〜７の何れか一項に記載の方法。
【請求項９】
入力画像の区域の前記画像強度を変更した後に、該区域の前記増幅係数を生成し、次いで、前記生成した増幅係数を、少なくとも一つの他の近傍区画の前記増幅係数に基づいて変更する、請求項１〜７の何れか一項に記載の方法。
【請求項１０】
区域の前記画像強度を、少なくとも一つの近傍区域における実質的に最大の画像強度に変更することを含む、請求項９に記載の方法。
【請求項１１】
区域の前記画像強度を、前記入力画像の非線形フィルタリングの計算結果となるように変更して、前記出力画像の区域の前記強度を、前記入力画像における同じ区域の近傍区域における強度の非線形関数値とすることを含む、請求項１〜１０の何れか一項に記載の方法。
【請求項１２】
区域の画像強度を、膨張処理と当該膨張処理に続くぼかし処理の計算結果に変更することを含み、
前記膨張処理は、出力画像の区域の前記強度を、前記入力画像の近傍区域の集合における実質的に最大の強度へと変更することを含み、
前記ぼかし処理は、区域における前記増幅係数を、前記画像の近傍区域における増幅係数の集合の実質的に平均の強度となるように、変更することを含む、
請求項１〜７の何れか一項に記載の方法。
【請求項１３】
少なくとも、前記所与の区域の前記増幅係数と、前記画像に対応する増幅マップにおける少なくとも一つの他の近傍区域の前記増幅係数と、を格納することを含む、請求項１〜１２の何れか一項に記載の方法。
【請求項１４】
前記マップにおける全増幅係数を、該マップにおける少なくとも一つの他の近傍区域の前記増幅係数に基づいて変更する、請求項９に記載の方法。
【請求項１５】
前記画像がデジタル画像であり、前記区域の各々はピクセルである、請求項１〜１４の何れか一項に記載の方法。
【請求項１６】
請求項１〜１５の何れか一項に記載の方法を実行させることができるコードを備えるコンピュータソフトウェア。
【請求項１７】
請求項１〜１５の何れか一項に記載の方法を実行するように構成されたコンピュータ、又は他の計算デバイスを備える装置。
【請求項１８】
請求項１〜１５の何れか一項に記載の方法を実行するように構成された集積回路、又は他の形態の電子回路。
【請求項１９】
非線形画像変換を用いて入力画像を変更して出力画像を生成することを含む画像処理方法であって、
前記変換は、区域ごとに画像を補正して、区域の出力画像（Ｏ）を入力画像（Ｉ）と異なるように生成するよう構成されており、
前記出力画像（Ｏ）は、前記区域の前記入力画像（Ｉ）に
【数３】
2008511048.tif 000030
の変換によって関連付けられており、
前記変換は、区域の出力画像強度（Ｏｉｊ）を該区域の入力画像強度（Ｉｉｊ）と異なるように生成し、
区域の前記出力画像強度（Ｏｉｊ）は、該区域の前記入力画像強度（Ｉｉｊ）に
【数４】
2008511048.tif 000031
の比で関連付けられており、
該方法は、所与の区域の前記増幅係数を、少なくとも一つの近傍区域の前記増幅係数に基づいて変更して、前記画像の少なくとも一部において、前記出力画像の局所コントラストを、
【数５】
2008511048.tif 000032
のように前記入力画像の局所コントラストと大きく異ならないようにし、
ここで、Ｉ１及びＩ２は前記入力画像の二つの近接区域の画像強度であり、Ｏ１及びＯ２は前記出力画像の同じ二つの区域の画像強度である、
方法。
【発明の詳細な説明】
【発明の分野】
【０００１】
本発明は、広く、画像処理方法、及び画像処理用コンピュータソフトウェアに関するものである。本発明は、デジタル画像及びアナログ画像の両者、更にはビデオ画像にも適用し得るものである。
【発明の背景】
【０００２】
画像の変換には多くの周知の技術がある。これら技術の中には、ダイナミックレンジ圧縮画像変換のような非線形画像変換がある。ダイナミックレンジは、画像又はシーンの最も明るい部分の強度と最も暗い部分の強度の比である。画像の暗い区域（例えば、影）は、低い画像強度を有しており、一方、明るい区域（例えば、白雲）は、高い画像強度を有している。電子光学装置は、ＣＣＤ検出器アレイに基づいており、大きなダイナミックレンジ、例えば、２５００：１のオーダーのダイナミックレンジを有する画像データを取得することができる。しかしながら、このレンジは、画像をデジタル化するときに、不可逆圧縮アルゴリズム（例えば、ＪＰＥＧ、ＭＰＥＧ）の使用に起因して、又は、画像を狭いダイナミックレンジを有するメディア上にレンダリングするときに（例えば、印刷ハードコピー、ディスプレイデバイス上への表示）、失われることがある。
【０００３】
したがって、画像により「自然な」外観を与えるように当該画像のダイナミックレンジを圧縮することが望まれている。ダイナミックレンジ圧縮画像変換の例には、Ｒｅｔｉｎｅｘ、局所ヒストグラム均等化、及び、ガンマ補正がある。更なる例として、ＯＲＭＩＴアルゴリズムがあり、特許出願ＷＯ  ０２／０８９０６０号に開示されている。この特許出願の内容を、その全体を参照することによって本明細書に援用する。当該出願の内容を、以下により詳細に説明する。
【０００４】
上述した変換処理は、局所コントラストの低減をもたらすものである。局所コントランスは、画像の近傍ピクセル（又は、連続画像の場合には、分解可能な区域）の強度の比として、次のように定義されるものである。
【数１】
2008511048.tif 000002
ここで、Ｉ１及びＩ２は、二つの近傍ピクセルにおける強度である。
【０００５】
画像が非線形画像変換を用いて変換されるときに、近傍ピクセル間の画像強度の差異が失われることがある。図１は、局所コントラストを減少させるダイナミックレンジ圧縮画像変換の例を示している。この例示の変換は、「ガンマ補正」として知られている標準画像コンディショニング技術であり、当該変換においては、（ｂ）の部分に示すような伝達カーブを適用して、入力強度（ａ）を変化させて、画像内の出力強度（ｃ）を生成する。この変換の結果、画像の明るい部分の詳細が区別し難くなる。このことは、ａ）の入力画像に示す強度カーブ及びｃ）の入力画像に示す強度カーブのくぼみに、鮮明度の損失として見ることができる。
【０００６】
同様の影響を、図２において、３×３ピクセルの画像の場合に関して示す。図から分かるように、比較的暗いピクセルとその周りの比較的明るいピクセルの集合との間の局所コントラストは、この例では、１／３から１／１０に、入力画像と出力画像の間で低減されている。
【０００７】
ガンマ補正のように（シーンの暗い部分の輝度を増加することを目的とする）階調マッピング処理によって引き起こされる他の歪は、「形状歪み」と呼ばれるものである。図３は、例示の階調マッピングによって生じる形状歪みの例を示している。即ち、輝度の特性が、その幅において増加しているように現れている。このことは、ａ）の入力画像及びｃ）の出力画像に見られる強度ピークの強度半値幅の増加として見ることができる。
【０００８】
画像における局所コントラストは、画像鮮明化変換のような公知の画像処理技術を用いて増加することができる。しかしながら、ダイナミックレンジ圧縮画像変換によって処理された画像を、その後に画像鮮明化変換を用いて処理する場合には、初期の変換における局所コントラストの損失と画像鮮明化変換を用いた局所コントラストの増加との間に対応関係が少なくなる。故に、得られる画像は、自然なものに見えなくなる傾向がある。
【０００９】
本発明の一側面によれば、入力画像を非線形画像変換を用いて変更して出力画像を生成する画像処理方法が提供される。この処理は、画像を区域ごとに変換して、区域の出力画像強度（Ｏｉｊ）を生成する。この出力画像強度（Ｏｉｊ）は、区域の入力画像強度（Ｉｉｊ）と異なっており、区域の出力画像強度（Ｏｉｊ）は、当該区域の入力画像強度（Ｉｉｊ）に次の比によって関係付けられている。
【数２】
2008511048.tif 000003
ここで、本画像処理方法は、画像の少なくとも一部において、入力画像の局所コントラストを出力画像において少なくとも部分的に保存するために、区域の増幅係数を少なくとも一つの近傍区域の増幅係数に基づいて変更して、出力画像を生成する。
【００１０】
本発明は、非線形画像変換を用いて処理される画像の局所コントラストを少なくとも部分的に保存する、即ち、劣化を低減する方法を提供する。
【００１１】
好ましくは、画像変換中に局所コントラストを保存する結果として、出力画像の少なくとも幾つかの部分における局所コントラストと入力画像の対応の部分の局所コントラストが、次のように大きく異ならない。
【数３】
2008511048.tif 000004
ここで、Ｉ１及びＩ２は、入力画像の当該の部分における二つの近接した区域の画像強度であり、Ｏ１及びＯ２は、出力画像の同じ二つの領域の画像強度である。
【００１２】
本発明は、局所コントラストを、画像の少なくとも一部において少なくとも部分的に保存する方法を提供する。部分とは、多数の画像区域、例えば、異なる強度値を有するピクセルを有する領域を意味する。かかる領域は、数百のピクセルを含むことがある。局所コントラストの損失は、画像の比較的明るい部分においてより目立ち易いので、局所コントラストを、好ましくは、画像の少なくとも比較的明るい部分であって平均入力強度が比較的明るい部分において保存する。平均入力強度が比較的暗い画像の部分では、コントラストの大きな損失を許容することができる。これは、このコントラストが観察者にとって如何なる場合であっても識別し得なく、したがって画像の自然な外観は依然として維持され得るからである。故に、本発明は、画像の比較的暗い部分より、画像の比較的明るい部分において局所コントラストを維持する局所コントラスト保存方法を含むものである。
【００１３】
本発明の更なる側面によれば、非線形画像変換を用いて入力画像を変更し、出力画像を生成する画像処理方法が提供される。この変換は、区域ごとに画像を補正して入力画像（Ｉ）と異なる区域の出力画像（Ｏ）を生成する。当該出力画像（Ｏ）は、区域の入力画像（Ｉ）に次の変換によって関連付けられる。
【数４】
2008511048.tif 000005
この変換は、区域の出力画像強度（Ｏｉｊ）を当該区域の入力画像強度（Ｉｉｊ）と異なるように生成し、区域の出力画像強度（Ｏｉｊ）を当該区域の入力画像強度（Ｉｉｊ）に次の比によって関連付ける。
【数５】
2008511048.tif 000006
ここで、本方法は、画像の少なくとも一部において、次式に示すように、出力画像の局所コントラストが入力画像の局所コントラストと大きく異ならないようにするために、区域の増幅係数を、少なくとも一つの近傍区域の増幅係数に基づいて変更する。
【数６】
2008511048.tif 000007
ここで、Ｉ１及びＩ２は、入力画像の二つの隣接する区域の画像強度であり、Ｏ１及びＯ２は、出力画像の同じ二つの区域の画像強度である。
【００１４】
本発明の実施の形態は、デジタル又はアナログで実施されてもよい。処理されるべき画像がデジタルである場合には、上記の区域はピクセルによって表現される。処理されるべき画像がアナログフォーマットである場合には、上記の区域は、例えば、ピクセル状の区域のように、予め設定されたサイズの画像における小区域であるべきものである。
【００１５】
本発明の方法は、コンピュータソフトウェア又はハードウェアにおいて実装されていてもよい。例示に係る実装の形態は、モノリシック・アナログ集積回路（ＩＣ）の形態をとり、画像取得デバイスにおける望ましい特徴である小サイズ且つ低電力消費という利点を有する。携帯ビデオカメラ及びセキュリティカメラのような画像取得デバイスにおいては、小サイズであり、且つ、消費電力が小さいことは、特に望ましい。
【００１６】
本画像取得デバイスは、画像をアナログ画像として取得してもよい。アナログフォーマットで取得された画像は、アナログ−デジタル変換器（ＡＤＣ）によってデジタルフォーマットに変換されてもよい。本発明による方法は、デジタル化の前後の何れかにおいて適用し得る。
【００１７】
本発明による方法は、カラー画像及びグレースケール画像の両者に適用し得る。カラー画像の場合には、本方法を用いて、色相及び彩度を変更せずに画像の画像強度を変更することが可能である。または、本方法を用い、カラー補正を提供して、個々のカラーチャンネルを変更することが可能である。
【００１８】
本発明の実施の形態は、ダイナミックレンジ圧縮のような非線形画像変換を使用する任意のシステムにおいて実施することが可能である。したがって、本発明の実装形態には、デジタル静止画像を改善するためのソフトウェア（スタンドアローン、スキャナソフトウェア、プリンタソフトウェア）、ビデオを改善するためのソフトウェア、デジタル静止画カメラ及びビデオカメラ、陰極線管（ＣＲＴ）ディスプレイ、液晶デバイス（ＬＣＤ）ディスプレイ、画像プロジェクタ、他のタイプのディスプレイ装置、並びにプリンタがある。アナログ領域での実装形態には、アナログビデオカメラ、超高速ビデオカメラ、高品質デジタルビデオカメラ、セキュリティカメラ、並びに、Ｘ線及び暗視向上装置がある。
【００１９】
本発明は、霞んだシーンの向上、大ダイナミックレンジシーン用の多重露光型の画像合成、高度なカラー補正処理、並びに、テレビ装置、コンピュータモニタ、及び他のディスプレイ用の汎用画像改善のように、種々の画像処理方法に使用し得るものである。
【００２０】
本発明の更なる特徴及び利点は、以下の本発明の好適な実施の形態の説明から明らかとなる。かかる説明は、例示のみを目的として提供しており、添付の図面を参照するものである。
【発明の詳細な説明】
【００２１】
本発明は、本明細書では「局所コントラスト保存」と称する方法を提供するものであり、当該方法は、位置非依存の（空間的に一様な）画像変換（Ｏ＝ｆ（Ｉ））、又は位置依存の（空間的に変化する）画像変換（Ｏ＝ｆ（Ｉ，ｉ，ｊ）、ここで、ｉ，ｊはピクセルの空間座標ｘ、ｙである）による結果を改善することを可能とするものである。本発明の方法は、従来技術の非線形画像変換によって生じる画像の局所コントラストを改善（及び、鮮明な細部の形状の変形を低減）することができる。
【００２２】
局所コントラストは画像処理によって保存されるのは、出力画像の局所コントラストが、少なくとも大部分の画像の場合に、入力画像の局所コントラストと次式に示すように大きく異ならない場合である。
【数７】
2008511048.tif 000008
ここで、Ｉ１及びＩ２は、入力画像の二つの隣接ピクセルの画像強度であり、Ｏ１及びＯ２は、出力画像の同じ二つのピクセルの画像強度である。局所コントラストが顕著に小さい場合に、このことは、画像内の細部が区別し難いことを意味する。「大きく異ならない」とは、出力局所コントラストの入力局所コントラストに対する比が、１に近いように制御されることを意味しており、例えば、１・１／２以下且つ１／２以上に制御されることを意味している。比率の１への近さは、個別のフィルタの選択によって変更及び制御することが可能である。これについては、以下に説明する。
【００２３】
局所コントラスト保存法を非線形画像変換ｆ（Ｉ）と結合して使用する本発明の実施の形態の画像変換は、次式に示すように、一般的なステップ・バイ・ステップ（Ｓｔｅｐ  ｂｙ  Ｓｔｅｐ）のスキームによって表現される。
【数８】
2008511048.tif 000009
ここで、Ｉｄは、入力強度Ｉの非線形空間フィルタリングによって生成されたフィルタリング後の画像強度であり、ｆ（Ｉｄ）は、フィルタリング後の画像強度Ｉｄにダイナミックレンジ圧縮画像変換を適用することによって生成された変換後の画像強度であり、Ａｄ（Ａは、変換される画像の各区域に対応する増幅係数の二次元マトリックスであり、本明細書では「増幅マップ」と称する）は、次式のように、変換後の画像強度ｆ（Ｉｄ）をフィルタリング後の画像強度Ｉｄで除算することによって生成される初期の増幅マップである。
【数９】
2008511048.tif 000010
また、Ａｄｂは、「ぼかし」処理（「ぼかし」は、画像の高周波（空間）成分を低減するローパスフィルタリング処理として広く定義し得るものである）の結果である。ぼかし処理の例には、図５に示すガウシアンぼかし処理がある。
【００２４】
次に、ぼかし処理後の増幅マップを原入力画像に適用することによって、即ち、入力強度にぼかし後の増幅マップにおける対応の増幅係数を乗算することによって、出力画像強度Ｏを生成する。
【００２５】
増幅マップをぼかした後に、当該増幅マップを原画像に適用することによって、出力画像における局所コントラストが保存される傾向がある。このことを以下に示す。増幅マップＡｄｂが空間領域において滑らかである場合には、上記の式（１）を用いて本明細書で定義した局所コントラストは、次式の通りとなる。
【数１０】
2008511048.tif 000011
【００２６】
ここで、画像強度が二つの近傍ピクセル間で大きくに変化する場合、例えば、次式のようにＩ１＞＞Ｉ２といった場合を考える。
【数１１】
2008511048.tif 000012
【００２７】
画像強度が大きく変化する場合であっても、ぼかしマップは、ローパスフィルタリングの計算結果であり、次式のように近傍ピクセル間で緩やかに変化する。
【数１２】
2008511048.tif 000013
【００２８】
したがって、局所コントラストは、入力画像と出力画像の間で次式のように変化する。
【数１３】
2008511048.tif 000014
ここで、ＬＣＯは出力局所コントラストであり、ＬＣＩは入力局所コントラストである。
【００２９】
したがって、ＬＣＯ〜ＬＣＩ、即ち、出力局所コントラストと入力局所コントラストは、ダイナミックレンジ圧縮画像変換の適用にも係わらず、略等しいものとなる。
【００３０】
以上、出力画像の局所コントラストＬＣＯを、入力画像の局所コントラストＬＣＩに対して僅かな差異のみを有するように生成することが可能であることを示した。一方、互いに離れている区域間のコントラストは、局所コントラスト保存法による影響を受けることなく、非線形画像変換によって要望されたように変更することが可能である。これは、本画像処理方法が、所与の区域の増幅係数を少なくとも一つの隣接する区域の増幅係数に応じて変更して出力画像を生成し、その結果、局所コントラストが初期的に大きい場合に、変換の全影響を特に局所コントラストが比較的大きい区域において緩和して、特に局所コントラストが大きい区域においてコントラストを保存するからである。
【００３１】
局所コントラスト保存の二つの異なる実施の形態を次のように提案する。一つは、膨張処理を利用するものであり、他の一つは縮小処理である。膨張処理及び縮小処理は、局所コントラスト保存処理を向上させる非線形フィルタリングの例である。
【００３２】
膨張は、ある（ｉ，ｊ）番目のピクセルについて、入力画像上の（ｉ，ｊ）番目のピクセルの隣接箇所の最大画像強度に近づく傾向のある出力を生成する画像処理である。
【００３３】
膨張処理の例を図６に示す。入力画像の一部を（ａ）に示し、近傍領域を（ｂ）によって定義し、出力画像を（ｃ）に示す。出力ピクセル（ｉ，ｊ）は、（ｉ，ｊ）番目のピクセルの近傍領域（この場合には、近傍箇所は現在のピクセルの左のピクセル、右のピクセル、上のピクセル、及び下のピクセルを含む）のうち最大の入力画像強度の画像強度を有する。したがって、比較的明るい区域のサイズは、大きくなる傾向にある。
【００３４】
縮小処理は、出力ピクセル（ｉ，ｊ）がその近傍領域における最小入力画像強度の入力強度を有することを除いて、膨張処理に類似している。本処理は、出力画像の各ピクセルの画像強度が、入力画像の近傍ピクセルのうち（最大ではなく）最小画像強度に近づく傾向がある点において、逆処理である。したがって、比較的明るい区域のサイズは、小さくなる傾向にある。
【００３５】
膨張処理と縮小処理は、公知の標準モルフォロジフィルタであり、空間的に連続する画像の場合に一般化することができる。種々の連続的な実施の形態が考えられる。膨張の例は、次の通りである。
【数１４】
2008511048.tif 000015
ここでｆ（Ｉ）は、非線形関数であり、例えば、次式に示す関数である。
【数１５】
2008511048.tif 000016
ここで、μについては、適切な設定、例えばμ＝３が選択される。
【数１６】
2008511048.tif 000017
ここで、ｆ（Ｉ）は非線形関数であり、例えば、次式に示す関数である。
【数１７】
2008511048.tif 000018
ここで、ｆ（−１）（Ｉ）は、次式に示すようにｆ（Ｉ）の逆関数である。
【数１８】
2008511048.tif 000019
【００３６】
以上から、次式が得られる。
【数１９】
2008511048.tif 000020
ここで、μについては、適切な設定、例えばμ＝５が選択される。
【００３７】
以下に説明する実施の形態は、デジタル画像の処理に基づくものである。この場合には、次式に示すように、出力ピクセル（ｉ，ｊ）が（ｉ，ｊ）番目のピクセルの近傍領域の最大入力画像強度の画像強度を有するように、膨張処理を実行する。
【数２０】
2008511048.tif 000021
また、移動マスク、例えば５×５のガウシアンマスクに基づくぼかし処理を実行する。
【００３８】
図４は、本発明の実施の形態に係る方法を実施するように構成したコンピュータシステムを示す図である。本コンピュータシステムは、中央処理ユニット（ＣＰＵ）２、オペレーティングシステムソフトウェア４、ハードディスク６、メモリ８、入力／出力（Ｉ／Ｏ)システム１２、及び画像補正ソフトウェア１０を備えている。本実施の形態では、画像補正ソフトウェア１０は、本発明の実施の形態に係る方法を実行させることが可能なコンピュータプログラム、又は、一式のコンピュータプログラムを備えている。Ｉ／Ｏシステム１２は、入力デバイス１４及びモニタ１６に接続されており、当該モニタ１６は、本発明の実施の形態による処理の前後に画像を表示するよう動作可能である。入力デバイスとしては、キーボード、マウス、電子ペン、又は触覚デバイスがあり、本発明の実施の形態に係る補正用の画像を選択又は管理するために使用される。
【００３９】
図７は、本発明に係る画像処理方法の実施の形態を、概略的なブロック図の形態で示している。まず、入力画像を分析して、入力画像に対する任意の処理が行われる前に、入力画像の画像強度値を決定する。入力画像の画像強度値の決定は、多くの態様で行うことが可能である。白黒又はグレースケールの画像では、画像強度を決定することは単純なことであり、画像強度は画像コーディングから又は画像自体から直接導出する。赤緑青（ＲＧＢ）のようなカラーモデルに基づくカラー画像の場合には、画像強度は、例えば、入力カラー画像強度値ＲＩ，ＧＩ，ＢＩの重み付け関数によって次式に示すように導出することが可能である。
【数２１】
2008511048.tif 000022
ここで、Ｗは、色固有であることがあり、重み付け因子である。この方法では、代表画像強度Ｉを、各ピクセルに対して計算し、変換を、当該代表画像強度に適用する。得られた増幅マップは、カラー画像強度値のそれぞれに適用することが可能である。結果として得られる処理は、ＲＧＢ画像の出力画像強度を、入力（ＲＩ，ＧＩ，ＢＩ）から出力（ＲＯ，ＧＯ，ＢＯ）へと次式に従って変更する。
【数２２】
2008511048.tif 000023
【００４０】
各カラー用の代表画像強度を生成する他の方法を代わりに使用するが可能であり、又は、個別の変換処理を、カラー画像強度値のそれぞれに個別に適用することも可能である。
【００４１】
再び図７を参照する。ステップ２０においては、膨張処理を画像強度に適用する。例えば、図６に示した膨張関数を使用することができる。所定のサイズ、例えば３×３ピクセルの膨張マスクを適用する。その中心で所与のピクセルに適用されるマスク内では、当該所与のピクセルの画像強度が、３×３のグループにおけるピクセルの最大画像強度に増加する。また、このマスクを、移動マスクとして画像全体に適用して、膨張画像強度Ｉｄを生成する。このようにして、明るい区域に隣接する暗い区域のエッジにおけるピクセルの画像強度を明るいピクセルの画像強度へと増大させ、明るい区域のサイズを膨張させる。
【００４２】
膨張画像強度Ｉｄに、非線形画像変換ｆ（Ｉ）を、ステップ２２において適用する。例えば、図１（ｂ）の階調マップ補正カーブを使用することができる。ここでは、入力画像強度は、水平軸線に与えられており、出力画像強度は垂直軸線に与えられている。補正カーブは、非線形であり、暗い入力ピクセル（低い画像強度をもつピクセル）を明るい入力ピクセル（高い画像強度をもつピクセル）より大きな度合いで補正するように形成されている。例えば、低い入力画像強度ｘを有する暗いピクセルは、出力画像強度値ｚを有するようになる。これに対して、高い画像強度ｙを有する明るいピクセルは、出力画像強度値ｙを有するようになり、従って変更されない。したがって、明るいピクセルに対応付けられた増幅係数の値は低く、暗いピクセルに対応付けられた係数の値は高い。
【００４３】
次いで、ステップ２４において、変換出力Ｏｄを膨張画像強度Ｉｄで除算することによって、初期の増幅マップＡｄを導出する。増幅マップＡｄは、多数の増幅係数を有する。各増幅係数は、入力画像における対応のピクセルに対応付けられており、数値を有している。この数値は、あるピクセルの出力画像強度が入力画像強度に対して変更される度合いを表している。
【００４４】
次に、ステップ２６において、増幅マップＡｄを生成するためにステップ２４で導出した増幅係数の値を、少なくとも最近傍領域の値に基づいて変更する。この実施の形態では、当該変更を、ぼかし処理によって実現する。増幅マップをぼかして、ぼかし増幅マップＡｄｂを導出する。例えば、図５に示したぼかし関数を使用することができる。所定のサイズ、例えば５×５ピクセルのぼかしマスクを適用する。このマスク内では、当該マスクがその中心で所与のピクセルに適用されるときに、当該所与のピクセルの増幅係数が、５×５のグループにおける全ピクセルの平均増幅係数へと変化する。また、このマスクを、移動マスクとして増幅マップの全体に適用して、ぼかし増幅マップを生成する。このようにして、高い増幅係数の区域及び低い増幅係数の区域のエッジにおける増幅係数をぼかして、同様の値をもつ増幅係数を生成する。
【００４５】
ぼかし処理は、ローパスフィルタの適用を採ることができる。ローパスフィルタは、本質的には、低い周波数を通過させ、高い周波数を減衰させるフィルタである。
【００４６】
次に、ぼかし増幅マップＡｄを、入力画像強度Ｉにステップ２８で適用して、出力画像強度Ｏを導出する。ステップ２８は、各増幅係数の数値を対応のピクセルに適用することと、各ピクセルの画像強度を当該数値に従って変更することを含む。ステップ２８は、例えば、各ピクセルの入力画像強度に対応の増幅係数の値を乗算することによって、実施する。
【００４７】
本発明の局所コントラスト保存の効果は、最初に画像強度を膨張させることなく生成された増幅マップをぼかすことによって、実現することも可能である。しかしながら、「ハロー（halo）」のようなアーティファクトを生じることがある。ここで、明るいピクセルによって囲まれた暗いピクセルの中心ブロックを初期的にもつ例示の画像を考える。増幅マップは、所望の画像変換（例えばガンマ補正）を適用し、その計算結果を入力画像強度で除算することによって、生成することができる。次に、増幅マップを３×３のマスクを用いてぼかして、ぼかし増幅マップを生成する。暗いピクセルに対応付けられた増幅係数は比較的大きいので、暗いピクセルに近接する初期的に明るいピクセルに対応付けられた増幅係数は、ぼかし処理によって増大する。したがって、ぼかし増幅マップを入力画像に適用すると、大きい画像強度をもつ「ハロー」が、暗い中心区域の周りにおいて出力画像に現れる。
【００４８】
膨張処理を、この「ハロー」効果の影響に緩和するために使用する。膨張処理では、画像の近傍ピクセルを共にグループ化して、各グループにおける全てのピクセルの画像強度値を求め、次いで、当該画像強度値を、最も大きい画像強度値を有するピクセルの最大値に増加させる。近傍ピクセルを、それらの最周辺近傍領域に従って、又は、より大きいグループに従って、グループ化してもよい。膨張処理は、ピクセルの画像強度値をグループ内のピクセルの最も大きい画像強度値へとリセットする。グループの大きさは、必要な膨張の度合いに応じて、変更してもよい。
【００４９】
図８〜図１１は、階調マップ補正カーブ処理を用いるダイナミックレンジ圧縮画像変換の例を示しており、当該変換は、部分（ａ）に示す入力画像に適用され、部分（ｂ）に示すように、形状歪み及び局所コントラストの損失の両者をもたらし得るものである。また、同図は、部分（ｃ）に示すように、図６に関して上述した局所コントラスト保存技術によって提供される改善結果も共に示している。
【００５０】
本発明の方法を適用して、様々な程度の局所コントラスト保存を実施してもよい。ともかく、本方法は、ダイナミックレンジ圧縮画像変換の際に使用されて、局所コントラスト保存方法が使用されていないダイナミックレンジ圧縮画像変換を適用すると生じるであろう局所コントラストの損失を低減する。その結果、出力画像の各部における局所コントラストは、他の場合に発生し得る局所コントラストより、入力画像の各部の局所コントラストに近似したものとなる。この近似の度合いは、増幅マップに適用されるぼかし変換の性質に依存している。例えば、ガウシアンフィルタＧ＝ｅｘｐ｛−（ｘ２＋ｙ２）／ｇ２｝を使用する場合には、ｇ＝１のぼかしカーネルによって、入力の局所コントラストと出力の局所コントラストとの差異が約５０％にまで低減される。一方、ｇ＝２のぼかしカーネルによって、当該差異は約７０％にまで低減される。
【００５１】
図１２は、図７に示した処理に代えて使用される本発明の代替的な実施の形態を示す図である。説明を簡潔にするために、図７に関して説明したステップに類似するステップは、１００だけ増分することを除いて、同様の参照符号で参照する。また、当該ステップに関する同様の説明は、ここにもまた適用されるべきものである。本処理は、入力画像強度を最初に膨張させずに、ステップ１２４における初期の増幅マップＡの生成を行う点で、変更されている。しかしながら、初期の増幅マップＡを生成した後に、増幅マップＡにステップ１２５の上述したような縮小処理を適用して、縮小増幅マップＡｅを生成する。増幅マップの縮小は、大きい増幅係数をもつ区域のサイズを縮小し、したがって、上述した「ハロー」効果も低減する傾向がある。次に、ぼかし処理を縮小増幅マップＡｅに適用して、ぼかし縮小増幅マップＡｅｂをステップ１２６にて生成する。次いで、このぼかし縮小増幅マップＡｅｂを、入力画像強度Ｉに適用して、出力画像強度Ｏをステップ１２８にて生成する。
【００５２】
したがって、入力画像の膨張、又は初期の増幅関数の縮小の何れか、若しくは、これら二つの組み合わせを実装して、増幅関数を導出することが可能である。この増幅関数は、本発明に係る局所コントラスト保存技術を入力画像に使用する画像変換に適用して、出力画像を生成する場合に、ハロー効果を生じないものである。
【００５３】
本発明の他の実施の形態では、階調マップ補正カーブ変換を、より複雑な画像変換に置き換えてもよい。かかる方法には、画像強調方法及びそのための装置と題する国際公開番号ＷＯ  ０２／０８９０６０の国際特許出願に開示されているようなアルゴリズムを採用し得る。本出願は、ＯＲＭＩＴ（ｏｒｔｈｏｇｏｎａｌ  ｒｅｔｉｎｏ−ｍｏｒｐｈｉｃ  ｉｍａｇｅ  ｔｒａｎｓｆｏｒｍ）として公知の画像強調アルゴリズムを説明している。ＯＲＭＩＴアルゴリズムは、画像の異なる部分に、当該部分の画像強度に応じて異なる処理を適用する点で、空間依存のダイナミックレンジ圧縮アルゴリズムである。ＯＲＭＩＴ法は、入力画像を処理して、調整された出力信号を生成する。ここで、調整された出力画像の強度値Ｉｏｕｔ（ｘ，ｙ）は、入力画像強度Ｉ（ｘ，ｙ）から、当該画像内の異なる位置用に、次式によって生成される。
【数２３】
2008511048.tif 000024
ここで、Ｐｉ（γ）は、０＜γ＜１の範囲で定義されるγの関数の直交基底であり、Ｑｉは次式に示すようにＰｉ（．．）の不定積分であるか、それへの近似式である。
【数２４】
2008511048.tif 000025
また、ＬＰＦΩ［．．］は、ローパス空間フィルタを示す演算子であり、Ωｉは当該ローパスフィルタのカットオフ周波数であり、Ｆ（．．）は重み付け関数である。このアルゴリズムの全体的な効果は、画像のダイナミックレンジを、画像の「自然な外観」を保存しつつ圧縮することである。出力画像強度は、次式によって計算される。
【数２５】
2008511048.tif 000026
【００５４】
入力画像の初期の画像強度値の決定は多数の方式を採用し得ることに注意されたい。カラー画像の場合には、初期の画像強度を、最大値を有する如何なる色の画像強度から導出してもよく、または、初期の画像強度を、ピクセルに存在する全カラーの画像強度の平均値を取ることによって導出してもよい。
【００５５】
適用する局所コントラスト保存の程度が画像の異なる位置間で変化する空間依存の局所コントラスト保存技術を、適用してもよい。かかる変形態様は、画像における小さな細部の量が当該画像内で変化する場合に、有用なことがある。特に、レンズが一つの物体に焦点を合わせており画像の他の部分は焦点が合っていない場合に画像取得が行われることに起因して、画像が異なる領域で異なる鮮明度を有することが多々ある。かかる場合には、空間依存の処理を適用することが有益となる。この空間依存の処理では、膨張及び縮小の両者ともに、画像の異なる部分の空間スペクトラムの（所定のカットオフ閾値によって決定される）カットオフ周波数に応じたマスクサイズを使用する。或いは、局所コントラスト保存を、画像の一部のみに選択的に適用してもよい。この場合には、大部分の細部が、例えば、画像における鮮明に焦点が合わされた部分において、検出される。
【００５６】
入力画像の膨張とこれに続く増幅マップのぼかしとの組み合わせと同様に、入力画像の膨張を、局所コントラストを保存するために、単独に用いることも可能である。何れの場合にも、膨張フィルタの形態は、本明細書に説明した（近傍ピクセルの最大値のような）最大値フィルタ、又は、近傍領域の略最大の強度を与える汎用の連続膨張処理である。かかる「膨張」処理は、一般的に、非線形フィルタリング処理であり、ピクセル（又は区域）の出力強度を、入力画像の近傍ピクセルの強度の非線形関数によって定義するものである。このような連続膨張の例として、最大値フィルタとぼかしの組み合わせを考えることができる。ここで、最大値フィルタは、出力画像のある区域の強度を、入力画像の近傍区域の最大強度によって定義することを意味し、ぼかしは、出力画像の強度を、近傍区域の平均強度として定義することを意味する。近傍領域のサイズは、最大値フィルタステップ及びぼかしステップに対して独立に定義してもよい。
【００５７】
互いに離れている区域のコントラストは、「グローバルコントラスト」と称することができる。グローバルコントラストは、画像の離間したピクセル（又は、連続画像の場合には分解可能な区域）の強度の比として、次式の通り定義することができる。
【数２６】
2008511048.tif 000027
ここで、ＩＲ１及びＩＲ２は、二つの離間したピクセルの強度である。本発明によれば、局所コントラストが、グローバルコントラストより相当な程度で保存される。または、別の言い方をすれば、グローバルコントラストが、画像の異なるセクションで、局所コントラスト値を損なうことなく、変更される。
【００５８】
上記の実施の形態は、本発明の例示として理解されるべきものである。本発明の更なる実施の形態も考えられる。例えば、説明した実施の形態は、本発明の方法を離散ピクセルからなるデジタル画像に適用することを示しているが、本方法は、アナログ（連続可変）画像にも適用可能である。アナログの実装形態の場合には、画像は、本発明に基づく画像強度補正処理のために、区域に分割される。上述の実施の形態で示した画像変換はダイナミックレンジ圧縮画像変換であるが、他の非線形変換、例えば、ダイナミックレンジ伸張画像変換を、本発明の局所コントラスト保存方法を用いて改善することも可能である。
【００５９】
さらに、上述した実施の形態では、局所コントラスト保存処理が、一連の個別の処理ステップを用いて適用されており、当該ステップの各々は、次のステップが実行される前に画像全体にわたって適用されているが、２以上のステップを画像にわたって一度だけ適用する一つの画像変換アルゴリズムへと結合することも可能である。
【００６０】
何れの実施の形態に関して説明した特徴も、単独で、又は、他の説明した特徴と組み合わせて、用いてもよいこと、また、当該特徴を、任意の他の実施の形態又は任意の他の実施の形態の任意の組み合わせにおける一以上の特徴と組み合わせて、用いてもよいことが理解されよう。さらに、説明しなかった均等の態様、及び変形態様を、特許請求の範囲に規定する本発明の範囲から逸脱することなく採用することも可能である。
【図面の簡単な説明】
【００６１】
【図１】連続画像に適用される従来技術に係るダイナミックレンジ圧縮画像変換の影響を示す図である。
【図２】３×３ピクセルの画像に適用される従来技術に係るダイナミックレンジ圧縮画像変換の影響を説明する図である。
【図３】図１に示す非線形変換の影響を更に示す図である。
【図４】本発明の実施の形態に係る方法を実施するよう構成されたコンピュータシステムを示す図である。
【図５】本発明の実施の形態において使用する画像ぼかし処理の例として使用された力画像、（ｂ）マスク、及び（ｃ）出力画像のセットを示す図である。
【図６】本発明の実施の形態において使用する画像膨張処理の例として使用された（ａ）入力画像、（ｂ）マスク、及び（ｃ）出力画像のセットを示す図である。
【図７】本発明の実施の形態に係る方法を示すフロー図である。
【図８】（ａ）原画像、（ｂ）局所コントラスト保存を用いずに変換した画像、（ｃ）局所コントラスト保存を用いて変換した画像の例を示す図である。
【図９】（ａ）原画像、（ｂ）局所コントラスト保存を用いずに変換した画像、（ｃ）局所コントラスト保存を用いて変換した画像の例を示す図である。
【図１０】（ａ）原画像、（ｂ）局所コントラスト保存を用いずに変換した画像、（ｃ）局所コントラスト保存を用いて変換した画像の例を示す図である。
【図１１】（ａ）原画像、（ｂ）局所コントラスト保存を用いずに変換した画像、（ｃ）局所コントラスト保存を用いて変換した画像の例を示す図である。
【図１２】本発明の更なる実施の形態に係る方法を示すフロー図である。
【図１】
2008511048.tif 000033
【図２】
2008511048.tif 000034
【図３】
2008511048.tif 000035
【図４】
2008511048.tif 000036
【図５】
2008511048.tif 000037
【図６】
2008511048.tif 000038
【図７】
2008511048.tif 000039
【図８】
2008511048.tif 000040
【図９】
2008511048.tif 000041
【図１０】
2008511048.tif 000042
【図１１】
2008511048.tif 000043
【図１２】
2008511048.tif 000044
【国際調査報告】
2008511048.tif 000045
2008511048.tif 000046
2008511048.tif 000047