(57)【特許請求の範囲】
【請求項１】
入力画像を当該入力画像よりもダイナミックレンジが狭い圧縮画像に変換する画像変換手段と、
前記入力画像から高周波画像を抽出する高周波画像抽出手段と、
前記入力画像から抽出された高周波画像と、当該入力画像と同一の被写体を撮影した画像から抽出された他の高周波画像との位置を合わせた高周波画像を生成する位置合わせ手段と、
前記圧縮画像と前記高周波画像とを合成する画像合成手段とを備え、
前記位置合わせ手段は、入力画像から抽出された高周波画像と、前記他の高周波画像を幾何変換した画像との位置を合わせた高周波画像を生成し、生成した高周波画像における位置合わせの確かさの程度を表す位置合わせ信頼度を算出し、
前記画像合成手段は、合成する画像の視認性を確保するための合成方法を、前記位置合わせ信頼度に応じて適応的に変化させて当該画像を合成する
ことを特徴とする画像ダイナミックレンジ圧縮システム。
【請求項２】
画像合成手段は、高周波画像に対応する圧縮画像の高周波成分を当該高周波画像の位置合わせ信頼度に応じて弱めた画像と、当該高周波画像とを合成する
請求項１記載の画像ダイナミックレンジ圧縮システム。
【請求項３】
位置合わせ手段は、入力画像から抽出された高周波画像と、当該入力画像と同一の被写体を撮影した可視光画像から抽出された他の高周波画像との位置を合わせた高周波画像を生成する
請求項１または請求項２記載の画像ダイナミックレンジ圧縮システム。
【請求項４】
画像変換手段は、入力画像の濃淡レベルの分布を平坦化するように変換する
請求項１から請求項３のうちのいずれか１項に記載の画像ダイナミックレンジ圧縮システム。
【請求項５】
画像合成手段は、圧縮画像中の画素の値が予め定められた閾値を超える場合、当該画素に対応する高周波画像の高周波成分を弱めた画像と、前記圧縮画像とを合成する
請求項１から請求項４のうちのいずれか１項に記載の画像ダイナミックレンジ圧縮システム。
【請求項６】
画像合成手段は、圧縮画像の各画素を画素値に応じて定められた色に変換した疑似カラー画像を生成し、当該圧縮画像に対応する高周波画像の高周波成分の強さに応じて前記疑似カラー画像の輝度成分を変化させる
請求項１から請求項５のうちのいずれか１項に記載の画像ダイナミックレンジ圧縮システム。
【請求項７】
入力画像を当該入力画像よりもダイナミックレンジが狭い圧縮画像に変換し、
前記入力画像から高周波画像を抽出し、
前記入力画像と同一の被写体を撮影した画像から抽出された高周波画像を幾何変換した画像と、前記入力画像から抽出された高周波画像との位置を合わせた高周波画像を生成し、
生成した高周波画像における位置合わせの確かさの程度を表す位置合わせ信頼度を算出し、
合成する画像の視認性を確保するための合成方法を、前記位置合わせ信頼度に応じて適応的に変化させて、前記圧縮画像と前記高周波画像とを合成する
ことを特徴とする画像ダイナミックレンジ圧縮方法。
【請求項８】
コンピュータに、
入力画像を当該入力画像よりもダイナミックレンジが狭い圧縮画像に変換する画像変換処理、
前記入力画像から高周波画像を抽出する高周波画像抽出処理、
前記入力画像から抽出された高周波画像と、当該入力画像と同一の被写体を撮影した画像から抽出された他の高周波画像との位置を合わせた高周波画像を生成する位置合わせ処理、および、
前記圧縮画像と前記高周波画像とを合成する画像合成処理を実行させ、
前記位置合わせ処理で、入力画像から抽出された高周波画像と、前記他の高周波画像を幾何変換した画像との位置を合わせた高周波画像を生成させ、生成された高周波画像における位置合わせの確かさの程度を表す位置合わせ信頼度を算出させ、
前記画像合成処理で、合成する画像の視認性を確保するための合成方法を、前記位置合わせ信頼度に応じて適応的に変化させて当該画像を合成させる
ことを特徴とする画像ダイナミックレンジ圧縮プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ダイナミックレンジの広い画像をダイナミックレンジの狭い画像に圧縮する画像ダイナミックレンジ圧縮システム、画像ダイナミックレンジ圧縮方法及び画像ダイナミックレンジ圧縮プログラムに関する。
【背景技術】
【０００２】
赤外線画像のようなダイナミックレンジ（画素値の取り得る範囲）の広い画像を変換し、ダイナミックレンジの狭い表示デバイスに表示するための技術が各種知られている。【０００３】
例えば、ダイナミックレンジ「０〜２の１４乗」の範囲で画像を撮影可能な赤外線カメラで、赤外線画像を撮影したとする。ダイナミックレンジ「０〜２５５」の範囲で画像を表示可能なディスプレイ装置にこの赤外線画像を表示しようとする場合、そのままの画素値ではその赤外線画像を表示することはできない。この場合、ディスプレイ装置にその赤外線画像を表示できるように、何らかの変換を行う必要がある。このように、画素値の範囲の広い画像を、画素値の範囲の狭い画像に変換することをダイナミックレンジ圧縮と呼ぶ。【０００４】
非特許文献１には、原画像の濃淡レベルを変換するリニアスケーリング（線形変換）について記載されている。リニアスケーリングは、入力画像（上記例では、赤外線画像）の画素値をディスプレイ装置などが表示できる範囲（上記例では、０〜２５５）に線形にマッピングする方法である。図８は、赤外線画像の画素値を線形にマッピングする（すなわち、リニアスケーリングを行う）変換関数を示す説明図である。図８に示すグラフは、横軸が赤外線画像上の画素値を、縦軸が変換画像上の画素値をそれぞれ示す。図８では、０〜１００００の範囲の赤外線画像の画素値が０〜２５５の範囲の画素値に変換されることを示す。図９は、リニアスケーリングにより変換された画像である。入力画像の濃淡レベル域をこのように変化させることにより、画素値の範囲が広い画像を、図９に示す画像のように画素値の範囲が狭い表示デバイスに表示することが可能になる。【０００５】
また、非特許文献１には、ヒストグラム・イコライゼーション（Ｈｉｓｔｏｇｒａｍ  Ｅｑｕａｌｉｚａｔｉｏｎ。以下、ＨＥと記す。）についても記載されている。ＨＥは、ある画像中における各濃淡レベルの頻度（画素数）を求めたものの分布（以下、ヒストグラムと記す。）を平坦にするように変換（ヒストグラム変換）する技術である。以下、図１０及び図１１を用いてＨＥについて説明する。図１０は、変換前の画像の輝度ヒストグラムを示す説明図である。また、図１１は、変換後の（均等化された）輝度ヒストグラムを示す説明図である。なお、以下の説明では、画素値のことを輝度値と記すこともある。図１０及び図１１に示すグラフは、横軸が赤外線画像上の輝度値を、縦軸が輝度値の出現頻度をそれぞれ示す。図１０に示すグラフが表す画像は、輝度値が低い範囲の頻度が高く、輝度値の高い範囲の頻度が低い。そこで、この画像にＨＥを適用して、図１１に示すように輝度値の分布が均等になるように画像を変換する。図１２は、ＨＥを適用することにより変換された画像である。ＨＥでは、各濃淡レベルが一様に使われるため、処理後の画像は、処理前の画像に比べ画像の濃淡の変化が明瞭になることが多い。また、ＨＥを局所ブロック単位に適用する方法は、適応型ヒストグラム・イコライゼーション（Ａｄａｐｔｉｖｅ  ＨＥ。以下、ＡＨＥと記す。）と呼ばれている。ＡＨＥを適用することより、例えば、各局所ブロックに微妙な濃淡が存在する画像では、各ブロックの濃淡レベルに応じてコントラストを調整することができる。【０００６】
非特許文献２には、ＭＥＡＭ（ｔｈｅ  ｍｅｔｈｏｄ  ａｃｃｏｒｄｉｎｇ  ｔｏ  Ａａｒｅ  Ｍａｌｌｏ）について記載されている。ＭＥＡＭでは、入力画像を低周波画像と高周波画像とに分離し、低周波画像にはリニアスケーリングを、高周波画像にはゲイン増幅処理を適用し、最後に両者を重ね合わせる。以下、図１３〜図１９を用いて、ＭＥＡＭについて説明する。【０００７】
図１３は、ＭＥＡＭにおける処理を示すフローチャートである。また、図１４〜図１９は、各処理で変換された画像を示す説明図である。以下、図１４に示す広ダイナミックレンジ（例えば、０〜２の１４乗）画像に対してＭＥＡＭを適用する場合について説明する。まず、図１４に示す画像ｆ（ｘ，ｙ）に対し、ローパスフィルタを適用して（ステップＳ９１）、低周波画像ｆ（ｘ，ｙ）ｌｐ（図１５）を抽出する。そして、抽出された低周波画像ｆ（ｘ，ｙ）ｌｐにリニアスケーリングを適用して、画像ｇ（ｘ，ｙ）ｌｐ（図１６）を抽出する（ステップＳ９２）。一方で、図１４に示す画像ｆ（ｘ，ｙ）から高周波画像ｆ（ｘ，ｙ）hｐ（図１７）を抽出する（ステップＳ９３）。そして、抽出された高周波画像ｆ（ｘ，ｙ）hｐにゲイン増幅処理を適用して画像ｇ（ｘ，ｙ）hｐ（図１８）を抽出する（ステップＳ９４）。最後に、抽出された画像ｇ（ｘ，ｙ）ｌｐとｇ（ｘ，ｙ）hｐとを加算する（ステップＳ９５）。加算された画像が図１９に示す画像ｇ（ｘ，ｙ）ｌである。なお、画像ｇ（ｘ，ｙ）ｌは指定された画像の範囲に応じて調整される（ステップＳ９６）。このように、ＭＥＡＭを使用することにより、低周波画像と高周波画像のそれぞれに対して、画像のコントラストを改善できるため、高周波画像に多く含まれるエッジ情報（周辺よりも輝度が急激に変化する場所を示す情報）を保存しながらダイナミックレンジ圧縮をすることが可能になる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】高木幹雄、下田陽久、”新編  画像解析ハンドブック”、東京大学出版会、２００４年９月、ｐ．１１７２−１１７３，ｐ．１１７６−１１８０
【非特許文献２】Holst, Gerald C、”Quantitative analysis of infrared contrast enhancement algorithms”、”Infrared Imaging Systems :Design,Analysis, Modeling, and Testing XVIII（Proc. of SPIE）”、（米）、05/2007、Vol. 6543, 65430S
【発明の概要】
【発明が解決しようとする課題】
【０００９】
リニアスケーリングによりダイナミックレンジ圧縮をした場合、輝度値の出現頻度が高いレベル域の画素が、輝度値の出現頻度が低いレベル域の画素と同様に圧縮されてしまうため、画像全体のコントラストが失われ、何が映っているか不明になってしまうという課題がある。例えば、図９に例示する画像において、領域Ｐ１には、輝度値の出現頻度が高い低周波の画素で表わされる低周波画像が、領域Ｐ２には、輝度値の出現頻度が低い高周波の画素で表わされる高周波画像がそれぞれ存在するものとする。リニアスケーリングは、高周波画像の画素値を線形にマッピングするため、撮影者は、領域Ｐ２に映っている被写体を認識できるようになる。一方、リニアスケーリングは、輝度値の出現頻度が高い低周波の画素値も、輝度値の出現頻度が低い高周波の画素値と同様にマッピングするため、低周波画像のコントラストが失われてしまう。そのため、撮影者は、領域Ｐ１に映っている被写体を認識できなくなってしまう。【００１０】
また、ＨＥによりダイナミックレンジ圧縮をした場合、濃淡の変化を明瞭にすることができる反面、少数派の輝度をもつ領域が潰れてしまうという問題がある。例えば、リニアスケーリングを適用した場合に黒く潰れてしまっていた多くの低周波画像部分が、ＨＥを適用することにより見えるようになるが、その反面、少数派の明るい領域が潰れてしまうという問題がある。例えば、ＨＥを適用することにより、図９に示す画像では黒く潰れていた領域Ｐ１が、図１２の画像の領域Ｐ３に示すように、その領域の被写体が見えるようになる。その反面、画像の領域Ｐ４の被写体のように、輝度値の出現頻度が低い領域が潰れてしまうという問題がある。【００１１】
ＭＥＡＭを適用することで、上述した課題をある程度解消することは可能である。しかし、ＭＥＡＭでは、変換後の低周波画像と高周波画像とを単純に加算しているだけである。そのため、低周波画像にゲイン増幅された高周波画像が混ざり合うことにより、合成された画像の視認性が損なわれてしまう恐れがある。ここで、サーモグラフィのように、被写体の温度に応じて変化する輝度を表した画像（以下、温度情報と記す。）を例に挙げて説明する。この温度情報のような低周波画像に、エッジ情報を多く含む高周波画像を重ねた場合、エッジ情報が増幅されていることにより、エッジ情報を重ねた部分の温度情報の視認性が失われてしまう恐れがある。例えば、図１９の画像の領域Ｐ５の被写体のように、密なテクスチャのようなエッジ情報を多く含む高周波画像を温度情報に重ねた場合、そのエッジ情報に隠れて温度情報が分からなくなってしまうという問題がある。【００１２】
そこで、本発明は、高周波画像を保存しつつ、低周波画像の視認性も確保したダイナミックレンジ圧縮が可能な画像ダイナミックレンジ圧縮システム、画像ダイナミックレンジ方法及び画像ダイナミックレンジ圧縮プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明による画像ダイナミックレンジ圧縮システムは、入力画像をその入力画像よりもダイナミックレンジが狭い圧縮画像に変換する画像変換手段と、入力画像から高周波画像を抽出する高周波画像抽出手段と、入力画像から抽出された高周波画像と、その入力画像と同一の被写体を撮影した画像から抽出された他の高周波画像との位置を合わせた高周波画像を生成する位置合わせ手段と、圧縮画像と高周波画像とを合成する画像合成手段とを備え、位置合わせ手段が、入力画像から抽出された高周波画像と、他の高周波画像を幾何変換した画像との位置を合わせた高周波画像を生成し、生成した高周波画像における位置合わせの確かさの程度を表す位置合わせ信頼度を算出し、画像合成手段は、合成する画像の視認性を確保するための合成方法を、位置合わせ信頼度に応じて適応的に変化させてその画像を合成することを特徴とする。
【００１４】
本発明による画像ダイナミックレンジ圧縮方法は、入力画像をその入力画像よりもダイナミックレンジが狭い圧縮画像に変換し、入力画像から高周波画像を抽出し、入力画像と同一の被写体を撮影した画像から抽出された高周波画像を幾何変換した画像と、入力画像から抽出された高周波画像との位置を合わせた高周波画像を生成し、生成した高周波画像における位置合わせの確かさの程度を表す位置合わせ信頼度を算出し、合成する画像の視認性を確保するための合成方法を、位置合わせ信頼度に応じて適応的に変化させて、圧縮画像と高周波画像とを合成することを特徴とする。
【００１５】
本発明による画像ダイナミックレンジ圧縮プログラムは、コンピュータに、入力画像をその入力画像よりもダイナミックレンジが狭い圧縮画像に変換する画像変換処理、入力画像から高周波画像を抽出する高周波画像抽出処理、入力画像から抽出された高周波画像と、その入力画像と同一の被写体を撮影した画像から抽出された他の高周波画像との位置を合わせた高周波画像を生成する位置合わせ処理、および、圧縮画像と高周波画像とを合成する画像合成処理を実行させ、位置合わせ処理で、入力画像から抽出された高周波画像と、他の高周波画像を幾何変換した画像との位置を合わせた高周波画像を生成させ、生成された高周波画像における位置合わせの確かさの程度を表す位置合わせ信頼度を算出させ、画像合成処理で、合成する画像の視認性を確保するための合成方法を、位置合わせ信頼度に応じて適応的に変化させてその画像を合成させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、高周波画像を保存しつつ、低周波画像の視認性も確保したダイナミックレンジ圧縮が可能になる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態における画像ダイナミックレンジ圧縮システムの例を示すブロック図である。
【図２】ラプラシアンフィルタの例を示す説明図である。
【図３】第１の実施形態における処理の例を示すフローチャートである。
【図４】第２の実施形態における画像ダイナミックレンジ圧縮システムの例を示すブロック図である。
【図５】第２の実施形態における処理の例を示すフローチャートである。
【図６】第２の実施形態の変形例における画像ダイナミックレンジ圧縮システムの例を示すブロック図である。
【図７】本発明の最小構成を示すブロック図である。
【図８】リニアスケーリングを行う変換関数を示す説明図である。
【図９】リニアスケーリングにより変換された画像を示す説明図である。
【図１０】変換前の画像の輝度ヒストグラムを示す説明図である。
【図１１】変換後の画像の輝度ヒストグラムを示す説明図である。
【図１２】ＨＥを適用することにより変換された画像を示す説明図である。
【図１３】ＭＥＡＭにおける処理を示すフローチャートである。
【図１４】入力画像ｆ（ｘ，ｙ）を示す説明図である。
【図１５】入力画像の低周波画像ｆ（ｘ，ｙ）ｌｐを示す説明図である。
【図１６】低周波画像を変換した画像ｇ（ｘ，ｙ）ｌｐを示す説明図である。
【図１７】入力画像の高周波画像ｆ（ｘ，ｙ）hｐを示す説明図である。
【図１８】高周波画像を変換した画像ｇ（ｘ，ｙ）hｐを示す説明図である。
【図１９】加算された画像ｇ（ｘ，ｙ）ｌを示す説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を図面を参照して説明する。
【００１９】
実施形態１．
図１は、本発明の第１の実施形態における画像ダイナミックレンジ圧縮システムの例を示すブロック図である。本実施形態における画像ダイナミックレンジ圧縮システムは、低周波画像変換部１１と、高周波画像抽出部１２と、画像合成部１３とを備えている。
【００２０】
低周波画像変換部１１は、入力画像Ｆを、その入力画像よりもダイナミックレンジが狭い画像（圧縮画像と記すこともある。）に変換する。ここで、画像に対する変換処理は、画素ごとに独立した処理である。そこで、以下の説明では、Ｆ（ｘ，ｙ）と記載した場合、画像中のある座標（ｘ，ｙ）における画素値を示すものとする。なお、以下の説明では、入力画像Ｆを、単に入力画像と記すこともある。
【００２１】
例えば、低周波画像変換部１１は、入力画像にＨＥを適用することによって、ヒストグラム上の画素値の分布を平坦になるように入力画像を変換してもよい。ただし、入力画像を変換する方法は、ＨＥに限定されない。他にも、低周波画像変換部１１は、例えば、入力画像に対してローパスフィルタを適用してダイナミックレンジの狭い画像に変換し、変換後の画像にリニアスケーリングを適用することにより、入力画像を変換してもよい。
【００２２】
なお、入力画像に対してローパスフィルタを適用した画像をリニアスケーリングした画像は、入力画像に対してＨＥを適用した画像よりもぼけてしまう。そのため、視認性を確保する観点から、低周波画像変換部１１は、入力画像にＨＥを適用して入力画像を変換する方がより好ましい。以下の説明では、低周波画像変換部１１が変換した画像を、低周波変換画像と記す。低周波画像変換部１１が、上記変換処理を行うことで、低周波画像部分のコントラストが明確になり、視認性を高めることができる。
【００２３】
高周波画像抽出部１２は、入力画像から高周波画像を抽出する。高周波画像抽出部１２は、例えば、図２に例示するラプラシアンフィルタを入力画像に適用して、高周波画像を抽出する。具体的には、高周波画像抽出部１２は、ある注目画素を中心とした上下左右の９つの画素値に対して図２に例示する係数をそれぞれ乗算し、それらの算出結果を合計した値をその注目画素に対する値とする。高周波画像抽出部１２は、入力画像の各画素に対してこの処理を行った結果を高周波画像として抽出する。また、高周波画像抽出部１２は、画像にローパスフィルタを適用し、もとの画像とローパスフィルタを適用した画像との差分をとってもよい。ただし、高周波画像を抽出する方法はこれらの方法に限定されない。他にも、高周波画像抽出部１２は、入力画像をフーリエ変換し、変換後の周波数画像から周波数の低い部分をカットするフィルタをかけた後、逆フーリエ変換することによって、高周波画像を抽出してもよい。なお、高周波画像抽出部１２は、入力画像から高周波画像を抽出することから、ハイパスフィルタとも言える。
【００２４】
画像合成部１３は、低周波画像変換部１１が変換した低周波変換画像と、高周波画像抽出部１２が抽出した高周波画像とを合成する。これらの画像を合成する際、画像合成部１３は、低周波変換画像及び高周波画像の視認性を確保するための合成方法を適応的に変化させる。
【００２５】
ここで、被写体にテクスチャが存在する画像の場合を例に挙げて説明する。低周波画像変換部１１が変換した低周波変換画像（例えば、ＨＥ画像）に高周波画像抽出部１２が抽出した高周波画像をそのまま重ねると、ＨＥ画像の情報がエッジ情報によって埋もれてしまうことがある。
【００２６】
例えば、赤外線カメラが、非常に高温の物体の領域を検知したとする。しかし、その領域に多くのエッジ情報が存在する場合、そのままエッジ情報を重ねてしまうと、高温の領域の情報を埋もれさせてしまう恐れがある。このような場合、高温の領域を把握したくても、その温度情報を確認出来なくなってしまうという問題がある。そこで、画像合成部１３は、低周波変換画像と高周波画像のうちの少なくとも一方の画像を変換してから両画像を重ね合わせることで、低周波画像の視認性を確保する。
【００２７】
具体的には、画像合成部１３は、低周波変換画像（例えば、ＨＥ画像）中の画素値が予め定められた閾値を超える場合、その画素に対応する高周波画像の高周波成分をα倍（０＜α＜１）する。なお、低周波変換画像中の画素値が上記閾値を超えない場合、画像合成部１３は、その画素に対応する高周波画像の高周波成分を変化させない。そして、画像合成部１３は、変換した画像を低周波画像と合成する。このように、ＨＥ画像の内容に応じて高周波成分を弱めた高周波画像をＨＥ画像に合成することで、ＨＥ画像の情報がエッジ情報によって埋もれてしまうことを抑止できる。
【００２８】
なお、上記閾値は、視認性を確保したい低周波変換画像の画素値に応じて定められる。例えば、温度に応じた画素値が入力画像に割り当てられている場合、例えば、ユーザは、視認性を確保したい温度に応じた画素値を閾値として定めればよい。また、高周波成分を弱める程度を示す値（すなわち、αの値）は、予め設定された値であってもよいし、ユーザの指示に応じて設定されるものであってもよい。
【００２９】
上記説明では、画像合成部１３が、低周波変換画像の内容に応じて、高周波画像の高周波成分を弱める場合について説明した。他にも、画像合成部１３は、低周波変換画像及び高周波画像のいずれの情報も損なうことなく合成できるように、合成方法を変化させてもよい。以下、両画像の情報を損なわずに合成する方法について説明する。以下に例示する合成方法は、画像ダイナミックレンジ圧縮システムが、ユーザの指示に応じ、赤外線画像を疑似カラー画像に変換する方法である。
【００３０】
まず、画像合成部１３は、ＨＥ画像の各画素を画素値に応じて定められた色に変換した疑似カラー画像を生成する。そして、画像合成部１３は、ＲＧＢ色空間で表現された疑似カラー画像を、輝度成分と色成分とが独立した色空間（例えば、ＹＣｒＣｂ空間）に変換し、ＨＥ画像に対応する高周波画像の高周波成分の強さに応じて疑似カラー画像の輝度成分を変化させ（例えば、疑似カラー画像の輝度成分を高周波画像の値に差し替える）、最後に元のＲＧＢ色空間に変換する。具体的には、画像合成部１３は、高周波成分が強い画素ほど、輝度を高く設定する。このように合成することで、エッジ情報の視認性を向上させることができると共に、低周波画像の視認性も確保できる。
【００３１】
高周波成分の強さに応じて輝度成分を変化させる場合、画像合成部１３は、予め設定された輝度の上限及び下限に基づいて輝度成分を変化させてもよい。このように、画像合成部１３が輝度の上限及び下限に基づいて輝度成分を変化させることで、疑似カラー画像の輝度成分を差し替える際、高周波成分が強い画素であっても、差し替える疑似カラー画像の輝度成分が明るくなりすぎることを抑止できる。同様に、高周波成分が弱い画像であっても、差し替えるカラー画像の輝度成分が暗くなりすぎることを抑止できる。
【００３２】
なお、上記説明では、画像合成部１３が、高周波成分が強い画素ほど、輝度を高く設定する場合について説明した。逆に、画像合成部１３は、高周波成分が強い画素ほど、輝度を低く設定してもよい。また、画像合成部１３は、画像を合成する際、上記合成方法を単独で用いるだけでなく、複数の合成方法を用いて画像を合成してもよい。
【００３３】
以上のように、画像合成部１３が、合成する画像に応じて合成方法を適応的に変化させるため、高周波画像を保存しつつ、低周波画像の視認性も確保できる。
【００３４】
低周波画像変換部１１と、高周波画像抽出部１２と、画像合成部１３とは、プログラム（画像ダイナミックレンジ圧縮プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、画像ダイナミックレンジ圧縮装置の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、低周波画像変換部１１、高周波画像抽出部１２及び画像合成部１３として動作してもよい。また、低周波画像変換部１１と、高周波画像抽出部１２と、画像合成部１３とは、それぞれが専用のハードウェアで実現されていてもよい。
【００３５】
次に、動作について説明する。図３は、第１の実施形態における画像ダイナミックレンジ圧縮処理の例を示す説明図である。まず、低周波画像変換部１１は、入力画像Ｆを低周波変換画像Ｆ’に変換する（ステップＳ２１）。また、高周波画像抽出部１２は、入力画像Ｆから高周波画像Ｈを抽出する（ステップＳ２２）。そして、画像合成部１３は、低周波変換画像Ｆ’と高周波画像Ｈとを合成する（ステップＳ２３）。このとき、画像合成部１３は、低周波変換画像Ｆ’及び高周波画像Ｈの視認性を確保するための合成方法を適応的に変化させてこれらの画像を合成する。
【００３６】
以上のことから、本実施形態によれば、低周波画像変換部１１が、入力画像よりもダイナミックレンジが狭い圧縮画像にその入力画像を変換する。また、高周波画像抽出部１２が、入力画像から高周波画像を抽出する。そして、画像合成部１３が、合成する画像の視認性を確保するための合成方法を適応的に変化させて、圧縮画像と高周波画像とを合成する。そのため、高周波画像を保存しつつ、低周波画像の視認性も確保したダイナミックレンジ圧縮が可能になる。
【００３７】
具体的には、低周波画像変換部１１が、入力画像にＨＥを適用して入力画像を変換することにより、ダイナミックレンジ圧縮した場合も低周波画像のコントラストを明確にできるため、視認性を確保できる。また、高周波画像抽出部１２が抽出した高周波画像を画像合成部１３が圧縮画像に合成することにより、入力画像の高周波成分の視認性も確保できる。さらに、画像合成部１３が、合成する画像の視認性を確保するための合成方法を適応的に変化させるため、単純に合成しただけでは視認性を失うおそれのある画像の視認性も確保できる。
【００３８】
また、ＨＥ画像中の画素の値が予め定められた閾値を超える場合、画像合成部１３が、その画素に対応する高周波画像の高周波成分を弱めた画像と、ＨＥ画像とを合成する。よって、ＨＥ画像の情報がエッジ情報によって埋もれてしまうことを抑止できる。
【００３９】
なお、視認性を高める方法として、ＡＨＥを適用する方法も考えられる。ただし、ＡＨＥでは、ブロック間で明るさの大小関係を保存できないという課題がある。例えば、ＡＨＥを適用した各ブロックをまとめた場合、各ブロック間に継ぎ目が生じてしまうという問題がある。しかし、本実施形態によれば、画像全体にエッジ情報を捕捉するため、各ブロック間で継ぎ目が生じるという問題を回避できる。
【００４０】
実施形態２．
図４は、本発明の第２の実施形態における画像ダイナミックレンジ圧縮システムの例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、差分についてのみ説明する。本実施形態における画像ダイナミックレンジ圧縮システムは、低周波画像変換部１１と、高周波画像抽出部１２と、画像合成部１３ａと、位置合わせ・幾何変換部１４を備えている。
【００４１】
高周波画像抽出部１２は、第１の実施形態と同様に、ダイナミックレンジの広い入力画像Ｆ１（以下、単に入力画像Ｆ１と記すこともある。）から高周波画像Ｈ１（以下、単に高周波画像Ｈ１と記すこともある。）を抽出する。また、高周波画像抽出部１２は、入力画像Ｆ１だけでなく、入力画像Ｆ１と同一の被写体を撮影した別の入力画像Ｆ２からも高周波画像Ｈ２を抽出する。すなわち、高周波画像抽出部１２は、入力画像Ｆ１と同一の被写体を撮影した別の入力画像Ｆ２からも高周波画像Ｈ２を抽出する。なお、入力画像Ｆ１から高周波画像Ｈ１を抽出する方法と、入力画像Ｆ２から高周波画像Ｈ２を抽出する方法とは、同一であってもよく、異なっていてもよい。
【００４２】
入力画像Ｆ２の例として、可視光画像が挙げられる。ここで、可視光画像とは、人間が知覚可能な波長（すなわち、人間が知覚出来ない赤外線などとは異なる波長）の光を記録した画像である。可視光画像の例として、カメラ（デジタルカメラなど）で撮影された画像が挙げられる。なお、入力画像Ｆ２は、可視光画像に限られない。例えば、入力画像Ｆ２は、入力画像Ｆ１と同じ被写体であって、温度情報が異なる赤外線画像（温度情報）であってもよい。
【００４３】
位置合わせ・幾何変換部１４は、入力画像Ｆ１から抽出された高周波画像Ｈ１に、入力画像Ｆ１と同一の被写体を撮影した画像から抽出される他の高周波画像Ｈ２を合成させた画像Ｈ（以下、高周波画像Ｈと記すこともある。）を生成する。ここで、異なる撮像装置で撮影された画像間では、一般に視差が存在するため、被写体の同じ位置に対応する座標が一致しない。そこで、位置合わせ・幾何変換部１４は、入力画像Ｆ２から抽出した高周波画像Ｈ２に対して幾何変形を行い、入力画像Ｆ１から抽出した高周波画像Ｈ１との位置合わせを行う。そして、位置合わせ・幾何変換部１４は、位置合わせした両画像を合成して高周波画像Ｈを生成する。
【００４４】
位置合わせ・幾何変換部１４は、幾何変換及び両画像の位置合わせ（以下、位置合わせ等と記す場合もある。）を、例えば、勾配法を用いて行う。具体的には、入力画像Ｆ１と同画素数の画像へ入力画像Ｆ２を拡大又は縮小したり、その画像を入力画像Ｆ１と位置合わせを行うための変形等を行ったりする変換パラメータをＭとする。このとき、位置合わせ・幾何変換部１４は、入力画像Ｆ２を変形した画像Ｗ（Ｆ２，Ｍ）とＦ１の対応画素間での画素値の差の絶対値の画像全体での総和が最小になるＭを特定すればよい。ここで、Ｗ（Ｘ，Ｙ）は、画像Ｘを変換パラメータＹに従って変形させた画像を出力する関数である。なお、幾何変換及び位置合わせの方法は勾配法に限定されない。例えば、両画像の特徴点を比較して幾何変換及び位置合わせを行う方法などであってもよい。なお、勾配法や特徴点を比較して両画像を合わせる方法は広く知られているため、詳細な説明は省略する。
【００４５】
以上のように、位置合わせ・幾何変換部１４が、入力画像Ｆ１から抽出した高周波画像以外の画像を合成することにより、入力画像Ｆ１から抽出できないエッジ情報を捕捉することができるため、入力画像Ｆ１の視認性を高めることができる。例えば、入力画像Ｆ１が温度情報であって、エッジとして抽出したい部分の温度が周囲の温度と同一の場合、高周波画像抽出部１２は、入力画像Ｆ１からはエッジ情報を抽出することが出来ない。しかし、他の入力画像Ｆ２からエッジ情報を抽出できる場合、高周波画像抽出部１２が入力画像Ｆ２から抽出したエッジ情報を、位置合わせ・幾何変換部１４が入力画像Ｆ１の高周波画像に捕捉できるため、入力画像Ｆ１の視認性を高めることができる。
【００４６】
上述したとおり、複数の画像を重ねる場合、画像を撮影する装置と被写体との位置などにより、視差が生じることが通常である。そのため、単純に画像を重ねただけでは、合成後の画像がぼやけてしまう恐れがある。しかし、本実施形態では、位置合わせ・幾何変換部１４が、幾何変換及び位置合わせを行うことで、両画像のずれを補正できるため、高周波画像を重ね合わせても画像の視認性を確保できる。
【００４７】
また、位置合わせ・幾何変換部１４が、可視光画像から抽出された高周波画像をもとに位置合わせ等を行うことにより、人間の眼で見た画（すなわち、被写体の輪郭）に即してエッジ部分を捕捉できる。このように、人間にとってより分かりやすい情報（入力画像Ｆ２）をもとにエッジ部分を捕捉できるため、入力画像Ｆ１の視認性を高めることができる。
【００４８】
なお、上記説明では、入力画像Ｆ２として、可視光画像を例に挙げて説明したが、入力画像Ｆ２の内容は、可視光画像に限定されない。入力画像Ｆ２は、入力画像Ｆ１の被写体の輪郭（エッジ情報）を抽出できる他の画像であってもよい。例えば、入力画像Ｆ２は、入力画像Ｆ１と温度情報が異なる他の赤外線画像であってもよい
【００４９】
また、上記説明では、位置合わせ・幾何変換部１４が、入力画像Ｆ１から抽出した高周波画像と、入力画像Ｆ２から抽出した高周波画像の２つの画像をもとに位置合わせ等を行う場合について説明した。位置合わせ・幾何変換部１４が、位置合わせ等を行う画像は２つに限定されず、３つ以上であってもよい。
【００５０】
また、位置合わせ・幾何変換部１４は、生成した高周波画像Ｈの各画素（ｘ，ｙ）について位置合わせの確かさの程度を表す位置合わせ信頼度Ｒ（ｘ，ｙ）を算出してもよい。例えば、位置合わせ・幾何変換部１４は、位置合わせする画像（例えば、高周波画像Ｈ１と高周波画像Ｈ２）の対応画素間で差分を算出し、その差分の逆数をその画素に対する位置合わせ信頼度Ｒ（ｘ，ｙ）として算出してもよい。なお、位置合わせ・幾何変換部１４が位置合わせ信頼度Ｒ（ｘ，ｙ）を算出する方法は、上記方法に限定されない。
位置合わせの確かさの程度を算出できる方法であれば、位置合わせ信頼度Ｒの算出方法は、他の方法であってもよい。
【００５１】
画像合成部１３ａは、第１の実施形態と同様に、低周波変換画像Ｆ１’と高周波画像Ｈの視認性を確保するための合成方法を適応的に変化させてこれらの画像を合成する。また、画像合成部１３ａは、第１の実施形態で説明した合成方法以外にも、位置合わせ・幾何変換部１４が算出した位置合わせ信頼度Ｒに応じて合成方法を変化させてもよい。
【００５２】
位置合わせ信頼度Ｒが低い画素で高周波画像Ｈを低周波変換画像Ｆ１’に重ね合わせると、両画像の位置ずれによるぶれが発生する可能性が高い。そのため、例えば、位置合わせ信頼度Ｒが予め定められた閾値よりも低い画素に対し、画像合成部１３ａは、その画素を中心に低周波変換画像Ｆ１’にぼかしを適用し、ぼかした画素値を用いて高周波画像Ｈと合成する。画像合成部１３ａは、例えば、ローパスフィルタを適用することにより低周波変換画像Ｆ１’をぼかしてもよい。なお、低周波変換画像Ｆ１’をぼかす方法は、ローパスフィルタを適用する方法に限定されず、他の方法であってもよい。
【００５３】
このように、位置合わせ信頼度Ｒが低い領域に対応する低周波変換画像Ｆ１’の領域をぼかすことで、重ね合わせた時の位置ずれを目立たなくすることができる。したがって、入力画像Ｆ１の視認性の低下を抑止できる。
【００５４】
また、画像合成部１３ａは、低周波変換画像Ｆ１’をぼかした画像Ｇにおける画素値Ｇ（ｘ，ｙ）を以下の式１を用いて算出してもよい。
【００５５】
【数１】
0005594290.tif 000002
【００５６】
ここで、画像Ｚは、画像Ｆ１’に予め定められた画素のサイズ（例えば、１１×１１）のフィルタ行列Ｂを畳み込むことによりぼかされた画像である。また、β（ｘ，ｙ）は、［０，１］の範囲で変化する重み値であり、位置合わせ信頼度Ｒ（ｘ，ｙ）の値が大きいほど大きくなる値である。画像合成部１３ａが、画像Ｇを生成する際に式１を用いることにより、位置合わせ信頼度Ｒ（ｘ，ｙ）が高い画素ほど、ローパスフィルタの影響を小さくでき、逆に、位置合わせ信頼度Ｒ（ｘ，ｙ）が低い画素ほど、ローパスフィルタの影響を大きくすることができる。すなわち、画像合成部１３ａは、式１を用いて画像Ｇを生成することにより、画素ごとに位置合わせ信頼度Ｒ（ｘ，ｙ）に応じて低周波変換画像Ｆ１’をぼかすことができる。
【００５７】
なお、低周波画像変換部１１が行う処理は、第１の実施形態と同様であるため、説明を省略する。
【００５８】
低周波画像変換部１１と、高周波画像抽出部１２と、画像合成部１３ａと、位置合わせ・幾何変換部１４とは、プログラム（画像ダイナミックレンジ圧縮プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、低周波画像変換部１１と、高周波画像抽出部１２と、画像合成部１３ａと、位置合わせ・幾何変換部１４とは、それぞれが専用のハードウェアで実現されていてもよい。
【００５９】
次に、動作について説明する。図５は、第２の実施形態における画像ダイナミックレンジ圧縮処理の例を示す説明図である。まず、低周波画像変換部１１は、入力画像Ｆ１を低周波変換画像Ｆ１’に変換する（ステップＳ３１）。そして、高周波画像抽出部１２は、入力画像Ｆ１から高周波画像Ｈ１を抽出する（ステップＳ３２）。また、高周波画像抽出部１２は、入力画像Ｆ２（ｘ’，ｙ’）から高周波画像Ｈ２を抽出する（ステップＳ３３）。位置合わせ・幾何変換部１４は、高周波画像Ｈ２に対して幾何変形を行い、高周波画像Ｈ１との位置合わせ等を行う（ステップＳ３４）。そして、位置合わせ・幾何変換部１４は、位置合わせした両画像を合成して高周波画像Ｈを生成する。そして、画像合成部１３ａは、低周波変換画像Ｆ１’と高周波画像Ｈとを合成する（ステップＳ３５）。
【００６０】
以上のことから、本実施形態によれば、第１の実施形態の処理に加え、位置合わせ・幾何変換部１４が、入力画像Ｆ１と同一の被写体を撮影した入力画像Ｆ２から抽出された高周波画像Ｈ２を幾何変換した画像と、入力画像Ｆ１から抽出された高周波画像Ｈ１との位置を合わせた高周波画像Ｈを生成する。そのため、第１の実施形態の効果に加え、入力画像Ｆ１から抽出できないエッジ情報を高周波画像Ｈ２により捕捉できるため、入力画像Ｆ１の視認性を高めることができる。
【００６１】
また、位置合わせ・幾何変換部１４が、位置合わせ信頼度Ｒを算出し、画像合成部１３ａが、位置合わせ信頼度Ｒに応じて合成方法を変化させる。具体的には、画像合成部１３ａは、高周波画像Ｈに対応する低周波変換画像Ｆ１’の高周波成分をその高周波画像Ｈの位置合わせ信頼度Ｒに応じて弱めた画像と、高周波画像Ｈとを合成する。そのため、合成した時の位置ずれを目立たなくすることができる。すなわち、入力画像Ｆ１の視認性の低下を抑止できる。
【００６２】
さらに、位置合わせ・幾何変換部１４が、可視光画像から抽出された高周波画像をもとに位置合わせ等を行う。そのため、人間の眼で見た画（すなわち、被写体の輪郭）に即してエッジ部分を捕捉できるため、入力画像Ｆ１の視認性を高めることができる。
【００６３】
次に、本実施形態の変形例について説明する。図６は、本発明の第２の実施形態における画像ダイナミックレンジ圧縮システムの変形例を示すブロック図である。なお、第２の実施形態と同様の構成については、図４と同一の符号を付し説明を省略する。本変形例では、位置合わせ・幾何変換部１４ａが、高周波画像抽出部１２を介さずに受け取った入力画像Ｆ３を含めて位置合わせ等を行う点で、第２の実施形態における位置合わせ・幾何変換部１４と異なる。それ以外の構成は、第２の実施形態と同様である。
【００６４】
位置合わせ・幾何変換部１４ａは、入力画像Ｆ３として、被写体の輪郭がわかるような他のエッジ情報を受け取り、入力画像Ｆ１の高周波画像と位置合わせ等を行う。位置合わせ・幾何変換部１４ａは、例えば、音波等を用いて生じさせた被写体の輪郭を表す電磁波を記録した画像を他のエッジ画像として受け取る。そして、位置合わせ・幾何変換部１４ａは、そのエッジ情報と入力画像Ｆ１の高周波画像と位置合わせ等を行う。上記方法によっても、エッジ部分を捕捉できるため、入力画像Ｆ１の視認性をさらに確保することができる。
【００６５】
なお、図６では、位置合わせ・幾何変換部１４ａが、入力画像Ｆ１から抽出した高周波画像に、入力画像Ｆ２から抽出した高周波画像及び入力画像Ｆ３を位置合わせ等する場合について例示した。ただし、位置合わせ等を行う画像は、入力画像Ｆ２から抽出した高周波画像及び入力画像Ｆ３に限定されない。位置合わせ・幾何変換部１４ａが位置合わせ等を行う画像は、入力画像Ｆ２から抽出した高周波画像と入力画像Ｆ３のうちの少なくとも１つあればよく、２つ以上の組合せであってもよい。
【００６６】
次に、本発明の最小構成を説明する。図７は、本発明の最小構成を示すブロック図である。本発明による画像ダイナミックレンジ圧縮システムは、入力画像（例えば、入力画像Ｆ）をその入力画像よりもダイナミックレンジが狭い圧縮画像（例えば、ＨＥ画像）に変換する（例えば、ＨＥを適用して変換する）画像変換手段８１（例えば、低周波画像変換部１１）と、入力画像から高周波画像（例えば、高周波画像Ｈ）を抽出する高周波画像抽出手段８２（例えば、高周波画像抽出部１２）と、圧縮画像と高周波画像とを合成する画像合成手段８３（例えば、画像合成部１３）とを備えている。
【００６７】
画像合成手段８３は、合成する画像（例えば、入力画像Ｆ及び高周波画像Ｈ）の視認性を確保するための合成方法（例えば、ＨＥ画像中の画素値が予め定められた閾値を超える場合、その画素に対応する高周波画像の高周波成分をα倍する方法）を適応的に変化させてそれらの画像を合成する。
【００６８】
そのような構成により、高周波画像を保存しつつ、低周波画像の視認性も確保したダイナミックレンジ圧縮が可能になる。
【００６９】
なお、少なくとも以下に示すような画像ダイナミックレンジ圧縮システムも、上記に示すいずれかの実施形態に記載されていると言える。
【００７０】
（１）入力画像（例えば、入力画像Ｆ）をその入力画像よりもダイナミックレンジが狭い圧縮画像（例えば、ＨＥ画像）に変換する（例えば、ＨＥを適用して変換する）画像変換手段（例えば、低周波画像変換部１１）と、入力画像から高周波画像（例えば、高周波画像Ｈ）を抽出する高周波画像抽出手段（例えば、高周波画像抽出部１２）と、圧縮画像と高周波画像とを合成する画像合成手段（例えば、画像合成部１３）とを備え、画像合成手段が、合成する画像（例えば、入力画像Ｆ及び高周波画像Ｈ）の視認性を確保するための合成方法（例えば、ＨＥ画像中の画素値が予め定められた閾値を超える場合、その画素に対応する高周波画像の高周波成分をα倍する方法）を適応的に変化させてそれらの画像を合成する画像ダイナミックレンジ圧縮システム。
【００７１】
（２）入力画像（例えば、入力画像Ｆ１）から抽出された高周波画像（例えば、高周波画像Ｈ１）と、その入力画像と同一の被写体を撮影した画像（例えば、入力画像Ｆ２）から抽出された他の高周波画像（例えば、高周波画像Ｈ２）との位置を合わせた（例えば、勾配法を用いて位置を合わせた）高周波画像（例えば、高周波画像Ｈ）を生成する位置合わせ手段（例えば、位置合わせ・幾何変換部１４）を備え、位置合わせ手段が、入力画像から抽出された高周波画像と、他の高周波画像を幾何変換した画像との位置を合わせた高周波画像を生成し、画像合成手段が、圧縮画像とその高周波画像とを合成する画像ダイナミックレンジ圧縮システム。
【００７２】
（３）位置合わせ手段が、生成した高周波画像における位置合わせの確かさの程度を表す位置合わせ信頼度（例えば、位置合わせ信頼度Ｒ）を算出し、画像合成手段（例えば、画像合成部１３ａ）が、位置合わせ信頼度に応じて圧縮画像と高周波画像との合成方法を変化させる（例えば、位置合わせ信頼度Ｒが予め定められた閾値よりも低い領域に対し、その領域に対応する低周波変換画像Ｆ１’の領域をぼかした画像を生成して、高周波画像Ｈを合成する）画像ダイナミックレンジ圧縮システム。
【００７３】
（４）画像合成手段（例えば、画像合成部１３ａ）が、高周波画像に対応する圧縮画像の高周波成分をその高周波画像の位置合わせ信頼度に応じて弱めた画像（例えば、（式１）を用いて生成した画像Ｇ）と、その高周波画像とを合成する画像ダイナミックレンジ圧縮システム。
【００７４】
（５）位置合わせ手段が、入力画像から抽出された高周波画像と、その入力画像と同一の被写体を撮影した可視光画像から抽出された他の高周波画像との位置を合わせた高周波画像を生成する画像ダイナミックレンジ圧縮システム。
【００７５】
（６）画像変換手段が、入力画像の濃淡レベルの分布を平坦化するように変換する（例えば、ＨＥを適用して変換する）画像ダイナミックレンジ圧縮システム。
【００７６】
（７）画像合成手段が、圧縮画像中の画素の値が予め定められた閾値を超える場合、その画素に対応する高周波画像の高周波成分を弱めた画像と、圧縮画像とを合成する画像ダイナミックレンジ圧縮システム。
【００７７】
（８）画像合成手段が、圧縮画像の各画素を画素値に応じて定められた色に変換した疑似カラー画像を生成し、その圧縮画像に対応する高周波画像の高周波成分の強さに応じて疑似カラー画像の輝度成分を変化させる（例えば、高周波成分が強い画素ほど、輝度を高く設定する）画像ダイナミックレンジ圧縮システム。
【００７８】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００７９】
この出願は、２００９年８月２４日に出願された日本特許出願２００９−１９３１２３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【００８０】
本発明は、ダイナミックレンジの広い画像をダイナミックレンジの狭い画像に圧縮する画像ダイナミックレンジ圧縮システムに好適に適用される。
【符号の説明】
【００８１】
１１  低周波画像変換部
１２  高周波画像抽出部
１３，１３ａ  画像合成部
１４，１４ａ  位置合わせ・幾何変換部
【図１】
0005594290.tif 000003
【図２】
0005594290.tif 000004
【図３】
0005594290.tif 000005
【図４】
0005594290.tif 000006
【図５】
0005594290.tif 000007
【図６】
0005594290.tif 000008
【図７】
0005594290.tif 000009
【図８】
0005594290.tif 000010
【図９】
0005594290.tif 000011
【図１０】
0005594290.tif 000012
【図１１】
0005594290.tif 000013
【図１２】
0005594290.tif 000014
【図１３】
0005594290.tif 000015
【図１４】
0005594290.tif 000016
【図１５】
0005594290.tif 000017
【図１６】
0005594290.tif 000018
【図１７】
0005594290.tif 000019
【図１８】
0005594290.tif 000020
【図１９】
0005594290.tif 000021