(57)【要約】【課題】  輝度差の大きい画像に輝度差の小さい画像が埋もれないように画像を合成することを目的とする。【解決手段】  波長帯域の異なる光の像を撮影した画像から、各画素周辺の輝度変化の大きさに応じて微分画像を抽出する変化抽出部と、各々の波長帯域の光の像を撮影した画像中の画素の輝度範囲を、画像の濃淡を強調して表現可能な輝度範囲に変換する輝度変換部と、上記変化抽出部により抽出された各々の波長帯域の微分画像について、対応する画素毎に各々の波長帯域での微分画像の画素値の大きさを比較し、比較結果に応じて画素値を設定したテンプレート画像を生成する比較部と、上記比較部により生成されたテンプレート画像の各画素の値に応じて、上記輝度変換部により変換された各々の波長帯域の画素値を重み付けし、合成画像を作成する合成部と、上記合成部により作成された合成画像を表示する表示部を備える。【選択図】      図１
2015022738.tif 000002
【特許請求の範囲】
【請求項１】
波長帯域の異なる光の像を撮影した画像から、各画素周辺の輝度変化の大きさに応じて微分画像を抽出する変化抽出部と、
各々の波長帯域の光の像を撮影した画像中の画素の輝度範囲を、画像の濃淡を強調して表現可能な輝度範囲に変換する輝度変換部と、
上記変化抽出部により抽出された各々の波長帯域の微分画像について、対応する画素毎に各々の波長帯域での微分画像の画素値の大きさを比較し、比較結果に応じて画素値を設定したテンプレート画像を生成する比較部と、
上記比較部により生成されたテンプレート画像の各画素の値に応じて、上記輝度変換部により変換された各々の波長帯域の画素値を重み付けし、合成画像を作成する合成部と、
上記合成部により作成された合成画像を表示する表示部と、
を備えた画像合成表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、同一地点から、同一方向、同一画角で、異なる２つ以上の波長帯域の光により撮像した画像を合成し、合成した画像を表示する画像合成表示装置に関する。
【背景技術】
【０００２】
従来、波長帯域の異なる光により撮像した夫々の画像から、画像中の特徴となる領域を抽出して、元の画像に領域部分を重畳して表示する画像合成表示装置がある（例えば、特許文献１参照）。特許文献１の画像合成表示装置は、可視撮像装置が出力する可視画像から情景理解情報である輪郭線を示すエッジ情報を検出して、画像上の輝度変化の激しい境界部（例えば水平線，地平線，稜線などの異物同士の境界部）を抽出する。また、赤外線画像からホットポイント（高い輝度領域）を検出する。そして、可視画像、赤外線画像にエッジ情報とホットポイントを重畳して表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１９１４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の画像合成表示装置では、異なる波長帯域を撮像した画像が、それぞれ見た目の異なる像として撮像される。例えば、一つの波長帯域として、可視光帯域で太陽光が逆向となる方向に撮像装置を向けて海面を撮像すると、海面に反射する太陽光が高い輝度で表現され、太陽光が強く表現される部分に他の物体があった場合でも、反射により光ってしまいそれを表現することはできない。
【０００５】
さらに、海面上以外に山の形や建物の形が写っている場合であっても、もう一つの波長帯域の画像が１０μｍ帯域を撮像した画像である場合、人が発する熱を高輝度で表現することができる。また、海面上に海面と温度差の少ない船が浮いている場合は、この形は明確に写らない。
【０００６】
この例のような複数波長帯域の画像を従来の画像合成表示装置にて表示する場合、下記のような課題がある。
【０００７】
第一の課題は、可視光帯域からエッジを抽出して強調表示する処理の場合、逆光にて海面が反射している領域（飽和画像の領域）と海面の反射の少ない領域とのエッジが最も強い輝度変化のエッジであり、この反射領域との境界が抽出される。海面上以外で例えば山の形や建物の形が写っている場合であっても、山や建物の輪郭の輝度差は少ないので、この反射領域は高輝度で表現される特徴画像として検出されず、表示画像に特徴画像として重畳されない、という問題があった。
【０００８】
第二の課題は、１０μｍ波長帯域の画像からホットポイントを抽出する場合、被写体に人物を含む画像では、人物がホットポイントとして抽出されるが、前述に示す例のように、海面上に海面と温度差の少ない船が浮いている領域については、船がホットポイントとなりえないので、船は抽出されずに、表示において特徴画像として重畳されない、という問題があった。
【０００９】
この発明は、係る課題を解決するためになされたものであり、輝度差の大きい画像に輝度差の小さい画像が埋もれないように画像を合成することを目的とする。
【課題を解決するための手段】
【００１０】
この発明による画像合成表示装置は、波長帯域の異なる光の像を撮影した画像から、各画素周辺の輝度変化の大きさに応じて微分画像を抽出する変化抽出部と、各々の波長帯域の光の像を撮影した画像中の画素の輝度範囲を、画像の濃淡を強調して表現可能な輝度範囲に変換する輝度変換部と、上記変化抽出部により抽出された各々の波長帯域の微分画像について、対応する画素毎に各々の波長帯域での微分画像の画素値の大きさを比較し、比較結果に応じて画素値を設定したテンプレート画像を生成する比較部と、上記比較部により生成されたテンプレート画像の各画素の値に応じて、上記輝度変換部により変換された各々の波長帯域の画素値を重み付けし、合成画像を作成する合成部と、上記合成部により作成された合成画像を表示する表示部と、を備えたものである。
【発明の効果】
【００１１】
この発明によれば、異なる波長帯域の画像から、画素毎の周辺画素との画素値変化の大きさに応じてテンプレート画像を生成し、生成したテンプレート画像に基づいて、各々の波長帯域の画像を合成するので、より輝度変化の大きい画像を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１による画像合成表示装置の第１の構成例を示す図である。
【図２】実施の形態１による画像合成表示装置の第２の構成例を示す図であるを示す図である。
【図３】実施の形態１による画像合成表示装置の機能ブロックを示す図である。
【図４】実施の形態１による画像合成表示装置の入力画像及び合成画像の例を示す図である。
【図５】実施の形態１による輝度変換部におけるヒストグラム変換の例を示す図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、この発明に係る実施の形態１による画像合成表示装置の第１の構成例を示す図である。図２は、実施の形態１による画像合成表示装置の第２の構成例を示す図である。
【００１４】
図１において、実施の形態１による第１の構成例の画像合成表示装置は、複数波長帯撮像装置３０１と、コンピュータ３０３と、表示装置３０４を備えている。複数波長帯撮像装置３０１は、撮像した画像を画素毎の輝度値のデータとして、コンピュータ３０３へ伝送する。コンピュータ３０３は、複数波長帯撮像装置３０１から伝送される複数波長帯域の画像を蓄積する。複数波長帯撮像装置３０１の撮像する画像は、静止画像であっても、動画であってもよい。図１の複数波長帯撮像装置３０１は、複数波長帯域の画像を１台で同時に撮像する。例えばＧｅｍｉｎｉｓ社の複数波長帯域撮像装置（型名３２７ｋＭＬ）は、赤外線の遠赤外波長帯域、中赤外波長帯域のそれぞれ２つの波長帯域の画像を取得することができる。
【００１５】
コンピュータ３０３は、複数波長帯撮像装置３０１が撮像した複数波長帯域の画像から、画像合成処理により一つの画像を合成する。表示装置３０４は、コンピュータ３０３により合成した複数波長帯域の画像を表示する。
【００１６】
また、図２において、実施の形態１による第２の構成例の画像合成表示装置は、異なる波長帯域の２つ以上の撮像装置３０２ａ，３０２ｂを光軸が平行になるように並べて撮像する例を示している。実施の形態１による画像合成表示装置は、異なる波長帯域の２つの撮像装置３０２ａ，３０２ｂと、コンピュータ３０３と、表示装置３０４を備えている。撮像装置３０２ａ，３０２ｂは、それぞれが撮像した画像を画素毎の輝度値のデータとして、コンピュータ３０３へ伝送する。コンピュータ３０３は、撮像装置３０２ａ，３０２ｂから伝送される複数波長帯域の画像を蓄積する。撮像装置３０２ａ，３０２ｂの撮像する画像は、静止画像であっても、動画であってもよい。図２の撮像装置３０２ａ，３０２ｂは、それぞれの異なる波長帯域の画像を同時に撮像する。例えば撮像装置３０２ａは赤外線の遠赤外波長帯域、撮像装置３０２ｂは中赤外波長帯域の画像を取得する。
【００１７】
コンピュータ３０３は、撮像装置３０２ａ，３０２ｂがそれぞれ撮像した複数波長帯域の画像から、画像合成処理により一つの画像を合成する。表示装置３０４は、コンピュータ３０３により合成した複数波長帯域の画像を表示する。
【００１８】
次に、実施の形態１による画像合成表示装置の動作について説明する。ここでは、複数波長帯撮像装置３０１または撮像装置３０２ａ，３０２ｂを総称して、撮像装置３０と呼ぶこととする。コンピュータ３０３は、撮像装置３０を用いて撮影した波長帯域の異なる複数の画像が、入力画像として入力される。
【００１９】
この入力画像は、画素毎に輝度値（以下、画素値）をもっているものとする。また、カラーであっても、白黒であってもよい。また、実施の形態１の例では、入力画像の各輝度値のとりうる値の範囲は、例えば０から、２０ビットで示される自然数（最大１０４８５７６）の範囲の階調をもつとする。図３は、実施の形態１によるコンピュータ３０３の機能ブロックを示す図である。図３では、波長帯域Ａと波長帯域Ｂの２つの画像を入力画像とした例を示している。
【００２０】
変化抽出部１０１は、夫々の波長帯域（波長帯域Ａと波長帯域Ｂ）の画像から、各画素において周辺の画素とどの程度の画素値変化があるかを示す微分画像（波長帯域Ａ微分画像２０３と波長帯域Ｂ微分画像２０４）を出力する。この微分画像（波長帯域Ａ微分画像２０３と波長帯域Ｂ微分画像２０４）は、各入力画像に対して、微分オペレータを用いた画像処理により生成される。微分オペレータの種類としては、例えば一般的なLaplacian、Canny、Prewitt、Sobelのいずれかのフィルタを用いて、８方向または縦横２方向の微分を実施する。このフィルタの大きさは、３×３であっても５×５であっても７×７であってもよい。また、通常、このフィルタを用いた画像処理後の画素値には、負の値が算出されることがある。変化抽出部１０１で得たい情報は、画素のもつ輝度値の変化度合いであるため、このような負の値の場合は絶対値に変換する。
【００２１】
輝度変換部１０２は、夫々の波長帯域の画像の画素の輝度値を変換して、表示可能な輝度範囲の輝度変換画像（波長帯域Ａ輝度変換画像２０６と波長帯域Ｂ輝度変換画像２０７）を出力する。例えば、波長帯域Ａの画像の輝度最小値を波長帯域Ａ輝度変換画像２０６の最小値（例えば０）とし、波長帯域Ａの画像の輝度最大値を波長帯域Ａ輝度変換画像２０６の最大値（例えば１０２４）となるように、波長帯域Ａ画像の輝度値を線形変換する。または、例えば波長帯域Ａの画像の輝度値を、波長帯域Ａ輝度変換画像２０６に予め定めた輝度値範囲（例えば０から１０２４）となるように輝度値ヒストグラム平均化を実施する。同様に、波長帯域Ｂの画像の輝度最小値を波長帯域Ｂ輝度変換画像２０７の最小値（例えば０）とし、波長帯域Ｂの画像の輝度最大値を波長帯域Ｂ輝度変換画像２０７の最大値（例えば１０２４）となるように、波長帯域Ｂ画像の輝度値を線形変換する。または、例えば波長帯域Ｂの画像の輝度値を、波長帯域Ｂ輝度変換画像２０７に予め定めた輝度値範囲（例えば０から１０２４）となるように輝度値ヒストグラム平均化を実施する。
【００２２】
輝度変換部１０２は、輝度値ヒストグラムに偏りをもたせて平均化してもよい。図４は、実施の形態１による輝度変換部１０２におけるヒストグラム変換の例を示す図である。波長帯域画像のヒストグラムが図４（ｂ）に示すような分布である場合、通常のヒストグラム平均化であれば、図４（ａ）に示すように各画素の画素値が変換される。図４（ａ）では、表示可能な輝度範囲Ｔ０‘〜Ｔ５‘の区間に均等に画素が割り当てられるように各画素の画素値が変換される。
【００２３】
一方、偏りをもたせて平均化する場合、元のヒストグラムにおいて、任意に設定した画素数の閾値に対して、閾値より多い画素数をもつ輝度区間（Ｔ１〜Ｔ２、Ｔ３〜Ｔ４）の画素数が、ヒストグラム平均化した場合の画素数よりも１割少なくなるように、変換する輝度Ｔ１’’、Ｔ２’’、Ｔ３’’、Ｔ４’’を設定して、図４（ｃ）に示すようなヒストグラムを生成する。
【００２４】
図４（ｃ）のヒストグラムでは、図４（ｂ）のヒストグラムのうち、閾値より多い画素があった区間（画素数が平均画素数より多い）について、より輝度差のある画像として変換される。また、その結果輝度区間Ｔ０〜Ｔ１、Ｔ２〜Ｔ３、Ｔ４〜Ｔ５の画素については、輝度平均化と比べて輝度差の少ない画像になる。
【００２５】
比較部１０３は、異なる波長帯域の微分画像（波長帯域Ａ微分画像２０３と波長帯域Ｂ微分画像２０４）を比較して、どの波長帯域画像から生成した輝度変換画像をどの程度用いて表示する画像を合成するかを表現するテンプレート画像２０５を生成する。ここで、テンプレート画像２０５は、各波長帯域の画像の画素サイズと同じ画素サイズをもつ。また、テンプレート画像２０５は画素毎にどの波長帯域を撮影した画像の変化がどの程度大きいかを示す数値データから構成され、例えばテンプレート画像２０５の各画素の画素値は０から１０２４の整数で表現される。比較部１０３は、例えば波長帯域Ａ微分画像２０３の画素値がＰ、波長帯域Ｂ微分画像２０４の同じ画像座標（波長帯域Ａ微分画像２０３の対応する画素）の画素値がＱである場合、ＰとＱで内分する比を計算し、１０２４×（Ｐ／（Ｐ＋Ｑ））の値を画素値とする。即ち、Ｑに比してＰが大きいときは画素値が１０２４に近付き、Ｑに比してＰが小さいときは画素値が０に近付くこととなる。
【００２６】
比較部１０３において、波長帯域Ａ画像の画素を使用する割合と、波長帯域Ｂ画像の画素を使用する割合とが、画素毎に異なる場合に、空間位置により使用される画素の割合が急激に変化することを防ぐために、テンプレート画像２０５に一般的な平滑化処理（ガウシアンフィルタや移動平均フィルタ）をかけてもよい。
【００２７】
また、比較部１０３において、意図的に一方の波長帯域画像の変化を他方の波長帯域よりも強調して使用したい場合、Ｐ、Ｑ少なくとも一方の値に重み値を掛けるかもしくは足した後、ＰとＱで内分する比を求めて、テンプレート画像２０５の画素値としてもよい。この例として、重み値を掛けた後のＰまたはＱの値は四捨五入した整数値とし、１０２４を超える場合は１０２４とみなす。例えば重み値をＰの最大値ＰｍａｘとＱの最大値Ｑｍａｘを用いてＰｍａｘ／Ｑｍａｘと設定し、これをＱの値にのみ掛けた場合、波長帯域Ａの画像全体の輝度変化と、波長帯域Ｂの画像全体の輝度変化を同レベルとみなした場合の輝度変化を内分する比を、テンプレート画像２０５の画素値とすることができる。
【００２８】
合成部１０４では、テンプレート画像２０５の値を元に、夫々の波長帯域画像（波長帯域Ａ輝度変換画像２０６と波長帯域Ｂ輝度変換画像２０７）から生成した輝度変換画像から、１枚の合成画像２０８を合成する。例えばテンプレート画像のある画素の画素値がＴであったとする。この画素と同じ画像座標の波長帯域Ａ輝度変換画像２０６の画素値をＲ、波長帯域Ｂ輝度変換画像２０７の画素値をＳとした場合、同じ画像座標の合成画像の画素値を、Ｔ×Ｒ／１０２４＋（１０２４−Ｔ）×Ｓ／１０２４とする。但し、これは合成画像の解像度を１０２４階調とした場合の例であって、内分する比をＴとして、単純にそれぞれの変換画像（表示可能な輝度範囲の輝度に変換した画像）の画素値にかけて算出している。
【００２９】
表示部１０５は、合成画像２０８を表示する。表示部１０５は表示装置３０４に設けられる。
【００３０】
実施の形態１の画像合成表示装置は以上のように構成されるので、異なる波長帯域の画像（波長帯域Ａ画像２０１と波長帯域Ｂ画像２０２）から、画素毎の周辺画素との画素値変化の大きさに応じてテンプレート画像２０５を生成し、生成したテンプレート画像２０５を元に、夫々の波長帯域の画像を可視帯域に輝度変換した画素値を合成するので、異なる波長帯域の画像から、より輝度変化の大きい画像の画素値が表現される。
【００３１】
これにより、複数波長帯域の画像から被写体の輝度差異を増加させた画像を合成することによって、これらの被写体を見やすく表示することができる。例えば、異なる波長帯域の画像のうち、同じ領域において、例えば海面上の太陽光の反射により真っ白で輝度差異が殆どない画像と、他の波長帯域の画像の同じ領域で、全体的に輝度が低く、輝度差異が少ない物体形状及び海面上の波面の模様が写っている画像が得られたとする。この場合、合成画像には海面上の物体及び波面の模様を表現する画素値がより強く反映され、かつ反映される画素値は表示可能な輝度領域に変換されているので、合成画像にて海面上の物体形状及び波面の模様を表示して視認することが可能となる。
【００３２】
図５は、実施の形態１による画像合成表示装置の入力画像（波長帯域Ａ画像２０１，波長帯域Ｂ画像２０２）及び合成画像２０８の例を示す図である。図５（ａ）に示す波長帯域Ａ画像２０１は、海面上の太陽光の反射により画像中央部が真っ白に写り、画像上部に山の輪郭と雲の輪郭が写っている。図５（ｂ）に示す波長帯域Ｂ画像２０２は、画像中央部に白い点及び波面の模様が写っている。図５（ｃ）に示す合成画像２０８では、波長帯域Ｂ画像に写っている白い点及び波面模様が、合成画像にて輝度差として表現されており、このことがこの視認効果を示している。
【００３３】
また、他の例では、異なる波長帯域の画像のうち、一方の波長帯画像に、海面上の太陽光の反射のように真っ白で輝度差異が殆どない領域と、山の形状及び建物の形状が小さな輝度差で写っている画像が得られたとする。また、もう一方の波長帯域画像に、山の形状及び建物の形状が写っている領域の輝度が低く何の形状も視認できない程画素間の輝度差異が低い画像が得られたとする。この場合、合成画像の画素値には、山の形状及び建物の形状が小さな輝度差で写っている波長帯域の画素値が、もう一方の波長帯域の画素値より強く反映されるので、山の形状及び建物の形状が表現されて視認することが可能となる。
【００３４】
つまり、一方の波長帯域の画像に着目した場合は、太陽光の反射のように高輝度の領域があって、他の領域に低輝度であっても建物及び地形の形状が表現されていれば、合成画像において輝度差を用いてこの形状を視認可能なように表現することができる。
【００３５】
図５（ａ）に示す波長帯域Ａ画像２０１に写っている山の輪郭及び雲の形状は、図５（ｃ）に示す合成画像２０８にて輝度差として表現されており、このことがこの視認効果を示している。
【００３６】
これに加え、輝度変換部１０２において、偏りのあるヒストグラム平均化をした場合、夫々の波長帯域画像において、画像中で差異の少ない輝度を、差異の多い輝度と比べてより輝度差異が出るように変換することとなるので、合成画像２０８においても輝度差異の少ない画像を見やすく表現することができる。
【００３７】
これに加え、比較部１０３において、テンプレート画像２０５に平均化処理を施す場合は、合成画像２０８にて波長帯域Ａ輝度変換画像２０６の画素値を多く使用する画素と、波長帯域Ｂ輝度変換画像２０７の画素値を多く使用する画素との境界がなだらかに変化するので、合成画像２０８に急激な輝度値の変化が生じない効果がある。
【００３８】
以上説明した通り、実施の形態１による画像合成表示装置は、波長帯域の異なる光の像を撮影した画像から、各画素周辺の輝度変化の大きさに応じて微分画像を抽出する変化抽出部と、各々の波長帯域の光の像を撮影した画像中の画素の輝度範囲を、画像の濃淡を強調して表現可能な輝度範囲に変換する輝度変換部と、上記変化抽出部により抽出された各々の波長帯域の微分画像について、対応する画素毎に各々の波長帯域での微分画像の画素値の大きさを比較し、比較結果に応じて画素値を設定したテンプレート画像を生成する比較部と、上記比較部により生成されたテンプレート画像の各画素の値に応じて、上記輝度変換部により変換された各々の波長帯域の画素値を重み付けし、合成画像を作成する合成部と、上記合成部により作成された合成画像を表示する表示部とを備えたものである。
【００３９】
これによって、複数波長帯域の画像に撮像されている例えば山や建物の形状、海面上の船といった被写体が、例えば太陽光の逆光よりも少ない輝度差異で表現されている場合や、例えば人体や煙突から出る炎のような別の被写体の輝度と比較して小さい輝度値で表現されている場合であっても、複数波長帯域の画像から被写体の輝度差異を増加させた画像を合成することにより、これらの被写体を見やすく表示することができる。
【符号の説明】
【００４０】
１０１  変化抽出部、１０２  輝度変換部、１０３  比較部、１０４  合成部、１０５  表示部、３０１  複数波長帯撮像装置、３０２ａ  撮像装置、３０２ｂ  撮像装置、３０３  コンピュータ、３０４  表示装置。
【図１】
2015022738.tif 000003
【図２】
2015022738.tif 000004
【図３】
2015022738.tif 000005
【図４】
2015022738.tif 000006
【図５】
2015022738.tif 000007