(57)【要約】  【課題】本発明は、赤外線カメラ装置で得られたダイナミックレンジが広い画像信号を、それよりダイナミックレンジが狭い表示装置にコントラストを強調し表示する画像処理方法及び画像処理装置に関し、例えば、輝点ノイズが時間的にランダムに出現するような画像における表示輝度レベルの時間的変化を抑制し、見やすい表示画像を提供することを目的とする。  【解決手段】フレームごとに入力画像信号レベルと前記入力画像信号レベルの出現頻度との関係を表すヒストグラムを生成するステップと、前記フレームと前記ヒストグラムとの対応をとって記憶部に記憶するステップと、複数の前記フレームに対応するヒストグラムを加算してヒストグラム平均を算出するステップと、前記ヒストグラム平均をもとに入力画像信号レベルと表示画像信号レベルとの信号レベル変換関数を算出するステップと、算出された前記信号レベル変換関数を用いて入力画像信号レベルを表示画像信号レベルに変換するステップとを有する。  【選択図】図１
2006217057.tif 000002
【特許請求の範囲】
【請求項１】
画質変換処理において、
フレームごとに入力画像信号レベルと前記入力画像信号レベルの出現頻度との関係を表すヒストグラムを生成するステップと、
前記フレームと前記ヒストグラムとの対応をとって記憶部に記憶するステップと、
複数の前記フレームに対応するヒストグラムを加算してヒストグラム平均を算出するステップと、
前記ヒストグラム平均をもとに入力画像信号レベルと表示画像信号レベルとの信号レベル変換関数を算出するステップと、
算出された前記信号レベル変換関数を用いて入力画像信号レベルを表示画像信号レベルに変換するステップとを有することを特徴とする画質変換処理方法。
【請求項２】
画質変換処理装置において、
フレームごとに入力画像信号レベルと前記入力画像信号レベルの出現頻度との関係を表すヒストグラムを生成するヒストグラム生成手段と、
前記フレームと前記ヒストグラムとの対応をとって記憶部に記憶する記憶手段と、
複数の前記フレームに対応するヒストグラムを加算してヒストグラム平均を算出するヒストグラム平均算出手段と、
前記ヒストグラム平均をもとに入力画像信号レベルと表示画像信号レベルとの信号レベル変換関数を算出する信号レベル変換関数算出手段と、
算出された前記信号レベル変換関数を用いて入力画像信号レベルを表示画像信号レベルに変換する信号レベル変換手段とを有することを特徴とする画質変換処理装置。
【請求項３】
前記ヒストグラム平均算出手段は複数のフレームに対応するヒストグラムを選択指定して加算することを特徴とする請求項２における画質変換処理装置。
【請求項４】
前記信号レベル変換関数は入力画像信号レベルと表示画像信号レベルとの一次式で表されることを特徴とする請求項２および請求項３における画質変換処理装置。
【請求項５】
前記入力画像信号レベルは赤外線カメラ装置により撮像された画像信号レベルであることを特徴とする請求項２乃至請求項４における画質変換処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外線カメラ装置、内視鏡カメラ装置等における低コントラストな表示画像をより鮮明に表示することのできる画質変換処理方法および画質変換処理装置に関する。
【背景技術】
【０００２】
赤外線カメラ装置によって暗闇で得られた画像信号は、撮像素子のダイナミックレンジが広いため、通常の表示階調を有する表示装置（CRT等）で表示するとコントラストが十分に表示されない。例えば、赤外線カメラ装置によって得られた画像信号は１４ビット相当の階調を有しているが、通常の表示装置では８ビット（２５６）階調程度の表示しかできない。従って、赤外線カメラ装置で得られた画像信号をそのままこのような表示装置で表示すると、非常にコントラストの低い画像となる。
【０００３】
そのため、画像処理技術によって、コントラストを強める方法が開発されてきた。例えば、ヒストグラムエンハンスメント方式がある。ヒストグラムエンハンスメント方式の１方式であるヒストグラムプロジェクション（HP）方式は、１フレーム（１画面）内において入力画像信号の信号強度とその信号強度の頻度の関係を表すヒストグラムを生成し、ある頻度以上を持つ信号強度のみ表示階調に割り当てるよう入力画像信号レベルを表示信号レベルに変換する方法である。また、ヒストグラム等価（HE）方式は、１フレーム内において入力画像信号の信号強度とその信号強度の頻度の関係を表すヒストグラムを生成し、各信号強度の頻度がほぼ等しくなるように表示階調に割り当てるよう入力画像信号レベルを表示信号レベルに変換する方法である。
【０００４】
これらの方法は、ダイナミックレンジの広い赤外線カメラ装置から得た階調数が大きい画像信号の信号強度ごとの画素頻度から、画素頻度の高い信号レベルに対して表示レベル（階調）を多く割り当てることにより、表示装置のダイナミックレンジ内でできるだけコントラストを強調しようとするものである。
【０００５】
しかし、１フレーム内において大きな輝度の差がある場合、例えば、航空機に搭載された赤外線撮像装置においては、１フレーム内に海と陸が同時に表示されると輝度の違いが大き過ぎて見にくいため、例えば、特開平９−１３０６８０に開示されているように、操作者が見たい部分を指定してコントラストを強調した画像を提供する技術がある。一方、一般の表示装置であるプラズマ・ディスプレイ・パネルや液晶ディスプレイ・パネル等の表示パネルにおいては、複数フレームにわたって画像を表示する場合、特開２００１−１０３３３８に開示されているように、輝度レベルのヒストグラムを考慮して画像内容に応じた画質補正を行なうため、複数フレームにわたる各画素の輝度レベルの出現数に合わせた最適な画質補正をする技術が知られている。
【０００６】
赤外線カメラを使用する場合、入力画像信号レベルを表示信号レベルに変換するためのパラメータを、１フレームのみのヒストグラムやフレームの全画素におけるレベルの平均値等から算出し決定すると、赤外線カメラで見るシーンが大きく変化した場合、表示レベル全体が時間的に頻繁に大きく変化し、かえって見づらくなってしまうという欠点が存在する。
【特許文献１】特開平９−１３０６８０号公報
【特許文献２】特開２００１−１０３３３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
そこで、本発明においては、赤外線カメラ装置で得られたダイナミックレンジが広い画像信号を、それよりダイナミックレンジが狭い表示装置にコントラストを強調し表示する画像処理方法及び画像処理装置に関し、赤外線カメラ装置における様々なシーン、例えば、輝点ノイズが時間的にランダムに出現するような画像において、輝点レベルの存在によって画面の表示輝度レベル全体が明るくなって見難くなるといった変化の大きなシーンに対する表示輝度レベルの時間的変化を抑制し、見やすい表示画像を提供することを目的とする。
【０００８】
さらに、様々なシーンの画像に対応することができる様に、外部入力パラメータを適宜選択することにより、見やすい表示画像に変更する方法を提供する。
【課題を解決するための手段】
【０００９】
本発明の第１の発明は、画質変換処理において、フレームごとに入力画像信号レベルと前記入力画像信号レベルの出現頻度との関係を表すヒストグラムを生成するステップと、前記フレームと前記ヒストグラムとの対応をとって記憶部に記憶するステップと、複数の前記フレームに対応するヒストグラムを加算してヒストグラム平均を算出するステップと、前記ヒストグラム平均をもとに入力画像信号レベルと表示画像信号レベルとの信号レベル変換関数を算出するステップと、算出された前記信号レベル変換関数を用いて入力画像信号レベルを表示画像信号レベルに変換するステップとを有することを特徴とする。
【００１０】
本発明の第１の発明によれば、撮像素子の階調数の高い撮像装置で撮影された画像を低い階調数の表示装置で表示したときのコントラストを強めると同時に、例えば輝点（明るい）ノイズが時間的にランダムに出現するような画像ではこの輝点ノイズの存在によって画面の表示輝度レベル全体が明るくなり見にくくなるのを適度に複数のフレームによる画素信号レベルの平均を行い輝点の影響を減じるようにしている。ただ単に複数フレームの画素信号レベルの平均を行なうには、複数フレームの全画素における信号レベルのデータをすべて記憶しておくための大容量メモリと高速演算手段が必要である。しかし、本発明においては、ただ単に複数フレームの画素信号レベルの平均を行なうのではなく、複数フレームに対応する各画素毎の信号レベルと出現頻度の関係を表すヒストグラムを記憶しておき、所望の複数フレームに対するヒストグラム平均を用いるようにしているため、ヒストグラム平均を算出する複数のフレームを外部入力パラメータとして適宜選択することにより、表示輝度レベルの時間的変化を抑制する度合いを変更することができ、様々なシーンに対応できる特徴を有する。
【００１１】
本発明の第２の発明は、画質変換処理装置において、フレームごとに入力画像信号レベルと前記入力画像信号レベルの出現頻度との関係を表すヒストグラムを生成するヒストグラム生成手段と、前記フレームと前記ヒストグラムとの対応をとって記憶部に記憶する記憶手段と、複数の前記フレームに対応するヒストグラムを加算してヒストグラム平均を算出するヒストグラム平均算出手段と、前記ヒストグラム平均をもとに入力画像信号レベルと表示画像信号レベルとの信号レベル変換関数を算出する信号レベル変換関数算出手段と、算出された前記信号レベル変換関数を用いて入力画像信号レベルを表示画像信号レベルに変換する信号レベル変換手段とを有することを特徴とする。
【００１２】
本発明の第２の発明によれば、例えば赤外線カメラにより撮像対象物から得た画素ごとの入力画像信号から表示画像信号に変換する場合、入力画像信号の階調数と表示手段の階調数とを考慮したコントラストの良い、かつ、輝点ノイズの影響を可変調整して減ずる画質変換処理装置となっている。
【００１３】
本発明の第３の発明は、前記ヒストグラム平均算出手段は複数のフレームに対応するヒストグラムを選択指定して加算することを特徴とする。
【００１４】
本発明の第３の発明によれば、ヒストグラム平均を求める場合、複数のフレームの加算指示を選択指示するようになっている。このため、赤外線カメラで撮影したシーンが大きく変化することに伴う表示装置における表示レベル全体の時間的に頻繁に大きく変化し見づらくなる現象を抑えることができる。このように、表示輝度レベル全体の時間的変化の抑制を強くしたい場合には、大きなフレーム数を指定するといった調整が可能となる。
【００１５】
本発明の第４の発明は、前記信号レベル変換関数は入力画像信号レベルと表示画像信号レベルとの一次式で表されることを特徴とする。
【００１６】
本発明の第４の発明によれば、信号レベル変換関数は入力画像信号レベルと表示画像信号レベルとの一次式で表わす事ができ、画像変換処理装置における演算処理が簡素化され、演算処理途中の結果記憶領域を少なくすることができる。
【００１７】
本発明の第５の発明は前記入力画像信号レベルは赤外線カメラ装置により撮像された画像信号レベルであることを特徴とする。
【００１８】
本発明の請求項５に記載の発明によれば、特に、赤外線カメラにおける入力画像信号レベルを表示画像信号レベルに変換する場合に優れた効果を有す。
【発明の効果】
【００１９】
本発明によれば、赤外線カメラから得られるダイナミックレンジの広い画像信号を高いコントラストでダイナミックレンジの狭い表示装置に表示することができるとともに、赤外線カメラで見るシーンが大きく変化しても、表示輝度レベル全体が時間的に頻繁に大きく変化することなく観察できる。
また、平均フレーム数を外部設定することにより、様々なシーンに対応できる。
【発明を実施するための最良の形態】
【００２０】
図１は、本発明による画質変換処理のフロー例を示す。
【００２１】
撮像カメラ、例えば赤外線カメラ装置により撮像された画像信号から１フレーム（１画面）分を単位として各画素毎の信号レベルと出現頻度の関係を表すヒストグラムを生成する（Ｓ１）。ここで、赤外線カメラ装置により撮像された画像信号レベルとは、赤外線カメラ装置が有する赤外線検出器の画素単位に検出される画像信号レベルである。１フレーム単位で得られた画素単位毎の画像信号レベルをもとに、画像信号レベルと出現頻度の関係を表すヒストグラムを求め、フレーム番号あるいはフレーム名称等に対応させて赤外線カメラ装置が有するメモリ領域にヒストグラムを記憶をする（Ｓ２）。そして、幾つかの所望のフレームに対するヒストグラム、例えばフレーム番号と対応させて記憶されている時間的に連続した５０フレームの各フレームのヒストグラムを加算し、ヒストグラム平均を算出する（Ｓ３）。得られたヒストグラム平均における画像信号レベルの出現頻度の閾値を５％として、出現頻度が例えば５％に満たない画像信号レベルを除いた画像信号レベルの階調数を求める（Ｓ４）。階調数は赤外線カメラ装置の赤外線検出器における階調数に依存する。得られた階調数を所望する階調数、例えば表示装置の階調数である２５６に割り付ける信号レベル変換関数を算出する（Ｓ５）。算出された信号レベル変換関数を用いて、Ｓ４の画像信号レベルを入力画像信号レベルとして表示装置の表示画像信号レベルに変換する（Ｓ６）。
【００２２】
図２は本発明による画質変換処理装置の一実施例を示す。図２において撮像対象物１からの赤外線を、画質変換処理装置２の入力画像生成手段２−１として、赤外線センサ（図示省略）を使用した場合の例である。
【００２３】
入力画像生成手段２−１の赤外線センサで検知された撮像対象物１の映像は、赤外線センサの画素毎に入力画像信号２−２に変換され、ヒストグラム生成手段２−３に送られる。ヒストグラム生成手段２−３においては、入力画像信号２−２からフレームごとに入力画像信号レベルと入力画像信号レベルの出現頻度との関係を表すヒストグラムを生成する。生成されたフレームごとのヒストグラムは、フレームとの対応、例えばフレームごとにフレーム番号をとることにより、フレーム番号とヒストグラムの記憶場所の対応テーブルを作成し、記憶手段２−４の記憶部（図示省略）に記憶する。
【００２４】
ヒストグラム平均算出手段２−５は、複数フレーム加算指示手段３から、例えば、フレーム番号のＮ００００１からＮ０００５０までのフレームのヒストグラム平均算出の指示を受けると、記憶手段２−４から必要な情報を引き出し、フレーム番号のＮ００００１からＮ０００５０までのヒストグラムを加算し、ヒストグラム平均と呼ぶ１つのヒストグラムを算出して、その結果を変換係数算出手段２−６へ送る。同時に、複数フレーム加算指示手段３から発行される、どの入力画像信号２−２のフレームに対し変換係数算出手段２−６の結果を適用するかの指示を、例えばヒストグラム平均算出手段２−５から信号レベル変換手段２−７に送られる。
【００２５】
変換関数算出手段２−６においては、例えばヒストグラム平均における画像信号レベルの出現頻度の閾値を５％として、出現頻度が５％に満たない画像信号レベルを除いた画像信号レベルの階調数を求める。階調数は入力画像生成手段２−１における赤外線センサの階調数に依存する。得られた入力画像階調数を所望する表示画像階調数、例えば表示手段４の表示画像階調数を２５６とすると、２５６に割り付ける変換関数を算出し、算出結果を信号レベル変換手段２−７に送る。
【００２６】
信号レベル変換手段２−７は、ヒストグラム平均算出手段２−５から信号レベル変換手段２−７に送られている、どの入力画像信号２−２のフレームに対し変換係数算出手段２−６により算出された変換関数を適用するかの指示に従い、入力画像信号２−２に対して表示画像信号２−８として表示手段４への表示画像信号レベルに変換される。
【００２７】
図２において、記憶手段２−４は画質変換処理装置２に内蔵されていても、外部にあって画質変換処理装置２に接続されていても構わない。また、表示手段４は、画質変換処理装置２に供えされていてもよいし、画質変換処理装置２の外部に接続されていても構わない。また、図２において、画質変換処理装置２には、ＣＰＵを含む画質変換処理制御装置、信号遅延回路が内蔵されているが図示を省略している。
【００２８】
図２の本発明による画質変換処理装置の一実施例においては、入力画像信号２−２のヒストグラムが１フレームごとに算出され、複数フレーム分記憶される。記憶された複数フレーム分のヒストグラムを使用し、複数フレーム加算指示手段３により指定される平均フレーム数の信号強度のフレーム間の平均頻度のヒストグラム平均をヒストグラム平均算出手段２−５において算出する。変換関数算出手段２−６は、算出されたヒストグラム平均を用い、信号レベル変換関数を算出する。そして、信号レベル変換手段２−７において、入力画像信号２−２に対し、信号レベル変換関数を用いて、表示画像信号２−８へとレベル変換する。
【００２９】
ここで、ヒストグラム平均の算出は次のように行なう。まず、各フレームごとに各画素毎の入力画像信号レベルと出現頻度の関係を表すヒストグラムを生成する。そして、ヒストグラムの各信号レベルの頻度を指定フレーム分加算し指定フレーム数で除算することによって平均頻度を求める。
【００３０】
【数１】
2006217057.tif 000003
次に信号レベルの変換関数の算出式を示す。図３のａ）はヒストグラム平均を、そしてｂ）は信号レベルの変換関数を示している。図３のａ）の縦軸は出現の頻度、横軸は信号レベルとしている。図３のａ）において、閾値に満たない頻度の信号レベルの部分を切り捨てて階調数を算出する（GStotal）。算出された階調数を表示階調数（ここでは例として８ビット対応とする）に割り付けつける変換関数を算出する。例えば、閾値として５％をとると、５％に満たないヒストグラム平均の最小以下の信号レベルを表示階調数の０に変換し、ヒストグラム平均の最大以上のレベルは表示階調の２５５レベルに変換する。
【００３１】
【数２】
2006217057.tif 000004
以上のようにして、変換関数b(x)が求まる。
【００３２】
次に信号レベル変換処理式を示す。信号レベル変換関数によって、入力画像信号レベルが表示レベルに変換される。
【００３３】
【数３】
2006217057.tif 000005
【図面の簡単な説明】
【００３４】
【図１】本発明による画質変換処理のフロー例
【図２】本発明による画質変換処理装置の一実施例
【図３】本発明による変換関数の算出
【符号の説明】
【００３５】
１          撮像対象物
２          画質変換処理装置
２−１      入力画像生成手段
２−２      入力画像信号
２−３      ヒストグラム生成手段
２−４      記憶手段
２−５      ヒストグラム平均算出手段
２−６      変換関数算出手段
２−７      信号レベル変換手段
２−８      表示画像信号
３          複数フレーム加算指示手段
４          表示手段
【図１】
2006217057.tif 000006
【図２】
2006217057.tif 000007
【図３】
2006217057.tif 000008