(57)【要約】【課題】  赤外線撮像装置において、像流れ補正処理によって発生するランダムノイズ量を撮像装置の回転角速度にかかわらず一定とすることにより、補正後の視認性を高め、かつノイズに埋もれた画像情報のなかから目標物体を正確に抽出できるようにした像流れ補正装置を得る。【解決手段】  補正対象画素と、回転角速度に応じた画素数だけ補正対象画素から回転方向に離れた参照画素との差分輝度情報を、画像メモリ５，６及び減算器８により求め、この差分輝度情報を定数である除数αにより除算器９にて除算し、更に除算結果と参照画素とを加算器１０で加算することにより、補正対象画素の輝度補正をなす。これにより、回転角速度に応じて変動するランダムノイズをなくしつつ像流れの補正ができる。【選択図】      図１
2007028349.tif 000002
【特許請求の範囲】
【請求項１】
赤外線撮像装置が所定角速度で回転運動したときの像流れを補正する像流れ補正装置であって、
補正対象画素と、前記角速度に応じた画素数だけ前記補正対象画素から回転方向に離れた参照画素との差分輝度情報を、定数である除数により除算して、前記補正対象画素の輝度補正をなす補正手段を含むことを特徴とする像流れ補正装置。
【請求項２】
前記補正手段は、前記差分輝度情報を算出する手段と、前記差分輝度情報を前記除数により除算する手段と、この除算結果と前記参照画素とを加算する手段とを有し、この加算出力を前記前記補正対象画素の輝度情報とすることを特徴とする請求項１記載の像流れ補正装置。
【請求項３】
前記補正手段は、前記角速度に応じた画素数は、前記角速度をω、θを１画素が見込む視野角、Δｔを定数としたとき、ｎ＝（｜ω｜／θ）×Δｔに従って決定されることを特徴とする請求項１または２記載の像流れ補正装置。
【請求項４】
前記ｎが整数でない場合、前記ｎに最も近くかつｎ1 ＜ｎ＜ｎ2 なる関係にある整数ｎ1 及びｎ2 に相当する画素数だけ、前記補正対象画素から離れた２つの画素の輝度情報について補完処理して得られた輝度情報を、前記参照画素の輝度情報として使用することを特徴とする請求項３記載の像流れ補正装置。
【請求項５】
前記ｎが整数でない場合、前記ｎの四捨五入値ｎi を当該ｎに置換え、かつ前記除数を、前記ｎi と前記ωと前記θとにより定まる値としたことを特徴とする請求項３記載の像流れ補正装置。
【請求項６】
赤外線撮像装置が所定角速度で回転運動したときの像流れを補正する像流れ補正方法であって、
補正対象画素と、前記角速度に応じた画素数だけ前記補正対象画素から回転方向に離れた参照画素との差分輝度情報を得るステップと、
定数である除数により前記差分輝度情報を除算するステップと、
この除算結果と前記参照画素の輝度情報とを加算して前記補正対象画素の輝度補正をなすステップと、
を含むことを特徴とする像流れ補正方法。
【請求項７】
前記角速度に応じた画素数は、前記角速度をω、θを１画素が見込む視野角、Δｔを定数としたとき、ｎ＝（｜ω｜／θ）×Δｔに従って決定されることを特徴とする請求項６記載の像流れ補正方法。
【請求項８】
前記ｎが整数でない場合、前記ｎに最も近くかつｎ1 ＜ｎ＜ｎ2 なる関係にある整数ｎ1 及びｎ2 に相当する画素数だけ、前記補正対象画素から離れた２つの画素の輝度情報について補完処理して得られた輝度情報を、前記参照画素の輝度情報として使用することを特徴とする請求項７記載の像流れ補正方法。
【請求項９】
前記ｎが整数でない場合、前記ｎの四捨五入値ｎi を当該ｎに置換え、かつ前記除数を、前記ｎi と前記ωと前記θとにより定まる数としたことを特徴とする請求項７記載の像流れ補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は像流れ補正装置及びその方法に関し、特に赤外線撮像素子の応答速度に起因して発生する像流れの成分をリアルタイムに簡単に補正する像流れ補正方式の改良に関するものである。
【背景技術】
【０００２】
赤外線検知器には種々のものが存在するが、近年はコスト面やメンテナンス面において優れた熱型（非冷却型とも呼ばれる）の赤外線検知器の採用が増加している。しかしながら、熱型の赤外線検知器には、検知素子の熱時定数に主因する応答性の問題がある。すなわち、熱型の検知素子では、赤外線入射エネルギーによる素子自体の温度上昇により、赤外線を検知するものであるが、素子には熱時定数が存在するために、この熱時定数よりも早いエネルギーの変化には追従できないという問題がある。
【０００３】
従って、被写体が激しく移動する場合や、撮像装置自体が回転運動する場合には、赤外線画像に、いわゆる像流れが発生することになる。この種の像流れのうち、撮像装置自体が回転運動したときに発生する像流れの成分を、リアルタイムにかつ簡単に補正する方法が、特許文献１に提案されている。この特許文献１に提案されている補正方法について、以下に説明する。
【０００４】
簡単化のために、被写体が画面上の画素アドレス（ｘ，ｙ）（補正対象の画素アドレスでもある）から画素アドレス（ｘ＋１，ｙ）の方向へ移動するように撮像装置が回転した場合を考えることにする。このとき、補正後の輝度データＢ（ｘ，ｙ）は、当該画素の輝度データＡ（ｘ，ｙ）、隣接画素の輝度データＡ（ｘ＋１，ｙ）、撮像装置の回転時の角速度ω、赤外線検知素子の熱時定数τに基づいて、下記の式（１）の演算により補正することができる。
Ｂ（ｘ，ｙ）＝｛Ａ（ｘ，ｙ）−Ａ（ｘ＋１，ｙ）｝／α＋Ａ（ｘ＋１，ｙ）  …式（１）
【０００５】
式（１）において、αは、
α＝ｆ（Δｔ1 ）＝１−ｅｘｐ（−Δｔ1 ／τ）
であり、ｆ（ｔ）は赤外線検知素子のステップ応答関数、τは赤外線検知素子の熱時定数、Δｔ1 は被写体が１画素分移動するのに要する時間であって、１画素が見込む視野角をθ、撮像装置の回転角速度の絶対値を｜ω｜とすると、Δｔ1 ＝θ／｜ω｜である。
【０００６】
このように、上記の特許文献１の技術では、補正対象画素を隣接画素との差分情報に基づいて補正データを演算して、赤外線撮像装置の応答速度に主因する像流れを当該補正データを基に補正するようになっているので、リアルタイムでかつ簡単に像流れ補正ができるものである。
【特許文献１】特開２００１−０３６７９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記の式（１）において、輝度データＡ（ｘ，ｙ）及びＡ（ｘ＋１，ｙ）には、一般にランダムノイズが含まれている。従って、補正後の輝度データＢ（ｘ，ｙ）にもランダムノイズが存在することになる。この場合、補正に伴うランダムノイズの量は式（１）の除数であるαの値に依存し、αは０以上１以下の数であって撮像装置の回転角速度ωによって変化するものであるために、補正後の画像に発生するノイズ量も、当該回転角速度ωによって変動することになる。
【０００８】
このように、補正処理後の画像に含まれるランダムノイズ量が、撮像装置の回転角速度に応じて変動すると、画像の視認性が悪くなるという欠点がある。また、ノイズに埋もれた画像情報のなかから目標物体を抽出するような画像処理においては、ランダムノイズの変動は大きな問題となる。
【０００９】
すなわち、赤外線画像のなかから、輝度の高い領域である温度の高い物体を抽出する画像処理を考えた場合、所定閾値よりも高い輝度を有する領域を抽出する必要があるが、その際に設定される閾値は画像に含まれるランダムノイズを既知のものとして演算することが必要となる。従って、画像のランダムノイズ量が、上述したように変動してしまうと、目標物体を誤って抽出してしまうという欠点が生ずるのである。
【００１０】
本発明の目的は、像流れ補正処理によって発生するランダムノイズ量を撮像装置の回転角速度にかかわらず一定とすることにより、補正後の視認性を高め、かつノイズに埋もれた画像情報のなかから目標物体を正確に抽出できるようにした像流れ補正装置及びその方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明による像流れ補正装置は、赤外線撮像装置が所定角速度で回転運動したときの像流れ補正装置であって、補正対象画素と、前記角速度に応じた画素数だけ前記補正対象画素から回転方向に離れた参照画素との差分輝度情報を、定数である除数により除算して、前記補正対象画素の輝度補正をなす補正手段を含むことを特徴とする。
【００１２】
本発明による像流れ補正方法は、赤外線撮像装置が所定角速度で回転運動したときの像流れ補正方法であって、補正対象画素と、前記角速度に応じた画素数だけ前記補正対象画素から回転方向に離れた参照画素との差分輝度情報得るステップと、定数である除数により前記差分輝度情報を除算するステップと、この除算結果と前記参照画素の輝度情報とを加算して前記補正対象画素の輝度補正をなすステップとを含むことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、像流れ補正のための演算式における除数αの値を一定値とすることができるので、補正処理によって発生するランダムノイズの量を、撮像装置の回転角速度によらずに一定とすることができ、よって、補正後の画像の視認性を高めることができると共に、ノイズに埋もれた画像情報のなかから目標物体を抽出する画像処理において、画像処理の条件設定を簡素化でき、抽出誤りをなくすことができるという効果がある。
【発明を実施するための最良の形態】
【００１４】
以下に本発明の実施の形態について図面を用いて説明する。図１は本発明の一実施の形態を示す機能ブロック図である。なお、図１においては、説明の便宜上、一方向の像流れ、例えば、被写体が画面上の画素アドレス（ｘ，ｙ）から画素アドレス（ｘ＋１，ｙ）の方向へ移動するように撮像装置が回転運動したときの像流れを補正する場合を例にとり説明するが、一方向に限らず二方向の場合にも、同様な手法により補正できることは勿論である。
【００１５】
図１を参照すると、赤外線撮像装置１は、赤外線検知器２と、前処理回路３と、角速度検出器４とを有している。赤外線検知器２からは各画素の輝度情報が出力されて前処理回路３においてＡ／Ｄ変換され、感度補正などの所定の前処理が施された後、二次元のデジタル画像データとして第一の画像メモリ５及び第二の画像メモリ６へ格納される。
【００１６】
赤外線撮像装置１に取付けられている角速度検出器４からの角速度信号１０１は演算器７へ入力される。第一の画像メモリ５から出力される輝度データは、画面上の左上の画素から順次出力されており、例えばある時点では、画素アドレス（ｘ，ｙ）の輝度データＡ（ｘ，ｙ）が、補正対象画素の輝度データ１０２として出力されている。同様に、第二の画像メモリ６からは、演算器７から供給される参照画素アドレス（ｘ＋ｎ，ｙ）１０３に従って、画素アドレス（ｘ＋ｎ，ｙ）の輝度データＡ（ｘ＋ｎ，ｙ）が、参照画素の輝度データ１０４として出力されている。
【００１７】
これら両画像メモリ５，６から出力された輝度データは、減算器８において減算されて除算器９へ入力される。除算器９へ入力されたデータは除数αにより除算され、更に加算器１０において参照画素の輝度データ１０４と加算される。この加算器１０による加算データが最終的な補正後の輝度データＢ（ｘ，ｙ）１０６として出力されることになる。
【００１８】
先ず、演算器７について説明する。演算器７は入力される角速度信号１０１に応じて、下記の式（２）に示す演算を実行して、参照画素アドレス（ｘ＋ｎ，ｙ）１０３を出力する機能を有する。
ｎ＝（｜ω｜／θ）×Δｔ2   …式（２）
【００１９】
式（２）において、θ及びωは式（１）で説明したものと同一であり、Δｔ2 は任意の定数であるが、τ／２程度の値とするのが良い。従って、（２）式の意味するところは、被写体がΔｔ2 の時間に移動する画素数を示すことになる。
【００２０】
また、演算器７は入力される角速度信号１０１に応じて除数α１０５を生成するものであり、この除数αは下記の式（３）に従って算出される。
α＝ｆ（Δｔ2 ）  …式（３）
【００２１】
式（３）において、Δｔ2 は式（２）でも説明した如く、定数であるが、τ／２程度の値に設定するのが望ましい。ここで、ｆ（ｔ）は赤外線検知素子のステップ応答関数であり、例えば、
ｆ（ｔ）＝１−ｅｘｐ（−ｔ／τ）
である。
【００２２】
ここで、熱型の検知素子を用いた赤外線検知器の出力信号は、下記の式（４）で表わされることになる。
Ｏ（ｉ）＝Ｏ（ｉ−１）＋｛Ｉ（ｉ）−Ｏ（ｉ−１）｝×α  …式（４）
式（４）において、Ｏ（ｉ），Ｏ（ｉ−１）は時刻ｔ（ｉ），ｔ（ｉ−１）における検知素子からの各出力輝度レベルを示し、Ｉ（ｉ）は時刻ｔ（ｉ）における検知素子への入力輝度レベルである。また、αは、
α＝１−ｅｘｐ（−Δｔ3 ／τ）
であり、Δｔ3 はｔ（ｉ）−ｔ（ｉ−１）の微小時間である。
【００２３】
従って、被写体が画面上の画素アドレス（ｘ，ｙ）から画素アドレス（ｘ＋ｎ，ｙ）の方向へ移動するように撮像装置が回転したとすると、各画素の出力輝度レベルは、下記の式（５）で表わされる。
Ｏ（ｘ，ｙ）＝Ｏ（ｘ＋ｎ，ｙ）＋｛Ｉ（ｘ，ｙ）−Ｏ（ｘ＋ｎ，ｙ）｝×α  …式（５）
【００２４】
式（５）において、Ｏ（ｘ，ｙ）は画素アドレス（ｘ，ｙ）の出力輝度レベル、Ｏ（ｘ＋ｎ，ｙ）は画素アドレス（ｘ＋ｎ，ｙ）の出力輝度レベル、Ｉ（ｘ，ｙ）は画素アドレス（ｘ，ｙ）の入力輝度レベルである。また、αは、
α＝１−ｅｘｐ（−Δｔ2 ／τ）
であり、ｎはｎ＝（｜ω｜／θ）×Δｔ2 である。なお、Δｔ2 は前述の如く、定数であり、τ／２程度が良い。
【００２５】
上述した式（５）において、Ｉ（ｘ，ｙ）が画素アドレス（ｘ，ｙ）の本来の入力輝度レベルであり、この値は、式（５）を変形して得られる式（６）により得ることができる。
Ｉ（ｘ，ｙ）＝｛Ｏ（ｘ，ｙ）−Ｏ（ｘ＋ｎ，ｙ）｝／α＋Ｏ（ｘ＋ｎ，ｙ）  …式（６）
【００２６】
ここで、式（６）にて演算される輝度レベルＩ（ｘ，ｙ）に含まれるノイズレベルについて考えると、式（６）において、輝度レベルＯ（ｘ，ｙ）及びＯ（ｘ＋ｎ，ｙ）は、赤外線検知素子の出力信号であり、一般に一定量のランダムノイズが含まれている。このために、最終的な補正輝度レベルＩ（ｘ，ｙ）に含まれるノイズレベルも、αの値に応じたランダムノイズ成分が含まれることになる。
【００２７】
このとき、参照画素のアドレス（ｘ＋ｎ，ｙ）は、ｎ＝（｜ω｜／θ）×Δｔ2 に従って決定されるので、撮像装置の回転角速度に応じて制御されることになり、また、αを１−ｅｘｐ（Δｔ2 ／τ）として、Δｔ2 をτ／２に近い定数とすることにより、αはωに依存しない一定値となるので、式（６）により演算される輝度レベルＩ（ｘ，ｙ）に含まれるノイズレベルは、ωに依存しない一定量となるのである。
【００２８】
ここで、従来の式（１）において、回転角速度ωに依存するランダムノイズを除去するには、除数αを定数にすれば良いが、そうすると、式（１）そのものが成立しなくなり、像流れの補正自体が無効となってしまう。そこで、本発明では、式（１）における参照画素アドレス（ｘ＋１，ｙ）に代えて、参照画素アドレス（ｘ＋ｎ，ｙ）とし、この参照画素アドレスを回転角速度ωに応じてリアルタイムに変更できるように制御することによって、αの値を一定値にすることができるようにしており、これにより補正処理により発生するランダムノイズ量を、赤外線撮像装置の回転角速度にかかわらず一定にすることができるのである。
【００２９】
図１の機能ブロックは、上述した式（６）の演算処理をそのままハードウェアにより実現するようにしたものである。赤外線検知器２からの各画素の輝度情報が出力され、前処理回路３によりＡ／Ｄ変換されて前処理が行われ、二次元デジタル画像データとして、画像メモリ５及び６にそれぞれ記録される。
【００３０】
回転角速度検出器４からの角速度信号１０１は演算器７へ入力されて参照画素アドレス（ｘ＋ｎ，ｙ）１０３が生成されて画像メモリ６のアドレスとなっている。画像メモリ５からの輝度データは画面上の左上から順次出力されており、例えばある時点では、画素アドレス（ｘ，ｙ）の輝度データＡ（ｘ，ｙ）が、補正対象画素の輝度データ１０２として出力されている。同様に、画像メモリ６からは、演算器７からの参照画素アドレス（ｘ＋ｎ，ｙ）１０３に従って、画素アドレス（ｘ＋ｎ，ｙ）の輝度データＡ（ｘ＋ｎ，ｙ）が参照画素の輝度データ１０４として出力されている。
【００３１】
両画像メモリ５及び６から出力された輝度データは、減算器８で減算され、除算器９へ入力される。除算器９へ入力されたデータは、除数α１０５で除算され、更に加算器１０で参照画素の輝度データ１０４と加算されることにより、最終的な補正後の輝度データＢ（ｘ，ｙ）１０６が得られるのである。こうして得られた補正後の輝度データは、式（６）と等価であることは明らかである。
【００３２】
前述した式（２）において、ｎは整数とは限らないために、参照アドレス（ｘ＋ｎ，ｙ）が定まらないことがある。このような場合には、例えば、図２の構成とすることにより、先の図１の例と同様な作用効果が得られる。図２を参照すると、本発明の他の実施の形態を示すブロック図であり、図１と同等部分には同一符号により示している。
【００３３】
本例においては、演算器７が上述の式（２）に従ってｎを演算したうえで、参照画素アドレス（ｘ＋ｎ1 ，ｙ）１０７及び（ｘ＋ｎ2 ，ｙ）１０８をそれぞれ出力する。ここで、ｎ1 及びｎ2 は、ｎ1 ＜ｎ＜ｎ2 なる関係とし、ｎに最も近い整数とする。画像メモリ６は演算器７からの２つの参照画素アドレス１０７及び１０８に従って、Ａ（ｘ＋ｎ1 ，ｙ）及びＡ（ｘ＋ｎ2 ，ｙ）の２つの輝度データ１０９及び１１０を演算器１１へ出力する。演算器１１では、入力された２つの輝度データ１０９及び１１０に基づいて、参照画素の輝度データを補完計算して参照画素の輝度データ１０４として出力する。なお、この補完計算の方法は種々の方法があり、公知であるため特に説明しない。
【００３４】
図２に示した実施の形態においては、参照画素アドレス（ｘ＋ｎ，ｙ）が整数でない場合の演算方法として、二つの輝度データに基づいて補完計算するものであるが、本発明の更に他の実施の形態として、補完計算を行わずに、その代わりに、除数αの値を調整する方法を以下に説明する。なお、この実施の形態の構成及び動作は前述の実施の形態と近似しており、一部の計算式のみが相違するだけであるので、異なる部分についてのみ説明するものとする。
【００３５】
前述の式（２）において、ｎが整数値でない場合には、四捨五入して整数値ｎi とする。これにより、参照画素アドレス（ｘ＋ｎi ，ｙ）の輝度データが補完計算することなく得ることができることになる。また、上記式（３）に代えて、本例では、以下に示す式（７）の演算によって除数αの値を得るものである。
α＝ｆ（Δｔ4 ）          …式（７）
ここで、ｆ（ｔ）は赤外線検知素子のステップ応答関数であり、例えば、ｆ（ｔ）＝１−ｅｘｐ（−ｔ／τ）である。また、Δｔ4 ＝（θ／｜ω｜）×ｎi である。
【００３６】
このように、本例では、αの値が微動するため補正処理によって発生するランダムノイズ量がわずかに変動することになるが、その代わりに、複雑な補完処理を省略することができ、よって像流れ補正処理のためのハードウェアを縮小できることになる。
【００３７】
上述した本発明による像流れ補正装置は、一般の赤外線カメラの他、航空機やミサイルなどの飛翔体に搭載する赤外線カメラや、赤外線監視カメラなどに適用することができるものである。これら航空機やミサイルなどの飛翔体における赤外線カメラや赤外線監視カメラなどいては、飛行中の動揺によって像流れが発生することは避けられず、これを補正することが必須となる。また、赤外線監視カメラでは、例えば、３６０度全方向の監視を行うために、赤外線撮像装置を回転させるために、この時に発生する像流れを補正することが必要になるからである。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施の形態の機能ブロック図である。
【図２】本発明の他の実施の形態の機能ブロック図である。
【符号の説明】
【００３９】
１  赤外線撮像装置
２  赤外線検知器
３  前処理回路
４  角速度検出器
５，６  画像メモリ
７，１１  演算器
８  減算器
９  除算器
１０  加算器
【図１】
2007028349.tif 000003
【図２】
2007028349.tif 000004