(57)【要約】【課題】回転運動に基づいて生じる像流れだけでなく、並進運動に基づいて生じる像流れも同時に補正する像流れ補正装置、像流れ補正方法及びプログラムを提供する。【解決手段】像流れ補正装置は、撮像画像中の対象物の移動速度を、第１の回転角速度に変換する変換部と、撮像画像中の対象物の第２の回転角速度と、変換部で変換した第１の回転角速度と、を合成することにより、合成回転角速度を算出し、合成回転角速度に基づいて、対象物の像流れ補正を行う補正部と、を備える。【選択図】図１
2020150469.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像中の対象物の移動速度を、第１の回転角速度に変換する変換部と、
前記撮像画像中の前記対象物の第２の回転角速度と、前記変換部で変換した前記第１の回転角速度と、を合成することにより、合成回転角速度を算出し、前記合成回転角速度に基づいて、前記対象物の像流れ補正を行う補正部と、
を備える像流れ補正装置。
【請求項２】
前記補正部は、前記合成回転角速度を用いて、前記撮像画像中の参照画素を求め、前記参照画素の輝度を用いて、前記対象物の画素の輝度を補正する
請求項１に記載の像流れ補正装置。
【請求項３】
前記補正部は、前記合成回転角速度に基づき、前記撮像画像中で、前記対象物の像流れが生じている方向を決定し、前記方向を用いて、前記像流れ補正を行う
請求項１又は２に記載の像流れ補正装置。
【請求項４】
前記補正部は、所定時刻に検出された前記移動速度に基づいて変換された前記第１の回転角速度と、前記所定時刻に検出された前記第２の回転角速度と、を合成することにより、前記合成回転角速度を算出する
請求項１から３のいずれかに記載の像流れ補正装置。
【請求項５】
前記変換部は、前記撮像画像中の所定方向と、前記撮像画像中における前記対象物の移動方向とがなす角度に基づいて、前記移動速度を、前記第１の回転角速度に変換する
請求項１から４のいずれかに記載の像流れ補正装置。
【請求項６】
前記変換部は、前記移動速度を、前記撮像画像中の第１の方向における第１の角速度と、前記第１の方向と直交する第２の方向における第２の角速度に分解し、
前記補正部は、前記第２の回転角速度を、前記第１の方向における第３の角速度と、前記第２の方向における第４の角速度に分解し、
前記補正部は、前記第１の角速度と前記第３の角速度とを合成するとともに、前記第２の角速度と前記第４の角速度とを合成することにより、前記合成回転角速度を算出する
請求項１から５のいずれかに記載の像流れ補正装置。
【請求項７】
前記補正部は、前記移動速度と、前記第２の回転角速度とを合成することにより合成速度を算出し、前記合成速度を、前記撮像画像中の第１の方向における第１の角速度と、前記第１の方向と直交する第２の方向における第２の角速度に分解することにより、前記合成回転角速度を算出する
請求項１から５のいずれかに記載の像流れ補正装置。
【請求項８】
前記補正部は、前記撮像画像中の前記対象物との距離が、所定距離未満である場合には、前記像流れ補正を行い、前記距離が、前記所定距離以上である場合には、前記像流れ補正を行わない
請求項１から７のいずれかに記載の像流れ補正装置。
【請求項９】
撮像画像中の対象物の移動速度を、第１の回転角速度に変換し、
前記撮像画像中の前記対象物の第２の回転角速度と、変換した前記第１の回転角速度と、を合成することにより、合成回転角速度を算出し、
前記合成回転角速度に基づいて、前記対象物の像流れ補正を行う
像流れ補正方法。
【請求項１０】
像流れ補正装置のコンピュータを、
撮像画像中の対象物の移動速度を、第１の回転角速度に変換する変換手段、
前記撮像画像中の前記対象物の第２の回転角速度と、前記変換手段で変換した前記第１の回転角速度と、を合成することにより、合成回転角速度を算出し、前記合成回転角速度に基づいて、前記対象物の像流れ補正を行う補正手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、像流れ補正装置、像流れ補正方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１は、赤外線撮像装置で撮像した画像に生じる像流れを補正する方法について開示している。この特許文献１では、補正対象画素と、回転角速度に応じた画素数だけ補正対象画素から回転方向に離れた参照画素との差分輝度情報から、元の輝度情報を予想し、像流れを補正している。すなわち、特許文献１では、像流れによって劣化した信号の輝度値を、回転角速度に応じた係数をかけて輝度値を増幅している。
【０００３】
特許文献２は、角速度検出器で検出した角速度に基づいて、撮像装置で撮像した画像に生じる像流れを補正する方法について開示している。
【０００４】
特許文献３は、角速度センサ及び加速度センサで、カメラなどの撮像装置に生じた振動に基づく角速度および加速度を検出し、それらに基づいて、撮像装置で撮像する画像に生じるブレを補正することを開示している。
【０００５】
特許文献４は、角速度センサ及び加速度センサで、カメラなどの撮像装置に生じた振動に基づく振動成分及び並進成分を検出し、それらに基づいて、撮像装置で撮像する画像に生じるブレを補正することを開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−０２８３４９号公報
【特許文献２】特開２００１−０３６７９４号公報
【特許文献３】特開２００５−１１４８４５号公報
【特許文献４】特開２００６−１４５７６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１〜４のいずれにおいても、撮像装置の回転運動に基づいて、撮像装置で撮像する画像に生じる像流れを補正している。
しかし、特許文献１〜４では、車両やドローンなどの移動体に撮像装置を搭載して撮像する場合に、撮像装置の回転運動に基づいて生じる像流れを補正することはできても、撮像装置の並進運動に基づいて生じる像流れを同時に補正することはできなかった。
【０００８】
そこで、この発明は、上述の課題を解決する像流れ補正装置、像流れ補正方法及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明の第１の態様によれば、像流れ補正装置は、
撮像画像中の対象物の移動速度を、第１の回転角速度に変換する変換部と、
前記撮像画像中の前記対象物の第２の回転角速度と、前記変換部で変換した前記第１の回転角速度と、を合成することにより、合成回転角速度を算出し、前記合成回転角速度に基づいて、前記対象物の像流れ補正を行う補正部と、
を備える。
【００１０】
本発明の第２の態様によれば、像流れ補正方法は、
撮像画像中の対象物の移動速度を、第１の回転角速度に変換し、
前記撮像画像中の前記対象物の第２の回転角速度と、変換した前記第１の回転角速度と、を合成することにより、合成回転角速度を算出し、
前記合成回転角速度に基づいて、前記対象物の像流れ補正を行う。
【００１１】
本発明の第３の態様によれば、像流れ補正装置のコンピュータを、
撮像画像中の対象物の移動速度を、第１の回転角速度に変換する変換手段、
前記撮像画像中の前記対象物の第２の回転角速度と、前記変換手段で変換した前記第１の回転角速度と、を合成することにより、合成回転角速度を算出し、前記合成回転角速度に基づいて、前記対象物の像流れ補正を行う補正手段、
として機能させる。
【発明の効果】
【００１２】
本発明によれば、回転運動に基づいて生じる像流れだけでなく、並進運動に基づいて生じる像流れも同時に補正することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態による像流れ補正装置の構成を示すブロック図である。
【図２】第１の実施形態による赤外線検知器が撮像する赤外線画像の一例を示す図である。
【図３Ａ】第１の実施形態による回転運動に基づく角速度について説明する図である。
【図３Ｂ】第１の実施形態による並進運動に基づく角速度について説明する図である。
【図３Ｃ】第１の実施形態による合成角速度について説明する図である。
【図４】第１の実施形態による１画素あたりの画角について説明する図である。
【図５】第１の実施形態による像流れ補正装置の処理を示すフローチャートである。
【図６】第２の実施形態による像流れ補正装置の構成を示すブロック図である。
【図７】第２の実施形態による像流れ補正装置の処理を示すフローチャートである。
【図８】最小構成を有する像流れ補正装置の構成を示すブロック図である。
【図９】最小構成を有する像流れ補正装置の処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
［第１の実施形態］
始めに、本発明の第１の実施形態について説明する。
第１の実施形態では、二方向（ｘ軸方向及びｙ軸方向）に、回転運動及び並進運動に起因する像流れが発生する場合について説明する。例えば、被写体である対象物が、画面上の画素位置（ｘ，ｙ）から、画素位置（ｘ＋ｍ，ｙ＋ｎ）の方向へ移動するように、撮像装置が回転運動するとともに、撮像装置を搭載した車両が、並進運動するときに生じる像流れを補正する場合について説明する。
なお、像流れとは、撮像装置が、回転運動や並進運動をしながら、対象物を撮像することに起因して、撮像画像中の対象物の画像が、ブレたりぼやけたりすることをいう。
【００１５】
図１は、第１の実施形態による像流れ補正装置１００ａの構成を示すブロック図である。
像流れ補正装置１００ａは、赤外線撮像装置１０、速度検出器２０、補正部３０、変換部３７を備える。
赤外線撮像装置１０は、赤外線検知器１１、処理回路１２、角速度検出器１３を備える。
補正部３０は、画像メモリ３１、画像メモリ３２、演算器３３、減算器３４、除算器３５、加算器３６を備える。
【００１６】
赤外線検知器１１は、車両の上面などに設置される赤外線カメラなどにより構成される。赤外線検知器１１は、車両の上面に垂直な軸を中心に回転運動することにより、被写体である対象物を含む赤外線画像を撮像する。赤外線検知器１１は、各画素の輝度情報を含む赤外線画像を、処理回路１２に出力する。
処理回路１２は、赤外線検知器１１から出力された赤外線画像を、Ａ／Ｄ（アナログ／デジタル）変換し、感度補正などの所定の処理を行った後、二次元のデジタル画像データとして、画像メモリ３１及び画像メモリ３２に出力する。
画像メモリ３１及び画像メモリ３２は、処理回路１２から出力されたデジタル画像データを記憶する。
【００１７】
また、角速度検出器１３は、ジャイロスコープなどにより構成され、赤外線撮像装置１０の回転運動に基づく回転角速度を検出し、演算器３３に出力する。
速度検出器２０は、速度検出器２０を備える像流れ補正装置１００ａが搭載された車両などの移動速度を検出し、変換部３７に出力する。
角速度検出器１３や速度検出器２０は、赤外線撮像装置１０と同等の回転運動や並進運動を行う位置に設置される。ただし、車両と、赤外線撮像装置１０が相対移動していない場合には、角速度検出器１３や速度検出器２０を、車両の任意の位置に設置するようにしても良い。
変換部３７は、速度検出器２０から入力された移動速度を、回転角速度に変換し、演算器３３に出力する。
【００１８】
画像メモリ３１は、記憶しているデジタル画像データから定まる輝度データを、画像の左上の画素から順次出力する。例えば、画像メモリ３１は、所定の時点では、画素位置（ｘ，ｙ）の輝度データＡ（ｘ，ｙ）を、補正対象画素の輝度データとして出力する。
画像メモリ３２は、演算器３３から出力される参照画素位置（ｘ＋ｍ，ｙ＋ｎ）に基づいて、画素位置（ｘ＋ｍ，ｙ＋ｎ）の輝度データＡ（ｘ＋ｍ，ｙ＋ｎ）を、参照画素の輝度データとして、減算器３４及び加算器３６に出力する。
【００１９】
減算器３４は、画像メモリ３１から出力される輝度データから、画像メモリ３２から出力される輝度データを減算し、除算器３５に出力する。
除算器３５は、減算器３４から出力されるデータを、演算器３３から出力される除数αＸ、αＹを用いて除算し、加算器３６に出力する。
加算器３６は、除算器３５から出力されるデータと、画像メモリ３２から出力される参照画素の輝度データを加算する。
像流れ補正装置１００ａは、加算器３６により加算したデータを、像流れ補正後の輝度データＢ（ｘ，ｙ）として出力する。
【００２０】
演算器３３は、角速度検出器１３から出力される角速度ωＲと、変換部３７から出力される角速度ωＤとを合成した合成角速度ωを求める。
例えば、角速度検出器１３が搭載された赤外線撮像装置１０が回転運動をしている場合であって、像流れ補正装置１００ａが搭載された車両が、所定方向に並進運動をしている場合には、赤外線検知器１１は、図２に示すような赤外線画像を撮像する。
【００２１】
回転運動に基づく角速度ベクトルは、ロール、ピッチ、ヨー方向の３次元だが、赤外線画像上では、ｘ軸方向及びｙ軸方向の２次元に変換される。回転運動に起因する像流れの方向Ｆ２は、演算器３３により、この２次元のベクトルから計算される。本実施形態では、計算された像流れの方向と、回転角速度の大きさをもとに、参照画素の位置を求め、補正対象画素と参照画素との差分輝度情報から、元の輝度情報を予想し、像流れを補正する。
本実施形態では、走行等の並進運動に基づく移動速度を、回転角速度に変換し、これを回転運動に基づく回転角速度ベクトルに合成し、像流れ補正処理を行う。例えば、車両に赤外線撮像装置１０を搭載する場合、被搭載物である車両は、静止状態だけでなく、移動することが想定される。このとき像流れが発生する。このとき、赤外線撮像装置１０の走行速度が既知であれば、運動状態を知ることができる対象物（静止状態や等速直線運動等）に対しては、対象物の赤外線画像上での移動方向が計算できる。赤外線撮像装置１０と、対象物の距離も計算できれば、対象物の赤外線画像上での移動量の大きさ（単位時間当たりの移動画素数）も計算することができる。この並進運動による移動の方向と移動量を、回転角速度による像流れの方向と大きさに変換し、回転角速度ベクトルに加算することで、本実施形態では、回転角速度に基づく像流れだけでなく、並進運動に基づく像流れも補正する。
【００２２】
図２の横軸方向は、赤外線検知器１１が撮像した赤外線画像のｘ軸方向の画素の画素番号を示している。また、図２の縦軸方向の左側は、赤外線検知器１１が撮像した赤外線画像のｙ軸方向の画素の画素番号を示している。また、図２の縦軸方向の右側は、赤外線検知器１１が撮像した赤外線画像の輝度値を示している。
図２では、像流れ補正装置１００ａが搭載された車両が、所定方向に並進運動するため、Ｆ１方向に、並進運動に基づく像流れが生じる。また、角速度検出器１３が搭載された赤外線撮像装置１０が回転運動するため、Ｆ２方向に、回転運動に基づく像流れが生じる。
【００２３】
演算器３３には、角速度検出器１３から、図３Ａに示すような回転角速度ωＲのデータが出力される。演算器３３は、回転角速度ωＲと、図３Ａの上下方向がなす角度θ１に基づいて、下記の式（１）及び（２）を用いて、回転運動によるｘ軸方向の角速度ωＲ＿Ｘ、及び、回転運動によるｙ軸方向の角速度ωＲ＿Ｙを求める。
【００２４】
ωＲ＿Ｘ＝ωＲ×ｓｉｎ（θ１）  ・・・（１）
ωＲ＿Ｘ＝ωＲ×ｃｏｓ（θ１）  ・・・（２）
【００２５】
また、演算器３３には、変換部３７から、図３Ｂに示すような回転角速度ωＤのデータが入力される。演算器３３は、回転角速度ωＤと、図３Ｂの上下方向（赤外線撮像装置１０の光軸方向）がなす角度θ２に基づいて、下記の式（３）を用いて、並進運動によるｘ軸方向の角速度ωＤ＿Ｘ、及び、並進運動によるｙ軸方向の角速度ωＤ＿Ｙを求める。
【００２６】
ωＤ＿Ｘ＝ωＤ×ｓｉｎ（θ２）  ・・・（３）
ωＤ＿Ｙ＝ωＤ×ｃｏｓ（θ２）  ・・・（４）
【００２７】
演算器３３は、回転運動によるｘ軸方向の角速度ωＲ＿Ｘと、並進運動によるｘ軸方向の角速度ωＤ＿Ｘとを、加算することにより、図６Ｃに示すｘ軸方向の合成角速度ωＸを求める。また、演算器３３は、回転運動によるｙ軸方向の角速度ωＲ＿Ｙと、並進運動によるｙ軸方向の角速度ωＤ＿Ｙとを、加算することにより、図６Ｃに示すｙ軸方向の合成角速度ωＹを求める。
【００２８】
なお、ここでは、演算器３３が、回転角速度ωＲを、ωＲ＿Ｘ及びωＲ＿Ｙをに分解し、変換部３７から出力される回転角速度ωＤを、ωＤ＿Ｘ及びωＤ＿Ｙに分解し、ωＲ＿Ｘ及びωＤ＿Ｘを合成することによりωＸを求め、ωＲ＿Ｙ及びωＤ＿Ｙを合成することによりωＹを求める場合について説明したが、これに限定されるものではない。例えば、演算器３３は、回転角速度ωＲ(図３Ａ参照)と、回転角速度ωＤ(図３Ｂ参照)のベクトル和である合成角速度ωを求めた後で、下記の式（５）及び（６）を用いて、ｘ軸方向の合成角速度ωＸと、ｙ軸方向の合成角速度ωＹに分解するようにしても良い。
【００２９】
ωＸ＝ω×ｓｉｎ（θ）  ・・・（５）
ωＹ＝ω×ｃｏｓ（θ）  ・・・（６）
【００３０】
演算器３３は、合成角速度ωに基づいて、下記の式（７）及び式（８）を用いて、ｘ軸方向及びｙ軸方向の参照画素位置を示す正の数ｍ及びｎを求め、参照画素位置（ｘ＋ｍ，ｙ＋ｎ）を、画像メモリ３２に出力する。
【００３１】
ｍ＝（｜ωＸ｜／ＩＦＯＶ）×Δｔ０＿Ｘ  ・・・（７）
ｎ＝（｜ωＹ｜／ＩＦＯＶ）×Δｔ０＿Ｙ  ・・・（８）
【００３２】
上記式（７）における正の数ｍは、対象物が、時間Δｔ０＿Ｘの時間に、ｘ軸方向に移動する画素数を示す。また、上記式（８）における正の数ｎは、対象物が、時間Δｔ０＿Ｙの時間に、ｙ軸方向に移動する画素数を示す。
なお、上記式（７）及び式（８）における値ＩＦＯＶは、図４に示す角度ＩＦＯＶである。例えば、車両に搭載された赤外線撮像装置１０と、赤外線撮像装置１０が撮像する対象物との距離が既知である場合について説明する。なお、赤外線撮像装置１０と、対象物との距離は、例えば、レーザー式距離測定器などを用いて、測定することができる。
赤外線撮像装置１０と、対象物との距離は、図４に示すように、地表面上を赤外線撮像装置１０で撮像する場合、赤外線撮像装置１０と、赤外線撮像装置１０が撮像する地表面上の距離Ｌ［ｍ］に対応する。目標位置での１画素あたりの投影距離Ｌ［ｍ］は、１画素あたりの画角ＩＦＯＶから幾何学的に計算することができる。
速度検出器２０は、赤外線撮像装置１０の移動速度をｖ［ｍ／ｓ］を検出し、変換部３７に出力する。
変換部３７は、速度検出器２０から出力される移動速度ｖ［ｍ／ｓ］を、以下の式（９）を用いることにより、角速度ωＤに変換する。
【００３３】
ωＤ＝ＩＦＯＶ［ｒａｄ］／（投影距離Ｌを赤外線撮像装置１０が通り過ぎる時間）［ｓ］
＝ＩＦＯＶ／（Ｌ／ｖ）  ・・・（９）
【００３４】
なお、上記式（７）及び式（８）における値Δｔ０＿Ｘ及びΔｔ０＿Ｙは、以下の式（１０）及び（１１）により求めることができる。
【００３５】
Δｔ０＿Ｘ＝ＩＦＯＶ／ωＸ  ・・・（１０）
Δｔ０＿Ｙ＝ＩＦＯＶ／ωＹ  ・・・（１１）
【００３６】
上記式（７）及び式（８）により、対象物の画素位置（ｘ，ｙ）に対する参照画素位置（ｘ＋ｍ、ｙ＋ｎ）を特定するための正の数ｍ及びｎを特定することができる。
【００３７】
演算器３３は、以下の式（１２）及び（１３）を用いて、ｘ軸方向の輝度値を補正するための補正係数αＸと、ｙ軸方向の輝度値を補正するための補正係数αＹを求める。
【００３８】
αＸ＝１−ｅｘｐ（−Δｔ０＿Ｘ／τ）  ・・・（１２）
αＹ＝１−ｅｘｐ（−Δｔ０＿Ｙ／τ）  ・・・（１３）
【００３９】
上述の式（１２）及び（１３）において、値τは、熱型の赤外線検知器１１を構成する検知素子の熱時定数である。
【００４０】
補正部３０を構成する減算器３４、除算器３５、加算器３６は、画像メモリ３１に記憶されているデジタル画像データにより特定される補正対象画素の輝度データＡ（ｘ）及びＡ（ｙ）と、画像メモリ３２に記憶されているデジタル画像データにより特定される参照画素の輝度データＡ（ｘ＋ｍ）及びＡ（ｙ＋ｎ）を用いて、下記の式（１４）及び（１５）により、補正対象画素の補正後の輝度データＢ（ｘ）及びＢ（ｙ）を求める。
【００４１】
Ｂ（ｘ）＝{Ａ（ｘ）−Ａ（ｘ＋ｍ）}／αＸ＋Ａ（ｘ＋ｍ）  ・・・（１４）
Ｂ（ｙ）＝{Ａ（ｙ）−Ａ（ｙ＋ｎ）}／αＹ＋Ａ（ｙ＋ｎ）  ・・・（１５）
【００４２】
加算器３６からは、補正対象画素の補正後の輝度データＢ（ｘ）及びＢ（ｙ）が出力されるが、これらの輝度データＢ（ｘ）及びＢ（ｙ）は、回転運動及び並進運動に基づいて生じた像流れが補正された輝度データである。
【００４３】
図５は、第１の実施形態による像流れ補正装置１００ａの処理を示すフローチャートである。
始めに、速度検出器２０は、赤外線撮像装置１０の移動速度をｖ［ｍ／ｓ］を検出する（ステップＳ１）。
次に、変換部３７は、赤外線検知器１１の１画素あたりの地平面上の投影距離Ｌ［ｍ］（図４参照）を、１画素あたりの画角ＩＦＯＶから、幾何学的に求める（ステップＳ２）。
次に、変換部３７は、目標位置での１画素あたりの投影距離Ｌ［ｍ］、１画素あたりの画角ＩＦＯＶ、速度検出器２０が検出した移動速度ｖ［ｍ／ｓ］に基づいて、上述した式（９）を用いて、角速度ωＤを算出する（ステップＳ３）。
次に、演算部３３は、赤外線撮像装置１０の設置角度θ２（図３Ｂ参照）から、上述した式（３）及び式（４）を用いて、並進運動に基づく２方向（つまり、ｘ軸方向及びｙ軸方向）の角速度ωＤ＿Ｘ、及び、角速度ωＤ＿Ｙを計算する（ステップＳ４）。
【００４４】
一方、演算器３３は、角速度検出器１３が検出した回転運動に基づく角速度ωＲに基づき、上述した式（１）及び式（２）を用いて、回転運動に基づく２方向（つまり、ｘ軸方向及びｙ軸方向）の角速度ωＲ＿Ｘ、及び、角速度ωＲ＿Ｙを計算する（ステップＳ５）。
次に、演算部３３は、合成角速度ωＸ及びωＹを求める（ステップＳ６）。具体的には、演算部３３は、ステップＳ４で計算された角速度ωＤ＿Ｘと、ステップＳ５で計算された角速度ωＲ＿Ｘとを合成することにより、ｘ軸方向の合成角速度ωＸを求める。また、演算部３３は、ステップＳ４で計算された角速度ωＤ＿Ｙと、ステップＳ５で計算された角速度ωＲ＿Ｙとを合成することにより、ｙ軸方向の合成角速度ωＹを求める。
【００４５】
次に、演算器３３は、赤外線撮像装置１０で撮像する対象物が、赤外線検知器１１の１画素分、移動する時間を求める（ステップＳ７）。具体的には、演算器３３は、ステップＳ６で求めた合成角速度ωＸに基づいて、上述した式（１０）を用いることにより、対象物が、赤外線検知器１１の１画素分、ｘ軸方向に移動する時間Δｔ０＿Ｘを求める。また、演算器３３は、ステップＳ６で求めた合成角速度ωＹに基づいて、上述した式（１１）を用いることにより、対象物が、赤外線検知器１１の１画素分、ｙ軸方向に移動する時間Δｔ０＿Ｙを求める。
【００４６】
次に、演算器３３は、参照画素位置（ｘ＋ｍ，ｙ＋ｎ）を特定するための正の数ｍ及びｎを計算する（ステップＳ８）。具体的には、演算器３３は、ステップＳ６で求めたωＸと、ステップＳ７で求めた時間Δｔ０＿Ｘに基づき、上述した式（７）を用いることにより、正の数ｍを求める。また、演算器３３は、ステップＳ６で求めたωＹと、ステップＳ７で求めた時間Δｔ０＿Ｙに基づき、上述した式（８）を用いることにより、正の数ｎを求める。
【００４７】
次に、演算器３３は、補正係数を計算する（ステップＳ９）。具体的には、演算部３３は、ステップＳ７で求めた時間Δｔ０＿Ｘに基づき、上述した式（１２）を用いることにより、赤外線撮像装置１０で撮像する画像において、ｘ軸方向に生じる像流れを補正するために用いられる補正係数αＸを求める。また、演算部３３は、ステップＳ７で求めた時間Δｔ０＿Ｙに基づき、上述した式（１３）を用いることにより、赤外線撮像装置１０で撮像する画像において、ｙ軸方向に生じる像流れを補正するために用いられる補正係数αＹを求める。
【００４８】
次に、演算器３３は、ステップＳ６で求めた合成角速度ωＸ及びωＹから、像流れが生じている方向を決定する（ステップＳ１０）。例えば、演算器３３は、図３Ｃの合成角速度ωＸと、合成角速度ωＹにより定まる角速度ベクトルωの方向に、赤外線撮像装置１０の回転運動及び並進運動に起因する像流れが生じていると決定する。
【００４９】
次に、減算器３４、除算器３５、加算器３６は、補正輝度値を計算する（ステップＳ１１）。具体的には、減算器３４は、{Ａ（ｘ）−Ａ（ｘ＋ｍ）}の値を計算し、除算器３５は、{Ａ（ｘ）−Ａ（ｘ＋ｍ）}／αＸの値を計算し、加算器３６は、{Ａ（ｘ）−Ａ（ｘ＋ｍ）}／αＸ＋Ａ（ｘ＋ｍ）の値を計算することにより、上述した式（１４）の補正対象画素の補正後のｘ軸方向の輝度データＢ（ｘ）を求める。また、減算器３４は、{Ａ（ｙ）−Ａ（ｙ＋ｎ）}の値を計算し、除算器３５は、{Ａ（ｙ）−Ａ（ｙ＋ｎ）}／αＹの値を計算し、加算器３６は、{Ａ（ｙ）−Ａ（ｙ＋ｎ）}／αＹ＋Ａ（ｙ＋ｎ）の値を計算することにより、上述した式（１５）の補正対象画素の補正後のｙ軸方向の輝度データＢ（ｙ）を求める。
次に、加算器３６は、ステップＳ１１で求められた補正対象画素の補正後のｘ軸方向及びｙ軸方向の輝度データＢ（ｘ）及びＢ（ｙ）を出力する。
【００５０】
図５のフローチャートの処理を行うことにより、像流れ補正装置１００ａは、角速度ベクトルω（図３Ｃ参照）の先端に位置する参照画素の輝度を用いて、角速度ベクトルωの根元に位置する対象物の輝度を補正することにより、並進運動及び回転運動により生じている像流れを補正することができる。
【００５１】
なお、回転運動に基づく像流れは、赤外線撮像装置１０の回転や動揺によって生じる。一方、並進運動に基づく像流れは、赤外線撮像装置１０の移動や、対象物（被写体）の移動によって生じる。赤外線撮像装置１０と対象物の距離が十分離れている時は、速度補正の影響は小さい。一方、赤外線撮像装置１０と対象物の距離が近くなるほど、速度補正の効果が大きくなる。距離が近いほど、走行等による対象物の赤外線画像上での移動が大きくなるからである。例えば、赤外線撮像装置１０と対象物との距離が、数メートルから数百メートルである車両搭載型の赤外線撮像装置１０にとっては、速度補正の効果を十分大きくすることができる。
【００５２】
なお、物体の運動は、いずれも回転運動と並進運動の組み合わせからなる。本実施形態の像流れ補正処理であれば、どのような運動の組み合わせにおいても、像流れを補正することが可能となる。
【００５３】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。
第２の実施形態において、上述した第１の実施形態と同様の構成を採用する部分、又は、上述した第１の実施形態と同様の処理を行う部分については、同じ符号を付し、それらの説明を省略する。
【００５４】
図６は、第２の実施形態による像流れ補正装置１００ｂの構成を示すブロック図である。像流れ補正装置１００ｂは、距離検知器５０及び制御部５１を備えている点で、第１の実施形態による像流れ補正装置１００ａの構成（図１参照）と異なっている。
距離検知器５０は、レーザー式距離測定器などにより構成される。距離検知器５０は、像流れ補正装置１００ｂと、赤外線撮像装置１０が撮像する対象物との距離を測定し、測定結果を制御部５１に出力する。
制御部５１は、距離検知器５０が出力する測定結果に基づき、赤外線検知器１１、角速度検出器１３、速度検出器２０を制御する。
【００５５】
図７は、第２の実施形態による像流れ補正装置１００ｂの処理を示すフローチャートである。図７に示すフローチャートは、ステップＳ２０及びステップＳ２１の処理が実行される点において、第１の実施形態のフローチャート（図５）と異なる。
始めに、距離検知器５０は、像流れ補正装置１００ｂと、赤外線撮像装置１０が撮像する対象物との距離を測定する（ステップＳ２０）。
【００５６】
次に、制御部５１は、ステップＳ２０で測定した距離が、所定距離未満であるか否かについて判定する（ステップＳ２１）。ステップＳ２０で測定した距離が、所定距離未満ではないと判定した場合には、制御部５１は、ステップＳ２１でＹＥＳと判定し、赤外線検知器１１、角速度検出器１３、速度検出器２０への電力の供給を停止し、図７に示すフローチャートの処理を終了する。この場合、制御部５１は、所定時間（例えば、１秒後）経過後に、距離検知器５０に、再度、ステップＳ２０の処理を行わせるようにしても良い。
【００５７】
一方、ステップＳ２０で測定した距離が、所定距離未満であると判定した場合には、制御部５１は、ステップＳ２１でＮＯと判定し、赤外線検知器１１、角速度検出器１３、速度検出器２０への電力の供給を継続し、像流れ補正装置１００ｂに、第１の実施形態のフローチャート（図５）で説明したステップＳ１〜Ｓ１２の処理を行わせる。
なお、図７のステップＳ２１での判定に用いられる所定距離は、数百メートルに設定することが好ましく、例えば、３００ｍ、より好ましくは、２００ｍとすると良い。
【００５８】
第２の実施形態によれば、像流れ補正装置１００ｂと、赤外線撮像装置１０が撮像する対象物との距離が、所定距離未満ではない場合、つまり、像流れ補正装置１００ｂと、対象物との距離が遠すぎる場合には、像流れ補正を行わないようにすることができる。
像流れ補正装置１００ｂと、赤外線撮像装置１０が撮像する対象物との距離が大きくなりすぎると、赤外線撮像装置１０が撮像する撮像画像中での対象物の移動距離が小さくなり、像流れ補正による補正効果も小さくなるが、このような場合、第２の実施形態では、図７のステップＳ１〜Ｓ１２の処理が行われないため、像流れ補正装置１００ｂの消費電力を抑えることができる。
【００５９】
図８は、最小構成を有する像流れ補正装置１００ｃの構成を示すブロック図である。像流れ補正装置１００ｃは、変換部６１、補正部６２を備えている。
【００６０】
図９は、像流れ補正装置１００ｃの処理を示すフローチャートである。
変換部６２は、撮像画像中の対象物の移動速度ｖ［ｍ／ｓ］を、第１の回転角速度ωＤに変換し（ステップＳ３１）、補正部６２に出力する。補正部６２は、撮像画像中の対象物の第２の回転角速度ωＲと、変換部６１で変換した第１の回転角速度ωＤと、を合成することにより、合成回転角速度ωを算出する（ステップＳ３２）。補正部６２は、合成回転角速度ωに基づいて、対象物の像流れ補正を行う（ステップＳ３３）。
【００６１】
なお、上述した実施形態では、赤外線撮像装置１０を備える像流れ補正装置１００ａなどを、車などの車両に搭載する場合について説明したが、これに限定されない。例えば、赤外線撮像装置１０を備える像流れ補正装置１００ａなどを、レーダーなどの回転台に搭載したり、ドローンなどの無人航空機に搭載することにより、赤外線撮像装置１０で撮像する赤外線画像で生じる回転運動及び並進運動に基づく像流れを補正するようにしても良い。
【００６２】
なお、上述した実施形態において、赤外線検知器１１が赤外線画像を撮像する時刻と、角速度検出器１３が角速度ωＲを検出する時刻と、速度検出器２０が角速度ωＤを検出する時刻は、全て同じ時刻Ｔとすることが好ましい。そのようにすることで、回転運動及び並進運動に基づいて同時刻に生じる像流れを補正することができるからである。例えば、時刻Ｔを、現在の時刻とすることにより、像流れ補正装置は、回転運動に基づく像流れについての回転角速度補正と、並進運動に基づく像流れについての速度補正とを、同時に、リアルタイムで行うことができる。
【００６３】
なお、上述した実施形態では、対象物の画像を検出する装置として、赤外線撮像装置１０を用いる場合について説明した。赤外線撮像装置１０として、赤外線カメラの非冷却センサを用いる場合には、応答速度が遅く、像流れが顕著であるため、本実施形態を適用することにより、適切に像流れを補正することができる。
ただし、赤外線撮像装置１０に限らず、他のセンサでも回転角速度が非常に大きい場合には、応答速度が有限である限り、像流れが生じる可能性があるため、本実施形態を適用することにより、像流れを補正することができる。
【００６４】
なお、図４では、赤外線撮像装置１０が、地表面を撮像する場合を、一例として説明したが、これに限定されるものではない。例えば、赤外線撮像装置１０と、対象物（被写体）との距離、もしくは、赤外線撮像装置１０の撮像距離が既知である場合には、本実施形態を適用することができる。例えば、ドローンなどの無人航空機に、赤外線撮像装置１０を搭載した場合であって、他の飛翔体を撮像する際に生じる像流れを、補正することも可能である。
【００６５】
近年、様々なセンサを用いた自動運転技術が開発されているが、上述した本発明の実施形態によれば、車両に搭載される赤外線撮像装置１０を用いて、回転角速度と走行速度の双方が併存する場面での像流れ補正を行うことにより、赤外線画像の視認性を向上させることができる。
【００６６】
速度検出器２０は、車両に搭載されるのが一般的であるが、上述した本発明の実施形態によれば、ＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）技術の発達により、小型かつ安価に手に入るようになった角速度センサ（ジャイロセンサなど）を、赤外線撮像装置１０と併用するだけで、他に機器を搭載することなく実現することができる。
【００６７】
また、ソフトウェアによる像流れ補正処理には、簡単な四則演算や三角関数の演算などにより実現することができるため、複雑な処理が必要なく、リアルタイムに、回転運動及び並進運動に基づく像流れ補正を行うことができる。
【００６８】
なお、上述した実施形態は、非冷却型の赤外線センサを使用する、一般的な赤外線カメラ、警備及び監視カメラ、トラッキングやミサイルホーミング等で使用する追尾、物体検知用の赤外線カメラなどに対しても適用することができる。
【００６９】
上述の像流れ補正装置１００ａ、１００ｂ、１００ｃは、内部に、コンピュータシステムを有している。そして、上述した図５、図７、図９の処理は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００７０】
なお、図１、図６、図８における各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００７１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【産業上の利用可能性】
【００７２】
本発明は、回転運動に基づいて生じる像流れだけでなく、並進運動に基づいて生じる像流れも同時に補正することが必要な像流れ補正装置、像流れ補正方法及びプログラムなどに適用することができる。
【符号の説明】
【００７３】
１０・・・赤外線撮像装置
１１・・・赤外線検知器
１２・・・処理回路
１３・・・角速度検出器
２０・・・速度検出器
３０・・・補正部
３１・・・画像メモリ
３２・・・画像メモリ
３３・・・演算器
３４・・・減算器
３５・・・除算器
３６・・・加算器
３７・・・変換部
５０・・・距離検知器
５１・・・制御部
６１・・・変換部
６２・・・補正部
１００ａ、１００ｂ、１００ｃ・・・像流れ補正装置
【図１】
2020150469.tif 000003
【図２】
2020150469.tif 000004
【図３Ａ】
2020150469.tif 000005
【図３Ｂ】
2020150469.tif 000006
【図３Ｃ】
2020150469.tif 000007
【図４】
2020150469.tif 000008
【図５】
2020150469.tif 000009
【図６】
2020150469.tif 000010
【図７】
2020150469.tif 000011
【図８】
2020150469.tif 000012
【図９】
2020150469.tif 000013
【手続補正書】
【提出日】令和2年2月28日(2020.2.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置の移動速度を検出する速度検出部と、
前記速度検出部が検出した前記移動速度を、撮像画像中の対象物の第１の回転角速度に変換する変換部と、
前記撮像画像中の前記対象物の第２の回転角速度と、前記変換部で変換した前記第１の回転角速度と、を合成することにより、合成回転角速度を算出し、前記合成回転角速度に基づいて、前記対象物の像流れ補正を行う補正部と、
を備える像流れ補正装置。
【請求項２】
前記補正部は、前記合成回転角速度を用いて、前記撮像画像中の参照画素を求め、前記参照画素の輝度を用いて、前記対象物の画素の輝度を補正する
請求項１に記載の像流れ補正装置。
【請求項３】
前記補正部は、前記合成回転角速度に基づき、前記撮像画像中で、前記対象物の像流れが生じている方向を決定し、前記方向を用いて、前記像流れ補正を行う
請求項１又は２に記載の像流れ補正装置。
【請求項４】
前記補正部は、所定時刻に検出された前記移動速度に基づいて変換された前記第１の回転角速度と、前記所定時刻に検出された前記第２の回転角速度と、を合成することにより、前記合成回転角速度を算出する
請求項１から３のいずれかに記載の像流れ補正装置。
【請求項５】
前記変換部は、前記撮像画像中の所定方向と、前記撮像画像中における前記対象物の移動方向とがなす角度に基づいて、前記移動速度を、前記第１の回転角速度に変換する
請求項１から４のいずれかに記載の像流れ補正装置。
【請求項６】
前記変換部は、前記移動速度を、前記撮像画像中の第１の方向における第１の角速度と、前記第１の方向と直交する第２の方向における第２の角速度に分解し、
前記補正部は、前記第２の回転角速度を、前記第１の方向における第３の角速度と、前記第２の方向における第４の角速度に分解し、
前記補正部は、前記第１の角速度と前記第３の角速度とを合成するとともに、前記第２の角速度と前記第４の角速度とを合成することにより、前記合成回転角速度を算出する
請求項１から５のいずれかに記載の像流れ補正装置。
【請求項７】
前記補正部は、前記第１の回転角速度と、前記第２の回転角速度とを合成することにより合成速度を算出し、前記合成速度を、前記撮像画像中の第１の方向における第１の角速度と、前記第１の方向と直交する第２の方向における第２の角速度に分解することにより、前記合成回転角速度を算出する
請求項１から５のいずれかに記載の像流れ補正装置。
【請求項８】
前記補正部は、前記撮像画像中の前記対象物との距離が、所定距離未満である場合には、前記像流れ補正を行い、前記距離が、前記所定距離以上である場合には、前記像流れ補正を行わない
請求項１から７のいずれかに記載の像流れ補正装置。
【請求項９】
撮像装置の移動速度を検出し、
検出した前記移動速度を、撮像画像中の対象物の第１の回転角速度に変換し、
前記撮像画像中の前記対象物の第２の回転角速度と、変換した前記第１の回転角速度と、を合成することにより、合成回転角速度を算出し、
前記合成回転角速度に基づいて、前記対象物の像流れ補正を行う
像流れ補正方法。
【請求項１０】
像流れ補正装置のコンピュータを、
撮像装置の移動速度を検出する速度検出手段と、
前記速度検出手段が検出した前記移動速度を、撮像画像中の対象物の第１の回転角速度に変換する変換手段、
前記撮像画像中の前記対象物の第２の回転角速度と、前記変換手段で変換した前記第１の回転角速度と、を合成することにより、合成回転角速度を算出し、前記合成回転角速度に基づいて、前記対象物の像流れ補正を行う補正手段、
として機能させるプログラム。