(57)【要約】【課題】画像データの容量を圧縮しつつ、移動体と所望の静止物体の領域の情報量を減らすことなく、効率的に画像データを保存することを課題とする。【解決手段】移動体観測装置は、連続した複数のフレームの撮像を行う撮像装置（１０）と、前記撮像された複数のフレームを基に移動体を検出する移動体検出部（１１２）と、前記撮像されたフレームを基に静止物体を検出する静止物体検出部（１１３）と、前記検出された移動体及び静止物体の領域をそれぞれ切り出す部分画像生成部（１１４）とを有し、前記静止物体検出部は、前記移動体検出部により移動体が検出されたフレームから移動体が消失するフレームまでの中で移動体を含む少なくとも一つのフレーム内の静止物体を検出することを特徴とする。【選択図】図１
2014053859.tif 000002
【特許請求の範囲】
【請求項１】
連続した複数のフレームの撮像を行う撮像装置と、
前記撮像された複数のフレームを基に移動体を検出する移動体検出部と、
前記撮像されたフレームを基に静止物体を検出する静止物体検出部と、
前記検出された移動体及び静止物体の領域をそれぞれ切り出す部分画像生成部とを有し、
前記静止物体検出部は、前記移動体検出部により移動体が検出されたフレームから移動体が消失するフレームまでの中で移動体を含む少なくとも一つのフレーム内の静止物体を検出することを特徴とする移動体観測装置。
【請求項２】
前記部分画像生成部は、前記移動体の位置情報及び輝度情報を前記移動体を含む画像に付加し、前記静止物体の位置情報及び輝度情報を前記静止物体を含む画像に付加して出力することを特徴とする請求項１記載の移動体観測装置。
【請求項３】
前記部分画像生成部は、前記移動体検出部により移動体が検出されたフレームの前のフレーム内及び前記移動体が消失したフレーム内の前記移動体の移動体推定位置を算出し、前記移動体推定位置の領域を切り出して出力することを特徴とする請求項１又は２記載の移動体観測装置。
【請求項４】
前記部分画像生成部は、前記移動体検出部により移動体が検出されたフレームとその後の少なくとも１フレームの移動体の検出位置と輝度情報を基に、前記移動体検出部により移動体が検出されたフレームの前のフレーム内の前記移動体の移動体推定位置を算出することを特徴とする請求項３記載の移動体観測装置。
【請求項５】
前記部分画像生成部は、前記移動体検出部により移動体が検出されたフレームとその後の少なくとも２フレームの移動体の検出位置を基に、前記移動体検出部により移動体が検出されたフレームの前のフレーム内の前記移動体の移動体推定位置を算出することを特徴とする請求項３記載の移動体観測装置。
【請求項６】
前記静止物体検出部は、前記移動体検出部により移動体が検出された時の１フレームでのみ２つ以上の静止物体を検出することを特徴とする請求項１〜５のいずれか１項に記載の移動体観測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体観測装置に関する。
【背景技術】
【０００２】
監視カメラ分野で、画像データを圧縮する技術として、動体を検出し、動体領域と動体以外の領域とで、異なる階調数で画像を変換して出力する装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２５３７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、天体観測において、流星やスペースデブリ等の移動体を動画で観測する場合には、移動体の情報だけでなく、静止物体として観測される恒星の位置や明るさの情報が重要である。なぜなら、既知の恒星の明るさを基準として、流星やスペースデブリの相対的な明るさを算出し、その情報から移動体の地上からの距離や大きさを算出することができるからである。したがって、移動体の画像情報に加え、少なくとも一つ静止物体として観測される恒星の輝度情報も圧縮することなく保存することが必要とされている。しかしながら、移動体検出領域以外の階調を圧縮するため、マーカーとする静止物体の階調情報が減ってしまうという課題がある。
【０００５】
本発明の目的は、画像データの容量を圧縮しつつ、移動体と所望の静止物体の領域の情報量を減らすことなく、効率的に画像データを保存することである。
【課題を解決するための手段】
【０００６】
本発明の移動体観測装置は、連続した複数のフレームの撮像を行う撮像装置と、前記撮像された複数のフレームを基に移動体を検出する移動体検出部と、前記撮像されたフレームを基に静止物体を検出する静止物体検出部と、前記検出された移動体及び静止物体の領域をそれぞれ切り出す部分画像生成部とを有し、前記静止物体検出部は、前記移動体検出部により移動体が検出されたフレームから移動体が消失するフレームまでの中で移動体を含む少なくとも一つのフレーム内の静止物体を検出することを特徴とする。
【発明の効果】
【０００７】
画像データの容量を圧縮しつつ、移動体と所望の静止物体の領域の情報量を減らすことなく、効率的に画像データを保存することができる。
【図面の簡単な説明】
【０００８】
【図１】移動体検出装置の構成例を示す図である。
【図２】移動体と静止物体の切り出しを行うフローチャートである。
【図３】移動体検出と静止物体検出の切り出し領域の模式図である。
【図４】移動体と静止物体の位置情報と輝度情報付加の一例を示す図である。
【図５】静止物体を切り出して保存する場合のフローチャートである。
【図６】移動体検出と静止物体検出の切り出し領域の模式図である。
【図７】移動体検出前後のフレームの移動体推定画像領域を検出した模式図である。
【図８】切り出し保存する場合のフローチャートである。
【図９】移動体検出前のフレームの移動体推定画像領域を検出した模式図である。
【図１０】移動体検出前後のフレームの位置座標と輝度情報を示した図である。
【図１１】移動体検出前後のフレームの位置座標を示した図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る移動体観測装置の構成の一例を示す図である。移動体観測装置１は、撮像装置１０、画像処理装置１１及び画像保存装置１２を有する。画像処理装置１１は、画像入力部１１０、一時記憶部１１１、移動体検出部１１２、静止物体検出部１１３、部分画像生成部１１４、制御部１１５及び画像出力部１１６を有する。撮像装置１０は、光学系と撮像素子を有し、光学系により被写体を撮像素子に結像させ、撮像素子で被写体光が電気信号（画像信号）に変換される。光学系は例えばレンズや天体望遠鏡等を用いることができ、撮像素子はＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることができる。撮像装置１０は、所定の撮像時間（例えば１６．６ミリ秒）おきに定期的に連続した複数のフレームの画像を撮像して出力する。画像入力部１１０は、撮像装置１０で変換された電気信号（画像信号）に関して、各種信号処理を行う。例えば、電気信号がアナログ信号の場合、画像入力部１１０は、アナログ信号をデジタル信号に変換する。一時記憶部１１１は、画像入力部１１０からの入力信号を画像フレーム毎に一時記憶する。一時記憶部１１１は、数十フレームから数百フレームを一時記憶することができ、一時記憶部１１１の容量を超えるデータが入力された場合は、過去のデータから順に上書きされる。例えば、一時記憶部１１１は、ＤＲＡＭ（dynamic random access memory）等の半導体メモリを用いることができる。
【００１０】
移動体検出部１１２は、一時記憶部１１１に記憶された画像信号を処理して移動体を検出する。すなわち、移動体検出部１１２は、撮像装置１０により撮像された複数のフレームを基に移動体を検出する。移動体検出のアルゴリズムは、特に限定されず、例えば、２フレーム画像間の差分をとり、差分値が閾値を超えたら、移動体として検出するといった方法を用いることができる。移動体検出部１１２は、移動体を検出した結果を制御部１１５に出力する。例えば、移動体検出部１１２は、ＦＰＧＡ（Field-Programmable Gate Array）内の機能ブロックとして実装することで用いることができる。静止物体検出部１１３は、一時記憶部１１１に記憶された画像信号を処理し、静止物体を検出する。すなわち、静止物体検出部１１３は、撮像装置１０により撮像されたフレームを基に静止物体を検出する。本実施形態では、静止物体検出部１１３は、移動体検出部１１２が移動体を検出した画像に対してのみ、静止物体検出を行うことが特徴である。静止物体検出部１１３は、上記の移動体を含む領域をマスキングして除外した画像において、物体抽出を行う。静止物体抽出の方法としては、例えば、画像をある閾値で２値化して、ある所定の大きさ、明るさ以上のものを抽出するという方法がある。また、抽出する物体は、ユーザーによって設定できるようにしてもよい。例えば、静止物体検出部１１３は、ＦＰＧＡ（Field-Programmable Gate Array）内の機能ブロックとして実装することで用いることができる。
【００１１】
部分画像生成部１１４は、撮像装置１０により撮像された複数のフレームを基に、移動体検出部１１２により検出された移動体の領域及び静止物体検出部１１３により検出された静止物体の領域をそれぞれ切り出す。部分画像生成部１１４は、移動体検出部１１２から移動体の位置情報を入力し、移動体検知された場合に画像を一時記憶部１１１から入力する。そして、部分画像生成部１１４は、移動体検出された画像全体から移動体を含む周辺領域を切り出す。また、部分画像生成部１１４は、静止物体検出部１１３から静止物体の位置情報を入力し、静止物体を含む周辺領域を切り出す。詳細については後述する。例えば、部分画像生成部１１４は、ＦＰＧＡ（Field-Programmable Gate Array）内の機能ブロックとして実装することで用いることができる。
【００１２】
制御部１１５は、移動体検出部１１２の検出信号やユーザー設定部（不図示）の入力信号を入力し、画像出力部１１６に入力された部分画像のうち、どの画像を画像保存装置１２に出力するかを制御する。制御部１１５は、移動体検出されている場合には、移動体周辺の切り出し画像を出力するように制御する。また、制御部１１５は、移動体検出がされてからのフレーム数に応じて、静止物体の切り出し画像を出力するか判断して、制御を行う。例えば、制御部１１５は、ＦＰＧＡ（Field-Programmable Gate Array）内の機能ブロックとして実装することで用いることができる。
【００１３】
画像出力部１１６は、部分画像生成部１１４で生成された画像情報を制御部１１５の制御に基づいて、画像保存装置１２に出力する。例えば、画像出力部１１６は、ＦＰＧＡ（Field-Programmable Gate Array）内の機能ブロックとして実装することで用いることができる。画像保存装置１２は、画像出力部１１６から出力された画像情報やその他の情報を保存する。画像保存装置１２は、不揮発性であればよく、ハードディスク（ＨＤＤ）やフラッシュメモリドライブ（ＳＳＤ）、などを用いることができる。また、画像保存装置１２は、ネットワーク上のサーバであって、画像処理装置１１とネットワークで接続される形態でもよい。
【００１４】
次に、移動体検出から画像出力までの動作の詳細を図２〜３を用いて説明する。図２と図３を用いて、移動体検出から移動体消失までの画像群における画像処理の手順を説明する。図３の移動体３０が検出されたＮフレーム目の画像を例にとって説明する。図２はあるフレーム画像を処理するフローを示している。ステップＳ２０では、画像入力部１１０は、撮像装置１０から画像データを取得し、一時記憶部１１１に記憶させる。次に、ステップＳ２１では、移動体検出部１１２は、一時記憶部１１１に記憶されたＮ−１フレーム画像データを用いて、Ｎ−１フレームとＮフレームの画像間の差分をとる。これにより、移動体検出部１１２は、移動体が存在するか否かを検出する。移動体が非検出の場合は、その後の画像演算は行わない。移動体が検出された場合は、ステップＳ２２において、移動体検出部１１２は、移動体の位置情報を部分画像生成部１１４に出力し、部分画像生成部１１４は、一時記憶部１１１から画像を入力し、移動体を含む領域を切り出す処理を行う。この際、移動体が複数検出された場合は、移動体検出部１１２は複数の移動体を全て検出し、部分画像生成部１１４は複数の移動体を含む領域を切り出す処理を行う。この際に、移動体を含む領域は、画素が連続した領域である。図３の移動体３０を含む領域は矩形で示されているが、切り出し形状は矩形に限定されるものではなく、画像データが横方向、縦方向共に連続していればよい。切り出された移動体３０を含む画像データは、画像出力部１１６内のバッファに一時記憶される。
【００１５】
ステップＳ２３では、静止物体検出部１１３は、静止物体の検出を行う。静止物体検出部１１３は、上記の移動体３０を含む領域をマスキングして除外した画像において静止物体抽出を行う。静止物体抽出の方法としては、例えば、画像をある閾値で２値化して、ある所定の大きさ、明るさ以上のものを抽出するという方法がある。抽出する物体は、使用者によって設定できるようにしてもよい。明るさが既知の静止物体を少なくとも一つ検出することで、静止物体の輝度と移動体の輝度データを比較することができる。静止物体が既知の物体であり、輝度がわかっている場合は、相対比較により、静止物体の輝度を算出することができる。移動体の絶対位置も精度良く算出するには、静止物体の検出は二つ以上がより望ましい。移動体の天球上の絶対位置を算出する場合、撮像装置１０の方向と、静止物体との相対位置から算出する。静止物体として１点だけを抽出した場合、撮像装置１０の向きの設定と実際とのずれが、移動体３０の絶対位置精度に影響する。例えば、撮像装置１０が想定より平行になっておらず斜めになっていた場合、移動体３０の天球上の位置は撮像装置１０が斜めの分だけ誤差を生じる。それに対し、静止物体として２点以上を検出した場合、天球上の位置が既に分かっている二つの静止物体の位置から移動体の位置を算出できるので、撮像装置１０が斜めになっている影響を除去できる。
【００１６】
次に、静止物体の周辺領域を切り出す処理を行う。静止物体検出部１１３は、検出した静止物体の位置情報を部分画像生成部１１４に出力する。移動体の切り出し処理と同様に、静止物体の切り出し領域は間引きをせず連続した領域である。図３の静止物体３１及び３２を含む領域は矩形で示されているが、切り出し形状は矩形に限定されるものではなく、画像データが横方向、縦方向共に連続していればよい。移動体３０を含む領域の画像データと静止物体３１及び３２を含む領域の画像データは、部分画像生成部１１４から画像出力部１１６に出力される。画像出力部１１６は、制御部１１５の制御信号に基づいて出力する。制御部１１５は、移動体検出されている場合は、移動体３０を含む領域と静止物体３１及び３２を含む領域を出力し、移動体検出されていない場合は、移動体を含む領域と静止物体を含む領域を出力しない。
【００１７】
切り出した画像の出力形式の一例を示す。この例では、同一フレームの移動体と静止物体を一つの画像ファイルとして保存する場合を述べるが、別々の画像ファイルとして保存してもよい。画像データは、バイナリデータ形式で専用フォーマットのＲＡＷ画像で保存する。画像データは、画像データ領域とヘッダを有する。ヘッダには、フレーム番号、物体数、物体識別番号、切り出した部分画像領域の座標情報を含む。フレーム番号は、撮像開始からのフレームカウント数など、その画像がいつ撮像された画像かを識別できる情報であればよい。時刻情報を含んでもよい。物体数は、移動体とマーカーとなる静止物体の数を示す。切り出した部分画像の領域情報は、矩形領域の場合、左上端の座標値と右下端の座標値を指定する。画像データ領域は、１番目の部分画像データをバイナリデータとして格納した後、２番目の部分画像データを格納する。移動体、静止物体の数だけ格納する。１番目と２番目の部分画像の境界を判断するには、部分画像の領域情報から部分画像の画素数を算出すればよい。ステップＳ２４では、画像保存装置１２は、画像出力部１１６により出力される画像を保存する。
【００１８】
以上の処理をフレーム毎に行うと、図３に示すように移動体３０を検出してから移動体３０が消失するまでの間、移動体３０を含む領域の画像情報と静止物体３１及び３２を含む領域の画像情報を、空間解像度を保ったまま保存することができる。
【００１９】
また、静止物体を含む領域は、移動体が検出された全てのフレームで保存する必要はない。移動体が初めに検出されたフレームのみ静止物体を含む領域を保存してもよい。図５から図６を用いて説明する。図５は、あるフレームの画像処理の手順を示している。ステップＳ５０では、画像入力部１１０は、差像装置１０から入力した画像を一時記憶部１１１に記憶させる。ステップＳ５１では、移動体検出部１１２は、移動体を検出する。移動体を検出した場合には、ステップＳ５２において、部分画像生成部１１４は、一時記憶部１１１から画像を入力し、移動体周辺の画像を切り出して画像出力部１１６に出力する。ステップＳ５３では、制御部１１５は、前フレームにおいて移動体が検出されていたか否かを判定する。判定方法は、制御部１１５がカウンタを備え、移動体検出部１１２で移動体が検出された場合にカウンタを増加し、移動体が検出されなかった場合にカウンタを０に戻すことで可能である。カウンタが０のときは、前フレームに移動体が検出されていないと判断し、ステップＳ５４に進む。それ以外の場合は、ステップＳ５５に進む。ステップＳ５４では、静止物体検出部１１３は静止物体を検出し、部分画像生成部１１４は静止物体周辺の領域を切り出して、画像出力部１１６に出力する。ステップＳ５５では、画像保存装置１２は、画像出力部１１６により出力される画像を保存する。
【００２０】
以上のように、静止物体検出部１１３は、移動体検出部１１２により移動体が検出された時の１フレームでのみ２つ以上の静止物体３１及び３２を検出する。以上のフローにより、移動体が検出された最初のフレームのみ移動体周辺領域の画像と静止物体周辺領域の画像を切り出して保存し、その他のフレームでは、移動体周辺領域の画像のみ切り出して保存することができる。また、静止物体を含む周辺領域の画像を保存するフレームは、移動体を検出した初めてのフレームに限られるわけではない。ある移動体が検出されてから消失するまでの任意のフレームでよい。静止物体検出部１１３は、移動体検出部１１２により移動体が検出されたフレームから移動体が消失するフレームまでの中で移動体を含む少なくとも一つのフレーム内の静止物体を検出すればよい。移動体検出から移動体消失までのフレームで静止物体の輝度変化等が気にならない場合は、以上の方法をとることで、画像データを更に圧縮するのに有効である。
【００２１】
（第２の実施形態）
本発明の第２の実施形態では、移動体を含む周辺領域と静止物体を含む周辺領域の画像データを保存するのに加え、位置情報と輝度情報を画像データに付加する。その方法について説明する。移動体観測装置の構成は第１の実施形態と同じであるが、移動体検出部１１２と静止物体検出部１１３に位置情報演算と輝度情報演算の機能を追加している。移動体検出がされてから、移動体を含む周辺領域と静止物体を含む周辺領域を切り出すまでの処理は、第１の実施形態と同様である。画像の位置情報と輝度情報について図４を用いて説明する。
【００２２】
位置情報は、画像全体において移動体３０及び／又は静止物体３１，３２の位置がどこにあるかを示す情報である。位置情報として、移動体３０や静止物体３１，３２の輝度重心座標を用いることができる。図４に例示した位置情報は、画素数が横１９２０画素、縦１０８０画素の画像において、左端の座標を原点（０，０）としたときの輝度重心座標である。また、位置情報は、天球座標系の赤道、赤緯を単位として表してもよい。撮像装置１０の方角を示す情報から画像の左端の赤道、赤緯座標を算出する。そして、撮像素子の画角から画像の１画素単位が、天球上の座標の単位でいくつに相当するかが分かる。この二つの情報から、画像座標と天球座標系の換算を行うことができる。輝度情報は、移動体３０や静止物体３１，３２の明るさを示す情報である。例えば、Ａ／Ｄ変換後のデジタルデータのカウント値を移動体３０又は静止物体３１，３２の領域にわたって平均をとった値を輝度情報として用いることができる。図４には、画像のビット深度が１４ビットの画像について、物体として抽出された領域の平均値を移動体３０や静止物体３１，３２の輝度情報としている。輝度情報は、平均値に限定されるものでなく、物体として抽出された領域の中央値や、最大値などでもよい。また、移動体と静止物体の輝度情報として、等級で表した情報を画像に付加してもよい。
【００２３】
移動体の位置情報と輝度情報は、移動体検出部１１２により検出と同時に算出される。また、静止物体の位置情報と輝度情報は、静止物体検出部１１３により検出と同時に算出される。移動体検出部１１２と静止物体検出部１１３で算出された情報は、部分画像生成部１１４に出力された後、切り出された領域画像とともに、画像出力部１１５に出力され、画像保存装置１２で保存される。部分画像生成部１１４は、移動体の位置情報及び輝度情報を移動体を含む画像に付加し、静止物体の位置情報及び輝度情報を静止物体を含む画像に付加して出力する。
【００２４】
位置情報と輝度情報のデータの付加方法の一例として、専用ＲＡＷフォーマットのヘッダを使用することができる。予め定めたヘッダフォーマットに位置情報と輝度情報を付加する領域を確保し、その部分にバイナリデータ又はテキストデータで位置情報及び輝度情報を保存する。画像データに加え、位置情報と輝度情報を付加することで、画像保存装置１２の画像を詳細に解析する前に、簡易的に移動体と静止物体の相対位置と相対輝度を把握することができる。それにより、観測者の画像解析の負担を軽減することができる。
【００２５】
（第３の実施形態）
第１及び第２の実施形態では、移動体が検出されたフレームから、移動体が消失するフレームまでのフレームについて、移動体周辺の領域と静止物体周辺の領域を切り出している。これに対し、本発明の第３の実施形態では、移動体検出以前のフレームの画像と移動体消失フレーム後も追加して画像を切り出す。その理由について説明する。流星などの移動体においては、段々と輝度が上昇し、段々と輝度が減少する。そのため、移動体検出前の画像においても、移動体が光り始めている途中の微弱な発光現象を捉えている可能性がある。逆に、移動体検出後の画像においても、移動体検出部１１２では閾値の関係で検出できない微弱な発光現象が画像として残っている可能性がある。そこで、移動体検出前の画像や移動体消失フレームの画像において、移動体が存在すると想定される部分を切り出すことが必要である。
【００２６】
本発明の第３の実施形態の構成は、第１及び第２の実施形態と同じである。画像処理の方法について、図７と図８を用いて説明する。図７は、移動体検出前後の画像群を例示したものである。Ｎ−１フレーム目が移動体検出前のフレーム画像で、Ｎフレームが移動体検出画像、Ｎ＋３フレーム目が移動体消失画像である。移動体３０が検出されている間の画像処理は、第１〜第３の実施形態の方法と同様であるので、移動体検出前フレームと移動体消失フレームの画像抽出処理について述べる。
【００２７】
図８（ａ）は、移動体検出直前フレームにおいて移動体推定位置を切り出すフローチャートを示している。まず、ステップＳ８０では、移動体検出部１１２は、移動体検出フレーム（Ｎフレーム目）とその次のフレーム（Ｎ＋１フレーム目）の移動体３０の位置座標を抽出する。移動体３０の位置座標は、例えば、移動体３０の輝度重心座標でよい。
【００２８】
ステップＳ８１では、移動体検出部１１２は、移動体検出フレーム（Ｎフレーム目）とその次のフレーム（Ｎ＋１フレーム目）の移動体３０の位置座標の差分を計算し、移動体検出前フレーム（Ｎ−１フレーム）の画像における移動体３３の推定位置座標を算出する。例えば、Ｎフレーム目の移動体３０の輝度重心座標が（Ｘ，Ｙ）＝（２５４、１６７）で、Ｎ＋１フレーム目の移動体３０の輝度重心座標が（Ｘ，Ｙ）＝（３５６，２６８）とする。その場合、差分座標は（ΔＸ，ΔＹ）＝（１０２，１０１）となり、Ｎ−１フレーム目における推定位置座標は（２５４−１０２，１６７−１０１）＝（１５２，６６）となる。
【００２９】
ステップＳ８２では、移動体検出部１１２は、移動体３３の移動体推定位置が画像領域内にあるかを判定する。上記の例では画像領域内の座標となっているので、ステップＳ８３に進む。画像領域を外れている場合にはその時点で処理を終了する。
【００３０】
ステップＳ８３では、部分画像生成部１１４は、移動体検出直前フレーム（Ｎ−１フレーム）の画像において、移動体３３の移動体推定位置を含む周辺の領域を切り出す。ステップＳ８４では、画像保存装置１２は、部分画像生成部１１４により切り出された画像を保存する。
【００３１】
以上の画像処理の手順により、移動体検出前フレームの推定位置周辺の領域の画像を取得する。移動体消失フレーム（Ｎ＋３フレーム目）においても、移動体消失前のフレーム（Ｎ＋２フレーム目）と移動体消失２フレーム前（Ｎ＋１フレーム目）の画像から、移動体３４の移動体推定位置を算出する。移動体推定位置が画像領域内にある場合は、移動体消失フレームにおける推定位置周辺の領域を切り出す。
【００３２】
図８（ｂ）は、移動体消失時のフローチャートを示す。ステップＳ８５では、移動体検出部１１２は、消失直前フレーム（図７におけるＮ＋２フレーム）と消失の２フレーム前（Ｎ＋１フレーム）の位置の移動体３０の輝度重心位置情報を取得する。ステップＳ８６では、移動体検出部１１２は、上記の２フレームの位置の差分から移動体消失フレーム（Ｎ＋３フレーム目）の移動体３４の移動体推定位置を算出する。ステップＳ８７では、移動体検出部１１２は、移動体推定位置が画像領域内か否かを判定する。移動体推定位置が画像領域内ならば、ステップＳ８８で、部分画像生成部１１４は、移動体消失フレーム（Ｎ＋３フレーム目）において、移動体３４の移動体推定位置を含む領域を切り出す。ステップＳ８９では、画像保存装置１２は、部分画像生成部１１４により切り出された画像を保存する。
【００３３】
以上のように、部分画像生成部１１４は、移動体検出部１１２により移動体が検出されたフレームの前のフレーム内及び移動体が消失したフレーム内の移動体３３及び３４の移動体推定位置を算出し、その移動体推定位置の領域を切り出して出力する。以上の処理を行うことにより、移動体検出前と移動体消失時の移動体推定画像を切り出すことができる。また、第２の実施形態と同様に、移動体の位置情報と輝度情報を保存してもよい。移動体検出前のフレームや移動体検出後のフレームに関しては、移動体推定位置の位置情報と、同時に、静止物体の周辺領域の画像を保存することにより、移動体検出部１１２では検出できない微弱な現象を後から詳細な画像解析で解析することができる。
【００３４】
（第４の実施形態）
第３の実施形態において、移動体検出以前のフレームの画像と移動体消失フレーム後も追加して画像を切り出した。第３の実施形態のフローチャートの場合、移動体が２つ以上検出された場合に、移動体が同一物体かどうかを判断できず、移動体推定位置を誤る可能性がある。そこで、本発明の第４の実施形態では、移動体推定位置を移動体検出フレームとその後の２フレームの計３フレームの移動体位置を用いて、移動体検出前のフレームの移動体推定位置を算出する方法について述べる。
【００３５】
図９は、移動体検出前後の画像群を示したものである。移動体９０の１フレーム遅れで移動体９１が出現している。この場合、Ｎ＋１フレームとＮフレームを比較した場合、移動体９０同士を比較すれば正しく移動体推定位置を計算できる。しかし、Ｎ＋１フレームの移動体９１とＮフレームの移動体９０を比較すると、Ｎ−１フレームにおける移動体９２の移動体推定位置を正しく算出できなくなる。
【００３６】
そこで、第４の実施形態では、ＮフレームとＮ＋１フレームの位置座標と輝度値から同一の移動体か否かを判断し、移動体９２の移動体推定位置を算出する。図９の移動体連続画像の模式図を用いて説明する。図１０は、移動体９０と移動体９１の位置座標と輝度カウント値を表した図である。Ｎ＋１フレームとＮフレームの輝度カウント値を比較する。Ｎフレームのカウント値５０に対して、Ｎ＋１フレームにおける輝度カウント値の近い４８を同一物体とみなし、差分座標値からＮ−１フレームにおける移動体９２の移動体推定位置を算出する。そして、部分画像生成部１１４は、移動体９２の移動体推定位置周辺の領域を切り出す。部分画像生成部１１４は、移動体検出部１１２により移動体が検出されたフレームとその後の少なくとも１フレームの移動体の検出位置と輝度情報を基に、移動体検出部１１２で移動体が検出されたフレームの前のフレーム内の移動体の移動体推定位置を算出する。
【００３７】
（第５の実施形態）
本発明の第５の実施形態では、第４の実施形態の移動体推定位置算出において、Ｎフレーム、Ｎ＋１フレーム、Ｎ＋２フレームの３フレームを使って、移動体がほぼ同一の速度で動いていると仮定して移動体推定位置を算出する。二つの移動体の輝度カウント値が近い場合に、第５の実施形態の方法を用いることができる。図１１は、移動体９０と移動体９１の画像上の座標を示している。移動体検出部１１２は、Ｎ＋１フレームとＮフレームの移動体の差分座標Δｖ１及びΔｖ２を算出する。Δｖ１＝（２００，５０）、Δｖ２＝（１００，４００）となる。次に、Ｎ＋２フレームとＮ＋１フレームの移動体の差分座標Δｖ１１、Δｖ２２、Δｖ２１、Δｖ１２を算出する。Δｖ１１＝（２００，５０）、Δｖ２２＝（３００，０）、Δｖ２１＝（３００，−３００）、Δｖ１２＝（２００，３５０）となる。Δｖ１とΔｖ１１の差分座標が同一なので、Ｎフレームで出現した移動体９０の速度はΔｖ１＝（２００，５０）として、Ｎ−１フレームの移動体９２の移動体推定位置を（２５０−２００，１００−５０）＝（５０，５０）と算出する。そして、部分画像生成部１１４は、その座標の周辺領域を切り出す。
【００３８】
部分画像生成部１１４は、移動体検出部１１２により移動体が検出されたフレームとその後の少なくとも２フレームの移動体の検出位置を基に、移動体検出部１１２により移動体が検出されたフレームの前のフレーム内の移動体の移動体推定位置を算出する。
【００３９】
第１〜第５の実施形態によれば、移動体観測において、画像保存装置に保存される画像データの容量を圧縮しつつ、移動体と所望の静止物体の領域の情報量を減らすことなく、効率的に画像データを保存することができる。
【００４０】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００４１】
１０  撮像装置、１１２  移動体検出部、１１３  静止物体検出部、１１４  部分画像生成部
【図１】
2014053859.tif 000003
【図２】
2014053859.tif 000004
【図３】
2014053859.tif 000005
【図４】
2014053859.tif 000006
【図５】
2014053859.tif 000007
【図６】
2014053859.tif 000008
【図７】
2014053859.tif 000009
【図８】
2014053859.tif 000010
【図９】
2014053859.tif 000011
【図１０】
2014053859.tif 000012
【図１１】
2014053859.tif 000013