(57)【要約】【課題】昼夜の条件の相違への対応を図れる移動物体検知装置およびプログラムを提供する。【解決手段】昼夜判定部で昼夜を判定しその判定結果に応じて第１、第２の移動物体検出部を切り替える。昼と判定されたときには、第１の移動物体検出部により基準画像と検査画像との輝度の相違に基づき検査画像中から移動物体を検出する。夜と判定されたときには、第２の移動物体検出部により基準画像と検査画像との二値化結果の相違に基づき検査画像中から移動物体を検出する。【選択図】図１
2005286503.tif 000002
【特許請求の範囲】
【請求項１】
画像入力装置から画像を入力する画像入力部と、
前記画像入力部で入力される画像を基準画像として保持する基準画像保持部と、
前記画像入力部で入力される画像に基づいて、昼か夜かを判定する昼夜判定部と、
前記昼夜判定部で昼と判定されたときに、前記基準画像保持部で保持される基準画像と前記画像入力部で検査対象として入力される検査画像との輝度の相違に基づき、前記検査画像中から移動物体を検出する第１の移動物体検出部と、
前記昼夜判定部で夜と判定されたときに、前記基準画像と前記検査画像との二値化処理結果の相違に基づき、前記検査画像中から移動物体を検出する第２の移動物体検出部と、
を具備することを特徴とする移動物体検出装置。
【請求項２】
前記基準画像保持部で保持される基準画像を更新する基準画像更新部を
さらに具備することを特徴とする請求項１記載の移動物体検出装置。
【請求項３】
前記基準画像更新部が、前記基準画像保持部で保持される基準画像を前記第１、第２の移動物体検出部によって移動物体が検出されない画像に更新する
ことを特徴とする請求項２記載の移動物体検出装置。
【請求項４】
前記第１の移動物体検出部が、前記基準画像と前記検査画像との輝度を比較する輝度比較部を有する
ことを特徴とする請求項１記載の移動物体検出装置。
【請求項５】
前記第２の移動物体検出部が、前記基準画像および前記検査画像の二値化を行う二値化処理部と、前記二値化処理部で二値化された基準画像と検査画像の形状を比較する形状比較部を有する
ことを特徴とする請求項１記載の移動物体検出装置。
【請求項６】
前記第１、第２の移動物体検出部のいずれかで検出された移動物体が一定方向に移動しているか否かを判定する移動方向判定部と、
前記移動方向判定部での判定結果に基づき、前記移動物体を選別する移動物体選別部と、
をさらに具備することを特徴とする請求項１記載の移動物体検出装置。
【請求項７】
前記第１、第２の移動物体検出部のいずれかで検出された移動物体の輪郭を検出する輪郭検出部と、
前記輪郭検出部での検出結果に基づき、前記移動物体を選別する移動物体選別部と、
をさらに具備することを特徴とする請求項１記載の移動物体検出装置。
【請求項８】
前記第１、第２の移動物体検出部のいずれかで検出された移動物体の移動速度を算定する移動速度算定部と、
前記移動速度算定部での算定結果に基づき、前記移動物体を選別する移動物体選別部と、
をさらに具備することを特徴とする請求項１記載の移動物体検出装置。
【請求項９】
前記昼夜判定部が、前記画像入力装置で入力される画像の輝度の平均値を算出する平均輝度算出部と、前記画像入力装置で入力される画像の撮影時間を測定する撮影時間測定部と、前記平均輝度算出部で算出された平均輝度および前記撮影時刻測定部で測定された時刻とに基づき昼夜を判定する判定部と、を有する
ことを特徴とする請求項１記載の移動物体検出装置。
【請求項１０】
前記判定部が、前記撮影時刻測定部で測定された時刻が２０時から３時までを夜とし、７時から１５時までを昼とし、これ以外の時間では平均輝度が所定値未満なら夜、前記所定値以上なら昼と判定する
ことを特徴とする請求項９記載の移動物体検出装置。
【請求項１１】
前記昼夜判定部での判定結果に基づき、前記画像入力装置での撮影条件が制御される
ことを特徴とする請求項１記載の移動物体検出装置。
【請求項１２】
画像入力装置から画像情報を入力する画像入力部と、
前記画像入力部で入力される画像を基準画像として保持する基準画像保持部と、
前記画像入力部で入力される画像に基づいて、昼か夜かを判定する昼夜判定部と、
前記昼夜判定部で昼と判定されたときに、前記基準画像保持部で保持される基準画像と前記画像入力部で検査対象として入力される検査画像との輝度の相違に基づき、前記検査画像中から移動物体を検出する第１の移動物体検出部と、
前記昼夜判定部で夜と判定されたときに、前記基準画像と前記検査画像との二値化結果の相違に基づき、前記比較画像中から移動物体を検出する第２の移動物体検出部と、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、航空機等の移動物体を検出する移動物体検出装置およびプログラムに関する。
【背景技術】
【０００２】
安全上等の理由から、航空機等の移動物体の検出が求められる場合がある。このような移動物体の検出に際して、画像処理が用いられる。
ここで、基準映像と入力された映像信号との差分映像信号を抽出し、所定の閾値レベルを超える照度を有する画素数に応じて物体の侵入または検出を行う物体検知システムが開示されている（特許文献１参照）。
【特許文献１】特開平８−２６３７５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、移動物体の検出は常に同一の条件で行われる訳ではない。特に昼と夜とでは条件が全く異なる。
しかしながら、従来の移動物体検知システムでは、昼と夜の条件の相違に対応して移動物体の検出を行うことは困難であった。
上記に鑑み、本発明は昼夜の条件の相違への対応を図れる移動物体検知装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記目的を達成するために、本発明に係る移動物体検出装置は、画像入力装置から画像を入力する画像入力部と、前記画像入力部で入力される画像を基準画像として保持する基準画像保持部と、前記画像入力部で入力される画像に基づいて、昼か夜かを判定する昼夜判定部と、前記昼夜判定部で昼と判定されたときに、前記基準画像保持部で保持される基準画像と前記画像入力部で検査対象として入力される検査画像との輝度の相違に基づき、前記検査画像中から移動物体を検出する第１の移動物体検出部と、前記昼夜判定部で夜と判定されたときに、前記基準画像と前記検査画像との二値化処理結果の相違に基づき、前記検査画像中から移動物体を検出する第２の移動物体検出部と、を具備することを特徴とする。
【０００５】
昼夜判定部で昼夜を判定しその判定結果に応じて第１、第２の移動物体検出部を切り替える。昼と判定されたときには、第１の移動物体検出部により基準画像と検査画像との輝度の相違に基づき検査画像中から移動物体を検出する。夜と判定されたときには、第２の移動物体検出部により基準画像と検査画像との二値化結果の相違に基づき検査画像中から移動物体を検出する。
昼夜の判定結果に応じて検出手法を切り替えることで、移動物体の検出を常に適切に行うことが可能となる。昼には移動物体が太陽光を反射することから、移動物体は背景よりも明るい輝点の集合として検知することができる。夜には移動物体と背景との明暗の相違が小さくなることから、二値化することで移動物体と背景との区分を明確化することができる。特に、移動物体が航空機の場合には、航空機の航空灯（翼端灯等）や衝突防止灯を背景と区分することで、その存在を明確化することができる。
【０００６】
（１）移動物体検出装置が、前記基準画像保持部で保持される基準画像を更新する基準画像更新部をさらに具備してもよい。
基準画像を更新することで検査画像中からの移動物体の検出をより適切に行える。
【０００７】
前記基準画像保持部が、前記基準画像保持部で保持される基準画像を前記第１、第２の移動物体検出部によって移動物体が検出されない画像に更新してもよい。
移動物体が検出されない画像を基準画像として用いることで、検査画像からの移動物体の検出を適切に行うことができる。
【０００８】
（２）前記第１の移動物体検出部が、前記基準画像と前記検査画像との輝度を比較する輝度比較部を有してもよい。
基準画像と検査画像の輝度を比較し、例えば、基準画像の対応領域と比較して輝度が大きい高輝度領域を移動物体とすることで、移動物体の検出を適切に行える。
【０００９】
（３）前記第２の移動物体検出部が、前記基準画像および前記検査画像の二値化を行う二値化処理部と、前記二値化処理部で二値化された基準画像と検査画像の形状を比較する形状比較部を有してもよい。
二値化によって飛行物体と背景との明暗の相違を明確化した後に、形状を比較することで、移動物体の検出を適切に行える。
【００１０】
（４）移動物体検出装置が、前記第１、第２の移動物体検出部のいずれかで検出された物体が一定方向に移動しているか否かを判定する移動方向判定部と、前記移動方向判定部での判定結果に基づき、前記移動物体を選別する移動物体選別部と、をさらに具備してもよい。
一定方向に移動しているか否かによって、検出された物体を選別することで、移動物体の検出精度を向上できる。
【００１１】
（５）移動物体検出装置が、前記第１、第２の移動物体検出部のいずれかで検出された移動物体の輪郭を検出する輪郭検出部と、前記輪郭検出部での検出結果に基づき、前記移動物体を選別する移動物体選別部と、をさらに具備してもよい。
輪郭によって検出された物体を選別することで、移動物体の検出精度を向上できる。例えば、連続して検出された物体の輪郭を比較して形状が変化していた場合に検出された移動物体が航空機ではないと判定する。
【００１２】
（６）移動物体検出装置が、前記第１、第２の移動物体検出部のいずれかで検出された移動物体の移動速度を推定する移動速度推定部と、前記移動速度推定部での推定結果に基づき、前記移動物体を選別する移動物体選別部と、をさらに具備してもよい。
移動速度によって検出された物体を選別することで、移動物体の検出精度を向上できる。
【００１３】
（７）前記昼夜判定部が、前記画像入力装置で入力される画像の輝度の平均値を求める平均輝度算出部と、前記画像入力装置で入力される画像の撮影時間を測定する撮影時間測定部と、前記平均輝度算出部で算出された平均輝度および前記撮影時刻測定部で測定された時刻とに基づき昼夜を判定する判定部と、を有してもよい。
【００１４】
輝度と時刻の双方を用いることで、昼夜の判定をより適切に行える。例えば、前記撮影時刻測定部で測定された時刻が２０時から３時までを夜とし、７時から１５時までを昼とし、これ以外の時間には平均輝度が所定値未満なら夜、前記所定値以上なら昼と判定とすることができる。
【００１５】
（８）前記昼夜判定部での判定結果に基づき、前記画像入力装置での撮影条件が制御されてもよい。
昼夜の判定結果に応じて撮影条件を制御することで、移動物体を背景とより明確に識別可能となる。例えば、シャッタスピードを変化させる。
【発明の効果】
【００１６】
以上説明したように、本発明によれば昼夜の条件の相違への対応を図れる移動物体検知装置およびプログラムを提供できる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
図１は、本発明の一実施形態に係る飛来航空機監視システム１０を表すブロック図である。
飛来航空機監視システム１０は、映像入力装置２０と画像処理装置３０から構成される。
【００１８】
映像入力装置２０は、映像を入力して電気信号に変換して出力する装置であり、撮像部２０１，映像出力部２０２，外部制御部２０３を有する。なお、この映像入力、変換、出力は定期的に行われるのが通例である。この撮影の間隔は例えば、数秒〜３０秒程度の間隔とすることができる。
【００１９】
撮像部２０１は、テレビカメラ、ディジタルカメラ等の画像を撮影する素子であり、監視領域内（例えば、大空）の画像を撮像する。このときに撮影する画像は静止画像、動画像のいずれでも差し支えない。
映像出力部２０２は、映像入力装置２０１で撮影された画像を電気信号として出力する。
外部制御部２０３は、映像入力装置２０の動作を制御するための制御情報を入力し、この制御情報に基づき映像入力装置２０を制御する。外部制御部２０３は、例えば、フォーカス、ズーム、シャッタスピード、絞り、焦点深度を制御する。
【００２０】
画像処理装置３０は、映像入力装置２０から出力される画像を処理することで飛来飛行機を検出するものであり、専用装置で、コンピュータ等の汎用装置のいずれから構成することも可能である。
画像処理装置３０をコンピュータから構成するときには、画像処理装置３０はハードウェア要素として、中央演算装置（ＣＰＵ：Central Processing Unit）、記憶装置（半導体メモリ等の主記憶装置、ハードディスク等の補助記憶装置）、クロック等を有し、記憶装置に記憶されたプログラムによって中央演算装置が動作する。即ち、この場合には図１のブロック図に示された画像処理装置３０の構成要素は中央演算装置とプログラムとの組み合わせによって実現される。
【００２１】
画像処理装置３０は、映像入力部３０１，平均輝度算出部３０２，昼夜判定部３０３，背景画像記憶部３０４，背景画像更新部３０５，外部出力部３０６，閾値設定部３１１，二値化処理部３１２、符号化処理部３１３，形状比較処理部３１４，輝度比較処理部３１５，対象選別処理部３１６を有する。
【００２２】
映像入力部３０１は、映像出力部２０２から出力される画像を入力する。
平均輝度算出部３０２は、画像処理装置３０１から入力された画像全体としての平均的な輝度を算出する。この算出はシャッタスピード等の撮像条件を勘案して行われる。その結果、算出される平均輝度は、見かけ上の輝度ではなく実質的な輝度（映像入力装置２０１に入射する光の強度）に対応する量となる。例えば、画像処理装置３０１で上空を撮像している場合には、空の平均的な明るさに対応する量である。
【００２３】
昼夜判定部３０３は、平均輝度算出部３０２で算出された平均輝度に基づき、画像の撮像が昼夜いずれで行われているかを判定する。昼夜での条件の相違に対応するためである。
例えば、平均輝度が所定の基準値未満のときに夜、この所定の基準値以上のときに昼と判定する。この基準値は、設定情報として画像処理装置３０のハードウェア要素である記憶装置に記憶させておけば良い。
【００２４】
この判定には平均輝度に加えて撮影した時刻の情報を用いることができる。時刻の情報を用いることで平均輝度を毎回計算する必要がなくなる。なお、この時刻の情報は、外部から入力しても良いが、画像処理装置３０のハードウェア要素であるクロックを用いて求めることができる。
例えば、２０時から３時までは夜、７時から１５時までは昼とし、その他の時刻の場合に平均輝度に基づいて昼夜を判定する。このようにすることで、２０時から３時、および７時から１５時のときには平均輝度の計算が不要になる。
【００２５】
平均輝度に基づく昼夜の計算にはいくつかの方法が考えられる。例えば、３原色からなるＲＧＢの原色信号（例えば、２４ｂｉｔ）から、次の式（１）に基づいて輝度Ｙを算出し、輝度Ｙが５０以上なら昼、５０未満なら夜と判定することができる。
Ｙ（輝度）＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ  ……式（１）
【００２６】
昼は撮影される背景（例えば、大空）が明るいが、飛行機は太陽からの反射光で背景よりさらに明るく見える。この結果、飛行機は背景との輝度の相違に基づいて画像中から検出できる。
夜は背景（大空等）が暗く、飛行機はランプ（翼端灯等の航行灯、衝突防止灯）で背景と区別される。しかし、このランプは太陽からの反射光に比べて暗いため、絶対的な輝度では飛行機と背景との区別がし難い。このため、画像を二値化することで飛行機と背景との相違を明確化することが好ましい。
以上のように、昼夜判定部３０３での判定結果に応じて、飛行機の検出手法を切り換えることでその検出を適切に行える。なお、この詳細は後述する。
【００２７】
背景画像記憶部３０４は、飛行機が存在するか否かが検査される検査画像との比較に用いられる背景画像（基準画像）を記憶する記憶部である。
飛行機は、背景の構成要素（雲、太陽、月、星等）に比べて画面上での移動が速やかに行われることから、基準画像として飛行機の存在しない背景の画像を用いることで、飛行機の有無の検出が容易に行えるようになる。即ち、検査画像中に背景画像に対して変化している（移動している）部分があれば、それが飛行機である可能性が大きい。
【００２８】
背景画像更新部３０５は、背景画像記憶部３０４に記憶されている背景画像を更新する。この更新は一定期間毎に行われるのが通例である。雲、太陽、月、星等が移動することから、時間の推移に応じて背景が変化する。このため、比較対象として最新の背景を用いることで、検査対象の画像（検査画像）からの飛行機の検出をより正確に行えるようになる。
外部出力部３０６は、検査画像からの飛行機の検出結果等の情報を外部に出力する。
【００２９】
閾値設定部３１１は、背景画像、検査画像を二値化処理部３１２で二値化処理するための閾値を設定する。
この閾値は、飛行機が背景の構成要素からより明確に区分されるように適宜に設定される。即ち、航空機のランプが白となり、背景の構成要素の多くが黒となるように閾値を設定する。
この設定は、例えば、画像処理装置３０３で算出された平均輝度に基づいて自動的に設定することができる。平均輝度と閾値との対応関係を表す対応テーブルを記憶させておき、このテーブルを参照することで平均輝度から閾値を求めることができる。
【００３０】
二値化処理部３１２は、閾値設定部３１１で求められた閾値に基づいて、画像処理装置３０１で入力された画像（背景画像、検査画像）を二値化処理する。二値化処理された画像は、その画像中の明暗が黒と白のいずれかとなる。
【００３１】
符号化処理部３１３は、画像処理装置３０１で入力された画像を符号化処理する。この符号化処理には、例えば、ＭＰＥＧ（Moving Picture Experts Group）を用いることができる。ＭＰＥＧでは入力される画像をフレーム内符号化、フレーム間符号化で圧縮処理し、情報量を縮小することができる。
フレーム内符号化は、１つの画面内でのＤＣＴ（離散コサイン変換）等によって情報の圧縮を図る。フレーム間符号化は、複数の画像間で、変化した部分を抽出することで、変化しない部分の情報を重複的な保持を不要として情報の圧縮を図る。画像処理装置３０１からの画像の入力が継続的に行われることから、ＭＰＥＧによる符号化を適用して情報量の圧縮を図ることができる。
この符号化は、情報の圧縮に加えて、画像中の動きの検出にも用いることができる。フレーム間符号化は、画像中の変化部分を抽出する処理に相当することから、この処理結果を利用することで画像中の動き、例えば、飛行機の検出をより適切に行える。
【００３２】
形状比較処理部３１４は、夜の場合に飛行機の検出を行うものであり、二値化処理部３１２で二値化された背景画像と検査画像内での形状を比較し、検査画像中に背景画像と対応しない領域（形状）を発見したときには、その領域を飛行機と判定する。なお、前述のように符号化の結果を利用して飛行機を検出することも可能である。
【００３３】
輝度比較処理部３１５は、昼の場合に飛行機の検出を行うものであり、背景画像と検査画像との輝度を比較し、検査画像中に背景画像の対応領域よりも輝度の大きい領域が存在するときには、その領域を飛行機等の移動物体と判定する。
ここで、輝度が大きいか否かは、背景画像と検査画像の対応領域間での輝度の差が所定値以上であることで判定することができる。輝度のバラツキ（誤差）に対応するためである。
【００３４】
この輝度の比較は、画像の画素毎、複数の画素を含むブロック毎のいずれでも行える。
このフロックは、予め画面に対応して設定しておくことができる。例えば、画面を縦横それぞれに１００等分しておき、この部分毎で輝度を比較することができる。このとき、輝度としてブロックの代表点での輝度、ブロック中での平均輝度のいずれを用いることもできる。
また、ブロックは画像中での背景等の配置に応じて動的に設定することも可能である。
【００３５】
対象選別処理部３１６は、形状比較処理部３１４，輝度比較処理部３１５で飛行機として検出された物体を選別する。飛行機と誤って認識された対象物を排除して、飛行機の検出精度をより高めるためである。
この選別は、連続して画像処理装置３０１から入力された検査画像上に形状比較処理部３１４，輝度比較処理部３１５によって飛行機とされる物体が検出されたときに行われ、判断基準として対応形状、移動速度、移動方向等を用いることができる。
【００３６】
・連続する検査画像（フレーム）で検出された物体が一定方向に移動しているときに、これらの物体は同一物体と判定し、物体が一定方向に移動していないときに、これらの物体は別物体と判定することができる。
この判定は、連続する３つのフレーム中で検出された物体の位置と時間差を用いて行える。例えば、１番目、２番目のフレーム中で検出された物体の位置と時間差から３番目のフレームでのその物体の位置を推定し、この推定結果と３番目のフレームでの物体の位置とが対応するか否かを判断する。
【００３７】
・連続する検査画像（フレーム）で検出された物体が近似した（理想的には同一の）形状を有しているときには、これらは飛行機で有る可能性が高いと判定できる。例えば、雲では移動中に形状が変化する。
この判定は、エッジ処理等により検出された物体に相当する画像領域の輪郭を抽出し、抽出された輪郭同士の形状が対応するか否かによって行える。この対応関係を数値化して評価し、評価結果が基準値未満のときに物体が変化すると判定し、評価結果が基準値以上のときに形状が一致すると判定する。
【００３８】
・連続する検査画像（フレーム）で検出された物体の移動速度が所定の基準未満のときにその物体が飛行機でないと判定し、その物体の移動速度が所定の基準以上のときにその物体が飛行機であると判定することができる。
背景の構成要素、例えば、雲が移動して、検査画像中で飛行機として誤って認識される可能性がある。背景の構成要素は飛行機に比べて移動速度が小さいのが通例であるので、移動速度を用いて飛行機を背景の構成要素から分離できる。なお、この速度は実際の移動速度ではなく、画面上での見かけの移動速度で足りる。
【００３９】
以上の形状、移動方向、移動速度による物体の選別は、単独でも、適宜に組み合わせることでも利用可能である。例えば、形状が同一で、一定方向に移動し、かつ移動速度が所定値以上とされた物体を飛行機と判定することができる。
これらの選別条件を適宜に組み合わせることで、検出精度の向上が図られる。
【００４０】
（飛来航空機監視システム１０の動作）
図２は、飛来航空機監視システム１０の動作手順の一例を示す流れ図である。また、図３〜６は図２での動作手順中で用いられる画像を表す図である。
（１）昼夜判定部３０３によって昼夜の判定が行われ、その結果に基づいて、背景画像記憶部３０４への背景画像の設定（記憶）が行われる（ステップＳ１０１、Ｓ１０２、および図３参照）。
設定される背景画像は、映像入力装置２０によって撮像され、映像出力部２０２から出力された監視領域の画像を用いることができる。検査画像中から飛行機を検出するための基準画像として利用するためである。
昼夜の判定を行うのは、検査画像と対応する条件で背景画像の撮像および画像処理を行うためである。例えば、夜の場合には背景画像が二値化されていることが好ましい。昼夜判定部３０３によって昼夜の判定、およびこのときの背景画像の処理は、後述する検査画像の場合と同一に行えば足りるため、ここではその詳細を省略する。
後述するように背景画像は適宜に更新されるが、ステップＳ１０２ではその初期値としての背景画像が設定される。
【００４１】
この背景画像は、できるだけ新しく、飛行機が撮像されていない（背景のみ）の画像であることが好ましい。これは検査画像との相違が飛行機の有無のみであることが好ましいからである。図３に示す背景画像では、空に雲のみが存在する。
この背景画像は、飛来航空機監視システム１０の利用者が適宜に選択することができる。また、映像入力装置２０から連続的に出力される画像から任意の画像を選択することも可能である。仮に、画像中に飛行機が含まれていたとしても、後の更新により本来の背景画像に置き換わることが期待できるからである。
【００４２】
（２）昼夜判定部３０３によって昼夜の判定が行われる（ステップＳ１０３）。即ち、入力された映像と撮影時間から昼か夜かの判定を行う。なお、この詳細は後述する。
（３）昼夜判定部３０３によって昼と判定された場合には、外部制御部２０３によって映像入力装置２０を昼対応に設定する（ステップＳ１０４、Ｓ１１１）。例えば、映像入力装置２０のシャッタスピードを「自動」に設定し、監視領域の明るさに対応したシャッタスピードに設定する。
【００４３】
（４）映像入力装置２０から画像処理装置３０に検査画像が入力される（ステップＳ１１２、図４参照）。
この入力は一定時間毎に行われる。この時間間隔は、画面上での飛行機の移動速度や検査処理の負担等を考慮して適宜に設定可能である。例えば、数秒〜数十秒と時間間隔を設定できる。
なお、入力された画像は必要に応じて符号化処理部３１３で符号化処理され、情報量が圧縮され、画像の保存が容易に行われるようにする。
【００４４】
図４に示される検査画像には空および雲を背景として飛来した飛行機が存在する。図４の検査画像は図３の背景画像中に飛行機Ｐ１を配置したものに対応する。雲は飛行機に比べて移動が遅いため、背景画像の更新間隔を適切な範囲に設定すればその動きの影響を小さい範囲とすることができる。
【００４５】
（５）輝度比較処理部３１５によって、背景画像記憶部３０４に記憶されている背景画像と画像処理装置３０１で入力された検査画像の輝度を比較する（ステップＳ１１３）。
この比較は背景画像と検査画像の画素単位、あるいは複数の画素で構成されるブロック単位で行える。ブロックの場合には、背景画像と検査画像での対応ブロック間で、その代表点での輝度あるいはブロックの平均輝度を比較する。そして、これらの輝度が所定の値より大きいときに背景画像と検査画像間で輝度が相違すると判定する（ステップＳ１１４）。
【００４６】
この判定は、飛行機である可能性のある物体が検出されたとの一応の判断を意味する。
図３、４それぞれが、背景画像、検査画像の場合には、飛行機Ｐ１が太陽からの反射で光り、検査画像中での飛行機Ｐ１の像の領域が背景画像中の対応領域よりも明るいことから、２つの画像間で輝度が相違すると判定される。
【００４７】
（６）輝度が相違すると判定された場合には、必要に応じて検出対象の選別が行われる（ステップＳ１２１）。
検出された物体が飛行機ではない可能性があることから、検出結果を絞り込んで検出精度を向上するためである。
この選別は移動物体の検出が連続して行われる場合に行うことができる。
【００４８】
１）条件１：連続する検査画像で検出された物体が一定方向に移動している
２）条件２：連続する検査画像で検出された物体の形状が近似する
３）条件３：連続する検査画像で検出された物体の移動速度が所定の基準以上
条件１は物体の異同を判別する条件であり、条件２，３は物体から飛行機以外のものを除外するための条件である。
例えば、一定方向に移動する場合には連続する検査画面で検出された物体が同一と判定され、このうち形状が変化したり、移動速度が遅かったりする物体は飛行機ではない（例えば、雲）と判定される。
【００４９】
図５は、図４の直後に検査対象となった検査画面の一例である。この検査画面も図３に示す背景画面との対比によって飛行機Ｐ２が検出される。図４の飛行機Ｐ１と図５の飛行機Ｐ２は形状が同一であり、かつその速度が所定値以上であることから飛行機と判定される。
移動速度が所定値未満のときには、図４の検査画像で飛行機と一旦判定された判定結果が図５の検査画像での判定結果を加味することで取り消されることになる。
【００５０】
（７）飛行機が検出されたとの判定結果が画像処理装置３０６より出力される（ステップＳ１２３）。
この判定結果に対応して警報の発令等必要に応じた種々の処理が行われる。
この出力後にステップＳ１０３に戻って処理が繰り返される。
【００５１】
（８）ステップＳ１１４，Ｓ１２２での判定がＮｏの場合、即ち検査画像中に飛行機が検出されなかった場合には、この検査画像が新たな背景画像として背景画像記憶部３０４に記憶される（ステップＳ１２４）。現在の検査画像と時間的にできるだけ近い画像を背景画像とすることが好ましいからである。
例えば、図６に示される飛行機が去った後の画像が新たな背景画像として、以前の背景画像と置き換えて用いられる。
背景画像の更新後は、ステップＳ１０３に戻って処理が繰り返される。
【００５２】
（９）ステップＳ１０４で夜と判定されたときには、この判定に対応した処理が行われる。
まず、閾値設定部３１１によって画像を二値化するときの閾値が設定される（ステップＳ１３１）。この設定は、例えば、平均輝度と閾値との対応関係を表す対応テーブルと平均輝度算出部３０２で算出された平均輝度とに基づいて自動的に設定することができる。
（１０）外部制御部２０３によって映像入力装置２０を夜対応に設定する（ステップＳ１３２）。例えば、映像入力装置２０のシャッタスピードを遅くして、航空機の安全ランプの残像を残るようにし、夜の航空機の検出しやすいようにする。
【００５３】
（１１）映像入力装置２０から画像処理装置３０に検査画像が入力される（ステップＳ１３３）。
この入力は一定時間毎に行われる。この時間間隔は、画面上での飛行機の移動速度や検査処理の負担等を考慮して適宜に設定可能である。例えば、数秒〜数十秒と時間間隔を設定できる。
【００５４】
（１２）入力された検査画像が二値化される（ステップＳ１３４）。
この結果、飛行機のランプが白、背景の多くが黒となるように検査画像が二値化される。なお、二値化された画像は必要に応じて符号化処理部３１３で符号化処理され、情報量が圧縮され、画像の保存が容易に行われるようにする。
形状比較処理部３１４によって検査画像と背景画像の形状を比較する（ステップＳ１３５）。このとき、背景画像は検査画像と同様の条件で撮影、および二値化されているものとする。
この比較は、例えば、検査画像、背景画像内の輪郭を抽出し、形状が対応するか否かに基づき行える。そして、検査画像内に背景画像と対応しない形状が検出されたときに背景画像と検査画像間で形状が相違すると判定する（ステップＳ１３６）。なお、前述のように符号化処理を用いて形状の相違（動き）を検出することも可能である。
この判定は、飛行機である可能性のある物体が検出されたとの一応の判断を意味する。
この後は、ステップＳ１３６での判定結果に応じて、ステップＳ１２１での検出対象の選別、またはステップＳ１２４での背景画像の更新が行われる。
【００５５】
図７は、図２のステップＳ１０２での昼夜判定の詳細を示す流れ図である。
撮影を行っている時間が２０時から〜３時だった場合、夜と判定し、撮影を行っている時間が７時〜１５時だった場合、昼と判定する（ステップＳ２１，Ｓ２２、Ｓ２６，Ｓ２７）。
これ以外の時間の場合は、入力された画像の平均輝度を計算し（ステップＳ２３，Ｓ２４）、平均輝度が一定以上ならば昼、一定未満なら夜と判定する（ステップＳ２５〜Ｓ２７）。
【００５６】
以上、説明したように本実施形態によれば、撮影時間と入力された画像の輝度値から昼と夜の判定を行い、昼と夜で、映像入力装置の設定および航空機の検出の手法を変更することで、１日中適切な監視を行える。
昼には背景画像と検査画像の輝度の比較、夜には二値化された背景画像と検査画像の対応確認により、昼夜の条件に適合した飛行物体の検出を行える。
【００５７】
また、検出された物体の輪郭の変化、移動方向、移動速度によって、物体の異同の確認、飛行機か否かの確認を行える。
例えば、検出された物体が一定方向に進んでいれば同一の移動物体と判定できる。また、移動速度が所定値未満（遅いか、移動していない）の物体は、航空機ではないとして、航空機を検出の精度を上げることができる。また、連続する画像において輪郭の比較を行い形状に変化があった対象物体を航空機ではないとする。
【００５８】
（その他の実施形態）
本発明の実施形態は上記の実施形態に限られず拡張、変更可能であり、拡張、変更した実施形態も本発明の技術的範囲に含まれる。
例えば、昼の晴れた空と曇りの空とで移動物体検出の設定を変えて、より精度よく移動物体を検出することが考えられる。具体的には、昼でも雲が多く夜に近い状態の場合に、前述の平均輝度により昼であっても夜と同様な状態と見なせると判定し、夜と同様の二値化処理によって飛行機を検出する。通常、飛行機は航空灯を常時点灯させて飛行しているため、雲が多くどんよりした天気のもとでは、夜と同様にこの点灯により飛行機を検出できると考えられるからである。
【図面の簡単な説明】
【００５９】
【図１】本発明の一実施形態に係る飛来航空機監視システムを表すブロック図である。
【図２】飛来航空機監視システム１０の動作手順の一例を示す流れ図である。
【図３】図２での動作手順中で用いられる画像を表す図である。
【図４】図２での動作手順中で用いられる画像を表す図である。
【図５】図２での動作手順中で用いられる画像を表す図である。
【図６】図２での動作手順中で用いられる画像を表す図である。
【図７】図２での昼夜判定の詳細を流れ図である。
【符号の説明】
【００６０】
１０…飛来航空機監視システム、２０…映像入力装置、３０…画像処理装置、２０１…撮像部、２０２…映像出力部、２０３…外部制御部、３０１…映像入力部、３０２…平均輝度算出部、３０３…昼夜判定部、３０４…背景画像記憶部、３０５…背景画像更新部、３０６…外部出力部、３１１…閾値設定部、３１２…二値化処理部、３１３…符号化処理部、３１４…形状比較処理部、３１５…輝度比較処理部、３１６…対象選別処理部
【図１】
2005286503.tif 000003
【図２】
2005286503.tif 000004
【図３】
2005286503.tif 000005
【図４】
2005286503.tif 000006
【図５】
2005286503.tif 000007
【図６】
2005286503.tif 000008
【図７】
2005286503.tif 000009