(57)【要約】【課題】色情報を残しながら、管制のために表示する画像の視認性を向上させる。【解決手段】管制支援装置１００は、画像処理部１１０と、表示制御部１２０とを備える。画像処理部１１０は、管制対象の移動体が行き交う場所を撮影した撮影画像２１１をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像２６１を生成する。表示制御部１２０は、画像処理部１１０により生成された表示画像２６１をディスプレイ２６０に表示する制御を行う。【選択図】図１
2019022178.tif 000002
【特許請求の範囲】
【請求項１】
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理部と、
前記画像処理部により生成された表示画像をディスプレイに表示する制御を行う表示制御部と
を備える管制支援装置。
【請求項２】
前記画像処理部は、前記撮影画像として、空港および空港周辺の航空機が行き交う領域を撮影した画像を取得する請求項１に記載の管制支援装置。
【請求項３】
前記画像処理部は、前記表示画像として、空域を地上面よりも少ない色で表示する画像を生成する請求項１または２に記載の管制支援装置。
【請求項４】
前記画像処理部は、前記撮影画像から前記撮影範囲の一部の領域の画像である第１画像を抽出し、前記第１画像を前記他の領域の画像である第２画像よりも色の少ない第３画像に加工し、前記第２画像と前記第３画像とを合成することで前記表示画像を生成する請求項１から３のいずれか１項に記載の管制支援装置。
【請求項５】
前記画像処理部は、前記表示画像として、前記撮影範囲の一部の領域をモノクロームで表示し、前記他の領域をカラーで表示する画像を生成する請求項１から４のいずれか１項に記載の管制支援装置。
【請求項６】
前記画像処理部は、前記撮影範囲の一部の領域と前記他の領域とのいずれかを設定するユーザの入力を受け付ける請求項１から５のいずれか１項に記載の管制支援装置。
【請求項７】
前記画像処理部は、前記表示画像内で前記移動体の周囲に前記移動体の種類および属性の少なくともいずれかに応じて異なる色の枠を付加する請求項１から６のいずれか１項に記載の管制支援装置。
【請求項８】
前記画像処理部は、前記表示画像に前記移動体として航空機が写っている場合、前記表示画像内で当該航空機の周囲に当該航空機の運航者に応じて異なる色の枠を付加する請求項１から６のいずれか１項に記載の管制支援装置。
【請求項９】
前記画像処理部は、前記表示画像内で前記移動体に前記移動体の種類に応じて異なる図形を重畳する請求項１から６のいずれか１項に記載の管制支援装置。
【請求項１０】
前記画像処理部は、前記表示画像に前記移動体として航空機が写っている場合、前記表示画像内で当該航空機に当該航空機の運航者および属性の少なくともいずれかに応じて異なる色の図形を重畳する請求項１から６のいずれか１項に記載の管制支援装置。
【請求項１１】
前記画像処理部は、前記移動体の識別子と、前記移動体の位置を示す位置情報とを取得し、前記表示画像内で前記移動体が写っている位置と、取得した位置情報に示されている位置とが一致していれば、前記表示画像内で前記移動体の隣に、取得した識別子を表す文字を付加する請求項１から１０のいずれか１項に記載の管制支援装置。
【請求項１２】
前記画像処理部は、前記表示画像内で前記移動体が辿る経路を表す点および線のいずれかを付加する請求項１から１１のいずれか１項に記載の管制支援装置。
【請求項１３】
前記画像処理部は、前記表示画像内で前記移動体の管制に用いられる情報を表す記号および文字の少なくともいずれかを付加する請求項１から１２のいずれか１項に記載の管制支援装置。
【請求項１４】
コンピュータが、管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成し、
ディスプレイが、生成された表示画像を表示する管制支援方法。
【請求項１５】
コンピュータに、
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理と、
前記画像処理により生成された表示画像をディスプレイに表示する制御を行う制御処理と
を実行させる管制支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、管制支援装置、管制支援方法および管制支援プログラムに関するものである。
【背景技術】
【０００２】
特許文献１には、空港面の数箇所に設置したビデオカメラの画像データと画像処理による文字認識とを用いて、空港面を移動するすべての航空機および車両の識別符号、移動方向および位置を認識し、空港面探知レーダとの相関をとって表示する技術が記載されている。
【０００３】
非特許文献１には、管制塔からの目視確認に代えて、遠隔塔での映像確認により空港の管制業務を行うための技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１６０４２４号公報
【非特許文献】
【０００５】
【非特許文献１】“ＳＥＳＡＲ  ＲＥＭＯＴＥ  ＴＯＷＥＲ  ＳＥＲＶＩＣＥＳ”、［ｏｎｌｉｎｅ］、２０１４年、ＳＥＳＡＲ  Ｊｏｉｎｔ  Ｕｎｄｅｒｔａｋｉｎｇ、［平成２９年７月３日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｗｗｗ．ｓｅｓａｒｊｕ．ｅｕ／ｓｉｔｅｓ／ｄｅｆａｕｌｔ／ｆｉｌｅｓ／ｄｏｃｕｍｅｎｔｓ／ｅｖｅｎｔｓ／ａｔｃｇｌｏｂａｌ２０１４／ＡＴＣ−２０１４−ＲＴＳ．ｐｄｆ＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
光学カメラで撮影したカラー映像は、人の目で見る場合に比べて色味および明るさが異なり見づらい印象を与えることがある。ここで映像から視認対象を見つけ、監視する場合、カラー映像に比べて白黒映像の方が必要以上の情報が無いため対象物の視認性が高いと感じられることがある。また赤外線カメラで撮影した映像は白黒映像だが、熱源が白く映るため、特に夜間に利用すると視認対象が熱を持つ場合、視認対象の視認性が高いと考えられる。しかし、白黒映像では色情報が無くなるため、色で見分けていたことができなくなるという課題がある。
【０００７】
本発明は、色情報を残しながら、管制のために表示する画像の視認性を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る管制支援装置は、
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理部と、
前記画像処理部により生成された表示画像をディスプレイに表示する制御を行う表示制御部とを備える。
【発明の効果】
【０００９】
本発明では、撮影範囲の一部の領域を他の領域よりも少ない色で表示することで、色情報を残しながら、管制のために表示する画像の視認性を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る管制支援システムの構成を示すブロック図。
【図２】実施の形態１に係る管制支援装置の動作を示すフローチャート。
【図３】実施の形態１に係る管制支援装置により生成される表示画像の例を示す図。
【図４】実施の形態１に係る管制支援装置により生成される表示画像の例を示す図。
【図５】実施の形態２に係る管制支援装置により生成される表示画像の例を示す図。
【図６】実施の形態３に係る管制支援システムの構成を示すブロック図。
【図７】実施の形態３に係る管制支援装置により生成される表示画像の例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、図を用いて説明する。各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。なお、本発明は、以下に説明する実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。例えば、以下に説明する実施の形態のうち、２つ以上の実施の形態が組み合わせられて実施されても構わない。あるいは、以下に説明する実施の形態のうち、１つの実施の形態または２つ以上の実施の形態の組み合わせが部分的に実施されても構わない。
【００１２】
実施の形態１．
本実施の形態について、図１から図４を用いて説明する。
【００１３】
＊＊＊構成の説明＊＊＊
図１を参照して、本実施の形態に係る管制支援システム２００の構成を説明する。
【００１４】
管制支援システム２００は、少なくとも１つの管制支援装置１００と、複数のカメラ２１０と、１つ以上のＰＴＺカメラ２２０と、１つ以上の第１センサ２３０と、１つ以上の第２センサ２４０と、１つ以上の入力機器２５０と、複数のディスプレイ２６０とを備える。「ＰＴＺ」は、ｐａｎ−ｔｉｌｔ−ｚｏｏｍの略語である。
【００１５】
管制支援装置１００は、コンピュータである。管制支援装置１００は、プロセッサ１０１を備えるとともに、メモリ１０２および通信装置１０３といった他のハードウェアを備える。プロセッサ１０１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【００１６】
カメラ２１０は、管制対象の移動体が行き交う場所を撮影して撮影画像２１１を生成する機器である。カメラ２１０の配置および向きは、当該場所の全体を複数のカメラ２１０によって撮影できるように決定される。このとき、２つ以上のカメラ２１０の撮影範囲が重複していてもよい。カメラ２１０は、例えば、撮影画像２１１としてカラー映像を撮影する光学カメラである。なお、複数のカメラ２１０のうち一部のカメラ２１０は、撮影画像２１１としてモノクローム映像を撮影する赤外線カメラ等であってもよい。複数のカメラ２１０のうち全部または一部のカメラ２１０は、ＰＴＺカメラであってもよいし、パノラマカメラであってもよい。
【００１７】
ＰＴＺカメラ２２０は、撮影画像２１１と同じ場所の特定の領域を撮影して撮影画像２２１を生成する機器である。「特定の領域」は、ユーザによって設定される。すなわち、ＰＴＺカメラ２２０の撮影対象の領域は、ＰＴＺカメラ２２０がユーザによって遠隔操作され、撮影方向および撮影倍率が調節されることで設定される。
【００１８】
「管制対象の移動体が行き交う場所」は、本実施の形態では空港および空港周辺の管制対象となる範囲を含む領域、すなわち、空港および空港周辺の航空機が行き交う領域である。「管制対象の移動体」としては、空港および空港周辺の空域を飛行する航空機、空港の地上面を走行する航空機、および、空港の地上面を走行する車両がある。「ユーザ」は、管制官である。なお、本実施の形態は、航空交通の管制に限らず、海上交通の管制等、他の交通の管制に適用することが可能である。本実施の形態を海上交通の管制に適用する場合、「管制対象の移動体が行き交う場所」としては、港、または、海上の係留施設、「管制対象の移動体」としては、船舶が考えられる。本実施の形態を他の交通の管制に適用する場合、「管制対象の移動体」としては、車両、飛翔体、列車、ロボットまたは人間等が考えられる。
【００１９】
第１センサ２３０は、管制対象の領域を観測し、観測結果としてセンサ情報２３１を生成する機器である。センサ情報２３１には、第１センサ２３０により観測された領域内に存在する移動体の識別子と、第１センサ２３０により検出された当該移動体の位置を示す位置情報と、第１センサ２３０により当該移動体から受信されたその他の情報とが含まれる。識別子は、例えば、航空機の便名、または、車両の車両番号である。位置情報は、例えば、航空機の緯度、経度および高度、または、車両の緯度および経度を示す情報である。その他の情報は、例えば、航空機からの機上情報、または、車両からの受信情報である。なお、センサ情報２３１は、第１センサ２３０で検出された移動体の位置を２次元かつ水平のマップ上に表示した画像であってもよい。第１センサ２３０は、例えば、ＡＳＲ、ＡＲＳＲ、ＯＲＳＲ、ＡＳＤＥまたはＳＳＲといったレーダである。あるいは、第１センサ２３０は、例えば、ＭＬＡＴ、ＷＡＭまたはＡＤＳ−Ｂ等のセンサである。「ＡＳＲ」は、Ａｉｒｐｏｒｔ  Ｓｕｒｖｅｉｌｌａｎｃｅ  Ｒａｄａｒの略語である。「ＡＲＳＲ」は、Ａｉｒ  Ｒｏｕｔｅ  Ｓｕｒｖｅｉｌｌａｎｃｅ  Ｒａｄａｒの略語である。「ＯＲＳＲ」は、Ｏｃｅａｎｉｃ  Ｒｏｕｔｅ  Ｓｕｒｖｅｉｌｌａｎｃｅ  Ｒａｄａｒの略語である。「ＡＳＤＥ」は、Ａｉｒｐｏｒｔ  Ｓｕｒｆａｃｅ  Ｄｅｔｅｃｔｉｏｎ  Ｅｑｕｉｐｍｅｎｔの略語である。「ＳＳＲ」は、Ｓｅｃｏｎｄａｒｙ  Ｓｕｒｖｅｉｌｌａｎｃｅ  Ｒａｄａｒの略語である。「ＭＬＡＴ」は、Ｍｕｌｔｉｌａｔｅｒａｔｉｏｎの略語である。「ＷＡＭ」は、Ｗｉｄｅ  Ａｒｅａ  ＭＬＡＴの略語である。「ＡＤＳ−Ｂ」は、Ａｕｔｏｍａｔｉｃ  Ｄｅｐｅｎｄｅｎｔ  Ｓｕｒｖｅｉｌｌａｎｃｅ−Ｂｒｏａｄｃａｓｔの略語である。
【００２０】
第２センサ２４０は、管制対象の領域を観測し、観測結果としてセンサ情報２４１を生成する機器である。センサ情報２４１には、センサ情報２３１と同様に、第２センサ２４０により観測された管制対象の領域内に存在する移動体の識別子と、第２センサ２４０により検出された当該移動体の位置を示す位置情報と、第２センサ２４０により当該移動体から受信されたその他の情報とが含まれる。なお、センサ情報２４１は、第１センサ２３０で検出された移動体の位置を２次元かつ水平のマップ上に表示した画像であってもよい。第２センサ２４０は、例えば、第１センサ２３０と同種のレーダ、または、第１センサ２３０とは異種のレーダである。あるいは、第２センサ２４０は、例えば、第１センサ２３０と同種のセンサ、または、第１センサ２３０とは異種のセンサである。
【００２１】
入力機器２５０は、管制支援装置１００への設定情報２５１の入力のためにユーザにより操作される機器である。入力機器２５０は、例えば、マウス、キーボード、ジョイスティックまたはタッチパネルである。
【００２２】
ディスプレイ２６０は、管制支援装置１００から出力される表示画像２６１を画面に表示する機器である。ディスプレイ２６０は、例えば、ＬＣＤである。「ＬＣＤ」は、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙの略語である。
【００２３】
管制支援装置１００は、機能要素として、画像処理部１１０と、表示制御部１２０とを備える。画像処理部１１０は、伝送処理部１３１と、画像変換部１３２と、パノラマ生成部１３３と、ターゲット検出部１３４と、ターゲット追尾部１３５と、設定処理部１３６と、位置・画素変換部１３７，１３８と、画素追尾部１３９，１４０と、相関処理部１４１と、画像生成部１４２とを備える。画像処理部１１０および表示制御部１２０の機能は、ソフトウェアにより実現される。
【００２４】
プロセッサ１０１は、管制支援プログラムを実行する装置である。管制支援プログラムは、画像処理部１１０および表示制御部１２０の機能を実現するプログラムである。プロセッサ１０１は、例えば、ＣＰＵ、または、ＣＰＵとＧＰＵとの組み合わせである。「ＣＰＵ」は、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略語である。「ＧＰＵ」は、Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略語である。
【００２５】
メモリ１０２は、管制支援プログラムを記憶する装置である。メモリ１０２は、例えば、フラッシュメモリまたはＲＡＭである。「ＲＡＭ」は、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略語である。
【００２６】
通信装置１０３は、管制支援プログラムに入力されるデータを受信するレシーバと、管制支援プログラムから出力されるデータを送信するトランスミッタとを含む。通信装置１０３は、例えば、通信チップまたはＮＩＣである。「ＮＩＣ」は、Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄの略語である。
【００２７】
管制支援プログラムは、プロセッサ１０１に読み込まれ、プロセッサ１０１によって実行される。メモリ１０２には、管制支援プログラムだけでなく、ＯＳも記憶されている。「ＯＳ」は、Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍの略語である。プロセッサ１０１は、ＯＳを実行しながら、管制支援プログラムを実行する。
【００２８】
管制支援プログラムおよびＯＳは、補助記憶装置に記憶されていてもよい。補助記憶装置は、例えば、フラッシュメモリまたはＨＤＤである。「ＨＤＤ」は、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略語である。補助記憶装置に記憶されている管制支援プログラムおよびＯＳは、メモリ１０２にロードされ、プロセッサ１０１によって実行される。
【００２９】
なお、管制支援プログラムの一部または全部がＯＳに組み込まれていてもよい。
【００３０】
管制支援装置１００は、プロセッサ１０１を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、管制支援プログラムの実行を分担する。それぞれのプロセッサは、例えば、ＣＰＵ、または、ＣＰＵとＧＰＵとの組み合わせである。
【００３１】
管制支援プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ１０２、補助記憶装置、または、プロセッサ１０１内のレジスタまたはキャッシュメモリに記憶される。
【００３２】
管制支援プログラムは、それぞれ画像処理部１１０および表示制御部１２０の処理である「画像処理」および「制御処理」をコンピュータに実行させるプログラムである。あるいは、管制支援プログラムは、画像処理部１１０および表示制御部１２０の「部」を「手順」に読み替えた各手順をコンピュータに実行させるプログラムである。管制支援プログラムは、コンピュータ読取可能な媒体に記録されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。
【００３３】
管制支援装置１００は、１台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。管制支援装置１００が複数台のコンピュータで構成されている場合は、画像処理部１１０および表示制御部１２０の機能が、各コンピュータに分散されて実現されてもよい。
【００３４】
＊＊＊動作の説明＊＊＊
図１のほかに図２から図４を参照して、本実施の形態に係る管制支援装置１００の動作を説明する。管制支援装置１００の動作は、本実施の形態に係る管制支援方法に相当する。
【００３５】
ステップＳ１１において、画像処理部１１０の伝送処理部１３１は、複数のカメラ２１０から、それぞれのカメラ２１０により生成された撮影画像２１１を、通信装置１０３を用いて受信する。撮影画像２１１は、管制対象の移動体が行き交う場所を撮影した画像である。
【００３６】
本実施の形態では、伝送処理部１３１は、撮影画像２１１として、空港および空港周辺の航空機が行き交う領域を撮影した画像を取得する。具体的には、伝送処理部１３１は、撮影画像２１１として、空港および空港周辺の空域と空港の地上面とを撮影したカラー映像を取得する。
【００３７】
ステップＳ１２において、画像処理部１１０の画像変換部１３２は、伝送処理部１３１により受信された撮影画像２１１を、より色の少ない画像に加工する。
【００３８】
本実施の形態では、画像変換部１３２は、撮影画像２１１として、空港および空港周辺の航空機が行き交う領域を撮影した画像を、より色の少ない画像に加工する。具体的には、画像変換部１３２は、撮影画像２１１として、空港および空港周辺の空域と空港の地上面とを撮影したカラー映像をモノクローム映像に変換する。より具体的には、画像変換部１３２は、撮影画像２１１として、空港および空港周辺の空域と空港の地上面とを撮影したカラー映像を白黒映像に変換する。「モノクローム映像」とは、単色の映像、すなわち、背景色を除いて１つの色のみで表現された映像のことである。白黒映像に限らず、セピア調映像等、他の単色の映像もモノクローム映像に含まれる。「白黒映像」は、２階調の映像でもよいが、本実施の形態ではグレースケール映像である。
【００３９】
なお、複数のカメラ２１０の中に、撮影画像２１１としてモノクローム映像を撮影する赤外線カメラ等が含まれている場合、その撮影画像２１１で、画像変換部１３２により得られる画像を代替してもよい。その場合、画像変換部１３２により画像を変換する必要がなくなる。
【００４０】
画像変換部１３２は、撮影画像２１１を加工する際に、モノクローム化以外の任意のフィルタ処理を実行してもよい。１つの例として、画像変換部１３２は、撮影画像２１１に対し、平滑化処理を実行してノイズを除去してもよい。
【００４１】
ステップＳ１３において、画像処理部１１０のパノラマ生成部１３３は、伝送処理部１３１により複数のカメラ２１０から受信された撮影画像２１１を合成することで第１パノラマ画像を生成する。また、パノラマ生成部１３３は、画像変換部１３２による変換後の画像を合成することで、第１パノラマ画像よりも色の少ない第２パノラマ画像を生成する。第１パノラマ画像は、具体的には、空港および空港周辺の空域と空港の地上面とを写したカラーのパノラマ映像である。第２パノラマ画像は、具体的には、空港および空港周辺の空域と空港の地上面とを写した白黒のパノラマ映像である。
【００４２】
ステップＳ１４において、画像処理部１１０のターゲット検出部１３４は、画像変換部１３２から変換後の画像を受け取る。あるいは、ターゲット検出部１３４は、パノラマ生成部１３３から第１パノラマ画像および第２パノラマ画像の少なくともいずれかを受け取る。ターゲット検出部１３４は、受け取った画像から管制対象の移動体を検出する。具体的には、ターゲット検出部１３４は、空港および空港周辺の空域と空港の地上面とを写したカラーまたは白黒の映像から、画像認識によって、空港または空港周辺の空域を飛行する航空機、空港の地上面を走行する航空機、または、空港の地上面を走行する車両を検出する。画像変換部１３２による変換後の画像の代わりに、あるいは、第１パノラマ画像および第２パノラマ画像の代わりに、伝送処理部１３１により受信された撮影画像２１１が用いられてもよい。
【００４３】
ステップＳ１５において、画像処理部１１０のターゲット追尾部１３５は、画像変換部１３２による変換後の画像、第１パノラマ画像および第２パノラマ画像の少なくともいずれかの画像内で、ターゲット検出部１３４により検出された移動体を追尾する。具体的には、ターゲット追尾部１３５は、空港および空港周辺の空域と空港の地上面とを写したカラーまたは白黒の映像内で、画像認識によって、ステップＳ１４で一度検出された航空機および車両を追尾する。
【００４４】
ステップＳ１６において、画像処理部１１０の位置・画素変換部１３７は、第１センサ２３０から、第１センサ２３０により生成されたセンサ情報２３１を、通信装置１０３を用いて受信する。前述したように、センサ情報２３１には、第１センサ２３０により観測された領域内に存在する移動体の識別子と、第１センサ２３０により検出された当該移動体の位置を示す位置情報と、第１センサ２３０により当該移動体から受信されたその他の情報とが含まれる。位置・画素変換部１３７は、移動体の識別子ごとに、位置情報を画素情報に変換する。具体的には、位置・画素変換部１３７は、空港または空港周辺の空域を飛行する航空機の便名等の識別子ごとに、位置情報に示されている、航空機の位置を表すＸＹ座標を、画素の位置を表すＵＶ座標に変換する。また、位置・画素変換部１３７は、空港の地上面を走行する航空機の便名等の識別子ごとに、位置情報に示されている、航空機の位置を表すＸＹ座標を、画素の位置を表すＵＶ座標に変換する。また、位置・画素変換部１３７は、空港の地上面を走行する車両の車両番号等の識別子ごとに、位置情報に示されている、車両の位置を表すＸＹ座標を、画素の位置を表すＵＶ座標に変換する。
【００４５】
同様に、画像処理部１１０の位置・画素変換部１３８は、第２センサ２４０から、第２センサ２４０により生成されたセンサ情報２４１を、通信装置１０３を用いて受信する。前述したように、センサ情報２４１には、第２センサ２４０により観測された領域内に存在する移動体の識別子と、第２センサ２４０により検出された当該移動体の位置を示す位置情報と、第２センサ２４０により当該移動体から受信されたその他の情報とが含まれる。位置・画素変換部１３８は、移動体の識別子ごとに、位置情報を画素情報に変換する。具体的には、位置・画素変換部１３８は、空港または空港周辺の空域を飛行する航空機の便名等の識別子ごとに、位置情報に示されている、航空機の位置を表すＸＹ座標を、画素の位置を表すＵＶ座標に変換する。また、位置・画素変換部１３８は、空港の地上面を走行する航空機の便名等の識別子ごとに、位置情報に示されている、航空機の位置を表すＸＹ座標を、画素の位置を表すＵＶ座標に変換する。また、位置・画素変換部１３８は、空港の地上面を走行する車両の車両番号等の識別子ごとに、位置情報に示されている、車両の位置を表すＸＹ座標を、画素の位置を表すＵＶ座標に変換する。
【００４６】
ステップＳ１７において、画像処理部１１０の画素追尾部１３９は、移動体の識別子ごとに、位置・画素変換部１３７により得られた画素情報を追尾する。
【００４７】
同様に、画像処理部１１０の画素追尾部１４０は、移動体の識別子ごとに、位置・画素変換部１３８により得られた画素情報を追尾する。
【００４８】
ステップＳ１８において、画像処理部１１０の相関処理部１４１は、移動体の識別子ごとに、ターゲット追尾部１３５により移動体が追尾された結果と、画素追尾部１３９，１４０により画素情報が追尾された結果との相関をとる。相関処理部１４１は、一定以上の相関がある移動体の識別子と、その移動体の位置を示す位置情報とを出力する。具体的には、相関処理部１４１は、空港または空港周辺の空域を飛行する航空機の便名等の識別子ごとに、ターゲット追尾部１３５により映像から検出された航空機の画素位置と、画素追尾部１３９，１４０によりセンサ位置情報等から検出された航空機の画素位置との相関をとる。そして、相関処理部１４１は、一定以上の相関がある航空機の便名等の識別子と、その航空機の位置を示す位置情報と、位置・画素変換部１３７，１３８により受信された、その航空機のセンサ情報２３１，２４１とを出力する。また、相関処理部１４１は、空港の地上面を走行する航空機の便名等の識別子ごとに、ターゲット追尾部１３５により映像から検出された航空機の画素位置と、画素追尾部１３９，１４０によりセンサ位置情報等から検出された航空機の画素位置との相関をとる。そして、相関処理部１４１は、一定以上の相関がある航空機の便名等の識別子と、その航空機の位置を示す位置情報と、位置・画素変換部１３７，１３８により受信された、その航空機のセンサ情報２３１，２４１とを出力する。また、相関処理部１４１は、空港の地上面を走行する車両の車両番号等の識別子ごとに、ターゲット追尾部１３５により映像から検出された車両の画素位置と、画素追尾部１３９，１４０によりセンサ位置情報等から検出された車両の画素位置との相関をとる。そして、相関処理部１４１は、一定以上の相関がある車両の車両番号等の識別子と、その車両の位置を示す位置情報と、位置・画素変換部１３７，１３８により受信された、その車両のセンサ情報２３１，２４１とを出力する。ここで、相関処理部１４１から出力される位置情報は、センサ情報２３１，２４１に含まれる位置情報のように、航空機の緯度、経度および高度、または、車両の緯度および経度を示す情報ではなく、位置・画素変換部１３７，１３８により得られた画素情報のように、画素の位置を示す情報である。位置・画素変換部１３７，１３８により得られた画素情報そのものが位置情報として相関処理部１４１から出力されてもよい。
【００４９】
ステップＳ１９において、画像処理部１１０の画像生成部１４２は、パノラマ生成部１３３から第１パノラマ画像と第２パノラマ画像とを受け取る。画像処理部１１０の設定処理部１３６は、入力機器２５０を介して、撮影範囲の一部の領域を示す設定情報２５１の入力をユーザから受け付ける。すなわち、設定処理部１３６は、撮影範囲の一部の領域を設定するユーザの入力を受け付ける。画像生成部１４２は、受け取った第２パノラマ画像から、設定処理部１３６に入力された設定情報２５１に示されている領域の画像を抽出し、抽出した画像を、受け取った第１パノラマ画像に合成することで表示画像２６１を生成する。表示画像２６１は、撮影範囲の一部の領域を他の領域よりも少ない色で表示する画像である。
【００５０】
なお、ユーザにより任意に設定された領域の画像を抽出する方法の代わりに、ユーザにより任意に設定された領域以外の領域の画像を抽出する方法が用いられてもよい。その場合、設定処理部１３６は、入力機器２５０を介して、撮影範囲のうち、画像が切り出される領域ではなく、他の領域を示す設定情報２５１の入力をユーザから受け付ける。すなわち、設定処理部１３６は、当該他の領域を設定するユーザの入力を受け付ける。画像生成部１４２は、受け取った第２パノラマ画像から、設定処理部１３６に入力された設定情報２５１に示されている領域以外の領域の画像を抽出し、抽出した画像を、受け取った第１パノラマ画像に合成することで表示画像２６１を生成する。
【００５１】
本実施の形態では、画像生成部１４２は、表示画像２６１として、空港および空港周辺の空域を空港の地上面よりも少ない色で表示する画像を生成する。具体的には、画像生成部１４２は、表示画像２６１として、空域をモノクロームで表示し、地上面をカラーで表示する画像を生成する。撮影範囲のうち、どの領域が空域であるかは、本実施の形態では、設定処理部１３６を介してユーザにより手動で設定されるが、後述する変形例のように自動的に認識されてもよい。
【００５２】
図３に例示している表示画像２６１は、夜間の撮影画像２２１をもとに生成された画像である。図３の表示画像２６１では、空域の映像がモノクローム映像２６２になっているため、必要以上の情報が無くなり、離陸直後または着陸直前のものを含む飛行中の航空機の視認性が向上している。一方、地上面の映像がカラー映像２６３になっているため、滑走路を含む誘導路に設置されたライトの色情報が無くならず、色で地上面の対象等を見分けることが可能になっている。
【００５３】
図４に例示している表示画像２６１は、昼間の撮影画像２２１をもとに生成された画像である。図４の表示画像２６１でも、空域の映像がモノクローム映像２６２になっているため、飛行中の航空機の視認性が向上している。一方、地上面の映像がカラー映像２６３になっているため、色で地上面の対象等を見分けることが可能になっている。図４の表示画像２６１では、地上面にある一部の建屋がフレーム２６４のみで表示され、その後方にある航空機が見える状態になっている。すなわち、一部の建屋がスケルトン表示になっている。このような表示のしかたは、複数のカメラ２１０の設置位置等の条件を整えることで実現可能である。
【００５４】
なお、表示画像２６１は、空港および空港周辺の空域の代わりに、あるいは、当該空域とともに、当該空域以外の領域をモノクロームで表示し、空港の地上面の代わりに、あるいは、当該地上面とともに、当該地上面以外の領域をカラーで表示する画像であってもよい。１つの例として、表示画像２６１は、空港および空港周辺の空域とともに、高速道路等、空港の敷地外をモノクロームで表示し、空港の地上面を含む敷地内をカラーで表示する画像であってもよい。別の例として、表示画像２６１は、空港および空港周辺の空域とともに、航空機の格納庫等、空港の敷地内であっても管制の対象外となる領域をモノクロームで表示し、空港の地上面における、管制の対象となる領域のみをカラーで表示する画像であってもよい。撮影範囲のうち、どの領域をモノクロームで表示するかは、設定処理部１３６を介してユーザにより手動で設定されるが、自動的に認識されてもよい。
【００５５】
本実施の形態では、画像生成部１４２は、移動体の識別子と、移動体の位置を示す位置情報とを取得する。画像生成部１４２は、表示画像２６１内で移動体が写っている位置と、取得した位置情報に示されている位置とが一致していれば、表示画像２６１内で移動体の隣に、取得した識別子を表す文字を付加する。具体的には、画像生成部１４２は、相関処理部１４１から、空港または空港周辺の空域を飛行する航空機の便名等の識別子と、その航空機の位置を示す位置情報と、その航空機のセンサ情報２３１，２４１とを受け取る。前述したように、相関処理部１４１から出力される位置情報は、画素の位置を示す情報である。画像生成部１４２は、空域のモノクローム映像２６２における、受け取った位置情報に示されている位置に航空機が写っていれば、表示画像２６１内で、その航空機の隣に、受け取った識別子を表すタグを付加する。図３の表示画像２６１では、「ＡＡＡ０００１」というタグ、および、「ＪＪＪ０００４」というタグが、対応する航空機の隣に表示されている。図４の表示画像２６１では、「ＣＡＢ０００１」というタグも、対応する航空機の隣に表示されている。また、画像生成部１４２は、相関処理部１４１から、空港の地上面を走行する航空機の便名等の識別子と、その航空機の位置を示す位置情報と、その航空機のセンサ情報２３１，２４１とを受け取る。画像生成部１４２は、地上面のカラー映像２６３における、受け取った位置情報に示されている位置に航空機が写っていれば、表示画像２６１内で、その航空機の隣に、受け取った識別子を表すタグを付加する。また、画像生成部１４２は、相関処理部１４１から、空港の地上面を走行する車両の車両番号等の識別子と、その車両の位置を示す位置情報と、その車両のセンサ情報２３１，２４１とを受け取る。画像生成部１４２は、地上面のカラー映像２６３における、受け取った位置情報に示されている位置に車両が写っていれば、表示画像２６１内で、その車両の隣に、受け取った識別子を表すタグを付加する。画像生成部１４２は、受け取ったセンサ情報２３１，２４１に含まれる任意の情報をタグに含めてもよい。すなわち、センサ情報２３１，２４１に含まれる位置情報によって示される航空機の緯度、経度および高度の少なくともいずれかが、タグによって表示画像２６１内で航空機の隣に表示されてもよい。また、センサ情報２３１，２４１に含まれる航空機からの機上情報の少なくとも一部が、タグによって表示画像２６１内で航空機の隣に表示されてもよい。あるいは、センサ情報２３１，２４１に含まれる位置情報によって示される車両の緯度および経度の少なくともいずれかが、タグによって表示画像２６１内で車両の隣に表示されてもよい。また、センサ情報２３１，２４１に含まれる車両からの受信情報の少なくとも一部が、タグによって表示画像２６１内で車両の隣に表示されてもよい。
【００５６】
本実施の形態では、画像生成部１４２は、表示画像２６１内で移動体の周囲に移動体の種類および属性の少なくともいずれかに応じて異なる色の枠を付加する。移動体の種類としては、航空機および車両がある。移動体の属性としては、移動体が航空機であれば、到着機、出発機、および、滑走路を通過するだけの通過機がある。図３の表示画像２６１には、「ＡＡＡ０００１」便の航空機と、「ＪＪＪ０００４」便の航空機とが写っている。仮に、航空機を示す色が赤、車両を示す色が青であるとした場合、「ＡＡＡ０００１」便の航空機の周囲に付加される枠、および、「ＪＪＪ０００４」便の航空機の周囲に付加される枠は、いずれも赤色に設定される。仮に、到着機を示す色が赤、出発機を示す色が青、通過機を示す色が黄であるとした場合、「ＡＡＡ０００１」便の航空機と「ＪＪＪ０００４」便の航空機とがいずれも到着機であれば、「ＡＡＡ０００１」便の航空機の周囲に付加される枠、および、「ＪＪＪ０００４」便の航空機の周囲に付加される枠は、いずれも赤色に設定される。
【００５７】
なお、画像生成部１４２は、表示画像２６１に移動体として航空機が写っている場合、表示画像２６１内で当該航空機の周囲に当該航空機の運航者に応じて異なる色の枠を付加してもよい。図３の表示画像２６１には、前述したように、「ＡＡＡ０００１」便の航空機と、「ＪＪＪ０００４」便の航空機とが写っている。仮に、航空会社ＪＪＪを示す色が赤、航空会社ＡＡＡを示す色が青であるとした場合、「ＡＡＡ０００１」便の航空機の周囲に付加される枠は青色に設定され、「ＪＪＪ０００４」便の航空機の周囲に付加される枠は赤色に設定される。
【００５８】
表示画像２６１内で移動体の周囲に付加される枠の形状は、図３および図４の例では四角形であるが、楕円形等、他の形状であってもよい。枠の形状は、移動体の種類および属性の少なくともいずれか、あるいは、航空機の運航者に応じて異なる形状に設定されてもよい。
【００５９】
前述したタグの文字色は、枠の色と同様に、移動体の種類および属性の少なくともいずれか、あるいは、航空機の運航者に応じて異なる色に設定されてもよい。
【００６０】
図示していないが、本実施の形態では、画像生成部１４２は、設定処理部１３６の設定に基づいて、滑走路および誘導路といった対象の輪郭を線または画像として生成し、表示画像２６１内で、生成した輪郭を当該対象に重畳する。
【００６１】
本実施の形態では、画像生成部１４２は、ＰＴＺカメラ２２０から、ＰＴＺカメラ２２０により生成された撮影画像２２１を、通信装置１０３を用いて受信する。撮影画像２２１は、撮影画像２１１と同じ場所の特定の領域を撮影した画像である。画像生成部１４２は、ユーザの操作に応じて、受信した撮影画像２２１を表示画像２６１の隅等に嵌め込んでもよい。
【００６２】
ステップＳ２０において、画像処理部１１０により生成された表示画像２６１をディスプレイ２６０に表示する制御を行う。ディスプレイ２６０の数は１つでもよいが、本実施の形態では複数であり、それぞれのディスプレイ２６０は、１人のユーザによって使用されるか、あるいは、複数人のユーザによって共用される。表示画像２６１がパノラマ映像として出力される場合は、複数のディスプレイ２６０を組み合わせるか、あるいは、１つの大型のディスプレイ２６０によって構成されたパノラマディスプレイに表示画像２６１が出力されてもよい。
【００６３】
本実施の形態では、ユーザ入力に対してオンデマンドでカラーと白黒の表示領域を切り替えやすくするために、両方のパノラマ映像を作っておく手法が用いられているが、次に説明する変形例のように、あらかじめ白黒に変換する領域を選んでおく手法が用いられてもよい。
【００６４】
以下、本実施の形態の変形例について、主に本実施の形態との差異を説明する。
【００６５】
ステップＳ１２において、画像変換部１３２は、伝送処理部１３１により受信された撮影画像２１１から撮影範囲の一部の領域の画像である第１画像を抽出する。画像変換部１３２は、第１画像を撮影範囲の他の領域の画像である第２画像よりも色の少ない第３画像に加工する。
【００６６】
本例では、画像変換部１３２は、第１画像として、空港および空港周辺の空域の画像を抽出する。具体的には、画像変換部１３２は、伝送処理部１３１により取得された撮影画像２１１から、画像認識によって空域と地上面との境界線を検出する。そして、画像変換部１３２は、撮影画像２１１を、検出した境界線で上下に分割し、上側の画像を第１画像として切り出す。
【００６７】
なお、撮影画像２１１から第１画像を抽出する方法として、撮影画像２１１を境界線で分割する方法とは別の方法が用いられてもよい。１つの例として、ユーザにより任意に設定された領域の画像を第１画像として抽出する方法が用いられてもよい。その場合、設定処理部１３６は、入力機器２５０を介して、撮影範囲の一部の領域を示す設定情報２５１の入力をユーザから受け付ける。すなわち、設定処理部１３６は、撮影範囲の一部の領域を設定するユーザの入力を受け付ける。画像変換部１３２は、伝送処理部１３１により取得された撮影画像２１１から、設定処理部１３６に入力された設定情報２５１に示されている領域の画像を第１画像として切り出す。別の例として、ユーザにより任意に設定された領域以外の領域の画像を第１画像として抽出する方法が用いられてもよい。その場合、設定処理部１３６は、入力機器２５０を介して、撮影範囲のうち、画像が切り出される領域ではなく、他の領域を示す設定情報２５１の入力をユーザから受け付ける。すなわち、設定処理部１３６は、当該他の領域を設定するユーザの入力を受け付ける。画像変換部１３２は、伝送処理部１３１により取得された撮影画像２１１から、設定処理部１３６に入力された設定情報２５１に示されている領域以外の領域の画像を第１画像として切り出す。
【００６８】
本例では、画像変換部１３２は、空港および空港周辺の空域の画像である第１画像を、空港の地上面の画像である第２画像よりも色の少ない第３画像に加工する。第１画像は、具体的には空域のカラー映像である。第２画像は、具体的には地上面のカラー映像である。第３画像は、具体的には空域のモノクローム映像であり、より具体的には空域の白黒映像である。
【００６９】
なお、複数のカメラ２１０の中に、撮影画像２１１としてモノクローム映像を撮影する赤外線カメラ等が含まれている場合、画像変換部１３２は、その撮影画像２１１から第３画像を抽出してもよい。その場合、第１画像を抽出して第３画像に加工する必要がなくなる。
【００７０】
画像変換部１３２は、第１画像を第３画像に加工する際に、モノクローム化以外の任意のフィルタ処理を実行してもよい。１つの例として、画像変換部１３２は、第１画像に対し、平滑化処理を実行してノイズを除去してもよい。
【００７１】
ステップＳ１３において、パノラマ生成部１３３は、伝送処理部１３１により複数のカメラ２１０から受信された撮影画像２１１を合成することでパノラマ画像を生成する。パノラマ画像は、具体的には、空港および空港周辺の空域と空港の地上面とを写したパノラマ映像である。本例では、前述した第２パノラマ画像を生成する必要はない。
【００７２】
ステップＳ１４において、ターゲット検出部１３４は、画像変換部１３２から第２画像と第３画像とを受け取る。ターゲット検出部１３４は、受け取った第２画像と第３画像とから管制対象の移動体を検出する。具体的には、ターゲット検出部１３４は、空港の地上面のカラー映像である第２画像と、空港および空港周辺の空域のモノクローム映像である第３画像とから、画像認識によって、空港または空港周辺の空域を飛行する航空機、空港の地上面を走行する航空機、または、空港の地上面を走行する車両を検出する。第２画像および第３画像の代わりに、あるいは、第２画像および第３画像とともに、パノラマ生成部１３３により生成されたパノラマ画像が用いられてもよいし、伝送処理部１３１により受信された撮影画像２１１が用いられてもよい。
【００７３】
ステップＳ１５において、ターゲット追尾部１３５は、第２画像内および第３画像内で、ターゲット検出部１３４により検出された移動体を追尾する。具体的には、ターゲット追尾部１３５は、空港の地上面のカラー映像である第２画像内、および、空港および空港周辺の空域のモノクローム映像である第３画像内で、画像認識によって、ステップＳ１４で一度検出された航空機および車両を追尾する。
【００７４】
ステップＳ１９において、画像生成部１４２は、画像変換部１３２から第２画像と第３画像とを受け取る。画像生成部１４２は、受け取った第２画像と第３画像とを合成することで表示画像２６１を生成する。表示画像２６１は、撮影範囲の一部の領域を他の領域よりも少ない色で表示する画像である。
【００７５】
本例では、画像生成部１４２は、パノラマ生成部１３３からパノラマ画像を受け取る。画像生成部１４２は、表示画像２６１を生成する際に、画像変換部１３２から受け取った第２画像の代わりに、パノラマ生成部１３３から受け取ったパノラマ画像を用いてもよい。すなわち、画像生成部１４２は、パノラマ生成部１３３から受け取ったパノラマ画像に含まれる第２画像と、画像変換部１３２から受け取った第３画像とを合成することで表示画像２６１を生成してもよい。その場合、表示画像２６１は、具体的には、空域にモノクローム映像２６２が重畳されたパノラマ映像として出力される。
【００７６】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、撮影範囲の一部の領域を他の領域よりも少ない色で表示することで、色情報を残しながら、管制のために表示する画像である表示画像２６１の視認性を向上させることができる。具体的には、カラー映像と白黒映像とを混在した表示によって、撮影範囲の各範囲に応じた視認性が得られる。
【００７７】
本実施の形態では、ユーザがカラー情報が欲しい範囲はカラー映像表示し、白黒で対象物の視認性を向上させたい範囲は白黒映像表示することができる。すなわち、カラー映像と白黒映像との混在はオンデマンド対応可能である。例えば、全体はカラー映像表示にしておいて、ユーザ入力に応じて一部撮影範囲を白黒映像に切り替えるといったことが可能である。ユーザが何があるかを知りたいときだけ白黒表示にすることもできる。
【００７８】
本実施の形態では、表示画像２６１内で移動体の周囲に移動体の種類および属性の少なくともいずれかに応じて異なる色の枠を付加することで、表示画像２６１の視認性をさらに向上させることができる。
【００７９】
映像確認により空港の管制業務を行う場合、映像では視認対象が視認しづらい場合がある。例えば、雨、霧または雪等の天候により映像が不鮮明になったり、映像上で対象物が小さく映ったり、映像上で対象物が遮蔽されたりすることがある。本実施の形態では、視認性の向上のために、映像上の航空機および車両といった対象を囲む検出枠として、四角形枠を映像に重畳表示したり、映像上の航空機および車両といった対象に対するタグを映像に重畳表示したり、映像上の滑走路および誘導路といった対象に対する輪郭等を映像に重畳表示したりすることができる。
【００８０】
検出枠またはタグに決まったルールで色づけをすることにより、利便性を向上させることができる。色づけのルールとしては、航空会社ＪＪＪは赤、航空会社ＡＡＡは青といったように運航者で色づけをしたり、到着は赤、出発は青といったように運用属性で色づけをしたりすることが考えられる。タグに運航者で色づけをし、検出枠に運用属性で色づけをすること、あるいは、その逆も有用である。運航者による色づけと、運用属性による色づけとで互いに重複しない色を用いることも有用である。
【００８１】
輪郭等の例として、滑走路のセンターラインおよび境界線に決まったルールで色づけをすることにより、利便性を向上させることができる。色づけのルールとしては、センターラインは赤、境界線は青といったように対象の種類で色づけをすることが考えられる。対象の種類または位置によって線の太さを変えることも有用である。
【００８２】
＊＊＊他の構成＊＊＊
本実施の形態では、画像処理部１１０および表示制御部１２０の機能がソフトウェアにより実現されるが、変形例として、画像処理部１１０および表示制御部１２０の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、画像処理部１１０および表示制御部１２０の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。
【００８３】
専用のハードウェアは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡまたはＡＳＩＣである。「ＩＣ」は、Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略語である。「ＧＡ」は、Ｇａｔｅ  Ａｒｒａｙの略語である。「ＦＰＧＡ」は、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙの略語である。「ＡＳＩＣ」は、Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略語である。
【００８４】
プロセッサ１０１および専用のハードウェアは、いずれも処理回路である。すなわち、画像処理部１１０および表示制御部１２０の機能がソフトウェアにより実現されるか、ソフトウェアとハードウェアとの組み合わせにより実現されるかに関わらず、画像処理部１１０および表示制御部１２０の機能は、処理回路により実現される。
【００８５】
実施の形態２．
本実施の形態について、主に実施の形態１との差異を、図５を用いて説明する。
【００８６】
＊＊＊構成の説明＊＊＊
本実施の形態に係る管制支援システム２００の構成については、図１に示した実施の形態１のものと同じであるため、説明を省略する。
【００８７】
＊＊＊動作の説明＊＊＊
本実施の形態に係る管制支援装置１００の動作については、図２に示した実施の形態１のものと比較して、ステップＳ１９に相当する動作のみが異なる。そのため、ステップＳ１１からステップＳ１８、および、ステップＳ２０に相当する動作の説明は省略する。
【００８８】
図１、図２および図５を参照して、画像処理部１１０の画像生成部１４２の動作を説明する。この動作を含む管制支援装置１００の動作は、本実施の形態に係る管制支援方法に相当する。
【００８９】
本実施の形態では、画像生成部１４２は、表示画像２６１内で移動体に移動体の種類に応じて異なる図形を重畳する。移動体の種類としては、航空機および車両がある。図５に例示している表示画像２６１では、「ＣＡＢ０００１」便の航空機、「ＡＡＡ０００１」便の航空機、および、「ＪＪＪ０００４」便の航空機に重なるように、円柱が表示されている。仮に、表示画像２６１に車両が写っているとした場合は、車両に重なるように、直方体等、円柱以外の図形が表示されることになる。特に、移動体の種類が航空機である場合、移動体の向きに合わせて、その移動体に重畳される図形の向きが調整されてもよい。
【００９０】
なお、図形としては、円柱および直方体以外の任意の形状が用いられてよい。１つの例として、移動体の種類に応じたワイヤーフレームの画像が用いられてもよい。その場合、特に、移動体の種類が航空機であれば、移動体の型式に応じてワイヤーフレームの形状が調整されてもよい。
【００９１】
画像生成部１４２は、表示画像２６１に移動体として航空機が写っている場合、表示画像２６１内で当該航空機に当該航空機の運航者および属性の少なくともいずれかに応じて異なる色の図形を重畳してもよい。すなわち、表示画像２６１内で航空機に重畳される図形の色は、当該航空機の運航者および属性の少なくともいずれかに応じて異なる色に設定されてもよい。移動体の属性としては、移動体が航空機であれば、到着機、出発機、および、滑走路を通過するだけの通過機がある。図５の表示画像２６１において、仮に、航空会社ＪＪＪを示す色が赤、航空会社ＡＡＡを示す色が青、航空会社ＣＡＢを示す色が黄であるとした場合、「ＣＡＢ０００１」便の航空機に重畳される図形は黄色に設定され、「ＡＡＡ０００１」便の航空機に重畳される図形は青色に設定され、「ＪＪＪ０００４」便の航空機に重畳される図形は赤色に設定される。
【００９２】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、対象物を模した任意形状画像を映像に重畳して仮想的に表示することで、対象物の視認性を向上させることができる。「任意形状画像」としては、航空機および車両といった対象物の種類、あるいは、対象物の型式に応じたワイヤーフレーム構造画像を用いてもよいし、立方体、直方体、円柱および円錐といった任意の立体画像を用いてもよい。
【００９３】
なお、画像を線で構成し、中抜きまたは透明とすることにより、映像に透過的に表示してもよい。その場合、遮蔽物の奥に存在する対象物も仮想的に表示できる。
【００９４】
実施の形態３．
本実施の形態について、主に実施の形態１との差異を、図６および図７を用いて説明する。
【００９５】
＊＊＊構成の説明＊＊＊
図６を参照して、本実施の形態に係る管制支援システム２００の構成を説明する。
【００９６】
本実施の形態では、管制支援装置１００の画像処理部１１０が、伝送処理部１３１と、画像変換部１３２と、パノラマ生成部１３３と、ターゲット検出部１３４と、ターゲット追尾部１３５と、設定処理部１３６と、位置・画素変換部１３７，１３８と、画素追尾部１３９，１４０と、相関処理部１４１と、画像生成部１４２とに加えて、トラジェクトリ取得部１４３を備える。
【００９７】
＊＊＊動作の説明＊＊＊
本実施の形態に係る管制支援装置１００の動作については、図２に示した実施の形態１のものと比較して、ステップＳ１９に相当する動作のみが異なる。そのため、ステップＳ１１からステップＳ１８、および、ステップＳ２０に相当する動作の説明は省略する。
【００９８】
図２、図６および図７を参照して、画像処理部１１０の画像生成部１４２およびトラジェクトリ取得部１４３の動作を説明する。この動作を含む管制支援装置１００の動作は、本実施の形態に係る管制支援方法に相当する。
【００９９】
本実施の形態では、画像生成部１４２は、トラジェクトリ取得部１４３により取得されるデータに基づいて、表示画像２６１内で移動体が辿る経路を表す点および線のいずれかを付加する。具体的には、トラジェクトリ取得部１４３は、外部から４ＤＴ等のトラジェクトリを取得するか、ターゲット追尾部１３５または相関処理部１４１から取得した、追尾されている移動体の位置およびＦＰＬ等からトラジェクトリを生成し、結果としてトラジェクトリを取得する。「４ＤＴ」は、４  Ｄｉｍｅｎｓｉｏｎａｌ  Ｔｒａｊｅｃｔｏｒｙの略語である。トラジェクトリは、移動体が辿る経路の計画または予測結果を示すデータである。「ＦＰＬ」は、Ｆｌｉｇｈｔ  Ｐｌａｎの略語である。画像生成部１４２は、トラジェクトリ取得部１４３からトラジェクトリを受け取る。画像生成部１４２は、受け取ったトラジェクトリによって示されている経路を表す点群または線を表示画像２６１に付加する。図７に例示している表示画像２６１では、「ＪＪＪ０００４」便の航空機が辿る経路を表す矢印線２６５が付加されている。
【０１００】
本実施の形態では、画像生成部１４２は、表示画像２６１内で移動体の管制に用いられる情報を表す記号および文字の少なくともいずれかを付加する。具体的には、画像生成部１４２は、トラジェクトリ取得部１４３より受け取ったトラジェクトリから、ユーザが管制のための交信を行う時刻と、その交信の内容とを示す情報を取得する。画像生成部１４２は、取得した情報を表す記号または文字を表示画像２６１に付加する。図７の表示画像２６１では、「ＪＪＪ０００４」便の航空機に対して、１０時００分に滑走路進入許可、１０時０５分に離陸許可の交信を行うべきことを示す管制情報２６６が付加されている。
【０１０１】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、映像画面を見ることで管制官が状況認識できるだけでなく、空港または航空機等の過去、現在および将来の、管制に関わる情報を同じ画面で見ることができるため、一旦別画面を見るために頭を動かす等のアクションが不要となる。すなわち、管制官が映像から目を離したり、頭を動かしたりしなくて済むようになる。管制に関わる情報としては、各航空機の４次元トラジェクトリに基づく情報を参照できる。そのような情報としては、現在時刻以降に辿る飛行経路および走行経路、出発機の滑走路進入および離陸等のアクションを起こす地点、および、利用が制限される領域等を確認できるようにすることが望ましい。
【符号の説明】
【０１０２】
１００  管制支援装置、１０１  プロセッサ、１０２  メモリ、１０３  通信装置、１１０  画像処理部、１２０  表示制御部、１３１  伝送処理部、１３２  画像変換部、１３３  パノラマ生成部、１３４  ターゲット検出部、１３５  ターゲット追尾部、１３６  設定処理部、１３７，１３８  位置・画素変換部、１３９，１４０  画素追尾部、１４１  相関処理部、１４２  画像生成部、１４３  トラジェクトリ取得部、２００  管制支援システム、２１０  カメラ、２１１  撮影画像、２２０  ＰＴＺカメラ、２２１  撮影画像、２３０  第１センサ、２３１  センサ情報、２４０  第２センサ、２４１  センサ情報、２５０  入力機器、２５１  設定情報、２６０  ディスプレイ、２６１  表示画像、２６２  モノクローム映像、２６３  カラー映像、２６４  フレーム、２６５  矢印線、２６６  管制情報。
【図１】
2019022178.tif 000003
【図２】
2019022178.tif 000004
【図３】
2019022178.tif 000005
【図４】
2019022178.tif 000006
【図５】
2019022178.tif 000007
【図６】
2019022178.tif 000008
【図７】
2019022178.tif 000009
【手続補正書】
【提出日】平成30年10月25日(2018.10.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理部と、
前記画像処理部により生成された表示画像をディスプレイに表示する制御を行う表示制御部と
を備え、
前記画像処理部は、前記撮影画像として、空港および空港周辺の航空機が行き交う領域を撮影した画像を取得する管制支援装置。
【請求項２】
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理部と、
前記画像処理部により生成された表示画像をディスプレイに表示する制御を行う表示制御部と
を備え、
前記画像処理部は、前記表示画像として、空域を地上面よりも少ない色で表示する画像を生成する管制支援装置。
【請求項３】
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理部と、
前記画像処理部により生成された表示画像をディスプレイに表示する制御を行う表示制御部と
を備え、
前記画像処理部は、前記撮影画像から前記撮影範囲の一部の領域の画像である第１画像を抽出し、前記第１画像を前記他の領域の画像である第２画像よりも色の少ない第３画像に加工し、前記第２画像と前記第３画像とを合成することで前記表示画像を生成する管制支援装置。
【請求項４】
前記画像処理部は、前記表示画像として、前記撮影範囲の一部の領域をモノクロームで表示し、前記他の領域をカラーで表示する画像を生成する請求項１から３のいずれか１項に記載の管制支援装置。
【請求項５】
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理部と、
前記画像処理部により生成された表示画像をディスプレイに表示する制御を行う表示制御部と
を備え、
前記画像処理部は、前記撮影範囲の一部の領域と前記他の領域とのいずれかを設定するユーザの入力を受け付ける管制支援装置。
【請求項６】
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理部と、
前記画像処理部により生成された表示画像をディスプレイに表示する制御を行う表示制御部と
を備え、
前記画像処理部は、前記表示画像内で前記移動体の周囲に前記移動体の種類および属性の少なくともいずれかに応じて異なる色の枠を付加する管制支援装置。
【請求項７】
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理部と、
前記画像処理部により生成された表示画像をディスプレイに表示する制御を行う表示制御部と
を備え、
前記画像処理部は、前記表示画像に前記移動体として航空機が写っている場合、前記表示画像内で当該航空機の周囲に当該航空機の運航者に応じて異なる色の枠を付加する管制支援装置。
【請求項８】
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理部と、
前記画像処理部により生成された表示画像をディスプレイに表示する制御を行う表示制御部と
を備え、
前記画像処理部は、前記表示画像内で前記移動体に前記移動体の種類に応じて異なる図形を重畳する管制支援装置。
【請求項９】
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理部と、
前記画像処理部により生成された表示画像をディスプレイに表示する制御を行う表示制御部と
を備え、
前記画像処理部は、前記表示画像に前記移動体として航空機が写っている場合、前記表示画像内で当該航空機に当該航空機の運航者および属性の少なくともいずれかに応じて異なる色の図形を重畳する管制支援装置。
【請求項１０】
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理部と、
前記画像処理部により生成された表示画像をディスプレイに表示する制御を行う表示制御部と
を備え、
前記画像処理部は、前記移動体の識別子と、前記移動体の位置を示す位置情報とを取得し、前記表示画像内で前記移動体が写っている位置と、取得した位置情報に示されている位置とが一致していれば、前記表示画像内で前記移動体の隣に、取得した識別子を表す文字を付加する管制支援装置。
【請求項１１】
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理部と、
前記画像処理部により生成された表示画像をディスプレイに表示する制御を行う表示制御部と
を備え、
前記画像処理部は、前記表示画像内で前記移動体が辿る経路を表す点および線のいずれかを付加する管制支援装置。
【請求項１２】
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理部と、
前記画像処理部により生成された表示画像をディスプレイに表示する制御を行う表示制御部と
を備え、
前記画像処理部は、前記表示画像内で前記移動体の管制に用いられる情報を表す記号および文字の少なくともいずれかを付加する管制支援装置。
【請求項１３】
コンピュータが、管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成し、
ディスプレイが、生成された表示画像を表示し、
前記コンピュータが、前記撮影画像として、空港および空港周辺の航空機が行き交う領域を撮影した画像を取得する管制支援方法。
【請求項１４】
コンピュータに、
管制対象の移動体が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成する画像処理と、
前記画像処理により生成された表示画像をディスプレイに表示する制御を行う制御処理と
を実行させ、
前記画像処理において、前記撮影画像として、空港および空港周辺の航空機が行き交う領域を撮影した画像を取得する管制支援プログラム。