(57)【特許請求の範囲】
【請求項１】
実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、
前記実空間における視認位置及び視認方向を特定する特定手段と、
前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、
前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、を含み、
前記特定手段は、光学透過型のヘッドマウントディスプレイが備える、前記実空間において前記視認位置から前記視認方向を見た様子とともに前記画像を当該ヘッドマウントディスプレイの装着者に視認させる前記表示部の位置に対応付けられる前記視認位置、及び、当該表示部の向きに対応付けられる前記視認方向を特定し、
前記画像生成手段は、前記無人航空機が前記飛行経路上にあるか否かに応じた態様の前記画像を生成する、
ことを特徴とする飛行経路案内システム。
【請求項２】
実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、
前記実空間における視認位置及び視認方向を特定する特定手段と、
前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、
前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、
前記無人航空機が前記飛行経路上にあるか否かを判定する判定手段と、を含み、
前記表示制御手段は、前記判定手段によって前記無人航空機が前記飛行経路上にないと判定された場合に、前記画像生成手段によって生成された前記画像を表示させ、前記判定手段によって前記無人航空機が前記飛行経路上にあると判定された場合に、前記画像生成手段によって生成された前記画像について前記飛行経路が表れている位置を補正した画像を表示させる、
ことを特徴とする飛行経路案内システム。
【請求項３】
実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、
前記実空間における視認位置及び視認方向を特定する特定手段と、
前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、
前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、を含み、
前記飛行経路情報取得手段は、複数の前記無人航空機の前記飛行経路を示す前記飛行経路情報を取得し、
前記画像生成手段は、それぞれ視認性が異なるよう前記複数の前記無人航空機の前記飛行経路が表現された前記画像を生成し、
前記画像生成手段は、前記画像を見る操縦者が操縦している前記無人航空機の前記飛行経路と他の前記無人航空機の前記飛行経路とを識別可能な前記画像を生成する、
ことを特徴とする飛行経路案内システム。
【請求項４】
前記特定手段は、前記実空間を撮影するカメラの位置に対応付けられる前記視認位置、及び、当該カメラの撮影方向に対応付けられる前記視認方向を特定し、
前記画像生成手段は、前記カメラにより撮影される画像に前記視認位置から前記視認方向を見た際の前記飛行経路が重畳された前記画像を生成する、
ことを特徴とする請求項２又は３に記載の飛行経路案内システム。
【請求項５】
前記特定手段は、映像透過型のヘッドマウントディスプレイが備える前記カメラの位置に対応付けられる前記視認位置、及び、当該カメラの撮影方向に対応付けられる前記視認方向を特定し、
前記表示制御手段は、前記ヘッドマウントディスプレイが備える前記表示部に前記画像を表示させる、
ことを特徴とする請求項４に記載の飛行経路案内システム。
【請求項６】
前記ヘッドマウントディスプレイは、前記無人航空機の操縦者の頭部に装着されている、
ことを特徴とする請求項１又は５に記載の飛行経路案内システム。
【請求項７】
前記飛行経路を表す仮想オブジェクトが配置された仮想空間を生成する仮想空間生成手段、をさらに含み、
前記特定手段は、さらに、前記実空間における前記視認位置に対応付けられる前記仮想空間における視認位置、及び、前記実空間における前記視認方向に対応付けられる前記仮想空間における視認方向を特定し、
前記画像生成手段は、前記仮想空間における前記視認位置から前記仮想空間における前記視認方向を見た様子を表す前記画像を生成する、
ことを特徴とする請求項１に記載の飛行経路案内システム。
【請求項８】
前記判定手段は、計測される前記無人航空機の位置と前記飛行経路情報とに基づいて、前記無人航空機が前記飛行経路上にあるか否かを判定する、
ことを特徴とする請求項２に記載の飛行経路案内システム。
【請求項９】
前記飛行経路情報には、前記飛行経路上の複数の位置のそれぞれについて、当該位置に前記無人航空機があるべき時刻が示されており、
前記画像生成手段は、前記複数の位置のそれぞれについて、当該位置に前記無人航空機があるべき時刻が現在時刻よりも前であるか後であるかが表現された前記画像を生成する、
ことを特徴とする請求項１から８のいずれか一項に記載の飛行経路案内システム。
【請求項１０】
前記画像生成手段は、前記飛行経路上の複数の位置のそれぞれについて、当該位置に前記無人航空機があるべき時刻が現在時刻よりも前であるか後であるかが表現された前記画像を生成する、
ことを特徴とする請求項９に記載の飛行経路案内システム。
【請求項１１】
前記飛行経路情報には、選択可能な複数の前記飛行経路が示されており、
前記画像生成手段は、選択されている前記飛行経路と選択されていない前記飛行経路とを識別可能な前記画像を生成する、
ことを特徴とする請求項１から１０のいずれか一項に記載の飛行経路案内システム。
【請求項１２】
前記画像生成手段は、前記飛行経路情報が示す、前記無人航空機の予定の飛行経路、及び、前記無人航空機の実際の飛行経路のうちの少なくとも一方が表現された前記画像を生成する、
ことを特徴とする請求項１から１１のいずれか一項に記載の飛行経路案内システム。
【請求項１３】
前記無人航空機は、自律飛行機能を備える、
ことを特徴とする請求項１から１２のいずれか一項に記載の飛行経路案内システム。
【請求項１４】
実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、
前記実空間における視認位置及び視認方向を特定する特定手段と、
前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、
前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、を含み、
前記特定手段は、光学透過型のヘッドマウントディスプレイが備える、前記実空間において前記視認位置から前記視認方向を見た様子とともに前記画像を当該ヘッドマウントディスプレイの装着者に視認させる前記表示部の位置に対応付けられる前記視認位置、及び、当該表示部の向きに対応付けられる前記視認方向を特定し、
前記画像生成手段は、前記無人航空機が前記飛行経路上にあるか否かに応じた態様の前記画像を生成する、
ことを特徴とする飛行経路案内装置。
【請求項１５】
実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、
前記実空間における視認位置及び視認方向を特定する特定手段と、
前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、
前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、
前記無人航空機が前記飛行経路上にあるか否かを判定する判定手段と、を含み、
前記表示制御手段は、前記判定手段によって前記無人航空機が前記飛行経路上にないと判定された場合に、前記画像生成手段によって生成された前記画像を表示させ、前記判定手段によって前記無人航空機が前記飛行経路上にあると判定された場合に、前記画像生成手段によって生成された前記画像について前記飛行経路が表れている位置を補正した画像を表示させる、
ことを特徴とする飛行経路案内装置。
【請求項１６】
実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、
前記実空間における視認位置及び視認方向を特定する特定手段と、
前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、
前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、を含み、
前記飛行経路情報取得手段は、複数の前記無人航空機の前記飛行経路を示す前記飛行経路情報を取得し、
前記画像生成手段は、それぞれ視認性が異なるよう前記複数の前記無人航空機の前記飛行経路が表現された前記画像を生成し、
前記画像生成手段は、前記画像を見る操縦者が操縦している前記無人航空機の前記飛行経路と他の前記無人航空機の前記飛行経路とを識別可能な前記画像を生成する、
ことを特徴とする飛行経路案内装置。
【請求項１７】
実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得ステップと、
前記実空間における視認位置及び視認方向を特定する特定ステップと、
前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成ステップと、
前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御ステップと、を含み、
前記特定ステップでは、光学透過型のヘッドマウントディスプレイが備える、前記実空間において前記視認位置から前記視認方向を見た様子とともに前記画像を当該ヘッドマウントディスプレイの装着者に視認させる前記表示部の位置に対応付けられる前記視認位置、及び、当該表示部の向きに対応付けられる前記視認方向を特定し、
前記画像生成ステップでは、前記無人航空機が前記飛行経路上にあるか否かに応じた態様の前記画像を生成する、
ことを特徴とする飛行経路案内方法。
【請求項１８】
実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得ステップと、
前記実空間における視認位置及び視認方向を特定する特定ステップと、
前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成ステップと、
前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御ステップと、
前記無人航空機が前記飛行経路上にあるか否かを判定する判定ステップと、を含み、
前記表示制御ステップでは、前記判定ステップで前記無人航空機が前記飛行経路上にないと判定された場合に、前記画像生成ステップで生成された前記画像を表示させ、前記判定ステップで前記無人航空機が前記飛行経路上にあると判定された場合に、前記画像生成ステップで生成された前記画像について前記飛行経路が表れている位置を補正した画像を表示させる、
ことを特徴とする飛行経路案内方法。
【請求項１９】
実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得ステップと、
前記実空間における視認位置及び視認方向を特定する特定ステップと、
前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成ステップと、
前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御ステップと、を含み、
前記飛行経路情報取得ステップでは、複数の前記無人航空機の前記飛行経路を示す前記飛行経路情報を取得し、
前記画像生成ステップでは、それぞれ視認性が異なるよう前記複数の前記無人航空機の前記飛行経路が表現された前記画像を生成し、
前記画像生成ステップでは、前記画像を見る操縦者が操縦している前記無人航空機の前記飛行経路と他の前記無人航空機の前記飛行経路とを識別可能な前記画像を生成する、
ことを特徴とする飛行経路案内方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法に関する。
【背景技術】
【０００２】
特許文献１には、自機の識別を容易にするマーカ画像、自機の移動方向を示す移動方向画像、所定時間後の予測位置を示す予測位置画像などの虚像画像を使用者に視認させる透過型のヘッドマウントディスプレイが記載されている。特許文献１に記載されている技術によれば、自機が遠くへ移動したり、複数の無人航空機が視野にあったりする場合であっても、使用者が自機を見失いにくい。また、自機の移動方向や予測位置などの把握も容易である。【０００３】
特許文献２には、気象条件に基づいて、無人航空機の飛行経路を補正する運行管理技術が記載されている。特許文献２に記載されている運行管理技術により提供される飛行経路に従って無人航空機を飛行させることで、より安全に無人航空機を飛行させることが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−１１２８０９号公報
【特許文献２】特開２０１８−０８１６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１や特許文献２に記載されている技術では、飛行中の無人航空機の様子と当該無人航空機の飛行経路との両方を無人航空機の操縦者や監督者などが同時に把握できない。そのため、無人航空機の操縦者や監督者などが、飛行中の無人航空機が飛行経路通りに飛行できているか否かを把握することが難しいことがある。また飛行経路から外れて無人航空機が飛行していてもどのようにすれば当該無人航空機を飛行経路に戻すことできるかを無人航空機の操縦者や監督者などが把握することが難しいことがある。【０００６】
本発明は、上記課題に鑑みてなされたものであって、その目的の一つは、飛行中の無人航空機の様子と当該無人航空機の飛行経路とを同時に把握できる飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る飛行経路案内システムは、実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、前記実空間における視認位置及び視認方向を特定する特定手段と、前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、を含む。【０００８】
本発明の一態様では、前記特定手段は、光学透過型のヘッドマウントディスプレイが備える、前記実空間において前記視認位置から前記視認方向を見た様子とともに前記画像を当該ヘッドマウントディスプレイの装着者に視認させる前記表示部の位置に対応付けられる前記視認位置、及び、当該表示部の向きに対応付けられる前記視認方向を特定する。【０００９】
あるいは、前記特定手段は、前記実空間を撮影するカメラの位置に対応付けられる前記視認位置、及び、当該カメラの撮影方向に対応付けられる前記視認方向を特定し、前記画像生成手段は、前記カメラにより撮影される画像に前記視認位置から前記視認方向を見た際の前記飛行経路が重畳された前記画像を生成する。【００１０】
この態様では、前記特定手段は、映像透過型のヘッドマウントディスプレイが備える前記カメラの位置に対応付けられる前記視認位置、及び、当該カメラの撮影方向に対応付けられる前記視認方向を特定し、前記表示制御手段は、前記ヘッドマウントディスプレイが備える前記表示部に前記画像を表示させてもよい。【００１１】
また、前記ヘッドマウントディスプレイは、前記無人航空機の操縦者の頭部に装着されていてもよい。【００１２】
また、本発明の一態様では、前記飛行経路を表す仮想オブジェクトが配置された仮想空間を生成する仮想空間生成手段、をさらに含み、前記特定手段は、さらに、前記実空間における前記視認位置に対応付けられる前記仮想空間における視認位置、及び、前記実空間における前記視認方向に対応付けられる前記仮想空間における視認方向を特定し、前記画像生成手段は、前記仮想空間における前記視認位置から前記仮想空間における前記視認方向を見た様子を表す前記画像を生成する。【００１３】
また、本発明の一態様では、前記画像生成手段は、前記無人航空機が前記飛行経路上にあるか否かに応じた態様の前記画像を生成する。【００１４】
また、本発明の一態様では、前記無人航空機が前記飛行経路上にあるか否かを判定する判定手段、をさらに含み、前記表示制御手段は、前記判定手段による判定の結果に応じて、前記飛行経路が表れている位置が補正された画像を表示させるか否かを制御する。【００１５】
この態様では、前記判定手段は、計測される前記無人航空機の位置と前記飛行経路情報とに基づいて、前記無人航空機が前記飛行経路上にあるか否かを判定してもよい。【００１６】
また、本発明の一態様では、前記飛行経路情報には、前記飛行経路上の複数の位置のそれぞれについて、当該位置に前記無人航空機があるべき時刻が示されており、前記画像生成手段は、前記時刻がさらに表現された前記画像を生成する。【００１７】
この態様では、前記画像生成手段は、前記飛行経路上の複数の位置のそれぞれについて、当該位置に前記無人航空機があるべき時刻が現在時刻よりも前であるか後であるかが表現された前記画像を生成してもよい。【００１８】
また、本発明の一態様では、前記飛行経路情報には、選択可能な複数の前記飛行経路が示されており、前記画像生成手段は、選択されている前記飛行経路と選択されていない前記飛行経路とを識別可能な前記画像を生成する。【００１９】
また、本発明の一態様では、前記画像生成手段は、前記飛行経路情報が示す、前記無人航空機の予定の飛行経路、及び、前記無人航空機の実際の飛行経路のうちの少なくとも一方が表現された前記画像を生成する。【００２０】
また、本発明の一態様では、前記飛行経路情報取得手段は、複数の前記無人航空機の前記飛行経路を示す前記飛行経路情報を取得し、前記画像生成手段は、前記複数の前記無人航空機の前記飛行経路が表現された前記画像を生成する。【００２１】
この態様では、前記画像生成手段は、前記画像を見る操縦者が操縦している前記無人航空機の前記飛行経路と他の前記無人航空機の前記飛行経路とを識別可能な前記画像を生成してもよい。【００２２】
また、本発明の一態様では、前記無人航空機は、自律飛行機能を備える。【００２３】
また、本発明に係る飛行経路案内装置は、実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、前記実空間における視認位置及び視認方向を特定する特定手段と、前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、を含む。【００２４】
また、本発明に係る飛行経路案内方法は、実空間における無人航空機の飛行経路を示す飛行経路情報を取得するステップと、前記実空間における視認位置及び視認方向を特定するステップと、前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成するステップと、前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させるステップと、を含む。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係る飛行経路案内システムの全体構成の一例を示す図である。
【図２Ａ】本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。
【図２Ｂ】本発明の一実施形態に係る無人航空機の構成の一例を示す図である。
【図３】仮想空間の一例を示す図である。
【図４】飛行経路画像の一例を示す図である。
【図５】ヘッドマウントディスプレイの装着者により視認される、実空間にある無人航空機及び表示部に表示される飛行経路画像の一例を示す図である。
【図６】ヘッドマウントディスプレイの装着者により視認される、実空間にある無人航空機及び表示部に表示される飛行経路画像の別の一例を示す図である。
【図７】ヘッドマウントディスプレイの装着者により視認される、実空間にある無人航空機及び表示部に表示される飛行経路画像のさらに別の一例を示す図である。
【図８】本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。
【図９】本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【００２６】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【００２７】
図１は、本発明の一実施形態に係る飛行経路案内システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る飛行経路案内システム１には、ヘッドマウントディスプレイ（ＨＭＤ）１０、無人航空機１２、運行管理システム１４、及び、操縦端末１６が含まれる。
【００２８】
ＨＭＤ１０は、ユーザが頭部に装着可能なディスプレイ装置である。なお以下の説明では、本実施形態に係るＨＭＤ１０は、光学透過型（オプティカルシースルー型）であり、ＨＭＤ１０の装着者は装着している状態で実空間の様子を視認可能であることとする。
【００２９】
本実施形態に係るＨＭＤ１０には、例えば図２Ａに示すように、プロセッサ２０、記憶部２２、通信部２４、表示部２６、センサ部２８、が含まれる。
【００３０】
プロセッサ２０は、例えばＨＭＤ１０にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
【００３１】
記憶部２２は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶素子などである。記憶部２２には、プロセッサ２０によって実行されるプログラムなどが記憶される。
【００３２】
通信部２４は、例えば無線ＬＡＮモジュールやブルートゥース（登録商標）モジュールなどの通信インタフェースである。
【００３３】
表示部２６は、例えばハーフミラーなどを利用することで、透過される実空間の様子とともに虚像画像をＨＭＤ１０の装着者に視認させることができるディスプレイである。表示部２６は、ＨＭＤ１０の装着者の眼前に配置される。また本実施形態に係る表示部２６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができる両眼タイプのディスプレイである。なお表示部２６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
【００３４】
センサ部２８は、例えばＧＰＳ（Global Positioning System）等のＧＮＳＳ（Global Navigation Satellite System）受信機、加速度センサやジャイロセンサ等の慣性センサ、地磁気センサなどを含むデバイスである。センサ部２８は、ＨＭＤ１０の位置や姿勢を計測可能である。センサ部２８は、ＨＭＤ１０の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ２０に出力してもよい。またセンサ部２８に、ＨＭＤ１０の装着者の視野範囲の画像を撮影するカメラが含まれていてもよい。以下、当該画像を視野範囲画像と呼ぶこととする。
【００３５】
ＨＭＤ１０は、例えば、無人航空機１２の操縦者や、当該操縦者を監督する監督者の頭部に装着される。
【００３６】
無人航空機１２は、人が搭乗しない航空機であり、例えば、バッテリーやエンジンで駆動する無人航空機（いわゆるドローン）である。
【００３７】
本実施形態に係る無人航空機１２には、例えば図２Ｂに示すように、プロセッサ３０、記憶部３２、通信部３４、センサ部３６、が含まれる。なお、無人航空機１２には、プロペラ、モーター、バッテリーなどの一般的なハードウェアも含まれるが、ここでは省略している。
【００３８】
プロセッサ３０は、例えば無人航空機１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
【００３９】
記憶部３２は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。
【００４０】
通信部３４は、例えば無線ＬＡＮモジュールやブルートゥースモジュールなどの通信インタフェースである。
【００４１】
センサ部３６は、例えばＧＰＳ等のＧＮＳＳ受信機、気圧センサ、ＬＩＤＡＲ(Light Detection and Ranging)、音波センサ等の高度センサ、カメラ、慣性センサ、風速センサなどを含むデバイスである。センサ部３６は、無人航空機１２の位置や姿勢を計測可能である。センサ部３６は、無人航空機１２の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ３０に出力してもよい。
【００４２】
本実施形態に係る運行管理システム１４は、例えば、無人航空機１２の飛行経路の管理などの運行管理を行う、１又は複数のサーバコンピュータ等から構成されるコンピュータシステムである。
【００４３】
本実施形態に係る操縦端末１６は、例えば無人航空機１２を操縦するための機器である。
【００４４】
本実施形態に係る無人航空機１２が自律飛行機能を備えていてもよい。そしてこの場合、無人航空機１２の操縦者や監督者が自律飛行では予定飛行経路通りに飛行できないと判断した場合に、操縦者が操縦端末１６を用いて無人航空機１２を操縦するようにしてもよい。この場合、ＨＭＤ１０が、自律飛行している無人航空機１２を監督する監督者の頭部に装着されていてもよい。あるいは、ＨＭＤ１０が、自律飛行では予定飛行経路通りに飛行できないと判断した場合に無人航空機１２を操縦する操縦者の頭部に装着されていてもよい。
【００４５】
図１に示すように、操縦端末１６と無人航空機１２とは互いに通信可能となっている。またＨＭＤ１０と操縦端末１６とは互いに通信可能となっている。またＨＭＤ１０と運行管理システム１４とは、インターネット等のネットワーク１８を介して互いに通信可能となっている。なおＨＭＤ１０と無人航空機１２とは、操縦端末１６を介さずに直接互いに通信可能でも構わない。
【００４６】
本実施形態では例えば、運行管理システム１４に、無人航空機１２の飛行経路を示す飛行経路情報が予め記憶されている。飛行経路情報は、例えば、無人航空機１２の予定の飛行経路に沿った複数の位置を示す位置情報のリストであってもよい。ここで位置情報が、当該位置情報が示す位置を表す三次元座標値を含んでいてもよい。
【００４７】
当該三次元座標値のうち水平位置を表す座標値（例えばＸ座標値及びＹ座標値）は、ＧＰＳ等で用いられる地球中心座標系などにおける絶対的な座標値（例えば緯度及び経度）であってもよい。また、当該三次元座標値のうち水平位置を表す座標値（例えばＸ座標値及びＹ座標値）は、無人航空機１２の離陸地点を基準とした座標系における相対的な座標値であってもよい。同様に、当該三次元座標値のうち高度を表す座標値（例えばＺ座標値）についても上述の絶対的な座標値であってもよいし上述の相対的な座標値であってもよい。以下の説明では、水平位置を表す座標値は絶対的な座標値であり、高度を表す座標値は相対的な座標値であることとする。また操縦者や監督者などのＨＭＤ１０の装着者は、無人航空機１２の離陸地点付近に位置し、その高度は離陸地点の高度と装着者の身長との和であることとする。ここで当該身長を示す値は、所定値であってもよいし装着者等により入力される値であってもよい。
【００４８】
また飛行経路情報に、複数の位置のそれぞれについての、当該位置に無人航空機１２があるべき時刻が示された時刻情報が含まれていてもよい。例えば飛行経路情報に含まれる位置情報に、当該位置情報が示す位置に無人航空機１２があるべき時刻を示す時刻情報が関連付けられていてもよい。
【００４９】
そして本実施形態では例えば、飛行経路情報が運行管理システム１４からＨＭＤ１０に送信される。そしてＨＭＤ１０が、受信した飛行経路情報に基づいて、図３に示す仮想空間４０を生成する。図３に示す仮想空間４０は、例えば、飛行経路情報が示す飛行経路を表す仮想三次元オブジェクトである飛行経路オブジェクト４２が配置された仮想三次元空間である。ここで仮想空間４０内の位置は、実空間内の位置と１対１で対応付けられている。また仮想空間４０における向きは、実空間における向きと１対１で対応付けられている。
【００５０】
飛行経路オブジェクト４２は、例えば、飛行経路情報に含まれる位置情報のリストの順で、当該位置情報が示す位置を表す三次元座標値をつないだ線を表す仮想オブジェクトであってもよい。ここで例えば飛行経路オブジェクト４２が、関連付けられている時刻情報が示す時刻が早い順に飛行経路情報に含まれる位置情報が示す位置を表す三次元座標値をつないだ線を表す仮想オブジェクトであってもよい。また例えば、図３に示すように、飛行経路オブジェクト４２は、飛行経路情報に含まれる位置情報のリストの順で、当該位置情報が示す位置を表す三次元座標値をつないだ線を軸とする柱状あるいは筒状の仮想オブジェクトであってもよい。
【００５１】
そして本実施形態では例えば、実空間における視認位置及び視認方向が特定される。ここで例えば公知の推定手法による推定結果に基づいて、実空間における視認位置及び視認方向が特定されてもよい。ここで視認位置はＨＭＤ１０の装着者の位置に対応付けられるものであってもよい。また視認方向はＨＭＤ１０の装着者の頭部の姿勢に対応付けられるものであってもよい。
【００５２】
また当該視認位置は、例えば表示部２６の位置に対応付けられるものであってもよい。具体的には例えば、当該視認位置は、表示部２６の中心の位置であってもよい。また当該視認方向は、例えば表示部２６の向きに対応付けられるものであってもよい。具体的には例えば、当該視認方向は表示部２６の表示面に対する法線方向であってもよい。
【００５３】
そして本実施形態では例えば、実空間における視認位置に対応付けられる、仮想空間４０内における視認位置４４が特定される。また、実空間における視認方向に対応付けられる、仮想空間４０内における視認方向４６が特定される。上述のように仮想空間４０内の位置は、実空間内の位置と１対１で対応付けられており、仮想空間４０における向きは、実空間における向きと１対１で対応付けられているため、視認位置４４及び視認方向４６は一意に特定可能である。
【００５４】
そして本実施形態では例えば、実空間における視認位置から実空間における視認方向を見た際の飛行経路が表現された画像が生成される。ここで例えば、仮想空間４０における視認位置４４から仮想空間４０における視認方向４６を見た様子を表す画像が生成されてもよい。以下、このようにして生成される画像を飛行経路画像と呼ぶこととする。図４は、飛行経路画像の一例を示す図である。図４に示す飛行経路画像には、飛行経路オブジェクト４２の像が含まれている。
【００５５】
そして本実施形態では実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像がＨＭＤ１０の表示部２６に表示される。ここで位置合わせされた状態とは、あたかもあるべき位置に飛行経路オブジェクト４２が配置されているかのような実空間がＨＭＤ１０の装着者に視認されるよう、飛行経路画像内における飛行経路オブジェクト４２の位置が調整された状態を指す。すると図５に示すように、ＨＭＤ１０の装着者は、無人航空機１２の飛行中に、実空間にある無人航空機１２及び表示部２６に表示される飛行経路画像を同時に視認できることとなる。ここで図５に示されている無人航空機１２は実像であり、飛行経路画像は表示部２６に表示された虚像画像である。
【００５６】
ここで例えば、センサ部２８による計測結果及び表示部２６の設計値に基づいて、表示部２６を通して視認できるＨＭＤ１０の装着者の視野が特定されてもよい。そして、ＨＭＤ１０は、装着者の視野と飛行経路情報とに基づいて、視野内に飛行経路が含まれるか否かを判定してもよい。そして視野内に飛行経路が含まれると判定される場合にＨＭＤ１０は飛行経路画像を表示部２６に表示させてもよい。
【００５７】
ここで無人航空機１２の操縦者や監督者などのＨＭＤ１０の装着者によって図５に示す状況が視認されている場合は、ＨＭＤ１０の装着者は無人航空機１２が飛行経路に沿って飛行していることを把握できる。
【００５８】
一方、無人航空機１２の操縦者や監督者などのＨＭＤ１０の装着者によって図６に示す状況が視認されている場合は、ＨＭＤ１０の装着者は無人航空機１２が飛行経路から外れて飛行していることを把握できる。
【００５９】
このようにして本実施形態によれば、無人航空機１２の操縦者や監督者などが、無人航空機１２が飛行経路通りに飛行できているか否かを容易に把握できることとなる。
【００６０】
また図６に示す状況がＨＭＤ１０の装着者によって視認されている場合、ＨＭＤ１０の装着者は、無人航空機１２を装着者から見て左上に移動させることで、無人航空機１２を飛行経路に戻すことができることを容易に把握できることとなる。
【００６１】
ところで本実施形態において、視認位置や視認方向の推定結果に誤差が含まれることがある。当該誤差は、視認位置や視認方向を推定する処理の精度だけでなく、ＨＭＤ１０のセンサ部２８によって計測されるＨＭＤ１０の位置や向きの誤差や、装着者の身長についての誤差によって、発生することがある。特に、ＨＭＤ１０の向きが加速度センサやジャイロセンサの計測値を積分することにより特定される場合は、ＨＭＤ１０の向きの誤差が蓄積されやすい。この場合、無人航空機１２が実際は飛行経路情報が示す飛行経路に沿って飛行しているにも関わらず、ＨＭＤ１０の装着者には無人航空機１２が飛行経路から外れて飛行しているように視認されることがある。
【００６２】
このことを踏まえ、本実施形態において、無人航空機１２が飛行経路上にあるか否かが判定されるようにしてもよい。ここで例えば無人航空機１２のセンサ部３６により計測される無人航空機１２の位置と、飛行経路情報と、に基づいて、無人航空機１２が飛行経路上にあるか否かが判定されてもよい。そして当該判定の結果に応じて、飛行経路が表れている位置が補正された画像が表示されるか否かが制御されるようにしてもよい。
【００６３】
例えば補正がされない状態では、図６に示す状況がＨＭＤ１０の装着者によって視認される場面を想定する。この場面において、無人航空機１２が飛行経路上にないと判定された場合は、補正は行われないようにしてもよい。一方、無人航空機１２が飛行経路上にあると判定された場合は、図７に示すように表示部２６に表示される画像の補正が行われるようにしてもよい。ここでは例えば、生成される飛行経路画像に対して平行移動や回転などの補正が行われるようにしてもよい。当該補正は、例えば、予めキャリブレーションされたＨＭＤ１０のカメラと表示部２６との関係、視野範囲画像、及び、飛行経路画像内における現在時刻に無人航空機１２があるべき位置に基づいて行われてもよい。
【００６４】
ここで例えば、現在時刻に無人航空機１２があるべき飛行経路画像内における位置が視野範囲画像における無人航空機１２の位置に一致するよう飛行経路画像が補正されてもよい。
【００６５】
また例えば、飛行経路画像に示されている飛行経路上の、視野範囲画像における無人航空機１２の位置に最も近い位置が特定されてもよい。そしてこのようにして特定される飛行経路画像内における飛行経路上の位置が視野範囲画像における無人航空機１２の位置に一致するよう飛行経路画像が補正されてもよい。
【００６６】
また例えば、視認位置４４や視認方向４６を補正した上で新たな飛行経路画像が生成されるようにしてもよい。
【００６７】
図７に示す状況が、無人航空機１２の操縦者や監督者などのＨＭＤ１０の装着者によって視認されている場合においては、ＨＭＤ１０の装着者は無人航空機１２が飛行経路に沿って飛行していることを把握できる。
【００６８】
以下、本実施形態に係るＨＭＤ１０の機能並びに本実施形態に係るＨＭＤ１０で実行される処理についてさらに説明する。
【００６９】
図８は、本実施形態に係るＨＭＤ１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るＨＭＤ１０で、図８に示す機能のすべてが実装される必要はなく、また、図８に示す機能以外の機能が実装されていても構わない。
【００７０】
図８に示すように、本実施形態に係るＨＭＤ１０には、機能的には例えば、飛行経路情報取得部５０、仮想空間生成部５２、実空間位置方向特定部５４、仮想空間位置方向特定部５６、飛行経路画像生成部５８、表示制御部６０、判定部６２、が含まれる。
【００７１】
飛行経路情報取得部５０は、プロセッサ２０及び通信部２４を主として実装される。仮想空間生成部５２、仮想空間位置方向特定部５６、飛行経路画像生成部５８、判定部６２は、プロセッサ２０を主として実装される。実空間位置方向特定部５４は、プロセッサ２０及びセンサ部２８を主として実装される。表示制御部６０は、プロセッサ２０及び表示部２６を主として実装される。
【００７２】
以上の機能は、コンピュータであるＨＭＤ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２０で実行することにより実装されてもよい。また、このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１０に供給されてもよい。
【００７３】
飛行経路情報取得部５０は、本実施形態では例えば、実空間における無人航空機１２の飛行経路を示す飛行経路情報を取得する。ここで、飛行経路情報取得部５０は、無人航空機１２の予定の飛行経路を示す飛行経路情報を取得してもよい。上述のように飛行経路情報は、例えば、無人航空機１２の予定の飛行経路に沿った複数の位置を表す三次元座標値のリストを含んでいてもよい。また飛行経路情報に、飛行経路上の複数の位置のそれぞれについて、当該位置に無人航空機１２があるべき時刻が示された時刻情報が含まれていてもよい。
【００７４】
また、飛行経路情報取得部５０は、運行管理システム１４から送信される飛行経路情報を受信してもよい。また飛行経路情報取得部５０は、予めＨＭＤ１０の記憶部２２に記憶されている飛行経路情報を取得してもよい。
【００７５】
また、飛行経路情報取得部５０は、無人航空機１２の実際の飛行経路を示す飛行経路情報を取得してもよい。ここで例えば、無人航空機１２の通信部３４が、無人航空機１２のセンサ部３６によって計測される、無人航空機１２の実際の位置や向きを示す位置情報を所定の時間間隔でＨＭＤ１０に繰り返し送信するようにしてもよい。そして、飛行経路情報取得部５０が、所定の時間間隔で無人航空機１２から送信される一連の位置情報を、無人航空機１２の実際の飛行経路を示す飛行経路情報として受信してもよい。ここで当該飛行経路情報は、操縦端末１６を経由してＨＭＤ１０が受信してもよいし、ＨＭＤ１０が無人航空機１２から直接受信してもよい。
【００７６】
仮想空間生成部５２は、本実施形態では例えば、飛行経路に対応付けられる仮想オブジェクトが配置された仮想空間４０を生成する。ここで例えば、図３に示すような、飛行経路情報取得部５０が取得する飛行経路情報が示す飛行経路を表す飛行経路オブジェクト４２が配置された仮想空間４０が生成されてもよい。
【００７７】
実空間位置方向特定部５４は、本実施形態では例えば、実空間における視認位置及び視認方向を特定する。ここで実空間位置方向特定部５４は、実空間において視認位置から視認方向を見た様子とともに飛行経路画像をＨＭＤ１０の装着者に視認させる表示部２６の位置に対応付けられる視認位置、及び、表示部２６の向きに対応付けられる視認方向を特定してもよい。
【００７８】
仮想空間位置方向特定部５６は、本実施形態では例えば、実空間位置方向特定部５４により特定される実空間における視認位置に対応付けられる仮想空間４０における視認位置４４を特定する。また仮想空間位置方向特定部５６は、本実施形態では例えば、実空間位置方向特定部５４により特定される実空間における視認方向に対応付けられる仮想空間４０における視認方向４６を特定する。
【００７９】
飛行経路画像生成部５８は、本実施形態では例えば、飛行経路情報に基づいて、実空間における視認位置から実空間における視認方向を見た際の飛行経路が表現された、図４に示すような飛行経路画像を生成する。ここで飛行経路画像生成部５８が、仮想空間４０における視認位置４４から仮想空間４０における視認方向４６を見た様子を表す飛行経路画像を生成してもよい。
【００８０】
また飛行経路画像生成部５８は、飛行経路上の複数の位置のそれぞれについて、当該位置に無人航空機１２があるべき時刻がさらに表現された飛行経路画像を生成してもよい。例えば色、明るさ、透過度などの視認性が上述の時刻によって異なる飛行経路画像が生成されてもよい。例えば、関連付けられている時刻情報が示す時刻が前のものであるほど視認性が低く（例えば薄く見え）、後のものであるほど視認性が高い（例えば濃く見える）飛行経路画像が生成されてもよい。このようにすれば、ＨＭＤ１０の装着者は、より後の時刻の飛行経路の方が把握しやすくなる。
【００８１】
また飛行経路画像生成部５８は、現在時刻に応じた飛行経路画像を生成してもよい。例えば、飛行経路画像生成部５８は、飛行経路上の複数の位置のそれぞれについて、当該位置に無人航空機１２があるべき時刻が現在時刻よりも前であるか後であるかが表現された飛行経路画像を生成してもよい。例えば、現在時刻よりも前の飛行経路は現在時刻よりも後の飛行経路よりも視認性が低い飛行経路画像が生成されてもよい。あるいは現在時刻よりも前の飛行経路については表現されない飛行経路画像が生成されてもよい。また現在時刻において無人航空機１２があるべき位置にマーカの画像が配置された飛行経路画像が生成されてもよい。このようにすればＨＭＤ１０の装着者は現在時刻に無人航空機１２があるべき位置を把握できる。また、ＨＭＤ１０の装着者は、これから無人航空機１２を飛行させるべき経路をより把握しやすくなる。
【００８２】
また飛行経路画像生成部５８は、飛行経路情報が示す、無人航空機１２の予定の飛行経路、及び、無人航空機１２の実際の飛行経路（実際の飛行経路の履歴）の少なくとも一方が表現された飛行経路画像を生成してもよい。ここで飛行経路画像生成部５８は、例えば、無人航空機１２の予定の飛行経路に加え、又は、予定の飛行経路に代えて、実際の飛行経路が表現された飛行経路画像を生成してもよい。なお、予定の飛行経路と実際の飛行経路の両方が表現された飛行経路画像が生成される場合に、予定の飛行経路と実際の飛行経路とを識別可能な飛行経路画像が生成されてもよい。例えば、予定の飛行経路と実際の飛行経路とで視認性が異なる飛行経路画像が生成されてもよい。
【００８３】
表示制御部６０は、本実施形態では例えば、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像を表示部２６に表示させる。すなわち、あたかもあるべき位置に飛行経路オブジェクト４２が配置されているかのような実空間がＨＭＤ１０の装着者に視認されるよう、飛行経路画像内における飛行経路オブジェクト４２の位置が調整された状態で飛行経路画像が表示部２６に表示される。このことにより、ＨＭＤ１０の装着者は、図５や図６に示す状況を把握できる。ここで表示制御部６０は、飛行経路画像生成部５８が生成する飛行経路画像を表示部２６に表示させてもよい。
【００８４】
なお表示制御部６０が、飛行経路画像に加え、無人航空機１２の速度、無人航空機１２の位置（緯度、経度及び高度など）、操縦者から無人航空機１２までの距離、目的地までの距離、バッテリー残量、などといった無人航空機１２に関する情報を表示させてもよい。
【００８５】
判定部６２は、本実施形態では例えば、無人航空機１２が飛行経路上にあるか否かを判定する。ここで判定部６２は、計測される無人航空機１２の位置と飛行経路情報とに基づいて、無人航空機１２が飛行経路上にあるか否かを判定してもよい。ここで無人航空機１２の位置は、無人航空機１２のセンサ部２８により計測されてもよい。
【００８６】
そしてこの場合に、表示制御部６０は、判定部６２による判定の結果に応じて、飛行経路が表れている位置が補正された画像を表示させるか否かを制御してもよい。ここで例えば、無人航空機１２が飛行経路上にあると判定された場合に、飛行経路画像生成部５８が、補正された飛行経路画像を生成してもよい。ここで飛行経路画像生成部５８が、視認位置４４や視認方向４６を補正した上で新たな飛行経路画像を生成するようにしてもよい。あるいは、表示制御部６０が、飛行経路画像生成部５８により生成される飛行経路画像に対して平行移動や回転などの補正を行うようにしてもよい。
【００８７】
以下、本実施形態に係るＨＭＤ１０で実行される処理の流れの一例を、図９に示すフロー図を参照しながら説明する。本処理例では、飛行経路情報が既に飛行経路情報取得部５０により取得されていることとする。そして仮想空間生成部５２により、図３に例示する仮想空間４０が生成されていることとする。
【００８８】
また本実施形態では例えば、所定のフレームレートで表示部２６に飛行経路画像が表示されることとする。そして当該所定のフレームレートでＳ１０１〜Ｓ１１０に示す処理が繰り返し実行されることとする。
【００８９】
まず、実空間位置方向特定部５４は、実空間における視認位置及び実空間における視認方向を特定する（Ｓ１０１）。
【００９０】
そして、仮想空間位置方向特定部５６が、仮想空間４０における視認位置４４及び仮想空間４０における視認方向４６を特定する（Ｓ１０２）。ここではＳ１０１に示す処理で特定された実空間における視認位置に対応付けられる仮想空間４０における視認位置４４が特定される。またＳ１０１に示す処理で特定された実空間における視認方向に対応付けられる仮想空間４０における視認方向４６が特定される。
【００９１】
そして、飛行経路画像生成部５８が、仮想空間４０における視認位置４４から仮想空間４０における視認方向４６を見た様子を表す飛行経路画像を生成する（Ｓ１０３）。
【００９２】
そして、判定部６２が、ＨＭＤ１０が備えるカメラが撮影した視野範囲画像を取得する（Ｓ１０４）。
【００９３】
そして、判定部６２が、公知の画像認識技術を用いることにより、Ｓ１０４に示す処理で取得された視野範囲画像内における無人航空機１２の位置を特定する（Ｓ１０５）。
【００９４】
そして、判定部６２が、Ｓ１０３に示す処理で生成された飛行経路画像と、Ｓ１０５に示す処理で特定された無人航空機１２の位置と、に基づいて、ＨＭＤ１０の装着者に無人航空機１２が飛行経路から外れているように視認されるか否かを判定する（Ｓ１０６）。ここで当該判定は、予めキャリブレーションされたＨＭＤ１０が備えるカメラと表示部２６との関係、視野範囲画像から検出された無人航空機１２の位置、及び、生成された飛行経路画像において表現された飛行経路、に基づいて行われてもよい。
【００９５】
ＨＭＤ１０の装着者に無人航空機１２が飛行経路から外れているように視認されると判定された場合（Ｓ１０６：Ｙ）、飛行経路情報取得部５０が、無人航空機１２の現在位置を示す位置情報を取得する（Ｓ１０７）。
【００９６】
Ｓ１０７に示す処理では、飛行経路情報取得部５０が、現在位置を示す位置情報の送信を無人航空機１２に要求してもよい。そして飛行経路情報取得部５０が、当該要求に応じて無人航空機１２が送信する、無人航空機１２の現在位置を示す位置情報を受信してもよい。ここで当該位置情報は、操縦端末１６を経由してＨＭＤ１０が受信してもよいし、ＨＭＤ１０が無人航空機１２から直接受信してもよい。あるいは、飛行経路情報取得部５０は、飛行経路情報として無人航空機１２から繰り返し送信される位置情報のうちから、現在位置を示す位置情報を取得してもよい。
【００９７】
そして、判定部６２は、Ｓ１０７に示す処理で取得された位置情報と、飛行経路情報と、に基づいて、無人航空機１２が飛行経路上にあるか否かを判定する（Ｓ１０８）。ここで例えば、Ｓ１０７に示す処理で取得された位置情報が示す、三次元座標値で表現される位置と、飛行経路情報において三次元座標値で表現される、現在時刻に無人航空機１２があるべき位置と、の間の距離が特定されてもよい。そして特定される距離を示す値が所定の閾値以下である場合には、無人航空機１２が飛行経路上にあると判定されてもよい。
【００９８】
なお無人航空機１２が飛行経路上にあるか否かの判定方法は上述の例には限定されない。例えばＳ１０７に示す処理で取得された位置情報が示す、三次元座標値で表現される位置と、飛行経路情報に基づいて特定される飛行経路を表す線と、の間の距離が特定されてもよい。そして、特定される距離を示す値が所定の閾値以下である場合には、無人航空機１２が飛行経路上にあると判定されてもよい。
【００９９】
また水平方向（例えばＸ座標値及びＹ座標値）と、高さ方向（例えばＺ座標値）とで異なる閾値が用いられてもよい。例えば、Ｓ１０７に示す処理で取得された位置情報が示すＸＹ座標値で表される二次元平面上の点と、飛行経路情報において三次元座標値で表現される、現在時刻に無人航空機１２があるべき位置のＸＹ座標値で表される二次元平面上の点とが特定されてもよい。そして当該２点間の距離が第１の距離として特定されてもよい。そして例えば、Ｓ１０７に示す処理で取得された位置情報が示すＺ座標値で表される一次元直線上の点と、飛行経路情報において三次元座標値で表現される、現在時刻に無人航空機１２があるべき位置のＺ座標値で表される一次元直線上の点とが特定されてもよい。そして当該２点間の距離が第２の距離として特定されてもよい。そして第１の距離を示す値が第１の閾値以下であり、かつ、第２の距離を示す値が第２の閾値以下である場合に、無人航空機１２が飛行経路上にあると判定されてもよい。
【０１００】
無人航空機１２が飛行経路上にあると判定された場合は（Ｓ１０８：Ｙ）、表示制御部６０は、図７に示すような、Ｓ１０３に示す処理で生成された飛行経路画像に対して飛行経路が表れている位置が補正された画像を表示させる（Ｓ１０９）。
【０１０１】
無人航空機１２が飛行経路上にないと判定された場合は（Ｓ１０８：Ｎ）、表示制御部６０は、Ｓ１０３に示す処理で生成された飛行経路画像を表示させる（Ｓ１１０）。Ｓ１０６に示す処理でＨＭＤ１０の装着者に無人航空機１２が飛行経路上にあるように視認されると判定された場合（Ｓ１０６：Ｎ）も同様に、表示制御部６０は、Ｓ１０３に示す処理で生成された飛行経路画像を表示させる（Ｓ１１０）。Ｓ１１０に示す処理は、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像を表示部２６に表示させる処理の一例に相当する。
【０１０２】
そしてＳ１０１に示す処理に戻る。
【０１０３】
なお上述の処理例において、Ｓ１０４〜Ｓ１０６に示す処理は実行されなくてもよい。この場合に、Ｓ１０３に示す処理の後にＳ１０７に示す処理が実行されてもよい。
【０１０４】
また補正が行われないのであれば、Ｓ１０４〜Ｓ１０９に示す処理は実行される必要はない。この場合に、Ｓ１０３に示す処理の後にＳ１１０に示す処理が実行されてもよい。
【０１０５】
本実施形態において例えば、飛行経路情報に、選択可能な複数の飛行経路が示されていてもよい。また飛行経路情報には、現時点で選択可能な飛行経路と、将来的に選択可能となるが現時点では選択不可能な飛行経路（例えば現在は安全ではないが将来的に安全になる予定のエリアを通る飛行経路など）が示されていてもよい。また飛行経路情報には、１つの飛行経路から複数に分岐する飛行経路が示されていてもよい。
【０１０６】
このように飛行経路情報に複数の飛行経路が示されている場合に、飛行経路画像生成部５８は、選択されている飛行経路と選択されていない飛行経路とを識別可能な飛行経路画像を生成してもよい。例えば選択されている飛行経路と選択されていない飛行経路とで視認性が異なる飛行経路画像が生成されてもよい。例えば現在選択されている飛行経路が選択されていない飛行経路よりも視認性が高い飛行経路画像が生成されてもよい。また、現時点で選択可能な飛行経路が選択不可能な飛行経路よりも視認性が高い飛行経路画像が生成されてもよい。
【０１０７】
また飛行経路画像生成部５８は、無人航空機１２が飛行経路上にあるか否かに応じた態様の飛行経路画像を生成してもよい。例えば、無人航空機１２が飛行経路上にあると判定される場合に、無人航空機１２が飛行経路に沿って飛行していることを示すマーカを含む飛行経路画像が生成されてもよい。また無人航空機１２が飛行経路上にないと判定される場合に、無人航空機１２が飛行経路から外れて飛行していることを示すマーカを含む飛行経路画像が生成されてもよい。無人航空機１２が飛行経路に沿って飛行していることを示すマーカと無人航空機１２が飛行経路から外れて飛行していることを示すマーカとは、両方が配置可能であってもよいし片方が配置可能であってもよい。無人航空機１２が飛行経路に沿って飛行していることを示すマーカと無人航空機１２が飛行経路から外れて飛行していることを示すマーカとの両方が配置可能な場合には、色等が異なるようにしてこれらのマーカが識別可能とすることが望ましい。なお当該マーカは、実空間において現在時刻に無人航空機１２があるべき位置に対応付けられる、飛行経路画像内の位置に配置されてもよい。
【０１０８】
ここで飛行経路画像生成部５８は、視認位置から視認方向を見た際の飛行経路が表現された画像として、飛行経路オブジェクト４２の像とともに上述のマーカを含む画像を生成してもよい。また飛行経路画像生成部５８は、視認位置から視認方向を見た際の飛行経路が表現された画像として、飛行経路オブジェクト４２の像を含まず上述のマーカだけを含む画像を生成してもよい。
【０１０９】
また飛行経路情報取得部５０は、複数の無人航空機１２の飛行経路を示す飛行経路情報を取得してもよい。そして飛行経路画像生成部５８は、複数の無人航空機１２の飛行経路が表現された飛行経路画像を生成してもよい。
【０１１０】
ここで例えば、飛行経路画像生成部５８は、複数の無人航空機１２のそれぞれの飛行経路の視認性が異なる飛行経路画像を生成してもよい。例えば飛行経路画像生成部５８が、ＨＭＤ１０の装着者である操縦者、すなわち、飛行経路画像を見る操縦者が操縦している無人航空機１２の飛行経路と他の無人航空機１２の飛行経路とを識別可能な飛行経路画像を生成してもよい。
【０１１１】
例えば、ＨＭＤ１０の装着者である操縦者が操縦している無人航空機１２の飛行経路が他の無人航空機１２の飛行経路よりも視認性が高い飛行経路画像が生成されてもよい。あるいはＨＭＤ１０の装着者である操縦者が操縦している無人航空機１２の飛行経路が他の無人航空機１２の飛行経路よりも視認性が低い飛行経路画像が生成されてもよい。このようにすればＨＭＤ１０の装着者は、自らが操縦する無人航空機１２と他の無人航空機１２との接触の可能性を予期できる。そのため、自らが操縦する無人航空機１２と他の無人航空機１２とが接触する可能性を下げることができる。
【０１１２】
また、無人航空機１２が離陸する際に、ＨＭＤ１０が備えるカメラにより撮影される視野範囲画像内における無人航空機１２の位置を検出して、無人航空機１２の位置とＨＭＤ１０の位置との関係が推定されるようにしてもよい。このようにすれば、無人航空機１２の離陸地点を基準とした座標系におけるＨＭＤ１０の装着者の位置をより高精度に推定できる。
【０１１３】
また飛行経路画像生成部５８は、視認位置から見て無人航空機１２が飛行経路よりも手前にあるか奥にあるかに応じた飛行経路画像を生成してもよい。
【０１１４】
例えば、ＨＭＤ１０が備えるカメラが、無人航空機１２までの距離が測定可能な測距部を備えたカメラであるとする。この場合に、当該測距部により測定される無人航空機１２までの距離と、飛行経路情報と、に基づいて、視認位置から見て無人航空機１２が飛行経路よりも手前にあるか奥にあるかが判定されてもよい。そして視認位置から見て無人航空機１２が飛行経路よりも手前にある場合に、飛行経路が赤で表現された飛行経路画像が生成されてもよい。また、視認位置から見て無人航空機１２が飛行経路よりも奥にある場合に、飛行経路が黄で表現された飛行経路画像が生成されてもよい。また視認位置から見た際の無人航空機１２までの距離と飛行経路までの距離との差を示す値が所定値よりも小さい場合に、飛行経路が青で表現された飛行経路画像が生成されてもよい。
【０１１５】
また例えば、無人航空機１２が全方位カメラを備えている場合などにおいて、当該カメラが撮影する画像に対して画像認識を実行することで、障害物等のオブジェクトの位置が特定されてもよい。そして障害物や人物等のオブジェクトと飛行経路とが交差するか否かに応じた飛行経路画像が生成されるようにしてもよい。例えば、障害物や人物等のオブジェクトと飛行経路とが交差する場合には赤色の飛行経路画像が生成され、そうでない場合は青色の飛行経路画像が生成されるようにしてもよい。また例えば、障害物等のオブジェクトと交差する部分が赤くその他の部分が青い飛行経路画像が生成されてもよい。
【０１１６】
なお、本発明は上述の実施形態に限定されるものではない。
【０１１７】
例えば以上の説明ではＨＭＤ１０は光学透過型（オプティカルシースルー型）のＨＭＤ１０であることとしたが、本発明は、ＨＭＤ１０が映像透過型（ビデオシースルー型）のＨＭＤ１０の場合であっても適用可能である。この場合、実空間位置方向特定部５４が、映像透過型のＨＭＤ１０が備えるカメラの位置に対応付けられる視認位置、及び、当該カメラの撮影方向に対応付けられる視認方向を特定してもよい。当該カメラは例えば、ＨＭＤ１０の前方を撮影するカメラである。そして飛行経路画像生成部５８が、当該カメラにより撮影される画像に当該視認位置から当該視認方向を見た際の飛行経路が重畳された飛行経路画像を生成してもよい。例えば映像透過型のＨＭＤ１０が備えるカメラにより撮影される画像に図４に示す飛行経路画像が重畳された画像が生成されてもよい。このようにして生成される飛行経路画像は、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で実空間の様子と飛行経路とが表現された画像の一例であるといえる。そして表示制御部６０は、当該飛行経路画像を映像透過型のＨＭＤ１０が備える表示部２６に表示させてもよい。こうすれば、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像が表示部２６に表示されることとなる。
【０１１８】
また本発明の適用範囲はＨＭＤ１０にも限定されない。例えば、実空間に配置されたカメラが撮影する画像と図４に示す飛行経路画像が重畳された画像が表示される、ＨＭＤ１０ではないディスプレイを、無人航空機１２の操縦者や監督者が視認する場面についても本発明は適用可能である。なお当該カメラと当該ディスプレイとは分離されていても構わない。この場合に例えば、実空間位置方向特定部５４が、当該カメラの位置に対応付けられる視認位置、及び、当該カメラの撮影方向に対応付けられる視認方向を特定してもよい。そして飛行経路画像生成部５８が、当該カメラにより撮影される画像に当該視認位置から当該視認方向を見た際の飛行経路が重畳された画像を生成してもよい。そして表示制御部６０は、ＨＭＤ１０ではないディスプレイに当該飛行経路画像を表示させてもよい。
【０１１９】
また本実施形態において、図８に示す機能の一部又は全部が、無人航空機１２、運行管理システム１４、又は、操縦端末１６において実装されてもよい。
【０１２０】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【図１】
0006890759.tif 000002
【図２Ａ】
0006890759.tif 000003
【図２Ｂ】
0006890759.tif 000004
【図３】
0006890759.tif 000005
【図４】
0006890759.tif 000006
【図５】
0006890759.tif 000007
【図６】
0006890759.tif 000008
【図７】
0006890759.tif 000009
【図８】
0006890759.tif 000010
【図９】
0006890759.tif 000011