(57)【要約】【課題】無線発信機やマーカ等を事前に配置することなく施設内における飛行体の位置を好適に推定することが可能な位置推定システムを提供することを目的とする。【解決手段】本発明にかかる位置推定システム１００の構成は、施設内を飛行する飛行体１１０と、飛行体に搭載されるカメラ１１２と、カメラ１１２によって撮影された撮影画像を処理する演算装置１２０と、カメラ１１２によって事前に撮影された施設内の画像である基準画像と撮影位置を関連付けて格納する画像データベース１３０と、を含み、演算装置１２０は、飛行体１１０が施設を巡回中に撮影した撮影画像を画像データベース１３０に格納された基準画像と照合することにより、マッチングされた基準画像に関連付けられた撮影位置を飛行体１１０の飛行位置と推定することを特徴とする。【選択図】図１
2019212204.tif 000002
【特許請求の範囲】
【請求項１】
施設内を飛行する飛行体と、
前記飛行体に搭載されるカメラと、
前記カメラによって撮影された撮影画像を処理する演算装置と、
前記カメラによって事前に撮影された施設内の画像である基準画像と撮影位置を関連付けて格納する画像データベースと、
を含み、
前記演算装置は、前記飛行体が前記施設を巡回中に撮影した撮影画像を前記画像データベースに格納された基準画像と照合することにより、マッチングされた基準画像に関連付けられた撮影位置を前記飛行体の飛行位置と推定することを特徴とする位置推定システム。
【請求項２】
前記演算装置は、
前記基準画像から前記撮影位置を算出し、
前記施設の機器配置の３Ｄモデルと前記基準画像とを照合して前記撮影位置を補正し、
前記基準画像と前記補正した撮影位置を関連付けて前記画像データベースに格納することを特徴とする請求項１に記載の位置推定システム。
【請求項３】
前記飛行体は、線量計または温度計が更に搭載されることを特徴とする請求項１または２に記載の位置推定システム。
【請求項４】
前記飛行体を追尾しながら前記施設内を飛行する第２の飛行体を更に含むことを特徴とする請求項１から３のいずれか１項に記載の位置推定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、施設内を飛行する飛行体の飛行位置を推定する位置推定システムに関する。
【背景技術】
【０００２】
近年、広範囲のエリアの調査に飛行体いわゆるドローンが積極的に活用されている。調査エリアが屋外である場合、飛行体の位置はＧＰＳによって特定することが可能である。これに対し、調査エリアが屋内である場合、飛行体はＧＰＳ信号を受信することができない。このため、屋内を調査する際には飛行体の位置を特定することが困難である。
【０００３】
屋内を調査する際の飛行体の位置を特定する方法としては、例えば、ＵＷＢ（Ultra Wide Band）と呼ばれる無線を使用して自己位置測定方法が知られている。また他の方法としては、例えば特許文献１では、マーカを用いた高速移動物体の速度・位置の推定方法が開示されている。特許文献１の推定方法では、屋内の床面にマーカが設けられていて、このマーカを読み取ることにより位置を推定している。
【先行技術文献】
【非特許文献】
【０００４】
【特許文献１】特開２００８−５８２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＵＷＢ方式では、調査対象の屋内に無線発信機を事前に多数設置しておく必要がある。また特許文献１の方法では、屋内の床面にマーカを事前に配置しておく必要がある。このため、これらの方法であると、立入禁止の建設物等、無線発信機を設置したりマーカを配置したりすることが困難な建造物の屋内を調査する際には適用することができないという課題があった。
【０００６】
本発明は、このような課題に鑑み、無線発信機やマーカ等を事前に配置することなく施設内における飛行体の位置を好適に推定することが可能な位置推定システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明にかかる位置推定システムの代表的な構成は、施設内を飛行する飛行体と、飛行体に搭載されるカメラと、カメラによって撮影された撮影画像を処理する演算装置と、カメラによって事前に撮影された施設内の画像である基準画像と撮影位置を関連付けて格納する画像データベースと、を含み、演算装置は、飛行体が施設を巡回中に撮影した撮影画像を画像データベースに格納された基準画像と照合することにより、マッチングされた基準画像に関連付けられた撮影位置を飛行体の飛行位置と推定することを特徴とする。
【０００８】
上記構成によれば、施設を巡回中に飛行体に搭載されたカメラによって撮影された撮影画像と、画像データベースに格納された基準画像とを照合することにより、飛行体の飛行位置を推定することができる。したがって、無線発信機やマーカ等を事前に配置することなく施設内における飛行体の位置を好適に推定することが可能となる。
【０００９】
上記演算装置は、基準画像から撮影位置を算出し、施設の機器配置の３Ｄモデルと基準画像とを照合して撮影位置を補正し、基準画像と補正した撮影位置を関連付けて画像データベースに格納するとよい。かかる構成によれば、施設の機器配置の３Ｄモデルと照合して基準画像の撮影位置を補正することにより、基準画像の撮影位置の精度を高めることができる。したがって、飛行体の飛行位置をより高精度に推定することが可能となる。
【００１０】
上記飛行体は、線量計または温度計が更に搭載されるとよい。これにより、飛行体によって巡回した領域の放射線量や温度のデータを得ることができ、有益性を高めることが可能となる。ただし、線量計または温度計に限定するものではなく、飛行体には、それら以外の他のセンサを搭載することも可能である。
【００１１】
上記飛行体を追尾しながら施設内を飛行する第２の飛行体を更に含むとよい。これにより、第２の飛行体によって前方の飛行体の周囲を撮影することができる。したがって、前方の飛行体の周囲の障害物を好適に把握することができ、運用の安定性を高めることが可能となる。
【発明の効果】
【００１２】
本発明によれば、無線発信機やマーカ等を事前に配置することなく施設内における飛行体の位置を好適に推定することが可能な位置推定システムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態にかかる位置推定システムを説明する図である。
【図２】画像データベースの作成方法を説明する図である。
【図３】画像データベースの作成方法を説明する図である。
【図４】画像データベースに格納された基準画像の撮影位置の補正について説明する図である。
【図５】本実施形態の位置推定システムの他の運用方法を説明する図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１５】
図１は、本実施形態にかかる位置推定システム１００を説明する図である。図１に示すように、本実施形態の位置推定システム１００は、飛行体１１０、カメラ１１２および演算装置１２０を含んで構成される。飛行体１１０は、施設内を飛行しながら移動する移動体であり、かかる飛行体１１０にカメラ１１２が搭載される。
【００１６】
演算装置１２０は、演算部１２２および画像データベース１３０を含んで構成される。演算部１２２は、カメラ１１２によって撮影された撮影画像を処理する。画像データベース１３０は、カメラ１１２によって事前に撮影された施設内の画像である基準画像と撮影位置を関連付けて格納する。
【００１７】
図２および３は、画像データベース１３０の作成方法を説明する図である。図２（ａ）は、飛行中の飛行体１１０を上方から観察した模式図であり、図２（ｂ）、図２（ｃ）および図２（ｄ）は、飛行中の飛行体１１０のカメラ１１２によって撮影された画像を例示する図である。画像データベース１３０を作成する際には、図２（ａ）に示すように、まず飛行体１１０に施設内を飛行させ、カメラ１１２によって施設内の画像を事前に撮影する。このとき、飛行体１１０の飛行ルートとして、図２（ａ）に示すように、右側の機器１０２ａと左側の機器１０２ｂとの間の中央を前方に飛行する場合を例に説明する。
【００１８】
飛行体１１０が位置Ｐ１を飛行しているときに撮影された画像は、図２（ｂ）に示すように機器１０２ａ〜１０２ｅ、すなわちすべての機器が写っている。そして、飛行体１１０が位置Ｐ１から前方に移動し、位置Ｐ２を飛行しているときに撮影された画像は、図２（ｃ）に示すように機器１０２ｃ〜１０２ｅが写っている。その後、飛行体１１０が位置Ｐ２から前方に移動し、位置Ｐ３を飛行しているときに撮影された画像は、図２（ｄ）に示すように機器１０２ｅのみが写っている。
【００１９】
なお、上記のように施設内の画像を事前に撮影する際には、飛行体１１０を低速で飛行させ、且つ撮影の時間間隔を短くすることが好ましい。これにより、より多くの位置における画像が得られる。また事前の撮影時の飛行体１１０の飛行高さは、巡回時の飛行予定高度と同一の一定高度に保ち、かつ、実際の高度データを記録しておくことが好ましい。飛行体１１０の飛行高さは、飛行体１１０に気圧計や下向きの超音波距離計を搭載することにより、それらの値に応じて制御することができる。
【００２０】
図３（ａ）は、推測された飛行体１１０の飛行位置を例示する図であり、図３（ｂ）、図３（ｃ）および図３（ｄ）は、それぞれ図２（ｂ）、図２（ｃ）および図２（ｄ）に相当する図である。上述したように事前に施設内の画像を撮影したら、演算部１２２は、その画像を参照して、その画像を撮影したときの飛行体１１０の撮影位置を算出する。飛行体１１０の撮影位置を算出する手法としては、例えばＭｏｎｏｃｕｌａｒ  ＶＯ（Visual Odometry）を用いることができる。
【００２１】
上記手法を用いることにより、事前に撮影した画像から飛行体１１０が飛行していた撮影位置を算出することができる。詳細には、図３（ｂ）に示す画像を上記手法によって解析することにより、撮影時に飛行体１１０が飛行していた撮影位置はＰ１´であると算出される。図３（ｃ）に示す撮影画像を上記手法によって解析することにより、撮影時に飛行体１１０が飛行していた位置はＰ２´であると算出される。図３（ｄ）に示す画像を上記手法によって解析することにより、撮影時に飛行体１１０が飛行していた撮影位置はＰ３´であると算出される。
【００２２】
事前に撮影した複数の画像それぞれを撮影した際の飛行体１１０の撮影位置が算出されたら、演算部１２２は、それらの画像と、各画像に対応して算出された撮影位置（図３の例では、Ｐ１´、Ｐ２´およびＰ３´）とを関連付けて画像データベース１３０に格納する。これにより、各画像により画像データベース１３０が構築される。以下、画像データベース１３０に格納された画像を基準画像と称する。
【００２３】
ここで、算出されたＰ１´、Ｐ２´およびＰ３´は、現実の撮影位置である、Ｐ１、Ｐ２およびＰ３と位置ずれが生じている可能性がある。そこで、本実施形態の位置推定システム１００では、基準画像から算出した撮影位置を、施設の機器配置の３Ｄモデルと照合して補正する。図４は、画像データベース１３０に格納された基準画像の撮影位置の補正について説明する図である。図４（ａ）は、飛行体１１０が事前画像を撮影した施設の機器配置図であり、例えば機器１０２ｅの寸法Ｗ１が記載されている。演算装置１２０は、図４（ａ）の機器配置図等の設備情報を基に、施設の機器配置の３Ｄモデル（図４（ｂ）参照）を作成する。
【００２４】
本実施形態の位置推定システム１００の特徴として、演算装置１２０の演算部１２２は、施設の機器配置の３Ｄモデル（図４（ｂ）参照）を用いて、画像データベースに格納されている各基準画像に対応して算出された撮影位置（図３の例では、Ｐ１´、Ｐ２´およびＰ３´）を補正する。
【００２５】
詳細には、演算部１２２は、図４（ｂ）に示すように、３Ｄモデル空間において算出された撮影位置（例えばＰ２´）から見えるはずの画像を生成する。そして図４（ｂ）に示す３Ｄモデルと、図４（ｃ）に示す基準画像（２Ｄ）とを照合する。演算部１２２の内部で行われる照合のイメージは、図４（ｄ）に示すとおりである。そして、演算部１２２は、図４（ｂ）の３Ｄモデルの特徴点（白丸で図示）が図４（ｃ）の基準画像の特徴点（黒丸で図示）に近接するように、撮影位置Ｐ２´の視点を修正する。これにより、図４（ｅ）に示すように、飛行体１１０の撮影位置が破線に示す位置（算出された撮影位置、図３のＰ１´、Ｐ２´およびＰ３´）から実線に示す位置（現実の撮影位置、図２のＰ１、Ｐ２およびＰ３）に補正される。
【００２６】
飛行体１１０の撮影位置を補正したら、演算部１２２は、基準画像と、補正した撮影位置を関連付けて記画像データベース１３０に格納する。上記説明したように、施設の機器配置を基に作成した３Ｄモデルによって基準画像の撮影位置を補正することにより、基準画像の撮影位置の精度を高めることができる。したがって、後述するように飛行体１１０が施設を巡回した際の飛行位置を高い精度で推定することが可能となる。
【００２７】
なお、機器配置図を利用すれば、機器の幅Ｗ１（図４（ａ）参照）の正確な値が得られる。したがって、図４（ｂ）の機器の幅Ｗ１と、図４（ｃ）の基準画像の機器の幅Ｗ２との比を算出することにより、飛行体１１０の移動量を算出することができ、基準画像の撮影位置をより好適に補正することが可能となる。
【００２８】
ただし、上記説明したような基準画像の撮影位置の補正処理は、飛行体１１０が事前に撮影したすべての画像に対して行う必要はない。例えば、１０コマおき等、適当な間隔の画像に対して上述した処理を行い、残りの画像については補間によって補正を行うことで、補正処理にかかる負荷を軽減することが可能である。
【００２９】
上述したようにして、演算部１２２は画像データベース１３０を構築する。演算部１２２は、巡回時には画像データベース１３０を用いて飛行体１１０の飛行位置の推定を行う。詳細には、まず演算装置１２０の演算部１２２は、飛行体１１０が施設を巡回中に撮影した撮影画像を所定間隔ごとに取得し、取得した撮影画像と、画像データベース１３０に格納された基準画像と照合する。そして、演算部１２２は、照合処理によってマッチングされた基準画像に関連付けられた撮影位置を飛行体１１０の飛行位置と推定する。
【００３０】
上記説明したように、本実施形態の位置推定システム１００によれば、施設を巡回中に飛行体１１０に搭載されたカメラ１１２によって撮影された撮影画像と、画像データベース１３０に格納された基準画像とを照合することにより、飛行体１１０の飛行位置を推定することができる。したがって、無線発信機やマーカ等を事前に配置することなく施設内における飛行体１１０の位置を好適に推定することが可能となる。
【００３１】
なお、飛行体１１０による施設の巡回を開始する際には、飛行体１１０の位置を手動で画像データベースに入力することにより、巡回開始点の画像を画像データベース１３０から抽出するとよい。そして、飛行体１１０の巡回中は、１つ前の照合タイミングにおける飛行体１１０の飛行位置から推定できる現在の飛行位置の近傍に相当する画像を画像データベースから優先的に検索することにより、飛行体１１０の現在の飛行位置を効率的に推定することができる。具体的には、照合を毎秒１回行っていて飛行体１１０が前方に毎秒０．１ｍで移動している場合には、１秒前の照合タイミングにおける位置から０．１ｍ前方の位置の近傍の画像を優先的に検索するとよい。
【００３２】
また一時的に高所を確認する必要がある時は、その場でいったん上昇し、確認が済んだら下降して巡視高度に戻る。これにより、画像データベース１３０による飛行体１１０の飛行位置の推定を再開することができる。
【００３３】
以下、上記説明した位置推定システム１００の他の運用方法について説明する。他の運用方法の１つめとしては、例えば施設を巡回する際に飛行体１１０を指定したコースに沿って自動飛行させる方法がある。このような場合、指定したコースによって通過するポイントを適当選定し、指定箇所とする。そして、その指定箇所において撮影した撮影画像と画像データベース１３０との基準画像を照合し、飛行体１１０の飛行位置を補正する。飛行位置を補正し終わったら、飛行体１１０を次の指定箇所に飛行させる。これにより、飛行体１１０の巡回時の位置推定にかかる演算装置１２０の負荷を軽減することが可能となる。
【００３４】
他の運用方法の２つめとしては、飛行体１１０に線量計や温度計など（以下、これらを総じてセンサと称する）を搭載して施設内を巡回させる方法がある。これにより、センサの測定値と飛行体１１０の飛行位置とを関連付けることにより、これにより、飛行体１１０によって巡回した施設内の所定の箇所における放射線量や温度などのデータを得ることができ、有益性を高めることが可能となる。
【００３５】
センサの測定値と飛行体１１０の飛行位置とを関連付ける際には、飛行体１１０の現在箇所におけるセンサの測定値を取得し、その現在箇所における撮影画像を画像データベース１３０の基準画像と照合する。そして、飛行体１１０の飛行位置を推定できたら、センサの測定値と飛行体１１０との位置とを関連付けて格納する。このような処理を巡視対象の施設内の多数の箇所で行うことにより、巡視対象の施設内における放射線量や温度の分布図を作成することが可能となる。また例えばセンサによって測定を行う箇所を予め指定しておき、飛行体１１０がその箇所に到達したらセンサによる測定を行うという構成にすることも可能である。
【００３６】
他の運用方法の３つめとしては、飛行体１１０によって施設内にある圧力計などの計器の測定値を取得しに行く方法がある。この場合は、画像データベース１３０を作成するときに計器までの飛行経路の画像を事前に撮影しておき、機器配置図によって計器の位置を確定しておく。そして、巡回する際には、機器までの飛行経路を指定し、飛行体１１０をその飛行経路を飛行させて計器の測定値の画像を取得する。
【００３７】
図５は、本実施形態の位置推定システム１００の他の運用方法を説明する図である。他の運用方法の４つめとしては、飛行体１１０に加え、第２の飛行体１４０を用いる方法がある。図５に示すように、本実施形態の位置推定システム１００は、飛行体１１０を追尾しながら施設内を飛行する第２の飛行体１４０を更に含む構成とすることができる。第２の飛行体１４０には、前方を撮影するカメラ１４２が搭載されている。
【００３８】
上記構成によれば、第２の飛行体１４０によって前方の飛行体１１０の周囲を撮影することができる。したがって、前方の飛行体１１０の周囲の障害物を好適に把握することができ、運用の安定性を高めることが可能となる。また例えば第２の飛行体１４０のカメラ１４２によって撮影された撮影画像を画像データベース１３０の基準画像と照合することにより、第２の飛行体１４０の飛行位置を推定することも可能となる。第２の飛行体１４０によって先行する飛行体１１０を追尾する手法としては、第２の飛行体１４０に飛行体１１０の画像を保持させておき、前方を飛行する飛行体１１０を第２の飛行体１４０のカメラ１４２の画像上で認識するとよい。
【００３９】
飛行体１１０および第２の飛行体１４０を用いて位置推定システム１００を運用する際には、まず前方を飛行する飛行体１１０は、操縦者の手動操縦、または先に説明した位置推定システム１００による位置推定を利用して自動操縦によって施設内を飛行する。一方、第２飛行体１１０は、前方を飛行する飛行体１１０が自機に搭載されたカメラ１４２によって撮影した撮影画像の中央に一定の大きさで写り続けるように自機の位置を制御しながら飛行する。これにより、第２の飛行体１４０を、前方を飛行する飛行体１１０との距離をほぼ一定に保った状態で飛行させ、飛行体１１０を追尾することが可能となる。
【００４０】
なお、仮に第２の飛行体１４０が飛行体１１０をカメラ画像内から見失ったとしても、飛行体１１０の飛行位置は、上記説明した位置推定システム１００によって自機の位置を推定することができる。したがって、前方を飛行する飛行体１１０に近づくよう、第２の飛行体１４０が自機の飛行を制御することにより、飛行体１１０の追尾を再開することが可能となる。
【００４１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【００４２】
本発明は、施設内を飛行する飛行体の飛行位置を推定する位置推定システムとして利用することができる。
【符号の説明】
【００４３】
１００…位置推定システム、１０２ａ…機器、１０２ｂ…機器、１０２ｃ…機器、１０２ｅ…機器、１１０…飛行体、１１２…カメラ、１２０…演算装置、１２２…演算部、１３０…画像データベース、１４０…第２の飛行体、１４２…カメラ
【図１】
2019212204.tif 000003
【図２】
2019212204.tif 000004
【図３】
2019212204.tif 000005
【図４】
2019212204.tif 000006
【図５】
2019212204.tif 000007