(57)【要約】  落下物のような物体の探索を容易にする技術を提供する。物体捜索システム１は、落下物１０６の位置情報を検出する検出装置１１０と、ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えたスコープ１０９と、を備える。検出装置１１０は、レーダー装置１００を用いて物体を検出する。レーダー制御装置１０１は、検出した物体の位置情報を算出し、無線伝送装置１０３を介してスコープ１０９に送信する。スコープ１０９は、検出装置１１０から取得した落下物１０６の位置情報を、特定表示（矢印や波紋形状等）で拡張現実空間上に表示する。
2019065045.tif 000002
【特許請求の範囲】
【請求項１】
物体の位置情報を検出する検出装置と、ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置と、を備えた物体捜索システムであって、
前記検出装置は、前記物体捜索装置に前記物体の位置情報を送信する送信部を備え、
前記物体捜索装置は、
前記検出装置から送信された前記物体の位置情報を受信する受信部と、
自身の位置情報を取得する取得部と、
前記物体の位置情報と、前記自身の位置情報とに基づいて、前記表示部に前記物体の位置を特定する特定表示を表示する表示制御部と、を備えていることを特徴とする物体捜索システム。
【請求項２】
前記表示制御部は、前記特定表示として、前記物体の位置を示す直線を物体の位置に向けて表示することを特徴とする請求項１に記載の物体捜索システム。
【請求項３】
前記表示制御部は、前記特定表示として、前記物体の位置において、前記物体との近さを示す表示を行うことを特徴とする請求項１に記載の物体捜索システム。
【請求項４】
前記表示制御部は、前記近さを示す表示を、前記物体に近づくにつれて多くする、又は、大きくすることを特徴とする請求項３に記載の物体捜索システム。
【請求項５】
前記表示制御部は、前記特定表示として、前記物体への方向を示す矢印を表示することを特徴とする請求項１に記載の物体捜索システム。
【請求項６】
前記検出装置は、前記物体を撮影するカメラを備え、
前記物体捜索装置は前記物体の画像を受信し、前記表示制御部が前記表示部に表示することを特徴とする請求項１に物体捜索システム。
【請求項７】
ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置であって、
探索対象の物体の位置情報を取得する受信部と、
自身の位置情報を取得する取得部と、
前記物体の位置情報と、前記自身の位置情報とに基づいて、前記表示部に前記物体の位置を特定する特定表示を表示する表示制御部と、を備えていることを特徴とする物体捜索装置。
【請求項８】
前記表示制御部は、前記特定表示として、前記物体の位置を示す直線を物体の位置に向けて表示することを特徴とする請求項７に記載の物体捜索装置。
【請求項９】
前記表示制御部は、前記特定表示として、前記物体の位置において、前記物体との近さを示す表示を行うことを特徴とする請求項７に記載の物体捜索装置。
【請求項１０】
前記表示制御部は、前記近さを示す表示を、前記物体に近づくにつれて多くする、又は、大きくすることを特徴とする請求項９に記載の物体捜索装置。
【請求項１１】
前記表示制御部は、前記特定表示として、前記物体への方向を示す矢印を表示することを特徴とする請求項７に記載の物体捜索装置。
【請求項１２】
物体の位置情報を取得する物体位置取得工程と、
ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置の位置情報を取得する表示位置取得工程と、
前記物体の位置情報を、前記物体の位置情報と前記物体捜索装置の位置情報とに基づいて、それら位置情報の関係が反映された特定表示として前記拡張現実空間に表示する特定表示工程と、
を有することを特徴とする物体捜索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体捜索システム、物体捜索装置、及び、物体捜索方法に係り、特に、現実空間に画像を合成した拡張現実空間を表示させる物体捜索システム、物体捜索装置、及び、物体捜索方法に関する。
【背景技術】
【０００２】
レーダーなどで、広大なエリア（作業現場、グラウンド、施設内、駐車場、道路、線路、滑走路など）における障害物や落下物等（以下、落下物という）を検出するシステムがある。このようなシステムではレーダーの検出結果に基づいて、落下物の位置（座標など）をある程度の精度で特定することができる。【０００３】
レーダーによって落下物が検出されると、管理会社の作業者等が落下物を回収しに行くが、従来は、落下物の座標情報に基づいて地図を見ながら捜索していた。例えば、タブレットに地図を表示させ、落下物の地点を強調表示するなどしていた。【０００４】
一方、近年では、ＡＲ(Augmented Reality:拡張現実)技術を用いる技術が提案されている（例えば、特許文献１及び２参照）。例えば、特許文献１では、ヘッドマウントディスプレイ装置に、現実空間（外部の景色）に各種の付加情報（ＡＲ情報）を重ねて表示する技術が開示されている。また、特許文献２では、保管場所に置かれている多数の品物の中から目的の資材や部品を見つけ出す技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献２】特開２０１１−２４２５９１号公報
【特許文献１】特開２０１５−０７５８３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、タブレットで捜索する場合、目印がない広大なエリアでは見つけにくいという課題があり、タブレットを見ながらの探索になるので作業者が危険であった。また、探索時は日中とは限らず、日暮以降の日照が乏しい時間帯も考えられる。薄暗い状況下において、探索する落下物が小さいものであれば、尚更探索は困難であるという課題がある。特許文献１、２に開示の技術では、広大なエリアで物体を探索することを想定しておらず新たな技術が求められていた。【０００７】
本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、物体の位置情報を検出する検出装置と、ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置と、を備えた物体捜索システムであって、前記検出装置は、前記物体捜索装置に前記物体の位置情報を送信する送信部を備え、前記物体捜索装置は、前記検出装置から送信された前記物体の位置情報を受信する受信部と、自身の位置情報を取得する取得部と、前記物体の位置情報と、前記自身の位置情報とに基づいて、前記表示部に前記物体の位置を特定する特定表示を表示する表示制御部と、を備える。
また、前記表示制御部は、前記特定表示として、前記物体の位置を示す直線を物体の位置に向けて表示してもよい。
また、前記表示制御部は、前記特定表示として、前記物体の位置において、前記物体との近さを示す表示を行ってもよい。
また、前記表示制御部は、前記近さを示す特定表示を、前記物体に近づくにつれて多くする、又は、大きくしてもよい。
また、前記表示制御部は、前記特定表示として、前記物体への方向を示す矢印を表示してもよい。
また、前記検出装置は、前記物体を撮影するカメラを備え、前記物体捜索装置は前記物体の画像を受信し、前記表示制御部が前記表示部に表示してもよい。
本発明は、ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置であって、探索対象の物体の位置情報を取得する受信部と、自身の位置情報を取得する取得部と、前記物体の位置情報と、前記自身の位置情報とに基づいて、前記表示部に前記物体の位置を特定する特定表示を表示する表示制御部と、を備えている。
また、前記表示制御部は、前記特定表示として、前記物体の位置を示す直線を物体の位置に向けて表示してもよい。
また、前記表示制御部は、前記特定表示として、前記物体の位置において、前記物体との近さを示す表示を行ってもよい。
また、前記表示制御部は、前記近さを示す表示を、前記物体に近づくにつれて多くする、又は、大きくしてもよい。
また、前記表示制御部は、前記特定表示として、前記物体への方向を示す矢印を表示してもよい。
本発明の物体捜索方法は、物体の位置情報を取得する物体位置取得工程と、ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置の位置情報を取得する表示位置取得工程と、前記物体の位置情報を、前記物体の位置情報と前記物体捜索装置の位置情報とに基づいて、それら位置情報の関係が反映された特定表示として前記拡張現実空間に表示する特定表示工程と、を有する。
【発明の効果】
【０００９】
本発明によれば、落下物の具体的な形状情報が無い状態での物体捜索を容易にすることができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る、物体捜索システムの構成を示すブロック図である。
【図２】実施形態に係る、スコープの構成を示すブロック図である。
【図３】実施形態に係る、落下物の場所を示す直線と波紋の表示態様の例を示す図である。
【図４】実施形態に係る、物体捜索システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面を参照して詳細に説明する。
本実施形態では、ＡＲ技術を用いて広大なエリアにおいて物体を検出する技術を説明する。ここでは、適用例として、工場敷地内で、透明な表示部を有するスコープ（物体捜索装置）に特定の表示をすることで落下物の捜索を行う例を説明する。
【００１２】
図１は、本実施形態に係る物体捜索システム１の概略構成を示すブロック図である。図２はスコープ１０９を示す図であり、図２（ａ）はスコープ１０９における表示例を示し、図２（ｂ）はスコープ１０９の概略構成を示すブロック図である。
【００１３】
図１に示すように、物体捜索システム１は、作業員１０８が用いるスコープ１０９と、検出装置１１０とを備える。検出装置１１０が検出した落下物１０６の情報をスコープ１０９に表示させる。
【００１４】
検出装置１１０は、レーダー装置１００と、カメラ装置１０５と、それらを制御する制御・監視装置１２０とを備える。敷地内に設置されているレーダー装置１００及びカメラ装置１０５を用いて、路面１０７の表面状態を監視する。レーダー装置１００及びカメラ装置１０５は、設置位置や設置数は特に限定せず、光ファイバー等によって検出装置１１０に接続され遠隔操作可能となっている。
【００１５】
レーダー装置１００は、例えば、所定の電磁波（例えば６０ＧＨｚ以上のミリ波帯）を送信し、落下物１０６からの反射波を受信することで、落下物の存在を検出する。カメラ装置１０５は、検出結果をもとに落下物１０６を撮影する。
【００１６】
制御・監視装置１２０は、レーダー制御装置１０１と、検出結果表示装置１０２と、無線伝送装置１０３と、カメラ制御装置１０４と、を備える。
【００１７】
レーダー制御装置１０１は、レーダー装置１００を制御するとともに、受信検出結果の信号処理機能を有し、定期的にまたは管理者等の操作により所定範囲をレーダー探索し、落下物１０６の落下物情報（具体的には、位置情報（座標）や形状情報）を取得する。
【００１８】
カメラ制御装置１０４は、レーダー装置１００及びレーダー制御装置１０１による落下物１０６の検出結果をもとに、検出した落下物１０６を撮影する。
【００１９】
検出結果表示装置１０２は、レーダー制御装置１０１での信号処理された受信検出結果を表示する。具体的には、検出結果表示装置１０２は、落下物１０６の存在する位置座標や落下位置を示した地図、カメラ装置１０５によって撮影された落下物１０６の実体画像などが表示される。
【００２０】
また、検出結果表示装置１０２には、無線伝送装置１０３が接続されており、作業員１０８のスコープ１０９やタブレット等の携帯端末（図示せず）に落下物情報を伝送する。
【００２１】
スコープ１０９やタブレット等への落下物情報送信は、検出結果表示装置１０２を見て落下物１０６の存在を目視・確認した管理者等が手動で送信してもよいし、レーダー制御装置１０１が検出した情報を元に自動に送信してもよい。
【００２２】
図２（ｂ）に示すように、スコープ１０９は、スコープ制御部１５１と、無線伝送部１５２と、表示部１５３と、記憶部１５４と、位置センサ１５５とを備える。
【００２３】
位置センサ１５５は、例えばＧＮＳＳセンサ１５６と、ジャイロセンサ１５７とを備える。ＧＮＳＳセンサ１５６は、スコープ１０９の位置、すなわち作業員１０８の位置を検知する。ジャイロセンサ１５７は、スコープ１０９の向きを検知する。
【００２４】
無線伝送部１５２は、検出装置１１０の無線伝送装置１０３と通信して、落下物１０６の落下物情報や地図情報を取得し、記憶部１５４に記憶する。なお、地図情報は予め記憶部１５４に保持してもよい。
【００２５】
スコープ制御部１５１は、スコープ１０９全体の制御をするものである。ここで、図２（ａ）を参照して、スコープ制御部１５１が表示部１５３を表示制御した表示態様を説明する。スコープ制御部１５１は、ＧＮＳＳセンサ１５６が取得した自身の位置情報（座標）と、ジャイロセンサ１５７に基づいて、作業員１０８が見ている方向と落下物の位置を対比して、落下物１０９の方向（すなわち、作業員１０８が進むべき方向）を矢印Ａで表示部１５３に表示する。矢印Ａの太さや長さを変えることで、距離を示してもよい。
【００２６】
また、スコープ制御部１５１は、検出装置１１０から取得した落下物１０６の位置に対して、視野上方から下方に向けて雨のような線Ｂ（直線でも破線でもよい）を表示する。この表示は点滅でもよい。さらに、落下物１０６とスコープ１０９との距離を示す表示として、波紋表示Ｃを表示する。
【００２７】
図３に、落下物１０６の場所を示す直線Ｂと波紋Ｃの表示態様の例を示す。図示で左側が落下物１０６に遠い場合の表示であり、右側が近い場合の表示である。スコープ１０９を装着した作業員１０８が落下物１０６に近づいていくと、近づいたことが視覚的に分かるように、落下物１０８に近づくほど波紋Ｃが増えるように表示する。ここでは、最も遠い場合に、波紋Ｃが１つで、最も近い場合に波紋Ｃが３つ表示される。
【００２８】
なお、カメラ装置１０５が撮影した落下物１０６の画像を表示部１５３に同時に表示させてもよい。その場合、落下物１０６や直線Ｂの表示に邪魔にならない領域に表示させる。
【００２９】
落下物１０６の探索タイミングは日中とは限らず、日暮以降の日照が乏しい時間帯も考えられる。野外の薄暗い状況化においても、スコープ１０９には落下物１０６の方向を示す矢印Ａ、落下物１０６の位置に対して視野上方から下方に向けて雨のように表示される線Ｂ、落下物との距離を示す波紋表示Ｃなどが表示されるので、それらの表示を頼りに落下物の位置を捜索することができる。
【００３０】
上記の一連の動作を、図４にフローチャートを参照して、まとめて説明する。
検出装置１１０がレーダー装置１００による探索によって落下物１０６を検出すると（Ｓ１０）、レーダー制御装置１０１は、その情報から落下物１０６の位置情報を特定し取得する（Ｓ１２）。レーダー制御装置１０１は、さらに、カメラ制御装置１０４を制御してカメラ装置１０５に検知した落下物１０６を撮影させることで、落下物１０６の形状を確認させる（Ｓ１４）。
【００３１】
検出結果表示装置１０２は、レーダー装置１００が検出しカメラ装置１０５が撮影した落下物１０６を表示し（Ｓ１６）、さらに、スコープ１０９に落下物１０６の物体情報を送信する（Ｓ１８）。スコープ１０９は、検出装置１１０から取得した落下物１０６の物体情報をＡＲ処理して表示部１５３に表示させる（Ｓ２０）。
【００３２】
これにより、作業員１０８は実際の落下物１０６の大きさ・色などの具体的情報を事前に知ることができ、捜索を容易にし、捜索時間の短縮を実現することができる。
図２（ａ）等に示す例では、大きい落下物１０６を例示したが、広大なエリアにおいて数センチの落下物１０６を検索する場合には、本発明のスコープ１０９を利用することで、作業者（捜索者）の安全性を確保しつつ、捜索の負担と時間を大幅に軽減できる。
【００３３】
以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば、上記の実施形態では、スコープ１０９の透明型（光学透過型）の表示部１５３であったが、ビデオ透過型でもよく、その場合には、スコープ１０９に外部の映像を取得する撮像装置が設けられる。
【００３４】
また、上述した実施形態では、スコープ１０９は検出装置１１０と無線通信を行って落下物１０６の落下物情報（位置情報等）を取得する場合を例にあげた。しかし、本発明の物体捜索装置が外部から物体の位置情報を取得する方法は限定されるものではない。
【符号の説明】
【００３５】
１  物体捜索システム１００  レーダー装置１０１  レーダー制御装置１０２  検出結果表示装置１０３  無線伝送装置１０４  カメラ制御装置１０５  カメラ装置１０６  落下物１０７  路面１０８  作業員１０９  スコープ１１０  検出装置１２０  制御・監視装置１５１  スコープ制御部１５２  無線伝送部１５３  表示部１５４  記憶部１５５  位置センサ１５６  ＧＮＳＳセンサ１５７  ジャイロセンサＡ  矢印Ｂ  直線Ｃ  波紋
【図１】
2019065045.tif 000003
【図２】
2019065045.tif 000004
【図３】
2019065045.tif 000005
【図４】
2019065045.tif 000006
【国際調査報告】
2019065045.tif 000007
2019065045.tif 000008
2019065045.tif 000009
2019065045.tif 000010