(57)【特許請求の範囲】
【請求項１】
撮像機能と通信機能とを備えた無人移動装置であって、
追従対象物体の撮像の引継要求と本無人移動装置の位置情報とを他の無人移動装置に送信する第１送信部と、
前記第１送信部において引継要求と前記本無人移動装置の位置情報とを送信してから、前記追従対象物体の外観に関する特徴情報と、前記追従対象物体の位置情報とを前記他の無人移動装置に送信する第２送信部と、
前記第２送信部において特徴情報と前記追従対象物体の位置情報とを送信してから、前記他の無人移動装置からの引継完了通知を受信する受信部と、
を備えることを特徴とする無人移動装置。
【請求項２】
前記第２送信部は、前記第１送信部において引継要求と前記本無人移動装置の位置情報とを送信した後、前記本無人移動装置と前記他の無人移動装置との距離が所定値以下になった場合、特徴情報と前記追従対象物体の位置情報とを送信することを特徴とする請求項１に記載の無人移動装置。
【請求項３】
前記他の無人移動装置の位置情報を受信する追加受信部と、
前記追加受信部において受信した前記他の無人移動装置の位置情報により示される位置から前記追従対象物体の位置情報により示される位置に向かう方向を導出する導出部と、
前記導出部において導出した方向に近い方向で前記追従対象物体を撮像した画像を選択する選択部と、
前記選択部において選択した画像をもとに特徴情報を生成する生成部と、
をさらに備えることを特徴とする請求項１または２に記載の無人移動装置。
【請求項４】
前記他の無人移動装置の位置情報を受信する追加受信部と、
前記追加受信部において受信した前記他の無人移動装置の位置情報により示される位置から前記追従対象物体の位置情報により示される位置に向かう経路を導出する導出部とをさらに備え、
本無人移動装置は、前記導出部において導出した経路の近くに移動することを特徴とする請求項１または２に記載の無人移動装置。
【請求項５】
撮像機能と通信機能とを備えた無人移動装置であって、
追従対象物体を撮像している他の無人移動装置から、前記追従対象物体の撮像の引継要求と前記他の無人移動装置の位置情報とを受信する第１受信部と、
前記第１受信部において引継要求と前記他の無人移動装置の位置情報とを受信してから、前記追従対象物体の外観に関する特徴情報と、前記追従対象物体の位置情報とを前記他の無人移動装置から受信する第２受信部と、
前記第２受信部において受信した特徴情報が、撮像した画像に対応している場合に、前記追従対象物体の検出を認識する追従対象物体認識部と、
前記追従対象物体認識部において前記追従対象物体の検出を認識した場合に、前記他の無人移動装置に引継完了通知を送信する送信部と、
を備えることを特徴とする無人移動装置。
【請求項６】
前記第２受信部は、前記第１受信部において引継要求と前記他の無人移動装置の位置情報とを受信した後、本無人移動装置と前記他の無人移動装置との距離が所定値以下になった場合、特徴情報と前記追従対象物体の位置情報とを受信することを特徴とする請求項５に記載の無人移動装置。
【請求項７】
前記第１受信部において受信した引継要求と前記他の無人移動装置の位置情報とをもとに、前記他の無人移動装置の検出を認識する無人移動装置認識部をさらに備え、
前記第２受信部は、前記無人移動装置認識部において前記他の無人移動装置の検出を認識した場合に、特徴情報と前記追従対象物体の位置情報とを受信することを特徴とする請求項５または６に記載の無人移動装置。
【請求項８】
前記第１受信部において受信した前記他の無人移動装置の位置情報により示される位置から、前記第２受信部において受信した前記追従対象物体の位置情報により示される位置に向かう方向を導出する導出部をさらに備え、
本無人移動装置は、本無人移動装置の位置情報により示される位置から前記追従対象物体の位置情報により示される位置に向かう方向が前記導出部において導出した方向に近くなるように移動することを特徴とする請求項５から７のいずれかに記載の無人移動装置。
【請求項９】
撮像機能と通信機能とを備えた無人移動装置での引継方法であって、
追従対象物体の撮像の引継要求と本無人移動装置の位置情報とを他の無人移動装置に送信するステップと、
引継要求と本無人移動装置の位置情報とを送信してから、前記追従対象物体の外観に関する特徴情報と、前記追従対象物体の位置情報とを前記他の無人移動装置に送信するステップと、
特徴情報と前記追従対象物体の位置情報とを送信してから、前記他の無人移動装置からの引継完了通知を受信するステップと、
を備えることを特徴とする引継方法。
【請求項１０】
撮像機能と通信機能とを備えた無人移動装置での引継方法であって、
追従対象物体を撮像している他の無人移動装置から、前記追従対象物体の撮像の引継要求と前記他の無人移動装置の位置情報とを受信するステップと、
引継要求と前記他の無人移動装置の位置情報とを受信してから、前記追従対象物体の外観に関する特徴情報と、前記追従対象物体の位置情報とを前記他の無人移動装置から受信するステップと、
受信した特徴情報が、撮像した画像に対応している場合に、前記追従対象物体の検出を認識するステップと、
前記追従対象物体の検出を認識した場合に、前記他の無人移動装置に引継完了通知を送信するステップと、
を備えることを特徴とする引継方法。
【請求項１１】
撮像機能と通信機能とを備えた無人移動装置におけるプログラムであって、
追従対象物体の撮像の引継要求と本無人移動装置の位置情報とを他の無人移動装置に送信するステップと、
引継要求と前記本無人移動装置の位置情報とを送信してから、前記追従対象物体の外観に関する特徴情報と、前記追従対象物体の位置情報とを前記他の無人移動装置に送信するステップと、
特徴情報と前記追従対象物体の位置情報とを送信してから、前記他の無人移動装置からの引継完了通知を受信するステップとをコンピュータに実行させるためのプログラム。
【請求項１２】
撮像機能と通信機能とを備えた無人移動装置におけるプログラムであって、
追従対象物体を撮像している他の無人移動装置から、前記追従対象物体の撮像の引継要求と前記他の無人移動装置の位置情報とを受信するステップと、
引継要求と前記他の無人移動装置の位置情報とを受信してから、前記追従対象物体の外観に関する特徴情報と、前記追従対象物体の位置情報とを前記他の無人移動装置から受信するステップと、
受信した特徴情報が、撮像した画像に対応している場合に、前記追従対象物体の検出を認識するステップと、
前記追従対象物体の検出を認識した場合に、前記他の無人移動装置に引継完了通知を送信するステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、無人移動装置に関し、特に撮像を引き継ぐ無人移動装置、引継方法、プログラムに関する。
【背景技術】
【０００２】
複数の電子機器を連携して動作させる場合がある。例えば、携帯端末装置から据置機器へオーディオ再生などの動作をシームレスに引き継ぐことがなされる。その際、携帯端末装置は、据置機器の近接状態を検出すると、その時点での動作状態を表す動作情報を据置機器に送信する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２７４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
無人車両、無人航空機等の無人移動装置間において動作を引き継がせる場合、引き継ぐ側の無人移動装置は、引き継がれる側の無人移動装置の位置まで移動してから、動作が引き継がされる。このような状況において、動作の確実な引継が求められる。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、無人移動装置間において引継を確実に実行する技術を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の無人移動装置は、撮像機能と通信機能とを備えた無人移動装置であって、追従対象物体の撮像の引継要求と本無人移動装置の位置情報とを他の無人移動装置に送信する第１送信部と、第１送信部において引継要求と本無人移動装置の位置情報とを送信してから、追従対象物体の外観に関する特徴情報と、追従対象物体の位置情報とを他の無人移動装置に送信する第２送信部と、第２送信部において特徴情報と追従対象物体の位置情報とを送信してから、他の無人移動装置からの引継完了通知を受信する受信部と、を備える。
【０００７】
本発明の別の態様もまた、無人移動装置である。この装置は、撮像機能と通信機能とを備えた無人移動装置であって、追従対象物体を撮像している他の無人移動装置から、追従対象物体の撮像の引継要求と他の無人移動装置の位置情報とを受信する第１受信部と、第１受信部において引継要求と他の無人移動装置の位置情報とを受信してから、追従対象物体の外観に関する特徴情報と、追従対象物体の位置情報とを他の無人移動装置から受信する第２受信部と、第２受信部において受信した特徴情報が、撮像した画像に対応している場合に、追従対象物体の検出を認識する追従対象物体認識部と、追従対象物体認識部において追従対象物体の検出を認識した場合に、他の無人移動装置に引継完了通知を送信する送信部と、を備える。
【０００８】
本発明のさらに別の態様は、引継方法である。この方法は、撮像機能と通信機能とを備えた無人移動装置での引継方法であって、追従対象物体の撮像の引継要求と本無人移動装置の位置情報とを他の無人移動装置に送信するステップと、引継要求と本無人移動装置の位置情報とを送信してから、追従対象物体の外観に関する特徴情報と、追従対象物体の位置情報とを他の無人移動装置に送信するステップと、特徴情報と追従対象物体の位置情報とを送信してから、他の無人移動装置からの引継完了通知を受信するステップと、を備える。
【０００９】
本発明のさらに別の態様もまた、引継方法である。この方法は、撮像機能と通信機能とを備えた無人移動装置での引継方法であって、追従対象物体を撮像している他の無人移動装置から、追従対象物体の撮像の引継要求と他の無人移動装置の位置情報とを受信するステップと、引継要求と他の無人移動装置の位置情報とを受信してから、追従対象物体の外観に関する特徴情報と、追従対象物体の位置情報とを他の無人移動装置から受信するステップと、受信した特徴情報が、撮像した画像に対応している場合に、追従対象物体の検出を認識するステップと、追従対象物体の検出を認識した場合に、他の無人移動装置に引継完了通知を送信するステップと、を備える。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、無人移動装置間において引継を確実に実行できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例１に係る追従システムの構成を示す図である。
【図２】図１の第１無人移動装置と第２無人移動装置の構成を示す図である。
【図３】図１の追従システムによる引継手順を示すシーケンス図である。
【図４】本発明の実施例２に係る第２無人移動装置の構成を示す図である。
【図５】本発明の実施例２に係る追従システムによる引継手順を示すシーケンス図である。
【図６】本発明の実施例３に係る追従システムの構成を示す図である。
【図７】図６の第１無人移動装置の構成を示す図である。
【図８】本発明の実施例４に係る追従システムの構成を示す図である。
【図９】図８の第１無人移動装置の構成を示す図である。
【図１０】本発明の実施例５に係る追従システムの構成を示す図である。
【図１１】図１０の第２無人移動装置の構成を示す図である。
【図１２】本発明の実施例６に係る追従システムの構成を示す図である。
【図１３】図１２の追従システムによる引継手順を示すシーケンス図である。
【発明を実施するための形態】
【００１３】
（実施例１）
本発明を具体的に説明する前に、まず概要を述べる。本発明の実施例１は、ドローンなどの無人飛行体である無人移動装置が複数含まれた追従システムに関する。追従システムでは、複数の無人移動装置のそれぞれが順番に１つの物体を追従する場合に、処理の引継がなされる。ドローンのような無人移動装置は、人間が行きにくい場所に行くことが可能であるので、災害救助用途、セキュリティ、映像撮影の用途で新たなニーズが期待されている。しかしながら、ドローンでは、一般的に、バッテリの持続時間が短く、長時間の運用が難しいので、使用範囲が限定される。そのため、空からの被災者の状況の確認、逃走犯の追尾、マラソンランナーの追従など、特に長時間の追従を必要とする用途への応用が難しい。
【００１４】
長時間の飛行に対応するためにバッテリ自動交換機の技術がある。これは、バッテリの残量がゼロに近づくと、ドローンがチャージ場所に自動的に戻って、チャージもしくはバッテリの交換を行い、再び飛行する技術である。これによると、長時間の飛行が可能になるが、追従対象の物体（以下、「追従対象物体」という）を一時的に見逃してしまう。追従対象物体の見逃しを抑制するためには、それまで追従対象物体を追従していたドローンが充電に戻っている間、別のドローンが追従対象物体を追従すればよい。この場合、ドローン間の引継が重要になる。
【００１５】
これに対応するために、本実施例に係る追従システムでは、引き継がれる側のドローンは、無線通信によって、位置情報、追従対象物体の特徴情報等を引き継ぐ側のドローンに送信する。引き継ぐ側のドローンは、位置情報で示された位置まで移動し、周囲の環境を撮像する。撮像した画像に追従対象物体が含まれている場合、引き継ぐ側のドローンは、引継完了通知を引き継がれる側のドローンに送信する。引き継ぐ側のドローンは、追従対象物体を追従し、引き継がれる側のドローンは、追従対象物体の追従を終了する。
【００１６】
図１は、追従システム１００の構成を示す。追従システム１００は、無人移動装置１０と総称される第１無人移動装置１０ａ、第２無人移動装置１０ｂを含む。ここで、２台の無人移動装置１０が示されているが、追従システム１００に含まれる無人移動装置１０の台数は「３以上」であってもよい。
【００１７】
無人移動装置１０は、例えば、ドローンであり、人が搭乗しない飛行体である。無人移動装置１０は、撮像機能と通信機能とを備えており、自動的に飛行するとともに、撮像および無線通信を実行する。また、無人移動装置１０は、バッテリ駆動である。図１の例において、第１無人移動装置１０ａは、追従対象物体１２を追従するように飛行し、かつ追従対象物体１２を撮像する。一方、第２無人移動装置１０ｂは、例えば充電ステーションなどで待機しており、追従対象物体１２を追従するように飛行していない。
【００１８】
そのため、第１無人移動装置１０ａは前述の引き継がれる側のドローンに相当し、第２無人移動装置１０ｂは前述の引き継ぐ側のドローンに相当する。その後、第１無人移動装置１０ａと第２無人移動装置１０ｂとの役割は交代されるが、以下では交代の際の引継処理を中心に説明するため、第１無人移動装置１０ａと第２無人移動装置１０ｂとの役割は前述の通りであるとする。
【００１９】
図２は、第１無人移動装置１０ａと第２無人移動装置１０ｂの構成を示す。第１無人移動装置１０ａと第２無人移動装置１０ｂは共通した構成を有するが、ここでは、第１無人移動装置１０ａにおいて引き継がれる側の処理を説明し、第２無人移動装置１０ｂにおいて引き継ぐ側の処理を説明する。第１無人移動装置１０ａと第２無人移動装置１０ｂは、撮像部２０、位置情報処理部２２、引継開始処理部２４、追従対象物体認識部２６、追従対象物体情報処理部２８、引継完了処理部３０、制御部３２、記憶部３４、自動移動部３６、通信部３８を含む。また、第１無人移動装置１０ａの通信部３８は、第１送信部５０、第２送信部５２、受信部５４を含み、第２無人移動装置１０ｂの通信部３８は、第１受信部６０、第２受信部６２、送信部６４を含む。以下では、第１無人移動装置１０ａから第２無人移動装置１０ｂへの引継処理の順番にしたがって、各構成要素での処理を説明する。
【００２０】
（１）第１無人移動装置１０ａでの処理
第１無人移動装置１０ａにおいて、撮像部２０は、カメラ、赤外線素子等によって構成されており、追従対象物体１２を撮像する。ここでは、例えば、動画像が生成される。撮像部２０は、動画像を制御部３２に出力する。追従対象物体認識部２６は、制御部３２を介して、撮像部２０からの動画像を入力する。追従対象物体認識部２６は、動画像中に含まれる追従対象物体１２を認識する。追従対象物体１２の認識には、例えば、画像認識が使用されるが、公知の技術であるのでここでは説明を省略する。追従対象物体認識部２６は、認識結果、例えば、追従対象物体１２が動画像中に含まれているか否か、追従対象物体１２が動画像中のどの部分に含まれているか等の情報を制御部３２に出力する。
【００２１】
位置情報処理部２２は、図示しないＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）衛星からの信号を受信することによって、第１無人移動装置１０ａの位置を測位する。位置情報処理部２２は、測位した位置の情報（以下、「位置情報」という）を制御部３２に順次出力する。自動移動部３６は、制御部３２を介して、撮像部２０からの動画像、位置情報処理部２２からの位置情報、追従対象物体認識部２６からの認識結果を入力する。自動移動部３６は、これらの情報をもとに、撮像部２０が追従対象物体１２を撮像し続けられるように、第１無人移動装置１０ａの動作、つまり飛行を制御する。このような処理が「追従対象物体１２の追従処理」であり、第１無人移動装置１０ａは「追従状態」であるといえる。
【００２２】
引継開始処理部２４は、制御部３２を介して、図示しないバッテリの残量を監視する。当該バッテリは、第１無人移動装置１０ａを駆動させるための電力を供給する。引継開始処理部２４は、バッテリの残量が所定値以下になった場合、追従対象物体１２の撮像の引継を要求するため、つまり追従対象物体１２の追従処理の引継を要求するための信号（以下、「引継要求」という）を生成する。ここで、所定値は、引継が開始してから終了するまでの時間と、充電ステーションに帰還するまでの時間とを考慮して設定される。引継開始処理部２４は、制御部３２を介して位置情報処理部２２からの位置情報を入力し、位置情報を引継要求に含ませる。以下では、説明を明瞭にするために、第１無人移動装置１０ａの位置情報を「第１位置情報」という。
【００２３】
引継開始処理部２４は、制御部３２を介して通信部３８に引継要求を出力する。通信部３８における第１送信部５０は、引継要求を第２無人移動装置１０ｂに送信する。第１送信部５０が引継要求を送信した後、第１無人移動装置１０ａは「交代待機状態」に遷移する。「交代待機状態」において、第１送信部５０は、制御部３２から第１位置情報を順次入力し、第１位置情報を第２無人移動装置１０ｂに順次送信する。
【００２４】
（２）第２無人移動装置１０ｂでの処理
第２無人移動装置１０ｂは、充電ステーションに待機しており、第２無人移動装置１０ｂは「待機状態」であるといえる。通信部３８における第１受信部６０は、第１無人移動装置１０ａからの引継要求を受信し、引継要求を制御部３２に出力する。また、第１受信部６０は、引継要求に続き、第１無人移動装置１０ａからの第１位置情報を順次受信するが、これらも制御部３２に出力する。引継開始処理部２４は、制御部３２を介して、第１受信部６０からの引継要求を入力する。これにより、第２無人移動装置１０ｂは、「交代状態」に遷移する。「交代状態」において、引継開始処理部２４は、制御部３２を介して、位置情報処理部２２、自動移動部３６に処理の開始を指示する。
【００２５】
自動移動部３６は、制御部３２を介して引継開始処理部２４から処理の開始を指示されると、引継要求に含まれた第１位置情報、引継要求に続く第１位置情報を制御部３２から入力する。自動移動部３６は、第１位置情報に示された位置まで飛行を開始する。位置情報処理部２２は、制御部３２を介して引継開始処理部２４から処理の開始を指示されると、引継要求に含まれた第１位置情報、引継要求に続く第１位置情報を制御部３２から入力する。また、位置情報処理部２２は、第２無人移動装置１０ｂの位置情報を順次取得する。さらに、位置情報処理部２２は、第２無人移動装置１０ｂの位置情報と、第１位置情報との差を順次計算する。これは、第１無人移動装置１０ａと第２無人移動装置１０ｂとの距離を監視していることに相当する。位置情報処理部２２は、距離が所定値以下になった場合、第１無人移動装置１０ａに近づいたことを制御部３２経由で追従対象物体情報処理部２８に出力する。
【００２６】
追従対象物体情報処理部２８は、制御部３２を介して位置情報処理部２２から、第１無人移動装置１０ａに近づいたことを通知されると、追従対象物体１２に関する情報を要求するための信号（以下、「追従対象物体情報要求」という）を生成する。追従対象物体情報処理部２８は、追従対象物体情報要求を制御部３２に出力する。通信部３８は、制御部３２を介して追従対象物体情報要求を入力し、追従対象物体情報要求を第１無人移動装置１０ａに送信する。
【００２７】
（３）第１無人移動装置１０ａでの処理
通信部３８は、第２無人移動装置１０ｂからの追従対象物体情報要求を受信し、追従対象物体情報要求を制御部３２に出力する。追従対象物体情報処理部２８は、制御部３２を介して通信部３８からの追従対象物体情報要求を入力する。追従対象物体情報処理部２８は、追従対象物体情報要求を入力すると、追従対象物体１２の外観に関する特徴情報を生成する。特徴情報は、例えば、追従対象物体認識部２６において画像認識を実行した場合の画像特徴点情報である。また、特徴情報は、撮像部２０において撮像した動画像をキャプチャした画像であってもよい。
【００２８】
また、追従対象物体情報処理部２８は、追従対象物体１２の位置情報（以下、「第２位置情報」という）を生成する。具体的に説明すると、追従対象物体情報処理部２８は、距離センサや、撮像部２０において撮像した動画像内の追従対象物体１２の検出位置などから、第１無人移動装置１０ａから追従対象物体１２へ至るベクトルを算出する。また、追従対象物体情報処理部２８は、位置情報処理部２２において取得した第１位置情報にこの算出したベクトルを加算することによって第２位置情報を導出する。ここで、ベクトルを算出するために、撮像部２０の向き、ズームの設定等の情報が使用されてもよい。追従対象物体情報処理部２８は、特徴情報と第２位置情報とをまとめた信号（以下、「追従対象物体情報」という）を生成する。追従対象物体情報処理部２８は、追従対象物体情報を制御部３２に出力する。第２送信部５２は、制御部３２を介して追従対象物体情報を入力し、追従対象物体情報を第２無人移動装置１０ｂに送信する。
【００２９】
（４）第２無人移動装置１０ｂでの処理
通信部３８における第２受信部６２は、第１無人移動装置１０ａからの追従対象物体情報を受信し、追従対象物体情報を制御部３２に出力する。前述のごとく、追従対象物体情報には、特徴情報と第２位置情報とが含まれる。追従対象物体情報処理部２８は、制御部３２を介して第２受信部６２からの追従対象物体情報を入力する。追従対象物体情報処理部２８は、追従対象物体情報を入力すると、追従対象物体認識部２６に対して、追従対象物体１２の認識の開始を指示する。
【００３０】
追従対象物体認識部２６は、追従対象物体情報処理部２８からの指示にしたがって、撮像部２０からの動画像に対して追従対象物体１２の認識を開始する。追従対象物体認識部２６は、前述の画像認識によって、撮像した動画像に特徴情報が含まれているかを検出する。この特徴情報は、追従対象物体情報処理部２８が制御部３２に出力したものを制御部３２を介して入力されている。追従対象物体認識部２６は、所定時間内に追従対象物体１２を検出しなかった場合、検出しなかったことを追従対象物体情報処理部２８に報告する。追従対象物体情報処理部２８は、報告を受けると、追従対象物体情報要求を制御部３２に再度出力し、前述の処理が繰り返される。追従対象物体認識部２６は、撮像した動画像に特徴情報が対応している場合、追従対象物体１２の検出を認識する。追従対象物体認識部２６は、追従対象物体１２の検出を認識した場合、追従対象物体１２の検出の認識を制御部３２に出力する。
【００３１】
引継完了処理部３０は、制御部３２を介して追従対象物体認識部２６から、追従対象物体１２の検出の認識を入力する。引継完了処理部３０は、追従対象物体１２の検出の認識を入力すると、引継の完了を通知するための信号（以下、「引継完了通知」という）を生成する。引継完了処理部３０は、引継完了通知を制御部３２に出力する。送信部６４は、制御部３２を介して引継完了通知を入力し、引継完了通知を第１無人移動装置１０ａに送信する。これにより、第２無人移動装置１０ｂは、「追従状態」に遷移する。「追従状態」において、第２無人移動装置１０ｂは、前述の「追従対象物体１２の追従処理」を実行する。
【００３２】
（５）第１無人移動装置１０ａでの処理
通信部３８における受信部５４は、第２無人移動装置１０ｂからの引継完了通知を受信し、引継完了通知を制御部３２に出力する。引継完了処理部３０は、制御部３２を介して受信部５４からの引継完了通知を入力する。引継完了処理部３０は、引継完了通知を入力すると、「追従対象物体１２の追従処理」を終了する。自動移動部３６は、充電ステーションに戻るため飛行する。これにより、第１無人移動装置１０ａは、「帰還状態」に遷移する。
【００３３】
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００３４】
以上の構成による追従システム１００の動作を説明する。図３は、追従システム１００による引継手順を示すシーケンス図である。第１無人移動装置１０ａは追従状態であり（Ｓ１０）、第２無人移動装置１０ｂは待機状態である（Ｓ１２）。第１無人移動装置１０ａは第２無人移動装置１０ｂに引継要求を送信する（Ｓ１４）。第１無人移動装置１０ａは交代待機状態に遷移し（Ｓ１６）、第２無人移動装置１０ｂは交代状態に遷移する（Ｓ１８）。第２無人移動装置１０ｂは移動する（Ｓ２０）。第１無人移動装置１０ａは第２無人移動装置１０ｂに第１位置情報を順次送信する（Ｓ２２）。第２無人移動装置１０ｂは、距離が所定値以下になる（Ｓ２４）と、第１無人移動装置１０ａに追従対象物体情報要求を送信する（Ｓ２６）。
【００３５】
第１無人移動装置１０ａは、第２無人移動装置１０ｂに追従対象物体情報を送信する（Ｓ２８）。第２無人移動装置１０ｂは、追従対象物体１２の検出の認識処理を実行する（Ｓ３０）。認識できなければ、第２無人移動装置１０ｂは、第１無人移動装置１０ａに追従対象物体情報要求を送信する（Ｓ３２）。第１無人移動装置１０ａは、第２無人移動装置１０ｂに追従対象物体情報を送信する（Ｓ３４）。第２無人移動装置１０ｂは、追従対象物体１２の検出の認識処理を実行する（Ｓ３６）。認識できれば、第２無人移動装置１０ｂは、第１無人移動装置１０ａに引継完了通知を送信する（Ｓ３８）。第１無人移動装置１０ａは帰還状態に遷移し（Ｓ４０）、第２無人移動装置１０ｂは追従状態に遷移する（Ｓ４２）。
【００３６】
本実施例によれば、引き継がれる側の無人移動装置は、本無人移動装置の第１位置情報を送信してから、追従対象物体の外観に関する特徴情報と、追従対象物体の第２位置情報とを送信するので、引き継ぐ側の無人移動装置を本無人移動装置の近くに移動させてから、追従対象物体を認識させることができる。また、本無人移動装置の近くに移動させてから、追従対象物体を認識させるので、無人移動装置間において引継を確実に実行できる。また、本無人移動装置の近くに移動させてから、追従対象物体を認識させるので、効率的に引継を実行できる。
【００３７】
また、引き継ぐ側の無人移動装置は、他の無人移動装置の第１位置情報を受信してから、追従対象物体の外観に関する特徴情報と、追従対象物体の第２位置情報とを受信するので、他の無人移動装置の近くに移動してから、追従対象物体を認識できる。また、他の無人移動装置の近くに移動してから、追従対象物体を認識するので、無人移動装置間において引継を確実に実行できる。また、他の無人移動装置の近くに移動してから、追従対象物体を認識するので、効率的に引継を実行できる。
【００３８】
また、空からの被災者の状況の確認、逃走犯の追尾や、マラソンランナーの追従など、特に長時間の追従を必要とする用途へ適用できる。また、無人移動装置の受電が切れ、別の無人移動装置に処理を引き継いだとしても、追従対象を見逃すことなく、スムーズに交代処理を実行できる。そのため、無人移動装置の飛行時間が短くても、長時間の追従を実行できる。また、引継ぎの際に、追従対象物体、もしくは交代相手が撮像部に映っていればよいので、２台の無人移動装置の相対位置の自由度を高くできる。また、引継ぎの際に、追従対象物体、もしくは交代相手が撮像部に映っていればよいので、２台の無人移動装置を近づけなくてもよくできる。
【００３９】
（実施例２）
次に、実施例２を説明する。実施例２は、実施例１と同様に、無人移動装置が複数含まれた追従システムに関し、特に、複数の無人移動装置のそれぞれが順番に１つの物体を追従する場合における処理の引継に関する。実施例２における第２無人移動装置は、第１無人移動装置との距離をもとに、第１無人移動装置に近づいたことを確認してから、第１無人移動装置を認識する。また、第２無人移動装置は、第１無人移動装置を認識してから、第１無人移動装置に追従対象物体情報要求を送信する。実施例２に係る追従システム１００、第１無人移動装置１０ａは、図１、図２と同様のタイプである。ここでは、実施例１との差異を中心に説明する。
【００４０】
図４は、第２無人移動装置１０ｂの構成を示す。第２無人移動装置１０ｂは、図２と比較して無人移動装置認識部７０を含む。実施例２では、前述の「（２）第２無人移動装置１０ｂでの処理」において第１無人移動装置１０ａを認識するための処理が追加されるので、ここではその部分を説明する。
【００４１】
（２）第２無人移動装置１０ｂでの処理
位置情報処理部２２は、距離が所定値以下になった場合、第１無人移動装置１０ａに近づいたことを制御部３２経由で無人移動装置認識部７０に出力する。無人移動装置認識部７０は、制御部３２を介して位置情報処理部２２から、第１無人移動装置１０ａに近づいたことを通知されると、撮像部２０からの動画像に対して第１無人移動装置１０ａの認識を開始する。無人移動装置認識部７０は、追従対象物体認識部２６と同様に、前述の画像認識によって、撮像した動画像に第１無人移動装置１０ａの特徴情報が含まれているかを検出する。なお、第１無人移動装置１０ａの特徴情報は既知であるので、予め無人移動装置認識部７０に記憶されている。
【００４２】
無人移動装置認識部７０は、撮像した動画像に第１無人移動装置１０ａの特徴情報が対応している場合、第１無人移動装置１０ａの検出を認識する。無人移動装置認識部７０は、第１無人移動装置１０ａの検出を認識した場合、第１無人移動装置１０ａの検出の認識を制御部３２に出力する。追従対象物体情報処理部２８は、制御部３２を介して無人移動装置認識部７０から、第１無人移動装置１０ａの検出の認識を通知されると、追従対象物体情報要求を生成する。
【００４３】
以上の構成による追従システム１００の動作を説明する。図５は、追従システム１００による引継手順を示すシーケンス図である。第１無人移動装置１０ａは追従状態であり（Ｓ６０）、第２無人移動装置１０ｂは待機状態である（Ｓ６２）。第１無人移動装置１０ａは第２無人移動装置１０ｂに引継要求を送信する（Ｓ６４）。第１無人移動装置１０ａは交代待機状態に遷移し（Ｓ６６）、第２無人移動装置１０ｂは交代状態に遷移する（Ｓ６８）。第２無人移動装置１０ｂは移動する（Ｓ７０）。第１無人移動装置１０ａは第２無人移動装置１０ｂに第１位置情報を順次送信する（Ｓ７２）。第２無人移動装置１０ｂでは、距離が所定値以下になる（Ｓ７４）。
【００４４】
第２無人移動装置１０ｂは無人移動装置認識処理を実行する（Ｓ７８）。認識できれば、第１無人移動装置１０ａに追従対象物体情報要求を送信する（Ｓ８０）。第１無人移動装置１０ａは、第２無人移動装置１０ｂに追従対象物体情報を送信する（Ｓ８２）。第２無人移動装置１０ｂは、追従対象物体１２の検出の認識処理を実行する（Ｓ８４）。認識できれば、第２無人移動装置１０ｂは、第１無人移動装置１０ａに引継完了通知を送信する（Ｓ８６）。第１無人移動装置１０ａは帰還状態に遷移し（Ｓ８８）、第２無人移動装置１０ｂは追従状態に遷移する（Ｓ９０）。
【００４５】
本実施例によれば、引き継がれる側の無人移動装置の検出を認識してから、追従対象物体の検出を認識するので、引継を効率的に実行できる。また、引き継がれる側の無人移動装置と追従対象物体の両方の検出が認識された場合に、引継が完了とされるので、引継の信頼性を向上できる。また、位置情報の精度が高い引き継がれる側の追従システム１００が画角内に含まれるので、追従対象物体を追従できていることに対する信頼性を向上できる。
【００４６】
（実施例３）
次に、実施例３を説明する。実施例３は、これまでと同様に、無人移動装置が複数含まれた追従システムに関し、特に、複数の無人移動装置のそれぞれが順番に１つの物体を追従する場合における処理の引継に関する。第１無人移動装置は、特徴情報が含まれた追従対象物体情報を送信する。ここで、特徴情報は、撮像部において撮像した動画像から生成される。そのため、追従対象物体を撮像した方向に応じて特徴情報が変わる場合もある。そのような場合であっても、第２無人移動装置において追従対象物体の検出が認識されやすくなるような特徴情報が求められる。実施例３に係る第２無人移動装置１０ｂは、図２と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
【００４７】
図６は、追従システム１００の構成を示す。追従システム１００は、図１と同様に、第１無人移動装置１０ａ、第２無人移動装置１０ｂと総称される無人移動装置１０を含む。ここで、第１無人移動装置１０ａは、飛行しながら、ポイントＰ１、Ｐ２、Ｐ３のそれぞれにおいて追従対象物体１２を撮像する。ここで、ポイントＰ１、Ｐ２、Ｐ３のそれぞれと追従対象物体１２との相対的な位置関係は異なっているので、ポイントＰ１、Ｐ２、Ｐ３のそれぞれにおいて撮像した動画像の画角は異なる。
【００４８】
一方、第２無人移動装置１０ｂでは、追従対象物体情報が受信されており、追従対象物体１２の認識が開始されている。また、第２無人移動装置１０ｂは、ポイントＰ１、Ｐ２、Ｐ３とは異なった位置を飛行しているので、それらから撮像した動画像とは異なった画角の動画像を撮像する。このような状況下において、第２無人移動装置１０ｂにおいて撮像した動画像の画角は、３つのポイントのうち、ポイントＰ３から撮像した動画像の画角に最も近い。そのため、第１無人移動装置１０ａにおいて、ポイントＰ３において撮像した動画像をもとに特徴情報が生成されると、第２無人移動装置１０ｂにおいて追従対象物体１２の検出が認識されやすくなる。
【００４９】
これを実現するために、第２無人移動装置１０ｂから追従対象物体情報要求が送信される場合、第２無人移動装置１０ｂの位置情報（以下、「第３位置情報」という）も送信される。第３位置情報は追従対象物体情報要求に含まれてもよく、追従対象物体情報要求とは別であってもよい。さらに、第３位置情報は順次送信されてもよい。
【００５０】
図７は、第１無人移動装置１０ａの構成を示す。図２と比較して、第１無人移動装置１０ａの追従対象物体情報処理部２８は、導出部７２、選択部７４、生成部７６を含む。第１無人移動装置１０ａにおける通信部３８は、第２無人移動装置１０ｂからの追従対象物体情報要求を受信し、第１無人移動装置１０ａにおける追加受信部５６は、第２無人移動装置１０ｂからの第３位置情報を受信する。追加受信部５６は、第３位置情報を追従対象物体情報処理部２８に出力する。追従対象物体情報処理部２８の導出部７２は、第３位置情報から第２位置情報に向かう方向（以下、「参照方向」という）を導出する。導出部７２は、参照方向を選択部７４に出力する。
【００５１】
選択部７４は、導出部７２から参照方向を入力する。選択部７４は、撮像部２０において追従対象物体１２を撮像した画像のうち、参照方向に近い方向で追従対象物体１２を撮像した画像を選択する。ここで、各画像は、撮像部２０において撮像した動画像をキャプチャすることによって生成されている。また、各画像を撮像したときの第１無人移動装置１０ａの第１位置情報から第２位置情報に向かう方向も導出されている。さらに、選択部７４は、参照方向に近い方向をベクトル演算を利用して選択しているが、公知の技術が使用されればよいので、ここでは説明を省略する。選択部７４は、選択した画像を生成部７６に出力する。
【００５２】
生成部７６は、選択部７４から画像を入力する。また、生成部７６は、選択部７４からの画像をもとに特徴情報を生成する。生成部７６は、特徴情報を生成するために、追従対象物体認識部２６を利用してもよい。
【００５３】
本実施例によれば、第３位置情報から第２位置情報に向かう方向に近い方向で撮像した画像をもとに特徴情報を生成するので、引き継ぐ側の無人移動装置において撮像した画像に特徴情報を近づけることができる。また、引き継ぐ側の無人移動装置において撮像した画像に特徴情報を近づけるので、追従対象物体の検出の認識を正確にできる。また、引き継ぐ側の無人移動装置において撮像した画像に特徴情報を近づけるので、追従対象物体の検出の認識を効率的にできる。
【００５４】
（実施例４）
次に、実施例４を説明する。実施例４は、これまでと同様に、無人移動装置が複数含まれた追従システムに関し、特に、複数の無人移動装置のそれぞれが順番に１つの物体を追従する場合における処理の引継に関する。第１無人移動装置は、特徴情報が含まれた追従対象物体情報を送信する。また、実施例４においても、実施例３と同様に、第２無人移動装置において追従対象物体の検出が認識されやすくなるような特徴情報が求められる。実施例４に係る第２無人移動装置１０ｂは、図２と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
【００５５】
図８は、追従システム１００の構成を示す。追従システム１００は、図１と同様に、第１無人移動装置１０ａ、第２無人移動装置１０ｂと総称される無人移動装置１０を含む。ここで、第１無人移動装置１０ａと第２無人移動装置１０ｂは、ある程度離れた位置を飛行する。そのため、第１無人移動装置１０ａにおいて撮像した動画像の画角と、第２無人移動装置１０ｂにおいて撮像した動画像の画角は異なる。第２無人移動装置１０ｂにおいて追従対象物体１２を検出する場合、第１無人移動装置１０ａにおいて生成される特徴情報は、第２無人移動装置１０ｂにおいて撮像した動画像の画角と近い画角の動画像から生成される方が好ましい。
【００５６】
そのような特徴情報を生成するために、第１無人移動装置１０ａは、撮像する動画像の画角が第２無人移動装置１０ｂにおける画角と近くなるように移動する。これを実現するために、第２無人移動装置１０ｂは、第１無人移動装置１０ａからの引継要求を受信した後、第２無人移動装置１０ｂの位置情報（これもまた「第３位置情報」という）を送信する。さらに、第３位置情報は順次送信される。
【００５７】
図９は、第１無人移動装置１０ａの構成を示す。図２と比較して、第１無人移動装置１０ａの自動移動部３６は、導出部７２を含む。第１無人移動装置１０ａにおける追加受信部５６は、第２無人移動装置１０ｂからの第３位置情報を受信する。追加受信部５６は、第３位置情報を自動移動部３６に出力する。自動移動部３６の導出部７２は、第３位置情報から第２位置情報に向かう経路を導出する。経路の導出にはベクトル演算が利用される。自動移動部３６は、導出部７２において導出した経路の近くに移動する。
【００５８】
本実施例によれば、第３位置情報から第２位置情報に向かう経路の近くに移動するので、引き継ぐ側の無人移動装置において撮像した画像に特徴情報を近づけることができる。また、引き継ぐ側の無人移動装置において撮像した画像に特徴情報を近づけるので、追従対象物体の検出の認識を正確にできる。また、引き継ぐ側の無人移動装置において撮像した画像に特徴情報を近づけるので、追従対象物体の検出の認識を効率的にできる。
【００５９】
（実施例５）
次に、実施例５を説明する。実施例５は、これまでと同様に、無人移動装置が複数含まれた追従システムに関し、特に、複数の無人移動装置のそれぞれが順番に１つの物体を追従する場合における処理の引継に関する。第１無人移動装置から第２無人移動装置への引継がなされることによって、動画像の撮像の引継がなされる。その際、第１無人移動装置において撮像した動画像の画角と、第２無人移動装置において撮像した動画像の画角とが大きく異なれば、引継のタイミングが動画像において明確になってしまう。動画像の内容によっては自然な引継が求められる場合もある。実施例５は、動画像において自然な引継を実現することを目的とする。実施例５に係る第１無人移動装置１０ａは、図２と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
【００６０】
図１０は、追従システム１００の構成を示す。追従システム１００は、図１と同様に、第１無人移動装置１０ａ、第２無人移動装置１０ｂと総称される無人移動装置１０を含む。ここで、第１無人移動装置１０ａは追従対象物体１２を撮像しており、第２無人移動装置１０ｂは、第１無人移動装置１０ａとの引継を実行するために、第１無人移動装置１０ａの方に向かって飛行する。その際、第２無人移動装置１０ｂにおいて撮像される引継後の動画像の画角が、第１無人移動装置１０ａにおいて撮像された引継前の動画像の画角に近くなる位置まで、第２無人移動装置１０ｂは移動してから引継を実行する。
【００６１】
図１１は、第２無人移動装置１０ｂの構成を示す。図２と比較して、第２無人移動装置１０ｂの自動移動部３６は、導出部７８を含む。導出部７８は、第１受信部６０において受信した第１位置情報から、第２受信部６２において受信した第２位置情報に向かう方向を導出する。自動移動部３６は、位置情報処理部２２において測位した第２無人移動装置１０ｂの位置情報（以下、これもまた「第３位置情報」という）から第２位置情報に向かう方向が、導出部７２において導出した方向に近くなるように移動する。なお、位置情報処理部２２に保持される所定値であって、かつ距離と比較される所定値が、引継の際に画角を近づけるか否かに応じて変更されてもよい。例えば、画角を近づける場合の所定値は、画角を近づけない場合の所定値よりも小さくされる。
【００６２】
本実施例によれば、第３位置情報から第２位置情報に向かう方向が、第１位置情報から第２位置情報に向かう方向に近くなるように移動するので、引き継がれる側の無人移動装置において撮像した動画像の画角に近い画角の動画像を撮像できる。また、引き継がれる側の無人移動装置において撮像した動画像の画角に近い画角の動画像が撮像されるので、自然な引継を実行できる。
【００６３】
（実施例６）
次に、実施例６を説明する。実施例６は、これまでと同様に、無人移動装置が複数含まれた追従システムに関し、特に、複数の無人移動装置のそれぞれが順番に１つの物体を追従する場合における処理の引継に関する。これまでは、第１無人移動装置と第２無人移動装置と通信が直接なされている。一方、実施例６では、基地局装置を介して第１無人移動装置と第２無人移動装置と通信がなされている。実施例６における第１無人移動装置１０ａ、第２無人移動装置１０ｂは、図２と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
【００６４】
図１２は、追従システム１００の構成を示す。追従システム１００は、無人移動装置１０と総称される第１無人移動装置１０ａ、第２無人移動装置１０ｂ、基地局装置１４を含む。第１無人移動装置１０ａおよび第２無人移動装置１０ｂは、これまでと同様の処理を実行するが、基地局装置１４を介して通信する。しかしながら、これまでと異なって、追従対象物体１２の検出の認識が第２無人移動装置１０ｂにおいてなされてない。そのため、第２無人移動装置１０ｂは追従対象物体情報要求を送信せず、第１無人移動装置１０ａは追従対象情報を送信せず、第２無人移動装置１０ｂは引継完了通知を送信しない。実施例６において追従対象物体１２の検出の認識が基地局装置１４においてなされる。
【００６５】
第２無人移動装置１０ｂは、距離が所定値以下になった場合、追従対象物体情報要求を送信する代わりに、追従対象物体１２の検出の認識を要求するための信号（以下、「認識要求」という）を基地局装置１４に送信する。基地局装置１４は、認識要求を受信した場合、画像情報の送信を要求するための信号（以下、「画像情報要求」という）を各無人移動装置１０に送信する。各無人移動装置１０は、画像情報要求を受信すると、画像情報を基地局装置１４に送信する。画像情報は、無人移動装置１０において撮像した動画像をキャプチャすることによって生成した画像あるいは画像の特徴量を含む。基地局装置１４は、各無人移動装置１０からの画像情報を受信する。
【００６６】
基地局装置１４は、各無人移動装置１０から受信した画像情報を比較する。例えば、基地局装置１４は、画像の相関値を計算して一定の値以上であれば、画像が類似しているとして、第２無人移動装置１０ｂにおける追従対象物体１２の検出を認識する。なお、画像の代わりに、特徴量が使用されてもよい。追従対象物体１２の検出を認識した場合、基地局装置１４は、各無人移動装置１０に引継完了通知を送信する。第２無人移動装置１０ｂは、引継完了通知を受信した場合、追従状態に遷移し、第１無人移動装置１０ａは、引継完了通知を受信した場合、帰還状態に遷移する。
【００６７】
以上の構成による追従システム１００の動作を説明する。図１３は、追従システム１００による引継手順を示すシーケンス図である。第１無人移動装置１０ａは追従状態であり（Ｓ１００）、第２無人移動装置１０ｂは待機状態である（Ｓ１０２）。第１無人移動装置１０ａは基地局装置１４に引継要求を送信し（Ｓ１０４）、基地局装置１４は、第２無人移動装置１０ｂに引継要求を送信する（Ｓ１０６）。第１無人移動装置１０ａは交代待機状態に遷移し（Ｓ１０８）、第２無人移動装置１０ｂは交代状態に遷移する（Ｓ１１０）。第２無人移動装置１０ｂは、移動する（Ｓ１１２）。第２無人移動装置１０ｂは、距離が所定値以下になる（Ｓ１１４）と、基地局装置１４に認識要求を送信する（Ｓ１１６）。
【００６８】
基地局装置１４は第２無人移動装置１０ｂに画像情報要求を送信し（Ｓ１１８）、第２無人移動装置１０ｂは基地局装置１４に画像情報を送信する（Ｓ１２０）。基地局装置１４は第１無人移動装置１０ａに画像情報要求を送信し（Ｓ１２２）、第１無人移動装置１０ａは基地局装置１４に画像情報を送信する（Ｓ１２４）。基地局装置１４は、追従対象物体１２の検出の認識処理を実行する（Ｓ１２６）。認識できれば、基地局装置１４は、第２無人移動装置１０ｂに引継完了通知を送信し（Ｓ１２８）、第１無人移動装置１０ａに引継完了通知を送信する（Ｓ１３０）。第１無人移動装置１０ａは帰還状態に遷移し（Ｓ１３２）、第２無人移動装置１０ｂは追従状態に遷移する（Ｓ１３４）。
【００６９】
本実施例によれば、基地局装置を介して通信を実行するので、構成の自由度を判定できる。また、無人移動装置において追従対象物体の検出を認識するための処理が不要になるので、無人移動装置の処理量の増加を抑制できる。
【００７０】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７１】
本実施例１乃至６において、無人移動装置１０は、ドローンなどの無人飛行体であるとしている。しかしながらこれに限らず例えば、無人移動装置１０は、無人車両、無人船舶、探査衛星であってもよく、自立する無人機であればよい。本変形例によれば、構成の自由度を向上できる。
【符号の説明】
【００７２】
１０  無人移動装置、  １２  追従対象物体、  ２０  撮像部、  ２２  位置情報処理部、  ２４  引継開始処理部、  ２６  追従対象物体認識部、  ２８  追従対象物体情報処理部、  ３０  引継完了処理部、  ３２  制御部、  ３４  記憶部、  ３６  自動移動部、  ３８  通信部、  ５０  第１送信部、  ５２  第２送信部、  ５４  受信部、  ６０  第１受信部、  ６２  第２受信部、  ６４  送信部、  １００  追従システム。
【図１】
0006774597.tif 000002
【図２】
0006774597.tif 000003
【図３】
0006774597.tif 000004
【図４】
0006774597.tif 000005
【図５】
0006774597.tif 000006
【図６】
0006774597.tif 000007
【図７】
0006774597.tif 000008
【図８】
0006774597.tif 000009
【図９】
0006774597.tif 000010
【図１０】
0006774597.tif 000011
【図１１】
0006774597.tif 000012
【図１２】
0006774597.tif 000013
【図１３】
0006774597.tif 000014