(57)【要約】  移動体（１０）は、複数のセンシング機器が存在する屋内および／または屋外で、少なくとも１台のセンシング機器と連携してターゲット（２）を追尾する。移動体は、センサ（１５）と、通信装置（１４ｄ）と、プロセッサ（１４ａ）と、コンピュータプログラムを格納したメモリ（１４ｂ）とを有する。コンピュータプログラムの実行により、プロセッサは、センサの出力を解析してターゲットの位置を計算し、ターゲットを見失ったときは、最後に計算したターゲットの位置またはターゲットを見失った後のセンサの出力を解析して得られた位置とターゲットを見失うまでのターゲットまたは自機の移動履歴とを利用してターゲットが存在する領域（Ｒ）を推定し、領域に応じて選択された少なくとも１台のセンシング機器（２０ａ、２０ｂ）にターゲットの捜索を指示し、当該センシング機器から捜索の結果を受信する。
2018180454.tif 000002
【特許請求の範囲】
【請求項１】
複数のセンシング機器が存在する屋内および／または屋外で、前記複数のセンシング機器の少なくとも１台と連携してターゲットを追尾する移動体であって、
前記ターゲットをセンシングするセンサと、
通信装置と、
プロセッサと、
コンピュータプログラムを格納したメモリと
を備え、
前記プロセッサは、前記コンピュータプログラムを実行することにより、
前記センサの出力を解析して前記ターゲットの位置を計算し、
前記ターゲットを見失ったとき、最後に計算した前記ターゲットの位置または前記ターゲットを見失った後の前記センサの出力を解析して得られた位置と、前記ターゲットを見失うまでの前記ターゲットまたは自機の移動履歴と、を利用して、前記ターゲットが存在する領域を推定し、
前記通信装置を介して、前記領域に応じて選択された前記少なくとも１台のセンシング機器に前記ターゲットの捜索を指示し、
前記通信装置を介して、前記センシング機器による前記捜索の結果を受信する、移動体。
【請求項２】
前記複数のセンシング機器の各々は、前記屋内および／または前記屋外に設置され、または、他の移動体に取り付けられている、請求項１に記載の移動体。
【請求項３】
前記複数のセンシング機器の各々は、前記屋内および／または前記屋外に固定的に設置されたカメラに内蔵され、または、前記他の移動体に搭載されており、
前記プロセッサは、前記カメラまたは前記他の移動体を介して前記センシング機器に前記ターゲットの捜索を指示し、前記カメラまたは前記他の移動体から、前記センシング機器による前記捜索の結果を受信する、請求項２に記載の移動体。
【請求項４】
前記ターゲットの特徴を示す特徴データを記憶する記憶装置をさらに備え、
前記プロセッサは、
前記通信装置を介して、前記特徴データをさらに送信し、
前記カメラまたは前記他の移動体から、前記特徴データを参照して行われた前記捜索の結果を受信する、請求項３に記載の移動体。
【請求項５】
前記捜索の結果は、検出された前記ターゲットの位置のデータ、または、前記ターゲットを検出した前記カメラまたは前記他の移動体の位置のデータを含む、請求項４に記載の移動体。
【請求項６】
前記ターゲットの特徴を示す特徴データを記憶する記憶装置をさらに備え、
前記捜索の結果は、前記カメラまたは前記他の移動体が周囲の空間をセンシングすることによって取得されたセンサデータ、および、前記カメラまたは前記他の移動体の位置のデータを含み、
前記プロセッサは、前記特徴データと前記センサデータとを照合する、請求項３に記載の移動体。
【請求項７】
前記プロセッサは、最後に計算した前記ターゲットの位置、および、前記ターゲットを見失った時の前記ターゲットまたは前記自機の速度を利用して、前記領域を推定する、請求項１から６のいずれかに記載の移動体。
【請求項８】
前記プロセッサは、さらに前記ターゲットを見失ってからの経過時間を利用して前記領域を推定する、請求項７に記載の移動体。
【請求項９】
前記プロセッサは、
前記ターゲットまたは前記自機の移動履歴から推定される前記ターゲットの移動速度と、前記経過時間との積を、推定移動距離として計算し、
最後に計算した前記ターゲットの位置から前記推定移動距離以内の範囲を、前記領域としえて推定する、請求項８に記載の移動体。
【請求項１０】
前記プロセッサは、前記ターゲットを見失った後の前記カメラの出力を解析して得られた位置と、前記ターゲットを見失うまでの前記ターゲットまたは自機の移動履歴と、を利用して、前記ターゲットが存在する領域を推定する、請求項４から６のいずれかに記載の移動体。
【請求項１１】
前記プロセッサは、前記ターゲットを見失うまでの前記ターゲットまたは前記自機の位置の変化を利用して前記領域を推定する、請求項１から６のいずれかに記載の移動体。
【請求項１２】
前記プロセッサは、前記ターゲットを見失うまでの前記ターゲットまたは前記自機の位置の変化から前記ターゲットの移動方向を推定し、前記移動方向を含む所定の範囲を前記領域として推定する、請求項１１に記載の移動体。
【請求項１３】
前記プロセッサは、前記通信装置を介して、前記領域を指定する領域データをさらに送信し、
前記カメラまたは前記他の移動体は、指定された前記領域と自己位置との関係に応じて前記ターゲットの捜索を行い、
前記プロセッサは、前記通信装置を介して、前記捜索の結果を受信する、請求項３から６のいずれかに記載の移動体。
【請求項１４】
前記屋内および／または屋外の地図データを保持する記憶装置をさらに備え、
前記プロセッサは、前記地図データをさらに利用して前記ターゲットが存在する領域を推定する、請求項１から１３のいずれかに記載の移動体。
【請求項１５】
前記センシング機器による前記捜索の結果が前記ターゲットの不存在を示す場合には、前記プロセッサは、前記領域を変更する、請求項１から１４のいずれかに記載の移動体。
【請求項１６】
前記センシング機器による前記捜索の結果が前記ターゲットの存在を示す場合には、前記プロセッサは、前記ターゲットが存在していた位置まで自機を移動させ、前記位置から前記ターゲットの追尾を再開する、請求項１から１４のいずれかに記載の移動体。
【請求項１７】
ターゲットを追尾する他の移動体と通信する通信装置と、
前記ターゲットをセンシングすることが可能なセンサと、
プロセッサと、
コンピュータプログラムを格納したメモリと
を備え、
前記プロセッサは、前記コンピュータプログラムを実行することにより、
前記通信装置を介して、前記他の移動体から、指定された領域の捜索を求める指示を受信し、
前記指定された領域と自己位置との関係に応じて、前記センサを用いて周囲の空間をセンシングして前記捜索を行い、
前記捜索の結果を前記他の移動体に送信する、移動体。
【請求項１８】
前記プロセッサは、
前記通信装置を介して、前記ターゲットの特徴を示す特徴データをさらに受信し、
前記周囲の空間をセンシングして得られたセンサデータと前記特徴データとが合致するか否かを判定し、
合致する場合には、前記ターゲットの位置を示すデータおよび前記自己位置を示すデータの少なくとも一方を前記捜索の結果として送信する、請求項１７に記載の移動体。
【請求項１９】
前記通信装置は、２．４ＧＨｚ帯の周波数を利用して通信を行う、請求項１から１８のいずれかに記載の移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は移動体に関する。
【背景技術】
【０００２】
移動体が人などの対象を追跡する技術が知られている。移動体の一例は、無人搬送車（ＡＧＶ（Ａｕｔｏｍａｔｅｄ  Ｇｕｉｄｅｄ  Ｖｅｈｉｃｌｅ））等のロボットである。【０００３】
移動体が対象を追跡している間に当該対象を見失った場合、当該対象を探索して再度発見し、追跡を再開することが求められる。たとえば、特開２００５−１９９３７７号公報および特開２００６−３４４０７５号公報は、複数のセンサまたはロボット間で常に通信を行って、センサ情報、各ロボットの位置情報等を共有し、対象を再度発見する技術を開示する。特開２０１６−１１９６２６号公報は、通常は地上の監視カメラを用いて対象を追跡するが、対象を見失った場合はカメラを搭載した飛行装置を飛行させ、カメラで撮影された画像から当該対象を検出する技術を開示する。さらに、揚長輝他、「複数のアクティブカメラを用いた指定人物のリアルタイム追跡」（大阪大学大学院工学研究科）は、複数のカメラを設け、対象を見失った場合には、カメラ間で情報交換を行って、対象が存在する領域を予測する技術を開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１９９３７７号公報
【特許文献２】特開２００６−３４４０７５号公報
【特許文献３】特開２０１６−１１９６２６号公報
【非特許文献】
【０００５】
【非特許文献１】揚長輝他、「複数のアクティブカメラを用いた指定人物のリアルタイム追跡」、大阪大学大学院工学研究科
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した技術は、追跡する対象を見失った場合には移動体間またはカメラ間で常に通信を行う必要があるため、通信負荷および通信によって取得した情報の処理負荷が増加する。特に、上述の特開２００６−３４４０７５号公報の技術、および、「複数のアクティブカメラを用いた指定人物のリアルタイム追跡」の技術では、カメラまたはセンサの連携台数が増加するほどシステムにかかる負荷が大きくなる。これでは、処理が追いつかなくなるおそれがある。【０００７】
飛行装置を導入する場合には導入コストが必要になることに加え、飛行装置が飛行できない場所では対象を再発見することができない。【０００８】
工場でＡＧＶに人等を追跡させることを想定すると、他の機器と共通したインフラを用いる都合から、上述した通信負荷および処理負荷の増加を見越したシステムの設計・開発が要求される。導入および維持・管理のためのコストが増加し得る。【０００９】
本開示の実施形態は、通信、処理および／または機材購入等のコストを低減することが可能な移動体および当該移動体を含む移動体システムを提供する。
【課題を解決するための手段】
【００１０】
本発明の例示的な実施形態によれば、移動体は、複数のセンシング機器が存在する屋内および／または屋外で、前記複数のセンシング機器の少なくとも１台と連携してターゲットを追尾する移動体であって、前記ターゲットをセンシングするセンサと、通信装置と、プロセッサと、コンピュータプログラムを格納したメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行することにより、前記センサの出力を解析して前記ターゲットの位置を計算し、前記ターゲットを見失ったとき、最後に計算した前記ターゲットの位置または前記ターゲットを見失った後の前記センサの出力を解析して得られた位置と、前記ターゲットを見失うまでの前記ターゲットまたは自機の移動履歴と、を利用して、前記ターゲットが存在する領域を推定し、前記通信装置を介して、前記領域に応じて選択された前記少なくとも１台のセンシング機器に前記ターゲットの捜索を指示し、前記通信装置を介して、前記センシング機器による前記捜索の結果を受信する。
【発明の効果】
【００１１】
本開示の実施形態によると、移動体は、追跡対象であるターゲットを見失った場合に、他のセンシング機器に捜索要求を送信し、一部のセンシング機器を用いて見失ったターゲットを捜索させる。他のセンシング機器と連携してターゲットを追尾することにより、通信負荷および処理負荷を抑制できる。また、見失ったターゲットを捜索するための専用の飛行装置等の導入は不要であるため、そのような機材購入等に必要なコストを削減できる。
【図面の簡単な説明】
【００１２】
【図１】図１は、通路１を歩く人２を追跡するＡＧＶ１０を示す図である。
【図２】図２は、本開示の例示的なＡＧＶ１０の外観図である。
【図３】図３は、ＡＧＶ１０のハードウェアの構成を示す図である。
【図４】図４は、捜索範囲Ｒと、ＡＧＶ１０と、他のＡＧＶ２０ａ〜２０ｃの各位置との関係を示す図である。
【図５】図５は、ターゲットである人２の移動方向Ｄを示す図である。
【図６】図６は、人２の移動方向Ｄを考慮して決定された、撮影可能領域Ｓの部分領域Ｓｐを示す図である。
【図７】図７は、例示的な実施形態による、通路１を移動する人２を見失ったＡＧＶ１０、捜索領域Ｒおよび部分領域Ｓｐの一例を示す図である。
【図８Ａ】図８Ａは、マイコン１４ａの処理の手順を示すフローチャートである。
【図８Ｂ】図８Ｂは、マイコン１４ａの処理の手順を示すフローチャートである。
【図９】図９は、捜索要求を受信したセンシング機器のマイコンの処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付の図面を参照しながら、本開示による移動体の一例を説明する。本明細書では、移動体の一例として無人搬送車を挙げる。上述のように無人搬送車はＡＧＶとも呼ばれており、本明細書でも「ＡＧＶ」と記述する。なお、ＡＧＶが物の搬送機能を有することは必須ではない。何も搬送しない移動可能ロボット（mobile robot）もまた、本明細書におけるＡＧＶの範疇である。また本明細書では、４つの車輪を有する台車型のＡＧＶを例示するが、車輪の数および形状は任意である。ＡＧＶは、たとえば、２つの車輪を有するバイク型であってもよいし、３つ以上の車輪を有する円形状であってもよい。
【００１４】
図１は、通路１を歩く人２を追跡するＡＧＶ１０を示す。ＡＧＶ１０が人２を追跡する目的は、たとえば人２の荷物を搬送するため、または、不審者であると判断された人２を監視するためである。
【００１５】
ＡＧＶ１０は内蔵された複数のモータをそれぞれ駆動し、車輪を回転させて移動する。ＡＧＶ１０は後述するデプスカメラを備えている。ＡＧＶ１０は、人２をデプスカメラの視野Ｆに入れながら、ＡＧＶ１０から人２までの距離を計測する。またＡＧＶ１０は、当該距離およびデプスカメラによって取得された人２の画像から、人２の位置、進行方向および移動速度を演算し、人２を追跡する。
【００１６】
ＡＧＶ１０は、画像内の人２を認識するために、人２の特徴量を有している。特徴量は、たとえば、画像上の人２の輪郭（エッジ）を表す複数の特徴点、人２の服装の色、人２の身体の各部位までの距離に基づく三次元形状である。
【００１７】
通路１には、複数のカメラ３ａおよび３ｂが設置されている。図１では、カメラ３ａおよび３ｂは通路１の天井に固定的に設置されているが、壁面でもよい。通路１には、ＡＧＶ１０と同等の構成および機能を有する不図示の他のＡＧＶも走行している。当該他のＡＧＶに搭載されたカメラは、固定的に設置されたカメラとは異なり、可動式のカメラとして動作し得る。
【００１８】
図２は、本実施形態にかかる例示的なＡＧＶ１０の外観図である。また図３は、ＡＧＶ１０のハードウェアの構成を示す。
【００１９】
ＡＧＶ１０は、４つの車輪１１ａ〜１１ｄと、フレーム１２と、搬送テーブル１３と、走行制御装置１４と、デプスカメラ１５とを有する。なお、図５には、前輪１１ａ、後輪１１ｂおよび後輪１１ｃは示されているが、前輪１１ｄはフレーム１２の蔭に隠れているため明示されていない。
【００２０】
走行制御装置１４は、ＡＧＶ１０の動作を制御する装置である。走行制御装置１４は、主としてマイコン（後述）を含む複数の集積回路、複数の電子部品および、当該複数の集積回路および当該複数の電子部品が搭載された基板を含む。
【００２１】
デプスカメラ１５は、動画像および／または静止画像を撮影する一般的な機能に加え、物体までの距離（深度）を計測する機能を有する。デプスカメラ１５は、不図示のイメージセンサを有しており、視野Ｆの光をイメージセンサで受けることにより、静止画像を取得することができる。所定の時間間隔で連続して取得された静止画像の集合が動画像である。動画像および静止画像を取得する技術は公知であるため、これ以上の詳細な説明は省略する。以下では、動画像および静止画像を総称して「画像」と呼ぶ。デプスカメラ１５によって検出され得る物体の例は、人、荷物、棚、壁である。
【００２２】
デプスカメラ１５は、たとえばＴＯＦ（Time Of Flight）方式により、深度を計測する。ＴＯＦ方式とは、光がデプスカメラ１５と物体との間を往復する時間から、デプスカメラ１５から物体までの距離を計測する方式である。ＴＯＦ方式のデプスカメラ１５は、たとえばパルス状赤外光を放射し、物体で反射した当該赤外光をセンサで受光する。デプスカメラ１５は、放射した赤外光の位相と受光した反射光の位相との差（位相差）を検出して当該位相差を時間差に変換し、さらに当該時間差と光の速度との積を演算する。演算結果は、デプスカメラ１５と物体との往復の距離を表す。これにより、デプスカメラ１５は、カメラから物体までの片道の距離をリアルタイムで計測することができる。デプスカメラ１５の構造および動作原理は公知であるため、本明細書ではこれ以上の詳細な説明は省略する。
【００２３】
ＡＧＶ１０の位置および姿勢と、デプスカメラ１５によって取得された画像とにより、ＡＧＶ１０は、自機の周囲の物体の配置を得ることができる。一般に、移動体の位置および姿勢は、ポーズ（ｐｏｓｅ）と呼ばれる。２次元面内における移動体の位置および姿勢は、ＸＹ直交座標系における位置座標（ｘ, ｙ）と、Ｘ軸に対する角度θによって表現される。ＡＧＶ１０の位置および姿勢、すなわちポーズ（ｘ, ｙ, θ）を、以下、単に「位置」と呼ぶことがある。
【００２４】
後述する測位装置は、デプスカメラ１５を用いて取得された画像および距離のデータから作成された局所的地図データを、より広範囲の環境地図データと照合(マッチング)することにより、環境地図上における自己位置（ｘ, ｙ, θ）を同定することが可能になる。「より広範囲の環境地図データ」は予め用意され、マップデータとして記憶装置１４ｃに格納されている。
【００２５】
デプスカメラ１５は、周囲の空間をセンシングしてセンサデータを取得するための外界センサの一例である。レーザレンジファインダおよび超音波センサもまたそのような外界センサの一例である。本実施形態では、デプスカメラ１５は、ＡＧＶ１０から人２までの距離を計測するために用いられる装置の一例に過ぎない。デプスカメラ１５に代えて、二眼カメラを利用してもよい。
【００２６】
ＡＧＶ１０は、上述の種々のセンサを組み合わせて動作することができる。たとえば、ＡＧＶ１０は、レーザレンジファインダによって周囲の空間を走査し、周囲の物体の存在および当該物体までの距離を計測してもよい。また、ＡＧＶ１０は、奥行き情報を取得しないカメラによって画像を取得してもよい。ＡＧＶ１０は、レーザレンジファインダから出力されたデータと、カメラから出力された画像データとを組み合わせて自己位置を推定し得る。ＡＧＶ１０は、後述する「ターゲット」を追跡するために別途デプスカメラ１５を有していてもよい。または、レーザレンジファインダから出力された距離の情報とカメラから出力された画像データとを利用すれば、デプスカメラ１５および二眼カメラを省略することもできる。本明細書では、外界センサを「センシング機器」と呼び、外界センサから出力されたデータを「センサデータ」と呼ぶことがある。
【００２７】
なお、図１および図２では、視野ＦはＡＧＶ１０が走行する床面に平行であるかのように描かれているが、実際には視野Ｆは床面に垂直な方向にも拡がっていることに留意されたい。
【００２８】
デプスカメラ１５から出力された「センサデータ」は、画像および距離のデータを含む。距離は画像の画素毎に計測され得る。人２までの距離は、たとえば、画像内の人２の像を形成する各画素の距離の平均値として求められ得る。
【００２９】
図３を参照する。図３には、ＡＧＶ１０の走行制御装置１４の具体的な構成も示されている。
【００３０】
ＡＧＶ１０は、走行制御装置１４と、デプスカメラ１５と、２台のモータ１６ａおよび１６ｂと、駆動装置１７とを備えている。
【００３１】
走行制御装置１４は、マイコン１４ａと、メモリ１４ｂと、記憶装置１４ｃと、通信回路１４ｄと、測位装置１４ｅとを有している。マイコン１４ａ、メモリ１４ｂ、記憶装置１４ｃ、通信回路１４ｄおよび測位装置１４ｅは通信バス１４ｆで接続されており、相互にデータを授受することが可能である。またデプスカメラ１５もまた通信インタフェース（図示せず）を介して通信バス１４ｆに接続されており、計測結果である計測データを、マイコン１４ａ、測位装置１４ｅおよび／またはメモリ１４ｂに送信する。
【００３２】
マイコン１４ａは、走行制御装置１４を含むＡＧＶ１０の全体を制御するための演算を行うプロセッサまたは制御回路（コンピュータ）である。典型的にはマイコン１４ａは半導体集積回路である。マイコン１４ａは、ＰＷＭ（Ｐｕｌｓｅ  Ｗｉｄｔｈ  Ｍｏｄｕｌａｔｉｏｎ）信号を駆動装置１７に送信して駆動装置１７を制御し、モータに流れる電流を調整させる。これによりモータ１６ａおよび１６ｂの各々が所望の回転速度で回転する。
【００３３】
メモリ１４ｂは、マイコン１４ａが実行するコンピュータプログラムを記憶する、揮発性の記憶装置である。メモリ１４ｂは、マイコン１４ａおよび測位装置１４ｅが演算を行う際のワークメモリとしても利用され得る。
【００３４】
記憶装置１４ｃは、マップデータを記憶する不揮発性の半導体メモリ装置である。ただし、記憶装置１４ｃは、ハードディスクに代表される磁気記録媒体、または、光ディスクに代表される光学式記録媒体であってもよい。さらに、記憶装置１４ｃは、いずれかの記録媒体にデータを書き込みおよび／または読み出すためのヘッド装置および当該ヘッド装置の制御装置を含んでもよい。
【００３５】
通信回路１４ｄは、たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）および／またはＷｉ−Ｆｉ（登録商標）規格に準拠した無線通信を行う無線通信回路である。いずれの規格も、２．４ＧＨｚ帯の周波数を利用した無線通信規格を含む。
【００３６】
測位装置１４ｅは、デプスカメラ１５からセンサデータを受け取り、また、記憶装置１４ｃに記憶されたマップデータを読み出す。測位装置１４ｅは、センサデータとマップデータとを照合して自己位置を同定する処理を行うことができる。測位装置１４ｅの具体的な動作は後述する。
【００３７】
なお、本実施形態では、マイコン１４ａと測位装置１４ｅとは別個の構成要素であるとしているが、これは一例である。マイコン１４ａおよび測位装置１４ｅの各動作を独立して行うことが可能な１つのチップ回路または半導体集積回路であってもよい。図３には、マイコン１４ａおよび測位装置１４ｅを包括するチップ回路１４ｇが示されている。本明細書では、マイコン１４ａ、測位装置１４ｅおよび／またはチップ回路１４ｇは、コンピュータ、または、処理回路と呼ぶことがある。なお、以下では、マイコン１４ａおよび測位装置１４ｅが別個独立に設けられている例で説明する。
【００３８】
２台のモータ１６ａおよび１６ｂは、それぞれ２つの車輪１１ｂおよび１１ｃに取り付けられ、各車輪を回転させる。
【００３９】
駆動装置１７は、２台のモータ１６ａおよび１６ｂの各々に流れる電流を調整するためのモータ駆動回路１７ａおよび１７ｂを有する。モータ駆動回路１７ａおよび１７ｂの各々はいわゆるインバータ回路であり、マイコン１４ａから送信されたＰＷＭ信号によって各モータに流れる電流をオンまたはオフし、それによりモータに流れる電流を調整する。
【００４０】
ＡＧＶ１０は人２を追跡するよう、管理者または走行管理装置（図示せず）から指示される。本実施形態では、人２を追跡している間に、ＡＧＶ１０が人２を見失ったときのＡＧＶ１０の動作を説明し、併せて、ＡＧＶ１０の周囲に存在する他のＡＧＶまたはカメラの動作を説明する。
【００４１】
以下の説明では、単に「カメラ」と呼ぶときは、ＡＧＶ１０が走行する屋内および／または屋外に固定的に設置されたカメラを指す。一方、他のＡＧＶに搭載されたカメラは、「他のＡＧＶのカメラ」などと表現する。なお、カメラ、および、他のＡＧＶのカメラは、いずれも「センシング機器」の一例である。
【００４２】
また、追跡する対象を「ターゲット」と呼ぶ。本実施形態では、ターゲットは人２である。しかしながら、動物、他のＡＧＶ等などの、移動が可能な物体であればターゲットになり得る。
【００４３】
本明細書では、ターゲットを「見失う」とは、主として２つの意味を含む。１つは、取得した画像上にターゲットの像が存在しなくなった場合である。他の１つは、取得した画像上にターゲットの像を含む複数の像が存在することにより、マイコン１４ａがターゲットの候補を１つに決定できなくなった場合である。
【００４４】
ターゲットを見失ったとき、ＡＧＶ１０のマイコン１４ａは、ターゲットが存在すると推定される位置を含む領域（捜索領域）を決定する。マイコン１４ａは、通信回路１４ｄを利用して、当該捜索領域に応じて選択された少なくとも１台の他のＡＧＶまたはカメラにターゲットの捜索を指示する。指示を受けた他のＡＧＶ等は、周囲の空間をセンシングしてターゲットを捜索し、捜索の結果をＡＧＶ１０に送信する。マイコン１４ａは、捜索の結果を受信し、結果がターゲットの存在を示している場合にはターゲットが存在している位置まで自機を移動させ、当該位置からターゲットの追跡を再開する。一方、捜索の結果がターゲットの不存在を示す場合には、マイコン１４ａは捜索領域を変更して上述の動作を再度行う。
【００４５】
以下の説明では、マイコン１４ａによる捜索領域を決定する処理、捜索領域に応じて少なくとも１台の他のＡＧＶまたはカメラが選択される処理、および、ターゲットの捜索処理を説明する。
【００４６】
図４は、捜索範囲Ｒと、ＡＧＶ１０と、他のＡＧＶ２０ａ〜２０ｃの各位置との関係を示す。なお「他のＡＧＶ２０ａ〜２０ｃ」の一部または全部は「カメラ」に置き換えられ得る。説明の便宜上、各ＡＧＶ２０ａ〜２０ｃの構成はＡＧＶ１０と同等とする。したがって各ＡＧＶ２０ａ〜２０ｃはデプスカメラ１５を有している。
【００４７】
ＡＧＶ２０ａ〜２０ｃの各デプスカメラは視野Ｆａ〜Ｆｃを有している。各視野Ｆａ〜Ｆｃの奥行きは、たとえば１ｍ〜５ｍである。奥行きが比較的短い理由は、デプスカメラから放射される赤外光の到達範囲、および、撮影された画像内のターゲットの像を識別するため解像度を考慮したからである。なお、視野の奥行きは整数値で表されるとは限られず、小数値で表され得る。
【００４８】
図４には、ターゲットである人２の位置が「＋」の記号で示されている。ＡＧＶ１０は、「＋」の記号の位置に到達するまでは、デプスカメラ１５から取得されていた画像、当該画像内の人２までの距離、および、ＡＧＶ１０のポーズから、人２の位置を同定している。いま、ＡＧＶ１０は「＋」の記号の位置で人２を見失ったとする。
【００４９】
人２を見失った時点でターゲットが移動する速さは、追跡していたＡＧＶ１０が移動する速さＶに等しいと仮定し得る。ＡＧＶ１０は、たとえばモータ１６ａおよび１６ｂの回転速度と車輪の半径値を利用して速さＶを求めることができる。ＡＧＶ１０が速度計を有している場合には、ＡＧＶ１０は当該速度計の出力値を利用して速さＶを取得してもよい。
【００５０】
または、ＡＧＶ１０は、デプスカメラ１５が撮影した複数枚の画像および距離の変化量からターゲットが移動する速さを求めてもよい。ＡＧＶ１０は、人２を見失うまでに撮影された複数枚の画像を分析し、撮影時刻の差と、画像および／または距離から決定され得る位置の変化量とを用いて人２が移動する速さを求めてもよい。ただしＡＧＶ１０が走行している場合には、ＡＧＶ１０が移動する速さを考慮する必要がある。
【００５１】
上述の説明から明らかなように、ＡＧＶ１０が人２を見失った場合、ＡＧＶ１０は人２を見失うまでに取得していたＡＧＶ１０またはターゲットの移動履歴である、それまで移動していた速さの情報を利用する。
【００５２】
ターゲットを見失ってからの経過時間をＴとする。ターゲットを見失ってからターゲットが移動したと推定される距離、すなわち推定移動距離ＬRは、ＬR＝Ｖ・Ｔによって得られる。つまりターゲットが移動し得る範囲は、図４の「＋」の記号の位置を中心とする半径ＬRの円内であると推定される。ＡＧＶ１０は、当該円内の領域を「捜索領域Ｒ」として設定する。
【００５３】
捜索領域Ｒの画像を取得することが可能なＡＧＶは、他のＡＧＶ２０ａ〜２０ｃのうち、図４に示す撮影可能領域Ｓ内に存在するＡＧＶである。撮影可能領域Ｓは、捜索領域Ｒよりも広く設定される。たとえば撮影可能領域Ｓは、「＋」の記号の位置を中心とする、半径Ｌｓ（＞ＬR）の円として規定され得る。半径の差（Ｌｓ―ＬR）は、他のＡＧＶのデプスカメラの視野の奥行きに相当する。撮影可能領域Ｓに存在する他のＡＧＶは、デプスカメラを用いて捜索領域Ｒの少なくとも一部を撮影することが可能である。本実施形態では、他のＡＧＶのデプスカメラには、捜索領域Ｒの全体を撮影できる性能は必須ではない。
【００５４】
なお、撮影可能領域Ｓに存在していたとしても、他のＡＧＶのデプスカメラの視野が捜索領域Ｒの方向を向いていないため、実際には捜索領域Ｒを撮影できない場合はあり得る。しかしながら本実施形態では、ターゲットを追跡するＡＧＶ１０は、撮影可能領域Ｓ内に存在する他のＡＧＶに捜索領域Ｒの捜索を指示することとした。なお、後述のように、他のＡＧＶには捜索領域Ｒを特定するデータも送信されるため、他のＡＧＶは必要に応じて移動することにより、捜索領域Ｒを撮影することができる。
【００５５】
図４に示す例では、推定された捜索領域Ｒに応じて他のＡＧＶ２０ａおよび２０ｂが選択される。ＡＧＶ２０ａおよび２０ｂは捜索領域Ｒをセンシングし、ターゲットを捜索する。一方、撮影可能領域Ｓの外部に位置するＡＧＶ２０ｃは、捜索領域Ｒ内のターゲットを捜索するＡＧＶとして選択されない。
【００５６】
ＡＧＶ１０は、通信回路１４ｄを介して捜索要求を送信する。本実施形態では、捜索要求は全ての他のＡＧＶおよびカメラに送信される。このとき、ＡＧＶ１０は、捜索要求に、捜索領域Ｒおよび撮影可能領域Ｓを特定する領域データも付加する。領域データは、人２を見失った位置の座標および半径ＬRおよびＬｓの値の組である。「座標」は、ＡＧＶ１０が走行する空間に予め設定された「絶対座標」によって指定され得る。
【００５７】
捜索要求および領域データを受信した各ＡＧＶおよびカメラは、自身の位置が撮影可能領域Ｓ内であるか否かを判定する。
【００５８】
ＡＧＶの場合、当該判定のための処理には、ＡＧＶ１０に関して上述した測位装置１４ｅを利用すればよい。捜索要求を受信した各ＡＧＶは、自身のデプスカメラから画像データを受け取り、また、記憶装置１４ｃに記憶されたマップデータを読み出す。測位装置１４ｅは、画像データとマップデータとを照合して自己位置を同定する処理を行うことができる。各ＡＧＶのマイコンは、同定した自己位置が上述の撮影可能領域Ｓに含まれているか否かを判定すればよい。なお、自己位置を同定するために、たとえばＬｉＤＡＲ等のセンサ、ジャイロ、ホイールエンコーダ等が利用されてもよい。
【００５９】
一方、カメラは固定的に設置されているため、位置の情報を予め記憶させておくことができる。各カメラのマイコンは、自身の位置が上述の撮影可能領域Ｓに含まれているか否かを判定すればよい。
【００６０】
上述の処理により、捜索領域Ｒが推定されると、撮影可能領域Ｓが決定され、さらに撮影可能領域Ｓ内の他のＡＧＶ２０ａおよび２０ｂが選択されることになる。当該他のＡＧＶ２０ａおよび２０ｂは、人２を見失った位置の座標および半径ＬRによって示される捜索領域Ｒを撮影し、画像内にターゲットが存在するか否かを判定して、捜索結果をＡＧＶ１０に送信する。
【００６１】
画像内にターゲットが存在するか否かの判定に当たっては、ＡＧＶ１０は、ＡＧＶ２０ａおよび２０ｂに、ターゲットである人２の特徴データを予め送信しておけばよい。特徴データは、ＡＧＶ１０が画像内の人２を認識するために利用する特徴量を示している。送信のタイミングは任意である。たとえば、各ＡＧＶ２０ａおよび２０ｂは、自身の位置が上述の撮影可能領域Ｓに含まれていると判定したときに、ＡＧＶ１０に通知する。ＡＧＶ１０は当該通知の受信に応答して特徴データを送信すればよい。
【００６２】
当該他のＡＧＶ２０ａおよび２０ｂの各々は、画像処理を行って、取得した画像内に、特徴データに完全に合致するか否かを判定する。なお、「合致する」ことには、取得した画像内に、所定以上の割合、たとえば６０％以上の割合、で特徴データに一致する像が存在することも含まれる。
【００６３】
上述の処理によれば、ターゲットを見失ったときに通信を行って捜索要求を送信するため、通信負荷を低く抑えることができる。また、比較的簡単な演算により、捜索領域Ｒおよび撮影可能領域Ｓを決定できるため、マイコンの演算負荷は十分低い。さらに、直接的には撮影可能領域Ｓに応じて選択され、または間接的には捜索領域Ｒに応じて選択されたセンシング機器が捜索を行うため、全てのセンシング機器を常に利用することもない。これにより、捜索の度に全体のリソースを無駄に利用することもない。さらに、上述の処理のために新たな機器を導入することも不要であるため、たとえば特開２０１６−１１９６２６号公報に記載の飛行装置のような、機器の導入コストも不要である。
【００６４】
次に、捜索領域Ｒをさらに絞り込むための処理を説明する。
【００６５】
図５は、ターゲットである人２の移動方向Ｄを示す。マイコン１４ａは、人２を見失うまでにデプスカメラ１５によって取得された複数枚の画像を利用して移動方向Ｄを決定し得る。たとえば、マイコン１４ａは、人２を見失う直前に取得されていた２枚の画像中の人２の像の「変化」を検出する。画像を、左から右に横切る方向に人２の像の位置が変化していれば、人２は右の方向に向かった、と推定される。一方、人２の像の「変化」が画像を横切る方向に生じていない場合には、人２は直進している、または停止していると推定される。
【００６６】
人２の移動方向は、人２を見失った後に人２を捜索する領域を効果的に限定するための有力な手がかりとなり得る。マイコン１４ａは、人２の移動方向をさらに考慮して、撮影可能領域Ｓを限定する。
【００６７】
図６は、人２の移動方向Ｄを考慮して決定された、撮影可能領域Ｓの部分領域Ｓｐを示す。マイコン１４ａは、撮影可能領域Ｓのうち、人２の移動方向Ｄを含む一定の幅を有する領域を部分領域Ｓｐとして決定する。
【００６８】
マイコン１４ａは、部分領域Ｓｐを特定するデータを領域データとして生成する。領域データは、たとえば人２を見失った位置の座標および半径Ｌｓの値、および、移動方向Ｄを含む所定の角度範囲の組である。捜索要求および領域データを受信した各ＡＧＶおよびカメラは、自身の位置が部分領域Ｓｐ内であるか否かを判定することができる。
【００６９】
上述の処理によれば、ＡＧＶ２０ａは、自機のデプスカメラによって撮影可能な範囲内で捜索領域Ｒを撮影し、画像内にターゲットが存在するか否かを判定する。そして、ＡＧＶ２０ａは、捜索結果をＡＧＶ１０に送信する。
【００７０】
一方、他のＡＧＶ２０ｂは部分領域Ｓｐ内には存在しないため、人２を捜索するためのＡＧＶとして動作することはない。
【００７１】
なお、仮に、部分領域Ｓｐに存在する他のＡＧＶ２０ａによる捜索結果が、ターゲットの不存在を示す場合には、マイコン１４ａは部分領域Ｓｐを変更し、新たな捜索要求および領域データを送信してもよい。変更の結果、ＡＧＶ２０ａとは異なるＡＧＶまたはカメラが新たに捜索を行うことがあり得る。その結果、捜索領域Ｒ内の他の一部が捜索される。
【００７２】
人２が存在する蓋然性がより高いと考えられる部分領域Ｓｐを決定し、部分領域Ｓｐ内の他のＡＧＶおよび／またはカメラに人２を捜索させることにより、捜索を行うＡＧＶおよび／またはカメラの範囲をさらに限定できる。これにより、センシング機器のより効率的な活用が実現される。
【００７３】
上述の説明では、本発明者が見出した処理を分かりやすくするため、捜索領域Ｒおよび撮影可能領域Ｓは、人２を見失った位置を中心とする円である例を挙げた。次に、図６のより具体的な例を説明する。
【００７４】
図７は、例示的な実施形態による、通路１を移動する人２を見失ったＡＧＶ１０、捜索領域Ｒおよび部分領域Ｓｐの一例を示す。各符号および記号はこれまでの例と同じである。
【００７５】
人２を見失ったＡＧＶ１０のマイコン１４ａは、見失う直前に人２が移動していた速さから、捜索領域Ｒを決定する。捜索領域Ｒは、二点鎖線および通路１の壁で囲まれた領域として定義され得る。さらにマイコン１４ａは、人２の移動方向Ｄを考慮して、部分領域Ｓｐを決定する。部分領域Ｓｐは、破線および通路１の壁で囲まれた領域として定義され得る。
【００７６】
マイコン１４ａは通信回路１４ｄを介して、人２の捜索要求とともに、部分領域Ｓｐを特定する領域データを他のＡＧＶおよびカメラに送信する。なお、部分領域Ｓｐは、上述したように、人２を見失った位置の座標および半径Ｌｓの値、および、移動方向Ｄを含む所定の角度範囲の組によって特定されてもよいし、通路１に予め設定された区画（ゾーン）によって特定されてもよい。
【００７７】
捜索要求および領域データを受信した他のＡＧＶおよびカメラは、上述した方法で、自機が部分領域Ｓｐに位置しているか否かを判定する。図７の例では、ＡＧＶ２０ｄおよびカメラ２０ｅは、それぞれ自機が部分領域Ｓｐに位置していると判定し、捜索領域Ｒをセンシングし、ターゲットを捜索する。一方、部分領域Ｓｐの外部に位置するカメラ２０ｆは、捜索領域Ｒ内のターゲットを捜索しない。
【００７８】
上述の例示的な実施形態の説明から明らかなように、ＡＧＶ１０が走行する通路１等に応じて、捜索領域Ｒ、撮影可能領域Ｓおよび部分領域Ｓｐを適切に設定することができる。
【００７９】
次に、図８Ａおよび図８Ｂを参照しながら、上述処理を行うＡＧＶ１０のマイコン１４ａの動作を説明する。
【００８０】
図８Ａおよび図８Ｂは、マイコン１４ａの処理の手順を示すフローチャートである。
【００８１】
ステップＳ１０において、マイコン１４ａは、センサであるデプスカメラ１５から出力された画像および距離のデータを解析してターゲットの位置を計算する。
【００８２】
ステップＳ１１において、マイコン１４ａは、ターゲットを見失ったか否かを判定する。ターゲットを見失っていない場合には処理はステップＳ１２に進み、見失った場合には処理はステップＳ１３に進む。
【００８３】
ステップＳ１２において、マイコン１４ａは、駆動装置１７にＰＷＭ信号を出力して、計算した位置に向かって自機を走行させる。
【００８４】
ステップＳ１３において、マイコン１４ａは、最後に計算して得られたターゲットの位置と、ターゲットを見失うまでのターゲットまたは自装置の移動履歴とを利用して、ターゲットの現在位置を含む捜索領域Ｒを推定する。
【００８５】
ステップＳ１４において、マイコン１４ａは、通信回路１４ｄを介して、ターゲットの捜索要求および領域データを出力する。これにより、推定した捜索領域Ｒおよび撮影可能領域Ｓまたは部分領域Ｓｐに応じて、他のＡＧＶまたはカメラが選択される。
【００８６】
ステップＳ１５において、マイコン１４ａは、選択された他のＡＧＶまたはカメラにターゲットの特徴データを送信する。これにより、マイコン１４ａは、特徴データに合致する特徴を有する物体の存否を選択した他のＡＧＶまたはカメラに判定させることができる。
【００８７】
処理は図８ＢのＡに続く。
【００８８】
ステップＳ１６において、マイコン１４ａは、他のＡＧＶまたはカメラから送信された捜索結果を受信する。
【００８９】
ステップＳ１７において、マイコン１４ａは、捜索結果を参照してターゲットが発見されたか否かを判定する。捜索結果がターゲットの不存在を示すときは処理はステップＳ１８に進み、存在を示すときは処理はステップＳ１９に進む。
【００９０】
ステップＳ１８において、マイコン１４ａは捜索領域Ｒと、撮影可能領域Ｓまたは部分領域Ｓｐを変更する。捜索領域Ｒの変更は、人２を見失ってからの経過時間の増加に伴って必要となった変更である。撮影可能領域Ｓまたは部分領域Ｓｐの変更は、新たに異なる撮影可能領域Ｓまたは部分領域Ｓｐを選択することに伴う変更である。その後、処理は図８Ａの「Ｂ」に戻り、ステップＳ１４以降の処理が再度行われる。
【００９１】
ステップＳ１９において、マイコン１４ａは、ターゲットが発見された位置まで自機を移動させ、当該位置からターゲットの追尾を再開する。なお、ターゲットが発見された位置まで自機を移動させている間もターゲットが移動している可能性があるため、他のＡＧＶまたはカメラに継続してターゲットの捜索を行わせてもよい。
【００９２】
次に、図９を参照しながら、捜索要求を受信した他のＡＧＶのマイコンまたはカメラ（センシング機器）に搭載されたマイコンの処理を説明する。
【００９３】
図９は、捜索要求を受信したセンシング機器のマイコンの処理の手順を示すフローチャートである。当該センシング機器はＡＧＶであるとする。当該ＡＧＶは図３に示すハードウェアを有している。よって、以下の説明では図３に示す構成を有するＡＧＶの処理として説明する。
【００９４】
ステップＳ３１において、マイコン１４ａは通信回路１４ｄを介して捜索要求および領域データを受信する。
【００９５】
ステップＳ３２において、マイコン１４ａは、自己位置は撮影可能領域Ｓ内か否かを判定する。判定の結果、自己位置が撮影可能領域Ｓ内であると判定された場合は、処理はステップＳ３３に進み、撮影可能領域Ｓ外であると判定された場合は、処理は終了する。なお、領域データとして部分領域Ｓｐを特定するデータが含まれている場合には、自己位置が部分領域Ｓｐ内か否かを判定すればよい。
【００９６】
ステップＳ３３において、マイコン１４ａは、搭載されたデプスカメラ１５で撮影を行う。さらにステップＳ３４において、マイコン１４ａは、撮影した画像内に特徴データに合致する像が存在するか否かを判定する。
【００９７】
ステップＳ３５において、マイコン１４ａは通信回路１４ｄを介して、捜索要求を送信したＡＧＶ１０に、ターゲットの存在および自機の位置情報を捜索結果として送信する。
【００９８】
以上、本開示の例示的な実施形態を説明した。
【００９９】
上述の説明では、見失ったターゲットの推定移動距離を、ターゲットまたはＡＧＶ１０の移動速度と、見失ってからの経過時間との積として求めた。しかしながら、演算の結果をそのまま用いるのではなく、たとえば得られた推定移動距離を１ｍ単位、５ｍ単位、または１０ｍ単位で切り上げた概算値を用いて、捜索領域Ｒ、撮影可能領域Ｓまたは撮影可能領域Ｓを決定してもよい。
【０１００】
上述の説明では、捜索要求を受信した他のＡＧＶまたはカメラが、画像内に人２に合致する特徴データを有する像が存在するか否かを判定した。ＡＧＶ１０ではなく、他のＡＧＶまたはカメラが判定を行うことにより、ＡＧＶ１０の処理負荷を分散することができる。
【０１０１】
しかしながら、他のＡＧＶまたはカメラが判定を行うのではなく、ＡＧＶ１０のマイコン１４ａが判定を行ってもよい。その場合、他のＡＧＶまたはカメラは撮影した画像のデータをＡＧＶ１０に送信する。ＡＧＶ１０のマイコン１４ａは、撮影可能領域Ｓまたは部分領域Ｓｐ内に存在する全てのＡＧＶまたはカメラから画像のデータを受信することになるため、処理負荷が一時的に増加する。しかしながら、他のＡＧＶまたはカメラは単に撮影して画像のデータを送信するだけでよいため、自身の計算機資源を自身の処理に割くことができる。
【産業上の利用可能性】
【０１０２】
本開示は、ターゲットを追跡する機能を有する移動体に広く用いられ得る。
【符号の説明】
【０１０３】
２  人（追跡対象、ターゲット）、  ３ａ、３ｂ  カメラ、  １０  自動搬送車（ＡＧＶ）、  １４  走行制御装置、  １４ａ  マイコン、  １４ｂ  メモリ、  １４ｃ  記憶装置、  １４ｄ  通信回路、  １４ｅ  測位装置、  １５  デプスカメラ、  １６ａ、１６ｂ  モータ、  １７  駆動装置、  １７ａ、１７ｂ  モータ駆動回路
【図１】
2018180454.tif 000003
【図２】
2018180454.tif 000004
【図３】
2018180454.tif 000005
【図４】
2018180454.tif 000006
【図５】
2018180454.tif 000007
【図６】
2018180454.tif 000008
【図７】
2018180454.tif 000009
【図８Ａ】
2018180454.tif 000010
【図８Ｂ】
2018180454.tif 000011
【図９】
2018180454.tif 000012
【国際調査報告】
2018180454.tif 000013
2018180454.tif 000014
2018180454.tif 000015
2018180454.tif 000016