(57)【要約】【課題】監視カメラの必要数を増加させることなく且つ画像処理等の処理負荷の増大を招くことなく、迷子である可能性のある人物を効率的に検出して、迷子予防を支援すること。【解決手段】施設内に入場する施設利用者であるユーザのグループを認識して、ユーザグループを示すユーザグループ情報を生成するグループ化部と、前記施設内の撮像装置から前記ユーザの画像を含む施設内画像を取得する画像取得部と、前記施設内のユーザに案内を行う移動可能な案内装置の動作を制御する案内制御部と、前記案内装置が案内しているユーザの前記ユーザグループを特定する案内グループ特定部と、前記案内している前記ユーザグループに属さないユーザである非案内ユーザが前記施設内画像に写っているときに、当該非案内ユーザを、可能性のある迷子として推定する迷子推定部と、を備える。【選択図】図２
2020145648.tif 000002
【特許請求の範囲】
【請求項１】
施設内に入場する施設利用者であるユーザのグループを認識して、ユーザグループを示すユーザグループ情報を生成するグループ化部と、
前記施設内の撮像装置から前記ユーザの画像を含む施設内画像を取得する画像取得部と、
前記施設内のユーザに案内を行う移動可能な案内装置の動作を制御する案内制御部と、
前記案内装置が案内しているユーザの前記ユーザグループを特定する案内グループ特定部と、
前記案内している前記ユーザグループに属さないユーザである非案内ユーザが前記施設内画像に写っているときに、当該非案内ユーザを、可能性のある迷子として推定する迷子推定部と、
を備える、迷子予防支援システム。
【請求項２】
前記撮像装置は、前記案内装置に備えられた撮像装置を含む、
請求項１に記載の迷子予防支援システム。
【請求項３】
前記グループ化部は、前記施設内に入場する前記ユーザと対話する受付装置から取得される当該ユーザとの対話音声についての対話分析、及び又は前記案内装置から取得される当該案内装置と前記ユーザとの対話音声についての対話分析に基づき、前記ユーザグループ情報を生成する、
請求項１または２に記載の迷子予防支援システム。
【請求項４】
前記可能性のある迷子として推定された前記非案内ユーザの位置を、前記施設内画像又は前記非案内ユーザを撮像した前記撮像装置の位置に基づいて特定し、当該特定した位置に応じた警戒動作を行う警戒動作部を更に備える、
請求項１ないし３いずれか一項に記載の迷子予防支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ショッピングモール、駅、空港、ホテルなどの施設において、迷子が発生しないように支援を行う迷子予防支援システムに関する。
【背景技術】
【０００２】
従来、監視カメラの画像情報から一人で行動する子供とその位置を特定し、当該画像情報から抽出される当該子供の外観的特徴等に基づいて当該子供を迷子として特定する人物検出システムが知られている（特許文献１参照）。このシステムでは、さらに、監視カメラの画像情報から抽出される行動情報に基づいて人物グループを判定し、上記子供と同じ人物グループの他の人物を当該子供の保護者として特定する。そして、監視カメラの画像情報から当該保護者の位置を特定することで、迷子の子供とその保護者との引き合わせを容易にする。
【０００３】
しかしながら、上記従来の人物検出システムは、全ての監視カメラからの全ての画像を対象として、当該画像に写り込んだ全ての人物を抽出してその外的特徴や行動情報等を抽出する必要があり、システムの処理負荷も膨大となる。また、上記従来の人物検出システムでは、行動情報の取得に伴う行動追跡等のため、多数の監視カメラを設置することが必要となり得る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−１３２８０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記背景に鑑みなされたものであり、画像処理等の処理負荷を軽減しつつ、迷子である可能性のある人物を効率的に検出して、迷子の予防を支援することである。
【課題を解決するための手段】
【０００６】
本発明の一の態様は、施設内に入場する施設利用者であるユーザのグループを認識して、ユーザグループを示すユーザグループ情報を生成するグループ化部と、前記施設内の撮像装置から前記ユーザの画像を含む施設内画像を取得する画像取得部と、前記施設内のユーザに案内を行う移動可能な案内装置の動作を制御する案内制御部と、前記案内装置が案内しているユーザの前記ユーザグループを特定する案内グループ特定部と、前記案内している前記ユーザグループに属さないユーザである非案内ユーザが前記施設内画像に写っているときに、当該非案内ユーザを、可能性のある迷子として推定する迷子推定部と、を備える迷子予防支援システムである。
本発明の他の態様によると、前記撮像装置は、前記案内装置に備えられた撮像装置を含む。
本発明の他の態様によると、前記グループ化部は、前記施設内に入場する前記ユーザと対話する受付装置から取得される当該ユーザとの対話音声についての対話分析、及び又は前記案内装置から取得される当該案内装置と前記ユーザとの対話音声についての対話分析に基づき、前記ユーザグループ情報を生成する。
本発明の他の態様によると、前記可能性のある迷子として推定された前記非案内ユーザの位置を、前記施設内画像又は前記非案内ユーザを撮像した前記撮像装置の位置に基づいて特定し、当該特定した位置に応じた警戒動作を行う警戒動作部を更に備える。
【発明の効果】
【０００７】
本発明によれば、画像処理等の処理負荷を軽減しつつ、迷子である可能性のある人物を効率的に検出して、迷子の予防を支援することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る迷子予防支援システムが利用されるシーンの一例を示す図である。
【図２】本発明の迷子予防支援システムの構成の一例を示す図である。
【図３】本発明の迷子予防支援システムの動作の手順を示すフロー図である。
【図４】本発明の迷子予防支援システムにおけるユーザグループＤＢ（データベース）の構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る迷子予防支援システム１００が利用されるシーンの一例を示す図である。本実施形態に係る迷子予防支援システム１００は、例えばホテルである施設１０４において可能性のある迷子を発見して迷子発生の予防を支援する。
【００１０】
施設１０４内には、当該施設１０４の玄関１０６から入場する宿泊客等の施設利用者（以下、ユーザという）の施設入場を受け付ける受付装置１１０が備えられている。受付装置１１０は、例えばスピーカ及びマイクを備えてユーザと対話することができ、例えば宿泊予約等の確認を行ってユーザの入場受付を行う。
【００１１】
また、施設１０４内には、施設１０４内のユーザに例えば施設１０４内の案内を行う、移動可能な案内装置１２０、１２２、１２４（総称して案内装置１２０等ともいう）が配されている。案内装置１２０等は、例えば案内ロボットであり、例えばスピーカ及びマイクを備えてユーザと対話することができる。
【００１２】
施設１０４内には、さらに、ユーザの画像を含む施設１０４内の画像（以下、施設内画像ともいう）を撮像する撮像装置１３０、１３２、１３４、１３６（総称して撮像装置１３０等ともいう）が設けられている。また、受付装置１１０には、ユーザの画像を含む施設内画像を撮像する撮像装置１４０が設けられている。さらに、案内装置１２０、１２２、１２４にも、それぞれ、ユーザの画像を含む施設内画像を撮像する撮像装置１５０、１５２、１５４（総称して撮像装置１５０等ともいう）が設けられている。
【００１３】
本実施形態では、迷子予防支援システム１００は、例えばサーバ等の、一つの装置として構成されており、例えばインターネットであるネットワーク１０２を介して施設１０４内に設けられたセキュリティ装置１０９と通信可能に接続されている。セキュリティ装置１０９は、迷子予防支援システム１００から受信した情報を、例えば施設１０４の保安管理者や従業員等に通報する。
【００１４】
迷子予防支援システム１００は、セキュリティ装置１０９及び又はネットワーク１０２を介して間接に、あるいはこれらを介せず直接に、受付装置１１０、案内装置１２０、１２２、１２４、撮像装置１３０、１３２、１３４、１３６、１４０、１５０、１５２、１５４、１５６、と通信可能に接続されている。
【００１５】
ここで、受付装置１１０および案内装置１２０等の動作は、例えば、迷子予防支援システム１００により制御される。
【００１６】
迷子予防支援システム１００は、施設１０４内に入場する施設利用者であるユーザのグループを認識して、ユーザグループを示すユーザグループ情報であるユーザグループレコードを生成する。ここで、ユーザのグループとは、互いに所定の関係を有し団体で行動することが通常である一群のユーザをいい、例えば家族、団体旅行者、友人グループ、社員グループ等のグループであり得る。
【００１７】
ユーザグループ情報であるユーザグループレコードは、そのユーザグループを構成するユーザのリストを含む。ユーザのリストには、対応するユーザの顔画像と識別情報（例えば氏名、年齢等）が含まれ得る。
【００１８】
迷子予防支援システム１００は、例えば受付装置１１０を制御して、施設１０４内に入場するユーザと対話させ、受付装置１１０が行う当該ユーザとの対話音声についての対話分析に基づき、ユーザのグループを認識し、そのユーザグループのユーザグループレコードを生成する。例えば、迷子予防支援システム１００は、ユーザの一人一人と挨拶を交わしつつ、「ａａ様のお連れ様ですね。お名前をお願いします。」、「他にお連れ様はいらっしゃいますか？」等の会話を行い、ユーザをグループ化し、そのユーザグループのユーザのリストを含むユーザグループレコードを生成する。なお、迷子予防支援システム１００は、受付装置１１０に代えて又はこれに加えて、案内装置１２０、１２２、１２４をユーザと対話させ、当該対話についての分析からユーザをグループ化してユーザグループレコードを作成するものとしてもよい。
【００１９】
図１の例では、施設１０４内に、ユーザ１６２、１６４、１６６、１６８、１７２、１７４、１７６、１７８、１８２、１８４、１８６、１９２、１９４、１９６、１９８（総称してユーザ１６２等ともいう）が存在する。また、図１の例では、ユーザグループは例えば家族である。
【００２０】
図１において、迷子予防支援システム１００は、例えばユーザ１６２と受付装置１１０との対話から、ユーザ１６２、１６４、１６６をユーザグループ１６０として認識する。また、図１の例では、既に、迷子予防支援システム１００は、ユーザ１７２、１７４、１７６、１７８をユーザグループ１７０として認識し、ユーザ１８２、１８４、１８６をユーザグループ１８０として認識し、ユーザ１９２、１９４、１９６、１９８をユーザグループ１９０として認識している。なお、ユーザグループ１７０のメンバであるユーザ１７８は、図示左下の位置で他のメンバから離れて行動しているが、図１においては、ユーザグループ１７０のメンバであることを示すため、ユーザグループ１７０を示す点線楕円内にも点線で示されている。
【００２１】
迷子予防支援システム１００は、これらのユーザグループ１６０、１７０、１８０、１９０（総称してユーザグループ１６０等ともいう）のそれぞれについて、各ユーザグループ１６０等のメンバであるユーザ１６２等の顔画像を含むユーザリストを含んだユーザグループレコードを、ユーザグループ情報として生成し記憶する。なお、ユーザ１６２等の顔画像は、例えばユーザのグループ化の際に対話に用いた受付装置１１０や案内装置１２０等が備える撮像装置１４０や１５０等から、迷子予防支援システム１００が取得する。
【００２２】
その後、迷子予防支援システム１００は、例えば受付装置１１０や案内装置１２０等を介して、ユーザ１６２等からの、例えば「ｂｂレストランはどこですか？」等の発話による案内依頼を受信したことに応じて、案内装置１２０等に指示して必要な案内を行う。また、迷子予防支援システム１００は、例えば案内装置１２０等が備える撮像装置１５０等や、受付装置１１０が備える撮像装置１４０、及び又は施設１０４内に配された撮像装置１３０等から取得される施設１０４内の画像（施設内画像）に基づき、案内装置１２０等のそれぞれが案内しているユーザグループ１６０等を特定する。
【００２３】
また、迷子予防支援システム１００は、案内装置１２０等が案内しているユーザグループに属さないユーザである非案内ユーザが施設内画像に写っているときに、当該非案内ユーザを、可能性のある迷子として推定する。
【００２４】
さらに、迷子予防支援システム１００は、上記可能性のある迷子として推定した非案内ユーザの位置を、施設内画像またはその非案内ユーザを撮像した撮像装置１３０等、１４０、１５０等の位置から特定する。そして、迷子予防支援システム１００は、当該特定した位置に応じた警戒動作を実行する。
【００２５】
図１の例では、迷子予防支援システム１００は、撮像装置１３０等、１４０、１５０等から取得される施設内画像から、案内装置１２２及び１２４が、それぞれユーザグループ１８０および１９０を案内していることを特定する。また、図１の例では、迷子予防支援システム１００は、例えば施設１０４内に配された撮像装置１３６からの施設内画像、または案内装置１２２に設けられた撮像装置１５２からの施設内画像に、案内装置１２２及び１２４が案内しているユーザグループ１８０及び１９０のいずれにも属さないユーザ１７８が写っていることを認識する。
【００２６】
そして、迷子予防支援システム１００は、上記ユーザ１７８を、非案内ユーザとして認識し、可能性のある迷子として推定する。ここで、案内しているユーザグループのいずれにも属さない非案内ユーザを迷子として推定するのは、案内しているユーザグループのうち欠けているユーザの場合には、当該ユーザは意図的に案内を外れて別行動を行っている可能性が高い一方、案内していないユーザグループのユーザの単独行動又は少人数行動等は、迷子である可能性がより高いためである。
【００２７】
そして、迷子予防支援システム１００は、可能性のある迷子として推定された非案内ユーザであるユーザ１７８の位置を、例えば当該ユーザ１７８が写り込んでいる施設内画像を取得した撮像装置１３６又は１５２の位置に基づいて特定する。撮像装置１３６の配置位置を含め、施設１０４内における撮像装置１３０等の配置位置は、予め迷子予防支援システム１００が記憶しているものとすることができる。また、撮像装置１５２の位置は、当該撮像装置１５２を搭載する案内装置１２２の現在位置から特定するものとすることができる。また、案内装置１２２の現在位置を含め、案内装置１２０等の現在位置は、例えば、従来技術に従い、案内装置１２０等のそれぞれにおいて受信される施設１０４内に分散して配置されたビーコン送信装置（不図示）からの電波の強度から特定されるものとすることができる。
【００２８】
そして、迷子予防支援システム１００は、可能性のある迷子として推定したユーザ１７８についての上記特定した位置に応じた警戒動作を行う。例えば、迷子予防支援システム１００は、上記特定した位置に応じて、当該ユーザ１７８についての警戒レベルを設定し、当該警戒レベルの情報を含む警戒情報を、ネットワーク１０２を介して施設１０４のセキュリティ装置１０９へ出力する。
【００２９】
この警戒情報には、例えば、そのユーザ１７８の位置を示す情報、顔画像、及び又は識別情報である名前等を含ませるものとすることができる。また、上記警戒レベルは、例えば、３段階で設定され得る。例えば、上記特定した位置が、施設１０４内において見通しの良いエリア（例えば、ホテルのロビー等）内であれば警戒レベル１、見通しの悪いエリア（例えば、展示物が多く死角が存在する売店等）内であれば警戒レベル２、施設１０４から外へ出ていく可能性のある出入口１０８から所定距離の範囲内であれば警戒レベル３、とすることができる。
【００３０】
図１の例では、迷子予防支援システム１００は、可能性のある迷子として推定したユーザ１７８の位置が、例えばホテルである施設１０４内のロビーであって、見通しの良いエリアであることから、当該ユーザ１７８についての警戒レベルを１に設定する。そして、迷子予防支援システム１００は、上記設定した警戒レベル１を示す情報を含む、上記可能性のある迷子として推定した非案内ユーザであるユーザ１７８についての警戒情報を、セキュリティ装置１０９へ出力する。
【００３１】
これにより、例えば、施設１０４の従業員又は保安員は、セキュリティ装置１０９を介してユーザ１７８についての警戒情報を取得したことに応じて、ユーザ１７８の位置を認識して当該ユーザ１７８を探し出し、ユーザグループ１７０に属する他のユーザ１７２，１７４、または１７６への連絡等、必要な対応をとることができる。
【００３２】
上記の構成を有する迷子予防支援システム１００は、施設１０４内のユーザ１６２等のユーザグループ１６０等を特定して記憶する。そして、迷子予防支援システム１００は、案内装置１２０等により案内されていないユーザグループ１７０に属する非案内ユーザであるユーザ１７８を、可能性のある迷子として推定して警戒動作を実行する。すなわち、迷子予防支援システム１００では、迷子の可能性を探るべく全てのユーザ１６２等を追跡することなく、撮像装置１３０等、１４０、１５０等から取得される施設１０４内の画像に非案内ユーザが認識されたか否かのみを基準として迷子の可能性を判断するので、迷子検出のための処理負荷を大幅に低減しつつ、迷子である可能性のある人物を効率的に検出することができる。また、上述の迷子予防支援システム１００では、例えば一のユーザグループ１８０を案内中である案内装置１２２の撮像装置１５２などの、施設１０４内を移動可能な案内装置１２０等に設けられた撮像装置１５０等をも用いて施設内画像を取得するので、必要な監視カメラの数を低減しつつ、可能性のある迷子を効率的に検出することができる。
【００３３】
次に、迷子予防支援システム１００の構成について説明する。図２は、迷子予防支援システム１００の構成の一例を示す図である。この迷子予防支援システム１００は、処理装置２００と、記憶装置２０２と、通信装置２０４と、を備える。記憶装置２０２は、例えば揮発性の半導体メモリ及び不揮発性の半導体メモリ、及び又はハードディスク装置で構成され、処理装置２００の動作に必要なデータ及び又はプログラムを保存する。
【００３４】
例えば、記憶装置２０２には、ユーザ画像データベース（ユーザ画像ＤＢ）２３０と、ユーザグループデータベース（ユーザグループＤＢ）２３２と、撮像装置データベース（撮像装置ＤＢ）２３４と、が保存される。ユーザ画像ＤＢ２３０は、撮像装置１３０等、１４０、１５０等が撮影したユーザの顔画像を保存する。ユーザグループＤＢ２３２は、後述するグループ化部２１０により生成されるユーザグループレコードで構成される。撮像装置ＤＢ２３４は、施設１０４内に設けられた撮像装置１３０等の配置位置、および撮像装置１４０を備える受付装置１１０の施設１０４内の配置位置の情報を保存する。ここで、撮像装置ＤＢ２３４は、予め記憶装置２０２に保存されている。
【００３５】
通信装置２０４は、処理装置２００を、ネットワーク１０２を介してセキュリティ装置１０９と通信可能に接続するための送受信機を含む。また、通信装置２０４は、処理装置２００を、セキュリティ装置１０９及び又はネットワーク１０２を介して間接に、あるいはこれらを介せず直接に、受付装置１１０、案内装置１２０等、撮像装置１３０等、１４０、１５０等と通信可能に接続するための送受信機を含む。
【００３６】
処理装置２００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサを備えるコンピュータである。処理装置２００は、プログラムが書き込まれたＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、データの一時記憶のためのＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を有する構成であってもよい。そして、処理装置２００は、機能要素又は機能ユニットとして、グループ化部２１０と、画像取得部２１２と、案内制御部２１４と、案内グループ特定部２１６と、迷子推定部２１８と、警戒動作部２２０と、を備える。
【００３７】
処理装置２００が備えるこれらの機能要素は、例えば、コンピュータである処理装置２００がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置２００が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
【００３８】
グループ化部２１０は、施設１０４内に入場する施設利用者であるユーザ１６２等のグループであるユーザグループ１６０等を認識して、当該ユーザグループを示すユーザグループ情報であるユーザグループレコードを生成し、記憶装置２０２が記憶するユーザグループＤＢ２３２に保存する。ユーザグループ情報であるユーザグループレコードには、少なくとも、そのユーザグループのメンバである各ユーザの、顔画像についての情報を含む識別情報が含まれるものとする。ここで、顔画像についての情報とは、顔画像データそのもののほか、顔画像データが保存されている記憶場所のアドレス等であるものとすることができる。なお、本実施形態におけるユーザグループレコードの構成の具体例については、図４を参照して後述する。
【００３９】
例えば、グループ化部２１０は、案内制御部２１４と協働して、受付装置１１０及び又は案内装置１２０等を制御して施設１０４内に入場するユーザ１６２等と所定の対話を行わせる。グループ化部２１０は、当該対話の対話音声を、受付装置１１０及び又は案内装置１２０等を介して取得する。そして、グループ化部２１０は、取得した対話音声についての対話分析に基づき、ユーザ１６２等のユーザグループ１６０等を特定して上記ユーザグループレコードを生成する。その際、グループ化部２１０は、受付装置１１０及び又は案内装置１２０等が備える撮像装置１４０及び又は１５０等により、特定したユーザグループ１６０等を構成する各ユーザ１６２等の顔画像を取得する。
【００４０】
これに代えて又はこれに加えて、グループ化部２１０は、撮像装置１３０等、１４０、１５０等から施設１０４内に入場するユーザ１６２等を写した施設内画像を取得し、当該施設内画像から、互いに会話するユーザ１６２等のグループや、ひとまとまりで行動するユーザ１６２等のグループを検知して、当該検知したグループをユーザグループ１６０等として特定するものとすることもできる。この場合には、グループ化部２１０は、ユーザグループ１６０等を特定するのに用いた施設内画像から、ユーザグループ１６０等のそれぞれを構成するユーザ１６２等の顔画像を取得するものとすることができる。
【００４１】
本実施形態では、グループ化部２１０は、例えば、上記取得した各ユーザ１６２等の顔画像を、そのユーザ１６２等が属するユーザグループ１６０等を識別するグループ識別ＩＤと共に、記憶装置２０２が記憶するユーザ画像ＤＢ２３０に保存する。そして、グループ化部２１０は、ユーザ画像ＤＢ２３０におけるユーザ１６２等の顔画像の記憶アドレスを、当該ユーザ１６２等に対応するユーザグループ１６０等についてのユーザグループレコードに含ませる。
【００４２】
画像取得部２１２は、施設１０４内に存在する撮像装置１３０等、１４０、１５０等からユーザ１６２等の画像を含む施設１０４内の画像（施設内画像）を、例えば所定の時間間隔で取得する。画像取得部２１２は、取得した施設内画像を、その取得先である撮像装置１３０等、１４０、及び又は１５０等を識別する撮像装置ＩＤと共に、迷子推定部２１８等へ出力する。
【００４３】
案内制御部２１４は、受付装置１１０の動作、及び、施設１０４内のユーザ１６２等に案内を行う移動可能な案内装置１２０等の動作を制御する。例えば、案内制御部２１４は、グループ化部２１０からの指示に応じて、受付装置１１０及び又は案内装置１２０等にユーザ１６２等との対話（会話）を実行させる。当該対話において受付装置１１０及び又は案内装置１２０等が行うべき発話の内容は、予め定められているものとすることができる。そして、案内制御部２１４は、上記対話における対話音声を受付装置１１０及び又は案内装置１２０等から取得して、グループ化部２１０へ出力する。
【００４４】
また、案内制御部２１４は、ユーザ１６２等が案内装置１２０等に対して行った、例えば施設１０４内の案内を求める音声指示を、案内装置１２０等を介して取得する。そして、案内制御部２１４は、案内装置１２０等のうち当該音声指示を受信した案内装置を制御して、当該案内装置に上記音声指示に応じた案内動作を行わせる。これに代えて又はこれに加えて、案内制御部２１４は、ユーザ１６２等が受付装置１１０に対して行った、施設１０４内の案内を求める音声指示を、受付装置１１０を介して取得する。そして、案内制御部２１４は、案内装置１２０等のいずれかを制御し、当該音声指示を行ったユーザ１６２等へ当該案内装置を派遣し、当該音声指示に応じた案内動作を行わせる。
【００４５】
ここで、案内制御部２１４は、ユーザ１６２等からの音声指示に基づいて案内装置１２０等に案内動作を行わせたときは、当該音声指示を行ったユーザ１６２等の顔画像を、受付装置１１０の撮像装置１４０及び又は案内装置１２０等の撮像装置１５０等から取得して案内グループ特定部２１６へ送信するものとすることができる。
【００４６】
案内グループ特定部２１６は、ユーザ１６２等のうち案内装置１２０等が案内しているユーザのユーザグループを案内グループとして特定する。例えば、案内グループ特定部２１６は、画像取得部２１２を介して施設内画像を取得し、案内装置１２０等のそれぞれと共に移動するユーザ１６２等を認識する。そして、当該認識したユーザ１６２等の顔画像をユーザ画像ＤＢ２３０に照会して、当該ユーザが属するユーザグループ１６０等を、案内グループとして特定する。
【００４７】
これに代えて又はこれに加えて、案内グループ特定部２１６は、案内を求める音声指示を行ったユーザ１６２等の顔画像を案内制御部２１４から取得し、当該取得した顔画像をユーザ画像ＤＢ２３０に照会して、当該ユーザが属するユーザグループ１６０等を案内グループとして特定してもよい。
【００４８】
そして、案内グループ特定部２１６は、案内グループを特定したときは、例えば、当該案内グループに対応するユーザグループのユーザグループレコードに含まれる案内フラグを１にセットする。これにより、当該ユーザグループレコードが示すユーザグループが案内グループとして特定されていることが示される。
【００４９】
また、案内グループ特定部２１６は、ユーザ１６２等に対する案内装置１２０等の案内動作が終了したときは、その案内動作に係るユーザ１６２等に対応するユーザグループレコードの案内フラグを０（ゼロ）にリセットする。例えば、案内装置１２０等は現在の案内動作を終了する際に、自装置から所定の距離範囲に居るユーザ１６２等の顔画像を撮像装置１５０等により取得し、当該取得した顔画像を案内グループ特定部２１６へ送信する。案内グループ特定部２１６は、当該顔画像を受信してユーザ画像ＤＢ２３０に照会し、当該顔画像のユーザ１６２等が属するユーザグループのグループ識別ＩＤを取得する。そして、案内グループ特定部２１６は、取得したグループ識別ＩＤを有するユーザグループレコードの案内フラグをリセットする。
【００５０】
図４は、ユーザグループＤＢ２３２の構成（したがって、ユーザグループレコードの構成）の一例を示す図である。図示のユーザグループＤＢ２３２は、例えばテーブル形式で構成されており、各行は、各ユーザグループを示すユーザグループレコードである。各ユーザグループレコードは、最左列から順に、グループ識別ＩＤと、案内フラグと、そのユーザグループを構成するユーザのユーザリストと、で構成されている。
【００５１】
グループ識別ＩＤは、その行に示されたユーザグループレコードに対応するユーザグループを識別するための固有のコードである。グループ識別ＩＤは、グループ化部２１０がユーザグループを特定してユーザグループレコードを生成する際に、当該グループ化部２１０により生成されて付加される。
【００５２】
案内フラグは、そのユーザグループが案内装置１２０等により現在案内されているユーザグループであるか否かを示すフラグである。案内フラグが１にセットされているときは、そのユーザグループは案内装置１２０等により現在案内されている案内グループである。また、案内フラグが０にリセットされているときは、そのユーザグループは、現在は案内装置１２０等により案内されていないユーザグループである。
【００５３】
案内フラグは、グループ化部２１０によりそのユーザグループレコードが生成された際には、デフォルトとして０にリセットされている。その後、案内フラグは、案内グループ特定部２１６が上述した動作を行うことによりセット又はリセットされる。
【００５４】
ユーザリストは、例えば複数の列で構成される。各列には、対応するユーザグループ１６０等を構成する各ユーザ１６２等のユーザ識別データが保存される。図４の例では、ユーザ識別データは、例えば、そのユーザのユーザ識別情報（図４において「ｕｓｅｒ」で始まる符号で示されたデータ）と、当該ユーザの顔画像が保存されたユーザ画像ＤＢ２３０における記憶部分の先頭アドレス（図４において「ａｄｒ」で始まる符号で示されたデータ）で構成されている。上記ユーザ識別情報は、そのユーザの氏名や年齢等のそのものを示す情報で構成されていてもよいし、そのような情報が記憶されている記憶装置２０２内の記憶部分のアドレスであってもよい。
【００５５】
図２を参照し、迷子推定部２１８は、ユーザ１６２等のうち案内装置１２０等が案内しているユーザグループ（すなわち、案内グループ）に属さないユーザである非案内ユーザが施設１０４内の画像に写っているときに、当該非案内ユーザを、可能性のある迷子として推定する。
【００５６】
具体的には、迷子推定部２１８は、撮像装置１３０等、１４０、１５０等が撮像した施設内画像を、画像取得部２１２を介して所定の時間間隔で取得し、取得した施設内画像に写っているユーザ１６２等のそれぞれの顔画像を抽出する。そして、迷子推定部２１８は、ユーザグループＤＢ２３２に保存されているユーザグループレコードのうち、案内フラグが０または１であるユーザグループレコードを対象として、上記抽出した顔画像にマッチする顔画像のユーザ１６２等をメンバとするユーザグループがあるか否かを判断する。
【００５７】
そして、迷子推定部２１８は、案内フラグが０であるユーザグループレコードの中に上記抽出した顔画像とマッチする顔画像を発見したとき、又は案内フラグが１であるユーザグループレコードの中に上記抽出した顔画像とマッチする顔画像を発見しなかったときは、当該顔画像に対応するユーザ１６２等を非案内ユーザであるものと判断する。
【００５８】
なお、案内フラグが０または１のいずれのユーザグループレコードを対象として上記判断処理を行うかは、いずれのユーザグループレコードの数が少ないかに応じて判断されるものとすることができる。
【００５９】
ここで、迷子推定部２１８は、施設内画像を取得する毎に、当該取得された施設内画像に写っているすべのユーザ１６２等について非案内ユーザであるか否かを判断する必要はない。例えば、迷子推定部２１８は、所定の時間間隔で施設内画像を取得したときに、前回取得した施設内画像には写っていなかったユーザ１６２等が新たに写った場合に、当該新たに写ったユーザ１６２等について非案内ユーザであるか否かの判断を行うものとすることができる。これにより、施設内画像に写った全てのユーザ１６２等について、必ず一度は非案内ユーザであるか否かの判断が行われるものとすることができる。
【００６０】
そして、迷子推定部２１８は、例えば、可能性のある迷子として特定した非案内ユーザの顔画像と、当該非案内ユーザが写っていた施設内画像と、当該施設内画像を撮像した撮像装置１３０等、１４０、１５０等の識別情報とを、警戒動作部２２０へ出力する。
【００６１】
警戒動作部２２０は、迷子推定部２１８から非案内ユーザの顔画像と施設内画像と撮像装置の位置情報とが出力されたときは、当該非案内ユーザの位置を、施設内画像または上記非案内ユーザを撮像した撮像装置の位置に基づいて特定する。
【００６２】
ここで、非案内ユーザが写っていた施設内画像を取得した撮像装置の位置は、例えば、その撮像装置が案内装置１２０等の撮像装置１５０等である場合は、上述したように、例えば案内装置１２０等のそれぞれにおいて受信される施設１０４内に分散して配置されたビーコン送信装置（不図示）からの電波の強度から特定されるものとすることができる。あるいは、撮像装置１３０等または１４０である場合には、それらの撮像装置の位置は、記憶装置２０２に保存された撮像装置ＤＢ２３４から取得されるものとすることができる。
【００６３】
そして、警戒動作部２２０は、当該特定した位置に応じた警戒動作を行う。例えば、警戒動作部２２０は、上記特定した位置に応じて警戒レベルを設定し、当該警戒レベルの情報を含む上記警戒情報を出力する。
【００６４】
ここで、警戒情報には、その非案内ユーザの顔画像及び位置についての情報が含まれ得る。また、上記警戒レベルは、上述したように、例えば、上記特定した位置がホテルのロビー等の見通しの良いエリア内であれば「１」、展示物が多く死角が存在する売店等の見通しの悪いエリア内であれば「２」、施設１０４から外へ出ていく可能性のある出入口１０８から所定距離の範囲内であれば「３」、とすることができる。
【００６５】
ただし、これは一例であって、警戒動作部２２０は、非案内ユーザの位置に応じて、より少ない数の又はより多い数の警戒レベルを設定するものとすることができる。また、上記に代えて又はこれに加えて、警戒動作部２２０は、非案内ユーザの位置に応じて、例えば、施設１０４を管理する保安会社（不図示）への通報や、施設１０４の玄関１０６や出入口１０８の施錠開錠を制御する施設制御装置（不図示）への施錠指示等、異なる動作を実行したり、又はこれらの動作の異なる組み合わせを実行するものとすることができる。
【００６６】
次に、迷子予防支援システム１００における動作について説明する。図３は、迷子予防支援システム１００の動作の手順を示すフロー図である。図３に示す処理は、例えば、所定の時間間隔で繰り返し実行される。なお、図３に示す処理とは独立に、並行して、迷子予防支援システム１００は、グループ化部２１０により、施設１０４内にユーザ１６２等が入場したことに応じて、当該ユーザ１６２等のグループを認識する。そして、グループ化部２１０は、ユーザグループを示すユーザグループ情報であるユーザグループレコードを生成して記憶装置２０２のユーザグループＤＢ２３２に記憶するものとする。また、迷子予防支援システム１００は、図３に示す処理とは独立に、並行して、案内制御部２１４により案内装置１２０、１２２、１２４の動作を制御すると共に、案内グループ特定部２１６により、案内装置１２０等が案内しているユーザグループである案内グループを特定し、当該案内グループに対応するユーザグループレコードの案内フラグをセットするものとする。
【００６７】
図３に示す処理を開始すると、迷子予防支援システム１００は、まず、画像取得部２１２により撮像装置１３０等、１４０、１５０等から施設１０４内の画像（施設内画像）を取得する（Ｓ１００）。次に、迷子推定部２１８は、取得した施設内画像に非案内ユーザが写っているか否かを判断する（Ｓ１０２）。そして、取得した施設内画像に非案内ユーザが写っていないときは（Ｓ１０２、ＮＯ）、迷子推定部２１８は、本処理を終了する。一方、取得した施設内画像に非案内ユーザが写っているときは（Ｓ１０２、ＹＥＳ）、迷子推定部２１８は、その非案内ユーザを可能性のある迷子と推定する（Ｓ１０４）。
【００６８】
次に、警戒動作部２２０は、迷子として推定された非案内ユーザのうち、警戒動作を実行していない非案内ユーザを選択し（Ｓ１０６）、例えば選択した非案内ユーザの写っている施設内画像を撮像した撮像装置１３０等、１４０、１５０等の位置から当該非案内ユーザの位置を特定する（Ｓ１０８）。続いて、警戒動作部２２０は、上記選択した非案内ユーザについて、上記特定した位置に応じた警戒動作を実行する（Ｓ１１０）。
【００６９】
次に、警戒動作部２２０は、ステップＳ１０４において迷子と推定した全ての非案内ユーザについて警戒動作を実行したか否かを判断する（Ｓ１１２）。そして、未だ警戒動作を実行していない非案内ユーザがあるときは（Ｓ１１２、ＮＯ）、警戒動作部２２０は、ステップＳ１０６に戻って処理を繰り返す。一方、全ての非案内ユーザについて警戒動作を実行したときは（Ｓ１１２、ＹＥＳ）、警戒動作部２２０は、本処理を終了する。
【００７０】
なお、本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
【００７１】
例えば、上述の実施形態では迷子予防支援システム１００は、一つの装置、例えばネットワーク１０２に接続された一つのサーバとして構成されているが、これには限られない。迷子予防支援システム１００は、例えば、その機能が分割されて、当該分割されたそれぞれの機能を有する複数の装置により構成されるものとすることができる。例えば、迷子予防支援システム１００は、処理装置２００のグループ化部２１０の機能並びに記憶装置２０２のうちユーザ画像ＤＢ２３０およびユーザグループＤＢ２３２の記憶部分を有する第１の装置と、その他の機能を有する第２の装置と、により構成されるものすることができる。上記第１の装置は、例えば施設１０４内に配され、第１の装置及び第２の装置は、例えばネットワーク１０２を介して又は介さずに互いに通信可能に接続されるものとすることができる。
【００７２】
また、例えば、迷子予防支援システム１００の機能の一部が、受付装置１１０や案内装置１２０等に分散して配されていてもよい。例えば、受付装置１１０および案内装置１２０等が備える処理装置に、案内制御部２１４の機能のうち、受付装置１１０を制御する機能部分および案内装置１２０等を制御する機能部分が、それぞれ備えられていてもよい。あるいは、撮像装置１３０等、１４０、１５０等がそれぞれ処理装置を備え、迷子推定部２１８の機能のうち施設内画像に新たに写ったユーザ１６２等の顔画像を抽出する機能が、撮像装置１３０等、１４０、１５０等のそれぞれの処理装置において実現されていてもよい。
【００７３】
また、本実施形態では、迷子予防支援システム１００は施設１０４外に配されるものとしたが、これには限られない。例えば、迷子予防支援システム１００は、施設１０４内に配されていてもよい。また、迷子予防支援システム１００は、セキュリティ装置１０９の機能を含んで構成されていてもよい。
【００７４】
以上説明したように、上述した実施形態に係る迷子予防支援システム１００は、グループ化部２１０と、画像取得部２１２と、案内制御部２１４と、案内グループ特定部２１６と、迷子推定部２１８と、を備える。グループ化部２１０は、施設１０４内に入場する施設利用者であるユーザ１６２等のグループを認識して、ユーザグループ１６０等を示すユーザグループ情報であるユーザグループレコードを生成する。画像取得部２１２は、施設１０４内の撮像装置１３０等、１４０、１５０等からユーザ１６２等の画像を含む施設内画像を取得する。案内制御部２１４は、施設１０４内のユーザに案内を行う移動可能な案内装置１２０等の動作を制御する。また、案内グループ特定部２１６は、ユーザ１６２等のうち案内装置１２０等が案内しているユーザの上記ユーザグループ１６０等を特定する。そして、迷子推定部２１８は、ユーザ１６２等のうち案内装置１２０等が案内しているユーザグループ１６０等に属さないユーザである非案内ユーザが施設内画像に写っているときに、当該非案内ユーザを、可能性のある迷子として推定する。
【００７５】
上記の構成によれば、全てのユーザ１６２等を追跡してその外的特徴や行動情報を抽出することなく、撮像装置１３０等から取得される施設１０４内の画像に非案内ユーザが写ったか否かのみを基準として迷子の可能性を判断する。このため、上記の構成においては、迷子検出のための画像処理等の処理負荷を大幅に低減しつつ、迷子である可能性のある人物を効率的に検出することができる。
【００７６】
また、上記の迷子予防支援システム１００は、撮像装置として、移動可能な案内装置１２０等に備えられた撮像装置１５０等を含む。この構成によれば、案内装置１２０等がユーザグループ１６０等への案内を通じて、移動しながら施設１０４内の画像を取得するので、必要な撮像装置の数を減らすことができる。
【００７７】
また、上記の迷子予防支援システム１００では、グループ化部２１０は、施設１０４内に入場するユーザ１６２等と対話する受付装置１１０から取得される当該ユーザとの対話音声についての対話分析、及び又は案内装置１２０等から取得される当該案内装置とユーザ１６２等との対話音声についての対話分析に基づき、上記ユーザグループ情報を生成する。この構成によれば、家族や団体旅行者等の、互いに所定の関係を有し団体で行動することが通常である一群のユーザを効果的に分類してユーザグループ情報を効率よく生成することができる。
【００７８】
また、上記の迷子予防支援システム１００は、上記可能性のある迷子として推定された非案内ユーザについての警戒動作を実行する警戒動作部２２０を備える。この警戒動作部２２０は、可能性のある迷子として推定された非案内ユーザの位置を、撮像装置１３０等が取得した施設１０４内の画像または上記非案内ユーザを撮像した撮像装置１３０等、１４０、１５０等の位置に基づいて特定する。そして、警戒動作部２２０は、当該特定した位置に応じた警戒動作を行う。
【００７９】
この構成によれば、迷子として推定された非案内ユーザの位置に応じた警戒動作、例えば異なる警戒レベルの設定が行われ得るので、当該非案内ユーザの位置に応じて迷子確保等の対処行動の迅速性や人員規模を調整することができ、当該対処行動を効率的に行うことができる。例えば、発見しにくい場所へと移動する可能性のある位置（例えば、施設１０４の出入口１０８の近傍）で発見された非案内ユーザの場合には、施設１０４の見通しの良い場所で発見された非案内ユーザに比べてより多くの人員を用いてより迅速に身柄を確保することができる。
【符号の説明】
【００８０】
１００…迷子予防支援システム、１０２…ネットワーク、１０４…施設、１０６…玄関、１０８…出入口、１０９…セキュリティ装置、１１０…受付装置、１２０、１２２、１２４…案内装置、１３０、１３２、１３４、１３６、１４０、１５０、１５２、１５４…撮像装置、１６０、１７０、１８０、１９０…ユーザグループ、１６２、１６４、１６６、１７２、１７４、１７６、１７８、１８２、１８４、１８６、１９２、１９４、１９６、１９８…ユーザ、２００…処理装置、２０２…記憶装置、２０４…通信装置、２１０…グループ化部、２１２…画像取得部、２１４…案内制御部、２１６…案内グループ特定部、２１８…迷子推定部、２２０…警戒動作部、２３０…ユーザ画像ＤＢ、２３２…ユーザグループＤＢ、２３４…撮像装置ＤＢ。
【図１】
2020145648.tif 000003
【図２】
2020145648.tif 000004
【図３】
2020145648.tif 000005
【図４】
2020145648.tif 000006