(57)【要約】      （修正有）【課題】ユーザがエージェントが提供するサービスを利用する意図を検出するためにユーザの行動状態を推定する行動状態推定装置、行動状態推定方法及びそのプログラムを提供する。【解決手段】行動状態推定装置１０２の識別結果テーブル更新部３００は、通行者の位置と顔向き取得し、取得した通行者の位置と顔向きから通行者の通行者状態を識別し、識別結果テーブルに記憶された通行者の通行者状態を識別された通行者状態に更新する。行動状態テーブル更新部４００は、識別結果テーブル更新部により更新された通行者状態から通行者の行動状態を識別し、行動状態テーブルに記憶された通行者の行動状態を識別された通行者の行動状態に更新する。行動状態出力部５００は、行動状態テーブル更新部により更新された通行者の行動状態を通行者の識別情報とともに出力する。【選択図】図２
2019087175.tif 000002
【特許請求の範囲】
【請求項１】
通行者の位置と顔向き取得し、前記取得した通行者の位置と顔向きから前記通行者の通行者状態を識別し、識別結果テーブルに記憶された前記通行者の通行者状態を前記識別された通行者状態に更新する識別結果テーブル更新部と、
前記識別結果テーブル更新部により更新された通行者状態から前記通行者の行動状態を識別し、行動状態テーブルに記憶された前記通行者の行動状態を前記識別された通行者の行動状態に更新する行動状態テーブル更新部と、
前記行動状態テーブル更新部により更新された前記通行者の行動状態を前記通行者の識別情報とともに出力する行動状態出力部と
を具備する行動状態推定装置。
【請求項２】
前記識別結果テーブル更新部は、
前記通行者とエージェントであるロボットとの距離を識別する距離識別部と、
前記通行者が一定速度で前記ロボットに接近しているもしくは離脱していることを識別する接近離脱識別部と、
前記通行者の移動速度が一定以下で停止を識別する停止識別部と、
前記通行者の顔向きが前記ロボットを向いているかを識別する注視識別部と、
前記距離識別部、前記接近離脱識別部、前記停止識別部及び前記注視識別部のそれぞれの識別結果を前記識別結果テーブルに更新する識別結果テーブル更新部と
を有する、請求項１記載の行動状態推定装置。
【請求項３】
前記行動状態テーブル更新部は、前記行動状態の状態遷移を示す状態遷移表に基づいて、前記行動状態テーブルを更新する、請求項１又は請求項２記載の行動状態推定装置。
【請求項４】
請求項１乃至請求項３いずれか１項に記載の行動状態推定装置と、
前記行動状態出力部により出力された前記通行者の行動状態が、特定の行動状態になった場合に、前記通行者がロボットを利用する意図があると判定する意図判定部と
を具備する意図判定装置。
【請求項５】
通行者の位置と顔向き取得し、前記取得した通行者の位置と顔向きから前記通行者の通行者状態を識別し、識別結果テーブルに記憶された前記通行者の通行者状態を前記識別された通行者状態に更新し、
前記更新された通行者状態から前記通行者の行動状態を識別し、行動状態テーブルに記憶された前記通行者の行動状態を前記識別された通行者に更新し、
前記更新された前記通行者の行動状態を前記通行者の識別情報とともに出力する行動状態推定方法。
【請求項６】
前記識別結果テーブルを更新することは、
距離識別部により、前記通行者とエージェントであるロボットとの距離を識別し、
接近離脱識別部により、前記通行者が一定速度で前記ロボットに接近しているもしくは離脱していることを識別し、
停止識別部により、前記通行者の移動速度が一定以下で停止を識別し、
注視識別部により、前記通行者の顔向きが前記ロボットを向いているかを識別し、
テーブル更新部により、前記距離識別部、前記接近離脱識別部、前記停止識別部及び前記注視識別部のそれぞれの識別結果を前記識別結果テーブルに更新する、請求項５記載の行動状態推定方法。
【請求項７】
請求項５又は請求項６に記載の行動状態推定方法を実行し、
前記行動状態推定方法により出力された前記通行者の行動状態が、特定の行動状態になった場合に、前記通行者がロボットを利用する意図があると判定する、
意図判定方法。
【請求項８】
コンピュータを、請求項１乃至請求項３いずれか１項に記載の行動状態推定装置の前記識別結果テーブル更新部、前記行動状態テーブル更新部及び前記行動状態出力部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、行動状態推定装置、行動状態推定方法及びそのプログラムに関する。
【背景技術】
【０００２】
近年、受付に受付係の人員を配置せずに、エージェントとなるロボットやサイネージが配置されており、エージェントが受付業務を代行することが行なわれている。このような受付業務には、ユーザ（例えば、通行者）に対して話しかける動作も含まれている。
【０００３】
従来、エージェントがユーザに話しかける際には、距離センサを使用して、ユーザが近寄ってくることを検知し、話しかける動作を行なっている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】尾崎  安範  他石７名  ” 通行者の行動モデルに基づいてサービス利用を促すバーチャルエージェントを備えたインタラクティブサイネージ”  電子情報通信学会技術研究報告  ｖｏ．  １１６  Ｎｏ．４６１、１１１〜１１８頁、２０１７年２月１８日
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ユーザが近寄ってくることを検知してエージェントがユーザに話しかける動作をしても、ユーザが当該エージェントが提供するサービスを利用することを意図しているとは限らない。すなわち、距離センサによる人物検知のみでは、ユーザがエージェントが提供するサービスを利用することを意図していることを検知することはできない。
【０００６】
エージェントが、サービスを利用する意図のないユーザに話しかけた場合、ユーザはエージェントが提供するサービスに対して「うるさい」、「うっとうしい」などのネガティブな感情を抱いてしまうという問題がある。一方、エージェントがサービスを利用する意図のないユーザに話しかけない場合、ユーザはエージェントの提供するサービスに対して、ネガティブな感情を抱きにくい。
【０００７】
従来より、動かないロボットやサイネージなどのエージェントが提供するサービスを利用する意図があるユーザは、いくつかのパターンで行動することが知られている（参考文献［１］、［２］）。従って、このユーザの行動を識別することができれば、エージェントが提供するサービスを利用する意図が高いユーザを検出することができる。
【０００８】
本発明は、上記実情に鑑みてなされたものであり、ユーザがエージェントが提供するサービスを利用する意図を検出するためにユーザの行動状態を推定することができる行動状態推定装置、行動状態推定方法及びそのプログラムを提供することを目的とする。
【０００９】
また、本発明は、ユーザがエージェントが提供するサービスを利用する意図を判定することができる意図判定装置及び意図判定方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１態様の行動状態推定装置は、通行者の位置と顔向き取得し、前記取得した通行者の位置と顔向きから前記通行者の通行者状態を識別し、識別結果テーブルに記憶された前記通行者の通行者状態を前記識別された通行者状態に更新する識別結果テーブル更新部と、前記識別結果テーブル更新部により更新された通行者状態から前記通行者の行動状態を識別し、行動状態テーブルに記憶された前記通行者の行動状態を前記識別された通行者の行動状態に更新する行動状態テーブル更新部と、前記行動状態テーブル更新部により更新された前記通行者の行動状態を前記通行者の識別情報とともに出力する行動状態出力部とを具備する。
【００１１】
第２態様の行動状態推定装置は、第１態様の行動状態推定装置において、前記識別結果テーブル更新部は、前記通行者とエージェントであるロボットとの距離を識別する距離識別部と、前記通行者が一定速度で前記ロボットに接近しているもしくは離脱していることを識別する接近離脱識別部と、前記通行者の移動速度が一定以下で停止を識別する停止識別部と、前記通行者の顔向きが前記ロボットを向いているかを識別する注視識別部と、前記距離識別部、前記接近離脱識別部、前記停止識別部及び前記注視識別部のそれぞれの識別結果を前記識別結果テーブルに更新する識別結果テーブル更新部とを有する。
【００１２】
第３態様の行動状態推定装置は、第１態様又は第２態様の行動状態推定装置において、前記行動状態テーブル更新部は、前記行動状態の状態遷移を示す状態遷移表に基づいて、前記行動状態テーブルを更新する。
【００１３】
第４態様の意図判定装置は、第１態様乃至第３態様いずれか１態様に記載の行動状態推定装置と、前記行動状態出力部により出力された前記通行者の行動状態が、特定の行動状態になった場合に、前記通行者がロボットを利用する意図があると判定する意図判定部とを具備する。
【００１４】
第５態様の行動状態推定方法は、通行者の位置と顔向き取得し、前記取得した通行者の位置と顔向きから前記通行者の通行者状態を識別し、識別結果テーブルに記憶された前記通行者の通行者状態を前記識別された通行者状態に更新し、前記更新された通行者状態から前記通行者の行動状態を識別し、行動状態テーブルに記憶された前記通行者の行動状態を前記識別された通行者に更新し、前記更新された前記通行者の行動状態を前記通行者の識別情報とともに出力する。
【００１５】
第６態様の行動状態推定方法は、第５態様の行動状態推定方法において、前記識別結果テーブルを更新することは、距離識別部により、前記通行者とエージェントであるロボットとの距離を識別し、接近離脱識別部により、前記通行者が一定速度で前記ロボットに接近しているもしくは離脱していることを識別し、停止識別部により、前記通行者の移動速度が一定以下で停止を識別し、注視識別部により、前記通行者の顔向きが前記ロボットを向いているかを識別し、テーブル更新部により、前記距離識別部、前記接近離脱識別部、前記停止識別部及び前記注視識別部のそれぞれの識別結果を前記識別結果テーブルに更新する。
【００１６】
第７態様の意図判定方法は、第５態様又は第６態様の行動状態推定方法を実行し、前記行動状態推定方法により出力された前記通行者の行動状態が、特定の行動状態になった場合に、前記通行者がロボットを利用する意図があると判定する。
【００１７】
第８態様のプログラムは、コンピュータを、請求項１乃至請求項３いずれか１項に記載の行動状態推定装置の前記識別結果テーブル更新部、前記行動状態テーブル更新部及び前記行動状態出力部として機能させる。
【発明の効果】
【００１８】
以上詳記したように、本発明によれば、ユーザがエージェントが提供するサービスを利用する意図を検出するためにユーザの行動状態を推定することができる。また、本発明は、ユーザがエージェントが提供するサービスを利用する意図を判定することができる意図判定装置及び意図判定方法を提供することを目的とする。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る行動状態推定装置１０２が使用される環境を説明するための図である。
【図２】実施形態に係る行動状態推定装置１０２の機能を示す機能ブロック図である。
【図３】識別結果テーブル更新部３００の機能を示す機能ブロック図である。
【図４】識別結果テーブル更新部３００の識別機の説明に使用する記号を説明するための図である。
【図５】ロボット１０３と通行者ｐとの中心座標の角度θｐ、距離Ｒｐとを説明するための図である。
【図６】ロボット１０３の向きと平行な線の通行者ｐの鼻方向がなす水平の角度θｈを説明するための図である。
【図７】通行者ｐが頭を動かさずに刺激をとらえる視野角２θａを説明するための図である。
【図８】テーブル更新部３０９により更新された識別結果テーブル２０１の一例を示す図である。
【図９】行動状態テーブル更新部４００の構成を示す図である。
【図１０】行動状態Ｓの定義を説明するための図である。
【図１１】行動状態テーブル２０３の一例を示す図である。
【図１２】行動状態推定装置１０２の状態遷移図の一例を示す図である。
【図１３】状態遷移表２０２を示す図である。
【図１４】状態遷移計算部４０１による状態遷移の計算を説明するための図である。
【図１５】行動状態推定装置１０２の動作を説明するためのフローチャートである。
【図１６】状態遷移計算部４０１による通行者ｐの行動状態の遷移の計算方法を説明するためのフローチャートである。
【図１７】ユーザの行動の一例を示す図である。
【図１８】ユーザの行動を状態遷移を示すモデルで示した図である。
【図１９】本発明の行動状態推定装置１０２に使用されるテーブルを示す図である。
【発明を実施するための形態】
【００２０】
１  発明の概要
上述のように、ユーザの行動を識別すれば、エージェントが提供するサービスを利用する意図が高いユーザを検出することができる。図１７は、ユーザの行動の一例を示す図である。図１７に示すように、ユーザｐがエージェントであるサイネージｓを利用する場合、行動１〜６の状態を遷移すると考えられる。従って、この例では、行動状態「１．  Ｐａｓｓｉｎｇ  ｂｙ」〜「６．  Ｆｏｌｌｏｗ  ｕｐ  Ａｃｔｉｏｎｓ」を識別すれば、エージェントが提供するサービスを利用する意図が高いユーザを検出することができる。
【００２１】
本発明では、このユーザの行動をオートマンによってモデル化する。オートマンの各状態は、通行者ｐの行動に対応付けて決定する。図１８は、ユーザの行動を状態遷移を示すモデルで示した図である。
【００２２】
図１８に示したモデルにおいて、オートマンの状態遷移を考えると、通行者ｐの状態が状態１から状態２へ遷移するときに、状態「１．  Ｐａｓｓｉｎｇ  ｂｙ」から「２．  Ｖｉｅｗｉｎｇ  ａｎｄ  Ｒｅａｃｔｉｎｇ」へ遷移するときに、エージェント側に顔を向けることが条件となる。実施形態では、これをセンシングと処理により識別する。
【００２３】
オートマンが状態遷移した結果、状態「４．  Ｄｉｒｅｃｔ  Ｉｎｔｅｒａｃｔｉｏｎ」の状態にあれば、ユーザはエージェントを利用する意図があると推定される。なお、状態「３．  Ｓｕｂｔｌｅ  ｉｎｔｅｒａｃｔｉｏｎ」の状態でも、エージェントを利用する確率は高いと推定しても良い。
【００２４】
本発明の行動状態推定装置では、図１９に示すように、識別結果を記録する識別結果テーブル１１、状態遷移の条件を記録する状態遷移表１２、行動状態を保存する行動状態テーブル１３を設け、これら識別結果テーブル１１、状態遷移表１２、行動状態テーブル１３を使用して、行動状態推定処理を行なう。
２  実施形態
図１は、本発明の実施形態に係る行動状態推定装置１０２が使用される環境を説明するための図である。
【００２５】
同図において、カメラ１０１は、例えば、デプスカメラであり、実施形態にかかる行動状態推定装置１０２を有している。カメラ１０１は、行動状態推定装置１０２に通行者ｐのＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ｄａｔａ）、顔向き、重心の位置を入力する。なお、カメラ１０１がこれら通行者ｐのＩＤ、顔向き、重心の位置を得ることは、公知の技術を利用することにより、取得することが可能である。
【００２６】
実施形態に係る行動状態推定装置１０２は、入力された通行者ｐのＩＤ、顔向き、重心の位置に基づいて、後述する行動状態推定処理を行ない、通行者ｐのＩＤ及び及び行動状態を出力する。行動状態推定装置１０２から出力された通行者ｐの行動状態は、カメラ１０１に設けられた図示せぬ意図判定部６００により、通行者ｐがエージェントであるロボット１０３が提供するサービスを利用する意図があるかが判断され、サービスを利用する意図があると判断された場合、通行者ｐのＩＤ及び及び行動状態がロボット１０３に通知される。
【００２７】
ロボット１０３は、カメラ１０１から送られた通行者ｐのＩＤ及び及び行動状態に応じたサービスを通行人ｐに提供する。
【００２８】
図２は、実施形態に係る行動状態推定装置１０２の機能を示す機能ブロック図である。
【００２９】
同図に示すように、行動状態推定装置１０２は、識別結果テーブル２０１、状態遷移表２０２、行動状態テーブル２０３、識別結果テーブル更新部３００、行動状態テーブル更新部４００及び行動状態出力部５００を有する。
【００３０】
図３は、識別結果テーブル更新部３００の機能を示す機能ブロック図である。識別結果テーブル更新部３００は、通行者ｐの位置と顔向き取得し、取得した通行者の位置と顔向きから通行者ｐの通行者状態を識別し、識別結果テーブル２０１に記憶された通行者ｐの通行者状態を識別された通行者状態に更新する。
【００３１】
同図に示すように、識別結果テーブル更新部３００は、近距離識別器３０１、遠距離識別器３０２、いる識別器３０３、微分器３０４、接近識別器３０５、離脱識別器３０６、停止識別器３０７、注視識別器３０８、テーブル更新部３０９を具備する。
【００３２】
最初に、これら近距離識別器３０１〜注視識別器３０８において使用される用語の説明を行なう（参考文献［３］）。
【００３３】
図４は、識別結果テーブル更新部３００の説明に使用する記号を説明するための図である。同図において、長方形はロボット１０３を示しており、円は通行者ｐの頭を示し、三角は通行者ｐの顔向き（通行者ｐの鼻）を示している。
【００３４】
図５は、ロボット１０３と通行者ｐとの中心座標の角度θｐ、距離Ｒｐとを説明するための図であり、図６は、ロボット１０３の向きと平行な線と通行者ｐの鼻方向がなす水平の角度θｈを説明するための図である（参考文献［３］）。また、図７は、通行者ｐが頭を動かさずに刺激をとらえる視野角２θａを説明するための図である。θａは、例えば、２２度である（参考文献［２］）。
【００３５】
図３に戻り、説明する。
【００３６】
近距離識別器３０１は、エージェントであるロボット１０３と通行者ｐとの距離Ｒｐが近距離であるかを判定し、近距離である場合には、”Ｔｒｕｅ”を出力し、近距離でない場合には、”Ｆａｌｓｅ”を出力する。
【００３７】
遠距離識別器３０２は、エージェントであるロボット１０３と通行者ｐとの距離Ｒｐが遠距離であるかを判定し、遠距離である場合には、”Ｔｒｕｅ”を出力し、遠距離でない場合には、”Ｆａｌｓｅ”を出力する。
【００３８】
これら近距離識別器３０１及び遠距離識別器３０２の判断は、下記式（１）に基づいて行なわれる。
【００３９】
【数１】
2019087175.tif 000003
【００４０】
実施形態では、Ｄｐは、例えば、１［ｍ］であり（参考文献［４］）、Ｄｓは、例えば、４［ｍ］である（参考文献［５］）。近接距離は近接学の個体距離に相当し、遠距離は近接学の社会距離に相当する。
【００４１】
いる識別器３０３は、近距離識別器３０１及び遠距離識別器３０２のいずれか１つから”Ｔｒｕｅ”が出力された場合に、”Ｔｒｕｅ”を出力し、それ以外には”Ｆａｌｓｅ”を出力する。
【００４２】
微分器３０４について説明する。
【００４３】
通行者ｐの重心位置を位置ベクトル
【００４４】
【数２】
2019087175.tif 000004
【００４５】
と表すとき、速度ベクトル
【００４６】
【数３】
2019087175.tif 000005
【００４７】
とすると、速度ベクトル及び速度ベクトルの角度は、
【００４８】
【数４】
2019087175.tif 000006
【００４９】
となる。微分器３０４は、式（２）に基づいて、速度ベクトル及び速度ベクトルの角度を出力する。ここで、ｚはｘｙ平面に垂直なｚ軸である。
【００５０】
接近識別器３０５について説明する。
【００５１】
接近識別器３０５は、通行者ｐの速度がロボット１０３側を向いており、大きさが一定以上の場合に、通行者ｐが接近していると判断する。具体的には、接近識別器３０５は以下の手順で判断を行なう。
【００５２】
通行者ｐのカメラ（センサ）１０１の中心方向への接近方向は、下記式（３）で表わされる。
【００５３】
【数５】
2019087175.tif 000007
【００５４】
接近識別器３０５は、下記式（４）に基づいて、通行者ｐが接近していると判断した場合には、”Ｔｒｕｅ”を出力し、接近していない場合には、”Ｆａｌｓｅ”を出力する。
【００５５】
【数６】
2019087175.tif 000008
ここで、ｖｗは、通行者ｐが動いているかどうかを判定するためのしきい値である。例えば、人間の徒歩の速度を分速８０ｍとすると（「不動産の表示に関する公正競争規約施行規則」参照）、ｖｗには、その１／２である４０ｍ／ｍｉｎ＝０．６７ｍ／ｓが設定される。
【００５６】
離脱識別器３０６は、通行者ｐの速度がロボット１０３側と反対を向いており、大きさが一定以上の場合に、通行者ｐが離脱していると判断する。具体的には、離脱識別器３０６は、下記式（５）に基づいて、通行者ｐが離脱しているかを判断する。
【００５７】
【数７】
2019087175.tif 000009
【００５８】
ここで、”¬”は、論理否定を表わす。
【００５９】
離脱識別器３０６は、（５）式に基づいて、通行者ｐが離脱していると判断した場合には、”Ｔｒｕｅ”を出力し、離脱していない場合には、”Ｆａｌｓｅ”を出力する。
【００６０】
停止識別器３０７は、通行者ｐの位置の微分（＝速度）の大きさが一定以下である場合に通行者ｐが停止していると判断する。具体的には、停止識別器３０７は、下記式（６）に基づいて、通行者ｐが停止しているかを判断する。式（６）において、ｖｓは通行者ｐが動いているかどうかを判定するためのしきい値である。例えば、上述のように、人間の徒歩の速度を分速８０ｍとすると、ｖｓには、その１／４である２０ｍ／ｍｉｎ＝０．３３ｍ／ｓが設定される。
なお、ｖｗとｖｓとを分けているのは、速度の測定ノイズに強くするためである。
【００６１】
停止識別器３０７は、通行者ｐが停止していると判断した場合には、”Ｔｒｕｅ”を出力し、停止していない場合には、”Ｆａｌｓｅ”を出力する。
【数８】
2019087175.tif 000010
【００６２】
注視識別器３０８は、入力される顔向き（角度）に基づいて、通行者ｐがカメラ（センサ）１０１の中心側を向いている場合、”Ｔｒｕｅ”を出力し、向いていない場合”Ｆａｌｓｅ”を出力する。
【００６３】
この注視の判断は、下記式（７）に基づいて行なわれる。
【００６４】
【数９】
2019087175.tif 000011
【００６５】
なお、実施形態においては、上記近距離識別器３０１〜注視識別器３０８では、適当なウインドウサイズに区切って、メディアンフィルタでノイズ除去処理を行なうことにより処理が行なわれる。
【００６６】
テーブル更新部３０９は、近距離識別器３０１、遠距離識別器３０２、いる識別器３０３、接近識別器３０５、離脱識別器３０６、停止識別器３０７及び注視識別器３０８からの識別結果（”Ｔｒｕｅ”又は”Ｆａｌｓｅ”を受信して、識別結果テーブル２０１を更新する。
【００６７】
図８は、テーブル更新部３０９により更新された識別結果テーブル２０１の一例を示す図である。同図に示すように、識別結果テーブル２０１は、通行者ｐのＩＤと、近距離識別器３０１〜注視識別器３０８（微分器３０４を除く）からの識別結果（”Ｔｒｕｅ”又は”Ｆａｌｓｅ”）が対応付けられて記憶されている。
【００６８】
図８に示した識別結果テーブル２０１は、通行者ｐが１人（ＩＤ＝０）だけいて、注視しながら停止している場合を示している。
【００６９】
図９は、行動状態テーブル更新部４００の構成を示す図である。
行動状態テーブル更新部４００は、状態遷移計算部４０１及び更新部４０２を有する。
【００７０】
状態遷移計算部４０１は、識別結果テーブル２０１、状態遷移表２０２及び行動状態テーブル２０３から通行者ｐの行動状態の状態遷移を計算する。この状態遷移の計算については、後述する。状態遷移計算部４０１は、計算の結果、通行者ｐのＩＤと、通行者ｐのＩＤの計算された状態遷移後の行動状態を出力する。
【００７１】
更新部４０２は、状態遷移計算部４０１により計算された通行者ｐのＩＤの状態遷移後の行動状態について、行動状態テーブル２０３を更新し、通行者ｐのＩＤを出力する。行動状態テーブル２０３は、通行者ｐがどのような状態に現在あるかを保存するテーブルであり、通行者ｐのＩＤと行動状態とが関連付けて記憶される。
【００７２】
すなわち、行動状態テーブル更新部４００は、識別結果テーブル更新部３００により更新された通行者状態から通行者ｐの行動状態を識別し、行動状態テーブル２０３に記憶された通行者ｐの行動状態を識別された通行者の行動状態に更新する。
【００７３】
次に、行動状態について説明する。実施形態では、動かないロボット１０３に対する通行者ｐの行動を７つの行動状態に分類できると仮定する。この行動状態の集合をＳと定義する。
【００７４】
図１０は、行動状態Ｓの定義を説明するための図である。
【００７５】
図１０に示すように、
行動状態「０」、行動状態名「ＮｏｔＦｏｕｎｄ」は、通行者ｐがそもそも見つからない状態を意味する。
【００７６】
行動状態「１」、行動状態名「Ｐａｓｓｉｎｇ」は、通行者ｐがエージェント１０３側を見ずに通り過ぎていく状態を意味する。
【００７７】
行動状態「２」、行動状態名「Ｌｏｏｋｉｎｇ」は、通行者ｐがエージェント１０３側を見ながら通り過ぎていく状態を意味する。
【００７８】
行動状態「３」、行動状態名「Ｈｅｓｉｔａｔｉｎｇ」は、通行者ｐがエージェント１０３側を見ながら止まっている状態を意味する。
【００７９】
行動状態「４」、行動状態名「Ａｐｒｏｃｈｉｎｇ」は、通行者ｐがエージェント１０３側を見ながらエージェント１０３側に近づいていく状態を意味する。
【００８０】
行動状態「５」、行動状態名「Ｅｓｔａｂｉｌｉｓｈｅｄ」は、通行者ｐがエージェント１０３側を見ながらエージェント１０３の近くにいる状態を意味する。
【００８１】
行動状態「６」、行動状態名「Ｌｅａｖｉｎｇ」は、通行者ｐがエージェント１０３から遠ざかっていく状態を意味する。
【００８２】
図１１は、行動状態テーブル２０３の一例を示す図である。
【００８３】
図１１においては、通行者ｐ（ＩＤ＝０）１人が、行動状態「５」のＥｓｔａｂｉｌｉｓｈｅｄにある状態を示している。
【００８４】
７つの行動状態の遷移パターンを考えると、オートマトンモデルで記述される行動状態推定装置１０２のモデルを図に表わすことができる。図１２は、行動状態推定装置１０２の状態遷移図の一例を示す図である。
【００８５】
図１３は、状態遷移表２０２を示す図である。
【００８６】
図１３において、「¬」は論理否定を示し、「−］は遷移がないことを示している。
【００８７】
同図に示すように、状態遷移表２０２は、遷移元の状態「０」〜「７」、遷移先の状態「０」〜「７」及び状態遷移の条件を有する。
【００８８】
図１３に示すように、
遷移元の状態「０」から遷移先の状態「０」への遷移条件（遷移元の状態「０」が継続する条件）は「¬いる」、遷移先の状態「１」への遷移条件は「いる」、遷移先の状態「２」への遷移条件は「いる∧注視」であり、状態「３」〜「６」への遷移はない。
【００８９】
遷移元の状態「１」の遷移先の状態「０」への遷移条件は「¬いる」、遷移先の状態「１」への遷移条件は「なし」、遷移先の状態「２」への遷移条件は「いる∧注視」であり、状態「３」〜「６」への遷移はない。
【００９０】
遷移元の状態「２」の遷移先の状態「０」への遷移条件は「¬いる」、遷移先の状態「１」への遷移条件は「いる∧¬注視」、遷移先の状態「２」への遷移条件は「なし」、遷移先の状態「３」への遷移条件は「遠距離∧注視∧停止」、遷移先の状態「４」への遷移条件は「いる∧注視∧接近」であり、状態「５」〜「６」への遷移はない。
【００９１】
遷移元の状態「３」の遷移先の状態「０」への遷移条件は「¬いる」、遷移先の状態「１」〜「３」への遷移条件は「なし」、遷移先の状態「４」への遷移条件は「いる∧注視∧接近」、遷移先の状態「５」への遷移条件は「近距離∧注視∧停止」、遷移先の状態「６」への遷移条件は「いる∧離脱」である。
【００９２】
遷移元の状態「４」の遷移先の状態「０」への遷移条件は「¬いる」、遷移先の状態「２」、「３」への遷移条件は「なし」、遷移先の状態「３」への遷移条件は「いる∧注視∧接近」、遷移先の状態「４」への遷移条件は「なし」、遷移先の状態「５」への遷移条件は「近距離∧注視∧停止」、遷移先の状態「６」への遷移条件は「なし」である。
【００９３】
遷移元の状態「５」の遷移先の状態「０」への遷移条件は「¬いる」、遷移先の状態「２」〜「５」への遷移条件は「なし」、遷移先の状態「６」への遷移条件は「いる∧離脱」である。
【００９４】
遷移元の状態「６」の遷移先の状態「０」への遷移条件は「¬いる」、遷移先の状態「１」〜「６」への遷移条件は「なし」である。
【００９５】
図１４は、状態遷移計算部４０１による状態遷移の計算を説明するための図である。
【００９６】
図１４では、遷移元の状態が、通行者ｐ（ＩＤ＝０）の行動状態が行動状態テーブル２０３において、行動状態「５」であり、現在の識別結果が識別結果テーブル２０１において、「近距離」が”Ｆａｌｓｅ”、「遠距離」が”Ｔｒｕｅ”、「いる」が”Ｔｒｕｅ”、「接近」が”Ｆａｌｓｅ”、「離脱」が”Ｔｒｕｅ”、「停止」が”Ｆａｌｓｅ”、「注視」が”Ｆａｌｓｅ”である場合を示している。
【００９７】
この場合、状態遷移表２０２の状態遷移条件が”いる∧離脱”なので、通行者ｐ（ＩＤ＝０）の遷移先の行動状態は、「６」となる。
【００９８】
図２に戻り説明する。
【００９９】
行動状態出力部５００は、行動状態テーブル更新部４００から出力される通行者ｐのＩＤにより行動状態テーブル２０３を検索し、通行者ｐのＩＤの遷移後の行動状態を取得し、通行者ｐのＩＤ及び遷移後の行動状態を出力する。
【０１００】
意図判定部６００は、行動状態推定装置１０２の行動状態出力部５００から出力される通行者ｐのＩＤの遷移後の行動状態が特定の行動状態となった場合に、ロボット１０３を利用する意図があると判断する。特定の行動状態は、例えば、行動状態「５」の通行者ｐがエージェント１０３側を見ながらエージェント１０３の近くにいる状態の場合に、通行者ｐのエージェント１０３の利用意図があることを判断する。
【０１０１】
なお、行動状態「４」の通行者ｐがエージェント１０３側を見ながらエージェント１０３側に近づいていく状態の場合に、通行者ｐのエージェント１０３の利用意図があることを判断しても良い。
【０１０２】
次に、実施形態に係る行動状態推定装置１０２の動作について説明する。
【０１０３】
図１５は、行動状態推定装置１０２の動作を説明するためのフローチャートである。
【０１０４】
まず、行動状態推定装置１０２は、識別結果テーブル２０１と行動状態テーブル２０３とを初期化する（Ｓ１１）。なお、状態遷移表２０２は、最初から固定であるものとする。
【０１０５】
次に、カメラ１０１から通行者ｐのＩＤ、顔向き、重心の位置が入力されるまで待つ（Ｓ１２）。
Ｓ１２において、通行者ｐのＩＤ、顔向き、重心の位置が入力された場合、入力された通行者ｐのＩＤ、重心の位置が識別結果テーブル更新部３００の近距離識別器３０１、遠距離識別器３０２及び微分器３０４に入力され、通行者ｐのＩＤ、顔向きが注視識別器３０８に入力される。
【０１０６】
そして、テーブル更新部３０９は、近距離識別器３０１、遠距離識別器３０２、いる識別器３０３、接近識別器３０５、離脱識別器３０６、停止識別器３０７及び注視識別器３０８からの識別結果（”Ｔｒｕｅ”又は”Ｆａｌｓｅ”を受信して、識別結果テーブル２０１を更新する（Ｓ１３）。
【０１０７】
次に、行動状態テーブル更新部４００により、識別結果テーブル２０１、状態遷移表２０２及び行動状態テーブル２０３のテーブルから通行者ｐの遷移後の行動状態を計算し、行動状態テーブル２０３を更新する（Ｓ１４）。
【０１０８】
その後、行動状態出力部５００により、行動状態テーブル更新部４００から出力される通行者ｐのＩＤにより行動状態テーブル２０３を検索し、通行者ｐのＩＤの遷移後の行動状態を取得し、通行者ｐのＩＤ及び遷移後の行動状態を出力する（Ｓ１６）。
これにより、行動状態推定装置１０２は、通行者ｐの行動状態を推定することができる。意図判定部６００は、行動状態推定装置１０２の行動状態出力部５００から出力される通行者ｐのＩＤの遷移後の行動状態が特定の行動状態となった場合に、ロボット１０３を利用する意図があると判断する。
【０１０９】
図１６は、状態遷移計算部４０１による通行者ｐの行動状態の遷移の計算方法を説明するためのフローチャートである。
【０１１０】
ここでは、説明のため、識別結果テーブル２０１をＴ１ＩＤ，ｃｌａｓｓ、行動状態テーブル２０３をＳＩＤ、状態遷移表２０２を
【０１１１】
【数１０】
2019087175.tif 000012
【０１１２】
で表わす。
【０１１３】
状態遷移計算部４０１は、まず、識別結果テーブル更新部３００から出力される通行者ｐのＩＤをキーに行動状態テーブルＳＩＤから直前の行動状態を取り出し、ｓに代入する（Ｓ２１）。
【０１１４】
次に、状態遷移表のｓｓｒｃにｓを代入し、列ベクトル
【０１１５】
【数１１】
2019087175.tif 000013
【０１１６】
を得る（Ｓ２２）。
【０１１７】
次に、通行者ｐのＩＤの行動状態ｓｔにｓをｓを代入し（Ｓ２３）、全ての行動状態ｓ’∈Ｓに対して以下の処理を繰り返す（Ｓ２４）。
【０１１８】
ここで、Ｓ２４の処理は、「もし、Ｔｓ’，ｓに識別結果テーブル２０１の行ベクトルＴ１ＩＤ，ｃｌａｓｓを代入した結果がＴｒｕｅばらば、ｓｔにｓ’を代入する」という処理である。
【０１１９】
そして、通行者ｐのＩＤと行動状態ｓｔを出力する（Ｓ２５）。
【０１２０】
従って、本発明の行動状態推定装置によれば、通行者ｐの行動状態を識別することができることから、エージェントであるロボット１０３と対話意図を持つ人間のみを検出することができる。
【０１２１】
この効果を検証するにあたり、４人に対して実験を行ったところ、従来手法では、意図がない場合であってもエージェントであるロボットが動作してしまうのに対し、実施形態の行動状態推定装置によれば、意図がない場合にロボットが動作する場合はなかった。
従って、エージェントが客引きするなどの行動を行う際に、対話意図を持たない通行人にエージェントが行動しないことにより、通行人の不快感を減らすことができる
３  変形例
実施形態では、行動状態推定装置１０２はカメラ１０１に設ける場合について説明したが、エージェントであるロボット１０３に設けても良いし、カメラ１０１及びロボット１０３に接続されたコンピュータに設けても良い。
【０１２２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
・  参考文献
［１］  Ｎｉｋｌａｓ  Ｂｅｒｇｓｔｒｏｍ，  ｅｔ  ａｌ．，  “Ｍｏｄｅｌｉｎｇ  ｏｆ  Ｎａｔｕｒａｌ  Ｈｕｍａｎ−Ｒｏｂｏｔ  Ｅｎｃｏｕｎｔｅｒｓ”，  ＩＥＥＥ／ＲＳＪ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｒｏｂｏｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ，  ２００８  
［２］  Ｊ．  Ｍｕｌｌｅｒ  ｅｔ  ａｌ，  “Ｒｅｑｕｉｒｅｍｅｎｔｓ  ａｎｄ  Ｄｅｓｉｇｎ  Ｓｐａｃｅ  ｆｏｒ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｐｕｂｌｉｃ  Ｄｉｓｐｌａｙｓ”，  Ｐｒｏｃ．  Ｏｎ  ＡＣＭ  ＭＭ，  ２０１０
［３］  Ｊ．Ｓ．  Ｓｔａｈｌ，  “Ａｍｐｌｉｔｕｄｅ  ｏｆ  ｈｕｍａｎ  ｈｅａｄ  ｍｏｖｅｍｅｎｔｓ  ａｓｓｏｃｉａｔｅｄ  ｗｉｔｈ  ｈｏｒｉｚｏｎｔａｌ  ｓａｃｃａｄｅｓ，”  Ｅｘｐｅｒｉｍｅｎｔａｌ  Ｂｒａｉｎ  Ｒｅａｓｅａｒｃｈ，  １９９９
［４］  Ｊ．  Ｍｕｍｍ，  “Ｈｕｍａｎ−Ｒｏｂｏｔ  Ｐｒｏｘｅｍｉｃｓ：  Ｐｈｙｓｉｃａｌ  ａｎｄ  Ｐｓｙｃｈｏｌｏｇｉｃａｌ    Ｄｉｓｔａｎｃｉｎｇ  ｉｎ  Ｈｕｍａｎ−Ｒｏｂｏｔ  Ｉｎｔｅｒａｃｔｉｏｎ”，  Ｐｒｏｃ  ．  Ｏｎ  ＨＲＩ，  ２０１１
［５］  Ｈａｌｌ，  Ｅｄｗａｒｄ  Ｔ．  （１９６６）．  Ｔｈｅ  Ｈｉｄｄｅｎ  Ｄｉｍｅｎｓｉｏｎ．  Ａｎｃｈｏｒ  Ｂｏｏｋｓ．  ＩＳＢＮ  ０−３８５−０８４７６−５．  
【符号の説明】
【０１２３】
１０１…カメラ、１０２…行動状態推定装置、１０３…ロボット（エージェント）、２０１…識別結果テーブル、２０２…状態遷移表、２０３…行動状態テーブル、３００…識別結果テーブル更新部、３０１…近距離識別器、３０２…遠距離識別器、３０３…いる識別器、３０４…微分器、３０５…接近識別器、３０６…離脱識別器、３０７…停止識別器、３０８…注視識別器、３０９…テーブル更新部、４００…行動状態テーブル更新部、５００…行動状態出力部、６００…意図判定部。
【図１】
2019087175.tif 000014
【図２】
2019087175.tif 000015
【図３】
2019087175.tif 000016
【図４】
2019087175.tif 000017
【図５】
2019087175.tif 000018
【図６】
2019087175.tif 000019
【図７】
2019087175.tif 000020
【図８】
2019087175.tif 000021
【図９】
2019087175.tif 000022
【図１０】
2019087175.tif 000023
【図１１】
2019087175.tif 000024
【図１２】
2019087175.tif 000025
【図１３】
2019087175.tif 000026
【図１４】
2019087175.tif 000027
【図１５】
2019087175.tif 000028
【図１６】
2019087175.tif 000029
【図１７】
2019087175.tif 000030
【図１８】
2019087175.tif 000031
【図１９】
2019087175.tif 000032