(57)【要約】【課題】通行者との間の距離に加え通行者の顔向きにも基づいて情報の出力制御を行い、当該情報の出力による通行者への呼び掛けの成否を判定できるようにする。【解決手段】顔向きデータ取得部１１１の制御の下、顔認識センサ２から、１以上の通行者に係る顔向きデータが経時的に取得され、距離データ取得部１１２の制御の下、距離測定センサ３から、情報出力装置１と１以上の通行者との間の距離データが取得される。その後、注視判定部１１４および近接判定部１１５の制御の下、当該顔向きデータおよび距離データに基づいて、注視判定処理と近接判定処理が実行される。出力制御部１１６の制御の下、当該注視判定処理および近接判定処理の判定結果に基づいて、画像情報または音声情報の出力制御がされる。その後、呼び掛け成否判定部１１７の制御の下、当該画像情報または音声情報の出力による通行者への呼び掛けが成功したか否かが判定される。【選択図】図２
2019128557.tif 000002
【特許請求の範囲】
【請求項１】
通行者の検知に応じて当該通行者に対して、画像情報と、音声情報と、対象物を駆動するための駆動制御情報とのうちの少なくとも１つを出力可能な情報出力装置であって、
顔認識センサから、前記通行者に係る顔向きデータを経時的に取得する顔向きデータ取得部と、
距離測定センサから、前記情報出力装置と前記通行者との間の距離データを経時的に取得する距離データ取得部と、
前記取得される顔向きデータに基づいて、前記通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が第１の時間以上であるか否かを判定する注視判定部と、
前記取得される距離データに基づいて、前記情報出力装置から所定の距離内に前記通行者が存在する時間が第２の時間以上であるか否かを判定する近接判定部と、
前記注視判定部および前記近接判定部における判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力するか否かを判定し、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる出力制御部と、
前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つの出力期間中または出力期間後に前記注視判定部および前記近接判定部により得られる判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つの出力による呼び掛けが成功したか否かを判定する呼び掛け成否判定部と
を備える情報出力装置。
【請求項２】
前記出力制御部は、
前記注視判定部および前記近接判定部における判定結果と、当該判定結果に対応付けられた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力する複数種類の動作と、当該各動作の行動価値の値とを記憶する行動価値テーブルに基づいて、前記注視判定部および前記近接判定部における判定結果に対応付けられた前記複数種類の動作のうち行動価値の値が最も高い動作を選択する選択部と、
前記選択された動作に応じた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる制御部と
を備える、請求項１に記載の情報出力装置。
【請求項３】
前記出力制御部は、
前記注視判定部および前記近接判定部における判定結果と、当該判定結果に対応付けられた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力する複数種類の動作と、当該各動作の行動価値の値とを記憶する行動価値テーブルに基づいて、前記注視判定部および前記近接判定部における判定結果に対応付けられた前記複数種類の動作の中から動作をランダムに選択する選択部と、
前記選択された動作に応じた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる制御部と
を備える、請求項１に記載の情報出力装置。
【請求項４】
前記顔向きデータ取得部は、前記顔認識センサから、複数の通行者の各々に係る顔向きデータを経時的に取得し、
前記距離データ取得部は、前記距離測定センサから、前記情報出力装置と前記複数の通行者の各々との間の距離データを経時的に取得し、
前記注視判定部は、前記複数の通行者の各々に対して、当該通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が前記第１の時間以上であるか否かを判定し、
前記近接判定部は、前記複数の通行者の各々に対して、前記情報出力装置から所定の距離内に当該通行者が存在する時間が前記第２の時間以上であるか否かを判定し、
前記出力制御部は、
前記複数の通行者の各々に対応して、前記注視判定部および前記近接判定部における判定結果と、当該判定結果に対応付けられた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力する複数種類の動作と、当該各動作の行動価値の値とを記憶する行動価値テーブルに基づいて、前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に対応付けられた前記複数の通行者と前記複数種類の動作の組み合わせの中から、前記行動価値の値が最も高い動作に対応する通行者と動作との組み合わせを選択する選択部と、
前記選択された通行者に対して、前記選択された動作に応じた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる制御部と
を備える、請求項１に記載の情報出力装置。
【請求項５】
前記顔向きデータ取得部は、前記顔認識センサから、複数の通行者の各々に係る顔向きデータを経時的に取得し、
前記距離データ取得部は、前記距離測定センサから、前記情報出力装置と前記複数の通行者の各々との間の距離データを経時的に取得し、
前記注視判定部は、前記複数の通行者の各々に対して、当該通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が前記第１の時間以上であるか否かを判定し、
前記近接判定部は、前記複数の通行者の各々に対して、前記情報出力装置から所定の距離内に当該通行者が存在する時間が前記第２の時間以上であるか否かを判定し、
前記出力制御部は、
前記複数の通行者の各々に対応して、前記注視判定部および前記近接判定部における判定結果と、当該判定結果に対応付けられた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力する複数種類の動作と、当該各動作の行動価値の値とを記憶する行動価値テーブルに基づいて、前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に対応付けられた前記複数の通行者と前記複数種類の動作の組み合わせの中から、動作をランダムに選択し、さらに、前記複数の通行者のうち当該選択された動作の行動価値の値が最も高い通行者を選択する第１選択部と、
前記行動価値テーブルに基づいて、前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に対応付けられた前記複数の通行者と前記複数種類の動作の組み合わせの中から、通行者をランダムに選択し、さらに、前記複数種類の動作のうち当該選択された通行者に対応付けられた行動価値の値が最も高い動作を選択する第２選択部と、
前記行動価値テーブルに基づいて、前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に対応付けられた前記複数の通行者と前記複数種類の動作の組み合わせの中から、動作と通行者とをランダムに選択する第３選択部と
のうちの少なくとも１つを備え、
前記出力制御部は、前記第１選択部、前記第２選択部、または前記第３選択部によって選択された通行者に対して、当該選択部によって選択された動作に応じた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる制御部と
を備える、請求項１に記載の情報出力装置。
【請求項６】
前記呼び掛けが成功したと判定された場合に、前記行動価値テーブルにおける、前記選択された動作の行動価値の値を増加させ、前記通行者への呼び掛けが失敗したと判定された場合に、前記行動価値テーブルにおける、前記選択された動作の行動価値の値を減少させる行動価値テーブル更新部をさらに備える、請求項２乃至５のいずれかに記載の情報出力装置。
【請求項７】
ハードウェアプロセッサおよびメモリを備え、通行者の検知に応じて当該通行者に対して、画像情報と、音声情報と、対象物を駆動するための駆動制御情報とのうちの少なくとも１つを出力可能な装置が実行する情報出力方法であって、
顔認識センサから、前記通行者に係る顔向きデータを経時的に取得する過程と、
距離測定センサから、前記装置と前記通行者との間の距離データを経時的に取得する過程と、
前記取得される顔向きデータに基づいて、前記通行者の顔が前記装置を含む所定の範囲を向いている時間が第１の時間以上であるか否かを判定する注視判定過程と、
前記取得される距離データに基づいて、前記装置から所定の距離内に前記通行者が存在する時間が第２の時間以上であるか否かを判定する近接判定過程と、
前記注視判定過程および前記近接判定過程における判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力するか否かを判定し、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる過程と
前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つの出力期間中または出力期間後に前記注視判定過程および前記近接判定過程により得られる判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つの出力による呼び掛けが成功したか否かを判定する過程と
を備える情報出力方法。
【請求項８】
請求項１乃至６のいずれかに記載の情報出力装置が備える各部としてハードウェアプロセッサを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、通行者に対して情報を出力する情報出力装置、方法およびプログラムに関する。
【背景技術】
【０００２】
従来、距離測定センサを利用して通行者の移動軌跡を算出し、当該移動軌跡に基づいて、実世界へ影響を与えるように動作する機能を有する装置（以後、単にエージェントと称する）に集客動作をさせる研究が行われていた。このような研究では、通行者がエージェントに近寄らない場合には、エージェントを眺めながら通り過ぎていく通行者も、エージェントを眺めずに通り過ぎていく通行者も、等しく集客対象外となっていた（例えば、非特許文献１を参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Niklas Bergstrom, et al., “Modeling of Natural Human-Robot Encounters”, IEEE/RSJ International Conference on Intelligent Robots and Systems, 2008
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、非特許文献１に記載されるような技術では、集客対象外となる、エージェントに近寄らずにエージェントを眺めている通行者は、エージェントに興味がある可能性が高い。したがって、このような通行者に対して集客動作を実行すれば、集客動作による呼び掛けが成功する確率は高いかもしれない。また、例えばエージェントを眺めることなく偶然エージェントの近くを通り過ぎるような通行者は、非特許文献１に記載されるような技術では集客対象となるが、特にエージェントに興味がない可能性が高い。したがって、このような通行者に対して集客動作を実行しても、集客動作による呼び掛けが成功する確率は低いかもしれない。
【０００５】
すなわち、非特許文献１に記載される、距離測定センサによって計測されるデータのみに基づいてエージェントが集客動作を実行するか否かを判定する技術では、エージェントに対して興味を示している通行者に対して集客動作を実行せずに、エージェントに対して興味を示していない通行者に対して集客動作を実行してしまう状況が生じ得る。したがって、集客動作を実行するか否かの判定に、エージェントと通行者との距離に加えて他の判定基準も利用するのが好ましい。
【０００６】
また、非特許文献１に記載されるような技術には、次の問題もある。
【０００７】
例えば、エージェントの集客動作は、当該集客動作による呼び掛けが成功せずに周りに通行者がいなくなってしまっていても継続される。これは、エージェントの電力の浪費となる。
【０００８】
さらに、例えばエージェントの周囲の音環境が変化すると、エージェントから出力される音声が周囲の雑音にかき消され通行者に届きにくくなることがある。このように、エージェントが設置される環境が変わると、エージェントが同じ条件で集客動作を実行していても、当該集客動作による呼び掛けが成功する確率が下がってしまうことがある。非特許文献１に記載される技術では、このような状況が生じても、呼び掛けが成功しにくくなった集客動作を、エージェントは同じ条件で何度も繰り返し実行してしまう。
【０００９】
これらの問題については、集客動作による呼び掛けの成否を検知することにより対策を講じることができるかもしれない。
【００１０】
この発明は上記事情に着目してなされたもので、その目的とするところは、通行者との間の距離に加え通行者の顔向きにも基づいて情報の出力制御を行い、当該情報の出力による通行者への呼び掛けの成否を判定できる情報出力装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、この発明の第１の態様は、通行者の検知に応じて当該通行者に対して、画像情報と、音声情報と、対象物を駆動するための駆動制御情報とのうちの少なくとも１つを出力可能な情報出力装置にあって、顔認識センサから、前記通行者に係る顔向きデータを経時的に取得する顔向きデータ取得部と、距離測定センサから、前記情報出力装置と前記通行者との間の距離データを経時的に取得する距離データ取得部と、前記取得される顔向きデータに基づいて、前記通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が第１の時間以上であるか否かを判定する注視判定部と、前記取得される距離データに基づいて、前記情報出力装置から所定の距離内に前記通行者が存在する時間が第２の時間以上であるか否かを判定する近接判定部と、前記注視判定部および前記近接判定部における判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力するか否かを判定し、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる出力制御部と、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つの出力期間中または出力期間後に前記注視判定部および前記近接判定部により得られる判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つの出力による呼び掛けが成功したか否かを判定する呼び掛け成否判定部とを備えるようにしたものである。
【００１２】
この発明の第２の態様は、前記出力制御部が、前記注視判定部および前記近接判定部における判定結果と、当該判定結果に対応付けられた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力する複数種類の動作と、当該各動作の行動価値の値とを記憶する行動価値テーブルに基づいて、前記注視判定部および前記近接判定部における判定結果に対応付けられた前記複数種類の動作のうち行動価値の値が最も高い動作を選択する選択部と、前記選択された動作に応じた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる制御部とを備えるようにしたものである。
【００１３】
この発明の第３の態様は、前記出力制御部が、前記注視判定部および前記近接判定部における判定結果と、当該判定結果に対応付けられた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力する複数種類の動作と、当該各動作の行動価値の値とを記憶する行動価値テーブルに基づいて、前記注視判定部および前記近接判定部における判定結果に対応付けられた前記複数種類の動作の中から動作をランダムに選択する選択部と、前記選択された動作に応じた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる制御部とを備えるようにしたものである。
【００１４】
この発明の第４の態様は、前記顔向きデータ取得部が、前記顔認識センサから、複数の通行者の各々に係る顔向きデータを経時的に取得し、前記距離データ取得部が、前記距離測定センサから、前記情報出力装置と前記複数の通行者の各々との間の距離データを経時的に取得し、前記注視判定部が、前記複数の通行者の各々に対して、当該通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が前記第１の時間以上であるか否かを判定し、前記近接判定部が、前記複数の通行者の各々に対して、前記情報出力装置から所定の距離内に当該通行者が存在する時間が前記第２の時間以上であるか否かを判定し、前記出力制御部が、前記複数の通行者の各々に対応して、前記注視判定部および前記近接判定部における判定結果と、当該判定結果に対応付けられた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力する複数種類の動作と、当該各動作の行動価値の値とを記憶する行動価値テーブルに基づいて、前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に対応付けられた前記複数の通行者と前記複数種類の動作の組み合わせの中から、前記行動価値の値が最も高い動作に対応する通行者と動作との組み合わせを選択する選択部と、前記選択された通行者に対して、前記選択された動作に応じた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる制御部とを備えるようにしたものである。
【００１５】
この発明の第５の態様は、前記顔向きデータ取得部が、前記顔認識センサから、複数の通行者の各々に係る顔向きデータを経時的に取得し、前記距離データ取得部が、前記距離測定センサから、前記情報出力装置と前記複数の通行者の各々との間の距離データを経時的に取得し、前記注視判定部が、前記複数の通行者の各々に対して、当該通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が前記第１の時間以上であるか否かを判定し、前記近接判定部が、前記複数の通行者の各々に対して、前記情報出力装置から所定の距離内に当該通行者が存在する時間が前記第２の時間以上であるか否かを判定し、前記出力制御部が、前記複数の通行者の各々に対応して、前記注視判定部および前記近接判定部における判定結果と、当該判定結果に対応付けられた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力する複数種類の動作と、当該各動作の行動価値の値とを記憶する行動価値テーブルに基づいて、前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に対応付けられた前記複数の通行者と前記複数種類の動作の組み合わせの中から、動作をランダムに選択し、さらに、前記複数の通行者のうち当該選択された動作の行動価値の値が最も高い通行者を選択する第１選択部と、前記行動価値テーブルに基づいて、前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に対応付けられた前記複数の通行者と前記複数種類の動作の組み合わせの中から、通行者をランダムに選択し、さらに、前記複数種類の動作のうち当該選択された通行者に対応付けられた行動価値の値が最も高い動作を選択する第２選択部と、前記行動価値テーブルに基づいて、前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に対応付けられた前記複数の通行者と前記複数種類の動作の組み合わせの中から、動作と通行者とをランダムに選択する第３選択部とのうちの少なくとも１つを備え、前記出力制御部が、前記第１選択部、前記第２選択部、または前記第３選択部によって選択された通行者に対して、当該選択部によって選択された動作に応じた前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる制御部とを備えるようにしたものである。
【００１６】
この発明の第６の態様は、前記情報出力装置が、前記呼び掛けが成功したと判定された場合に、前記行動価値テーブルにおける、前記選択された動作の行動価値の値を増加させ、前記通行者への呼び掛けが失敗したと判定された場合に、前記行動価値テーブルにおける、前記選択された動作の行動価値の値を減少させる行動価値テーブル更新部をさらに備えるようにしたものである。
【発明の効果】
【００１７】
この発明の第１の態様によれば、顔認識センサから、通行者に係る顔向きデータが経時的に取得され、距離測定センサから、情報出力装置と上記通行者との間の距離データが経時的に取得される。上記取得される顔向きデータに基づいて、上記通行者の顔が上記情報出力装置を含む所定の範囲を向いている時間が第１の時間以上であるか否かが判定される注視判定処理が実行される。また、上記取得される距離データに基づいて、上記情報出力装置から所定の距離内に上記通行者が存在する時間が第２の時間以上であるか否かが判定される近接判定処理が実行される。通行者に対する注視判定処理の判定結果と近接判定処理の判定結果とに基づいて、画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力するか否かが判定され、画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、当該画像情報と音声情報と駆動制御情報とのうちの少なくとも１つが出力される。当該画像情報と音声情報と駆動制御情報とのうちの少なくとも１つの出力期間中または出力期間後に注視判定処理および近接判定処理により得られる判定結果に基づいて、上記画像情報と音声情報と駆動制御情報とのうちの少なくとも１つの出力による呼び掛けが成功したか否かが判定される。
【００１８】
顔向きは視線に方向がおおよそ一致するものであり、それゆえ通行者の顔向きは、情報出力装置と通行者との間の距離と同様に、通行者が情報出力装置に興味を示しているか否かを判断するために有用である。したがって、上述したように情報出力装置と通行者との間の距離に加えて通行者の顔向きを基準として用いることにより、例えば情報出力装置に対して確かに興味を示している通行者を対象として、情報を出力することが可能となる。
【００１９】
また、呼び掛けが成功したか否かを判定すると、以下のような効果が奏せられる。すなわち、呼び掛けが成功したか否かの判定を情報の出力期間中に行うと、例えば、当該情報の出力条件を満たす通行者がいなくなっている場合には、当該情報の出力を停止して無駄な電力消費を抑えることができる。さらに、呼び掛けが成功したか否かの情報により、情報の出力条件を見直すこともできるし、オペレータが情報出力装置の設置される環境を変えることを判断することもできる。
【００２０】
この発明の第２の態様によれば、注視判定処理および近接判定処理の判定結果と、当該判定結果に対応付けられた画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力する複数種類の動作と、当該各動作の行動価値の値とを記憶する行動価値テーブルに基づいて、注視判定処理および近接判定処理の判定結果に対応付けられた上記複数種類の動作のうち行動価値の値が最も高い動作が選択される。その後、当該選択された動作に応じた画像情報と音声情報と駆動制御情報とのうちの少なくとも１つが出力される。このように、行動価値の値という基準で動作を選択すれば、例えば、予め保証されている成功率の確度で、選択された通行者を呼び止められる可能性があるという利点がある。
【００２１】
この発明の第３の態様によれば、上記行動価値テーブルに基づいて、注視判定処理および近接判定処理の判定結果に対応付けられた上記複数種類の動作の中から動作がランダムに選択される。その後、当該選択された動作に応じた画像情報と音声情報と駆動制御情報とのうちの少なくとも１つが出力される。
【００２２】
例えば、行動価値の値を基準にして動作を選択する場合には、初期の段階で行動価値の値が低く設定された動作が殆ど選択されないことが生じ得る。しかしながら、行動価値の値が低く設定された動作のうちにも、実際には当該動作による呼び掛けが成功する確率がそれ程低くないものも含まれ得る。上述したようにランダムに動作を選択するようにすることによって、このような動作による呼び掛けが成功するか否かの情報を取得することができ、当該情報は、例えば、初期の段階の行動価値の値の設定が適切であるか否かを見直すことに利用することができる。
【００２３】
この発明の第４の態様によれば、上記顔認識センサから、複数の通行者の各々に係る顔向きデータが経時的に取得され、上記距離測定センサから、上記情報出力装置と複数の通行者の各々との間の距離データが経時的に取得される。上記複数の通行者の各々に対して、当該通行者の顔が上記情報出力装置を含む所定の範囲を向いている時間が上記第１の時間以上であるか否かが判定される注視判定処理が実行される。また、上記複数の通行者の各々に対して、上記情報出力装置から所定の距離内に当該通行者が存在する時間が上記第２の時間以上であるか否かが判定される近接判定処理が実行される。その後、上記複数の通行者の各々に対応して、注視判定処理および近接判定処理の判定結果と、当該判定結果に対応付けられた画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力する複数種類の動作と、当該各動作の行動価値の値とを記憶する行動価値テーブルに基づいて、上記複数の通行者の各々に対する注視判定処理および近接判定処理の判定結果に対応付けられた上記複数の通行者と上記複数種類の動作の組み合わせの中から、行動価値の値が最も高い動作に対応する通行者と動作との組み合わせが選択される。その後、選択された通行者に対して、選択された動作に応じた画像情報と音声情報と駆動制御情報とのうちの少なくとも１つが出力される。
【００２４】
このため、行動価値の値を基準に、複数の通行者の中から少なくとも１人を呼び止められる可能性が最も高くなる手法で、通行者に対して情報を出力することによる呼び掛けをすることができる。
【００２５】
また、例えば、選択された通行者の方向にディスプレイの正面が向くようにディスプレイの角度を調節して画像情報を出力したり、選択された通行者の方向にスピーカの正面が向くようにスピーカの向きを調節して音声情報を出力したり、選択された通行者の方向に向かって、可動部を駆動してジェスチャを提示したりするようにしてもよい。このようにすると、画像情報または音声情報の提供や、可動部により実行されるジェスチャを、選択された通行者がより一層受けやすくなり、当該情報の出力による通行者の呼び掛けが成功する確率が高くなる。
【００２６】
この発明の第５の態様によれば、上記顔認識センサから、複数の通行者の各々に係る顔向きデータが経時的に取得され、上記距離測定センサから、上記情報出力装置と複数の通行者の各々との間の距離データが経時的に取得される。上記複数の通行者の各々に対して、当該通行者の顔が上記情報出力装置を含む所定の範囲を向いている時間が上記第１の時間以上であるか否かが判定される注視判定処理が実行される。また、上記複数の通行者の各々に対して、上記情報出力装置から所定の距離内に当該通行者が存在する時間が上記第２の時間以上であるか否かが判定される近接判定処理が実行される。その後、上記複数の通行者の各々に対応して、注視判定処理および近接判定処理の判定結果と、当該判定結果に対応付けられた画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力する複数種類の動作と、当該各動作の行動価値の値とを記憶する行動価値テーブルに基づいて、上記複数の通行者の各々に対する注視判定処理および近接判定処理の判定結果に対応付けられた上記複数の通行者と上記複数種類の動作の組み合わせの中から、動作がランダムに選択され、さらに、上記複数の通行者のうち当該選択された動作の行動価値の値が最も高い通行者が選択される。あるいは、上記行動価値テーブルに基づいて、上記複数の通行者と上記複数種類の動作の組み合わせの中から、通行者がランダムに選択され、さらに、上記複数種類の動作のうち当該選択された通行者に対応付けられた行動価値の値が最も高い動作が選択される。あるいは、上記行動価値テーブルに基づいて、上記複数の通行者と上記複数種類の動作の組み合わせの中から、動作と通行者とがランダムに選択される。その後、選択された通行者に対して、選択された動作に応じた画像情報と音声情報と駆動制御情報とのうちの少なくとも１つが出力される。
【００２７】
このように、動作と通行者とのランダムな選択の中に、動作と通行者との一方をランダムに選択し他方はその中で行動価値の値が最も高くなるような選択を含めるようにして、当該選択に基づいて動作を実行し、当該動作による呼び掛けが成功したか否かの情報を取得すると、例えば、行動価値の値が最も高い動作に対応する通行者と動作との組み合わせを基準にした、通行者を変更することによる行動価値の値の変化への寄与の割合や、動作を変更することによる行動価値の値の変化への寄与の割合等を解析することができる。
【００２８】
この発明の第６の態様によれば、上記呼び掛けが成功したと判定された場合に、行動価値テーブルにおける、上記選択された動作の行動価値の値が増加され、上記呼び掛けが失敗したと判定された場合に、行動価値テーブルにおける、上記選択された動作の行動価値の値が減少される。このため、行動価値の値を基準に情報出力装置が実行する動作を選択する場合に、呼び掛けが成功した動作が次回以降に選択されやすくなり、呼び掛けが失敗した動作が次回以降に選択されにくくなる。すなわち、情報出力装置は、設置された環境に対応できるように自律的に逐次学習する。
【００２９】
すなわち、この発明によれば、通行者との間の距離に加え通行者の顔向きにも基づいて情報の出力制御を行い、当該情報の出力による通行者への呼び掛けの成否を判定できる情報出力装置、方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００３０】
【図１】この発明の第１の実施形態に係る、通行者の検出に応じて当該通行者に対して画像情報または音声情報を出力する情報出力装置の一例を示す図。
【図２】図１に示した情報出力装置の機能構成を示すブロック図。
【図３】図１に示した距離測定センサによって取得される距離データの一例を示す図。
【図４】図１に示した顔認識センサによって取得される顔向きデータの一例を示す図。
【図５】図１に示した情報出力装置が実行可能な、画像情報または音声情報を出力する動作の一例を示す図。
【図６】図２に示した情報出力装置の制御ユニットによって実行される行動価値テーブル初期化処理の一例を示すフロー図。
【図７】図２に示した情報出力装置の制御ユニットによって実行される計測値取得処理の一例を示すフロー図。
【図８】図２に示した情報出力装置の制御ユニットによって実行されるユーザ状態判定処理の一例を示すフロー図。
【図９】図２に示した情報出力装置の記憶ユニットに記憶される頭状態ログテーブルＨの一例を示す図。
【図１０】図２に示した情報出力装置の記憶ユニットに記憶される体状態ログテーブルＢの一例を示す図。
【図１１】図９に示した頭状態ログテーブルＨから生成される頭状態ログテーブルＨ´´の一例を示す図。
【図１２】図１０に示した体状態ログテーブルＢから生成される体状態ログテーブルＢ´´の一例を示す図。
【図１３】図１１に示した頭状態ログテーブルＨ´´と図１２に示した体状態ログテーブルＢ´´とを組み合わせて生成される統合ログテーブルＭの一例を示す図。
【図１４】図１３に示した統合ログテーブルＭから対象別ログテーブルを生成させる一例を示す図。
【図１５】図８に示したユーザ状態判定処理において実行される近接判定処理の一例を示す図。
【図１６】図８に示したユーザ状態判定処理において実行される注視判定処理の一例を示す図。
【図１７】図２に示した情報出力装置の制御ユニットによって実行される出力制御処理の一例を示すフロー図。
【図１８】図２に示した情報出力装置の記憶ユニットに記憶される行動価値テーブルの一例を示す図。
【図１９】図２に示した情報出力装置の制御ユニットによって実行される行動価値テーブル更新処理の一例を示すフロー図。
【図２０】最近傍法を利用したトラッキング処理の概念図。
【図２１】図８に示したユーザ状態判定処理に伴って実行される、トラッキング処理を実行して、ｉｄ値を付与した頭状態ログテーブルＨ´および体状態ログテーブルＢ´を生成させる処理の一例を示すフロー図。
【図２２】図８に示したユーザ状態判定処理に伴って実行される、同一の通行者を示しているｉｄＨ値とｉｄＢ値とを対応付けるマッチリストを生成させる処理の一例を示すフロー図。
【図２３】図８に示したユーザ状態判定処理に伴って実行される、頭状態ログテーブルＨ´と体状態ログテーブルＢ´とをマッチリストを利用して組み合わせて統合ログテーブルＭを生成させる処理の一例を示すフロー図。
【図２４】この発明の他の実施形態に係る、情報出力装置が実行可能な駆動制御情報または音声情報を出力する動作の一例を示す図。
【発明を実施するための形態】
【００３１】
以下、図面を参照してこの発明に係わる実施形態を説明する。  
［第１の実施形態］
（構成）
図１は、この発明の第１の実施形態に係る、通行者の検出に応じて当該通行者に対して画像情報または音声情報を出力する情報出力装置１の一例を示す図である。
【００３２】
情報出力装置１は、例えば、通行者に画像情報または音声情報を出力してサービスの利用を呼び掛けるバーチャルロボットインタラクティブサイネージ等である。図１では、情報出力装置１、顔認識センサ２、距離測定センサ３、ディスプレイ４、およびスピーカ５が一体となっている例を図示しているが、これらの各々は別個の装置として分離されていてもよく、また、これらのうちの任意の組み合わせが一体となっていてもよい。
【００３３】
情報出力装置１は、例えばカメラ等である顔認識センサ２から、通行者に係る顔向きデータを経時的に取得する。また、情報出力装置１は、例えば超音波距離センサや赤外線距離センサ等である距離測定センサ３から、情報出力装置１と通行者との間の距離データを経時的に取得する。当該取得される顔向きデータおよび距離データに基づいて、情報出力装置１は、画像情報または音声情報を出力するか否かを判定する。そして、出力すると判定された場合に、画像情報および音声情報をそれぞれディスプレイ４およびスピーカ５を用いて出力する。
【００３４】
さらに、情報出力装置１は、画像情報または音声情報の出力期間中または出力期間後に、上記顔向きデータおよび距離データに基づいて、当該画像情報または音声情報の出力による呼び掛けが成功したか否かを判定する。
【００３５】
図２は、図１に示した情報出力装置１の機能構成を示すブロック図である。  
情報出力装置１は、ハードウェアとして、制御ユニット１１と、記憶ユニット１２と、入出力インタフェースユニット１３とを備えている。
【００３６】
入出力インタフェースユニット１３は、例えば１つ以上の有線または無線の通信インタフェースユニットを含んでいる。入出力インタフェースユニット１３は、顔認識センサ２から、通行者に係る顔向きデータを取得し、距離測定センサ３から、情報出力装置１と通行者との間の距離データを取得し、当該取得される顔向きデータおよび距離データを制御ユニット１１に出力する。また、入出力インタフェースユニット１３は、制御ユニット１１から出力される画像情報および音声情報をそれぞれディスプレイ４およびスピーカ５に出力する。
【００３７】
記憶ユニット１２は、記憶媒体として例えばＨＤＤ（Hard Disc Drive）またはＳＳＤ（Solid State Drive）等の随時書き込みおよび読み出しが可能な不揮発メモリを使用したもので、本実施形態を実現するために、頭状態ログテーブルＨ記憶部１２１と、体状態ログテーブルＢ記憶部１２２と、対象別ログテーブル記憶部１２３と、行動価値テーブル記憶部１２４とを備えている。
【００３８】
頭状態ログテーブルＨ記憶部１２１は、頭状態ログテーブルＨを記憶している。頭状態ログテーブルＨは、顔認識センサ２から取得される、１以上の通行者に係る顔向きデータを記憶する。
【００３９】
体状態ログテーブルＢ記憶部１２２は、体状態ログテーブルＢを記憶している。体状態ログテーブルＢは、距離測定センサ３から取得される、情報出力装置１と１以上の通行者との間の距離データを記憶する。
【００４０】
対象別ログテーブル記憶部１２３は、通行者別に顔向きデータと距離データとを統合した、通行者別の１以上の対象別ログテーブルを記憶させるために使用される。
【００４１】
行動価値テーブル記憶部１２４は、行動価値テーブルを記憶している。行動価値テーブルは、１以上の通行者の各々に対応して、情報出力装置１への当該通行者の注視状態および情報出力装置１と当該通行者との近接状態と、当該注視状態および近接状態の組み合わせに対応付けられた画像情報または音声情報を出力する複数種類の動作と、当該各動作の行動価値の値とを記憶する。
【００４２】
制御ユニット１１は、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサと、プログラムメモリとを備え、本実施形態における処理機能を実行するために、顔向きデータ取得部１１１と、距離データ取得部１１２と、対象別ログテーブル生成部１１３と、注視判定部１１４と、近接判定部１１５と、出力制御部１１６と、呼び掛け成否判定部１１７と、行動価値テーブル初期化部１１８と、行動価値テーブル更新部１１９とを備えている。これらの各部における処理機能はいずれも、プログラムメモリに格納されたプログラムを上記ハードウェアプロセッサに実行させることによって実現される。
【００４３】
顔向きデータ取得部１１１は、入出力インタフェースユニット１３を介して顔認識センサ２から、１以上の通行者に係る顔向きデータを経時的に取得し、取得された顔向きデータを、頭状態ログテーブルＨに書き込む処理を実行する。
【００４４】
距離データ取得部１１２は、入出力インタフェースユニット１３を介して距離測定センサ３から、情報出力装置１と１以上の通行者との間の距離データを経時的に取得し、取得された距離データを、体状態ログテーブルＢに書き込む処理を実行する。
【００４５】
対象別ログテーブル生成部１１３は、先ず、頭状態ログテーブルＨおよび体状態ログテーブルＢから、顔向きデータおよび距離データを読み出す。そして、対象別ログテーブル生成部１１３は、通行者別に顔向きデータと距離データとを統合して、通行者別の１以上の対象別ログテーブルをそれぞれ生成し、生成された１以上の対象別ログテーブルを、記憶ユニット１２の対象別ログテーブル記憶部１２３に記憶させる処理を実行する。
【００４６】
注視判定部１１４は、記憶ユニット１２の対象別ログテーブル記憶部１２３から、通行者別の１以上の対象別ログテーブルを読み出す。そして、注視判定部１１４は、上記読み出された通行者別の１以上の対象別ログテーブルに記憶される顔向きデータに基づいて、１以上の通行者の各々に対して、当該通行者の顔が情報出力装置１を含む所定の範囲を向いている時間が第１の時間以上であるか否かを判定する処理を実行して、１以上の通行者の注視状態を判定する。
【００４７】
近接判定部１１５も、記憶ユニット１２の対象別ログテーブル記憶部１２３から、通行者別の１以上の対象別ログテーブルを読み出す。そして、近接判定部１１５は、上記読み出された通行者別の１以上の対象別ログテーブルに記憶される距離データに基づいて、１以上の通行者の各々に対して、情報出力装置１から所定の距離内に当該通行者が存在する時間が第２の時間以上であるか否かを判定する処理を実行して、１以上の通行者の近接状態を判定する。
【００４８】
出力制御部１１６は、上記行動価値テーブルを参照し、１以上の通行者の各々に対する注視判定部１１４および近接判定部１１５における判定結果に基づいて、行動価値テーブルに記憶される動作の中から情報出力装置１が実行する動作を選択することによって、画像情報または音声情報を出力するか否かを判定する。そして、出力制御部１１６は、画像情報または音声情報を出力すると判定された場合に、当該画像情報または音声情報を、入出力インタフェースユニット１３を介してディスプレイ４またはスピーカ５から出力させる処理を実行する。
【００４９】
呼び掛け成否判定部１１７は、画像情報または音声情報の出力期間中または出力期間後に注視判定部１１４および近接判定部１１５により得られる判定結果に基づいて、当該画像情報または音声情報の出力による通行者への呼び掛けが成功したか否かを判定する処理を実行する。
【００５０】
行動価値テーブル初期化部１１８は、記憶ユニット１２の行動価値テーブル記憶部１２４に記憶される行動価値テーブルを初期化する処理を実行する。
【００５１】
行動価値テーブル更新部１１９は、呼び掛け成否判定部１１７における判定結果に基づいて、行動価値テーブルにおける、出力制御部１１６において選択された動作の行動価値の値を増加または減少させる処理を実行する。
【００５２】
（動作）
次に、以上のように構成された情報出力装置１の動作を説明する。  
（１）計測データの具体例
先ず、情報出力装置１において取得される顔向きデータおよび距離データについて説明する。
【００５３】
図３は、図１に示した距離測定センサ３によって取得される距離データの一例を示す図である。なお、世界座標系の基準軸として、例えば、情報出力装置１のディスプレイ４上に距離測定センサ３が設置されている位置からディスプレイ４の平面に沿って右側へ向かう方向を正の向きとするＸ軸、ディスプレイ４の平面に沿って下側へ向かう方向を正の向きとするＹ軸、および、ディスプレイ４の平面から垂直にディスプレイ４の正面方向へ向かう方向を正の向きとするＺ軸を用いる。  
図３に示されるように、情報出力装置１は距離測定センサ３から、距離データとして、時刻ｔと、Ｙ軸を中心としてＸ軸の正の向きから通行者の中心座標の方向までの角度θｐと、ディスプレイ４上の距離測定センサ３が設置されている位置と通行者の中心座標との間の距離Ｒｐとを取得する。距離測定センサ３による距離データの計測は、定期的にまたは不定期に継続して実行される。
【００５４】
図４は、図１に示した顔認識センサ２によって取得される顔向きデータの一例を示す図である。なお、顔認識センサ２は、例えば、撮像素子を平面上に並べたものであり、当該撮像素子が並ぶ平面が上記Ｚ軸と垂直となるように設置されているとする。  
図４の（ａ）は、顔認識センサによって撮影可能な画角θｃを図示している。図４の（ｂ）は、顔認識センサ２によって撮影される、画像の幅の大きさＷと、撮影画像の左上の点を基準とした顔検出枠の左上の座標（ｘ，ｙ）と、顔検出枠の幅の大きさｗとを図示している。なお、当該大きさおよび座標は、例えばピクセル単位である。図４の（ｃ）は、通行者の中心座標を通りＹ軸に平行な直線を中心として、上記Ｘ軸の正の向きから通行者の顔の正面方向までの角度θｈを図示している。なお、θｈは、通行者の顔がディスプレイ４と反対の側を向いている場合に正の値、通行者の顔がディスプレイ４側を向いている場合には負の値とする。
【００５５】
情報出力装置１は、顔認識センサ２によって撮影される画像から、顔向きデータとして、時刻ｔと、顔検出枠の左上の座標（ｘ，ｙ）と、顔検出枠の幅の大きさｗと、角度θｈとを取得する。
【００５６】
（２）画像情報または音声情報を出力する動作の具体例
次に、情報出力装置１によって画像情報または音声情報を出力する各動作について説明する。
【００５７】
図５は、図１に示した情報出力装置１が通行者の検知に応じて実行可能な、画像情報または音声情報を出力する動作の一例を示す図である。図５は、情報出力装置１が実行可能な３種類の動作ａ１，ａ２，ａ３を図示している。
【００５８】
動作ａ１は、ディスプレイ４に、手招きをしながら誘導する人の画像情報を出力し、スピーカ５から、「こちらへどうぞ」という呼び掛けの言葉に対応する音声情報を出力する動作である。  
動作ａ２は、ディスプレイ４に、手招きをしながら誘導する人の画像情報を出力し、スピーカ５から、「こちらに来てください」という呼び掛けの言葉に対応する音声情報と、通行者の注意を引くための効果音に対応する音声情報とを出力する動作である。なお、効果音に対応する音声情報の音量は、例えば、呼び掛けの言葉に対応する上述した２種類の音声情報の音量よりも大きい。  
動作ａ３は、ディスプレイ４に、待機する人の画像情報を出力する動作である。
【００５９】
（３）情報出力装置１が行動価値テーブルを初期化する動作
図６は、図２に示した情報出力装置１の制御ユニット１１によって実行される行動価値テーブル初期化処理の一例を示すフロー図である。
【００６０】
情報出力装置１は、行動価値テーブルに基づいて、画像情報または音声情報を出力する動作を選択する。行動価値テーブルは、１以上の通行者の各々に対応して、情報出力装置１への当該通行者の注視状態および情報出力装置１と当該通行者との近接状態と、当該注視状態および近接状態の組み合わせに対応付けられた画像情報または音声情報を出力する複数種類の動作と、当該各動作の行動価値の値とを記憶する。
【００６１】
先ず、ステップＳ１０１において、制御ユニット１１は、行動価値テーブル初期化部１１８の制御の下、記憶ユニット１２の所定の設定記憶領域にアクセスして、行動価値テーブルの初期化フラグｆｌａｇが不定値であるか否かを判定する。初期化フラグｆｌａｇが不定値であると判定された場合には、行動価値テーブルを初期化するためにステップＳ１０２からステップＳ１０５までの処理が実行される。
【００６２】
ステップＳ１０２において、制御ユニット１１は、行動価値テーブル初期化部１１８の制御の下、記憶ユニット１２の所定の設定記憶領域にアクセスして、計測人数の最大値Ｎとして例えば２０を書き込む。これにより、情報出力装置１が取得する顔向きデータおよび距離データから得られる通行者の計測人数が２０人となるまで、行動価値テーブルは対応できるものとなる。
【００６３】
ステップＳ１０３において、制御ユニット１１は、行動価値テーブル初期化部１１８の制御の下、記憶ユニット１２の所定の設定記憶領域にアクセスして、学習回数ベクトルＫの各要素の値として例えば５を書き込む。なお、Ｋ＝｛Ｋ１，Ｋ２，・・・，ＫＮ｝であり、Ｋ１は、計測人数が１のときに使用する学習回数を示すものであり、Ｋ２は、計測人数が２のときに使用する学習回数を示すものであり、以下同様である。当該学習回数ベクトルＫの各要素は、例えば、行動価値テーブル更新部１１９の制御下で行動価値テーブルを更新させる際に、行動価値の値を増減させる尺度を定めるものである。例えば、学習回数ベクトルＫの各要素の値が増加するにつれ、行動価値テーブルが更新される際の行動価値の値の増減は小さいものとなる。
【００６４】
ステップＳ１０４において、制御ユニット１１は、行動価値テーブル初期化部１１８の制御の下、行動価値テーブルにおける行動価値の値Ｑを初期化する。当該初期化は、例えば記憶ユニット１２に記憶される初期化データに基づいていてもよい。
【００６５】
ステップＳ１０５において、制御ユニット１１は、行動価値テーブル初期化部１１８の制御の下、記憶ユニット１２の所定の設定記憶領域にアクセスして、行動価値テーブルの初期化フラグｆｌａｇにＴｒｕｅを書き込む。当該行動価値テーブルの初期化フラグｆｌａｇがＴｒｕｅであることは、行動価値テーブルが既に初期化されていることを示す。
【００６６】
（４）情報出力装置１が通行者を検知して通行者の状態を判定する動作
以下では、情報出力装置１の動作を、図７および図８に示すフロー図を用いて、図９から図１４に示すログテーブルの例を参照しながら説明する。
【００６７】
図７は、図２に示した情報出力装置１の制御ユニット１１によって実行される計測値取得処理の一例を示すフロー図である。  
先ず、ステップＳ２０１において、制御ユニット１１は、頭状態ログテーブルＨと体状態ログテーブルＢをそれぞれ初期化する。
【００６８】
次に、ステップＳ２０２において、制御ユニット１１は、現在時刻ｔ´を取得し、記憶ユニット１２の所定の領域に記憶させる。
【００６９】
ステップＳ２０３において、制御ユニット１１は、顔向きデータ取得部１１１の制御の下、顔認識センサ２から、１以上の通行者に係る顔向きデータとして、例えば、計測値ｔ，ｍ，ｘ，ｙ，ｗ，θｈを取得する。計測値ｍは、同時刻に複数の通行者に係る顔向きデータが取得される場合に、ｍの値によって計測値ｘ，ｙ，ｗ，θｈのパラメータセットを通行者別に区分けして記憶させておくための指標であり、以下でも同様である。
【００７０】
ステップＳ２０４において、制御ユニット１１は、顔向きデータ取得部１１１の制御の下、取得される計測値ｔ，ｍ，ｘ，ｙ，ｗ，θｈを、頭状態ログテーブルＨ記憶部１２１に記憶される頭状態ログテーブルＨに行を追加して書き込む。なお、図９に、頭状態ログテーブルＨ記憶部１２１に記憶される頭状態ログテーブルＨの一例を示している。
【００７１】
一方、ステップＳ２０５において、制御ユニット１１は、距離データ取得部１１２の制御の下、距離測定センサ３から、情報出力装置１と１以上の通行者との間の距離データとして、例えば、計測値ｔ，ｍ，Ｒｐ，θｐを取得する。
【００７２】
ステップＳ２０６において、制御ユニット１１は、距離データ取得部１１２の制御の下、取得される計測値ｔ，ｍ，Ｒｐ，θｐを、体状態ログテーブルＢ記憶部１２２に記憶される体状態ログテーブルＢに行を追加して書き込む。なお、図１０に、体状態ログテーブルＢ記憶部１２２に記憶される体状態ログテーブルＢの一例を示している。
【００７３】
ステップＳ２０３およびステップＳ２０４における処理と、ステップＳ２０５およびステップＳ２０６における処理は、定期的にまたは不定期に継続して実行される。
【００７４】
ステップＳ２０７において、制御ユニット１１は、時刻ｔ´から現在時刻ｔまでに経過した時間であるｔ−ｔ´が、所定の時間Ｔより大きいか否かを判定する。経過時間ｔ−ｔ´がＴを越えていない場合、ステップＳ２０３およびステップＳ２０５の計測値取得処理が継続される。経過時間ｔ−ｔ´がＴを越えている場合には、図８に示す、通行者別に顔向きデータと距離データとを統合した、通行者別の１以上の対象別ログテーブルを生成し、当該対象別ログテーブルに基づいて通行者の状態を判定する処理が実行される。なお、人間が視覚刺激を認知し反応する時間Ｔａは約２００ミリ秒であると知られているが、上記所定の時間Ｔとして、例えば、Ｔａより長い時間である０．５秒程度の時間を用いる。
【００７５】
図８は、図２に示した情報出力装置１の制御ユニット１１によって実行されるユーザ状態判定処理の一例を示すフロー図である。  
先ず、ステップＳ３０１において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ記憶部１２１に記憶される頭状態ログテーブルＨを読み出し、読み出された頭状態ログテーブルＨにｉｄＨ列を付与する。当該ｉｄＨ列の付与では、計測値ｔ，ｍ，ｘ，ｙ，ｗ，θｈの各パラメータセットに対して、同一の通行者のパラメータセットには同一のｉｄＨ値が付与され、異なる通行者のパラメータセットには異なるｉｄＨ値が付与される。
【００７６】
ステップＳ３０２において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、体状態ログテーブルＢ記憶部１２２に記憶される体状態ログテーブルＢを読み出し、読み出された体状態ログテーブルＢにｉｄＢ列を付与する。当該ｉｄＢ列の付与では、計測値ｔ，ｍ，Ｒｐ，θｐの各パラメータセットに対して、同一の通行者のパラメータセットには同一のｉｄＢ値が付与され、異なる通行者のパラメータセットには異なるｉｄＢ値が付与される。なお、ステップＳ３０１における処理と、ステップＳ３０２における処理は、任意の順序で実行してよい。
【００７７】
次に、ステップＳ３０３において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、ｉｄＨ列が付与された頭状態ログテーブルＨと、ｉｄＢ列が付与された体状態ログテーブルＢとの間でマッチングを実行し、同一の通行者を示しているｉｄＨ値とｉｄＢ値との対応付けをする。
【００７８】
ステップＳ３０４において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨにｉｄＨ列が付与された頭状態ログテーブルＨ´と、体状態ログテーブルＢにｉｄＢ列が付与された体状態ログテーブルＢ´とにおいて、ｉｄＨ値とｉｄＢ値との上記対応付けに基づいて、ｉｄＨ値およびｉｄＢ値と置き換えて、同一の通行者のパラメータセットには同一の値のｉｄＭ値を付与し、異なる通行者のパラメータセットには異なる値のｉｄＭ値を付与し、頭状態ログテーブルＨ´´と体状態ログテーブルＢ´´とを生成する。その後、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ´´と体状態ログテーブルＢ´´とを組み合わせて、統合ログテーブルＭを生成する。
【００７９】
図１１に、図９に示した頭状態ログテーブルＨから生成された頭状態ログテーブルＨ´´の一例を示しており、図１２に、図１０に示した体状態ログテーブルＢから生成された体状態ログテーブルＢ´´の一例を示している。なお、図１１に示す頭状態ログテーブルＨ´´にはＲｐ列とθｐ列が値をすべてＮＡで埋めて追加されており、図１２に示す体状態ログテーブルＢ´´にはｘ列、ｙ列、ｗ列、θｈ列が値をすべてＮＡで埋めて追加されている。また、図１３に、図１１に示した頭状態ログテーブルＨ´´と図１２に示した体状態ログテーブルＢ´´とを組み合わせて生成された統合ログテーブルＭの一例を示している。
【００８０】
ステップＳ３０５において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、統合ログテーブルＭをｉｄＭ値を基準に分割して、通行者別に顔向きデータと距離データとを統合した、通行者別の１以上の対象別ログテーブルＭ１，Ｍ２，・・・を生成し、生成された１以上の対象別ログテーブルＭ１，Ｍ２，・・・を対象別ログテーブル記憶部１２３に記憶させる。なお、図１４に、図１３に示した統合ログテーブルＭから生成された対象別ログテーブルＭ１，Ｍ２の一例を示している。
【００８１】
最後に、ステップＳ３０６において、制御ユニット１１は、注視判定部１１４の制御の下、対象別ログテーブル記憶部１２３に記憶される１以上の対象別ログテーブルＭ１，Ｍ２，・・・を読み出し、読み出された１以上の対象別ログテーブルＭ１，Ｍ２，・・・に記憶される顔向きデータに基づいて、ｉｄＭ値に対応する通行者毎に、当該通行者の顔が情報出力装置１を含む所定の範囲を向いている時間が第１の時間以上であるか否かを判定する注視判定処理を実行する。また、制御ユニット１１は、近接判定部１１５の制御の下、対象別ログテーブル記憶部１２３に記憶される１以上の対象別ログテーブルＭ１，Ｍ２，・・・を読み出し、読み出された１以上の対象別ログテーブルＭ１，Ｍ２，・・・に記憶される距離データに基づいて、ｉｄＭ値に対応する通行者毎に、情報出力装置１から所定の距離内に当該通行者が存在する時間が第２の時間以上であるか否かを判定する近接判定処理を実行する。
【００８２】
（５）注視判定処理および近接判定処理の具体例
上述したように、通行者の状態は、注視判定処理と近接判定処理によって２種類の観点で判定される。すなわち、通行者の状態“ｓｉｄ”は、近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”と、注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”とにより次式で表される。
【数１】
2019128557.tif 000003
【００８３】
図１５は、図８のステップＳ３０６において実行される近接判定処理の一例を示す図である。  
上述したように、当該近接判定処理は、距離測定センサ３から取得され通行者別に対象別ログテーブルＭ１，Ｍ２，・・・のいずれかに記憶される距離データに基づいて、ｉｄＭ値に対応する通行者毎に、情報出力装置１から所定の距離内に当該通行者が存在する時間が第２の時間以上であるか否かを判定する処理である。
【００８４】
上記所定の距離ＲＢとして、例えば、ロボットと人間における個人的距離と社会的距離の境目として知られている１００ｃｍを用いてもよい。また、上記第２の時間Ｔ２として、例えば、計測時間の半分の時間を用いてもよい。なお、上記所定の距離ＲＢおよび上記時間Ｔ２は、任意の値であってもよい。
【００８５】
上記近接判定処理は、例えば、情報出力装置１のディスプレイ４からの距離ＲＢ以内に通行者が時間Ｔ２以上の時間いる場合にTrue、そうではない場合にFalseを返す、次式で表される関数を用いて実行される。当該関数は、距離測定センサ３から取得される情報出力装置１と通行者との間の距離の計測値Ｒｐに関する条件を規定する関数である。なお、次式では、時間Ｔ２が、計測時間の基準とする時間の半分の時間である（ｔ−ｔ´）／２である場合を示している。また、次式では、積分記号は台形則などの数値積分を表すものであり、 欠損値は値として無視するものとする。Ｒｐ（ｔ）がすべて欠損値ならば計算不能としてotherwiseの条件が適用される。以下でも同様である。
【数２】
2019128557.tif 000004
【００８６】
なお、上記の式中のＵは単位ステップ関数であり、以下のように表される。
【数３】
2019128557.tif 000005
【００８７】
図１６は、図８のステップＳ３０６において実行される注視判定処理の一例を示す図である。  
上述したように、当該注視判定処理は、顔認識センサ２から取得され通行者別に対象別ログテーブルＭ１，Ｍ２，・・・のいずれかに記憶される顔向きデータに基づいて、ｉｄＭ値に対応する通行者毎に、当該通行者の顔が情報出力装置１を含む所定の範囲を向いている時間が第１の時間以上であるか否かを判定する処理である。
【００８８】
上記通行者の顔が情報出力装置１を含む所定の範囲を向いているか否かを判定する基準として、本実施形態では例えば角度を用いる。人間が頭を動かさずに刺激を捉えることができる視野角２θａは、２２．０度であると知られている。したがって、例えば、注視判定の上記基準角度として、視野角２θａの２２．０度を用いてもよい。また、上記第１の時間Ｔ１として、例えば、計測時間の半分の時間を用いてもよい。なお、上記基準角度および上記時間Ｔ１は、任意の値であってもよい。
【００８９】
上記注視判定処理は、例えば、情報出力装置１のディスプレイ４の中心側を通行者が時間Ｔ１以上の時間向いている場合にTrue、そうでない場合にFalseを返す、次式で表される関数を用いて実行される。当該関数は、顔認識センサ２から取得される上記で説明した計測値ｘ，ｗ，θｈに関する条件を規定する関数である。なお、次式では、時間Ｔ１が、計測時間の基準とする時間の半分の時間である（ｔ−ｔ´）／２である場合を示している。なお、次式では、θｈ，θａ，θｐ（ｔ）はラジアンを単位として表している。
【数４】
2019128557.tif 000006
【００９０】
なお、θｐ（ｔ）は以下のように表される。
【数５】
2019128557.tif 000007
【００９１】
なお、顔認識センサ２からの計測値ｘ，ｗ，θｈから、計測値ｘ，ｗにより上記の式で算出されたθｐを用いて注視判定処理を実行する代わりに、距離測定センサ３からの計測値θｐをそのまま用いて上記注視判定処理を実行してもよい。
【００９２】
（６）情報出力装置１が出力制御する動作
図１７は、図２に示した情報出力装置１の制御ユニット１１によって実行される出力制御処理の一例を示すフロー図である。
【００９３】
先ず、ステップＳ４０１において、制御ユニット１１は、出力制御部１１６の制御の下、記憶ユニット１２の所定の設定領域にアクセスして、０から１の範囲で乱数を計算して書き込む。
【００９４】
次に、ステップＳ４０２において、制御ユニット１１は、出力制御部１１６の制御の下、書き込まれた乱数がεより小さいか否かを判定する。
【００９５】
ステップＳ４０２において書き込まれた乱数がεより小さくはないと判定された場合、ステップＳ４０３において、制御ユニット１１は、出力制御部１１６の制御の下、記憶ユニット１２の所定の設定領域にアクセスして、０から１の範囲で乱数を計算して書き込む。
【００９６】
ステップＳ４０４において、制御ユニット１１は、出力制御部１１６の制御の下、書き込まれた乱数がεより小さいか否かを判定する。
【００９７】
ステップＳ４０４において書き込まれた乱数がεより小さくはないと判定された場合、ステップＳ４０５において、制御ユニット１１は、出力制御部１１６の制御の下、行動価値テーブル記憶部１２４に記憶される行動価値テーブルを参照し、図８のステップＳ３０６における注視判定処理および近接判定処理の判定結果に対応付けられた上記１以上の通行者と複数種類の動作の組み合わせの中から、行動価値の値Ｑが最も高い動作に対応する通行者のｉｄＭ値と動作ａｉとの組み合わせを選択する。
【００９８】
ステップＳ４０４において書き込まれた乱数がεより小さいと判定された場合、制御ユニット１１は、出力制御部１１６の制御の下、図８のステップＳ３０６における注視判定処理および近接判定処理の判定結果に対応付けられた上記１以上の通行者と複数種類の動作の組み合わせの中から、ステップＳ４０６において、動作ａｉをランダムに選択し、ステップＳ４０７において、上記１以上の通行者のうち当該選択された動作ａｉの行動価値の値Ｑが最も高い通行者のｉｄＭ値を選択する。
【００９９】
一方、ステップＳ４０２において書き込まれた乱数がεより小さいと判定された場合、ステップＳ４０８において、制御ユニット１１は、出力制御部１１６の制御の下、記憶ユニット１２の所定の設定領域にアクセスして、０から１の範囲で乱数を計算して書き込む。
【０１００】
ステップＳ４０９において、制御ユニット１１は、出力制御部１１６の制御の下、書き込まれた乱数がεより小さいか否かを判定する。
【０１０１】
ステップＳ４０９において書き込まれた乱数がεより小さくはないと判定された場合、制御ユニット１１は、出力制御部１１６の制御の下、図８のステップＳ３０６における注視判定処理および近接判定処理の判定結果に対応付けられた上記１以上の通行者と複数種類の動作の組み合わせの中から、ステップＳ４１０において、通行者のｉｄＭ値をランダムに選択し、ステップＳ４１１において、上記複数種類の動作のうち当該選択された通行者のｉｄＭ値に対応付けられた行動価値の値Ｑが最も高い動作ａｉを選択する。
【０１０２】
ステップＳ４０９において書き込まれた乱数がεより小さいと判定された場合、制御ユニット１１は、出力制御部１１６の制御の下、図８のステップＳ３０６における注視判定処理および近接判定処理の判定結果に対応付けられた上記１以上の通行者と複数種類の動作の組み合わせの中から、ステップＳ４１２において、動作ａｉをランダムに選択し、ステップＳ４１３において、通行者のｉｄＭ値をランダムに選択する。
【０１０３】
ステップＳ４０５において、ステップＳ４０６およびステップＳ４０７において、ステップＳ４１０およびステップＳ４１１において、あるいは、ステップＳ４１２およびステップＳ４１３において、動作ａｉおよび通行者のｉｄＭ値が選択された後、ステップＳ４１４において、制御ユニット１１は、選択された動作ａｉ、選択されたｉｄＭ値を示す信号、選択されたｉｄＭ値に関する対象別ログテーブルＭｉｄを出力する。これにより、例えば、選択されたｉｄＭ値に関する対象別ログテーブルＭｉｄにおける位置情報等を用いて、選択されたｉｄＭ値に対応する通行者に対して、選択された動作ａｉに対応する画像情報または音声情報を出力することもできる。
【０１０４】
図１８は、当該動作ａｉおよび通行者のｉｄＭ値の選択処理において参照される行動価値テーブルの一例を示す図である。当該行動価値テーブルにおける行動価値の値が、例えば、図６のステップＳ１０４の行動価値テーブル初期化処理において設定される初期値となっている例を示している。なお、図１８に示される行動価値テーブルに記憶される動作ａ１，ａ２，ａ３は、図５で定義した動作ａ１，ａ２，ａ３に一致している。
【０１０５】
行動価値テーブルは、例えば、情報出力装置１が取得する顔向きデータおよび距離データから得られる通行者の計測人数に応じて定められている。図１８の（ａ）は、通行者の計測人数が０の場合に参照される行動価値テーブルの一例を示しており、図１８の（ｂ）は、通行者の計測人数が１の場合に参照される行動価値テーブルの一例を示している。
【０１０６】
例えば図１８の（ａ），（ｂ）に示されているように、行動価値テーブルでは、各々、通行者毎に、当該通行者に対する近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”および注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”の組み合わせの各々に対して、画像情報または音声情報を出力する３種類の動作ａ１，ａ２，ａ３と、当該各動作ａ１，ａ２，ａ３の行動価値の値が記憶されている。
【０１０７】
すなわち、行動価値テーブルは、通行者の人数、着目する通行者のｉｄＭ値、当該通行者に対する近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”、当該通行者に対する注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”、および動作ａｉの種類に応じて、当該動作の行動価値の値Ｑを返すテーブルである。すなわち、行動価値の値Ｑは、Ｑ（ｎ，ｉｄＭ，ｉｓＮｅａｒ（Ｍｉｄ），ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ），ａｉ）で表すことができる。
【０１０８】
ここでは計測人数が０または１の場合の、行動価値の値を初期値で表している行動価値テーブルの例を示したが、例えば、計測人数が２からＮまでのテーブルは、次式によって定まる行動価値の値Ｑを初期値として用いて生成することができる。
【数６】
2019128557.tif 000008
【０１０９】
なお、通行者に対する近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”および注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）の各組合せに対して、対応付けられている各動作ａ１，ａ２，ａ３の行動価値の値を調節することによって、通行者の近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”および注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）の各組合せに応じて実行されやすい動作を定めることができる。
【０１１０】
例えば、近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がFalse、および、注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がFalseの組み合わせに対しては、誘導を実行しない動作ａ３が選択される確率を高くするために、任意の通行者に対して当該動作ａ３の行動価値の値を高い値に設定していてもよい。
【０１１１】
また、近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がFalse、および、注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がTrueである組み合わせに対しては、誘導を実行する動作ａ２が選択される確率を高くするために、任意の通行者に対して当該動作ａ２の行動価値の値を高い値に設定していてもよい。
【０１１２】
さらに、近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がTrue、および、注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がTrueまたはFalseである組み合わせに対しては、誘導を実行する動作ではあるが、出力される音声に通行者の注意を引くための効果音が含まれずゆえに音量が小さいものとなっている動作ａ１が選択される確率を高くするために、任意の通行者に対して当該動作ａ１の行動価値の値を高い値に設定していてもよい。
【０１１３】
なお、上述した行動価値の値の設定は一例に過ぎず、例えば、近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がTrue、および、注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がTrueである組み合わせに対してのみ、誘導を実行する動作ａ１，ａ２が選択される確率が高くなるように、各動作の行動価値の値の設定をしてもよい。さらに、動作ａ１，ａ２，ａ３は、図５において、いずれも画像情報を出力するものとして定義したが、例えば、画像情報と音声情報のいずれも出力しないような動作であってもよい。
【０１１４】
（７）情報出力装置１が行動価値テーブルを更新する動作
図１９は、図２に示した情報出力装置１の制御ユニット１１によって実行される行動価値テーブル更新処理の一例を示すフロー図である。
【０１１５】
先ず、ステップＳ５０１において、制御ユニット１１は、図１７のステップＳ４１４における処理によって動作ａｉに対応する画像情報または音声情報が例えば出力された際の通行者の人数ｎが０より大きいか否かを判定する。
【０１１６】
通行者の人数ｎが０より大きいと判定された場合、ステップＳ５０２において、制御ユニット１１は、図１７に示した情報出力装置１の出力制御処理の際に使用したｉｄＭ値のセットを、ｉｄＭ´値のセットとして記憶ユニット１２の所定の領域に記憶させる。
【０１１７】
また、ステップＳ５０３において、制御ユニット１１は、図１７に示した情報出力装置１の出力制御処理の際に使用した通行者の人数ｎの値を、ｎ´の値として記憶ユニット１２の所定の領域に記憶させる。
【０１１８】
次に、ステップＳ５０４において、制御ユニット１１は、所定の時間、計測値取得処理を停止する。当該所定の時間は、例えば情報出力装置１によって出力される画像情報または音声情報の再生時間に対応するものであってもよい。例えば、当該再生時間が１０秒以上の時間の場合には当該所定の時間を１０秒間とすることによって、情報出力装置１が上記計測値取得処理の停止後に次に計測値取得処理を開始する時刻が、上記画像情報または音声情報の出力期間中の時刻にあたるようにしてもよい。なお、当該所定の時間は、情報出力装置１が上記計測値取得処理の停止後に次に計測値取得処理を開始する時刻が、上記画像情報または音声情報の再生時間が終わっている時刻にあたるようにしてもよい。
【０１１９】
ステップＳ５０５において、制御ユニット１１は、顔向きデータ取得部１１１および距離データ取得部１１２の制御の下、通行者に係る顔向きデータおよび距離データを経時的に取得する。当該取得処理は、例えば、図７のステップＳ２０７における処理と同一の所定の時間Ｔを基準に実行してもよい、あるいは、図７のステップＳ２０７における処理と異なる時間を基準に実行してもよい。なお、当該取得処理は、上記画像情報または音声情報の出力期間中または出力期間後に実行される。
【０１２０】
次に、ステップＳ５０６において、制御ユニット１１は、図８のステップＳ３０１からステップＳ３０６における処理と同様の処理を実行する。すなわち、制御ユニット１１は、注視判定部１１４の制御の下、ステップＳ５０５における処理において取得された顔向きデータに基づいて、新たに付与されるｉｄＭ値に対応する通行者毎に、当該通行者の顔が情報出力装置１を含む所定の範囲を向いている時間が第１の時間以上であるか否かを判定する。また、制御ユニット１１は、近接判定部１１５の制御の下、ステップＳ５０５における処理において取得された距離データに基づいて、ｉｄＭ値に対応する通行者毎に、情報出力装置１から所定の距離内に当該通行者が存在する時間が第２の時間以上であるか否かを判定する。
【０１２１】
ステップＳ５０７において、制御ユニット１１は、呼び掛け成否判定部１１７の制御の下、ステップＳ５０６における注視判定処理および近接判定処理により得られる判定結果に基づいて、上記画像情報または音声情報の出力による通行者への呼び掛けに応じて通行者が装置を利用したか否かを判定する。
【０１２２】
上記画像情報または音声情報の出力による通行者への呼び掛けに応じて通行者が装置を利用したか否かは、次の判定式によって判定される。
【数７】
2019128557.tif 000009
【０１２３】
すなわち、少なくとも１の通行者に対して、当該通行者の顔が情報出力装置１を含む所定の範囲を向いている時間が第１の時間以上であり、かつ、情報出力装置１から所定の距離内に当該通行者が存在する時間が第２の時間以上であると判定された場合に、上記画像情報または音声情報の出力による通行者への呼び掛けが成功して通行者が装置を利用したと判定される。なお、ステップＳ５０６およびステップＳ５０７の上記説明では、当該注視判定処理および近接判定処理において、図８のステップＳ３０６において基準とした第１の時間および第２の時間と同一の時間を基準にして処理を実行するものとして説明したが、図８のステップＳ３０６において基準とした第１の時間および第２の時間と各々異なる時間を基準にして処理を実行するものとしてもよい。
【０１２４】
ステップＳ５０７において、画像情報または音声情報の出力による通行者への呼び掛けが成功して通行者が装置を利用したと判定された場合、ステップＳ５０８において、制御ユニット１１は、行動価値テーブル更新部１１９の制御の下、実行された動作ａｉの行動価値の値Ｑを増加させる。
【０１２５】
一方、ステップＳ５０７において、画像情報または音声情報の出力による通行者への呼び掛けが成功せずに通行者が装置を利用しなかったと判定された場合は、ステップＳ５０９において、制御ユニット１１は、行動価値テーブル更新部１１９の制御の下、実行された動作ａｉの行動価値の値Ｑを減少させる。
【０１２６】
なお、ステップＳ５０８およびステップＳ５０９における行動価値の値Ｑを増減させる処理は、例えば、次の漸化式にしたがって実行される。
【数８】
2019128557.tif 000010
【０１２７】
すなわち、通行者への呼び掛けが成功したと判定された場合には、上記出力制御処理の際の通行者の人数ｎに対応する行動価値テーブルにおいて、通行者の各々に対して、当該通行者に対する注視判定処理および近接判定処理における判定結果に対応付けられた、実行された動作ａｉの行動価値の値Ｑが増加される。
【０１２８】
一方、通行者への呼び掛けが失敗したと判定された場合には、上記出力制御処理の際の通行者の人数ｎに対応する行動価値テーブルにおいて、通行者の各々に対して、当該通行者に対する注視判定処理および近接判定処理における判定結果に対応付けられた、実行された動作ａｉの行動価値の値Ｑが減少される。
【０１２９】
なお、上記漸化式は、通行者の数ｎ´のときに呼び掛けした際に、当該呼び掛けに応じて利用した割合（利用回数/呼びかけ回数）という意味がある。
【０１３０】
最後に、ステップＳ５１０において、制御ユニット１１は、記憶ユニット１２の所定の設定記憶領域にアクセスして、学習回数ベクトルＫの要素Ｋｎ´の値を１インクリメントする。
【０１３１】
（８）統合ログテーブル生成処理の具体例
ここでは、図８のステップＳ３０１からステップＳ３０４において実行される、頭状態ログテーブルＨと体状態ログテーブルＢとを通行者情報を追加した上で組み合わせて、統合ログテーブルＭを生成させる処理について詳しく説明する。
【０１３２】
図２０は、情報出力装置１において取得される顔向きデータおよび距離データの計測値の各パラメータセットに、最近傍法を利用して通行者情報を追加するトラッキング処理の概念図である。各パラメータセットについて、時間的に隣接する各パラメータセットとの距離を算出し、算出された距離が最も小さいパラメータセットを同一の通行者に係るパラメータセットであると判定する。ただし、距離が最も近いパラメータセットであっても、当該距離が所定の値より大きい場合には、異なる通行者に係るパラメータセットであると判定するようにする。
【０１３３】
本実施形態では、頭状態ログテーブルＨに記憶される１以上の通行者に係る顔向きデータにおいて、最近傍法を利用して通行者情報を追加するトラッキング処理を実行し、同一の通行者のパラメータセットには同一のｉｄＨ値が付与されるようにし、異なる通行者のパラメータセットには異なるｉｄＨ値が付与されるようにする。また、体状態ログテーブルＢにおいても同様の処理を実行し、各パラメータセットにｉｄＢ値が付与される。
【０１３４】
図２１は、図８のステップＳ３０１において実行される、頭状態ログテーブルＨの各パラメータセットに通行者情報であるｉｄＨ値を付与して頭状態ログテーブルＨ´を生成させる処理の一例、ならびに、図８のステップＳ３０２において実行される、体状態ログテーブルＢの各パラメータセットに通行者情報であるｉｄＢ値を付与して体状態ログテーブルＢ´を生成させる処理の一例を示すフロー図である。
【０１３５】
以下では、例として、頭状態ログテーブルＨから頭状態ログテーブルＨ´を生成する例について詳細に説明する。  
当該頭状態ログテーブルＨ´および体状態ログテーブルＢ´の生成処理は、図２０に図示したトラッキング処理によって実行される。
【０１３６】
ステップＳ６０１において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ記憶部１２１に記憶される頭状態ログテーブルＨを読み出す。
【０１３７】
ステップＳ６０２において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、読み出された頭状態ログテーブルＨに計測開始時刻とともに記憶されているパラメータセットにｉｄＨ値を付与する。なお、計測開始時刻とともに記憶されているパラメータセットが複数ある場合には、各パラメータセットに対して各々異なるｉｄＨ値を付与する。
【０１３８】
ステップＳ６０３において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、ｉｄＨ値の付与処理の基準時刻として、先ず計測開始時刻を選択する。
【０１３９】
ステップＳ６０４において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、ｉｄＨ値の付与処理の基準ｉｄＨ値として、上記選択された計測開始時刻とともに記憶されているパラメータセットに各々付与されたｉｄＨ値の中から開始ｉｄＨ値を選択する。ここでは、例として、開始ｉｄＨ値として１が選択されたとして説明する。
【０１４０】
次に、ステップＳ６０５において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨに記憶されている、上記基準時刻より後の時間的に隣接するパラメータセット（ｘｔｒａｃｋ，ｙｔｒａｃｋ，ｗｔｒａｃｋ）のうちに、上記基準時刻とともに記憶され基準ｉｄＨ値である１が付与されているパラメータセット（ｘｒｏｗ，ｙｒｏｗ，ｗｒｏｗ）との距離が、所定の空間距離内のものがあるか否かを判定する。なお、当該所定の空間距離は、例えば、固定の値でも、パラメータセット間の時間差に比例するものであってもよい。なお、上記空間距離は、次式を用いて算出される。
【数９】
2019128557.tif 000011
【０１４１】
ステップＳ６０５において所定の空間距離内のパラメータセットがあると判定された場合、ステップＳ６０６において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、当該所定の空間距離内のパラメータセットのうち空間距離が最も小さいパラメータセットに、ｉｄＨ値として基準ｉｄＨ値と同一の値である１を付与する。
【０１４２】
ステップＳ６０５において所定の空間距離内のパラメータセットがないと判定された場合、あるいは、ステップＳ６０６における処理の後に、ステップＳ６０７において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、基準時刻とともに記憶されている各パラメータセットに付与されているすべてのｉｄＨ値を基準として、ステップＳ６０５およびステップＳ６０６の処理が完了したか否かが判定される。基準時刻とともに記憶されている各パラメータセットに付与されているすべてのｉｄＨ値を基準としてステップＳ６０５およびステップＳ６０６の処理が完了していないと判定された場合、ステップＳ６０８において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、基準ｉｄＨ値を、基準時刻とともに記憶されているパラメータセットに付与されているｉｄＨ値の範囲の次のｉｄＨ値にインクリメントし、ステップＳ６０５からの処理が繰り返される。
【０１４３】
基準時刻とともに記憶されている各パラメータセットに付与されているすべてのｉｄＨ値を基準としてステップＳ６０５およびステップＳ６０６の処理が完了したと判定された場合、ステップＳ６０９において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、上記基準時刻より後の時間的に隣接するパラメータセットのうち未だｉｄＨ値が付与されていないパラメータセットに対して、いずれかのパラメータセットに既に付与されているｉｄＨ値とは異なる新たなｉｄＨ値を付与する。
【０１４４】
ステップＳ６１０において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、計測されたすべての時刻を基準時刻としてステップＳ６０４からステップＳ６０９までの処理が完了したか否かを判定する。計測されたすべての時刻を基準時刻としてステップＳ６０４からステップＳ６０９までの処理が完了していないと判定された場合は、ステップＳ６１１において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、基準時刻をインクリメントし、ステップＳ６０４からステップＳ６０９までの処理が繰り返される。
【０１４５】
計測されたすべての時刻を基準時刻としてステップＳ６０４からステップＳ６０９までの処理が完了したと判定された場合、ステップＳ６１２において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨに記憶されるすべてのパラメータセットにｉｄＨ値が付与されたログテーブルＨ´を出力し、記憶ユニット１２の所定の領域に記憶させる。
【０１４６】
上記では頭状態ログテーブルＨから頭状態ログテーブルＨ´を生成する例について詳細に説明したが、体状態ログテーブルＢから体状態ログテーブルＢ´も同様の方法で生成される。
【０１４７】
ただし、体状態ログテーブルＢ´を生成する場合には、ステップＳ６０５における空間距離は、パラメータセット（Ｒｐ，θｐ）を用いて、
【数１０】
2019128557.tif 000012
によって算出される。
【０１４８】
図２２は、図８のステップＳ３０３において実行される、同一の通行者を示しているｉｄＨ値とｉｄＢ値とを対応付けるマッチリストを生成させる処理の一例を示すフロー図である。
【０１４９】
ステップＳ７０１において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、記憶ユニット１２に記憶される頭状態ログテーブルＨ´と体状態ログテーブルＢ´とを読み出す。
【０１５０】
ステップＳ７０２において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ´に記憶される、同一のｉｄＨ値が付与されたパラメータセットの時系列データと、体状態ログテーブルＢ´に記憶される、同一のｉｄＢ値が付与されたパラメータセットの時系列データとの間のＤＴＷ（Dynamic Time Warping）距離を、ｉｄＨ値とｉｄＢ値との各組合せに対して算出する。
【０１５１】
ステップＳ７０３において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、算出されたＤＴＷ距離のうち最も小さいものを選択する。
【０１５２】
ステップＳ７０４において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、選択されたＤＴＷ距離の値が所定の値より小さいか否かを判定する。
【０１５３】
選択されたＤＴＷ距離の値が所定の値より小さいと判定された場合、ステップＳ７０５において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、選択されたＤＴＷ距離に対応するｉｄＨ値およびｉｄＢ値を対応付ける。
【０１５４】
ステップＳ７０６において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、ｉｄＨ値とｉｄＢ値の両方において、上記対応付けがされていないものがあるか否かを判定する。
【０１５５】
ｉｄＨ値とｉｄＢ値の両方において、上記対応付けがされていないものがあると判定された場合、ステップＳ７０７において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、既に対応付けがされたｉｄＨ値およびｉｄＢ値を除くｉｄＨ値とｉｄＢ値との各組合せに対して算出されたＤＴＷ距離のうち最も小さいものを選択する。選択されたＤＴＷ距離について、ステップＳ７０４からの処理が繰り返される。
【０１５６】
ここで、ステップＳ７０４において、最も小さいものとして選択されたＤＴＷ距離の値が所定の値より大きいと判定された場合、あるいは、ステップＳ７０６において、すべてのｉｄＨ値またはすべてのｉｄＢ値について上記対応付けがされていると判定された場合に、ｉｄＨ値とｉｄＢ値との間のマッチングは完了し、ステップＳ７０８において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、ｉｄＨ値とｉｄＢ値との対応付けを示すマッチリストを出力し、記憶ユニット１２の所定の領域に記憶させる。
【０１５７】
図２３は、図８のステップＳ３０４において実行される、頭状態ログテーブルＨ´と体状態ログテーブルＢ´とをマッチリストを利用して組み合わせて、統合ログテーブルＭを生成させる処理の一例を示すフロー図である。
【０１５８】
ステップＳ８０１において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、記憶ユニット１２に記憶される頭状態ログテーブルＨ´と体状態ログテーブルＢ´とマッチリストとを読み出す。
【０１５９】
ステップＳ８０２において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、読み出された頭状態ログテーブルＨ´および体状態ログテーブルＢ´を各々複製した、頭状態ログテーブルＨ´´および体状態ログテーブルＢ´´を生成する。
【０１６０】
ステップＳ８０３において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、マッチリストからｉｄＨ値とｉｄＢ値との対応付けの１つを選択する。
【０１６１】
ステップＳ８０４において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ´´に記憶されるパラメータセットのうち、選択された対応付けに関するｉｄＨ値が付与されたパラメータセットと、体状態ログテーブルＢ´´に記憶されるパラメータセットのうち、選択された対応付けに関するｉｄＢ値が付与されたパラメータセットとに、いずれかのパラメータセットに既に付与されているｉｄＭ値とは異なる新たなｉｄＭ値を付与する。
【０１６２】
ステップＳ８０５において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、マッチリストにおけるｉｄＨ値とｉｄＢ値とのすべての対応付けについてステップＳ８０４の処理が完了したか否かを判定する。ｉｄＨ値とｉｄＢ値とのすべての対応付けについてステップＳ８０４の処理が完了していないと判定された場合、ステップＳ８０６において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、マッチリストから未処理のｉｄＨ値とｉｄＢ値との対応付けの１つを選択する。その後、ステップＳ８０４からの処理が繰り返される。
【０１６３】
ステップＳ８０５において、ｉｄＨ値とｉｄＢ値とのすべての対応付けについてステップＳ８０４の処理が完了したと判定された場合、ステップＳ８０７において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ´´においてｉｄＨ列を削除し、体状態ログテーブルＢ´´においてｉｄＢ列を削除する。
【０１６４】
ステップＳ８０８において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ´´において、Ｒｐ列とθｐ列を、値をすべてＮＡで埋めて追加する。なお、当該処理後の頭状態ログテーブルＨ´´は、図１１に示した頭状態ログテーブルＨ´´の例に対応する。一方、ステップＳ８０９において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、体状態ログテーブルＢ´´において、ｘ列、ｙ列、ｗ列、θｈ列を、値をすべてＮＡで埋めて追加する。なお、当該処理後の体状態ログテーブルＢ´´は、図１２に示した体状態ログテーブルＢ´´の例に対応する。なお、ステップＳ８０８とステップＳ８０９との処理の順序は問わない。
【０１６５】
ステップＳ８１０において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ´´と体状態ログテーブルＢ´´とを組み合わせて統合ログテーブルＭを生成する。
【０１６６】
ステップＳ８１１において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、統合ログテーブルＭからｍ列を削除する。
【０１６７】
ステップＳ８１２において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、統合ログテーブルＭを出力し、記憶ユニット１２の所定の領域に記憶させる。なお、当該統合ログテーブルＭは、図１３に示した統合ログテーブルＭの例に対応する。
【０１６８】
（効果）
以上詳述したように、この発明の第１の実施形態では、以下のような効果が奏せられる。  
（１）顔向きデータ取得部１１１の制御の下、顔認識センサ２から、１以上の通行者に係る顔向きデータが経時的に取得され、頭状態ログテーブルＨ記憶部１２１に記憶される頭状態ログテーブルＨに書き込まれる。一方、距離データ取得部１１２の制御の下、距離測定センサ３から、情報出力装置１と１以上の通行者との間の距離データが取得され、体状態ログテーブルＢ記憶部１２２に記憶される体状態ログテーブルＢに書き込まれる。その後、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨと体状態ログテーブルＢとから、通行者別に顔向きデータと距離データとを統合した、通行者別の１以上の対象別ログテーブルが生成される。その後、注視判定部１１４の制御の下、通行者別の１以上の対象別ログテーブルに基づいて、通行者毎に、当該通行者の顔が情報出力装置１を含む所定の範囲を向いている時間が第１の時間以上であるか否かが判定される注視判定処理が実行される。また、近接判定部１１５の制御の下、通行者別の１以上の対象別ログテーブルに基づいて、通行者毎に、情報出力装置１から所定の距離内に当該通行者が存在する時間が第２の時間以上であるか否かが判定される近接判定処理が実行される。その後、出力制御部１１６の制御の下、行動価値テーブルが参照され、通行者毎の注視判定処理および近接判定処理の判定結果に基づいて、情報出力装置１が画像情報または音声情報を出力することにより実行する動作ａｉと、当該動作ａｉの対象とする通行者のｉｄＭ値とが選択され、選択された動作ａｉ、選択されたｉｄＭ値を示す信号、選択されたｉｄＭ値に関する対象別ログテーブルＭｉｄが出力される。
【０１６９】
顔向きは視線に方向がおおよそ一致するものであり、それゆえ通行者の顔向きは、情報出力装置１と通行者との間の距離と同様に、通行者が情報出力装置１に興味を示しているか否かを判断するために有用である。したがって、上述したように情報出力装置１と通行者との間の距離に加えて通行者の顔向きを基準として用いることにより、例えば情報出力装置１に対して確かに興味を示している通行者を対象として、画像情報または音声情報を出力することが可能となる。
【０１７０】
また、上記選択されたｉｄＭ値を示す信号、選択されたｉｄＭ値に関する対象別ログテーブルＭｉｄを利用して、例えば、ｉｄＭ値が選択された通行者の方向にディスプレイ４の正面が向くようにディスプレイ４の角度を調節して画像情報を出力したり、ｉｄＭ値が選択された通行者の方向にスピーカ５の正面が向くようにスピーカ５の向きを調節して音声情報を出力したりするようにしてもよい。このようにすると、ｉｄＭ値が選択された通行者が画像情報または音声情報の提供をより一層受けやすくなり、当該画像情報または音声情報の出力による通行者の呼び掛けが成功する確率が高くなる。
【０１７１】
（２）呼び掛け成否判定部１１７の制御の下、上記選択された動作ａｉに対応する画像情報または音声情報の出力期間中または出力期間後に注視判定処理および近接判定処理により得られる判定結果に基づいて、当該画像情報または音声情報の出力による呼び掛けが成功したか否かが判定される。行動価値テーブル更新部１１９の制御の下、呼び掛け成否判定部１１７における判定結果に基づいて、行動価値テーブルにおける、出力制御部１１６において選択された動作ａｉの行動価値の値が増加または減少される。
【０１７２】
呼び掛けが成功したか否かの判定を画像情報または音声情報の出力期間中に行うと、例えば、当該画像情報または音声情報の出力条件を満たす通行者がいなくなっている場合には、当該画像情報または音声情報の出力を停止して無駄な電力消費を抑えることができる。さらに、呼び掛けが成功したか否かの情報により、画像情報または音声情報の出力条件を見直すこともできるし、オペレータが情報出力装置の設置される環境を変えることを判断することもできる。
【０１７３】
また、行動価値テーブルにおける行動価値の値を上述のように更新すると、行動価値の値を基準に情報出力装置１が実行する動作を選択する場合に、呼び掛けが成功した動作が次回以降に選択されやすくなり、呼び掛けが失敗した動作が次回以降に選択されにくくなる。すなわち、情報出力装置１は、設置された環境に対応できるように自律的に逐次学習する。
【０１７４】
（３）上記出力制御部１１６の制御では、行動価値テーブルが参照される。その結果、ｉｄＭ値に対応する通行者毎の注視判定処理および近接判定処理における判定結果に対応付けられた上記１以上の通行者と複数種類の動作の組み合わせの中から、行動価値の値Ｑが最も高い動作に対応する通行者のｉｄＭ値と動作ａｉとの組み合わせが選択される。あるいは、上記１以上の通行者と複数種類の動作の組み合わせの中から、動作ａｉがランダムに選択され、上記１以上の通行者のうち当該選択された動作ａｉの行動価値の値Ｑが最も高い通行者のｉｄＭ値が選択される。あるいは、上記１以上の通行者と複数種類の動作の組み合わせの中から、通行者のｉｄＭ値がランダムに選択され、上記複数種類の動作のうち当該選択された通行者のｉｄＭ値に対応付けられた行動価値の値Ｑが最も高い動作ａｉが選択される。あるいは、上記１以上の通行者と複数種類の動作の組み合わせの中から、動作ａｉがランダムに選択され、通行者のｉｄＭ値がランダムに選択される。
【０１７５】
このように、行動価値の値の高さという基準で動作を選択すれば、例えば、予め保証されている成功率の確度で、選択された通行者を呼び止められる可能性があるという利点がある。また、複数の通行者の中から少なくとも１人を呼び止められる可能性が最も高くなる手法で、通行者に対して画像情報または音声情報を出力することによる呼び掛けをすることができる。
【０１７６】
また、例えば、行動価値の値を基準にして動作を選択する場合には、初期の段階で行動価値の値が低く設定された動作が殆ど選択されないことが生じ得る。しかしながら、行動価値の値が低く設定された動作のうちにも、実際には当該動作による呼び掛けが成功する確率がそれ程低くないものも含まれ得る。上述したようにランダムに動作を選択するようにすることによって、このような動作による呼び掛けが成功するか否かの情報を取得することができ、当該情報は、例えば、初期の段階の行動価値の値の設定が適切であるか否かを見直すことに利用することができる。
【０１７７】
さらに、動作と通行者とのランダムな選択の中に、動作と通行者との一方をランダムに選択し他方はその中で行動価値の値が最も高くなるような選択を含めるようにして、当該選択に基づいて動作を実行し、当該動作による呼び掛けが成功したか否かの情報を取得すると、例えば、行動価値の値が最も高い動作に対応する通行者と動作との組み合わせを基準にした、通行者を変更することによる行動価値の値の変化への寄与の割合や、動作を変更することによる行動価値の値の変化への寄与の割合等を解析することができる。
【０１７８】
（４）行動価値テーブルにおいて、例えば、近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がFalse、および、注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がFalseの組み合わせに対しては、誘導を実行しない動作ａ３が選択される確率を高くするために、任意の通行者に対して当該動作ａ３の行動価値の値を高い値に設定していてもよい。また、近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がFalse、および、注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がTrueである組み合わせに対しては、誘導を実行する動作ａ２が選択される確率を高くするために、任意の通行者に対して当該動作ａ２の行動価値の値を高い値に設定していてもよい。さらに、近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がTrue、および、注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がTrueまたはFalseである組み合わせに対しては、誘導を実行する動作ではあるが、出力される音声に通行者の注意を引くための効果音が含まれずゆえに音量が小さいものとなっている動作ａ１が選択される確率を高くするために、任意の通行者に対して当該動作ａ１の行動価値の値を高い値に設定していてもよい。
【０１７９】
情報出力装置１に近寄らずに情報出力装置１を眺めているような通行者は、情報出力装置１に興味がある可能性が高いかもしれないが、情報出力するか否かを距離だけを基準に判定していた従来技術では情報出力の対象とすることができなかった。しかしながら、上述した行動価値テーブルの構成により、そのような通行者に対しても、画像情報または音声情報が出力される確率が上がるようにすることができる。
【０１８０】
また、上述したような音量調節を行うことによって、例えば、情報出力装置１の近くにいる通行者に大きな音量の音声情報を出力して不快感を与えてしまうことを防ぐことができる。
【０１８１】
［他の実施形態］
なお、この発明は上記第１の実施形態に限定されるものではない。例えば、上記第１の実施形態では、情報出力装置が画像情報または音声情報を出力する装置である例について説明した。しかしながら、情報出力装置は、対象物を駆動するための駆動制御情報または音声情報を出力する装置であってもよい。例えば、情報出力装置は、ヒト型のロボットであり、対象物としての左手部分の可動部を駆動するための駆動制御情報を出力し、それに応じて左手部分を回転させて通行者にジェスチャを提示することが可能な装置であってもよい。なお、上記対象物は複数あってもよく、駆動制御情報は、複数の対象物のうちの任意のものを駆動するための情報であってもよい。
【０１８２】
図２４は、情報出力装置が通行者の検知に応じて実行可能な、駆動制御情報または音声情報を出力する動作の一例を示す図である。図２４に図示される３種類の動作ａ１，ａ２，ａ３はそれぞれ、図５に関連して図示して説明した動作ａ１，ａ２，ａ３に対応している。
【０１８３】
動作ａ１は、左手部分の可動部を駆動させることにより、手招きをしながら誘導するジェスチャを実行し、スピーカから、「こちらへどうぞ」という呼び掛けの言葉に対応する音声情報を出力する動作である。  
動作ａ２は、左手部分の可動部を駆動させることにより、手招きをしながら誘導するジェスチャを実行し、スピーカから、「こちらに来てください」という呼び掛けの言葉に対応する音声情報と、通行者の注意を引くための効果音に対応する音声情報とを出力する動作である。なお、効果音に対応する音声情報の音量は、例えば、呼び掛けの言葉に対応する上述した２種類の音声情報の音量よりも大きい。  
動作ａ３は、左手部分の可動部を駆動させずに情報出力装置を待機させる動作である。すなわち、駆動制御情報と音声情報のいずれも出力しない動作である。
【０１８４】
図２４の例の場合は、図１８に示した行動価値テーブルは、各々、通行者毎に、当該通行者に対する近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”および注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”の組み合わせの各々に対して、駆動制御情報または音声情報を出力する３種類の動作ａ１，ａ２，ａ３と、当該各動作ａ１，ａ２，ａ３の行動価値の値とを記憶するようにすればよい。なお、行動価値テーブルに記憶される動作ａ１，ａ２，ａ３は、図２４で定義した動作ａ１，ａ２，ａ３に一致させるようにすればよい。
【０１８５】
なお、情報出力装置は、上述したような、画像情報または音声情報を出力する装置や、駆動制御情報または音声情報を出力する装置に限定されない。すなわち、情報出力装置は、画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力可能であり、出力可能なこれらの情報を任意の組み合わせで出力可能な装置であってもよい。この場合、上述したのと同様に動作ａ１，ａ２，ａ３を、出力可能な情報の任意の組み合わせで定義し、行動価値テーブルも上述したのと同様に適宜設計すればよい。なお、例えば、上述したのと同様に、選択された通行者の方向に向かって、可動部を駆動してジェスチャを提示するようにすれば、可動部により実行されるジェスチャを、選択された通行者がより一層受けやすくなり、当該画像情報と音声情報と駆動制御情報とのうちの少なくとも１つの出力による通行者の呼び掛けが成功する確率が高くなる。
【０１８６】
また、顔認識センサおよび距離測定センサから取得される計測データは上記で示したものと異なるものであってもよく、その場合、注視判定処理および近接判定処理も上記で示したのとは異なる関数を用いて実行されるようにしてもよい。また、上記では、頭状態ログテーブルＨおよび体状態ログテーブルＢにｉｄ値を付与する際のトラッキング処理について、最近傍法を利用するものとして説明したが、トラッキング処理はこれに限定されるものではない。さらに、ｉｄＨ値とｉｄＢ値とを対応付けるマッチリストを生成させる処理について、ＤＴＷ距離を利用するものとして説明したが、マッチリストを生成させる処理もこれに限定されるものではない。
【０１８７】
その他、情報出力装置の種類とその構成、ならびに、各ログテーブルや行動価値テーブルの構成や、注視判定処理および近接判定処理の詳細等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【０１８８】
要するにこの発明は、上記第１の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記第１の実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、上記第１の実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【０１８９】
１…情報出力装置、１１…制御ユニット、１１１…顔向きデータ取得部、１１２…距離データ取得部、１１３…対象別ログテーブル生成部、１１４…注視判定部、１１５…近接判定部、１１６…出力制御部、１１７…呼び掛け成否判定部、１１８…行動価値テーブル初期化部、１１９…行動価値テーブル更新部、１２…記憶ユニット、１２１…頭状態ログテーブルＨ記憶部、１２２…体状態ログテーブルＢ記憶部、１２３…対象別ログテーブル記憶部、１２４…行動価値テーブル記憶部、１３…入出力インタフェースユニット、２…顔認識センサ、３…距離測定センサ、４…ディスプレイ、５…スピーカ
【図１】
2019128557.tif 000013
【図２】
2019128557.tif 000014
【図３】
2019128557.tif 000015
【図４】
2019128557.tif 000016
【図５】
2019128557.tif 000017
【図６】
2019128557.tif 000018
【図７】
2019128557.tif 000019
【図８】
2019128557.tif 000020
【図９】
2019128557.tif 000021
【図１０】
2019128557.tif 000022
【図１１】
2019128557.tif 000023
【図１２】
2019128557.tif 000024
【図１３】
2019128557.tif 000025
【図１４】
2019128557.tif 000026
【図１５】
2019128557.tif 000027
【図１６】
2019128557.tif 000028
【図１７】
2019128557.tif 000029
【図１８】
2019128557.tif 000030
【図１９】
2019128557.tif 000031
【図２０】
2019128557.tif 000032
【図２１】
2019128557.tif 000033
【図２２】
2019128557.tif 000034
【図２３】
2019128557.tif 000035
【図２４】
2019128557.tif 000036