(57)【要約】【課題】移動している人が何らかの対象物を注視する行動（注視行動）を推定する注視行動推定装置，注視行動推定方法，及び注視行動推定プログラムを提供する。【解決手段】移動中の人が特定の対象物を注視する注視行動中であることを推定する注視行動推定装置であって，人の頭部に取り付けられ頭部の絶対方向を測定する頭部姿勢計測部と，人の身体に取り付けられ歩数を測定する歩数計測部と，前記測定された頭部の絶対方向と歩数に基づいて，一歩または所定の歩数毎の前記頭部の絶対方向の差分角度を生成し，前記差分角度が，第１，第２の閾値の間に，連続して第３の閾値回数維持されたことを検出したときに，人が注視行動を行っていると判定する注視行動判定部とを有する。【選択図】図４
2014059788.tif 000002
【特許請求の範囲】
【請求項１】
移動中の人が特定の対象物を注視する注視行動中であることを推定する注視行動推定装置であって，
前記人の頭部に取り付けられ頭部の絶対方向を測定する頭部姿勢計測部と，
前記人の身体に取り付けられ歩数を測定する歩数計測部と，
前記測定された頭部の絶対方向と歩数に基づいて，一歩または所定の歩数毎の前記頭部の絶対方向の差分角度を生成し，前記差分角度が，第１，第２の閾値の間に，連続して第３の閾値回数維持されたことを検出したときに，前記人が前記注視行動を行っていると判定する注視行動判定部とを有する注視行動推定装置。
【請求項２】
請求項１において，
前記注視行動判定部は，
前記人の注視開始位置と前記人の移動方向と前記頭部の絶対方向とに基づいて，前記人が注視する注視対象物を検出し，
前記注視対象物の位置を頂点とし前記人の注視開始位置からの移動方向を底辺とする三角形の前記人の注視開始位置での前記差分角度を前記第１の閾値として，前記三角形の底辺の前記頂点に最も近接する位置での前記差分角度を前記第２の閾値として生成する注視行動推定装置。
【請求項３】
請求項２において，
前記注視行動判定部は，前記三角形の底辺の所定比率の距離に対応する回数を前記第３の閾値として生成する注視行動推定装置。
【請求項４】
請求項２において，
前記注視行動判定部は，前記注視対象物の検出を，複数の対象物の位置データを検索して，前記人の注視開始位置と前記頭部の絶対方向とに基づく注視対象位置に最も近い位置の対象物を検出することで行う注視行動推定装置。
【請求項５】
移動中の人が特定の対象物を注視する注視行動中であることを推定する注視行動推定方法であって，
前記人の頭部に取り付けられ頭部の絶対方向を測定する頭部姿勢計測部からの計測データと，前記人の身体に取り付けられ歩数を測定する歩数計測部からの歩数データとに基づいて，一歩または所定の歩数毎の前記頭部の絶対方向の差分角度を生成し，前記差分角度が，第１，第２の閾値の間に，連続して第３の閾値回数維持されたことを検出したときに，前記人が前記注視行動を行っていると判定する注視行動判定工程を有する注視行動推定方法。
【請求項６】
移動中の人が特定の対象物を注視する注視行動中であることを推定する注視行動推定方法を処理する注視行動推定プログラムであって，
前記注視行動推定方法は，
前記人の頭部に取り付けられ頭部の絶対方向を測定する頭部姿勢計測部からの計測データと，前記人の身体に取り付けられ歩数を測定する歩数計測部からの歩数データとに基づいて，一歩または所定の歩数毎の前記頭部の絶対方向の差分角度を生成し，前記差分角度が，第１，第２の閾値の間に，連続して第３の閾値回数維持されたことを検出したときに，前記人が前記注視行動を行っていると判定する注視行動判定工程を有する注視行動推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，注視行動推定装置，注視行動推定方法及び注視行動推定プログラムに関する。
【背景技術】
【０００２】
注視行動とは，人が何かに注目する行動である。例えば，人が展示場内を歩いて移動している場合，人が何かの展示物に注視していることを判別できれば，注視対象物の詳細情報をその人に提示するなど新しいサービスを提供することができる。
【０００３】
人が静止している場合は，人が注視行動を行っている場合は，その人の頭の絶対方向が注視対象物の方向に固定されるので，頭の絶対方向の固定状態から注視行動を推定することができる。
【０００４】
運転者の視線方向を車内カメラの撮像画像から検出し，検出された複数の視線方向が交差する地点を注視点と検出し，注視点の施設を特定することが特許文献１に記載されている。ただし，この文献には，運転者が注視行動をとっているか否かを推定するものではない。
【０００５】
さらに，監視カメラで撮像された複数の通行者の画像から各通行者が注視している向きである視線を検出し，その複数の視線が一カ所に集中している場合に，何らかの異常や事件が発生したことを検知することが特許文献２に記載されている。ただし，この文献でも，所定の通行者が注視行動をとっているか否かを推定するものではない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−３１９４３号公報
【特許文献２】特開２００８−４０７５８号公報
【特許文献３】特開２０１０−６１４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで，本発明の目的は，移動している人が何らかの対象物を注視する行動（注視行動）を推定する注視行動推定装置，注視行動推定方法，及び注視行動推定プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
注視行動推定装置の第１の側面は，移動中の人が特定の対象物を注視する注視行動中であることを推定する注視行動推定装置であって，
前記人の頭部に取り付けられ頭部の絶対方向を測定する頭部姿勢計測部と，
前記人の身体に取り付けられ歩数を測定する歩数計測部と，
前記測定された頭部の絶対方向と歩数に基づいて，一歩または所定の歩数毎の前記頭部の絶対方向の差分角度を生成し，前記差分角度が第１，第２の閾値の間に，連続して第３の閾値回数維持されたことを検出したときに，前記人が前記注視行動を行っていると判定する注視行動判定部とを有する。
【発明の効果】
【０００９】
第１の側面によれば，移動中の人の注視行動を高精度に推定することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態の注視行動推定装置を利用したサービスの提供を説明する図である。
【図２】本実施の形態における注視行動推定装置を利用したサービスの提供の概略フローチャート図である。
【図３】本実施の形態における注視行動推定装置による注視行動推定の概略を示す図である。
【図４】本実施の形態における注視行動推定装置の構成図である。
【図５】本実施の形態における人の注視行動を推定する方法を説明する図である。
【図６】注視行動を行った人の歩数の増加に対応する頭部姿勢方向の差分角度Δθの変化例を示す図である。
【図７】本実施の形態における注視行動判定プログラムの処理のフローチャート図である。
【図８】注視行動判定プログラムによる第１，第２，第３の閾値の計算処理のフローチャート図である。
【図９】差分角度Δθが基準値を超えた時に設定された注視判定三角形を示す図である。
【図１０】注視判定三角形の底辺ＡＢの中心Ｃを通過するときの状態を示す図である。
【発明を実施するための形態】
【００１１】
［注視行動推定を利用したサービスの概略］
図１は，本実施の形態の注視行動推定装置を利用したサービスの提供を説明する図である。図１において，人１０は，展示物E1を注視しながら，展示物E1の近くを破線矢印の方向に歩いて移動している。このような移動している人１０が展示物E1を注視する行動を，人１０が身につけているヘッドセット１２や，携帯しているスマートホンやパッド端末などの端末１１などにより推定することができれば，ヘッドセット１２または端末１０が，その注視対象の展示物E1の情報を含む注視行動判定情報を展示物コンテンツサーバ１４に送信し（S10)，それに応答して，展示物コンテンツサーバ１４が，注視対象の展示物E1に関連するコンテンツ情報を端末１１にプッシュ送信（S12)することができる。これにより，展示会場内を移動する人１０が注視している展示物の関連情報をその人１０に提供するサービスが可能になる。
【００１２】
図２は，本実施の形態における注視行動推定装置を利用したサービスの提供の概略フローチャート図である。また，図３は，本実施の形態における注視行動推定装置による注視行動推定の概略を示す図である。図３を参照しながら，図２のフローチャートに示したサービスの提供について説明する。
【００１３】
図３では，複数の展示物E1〜E4が展示されている展示会場内を，人１０が展示物E1を注視しながら展示物E1の前を歩行している。人１０は，位置Ａ（x0,y0)から一歩の歩行により位置x1,y1)に移動する。さらに，歩行を継続することで，人１０は位置Ａ（x0,y0)から点Ｂの方向に向かって位置を逐次変更する。
【００１４】
それと共に，人１０が複数の展示物の中から展示物E1を注視しながら歩行で移動すると，人１０の頭部姿勢の方向は，展示物E1の方向に維持される。
【００１５】
そこで，人１０は，少なくとも頭部１０Ｈに頭部姿勢の方向を検出するセンサ装置を身につける。このセンサ装置により，歩行で移動中の人１０の一歩または所定歩数毎の頭部１０Ｈの姿勢の絶対方向を検出することができる。もし，人１０が歩行しながら展示物Ｅ１を注視し続ける場合は，この歩行中の人１０の頭部１０Ｈの姿勢の方向は，後述するとおりほぼ一定の角度で変化する。したがって，この人１０の頭部１０Ｈの方向の変化が一定角度か否かを監視することで，人が注視行動中か否かを検出することができる。
【００１６】
さらに，人１０の位置Ａ(x0,y0)を何らかの方法で検出できれば，人１０の頭部１０Ｈの方向（矢印方向）の計測データとに基づいて，その方向の先にある展示物E1を検出することができる。または，位置Ａ(x0,y0)と一歩先の位置Ｂ(x1,y1)での人の位置と頭部の姿勢方向に基づいて頭部の姿勢方向の交差位置に最も近い展示物E1を検出することができる。
【００１７】
したがって，図２に示されるとおり，移動中の人の頭部の姿勢の方向とその位置から，頭部１０Ｈの正面方向の先にある展示物E1を検出し，また，一歩または所定歩数毎の頭部１０Ｈの姿勢の方向の変化から，人１０が注視行動にあるか否かを判定できる(S10)。そこで，人の注視行動が判定された場合は，人１０のヘッドセットまたは端末から，注視行動の検出の事実と，検出した展示物E1の情報が，展示物コンテンツサーバ１４に送信される（S12)。
【００１８】
それに応答して，展示物コンテンツサーバ１４は，人１０の端末に注視対象物である展示物E1に関連するコンテンツをプッシュ送信する（S14)。そして，移動中の人１０は，端末から終始している展示物E1のコンテンツを取得することができる（S16)。
【００１９】
［注視行動推定装置の構成］
図４は，本実施の形態における注視行動推定装置の構成図である。図４の注視行動推定装置は，たとえば，人の頭部に装着されるヘッドセットである。または，注視行動推定装置は，ヘッドセットと人が携帯するスマートホンやパッド端末などの端末との組み合わせで構成される。
【００２０】
注視行動推定装置は，頭部の姿勢の方向を計測する頭部姿勢計測部２０と，人の歩数を計測する歩数計測部２４とを有する。頭部姿勢計測部２０は，地磁気センサとジャイロセンサを有するセンサユニット２１と，それらのセンサの出力信号を処理する信号処理部２２とを有し，人の頭部に装着される。
【００２１】
地磁気センサは，頭部の絶対的な方向を検出することができるのに対して，ジャイロセンサは頭部の方向が変更したときの角速度を検出することができる。地磁気センサは，頭部の絶対的な方向を検出できるが応答特性があまり良くないのに対して，ジャイロセンサは高速応答で頭部の方向変更時の角度方向と角速度を検出できる。したがって，両センサを組み合わせて，頭部が静止している初期状態での方向を地磁気センサで検出し，その後の頭部の方向の変更をジャイロセンサで検出し，頭部の方向変更に対する変更角度を，初期状態での方向に累積することで，頭部の姿勢の方向の変化を追跡可能である。
【００２２】
一方，歩数計測部２４は，加速度センサ２５と，そのセンサ出力信号を処理する信号処理部とを有し，頭部に装着しなくても，人が携帯すればよい。加速度センサ２５は，Ｘ，Ｙ，Ｚの３軸方向の加速度を検出できるので，鉛直方向の加速度が一次的に増加するのをカウントすることで，人の歩数をカウントすることができる。また，ジャイロセンサを設けることで，端末が傾いても鉛直方向を追従できるので，その鉛直方向の加速度が一次的に増加するタイミングで歩数がカウントされる。
【００２３】
注視行動判定部３０は，ＣＰＵ３１と，注視行動判定プログラム３２とを有し，ＣＰＵ３１が注視行動判定プログラム３２を実行することで，注視行動か否かの判定を行う。また，メモリ３４と，無線通信装置３５が，ＣＰＵ３１にバス２８を介して接続されている。メモリ３４には，注視行動判定用の閾値などのパラメータが格納される。注視行動判定プログラムの処理フローについては後述する。
【００２４】
歩数計測部２４の信号処理部２６は，一歩毎にまたは所定歩数毎にサンプリング信号を頭部姿勢計測部の信号処理部２２に供給することで，信号処理部２２がサンプリングタイミングでの頭部姿勢方向を出力する。または，ＣＰＵ３１が，頭部姿勢計測部の信号処理部２２が出力する方向データを，歩数計測部の信号処理部２６が生成するサンプリング信号のタイミングで取得するようにしてもよい。
【００２５】
注視行動推定装置が，ヘッドセットと人が携帯するスマートホンやパッド端末などの端末との組み合わせで構成される場合は，上記の頭部姿勢計測部２０がヘッドセットに設けられ，残りの構成が端末に設けられる。または，注視行動推定装置が，ヘッドセットのみで構成される場合は，図４の全ての構成がヘッドセットに設けられる。
【００２６】
注視行動推定装置は，頭部姿勢計測部２０と歩数計測部２４と無線通信装置３５のみがヘッドセットまたはヘッドセットと端末の組み合わせにより実現され，注視行動判定部３０とメモリ３４が，展示物コンテンツサーバ１４内のＣＰＵと注視行動判定プログラムとメモリで実現されてもよい。
【００２７】
［注視行動を推定する方法］
図５は，本実施の形態における人の注視行動を推定する方法を説明する図である。本実施の形態では，人の頭部の姿勢の方向と歩数とを検出して，近似的に人の注視行動を推定する。図５に示されるとおり，人１０がある注視点Ｅ１を見ながら直進している場合，０歩目の位置では，頭部１０Ｈは前方の右斜め上方向に向けられ，頭部１０Ｈの正面方向の先に注視点Ｅ１があり，０歩目から一歩歩いた後の１歩目の位置では，頭部１０Ｈは右横方向に向けられ，０歩目と１歩目とでは頭部１０Ｈの方向が時計方向にΔθ１だけ回転している。
【００２８】
さらに，次の一歩歩いた後の２歩目の位置では，頭部１０Ｈは右後ろ斜め方向に向けられ，１歩目と２歩目とでは頭部１０Ｈの方向が時計方向にΔθ２だけ回転している。そして，歩幅が一定と仮定すれば，頭部の絶対方向の変化角度または差分角度Δθ１，Δθ２は，ほぼ一定（Δθ１＝Δθ２）になることが理解できる。
【００２９】
厳密には，人１０が注視点Ｅ１を中心とする円弧上を移動する場合に，一歩毎のサンプリングタイミングでの頭部１０Ｈの方向の差分角度Δθが一定になる。しかし，人が直線上を移動する場合は，人１０と注視点Ｅ１との距離が所定距離以上であれば，一歩毎のサンプリングタイミングでの頭部１０Ｈの方向の差分角度Δθもほぼ一定になる。
【００３０】
そこで，本実施の形態の注視行動推定装置の注視判定プログラムでは，移動中の人の一歩毎または所定歩数毎のサンプリングタイミングでの頭部の方向の変化量である差分角度Δθを連続して計測し，この差分角度Δθがある基準角度以上であって，差分角度Δθが一定の範囲内（第１，第２の閾値の間）に収まっていて差分角度Δθがほぼ一定である状態が，所定の歩数（第３の閾値）以上継続していることが検出されれば，人は注視行動を行っていると推定する。
【００３１】
［注視行動の例］
図６は，注視行動を行った人の歩数の増加に対応する頭部姿勢方向の差分角度Δθの変化例を示す図である。図６の横軸は歩数，縦軸は検出された頭部姿勢方向の差分角度Δθであり，その場合の差分角度Δθの変化例１００が示されている。
【００３２】
この例によれば，最初の歩数０からある歩数の期間ｔ１では，頭部姿勢方向の差分角度Δθは，基準値を超えることはない。そして，期間ｔ１経過した時点で，差分角度Δθが基準値を超えて，期間ｔ２の間の差分角度Δθが，第１，第２の閾値の間に維持されている。厳密には，期間ｔ２の間の差分角度Δθは，低い側の第１の閾値low近傍から徐々に増加し，途中で高い側の第２の閾値highの近傍まで達し，その後低い側の第１の閾値lowの近傍まで低下している。
【００３３】
その理由は，後述するとおり，人が注視点の近くを直進した場合に，注視点に最も近づいた位置での差分角度Δθが最大になり，注視点から遠ざかるにつれて差分角度Δθは減少するからである。
【００３４】
［注視行動判定プログラムの処理］
図７は，本実施の形態における注視行動判定プログラムの処理のフローチャート図である。ＣＰＵがこの注視行動判定プログラムを実行する注視行動判定部３０は，図６に示した例の場合，差分角度Δθが第１，第２の閾値の間に第３の閾値の歩数ｔ３の間維持された場合に，注視行動中と判定する。
【００３５】
まず，注視行動判定部３０は，図５で説明したように，一歩毎または所定の歩数毎のサンプリングタイミングでの人１０の頭部姿勢の方向の差分角度Δθが，一定の範囲内にある状態が第３の閾値の歩数に達したか否かを判断するために，注視判定カウンタを利用する。
【００３６】
最初に，注視行動判定部３０は，注視判定カウンタをクリアしてカウント値をゼロにする（Ｓ２０）。そして，頭部姿勢計測部２０と歩数計測部２４から頭部姿勢方向データと歩数データを読み込む（Ｓ２１）。頭部姿勢方向データは，現在の頭部１０Ｈの絶対方向データであり，歩数データは，歩行による一歩一歩のタイミングを示すデータである。
【００３７】
歩数データから一歩または所定の歩数の更新が検出されるまで（Ｓ２２のＮＯ），工程Ｓ２０，Ｓ２１が繰り返される。そして，注視行動判定部３０は，歩数データから一歩または所定の歩数の更新が検出されると（Ｓ２２のＹＥＳ），その更新のサンプリングタイミングで，前回のサンプリングタイミングと今回のサンプリングタイミングとでの頭部姿勢方向データの方向の変化角度，つまり差分角度Δθを計算する（Ｓ２３）。
【００３８】
そして，注視行動判定部３０は，工程Ｓ２３で計算した差分角度Δθが，基準値を超えているか否かを判定する（Ｓ２４）。移動中の人がある注視対象物を注視しながら移動すれば，頭部姿勢の方向はある基準値を超える差分角度Δθずつ変化するので，この基準値は，注視行動の可能性を推定させる程度の差分角度Δθに設定される。
【００３９】
差分角度Δθが初めて基準値を超えた場合（Ｓ２４のＹＥＳ），人が注視行動に入った可能性があるので，注視行動判定部３０は，注視判定カウンタのカウンタ値が０の場合（Ｓ２５のＹＥＳ），第１，第２，第３の閾値の計算を行う（Ｓ２６）。また，差分角度Δθが繰り返し基準値を超えている場合（Ｓ２４のＹＥＳ），人が注視行動を継続していれば，注視判定カウンタのカウンタ値は０以外の正の値となる（Ｓ２５のＮＯ）。ただし，差分角度Δθが繰り返し基準値を超えていても，人が注視行動に入っていなければ注視判定カウンタのカウンタ値は０のままである。
【００４０】
図６の例では，差分角度Δθは，期間ｔ１の間，基準値を超えていない。そして，期間ｔ１を経過すると，差分角度Δθは基準値を超えている。この時点で，図７のフローチャートの工程Ｓ２４がＹＥＳとなる。そして，注視判定カウンタのカウンタ値が０の場合のみ，現在の人の位置と頭部の方向に基づいて，以下の第１，第２，第３の閾値の計算を行う（Ｓ２６）。
【００４１】
［第１，第２，第３の閾値の計算］
注視行動判定部３０は，第１，第２，第３の閾値の計算（Ｓ２６）を次のように行う。図３に示されるように，展示物Ｅ１の前を人１０が展示物Ｅ１を注視しながら直線的に歩行することを想定している。差分角度Δθが基準値を超えた時点で，人の注視行動の可能性を推定して，注視行動判定部３０は，図３に示した注視判定三角形１００を設定する。この注視判定三角形１００は，辺ＡＢを底辺とし，注視対象物Ｅ１を頂点とする二等辺三角形である。ただし，必ずしも二等辺三角形である必要はなく，人の現時点の位置Ａと移動方向を底辺とし，注視対象物Ｅ１とを頂点とする三角形であればよい。
【００４２】
点Ａが注視対象物Ｅ１から最も遠いので，底辺ＡＢの点Ａでの一歩または所定歩数での差分角度Δθは，最小値であり，第１の閾値に対応する。また，底辺ＡＢの中心Ｃが注視対象物Ｅ１から最も近いので，中心Ｃでの一歩または所定歩数での差分角度Δθは，最大値であり，第２の閾値に対応する。そして，底辺ＡＢの距離Ｌを歩行する間に，人が注視行動を行ったか否かを判定することが望ましいので，距離Ｌの所定割合の一部の距離を歩幅で除した歩数が，第３の閾値に対応する。この距離Ｌを注視判定距離Ｌとする。
【００４３】
図８は，注視行動判定プログラムによる第１，第２，第３の閾値の計算処理のフローチャート図である。図９は，差分角度Δθが基準値を超えた時に設定された注視判定三角形を示す図である。また，図１０は，注視判定三角形の底辺ＡＢの中心Ｃを通過するときの状態を示す図である。図９，図１０を参照して，図８の計算処理を説明する。
【００４４】
注視行動判定装置は，差分角度Δθが基準値を超えた時点での人の位置を計測する（Ｓ４０）。人が携帯するスマートホンやパッド端末などの端末は，現在位置を検出する機能を有している。たとえば，２カ所のＷｉＦｉ基地局との間の無線通信による電波強度によって，基地局からの距離を検出し，基地局の位置データと求めた２つの距離から，端末の位置を検出することができる。この位置検出の精度はそれほど高くはないが，おおよその位置が検出できれば良い。なぜなら，注視行動判定に利用する閾値を計算するために利用する情報だからである。
【００４５】
次に，人が次の一歩を歩いた時の移動方向を計測する（Ｓ４１）。移動方向は，ジャイロセンサのセンサ値から取得することができる。または，移動後の位置を上記の基地局間の電波強度により求めて，移動前の位置と移動後の位置の関係から移動方向を取得してもよい。
【００４６】
そして，この場合，頭部姿勢計測部２０により頭部姿勢の絶対方向は取得済みである。
【００４７】
そこで，図３，９の点Ａでの位置情報と，そのときの頭部姿勢の絶対方向情報とから，頭部の正面方向先にある展示物を，予め登録している複数の展示物の位置データベースをスキャンすることで特定する（Ｓ４２）。すなわち，点Ａでの位置情報と頭部姿勢方向から，その方向の先の最も手前に位置する展示物を注視対象物として検出する。
【００４８】
または，図３の点Ａ（ｘ０，ｙ０）での位置情報と頭部姿勢の方向と，一歩移動した後の座標（ｘ１，ｘ２）での位置情報と頭部姿勢の方向とから，交差位置を注視点の位置として求めることができる。ただし，この計算で求めた注視点の位置は精度が低いので，予め登録している複数の展示物の位置データベースをスキャンして，計算で求めた注視点の位置に最も近い位置を有する展示物を注視対象物として特定する（Ｓ４２）。
【００４９】
いずれの方法であっても，複数の展示物の位置データから抽出された展示物の位置データを利用することで，注視対象物の位置データは高い精度を有する。
【００５０】
次に，注視行動判定部３０は，注視対象物の位置を頂点とし，点Ａから移動方向を底辺とする二等辺三角形を注視判定三角形１００として設定する（Ｓ４３）。つまり，図９に示した三角形１００を設定する。これにより，注視判定三角形の底辺の長さＬが注視判定距離として求められ，頂点の注視点から底辺に下ろした垂線の長さ（三角形の高さ）Ｄが求められる。
【００５１】
そして，注視行動判定部３０は，この注視判定三角形１００に基づいて，点Ａでの人の頭部視線の方向の差分角度を第１の閾値として算出する（Ｓ４４）。具体的には，図３の注視判定三角形１００において，次の式が成り立つ。
tanθh1＝D/(L/2)
L=２D/tanθh1
次に，図３の座標（ｘ０，ｙ０）と座標（ｘ１，ｙ１）の間の一歩の歩幅をSとし，それぞれの座標での頭部姿勢の底辺に対する角度をθh1，θh2とすると，次の式が成り立つ。
Δθ＝θh2−θh1＝abs｛atan(d/(L/2-s))-atan(d/(L/2)｝
ここで，absは絶対値である。このΔθが，座標（ｘ０，ｙ０）から座標（ｘ１，ｙ１）の間の一歩の移動による頭部姿勢の差分角度に対応し，第１の閾値に対応する。
【００５２】
上記の例は，差分角度のサンプリング周期が１歩の場合の例である。差分角度のサンプリング周期がN歩数であれば，上記の式のsを，s=Nsとすればよい。
【００５３】
次に，注視行動判定部３０は，注視判定三角形１００の底辺の中心Cでの頭部姿勢の方向の差分角度を第２の閾値として算出する（Ｓ４５）。図１０に示されるとおり，中心Ｃでの両側ｂの一歩の歩幅ｓとすると，差分角度Δθは，次のとおり求めることができる。
Δθ＝atan(s/D)
これが，第２の閾値として算出される。この例は，差分角度のサンプリング周期が１歩の場合の例である。差分角度のサンプリング周期がN歩数であれば，上記の式のsを，s=Nsとすればよい。
【００５４】
最後に，注視行動判定部３０は，注視三角形１００の底辺の長さＬの所定比率（例えば３０〜５０％）のサンプリング数（１歩または所定歩数）か，注視判定に必要な最低サンプリング数を，第３の閾値として算出する。いずれか多いサンプリング数を第３の閾値とすることが望ましい。つまり，注視判定距離Ｌが長ければ所定比率のサンプリング数が，短ければ最低必要なサンプリング数が，第３の閾値として生成される。
【００５５】
図７に戻り，注視行動判定部３０は，工程Ｓ２６で第１，第２，第３の閾値を計算で求めたら，それらの閾値を，メモリ３４に格納する。そして，注視行動判定部３０は，工程Ｓ２４で基準値を超えていると判定された差分角度Δθが，第１，第２の閾値の間に入っているか否かを判定する（Ｓ２７）。すなわち，差分角度Δθが，図６の第１の閾値lowと第２の閾値highとの間にあるか否かを判定する。差分角度Δθが第１，第２の閾値の間に入っていない場合は（Ｓ２７のＮＯ），注視行動判定部３０は，注視判定カウンタをクリアして，工程Ｓ２１に戻る。つまり，差分角度Δθが基準値を超えた時点で設定した注視判定三角形に基づく閾値はキャンセルされる。
【００５６】
一方，差分角度Δθが第１，第２の閾値の間に入っている場合は（Ｓ２７のＹＥＳ），注視行動判定部３０は，注視判定カウンタをインクリメントする（Ｓ２８）。つまり，注視行動判定部３０は，人は注視行動を開始したと推定し，注視判定カウンタのインクリメントを開始する。この場合は，設定した注視判定三角形に基づく閾値がその後利用される。
【００５７】
次に，注視行動判定部３０は，注視判定カウンタの値が，第３の閾値を超えたか否かを判定する（Ｓ３０）。最初は，未だ第３の閾値を超えていないので，工程Ｓ３０の判定はＮＯである。
【００５８】
そして，工程Ｓ２１から以下の工程が繰り返される。
【００５９】
以上のとおり，図７のフローチャートの処理によれば，注視行動判定部３０は，常時，歩数と頭部姿勢の検出データを読み込み，一歩または所定歩数の歩数が更新されるサンプリングタイミングでサンプリング間の頭部姿勢の差分角度を計算し，基準値より高い第１，第２の閾値の間にある場合は，注視カウンタをインクリメントする。そして，注視カウンタが第３の閾値に達したら（Ｓ３０のＹＥＳ），人の注視行動を認識する（Ｓ３１）。
【００６０】
そして，注視行動判定部３０は，差分角度が第１，第２の閾値の間から外れたら（Ｓ２７のＮＯ），注視判定カウンタをクリアし（Ｓ２９），計算した閾値もキャンセルして，判定を最初からやり直す。また，注視行動判定部３０は，注視カウンタをクリアした後，再度差分角度が基準値を超えたら一度だけ，第１，第２，第３の閾値を計算する（Ｓ２６）。このようにすることで，これらの閾値をダイナミックに変化させて，人の状況に適合した注視判定三角形に基づく閾値に基づいて，注視行動の判定を行うことができる。
【００６１】
以上の通り，本実施の形態の注視判定装置によれば，人の頭部姿勢の方向の計測データと，歩数データとから，人がある展示物に注視して移動しているか否かを推定することがで，近似的に人の注視行動を抽出することができる。そのような注視行動を抽出することで，注視対象物についてのコンテンツを人が携帯する端末にプッシュ送信するなどのサービスを提供することができる。
【符号の説明】
【００６２】
２０：頭部姿勢計測部
２４：歩数計測部
【図１】
2014059788.tif 000003
【図２】
2014059788.tif 000004
【図３】
2014059788.tif 000005
【図４】
2014059788.tif 000006
【図５】
2014059788.tif 000007
【図６】
2014059788.tif 000008
【図７】
2014059788.tif 000009
【図８】
2014059788.tif 000010
【図９】
2014059788.tif 000011
【図１０】
2014059788.tif 000012