(57)【要約】      （修正有）【課題】対象物の上下方向の向きに対するユーザの向きを考慮した視線停留度合を算出する視線停留度合算出システム、方法及びプログラムを提供する。【解決手段】視線停留度合算出システム１０１のサーバ３０１は、顔の頭頂−顎方向の向きを検出する視線検出部と、前記視線方向に基づいて対象物を検出する対象物検出部と、前記対象物をユーザが見ている時間を算出する時間算出部を備え、対象物をユーザが見ている時間と前記対象物の上下方向の向きに対するユーザの向きに基づいて、前記ユーザが見ている前記対象物に対する視線停留度合を算出する。【選択図】図１
2017091210.tif 000002
【特許請求の範囲】
【請求項１】
ユーザにより視認される対象である対象物に視線を向けているユーザを撮影した画像から、該ユーザの顔の頭頂−顎方向の向きを検出する方向検出部と、
前記ユーザの視線方向を検出する視線検出部と、
前記視線方向に基づいて前記ユーザが見ている前記対象物を検出する対象物検出部と、
前記対象物を前記ユーザが見ている時間を算出する時間算出部と、
前記時間と前記対象物の上下方向の向きに対する前記ユーザの向きに基づいて、前記ユーザが見ている前記対象物に対する視線停留度合を算出する停留度合算出部と、
を備える視線停留度合算出システム。
【請求項２】
前記対象物の上下方向の向きとは、該対象物に記されている文字の上下方向であることを特徴とする、請求項１記載の視線停留度合算出システム。
【請求項３】
前記停留度合算出部は、前記時間と前記対象物の向きに対する前記ユーザの向きに基づく係数とを乗算することにより、前記視線停留度合を算出することを特徴とする請求項１または２記載の視線停留度合算出システム。
【請求項４】
前記係数は、前記対象物の向きに対する前記ユーザの向きが反対の場合の方が前記対象物の向きに対する前記ユーザの向きが同じ場合より小さいことを特徴とする請求項３記載の視線停留度合算出システム。
【請求項５】
前記停留度合算出部は、前記時間と、前記対象物の向きに対する前記ユーザの向きに基づく第１の係数と、前記対象物の種類に応じた第２の係数とを乗算することにより、前記視線停留度合を算出することを特徴とする請求項１記載の視線停留度合算出システム。
【請求項６】
ユーザにより視認される対象である対象物に視線を向けているユーザを撮影した画像から、該ユーザの顔の頭頂−顎方向の向きを検出し、
前記ユーザの視線方向を検出し、
前記視線方向に基づいて前記ユーザが見ている前記対象物を検出し、
前記対象物を前記ユーザが見ている時間を算出し、
前記時間と前記対象物の上下方向の向きに対する前記ユーザの向きに基づいて、前記ユーザが見ている前記対象物に対する視線停留度合を算出する
処理を備える視線停留度合算出方法。
【請求項７】
コンピュータに、
ユーザにより視認される対象である対象物に視線を向けているユーザを撮影した画像から、該ユーザの顔の頭頂−顎方向の向きを検出し、
前記ユーザの視線方向を検出し、
前記視線方向に基づいて前記ユーザが見ている前記対象物を検出し、
前記対象物を前記ユーザが見ている時間を算出し、
前記時間と前記対象物の上下方向の向きに対する前記ユーザの向きに基づいて、前記ユーザが見ている前記対象物に対する視線停留度合を算出する
処理を実行させる視線停留度合算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線停留度合算出システム、視線停留度合算出方法、および視線停留度合算出プログラムに関する。
【背景技術】
【０００２】
どのような商品やコンテンツにユーザの関心や注目があるかを知ることは、マーケティング等において重要である。ユーザの注目度合を算出する方法として、例えば、ユーザの視線方向から、どの商品を見ているかを検出し、注目度合を算出する方法がある。
【０００３】
ユーザの視線方向を検出し、複数のオブジェクトの各々に対する視線方向の滞留時間を算出し、複数のオブジェクトの各々に対するユーザの関心度を推定するユーザインターフェース装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１１／０７４１９８号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００５】
対象物の上下方向の向きに対するユーザの向きを考慮してユーザの関心度を推定する技術は知られていない。
【０００６】
１つの側面において、本発明は、対象物の上下方向の向きに対するユーザの向きを考慮した視線停留度合を算出することを目的とする。
【課題を解決するための手段】
【０００７】
１つの案では、視線停留度算出システムは、方向検出部と、視線検出部と、対象物検出部と、時間算出部と、停留度合算出部と、を備える。
【０００８】
前記方向検出部は、ユーザにより視認される対象である対象物に視線を向けているユーザを撮影した画像から、該ユーザの顔の頭頂−顎方向の向きを検出する。
【０００９】
前記視線検出部は、前記ユーザの視線方向を検出する。
前記対象物検出部は、前記視線方向に基づいて前記ユーザが見ている前記対象物を検出する。
【００１０】
前記時間算出部は、前記対象物を前記ユーザが見ている時間を算出する
前記停留度合算出部は、前記時間と前記対象物の上下方向の向きに対する前記ユーザの向きに基づいて、前記ユーザが見ている前記対象物に対する視線停留度合を算出する。
【発明の効果】
【００１１】
実施の形態によれば、対象物の上下方向の向きに対するユーザの向きを考慮した視線停留度合を算出することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態に係る視線停留度合算出システムの構成図である。
【図２】係数データベースの例である。
【図３Ａ】ユーザがメニュー表に対して正方向である場合の図である。
【図３Ｂ】ユーザがメニュー表に対して正方向である場合の顔画像の一部を示す図である。
【図４Ａ】ユーザがメニュー表に対して逆向きの場合の図である。
【図４Ｂ】ユーザがメニュー表に対して逆向きの場合の顔画像の一部を示す図である。
【図５Ａ】ユーザがメニュー表に対して横向き（左）の場合の図である。
【図５Ｂ】ユーザがメニュー表に対して横向き（左）の場合の顔画像の一部を示す図である。
【図６Ａ】ユーザがメニュー表に対して横向き（右）の場合の図である。
【図６Ｂ】ユーザがメニュー表に対して横向き（右）の場合の顔画像の一部を示す図である。
【図７】実施の形態に係る視線停留度合算出処理のフローチャートである。
【図８】視線停留度合データベースの例である。
【図９】停留度合を示すヒストグラムの例である。
【図１０】他の実施の形態に係る視線停留度合算出システムの構成図である。
【図１１】情報処理装置（コンピュータ）の構成図である。
【発明を実施するための形態】
【００１３】
例えば、レストラン等において、机を挟んで向かい合う複数人が１枚のメニュー表を見るとき、メニュー表が人に対して正方向の場合と、９０度傾いたり、反対向きになったりしている場合とでは、メニュー表の内容を認識するのに必要な時間が異なるということに発明者らは気付いた。
【００１４】
そのため、メニュー表に表示されている内容に対して、人がどの程度注目したかを、対象物に視線が向いていた時間長で単純に判断すると、見づらい角度で見ている場合には内容を認識するために必要な時間長が長くなることが考慮されていないため、注目度合を過大評価してしまう恐れがあることに発明者らは気付いた。
【００１５】
以下、図面を参照しながら実施の形態について説明する。
図１は、実施の形態に係る視線停留度合算出システムの構成図である。
【００１６】
視線停留度合算出システム１０１は、メニュー表２０１およびサーバ３０１を備える。
メニュー表２０１には、文字や図等で商品（対象物）の情報が記載されている。実施の形態において、メニュー表２０１の向きとメニュー表２０１に記載されている対象物の平面上（メニュー表２０１の表面上）における向きは同じであるとする。すなわち、メニュー表２０１の下から上への方向とメニュー表２０１に記載されている対象物（例えば、文字や図）の平面上における下から上への方向は同じである。
【００１７】
メニュー表２０１には、人物検出用カメラ２１１および視線センサ２２１が取り付けられている。人物検出用カメラ２１１および視線センサ２２１は、サーバ３０１と無線または有線で接続し、通信可能となっている。また、メニュー表２０１の数は、複数であってもよい。
【００１８】
人物検出用カメラ２１１は、メニュー表２０１の周囲を撮影する。また、人物検出用カメラ２１１の撮影方向は、メニュー表２０１の対象物が記載されている面の法線方向となっているとする。また、人物検出用カメラ２１１により撮影される画像下から上への向きは、メニュー表２０１の下から上への向きと同じとなるように、人物検出用カメラ２１１は取り付けられているとする。人物検出用カメラ２１１は、撮影した画像をサーバ３０１に送信する。
【００１９】
視線センサ２２１は、赤外線Light Emitting Diode（ＬＥＤ）２２２および赤外線カメラ２２３を備える。なお、赤外線ＬＥＤ２２２と赤外線カメラ２２３とは、互いに連携をもって制御可能な状態であれば、それぞれが別の場所、別の筐体に設けられていても良い。また、赤外線ＬＥＤ２２２と赤外線カメラ２２３とは、それぞれ複数個あってもよく、赤外線ＬＥＤ２２２と赤外線カメラ２２３との個数が異なってもよい。なお、人物検出用カメラに赤外カメラを使っても良く、その場合は人物検出用カメラ２１１が視線センサ２２１の機能を兼ねることにしても良い。
【００２０】
赤外線ＬＥＤ２２２は、メニュー表２０１の周囲に赤外光を照射、詳細には、メニュー表２０１の周囲のユーザの顔に向けて、もしくは、ユーザの顔が照射範囲に含まれるように予め設定された方向に向けて、赤外光を照射する。
【００２１】
赤外線カメラ２２３は、メニュー表２０１の周囲を撮影、詳細には、赤外光が照射されたユーザの顔を撮影する。赤外線カメラ２２３は、撮影した画像をサーバ３０１に送信する。また、視線センサ２２１は可視カメラでも良く、その場合は人物検出用カメラ２１１が視線センサ２２１の機能を兼ねることにしても良い。
【００２２】
尚、人物検出用カメラ２１１および視線センサ２２１は、メニュー表２０１に取り付けられず、ユーザの顔を撮影可能なメニュー表２０１の周辺に設置されていてもよい。例えば、該カメラおよびセンサをテーブルに直接に埋め込んだり、テーブル上に設置したりすることが考えられる。また、該カメラと視線センサが異なる位置に取り付ける場合もある。例えば該カメラはテーブル、ＰＯＰ、壁面などに取り付け、該視線センサはメニュー表に取り付ける。
【００２３】
サーバ３０１は、処理部３１１および記憶部３３１を備える。サーバ３０１は、情報処理装置の一例である。
【００２４】
処理部３１１は、視線の停留度合の算出などの各種処理を行う処理装置である。処理部３１１は、ユーザ検出部３１２、検出対象メニュー検出部３１３、ユーザ位置検出部３１４、視線検出部３１５、対象商品検出部３１６、停留時間算出部３１７、停留度合算出部３１８、データベース（ＤＢ）生成部３１９、および表示制御部３２０を備える。
【００２５】
ユーザ検出部３１２は、メニュー表２０１を見るユーザの有無および人数を検出する。
検出対象メニュー検出部３１３は、ユーザがどのメニュー表を見ているか、すなわちユーザが見ているメニュー表の種類を検出する。メニュー表が１枚のみの場合はこの処理は不要となる。また。同じメニュー表で異なるページを見ている場合もある。その場合、見ているページを検出する。
【００２６】
ユーザ位置検出部３１４は、メニュー表２０１に対するユーザの位置（向き）を検出する。詳細には、ユーザ位置検出部３１４は、ユーザにより視認される対象である対象物に視線を向けているユーザを撮影した画像から、対象物の上下方向に対するユーザの顔の向き（頭頂−顎方向）を検出する。
【００２７】
視線検出部３１５は、ユーザの視線方向を検出する。ただし、顔向きを視線方向と近似してもよい。
【００２８】
また、ユーザ検出部３１２、検出対象メニュー検出部３１３、ユーザ位置検出部３１４、および視線検出部３１５は、人物検出用カメラ２１１または視線センサ２２１に含まれていてもよい。その場合、検出対象メニュー検出部３１３、ユーザ位置検出部３１４、および視線検出部３１５は、検出結果をサーバ３０１に送信する。
【００２９】
対象商品検出部３１６は、ユーザの視線方向に基づいて、ユーザが見ている（注目や注視している）商品を検出する。商品に関する情報等(商品名や価格など)を見ている際に、対応する商品を見ていることとして検出してもよい。また、商品位置の周囲に商品毎に対応する領域を事前に設定し、その領域内を見ていれば対応する商品を見ていることにしてもよい。これらの情報は、例えば後述のメニュー情報データベース３３２に格納しておくことができる。
【００３０】
停留時間算出部３１７は、ユーザが商品を見ている時間（停留時間）を算出する。
停留度合算出部３１８は、停留時間とメニュー表２０１に対するユーザの位置（向き）に基づいて、ユーザが見ている商品に対するユーザの注目度合を示す停留度合を算出する。詳細には、停留時間と商品の上下方向の向きに対するユーザの顔の頭頂−顎方向の向きに基づいて、商品に対するユーザの注目度合を示す停留度合を算出する。以下、ユーザの顔の下（顎）から上（頭頂）への方向（天地方向）をユーザの顔の向きと呼ぶ場合がある。
【００３１】
データベース生成部３１９は、算出した停留度合を追加記載した視線停留度合データベース３３４を更新する。
【００３２】
表示制御部３２０は、ディスプレイ装置等の表示装置（不図示）に対する表示を行う。
記憶部３３１は、メニュー情報データベース３３２、係数データベース３３３、および視線停留度合データベース３３４を格納する。
【００３３】
メニュー情報データベース３３２には、メニュー表２０１に記載されている対象物の種類や属性、メニュー表２０１において対象物が記載されている位置等が記載されている。
【００３４】
係数データベース３３３には、停留度合の算出時に使用される係数が記載されている。
視線停留度合データベース３３４には、商品と算出された停留度合等が記載されている。
【００３５】
図２は、係数データベース３３３の例である。
係数データベース３３３（図２の左側の表）には、メニュー表とユーザの位置（向き）および、係数が対応付けられて記載されている。
【００３６】
メニュー表とユーザの位置は、メニュー表に対するユーザの位置（向き）を示す。詳細には、メニュー表２０１に記載された対象物の平面上の所定の向き（例えば、上下方向）に対するユーザの顔の向きである。所定の向きとは、例えば、対象物が文字の場合、平面上の文字の下から上への向きである。所定の向きは、対象物が図または写真の場合、図または写真に予め設定された下から上への向きである。ここでは、対象物の天地方向（上下方向）は、文字や図等の平面上における下から上への向きとする。０度は、対象物とユーザとが同じ向きであること、例えば正方向または略正方向から対象物を見ていることを示し、１８０度は、対象物に対してユーザが略逆向きに位置していることを示す。すなわち、１８０度は、ユーザが対象物を反対方向から見ていることを示す。９０度は、対象物に対してユーザが横向きであり、詳細には、ユーザから見て対象物が９０度左回りに回転した状態となっていることを示す。２７０度は、対象物に対してユーザが横向きであり、詳細には、ユーザから見て対象物が９０度右回りに回転した状態となっていることを示す。メニュー表２０１を逆方向から見た場合には、正方向から見ている場合に比べて対象物の内容の認識に時間がかかるため、１８０度に対応する係数は、０度に対応する係数より小さくする。なお、図２においてメニュー表に対するユーザの位置の数は４個であったが、これに限らず８個など任意の数でよい。さらに、その間の位置に対応する係数を、データベース３３３の係数の値から補間して求めることも可能である。
【００３７】
係数は、停留度合の算出時に使用される係数である。係数は特定の数値で定義されていてもよいし、関数で定義されていても構わない。
【００３８】
また、係数データベース３３３（図２の右側の表）には、図、文字の属性と係数も対応付けられて記載されている。
【００３９】
図、文字の属性は、メニュー表２０１に記載されている対象物の種類や属性を示す。図（有名）は、対象物が有名な図や写真であることを示し、図（無名）は、対象物が無名な図や写真であることを示す。文字（大）は、対象物がサイズの大きい文字であることを示し、文字（小）は、対象物がサイズの小さい文字であることを示す。文字数長は、対象物が文字数の多い（所定数以上）名前（商品名）であることを示し、文字数短は、対象物が文字数の少ない（所定数未満）名前（商品名）であることを示す。文字黒は、対象物が黒色の文字であることを示し、文字黒以外は、対象物が黒色以外の文字であることを示す。さらに、鏡文字(裏文字)などを加えてもよい。見やすさに影響を与える要素であれば、このような例に限るものではなく、要素として例えば、背景とのコントラスト、部屋の明るさや照明によるメニュー表での反射、記述言語(外国語)や書体が挙げられる。
【００４０】
ここで、図について、「図（有名）」と「図（無名）」とで分けている理由は、その図を、ユーザに過去に見た可能性がありそうか否かによって、係数を変更できるようにするためである。例えば、有名な図や写真である場合は、ユーザが同じものを過去に見たことがある、即ち、記憶に残っている可能性が、無名なものと比較して大きいといえる。記憶に残っているのであれば、図を見て内容を認識するのにかかる時間は、初見の場合と比較して短くて済むだろう。この考え方に沿えば、もし、ユーザが同じ対象物を過去に見たことがあるか否かが分かるとすれば、過去に見たことがある場合は「図（有名）」の、初見の場合は「図（無名）」の係数を利用することとしても良い。もしくは、初見の場合の係数表と、過去に見たことがある場合の係数表とを別表としてもよい。例えば、新発売の商品に関する情報であって、今までのメニューには掲載されていなかったものであれば、初見であると判断してもよい。
【００４１】
係数は、停留度合の算出時に使用される係数である。
ここで、メニュー表とユーザの位置の例と、ユーザの（目の）位置（詳細には、メニュー表の対象物の天地方向（上下方向）に対するユーザの顔の向き）の検出方法について説明する。
【００４２】
図３Ａは、ユーザがメニュー表に対して正方向である場合の図である。
図３Ａにおいて、ユーザ４０１がメニュー表２０１に対して正方向である場合、ユーザ４０１は、メニュー表２０１の記載された文字や図を正しい方向から見ている。換言すれば、メニュー表２０１に掲載されている文字は、ユーザ４０１から見た場合、正方向であるといえる。すなわち、対象物の平面上の所定の向き（天地方向）とユーザの向きは同じとなっている。このとき、人物検出用カメラ２１１でユーザ４０１の顔を撮影する。撮影した画像の一部として図３Ｂのような画像４１１が得られる。画像４１１において、目４２１，４２２より下に鼻４２３がある。ユーザ位置検出部３１４は、人物検出用カメラ２１１で撮影した画像の目と鼻の位置を検出し、画像４１１のように目４２１，４２２より下に鼻４２３がある場合、ユーザ４０１はメニュー表２０１に対して正方向であると判定（検出）する。ここでは、目と鼻の位置の例で示しているが、それぞれ顔や体の違う部位を用いて判定してもよい。各部位の位置を時系列的に追跡処理することでもよい。また、目と眉の位置等から判定することで、後述の視線検出時に、片目の視線を利用するようにしてもよい。さらに、目に注目し瞬き等から向きを推定してもよい。
【００４３】
図４Ａは、ユーザがメニュー表に対して逆向きの場合の図である。
図４Ａにおいて、ユーザ４０１は、メニュー表２０１に記載された文字や図を逆方向から見ている。すなわち、対象物の平面上の所定の向き（天地方向）とユーザの向きは反対となっている。すなわち、ユーザ４０１は、メニュー表２０１の記載された文字や図を正しい方向の逆方向から見ている。このとき、人物検出用カメラ２１１でユーザ３０１の顔を撮影する。撮影した画像の一部として図４Ｂのような画像４１２が得られる。画像４１２において、目４２１，４２２より上に鼻４２３がある。ユーザ位置検出部３１４は、人物検出用カメラ２１１で撮影した画像の目と鼻の位置を検出し、画像４１２のように目４２１，４２２より上に鼻４２３がある場合、ユーザ４０１の顔の向きはメニュー表２０１と逆向きであると判定（検出）する。
【００４４】
図５Ａは、ユーザがメニュー表に対して横向き（左）の場合の図である。
図５Ａにおいて、ユーザ４０１は、メニュー表２０１の記載された文字や図を横方向（左側）、詳細には、文字や図が９０度左に回転した状態で見ている。このとき、人物検出用カメラ２１１でユーザ３０１の顔を撮影する。撮影した画像の一部として図５Ｂのような画像４１３が得られる。画像４１３において、目４２１，４２２より右に鼻４２３がある。ユーザ位置検出部３１４は、人物検出用カメラ２１１で撮影した画像の目と鼻の位置を検出し、画像４１３のように目４２１，４２２より右に鼻４２３がある場合、ユーザ４０１の顔の向きはメニュー表２０１に対して横向き（左）であると判定（検出）する。
【００４５】
図６Ａは、ユーザがメニュー表に対して横向き（右）の場合の図である。
図６Ａにおいて、ユーザ４０１は、メニュー表２０１の記載された文字や図を横方向（右側）、詳細には、文字や図が９０度左に回転した状態で見ている。このとき、人物検出用カメラ２１１でユーザ３０１の顔を撮影する。撮影した画像の一部として図６Ｂのような画像４１４が得られる。画像４１４において、目４２１，４２２より左に鼻４２３がある。ユーザ位置検出部３１４は、人物検出用カメラ２１１で撮影した画像の目と鼻の位置を検出し、画像４１３のように目４２１，４２２より左に鼻４２３がある場合、ユーザ４０１の顔の向きはメニュー表２０１に対して横向き（右）であると判定（検出）する。
【００４６】
なお、メニュー表は通常は平面で使用するが、折り畳みのメニュー表を開く際は、該メニュー表が立体的な形状となり、ユーザが立体的な形状となったメニュー表またはメニュー表に記載された対象物（商品）を見る場合がある。このような状態での使用においても本発明は適用可能である。また、対象物（商品）に対して正方向であるユーザが他の位置にいるユーザにメニュー表を渡す場合、該対象物（商品）の視線停留度合いの算出にも、本発明は適用可能である。
【００４７】
図７は、実施の形態に係る視線停留度合算出処理のフローチャートである。
ステップＳ５０１において、データベース生成部３１９は、記憶部３３１の一部の領域をバッファとして確保し、バッファを初期化する。
【００４８】
ステップＳ５０２において、ユーザ検出部３１２は、メニュー表２０１を見るユーザの有無および人数を検出する。詳細には、ユーザ検出部３１２は、人物検出用カメラ２１１が撮影した画像を受信し、当該画像から顔を検出して、ユーザの有無や人数を検出する。尚、ユーザ検出部３１２は、赤外線カメラ２２２で撮影された画像を受信し、当該画像からユーザの有無の検出やユーザの人数の検出をしてもよい。ここでは、メニュー表２０１を見ているユーザは１人であるとする。ユーザを検出した場合、制御はステップＳ５０３に進み、ユーザを検出しなかった場合、制御はステップＳ５０８に進む。
【００４９】
ステップＳ５０３において、検出対象メニュー検出部３１３は、ユーザがどのメニュー表を見ているか、すなわちユーザが見ているメニュー表の種類を検出する。検出対象メニュー検出部３１３は、例えば、複数のメニュー表の各メニュー表に人物検出カメラ２１１が取り付けられている場合、どの人物検出カメラ２１１によって撮影された画像でユーザが検出されたかによって、ユーザがどのメニュー表２０１を見ているか検出する。このとき、メニュー情報データベース３３２に人物検出カメラ２１１を識別する識別子とメニュー表２０１とを対応付けて記憶しておき、人物検出カメラ２１１は、撮影した画像のサーバ３０１への送信時に撮影した画像を含む送信データに人物検出カメラ２１１を識別する識別子を追記する。そして、検出対象メニュー検出部３１３は、送信データに追記された識別子から、ユーザがどのメニュー表２０１を見ているかを検出できる。
【００５０】
ステップＳ５０４において、ユーザ位置検出部３１４は、人物検出用カメラ２１１が撮影した画像から、メニュー表２０１の上下方向に対するユーザの位置（詳細には、ユーザの顔の向き（頭頂−顎方向））を検出する。すなわち、ユーザ位置検出部３１４は、メニュー表２０１に情報が掲載されている方向に対して、ユーザがどちらの向きから見ているかを検出する。例えば、本システムにとって、ユーザにより視認される対象である対象物（メニュー表２０１に掲載されている文字や図など）の向きが既知であれば、画像から検出したユーザの目と鼻の位置関係、もしくは顔の頭頂−顎方向の向きにより、ユーザがどちらの向きから見ているかを検出する。例えば、ユーザの目と鼻の位置関係、もしくは頭頂−顎方向が、メニュー表２０１に記載された文字を正方向から読める向きで検出されたか、文字を横向きや逆向きから見る向きで検出されたかを判断する。
【００５１】
ステップＳ５０５において、視線検出部３１５は、赤外線ＬＥＤ２２２より赤外光をユーザの顔に照射して、赤外線カメラ２２３によりユーザの顔を撮影し、撮影した画像を取得する。視線検出部３１５は、撮影した画像の目部の瞳孔および角膜反射像から検出し、瞳孔および角膜反射像の位置関係からユーザの視線方向を算出（検出）する。ＬＥＤは常にＯＮでもよいし、ユーザを検出した際のみにＯＮにしてもよい。ただし、他の視線検出技術、例えば可視光の視線検出技術を用いてもよい。
【００５２】
ステップＳ５０６において、対象商品検出部３１７は、ステップＳ５０４で算出した
視線方向から、メニュー表２０１に記載されている対象物のうちユーザが見ている（注目している）対象商品を検出する。対象商品検出部３１７は、メニュー情報データベース３３２を参照し、メニュー表２０１に記載されている対象商品の位置に基づいて算出したユーザの視線方向に対応する商品を検出する。また、別ステップとはせずに、視線検出処理でこのステップの処理を兼ねてもよい。
【００５３】
ステップＳ５０７において、対象商品検出部３１７は、ステップＳ５０６で検出した対象商品、すなわちユーザが見ている対象商品をバッファに格納する。
【００５４】
ステップＳ５０８において、停留時間算出部３１７は、対象商品検出部３１７の検出結果に基づいて、ユーザが対象商品を見ている時間（視線停留時間）を算出する。停留時間算出部３１７は、例えば、対象商品検出部３１７がある対象商品を検出してから当該対象商品以外の対象物を検出するまでの時間をカウントすることで、対象商品の視線停留時間を算出する。また、当該商品以外を見た後で、再び当該対象商品を見た場合には、その時間の総和を用いてもよい。
【００５５】
ステップＳ５０９において、停留度合算出部３１８は、視線停留時間に基づいて、対象商品の注目度を示す視線の停留度合（視線停留度合）を算出し、バッファに格納する。例えば、停留度合算出部３１８は、係数データベース３３３に記載されたメニュー表２０１に対するユーザの位置（向き）に対応する係数を視線停留時間に乗算することで、停留度合を算出することができる。停留度合算出部３１８は、係数データベース３３３に記載されたメニュー表２０１に対するユーザの位置（向き）に対応する係数と、係数データベース３３３に記載された対象商品の属性に対応する係数と、を視線停留時間に乗算することで、停留度合を算出してもよい。その際に、特定の係数だけを利用してもよい。また、2度同じ対象商品を見た場合に、正方向→逆と、逆→正方向で、見た向きの順番に応じて、異なる重み付けで計算しても良い。
【００５６】
例えば、メニュー表２０１とユーザの位置（向き）が０度（正方向）であり（図３Ａ）、対象商品が有名な図であるとする。このとき、図２において、メニュー表２０１とユーザの位置が０度（正方向）の時の係数はＦ、対象商品が有名な図（すなわち、図、文字の属性が「図（有名）」）である場合の係数はＰ１であり、該対象商品にＴｒ秒視線が停留していたとすると、停留度合Ｌ１は、下式で算出される。
Ｌ１＝Ｔｒ×Ｆ×Ｐ１
例えば、ＦとＰ１の係数がそれぞれ１の場合は、Ｌ１＝Ｔｒとなる。
【００５７】
また、例えば図２において、メニュー表２０１とユーザの位置（向き）が１８０度（逆向き）であり（図４Ａ）、対象商品が大きい文字且つ文字数が短く且つ文字の色が黒色であるとする。このとき、図２において、メニュー表２０１とユーザの位置が１８０度の時の係数はＲ、対象商品が大きい文字（図、文字の属性が「文字（大）」）である場合の係数はＴ１であり、対象商品の文字数が短い（図、文字の属性が「文字数短」）である場合の係数はＴｓ、対象商品の文字の色が黒色（図、文字の属性が「文字黒」）である場合の係数はＴｂである。該対象商品にＴｃ秒視線が停留していたとすると、停留度合Ｌ２は、下式で算出される。
Ｌ２＝Ｔｃ×Ｒ×Ｔ１×Ｔｓ×Ｔｂ
【００５８】
尚、上述の説明では、メニュー表を見ているユーザは１人であったが、複数のユーザが検出された場合、視線停留度算出システム１０１は、ユーザ毎に停留度合を算出する。
【００５９】
ステップＳ５１０において、データベース生成部３１９は、バッファに格納されたユーザが見ている対象商品と当該対象商品に対する算出された停留度合を、視線停留度合データベース（ＤＢ）３３４に追記して、視線停留度合データベース３３４を更新する。これにより、例えば、図８に示すような視線停留度合データベース３３４が生成される。
【００６０】
図８は、視線停留度合データベース３３４の例である。
視線停留度合データベース３３４は、項目として、商品、時間帯、性別、年齢層、および停留度合等を有する。視線停留度合データベース３３４には、商品、時間帯、性別、年齢層、および停留度合等が関連付けられて記載される。
【００６１】
商品は、商品の名前または商品を示す識別子である。
時間帯は、ユーザが商品を見ていた時間帯を示す。
性別は、ユーザの性別を示す。
年齢層は、ユーザが属する年齢層を示す。
停留度合は、算出された視線の停留度合である。
【００６２】
尚、時間帯や性別、年齢層等の情報は、例えば、人物検出用カメラ２１１等のカメラ画像を利用した画像認識処理などで自動的に判定するほかに、注文の受付け時や会計時に店員等により外部から若しくはサーバ３０１が有する入力装置によってサーバ３０１に入力される。データベース生成部３１９は、入力された情報と検出された商品と算出された停留度合とを関連付けて、視線停留度合データベース３３４に記載する。
【００６３】
例えば、色々な商品に対する、色々な人による注目度合を示すデータが集め、それらを比較すれば、どのような商品が、どのような人に対して注目を集めやすいかを分析できる。図８のような、視線停留度合データベース３３４を生成することで、分析を容易に行うことが出来る。このような分析は、例えば、マーケティングや、教育現場におけるグループ学習での理解度管理、広告の評価、安全標識の設置位置や表示形態等の検討などに利用することができる。
【００６４】
図７に戻り、説明を続ける。
ステップＳ５１１において、データベース生成部３１９は、確保していたバッファを解放（終了）する。
【００６５】
表示制御部３２０は、算出した停留度合を集計した結果に基づいて、停留度合をヒストグラムや円グラフ等で表示する。例えば、表示制御部３２０は、図９に示すような、時間帯毎の視線の停留度合をヒストグラムで表示装置（不図示）に表示する。
【００６６】
図１０は、他の実施の形態に係る視線停留度合算出システムの構成図である。
視線停留度合算出システム１１０１は、人物検出用カメラ１２１１、視線センサ１２２１、処理部１３１１、記憶部１３３１、および表示部１３４１を備える。視線停留度合算出システム１１０１は、例えば、タブレット端末等の可搬型の情報処理装置である。
【００６７】
視線センサ１２２１は、赤外線１２２２および赤外線カメラ１２２３を備える。赤外線１２２２および赤外線カメラ１２２３は、それぞれ赤外線２２２および赤外線カメラ２２３と同様の機能を有するため説明は省略する。
【００６８】
処理部１３１１は、ユーザ検出部１３１２、検出対象メニュー検出部１３１３、ユーザ位置検出部１３１４、視線検出部１３１５、対象商品検出部１３１６、停留時間算出部１３１７、停留度合算出部１３１８、データベース（ＤＢ）生成部１３１９、および表示制御部１３２０を備える。
【００６９】
記憶部１３３１は、メニュー情報データベース１３３２、係数データベース１３３３、および視線停留度合データベース１３３４を格納する。メニュー情報データベース１３３２、係数データベース１３３３、および視線停留度合データベース１３３４は、それぞれメニュー情報データベース３３２、係数データベース３３３、および視線停留度合データベース３３４と同様の内容のため説明は省略する。
【００７０】
ユーザ検出部１３１２、検出対象メニュー検出部１３１３、ユーザ位置検出部１３１４、視線検出部１３１５、それぞれユーザ検出部３１２、検出対象メニュー検出部３１３、ユーザ位置検出部３１４、視線検出部３１５と同様の機能を有するため説明は省略する。対象商品検出部１３１６、停留時間算出部１３１７、停留度合算出部１３１８は、それぞれ、対象商品検出部３１６、停留時間算出部３１７、停留度合算出部３１８と同様の機能を有するため説明は省略する。データベース生成部１３１９、および表示制御部１３２０は、それぞれデータベース生成部３１９、および表示制御部３２０と同様の機能を有するため説明は省略する。また、表示制御部１３２０は、さらに表示部１３４１に文字や図等の商品を表示する。
【００７１】
表示部１３４１は、文字や図等の商品を平面上に表示する。表示部１３４１は、例えば、液晶パネルである。文字や図は、平面上の対象物の一例である。
【００７２】
実施の形態の視線停留度算出システムによれば、対象物の上下方向に対する人物の向きを考慮した視線停留度合を算出できる。すなわち、対象物に対して視線が停留した度合をより実際に即して推定することができる。
【００７３】
図１１は、情報処理装置（コンピュータ）の構成図である。
実施の形態のサーバ１３０１および視線停留度合算出システム１１０１は、例えば、図１１に示すような情報処理装置１によって実現可能である。
【００７４】
情報処理装置１は、ＣＰＵ２、メモリ３、入力部４、出力部５、記憶部６、記録媒体駆動部７、及びネットワーク接続部８を備え、それらはバス９により互いに接続されている。
【００７５】
ＣＰＵ２は、情報処理装置１全体を制御する中央処理装置である。ＣＰＵ２は、処理部３１１，１３１１に対応する。
【００７６】
メモリ３は、プログラム実行の際に、記憶部６（あるいは可搬記録媒体１０）に記憶されているプログラムあるいはデータを一時的に格納するRead Only Memory(ＲＯＭ)やRandom Access Memory(ＲＡＭ)等のメモリである。ＣＰＵ２は、メモリ３を利用してプログラムを実行することにより、上述した各種処理を実行する。
【００７７】
この場合、可搬記録媒体１０等から読み出されたプログラムコード自体が実施の形態の機能を実現する。
【００７８】
入力部４は、例えば、キーボード、マウス、タッチパネル、カメラ、またはセンサ等であり、ユーザまたはオペレータからの指示や情報の入力、情報処理装置１で用いられるデータの取得等に用いられる。入力部４は、人物検出用カメラ２１１，１２１１、視線センサ２２１，１２２１に対応する。
【００７９】
出力部５は、例えば、ディスプレイ、またはプリンタ等である。出力部５は、ユーザまたはオペレータへの問い合わせや処理結果を出力したり、ＣＰＵ２による制御により動作する装置である。出力部５は、表示部１３４１に対応する。
【００８０】
記憶部６は、例えば、磁気ディスク装置、光ディスク装置、テープ装置等である。情報処理装置１は、記憶部６に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ３に読み出して使用する。メモリ３および記憶部６は、記憶部３３１、１３３１に対応する。
【００８１】
記録媒体駆動部７は、可搬記録媒体１０を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(ＣＤ−ＲＯＭ)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体１０に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ３に読み出して使用する。
【００８２】
ネットワーク接続部８は、Local Area Network（ＬＡＮ）やWide Area Network（ＷＡＮ）等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う。ネットワーク接続部８は、通信ネットワークを介して接続された装置へデータの送信または通信ネットワークを介して接続された装置からデータを受信する。
【００８３】
以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
ユーザにより視認される対象である対象物に視線を向けているユーザを撮影した画像から、該ユーザの顔の頭頂−顎方向の向きを検出する方向検出部と、
前記ユーザの視線方向を検出する視線検出部と、
前記視線方向に基づいて前記ユーザが見ている前記対象物を検出する対象物検出部と、
前記対象物を前記ユーザが見ている時間を算出する時間算出部と、
前記時間と前記対象物の上下方向の向きに対する前記ユーザの向きに基づいて、前記ユーザが見ている前記対象物に対する視線停留度合を算出する停留度合算出部と、
を備える視線停留度合算出システム。
（付記２）
前記対象物の上下方向の向きとは、該対象物に記されている文字の上下方向であることを特徴とする、付記１記載の視線停留度合算出システム。
（付記３）
前記停留度合算出部は、前記時間と前記対象物の向きに対する前記ユーザの向きに基づく係数とを乗算することにより、前記視線停留度合を算出することを特徴とする付記１記載の視線停留度合算出システム。
（付記４）
前記係数は、前記対象物の向きに対する前記ユーザの向きが反対の場合の方が前記対象物の向きに対する前記ユーザの向きが同じ場合より小さいことを特徴とする付記３記載の視線停留度合算出システム。
（付記５）
前記停留度合算出部は、前記時間と、前記対象物の向きに対する前記ユーザの向きに基づく第１の係数と、前記対象物の種類に応じた第２の係数とを乗算することにより、前記視線停留度合を算出することを特徴とする付記１記載の視線停留度合算出システム。
（付記６）
ユーザにより視認される対象である対象物に視線を向けているユーザを撮影した画像から、該ユーザの顔の頭頂−顎方向の向きを検出し、
前記ユーザの視線方向を検出し、
前記視線方向に基づいて前記ユーザが見ている前記対象物を検出し、
前記対象物を前記ユーザが見ている時間を算出し、
前記時間と前記対象物の上下方向の向きに対する前記ユーザの向きに基づいて、前記ユーザが見ている前記対象物に対する視線停留度合を算出する
処理を備える視線停留度合算出方法。
（付記７）
前記対象物の上下方向の向きとは、該対象物に記されている文字の上下方向であることを特徴とする、付記６記載の視線停留度合算出方法。
（付記８）
前記視線停留度合を算出する処理は、前記時間と前記対象物の向きに対する前記ユーザの向きに基づく係数とを乗算することにより、前記視線停留度合を算出することを特徴とする付記６記載の視線停留度合算出方法。
（付記９）
前記係数は、前記対象物の向きに対する前記ユーザの向きが反対の場合の方が前記対象物の向きに対する前記ユーザの向きが同じ場合より小さいことを特徴とする付記８記載の視線停留度合算出方法。
（付記１０）
前記視線停留度合を算出する処理は、前記時間と、前記対象物の向きに対する前記ユーザの向きに基づく第１の係数と、前記対象物の種類に応じた第２の係数とを乗算することにより、前記視線停留度合を算出することを特徴とする付記６記載の視線停留度合算出方法。
（付記１１）
コンピュータに、
ユーザにより視認される対象である対象物に視線を向けているユーザを撮影した画像から、該ユーザの顔の頭頂−顎方向の向きを検出し、
前記ユーザの視線方向を検出し、
前記視線方向に基づいて前記ユーザが見ている前記対象物を検出し、
前記対象物を前記ユーザが見ている時間を算出し、
前記時間と前記対象物の上下方向の向きに対する前記ユーザの向きに基づいて、前記ユーザが見ている前記対象物に対する視線停留度合を算出する
処理を実行させる視線停留度合算出プログラム。
（付記１２）
前記対象物の上下方向の向きとは、該対象物に記されている文字の上下方向であることを特徴とする、付記１１記載の視線停留度合算出プログラム。
（付記１３）
前記視線停留度合を算出する処理は、前記時間と前記対象物の向きに対する前記ユーザの向きに基づく係数とを乗算することにより、前記視線停留度合を算出することを特徴とする付記１１記載の視線停留度合算出プログラム。
（付記１４）
前記係数は、前記対象物の向きに対する前記ユーザの向きが反対の場合の方が前記対象物の向きに対する前記ユーザの向きが同じ場合より小さいことを特徴とする付記１３記載の視線停留度合算出プログラム。
（付記１５）
前記視線停留度合を算出する処理は、前記時間と、前記対象物の向きに対する前記ユーザの向きに基づく第１の係数と、前記対象物の種類に応じた第２の係数とを乗算することにより、前記視線停留度合を算出することを特徴とする付記１１記載の視線停留度合算出プログラム。
【符号の説明】
【００８４】
１０１    視線停留度合算出システム
２０１    メニュー表
２１１    人物検出用カメラ
２２１    視線センサ
２２２    赤外線ＬＥＤ
２２３    赤外線カメラ
３０１    サーバ
３１２    ユーザ検出部
３１３    検出対象メニュー検出部
３１４    ユーザ位置検出部
３１５    視線検出部
３１６    対象商品検出部
３１７    停留時間算出部
３１８    停留度合算出部
３１９    データベース生成部
３２０    表示制御部
３３１    記憶部
１１０１    視線停留度合算出システム
１２１１    人物検出用カメラ
１２２１    視線センサ
１２２２    赤外線ＬＥＤ
１２２３    赤外線カメラ
１３１２    ユーザ検出部
１３１３    検出対象メニュー検出部
１３１４    ユーザ位置検出部
１３１５    視線検出部
１３１６    対象商品検出部
１３１７    停留時間算出部
１３１８    停留度合算出部
１３１９    データベース生成部
１３２０    表示制御部
１３３１    記憶部
１３４１    表示部
【図１】
2017091210.tif 000003
【図２】
2017091210.tif 000004
【図３Ａ】
2017091210.tif 000005
【図３Ｂ】
2017091210.tif 000006
【図４Ａ】
2017091210.tif 000007
【図４Ｂ】
2017091210.tif 000008
【図５Ａ】
2017091210.tif 000009
【図５Ｂ】
2017091210.tif 000010
【図６Ａ】
2017091210.tif 000011
【図６Ｂ】
2017091210.tif 000012
【図７】
2017091210.tif 000013
【図８】
2017091210.tif 000014
【図９】
2017091210.tif 000015
【図１０】
2017091210.tif 000016
【図１１】
2017091210.tif 000017