(57)【特許請求の範囲】
【請求項１】
画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うために前記ユーザの関心度を推定するユーザインタフェース装置であって、
前記ユーザの視線方向を検出する視線方向検出部と、
前記複数のオブジェクトの各々に対する前記視線方向の滞留時間を視線滞留時間として算出する視線滞留時間算出部と、
前記オブジェクトごとに誘目強度を算出する誘目強度算出部と、
前記視線滞留時間が長いほど関心度が高くなるように、かつ前記誘目強度が小さいほど関心度が高くなるように、前記複数のオブジェクトの各々に対する前記ユーザの関心度を推定する関心度推定部とを備える
ユーザインタフェース装置。
【請求項２】
前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの画像の物理的な特徴に基づいて前記誘目強度を算出する
請求項１に記載のユーザインタフェース装置。
【請求項３】
前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの画像の複雑度に基づいて、複雑度が高いほど誘目強度が大きくなるように前記誘目強度を算出する
請求項２に記載のユーザインタフェース装置。
【請求項４】
前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの周囲の画像に対する当該オブジェクトの画像の異質度に基づいて、異質度が高いほど誘目強度が大きくなるように前記誘目強度を算出する
請求項２または３に記載のユーザインタフェース装置。
【請求項５】
前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの間の心理的距離が短いほど誘目強度が大きくなるように前記誘目強度を算出する
請求項１〜４のいずれか１項に記載のユーザインタフェース装置。
【請求項６】
前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクトを過去に視覚した回数が多いほど心理的距離が短くなるように前記心理的距離を算出する
請求項５に記載のユーザインタフェース装置。
【請求項７】
前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクトの作成者であるか否かに基づいて、前記ユーザが当該オブジェクトの作成者である場合に、前記ユーザが当該オブジェクトの作成者でない場合よりも心理的距離が短くなるように、前記心理的距離を算出する
請求項５または６に記載のユーザインタフェース装置。
【請求項８】
前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクト内に表示されている被写体であるか否かに基づいて、前記ユーザが被写体である場合に前記ユーザが被写体でない場合よりも心理的距離が短くなるように、前記心理的距離を算出する
請求項５〜７のいずれか１項に記載のユーザインタフェース装置。
【請求項９】
前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの物理的な位置関係に基づいて前記誘目強度を算出する
請求項１〜８のいずれか１項に記載のユーザインタフェース装置。
【請求項１０】
前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの間の物理的距離に基づいて、物理的距離が短いほど誘目強度が大きくなるように前記誘目強度を算出する
請求項９に記載のユーザインタフェース装置。
【請求項１１】
前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトおよび前記ユーザを結ぶ線と前記画面の法線とのなす角度に基づいて、角度が小さいほど誘目強度が大きくなるように前記誘目強度を算出する
請求項９または１０に記載のユーザインタフェース装置。
【請求項１２】
前記関心度推定部は、前記誘目強度が大きいほど短くなるように前記視線滞留時間を補正することにより補正視線滞留時間を算出し、算出した前記補正視線滞留時間が長いほど関心度が高くなるように前記関心度を推定する
請求項１〜１１のいずれか１項に記載のユーザインタフェース装置。
【請求項１３】
前記関心度推定部は、前記視線滞留時間から前記誘目強度に応じた時間を減算することにより前記補正視線滞留時間を算出する
請求項１２に記載のユーザインタフェース装置。
【請求項１４】
前記関心度推定部は、前記誘目強度に応じた値を用いて前記視線滞留時間を除算することにより前記補正視線滞留時間を算出する
請求項１２に記載のユーザインタフェース装置。
【請求項１５】
さらに、
推定された前記関心度に応じて、前記画面の表示制御を行う画面制御部を備える
請求項１〜１４のいずれか１項に記載のユーザインタフェース装置。
【請求項１６】
前記画面制御部は、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクトに関する情報を、前記画面に表示させる
請求項１５に記載のユーザインタフェース装置。
【請求項１７】
前記画面制御部は、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクト、または、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクトを除くオブジェクトの表示態様を変化させる
請求項１５に記載のユーザインタフェース装置。
【請求項１８】
前記ユーザインタフェース装置は、集積回路として構成されている
請求項１〜１７のいずれか１項に記載のユーザインタフェース装置。
【請求項１９】
画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにコンピュータが前記ユーザの関心度を推定する入力方法であって、
前記ユーザの視線方向を検出する視線方向検出ステップと、
前記複数のオブジェクトの各々に対する、検出された前記視線方向の滞留時間を、視線滞留時間として算出する視線滞留時間算出ステップと、
前記オブジェクトごとに誘目強度を算出する誘目強度算出ステップと、
前記視線滞留時間が長いほど関心度が高くなるように、かつ前記誘目強度が小さいほど関心度が高くなるように、前記複数のオブジェクトの各々に対する前記ユーザの関心度を推定する関心度推定ステップとを含む
入力方法。
【請求項２０】
請求項１９に記載の入力方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を推定するユーザインタフェース装置および入力方法に関するものである。
【背景技術】
【０００２】
現在の一般的な情報システムは、ユーザの「明示的指示」（例えば、ユーザがキーボードによって文字を入力する、リモコンのボタンを押す、またはポインティングデバイスで対象を指定するなど）に応じてシステムが反応し、情報を提示するインタラクション形態を採っている。しかし、こういった従来のインタラクション形態だけでは、操作の手間、難しさ、あるいは意図表現の面倒さのために、人とシステムとの間の円滑なコミュニケーションが困難となる場合があった。
【０００３】
そこで、近年、ユーザの「非明示的な指示」（例えば、ユーザの興味、関心の有無、または関心度など）を、カメラあるいはマイクなどのマルチモーダルなセンサ群を利用して推定するシステムが提案されている。例えば、非特許文献１では、映像コンテンツを視聴するユーザを撮影し、その表情から関心度を推定することで映像コンテンツに「Ｎｅｕｔｒａｌ」、「Ｐｏｓｉｔｉｖｅ」、あるいは「Ｎｅｇａｔｉｖｅ」というタグを付与し、番組推薦を行う際に有用な情報を提供するシステムが提案されている。また、特許文献１では、複数の対象画像を順次切り替えて再生表示する画像再生システムにおいて、再生表示時における周辺音（視聴者の歓声など）または視聴者の動き（顔の表情の変化など）に基づいて、対象画像の表示時間を動的に決定するシステムが示されている。これらの技術では、基本的に画面上に表示された単一のコンテンツに対する関心度を判定する。
【０００４】
一方で、画面上に表示された複数のコンテンツの各々に対するユーザの興味、関心、または意図を推定するための身体的反応の代表としては、視線を挙げることができる。視覚は人間が情報を取得する上で支配的である一方で中心視や有効視野は大きさが限られている。そのため、対象から情報を取得するためには注視点を対象に移動させる必要があり、その結果、興味、関心を持つ対象に対して視線が集中する。したがって、視線は人の興味、関心、または意図を反映しやすいといえる。
【０００５】
ところで、従来、特許文献２では、視線の滞留時間が長い対象をユーザの所望の対象と判断する装置が開示されている。この装置は、画面上に、選択肢である複数の画像を表示し、利用者が画像に向けた視線を、視線角度検出器で検出し、各々の画像における視線の滞留時間を計測し、その長さを比較し、利用者の意図する画像を選択する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１４１４８４号公報
【特許文献２】特開平９−１９０３２５号公報
【非特許文献】
【０００７】
【非特許文献１】宮原正典、青木政樹、滝口哲也、有木康雄：顔表情からの関心度推定に基づく映像コンテンツへのタギング、情報処理学会論文誌、Ｖｏｌ．４９、Ｎｏ．１０、ｐｐ．３６９４−３７０２、２００８
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献２に記載の技術では、視線滞留時間が長い対象に対する関心度が高いと推定され、視線滞留時間が長い対象に関連付けられたコマンドが実行される。しかしながら、視線滞留時間の長さにのみ基づいて、その人の関心度を推定した場合、関心度の推定精度が低いという課題がある。すなわち、人は、見ているものに必ずしも関心があるとは限らないので、視線滞留時間の長さが、その人の関心度と一致するとは限らない。
【０００９】
そこで、本発明は、上記従来の課題を解決するものであって、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を高精度に推定することができるユーザインタフェース装置および入力方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の一形態に係るユーザインタフェース装置は、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うために、前記ユーザの関心度を推定するユーザインタフェース装置であって、前記ユーザの視線方向を検出する視線方向検出部と、前記複数のオブジェクトの各々に対する前記視線方向の滞留時間を視線滞留時間として算出する視線滞留時間算出部と、前記オブジェクトごとに誘目強度を算出する誘目強度算出部と、前記視線滞留時間が長いほど関心度が高くなるように、かつ前記誘目強度が小さいほど関心度が高くなるように、前記複数のオブジェクトの各々に対する前記ユーザの関心度を推定する関心度推定部とを備える。
【００１１】
この構成によれば、各オブジェクトの視線滞留時間に加えて、各オブジェクトの誘目強度に基づいて、ユーザの関心度を推定することができる。オブジェクトの誘目強度が大きければ、ユーザは、そのオブジェクトに関心がなくても視線を向けてしまう。つまり、視線滞留時間は、そのオブジェクトに対するユーザの関心度だけではなく、そのオブジェクトの誘目強度に応じて変動する。したがって、誘目強度に基づいて関心度を推定することにより、視線滞留時間のうちユーザの関心度に関係しない時間が関心度の推定に与える影響を抑制することができる。つまり、オブジェクトに対するユーザの関心度を高精度に推定することが可能となる。そして、例えば、このように推定された関心度に基づいて、ユーザの関心度が高いオブジェクトのみを表示するなどの表示制御を行えば、消費電力を削減することも可能となる。
【００１２】
また、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの画像の物理的な特徴に基づいて前記誘目強度を算出することが好ましい。この場合に例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの画像の複雑度に基づいて、複雑度が高いほど誘目強度が大きくなるように前記誘目強度を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの周囲の画像に対する当該オブジェクトの画像の異質度に基づいて、異質度が高いほど誘目強度が大きくなるように前記誘目強度を算出してもよい。
【００１３】
これらの構成によれば、オブジェクトの物理的な特徴に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトの物理的な特徴（例えば、オブジェクトの複雑度または異質度など）に依存する。例えば、オブジェクトの画像の複雑度が高ければ、そのオブジェクトの内容を理解するために視線をそのオブジェクトに向ける時間が長くなる。したがって、オブジェクトの物理的な特徴に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
【００１４】
また、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの間の心理的距離が短いほど誘目強度が大きくなるように前記誘目強度を算出することが好ましい。この場合に例えば、前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクトを過去に視覚した回数が多いほど心理的距離が短くなるように前記心理的距離を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクトの作成者であるか否かに基づいて、前記ユーザが当該オブジェクトの作成者である場合に、前記ユーザが当該オブジェクトの作成者でない場合よりも心理的距離が短くなるように、前記心理的距離を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクト内に表示されている被写体であるか否かに基づいて、前記ユーザが被写体である場合に前記ユーザが被写体でない場合よりも心理的距離が短くなるように、前記心理的距離を算出してもよい。
【００１５】
これらの構成によれば、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの間の心理的距離（例えば、そのオブジェクトをユーザが視覚した回数、ユーザがそのオブジェクトの作成者であるか否か、そのオブジェクトにユーザが表示されているか否かなど）に依存する。したがって、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
【００１６】
また、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの物理的な位置関係に基づいて前記誘目強度を算出することが好ましい。この場合に例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの間の物理的距離に基づいて、物理的距離が短いほど誘目強度が大きくなるように前記誘目強度を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトおよび前記ユーザを結ぶ線と前記画面の法線とのなす角度に基づいて、角度が小さいほど誘目強度が大きくなるように前記誘目強度を算出してもよい。
【００１７】
これらの構成によれば、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの物理的な位置関係（例えば、オブジェクトとユーザとの物理的距離、またはユーザに対するオブジェクトの方向など）に依存する。例えば、オブジェクトとユーザとの物理的距離が短ければ、そのオブジェクトに視線を向ける時間が長くなる。したがって、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
【００１８】
また、前記関心度推定部は、前記誘目強度が大きいほど短くなるように前記視線滞留時間を補正することにより補正視線滞留時間を算出し、算出した前記補正視線滞留時間が長いほど関心度が高くなるように前記関心度を推定することが好ましい。この場合に例えば、前記関心度推定部は、前記視線滞留時間から前記誘目強度に応じた時間を減算することにより前記補正視線滞留時間を算出してもよい。また例えば、前記関心度推定部は、前記誘目強度に応じた値を用いて前記視線滞留時間を除算することにより前記補正視線滞留時間を算出してもよい。
【００１９】
これらの構成によれば、誘目強度に応じて補正した視線滞留時間に基づいて関心度を推定することができる。したがって、視線滞留時間からユーザの関心度に関係しない時間を取り除くことができるので、ユーザの関心度を高精度に推定することが可能となる。
【００２０】
また、さらに、推定された前記関心度に応じて、前記画面の表示制御を行う画面制御部を備えることが好ましい。この場合に例えば、画面制御部は、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクトに関する情報を、前記画面に表示させてもよい。また例えば、画面制御部は、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクト、または、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクトを除くオブジェクトの表示態様を変化させてもよい。
【００２１】
これらの構成によれば、推定された関心度に応じて、画面の表示制御を行うことができる。例えば、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトを除くオブジェクトの表示輝度を低下させることができ、複数のオブジェクトを表示するための消費電力を削減することも可能となる。
【００２２】
また、前記ユーザインタフェース装置は、集積回路として構成されてもよい。
【００２３】
なお、本発明は、このようなユーザインタフェース装置として実現することができるだけでなく、このようなユーザインタフェース装置が備える特徴的な構成部の動作をステップとする入力方法として実現することができる。また、本発明は、入力方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のコンピュータ読み取り可能な非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００２４】
本発明によれば、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を高精度に推定することができる。
【図面の簡単な説明】
【００２５】
【図１】図１は、本発明の実施の形態におけるユーザインタフェースシステムの機能構成を示すブロック図である。
【図２Ａ】図２Ａは、本発明の実施の形態におけるカメラの配置例を説明するための図である。
【図２Ｂ】図２Ｂは、本発明の実施の形態におけるカメラの設置例を説明するための図である。
【図２Ｃ】図２Ｃは、本発明の実施の形態におけるカメラの設置例を説明するための図である。
【図３】図３は、本発明の実施の形態における入力方法を示すフローチャートである。
【図４】図４は、本発明の実施の形態における視線方向検出処理を説明するための図である。
【図５】図５は、本発明の実施の形態における視線方向検出処理の流れを示すフローチャートである。
【図６】図６は、本発明の実施の形態における顔向きを検出する処理を説明するための図である。
【図７】図７は、本発明の実施の形態における視線方向基準面の算出について説明するための図である。
【図８】図８は、本発明の実施の形態における黒目中心の検出について説明するための図である。
【図９】図９は、本発明の実施の形態における黒目中心の検出について説明するための図である。
【図１０】図１０は、本発明の実施の形態におけるオブジェクトの表示例を示す図である。
【図１１Ａ】図１１Ａは、本発明の実施の形態における視線滞留時間の補正方法の一例を説明するための図である。
【図１１Ｂ】図１１Ｂは、本発明の実施の形態における視線滞留時間の補正方法の一例を説明するための図である。
【発明を実施するための形態】
【００２６】
ユーザは、誘目強度が大きいオブジェクトに視線を向けやすい。例えば、ユーザがあるオブジェクトを目にしたときに、ユーザは、何が描かれているかを理解するために当該オブジェクトの主要な部分を注視する。このとき、オブジェクトの主要な部分に、何が描かれているかを理解するために時間を要する情報が含まれていれば、視線滞留時間は長くなる。
【００２７】
つまり、視線滞留時間には、オブジェクトに対する関心度が高いから注視している時間に加えて、オブジェクトの誘目強度が大きいから視線を向けた時間が含まれる。そこで、本実施の形態におけるユーザインタフェース装置１０は、視線滞留時間だけではなく、各オブジェクトの誘目強度を利用して、ユーザの関心度を推定する。
【００２８】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２９】
図１は、本発明の実施の形態におけるユーザインタフェースシステム１００の機能構成を示すブロック図である。本実施の形態において、ユーザインタフェースシステム１００は、ユーザインタフェース装置１０と、表示装置２０と、カメラ３０とを備える。
【００３０】
以下、図１の各ブロックの機能を説明する。
【００３１】
ユーザインタフェース装置１０は、画面２６上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を推定する。
【００３２】
なお、オブジェクトとは、画面２６上の一部または全部に表示される情報である。具体的には、オブジェクトには、写真、映像またはテキストなどのコンテンツが含まれる。また、オブジェクトには、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）として利用される、アイコン、メニューまたはボタンなどが含まれる。
【００３３】
また、関心度とは、画面２６に表示されているオブジェクトの内容に対するユーザの関心度合いを示す値である。つまり、関心度とは、ユーザがオブジェクトの内容に対してどれだけ興味があるかを示す値である。
【００３４】
図１に示すように、ユーザインタフェース装置１０は、視線方向検出部１１と、視線滞留時間算出部１２と、誘目強度算出部１３と、関心度推定部１４とを備える。
【００３５】
視線方向検出部１１は、ユーザの視線方向を検出する。本実施の形態では、視線方向検出部１１は、カメラ３０によって生成された画像情報からユーザの視線方向を検出する。
【００３６】
視線方向とは、ユーザが注視している点とユーザの目とを結ぶ直線の方向である。つまり、視線方向とは、ユーザの画面２６上の注視点とユーザの目とを結ぶ直線の方向である。
【００３７】
視線滞留時間算出部１２は、画面２６上に表示された複数のオブジェクトの各々に対する視線方向の滞留時間を視線滞留時間として算出する。滞留時間とは、視線方向が一定の範囲内に滞留している時間である。具体的には、滞留時間とは、視線方向から得られる画面２６上の注視点が、例えばオブジェクトの表示領域内に連続して存在している時間の長さである。
【００３８】
誘目強度算出部１３は、オブジェクトごとに誘目強度を算出する。誘目強度とは、誘目性の強さを示す値である。つまり、誘目強度とは、視覚的な注意の引きやすさの程度を示す値である。
【００３９】
関心度推定部１４は、視線滞留時間が長いほど関心度が高くなるように、かつ誘目強度が小さいほど関心度が高くなるように、複数のオブジェクトの各々に対するユーザの関心度を推定する。
【００４０】
本実施の形態では、関心度推定部１４は、誘目強度が大きいほど短くなるように視線滞留時間が補正された補正視線滞留時間を算出する。そして、関心度推定部１４は、算出した補正視線滞留時間が長いほど関心度が高くなるように関心度を推定する。さらに、関心度推定部１４は、推定したユーザの関心度を表示装置２０に出力する。
【００４１】
表示装置２０は、複数のオブジェクトを画面２６に表示する。表示装置２０は、画面制御部２５と、画面２６とを備える。
【００４２】
画面制御部２５は、推定された関心度に応じて、画面２６の表示制御を行う。具体的には、画面制御部２５は、例えば、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトに関する情報を、画面２６に表示させる。画面制御部２５は、例えば、オブジェクトが映画コンテンツである場合、その映画コンテンツのストーリー、監督、あるいはキャストなどをオブジェクトに関する情報として表示する。
【００４３】
また例えば、画面制御部２５は、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトの表示態様を変化させてもよい。具体的には、画面制御部２５は、例えば、オブジェクトの表示面積を増大させる、表示輝度を増加させる、または鮮明度を増大させるなどにより、オブジェクトの表示態様を変化させればよい。
【００４４】
逆に、画面制御部２５は、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトを除くオブジェクトの表示態様を変化させてもよい。例えば、画面制御部２５は、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトを除くオブジェクトの表示輝度を低下させてもよい。
【００４５】
このように、画面制御部２５が関心度に応じて画面２６の表示制御を行うことにより、表示装置２０は、ユーザの明示的な指示がなくても、ユーザに適した情報を画面２６に表示することなどが可能となる。したがって、ユーザインタフェースシステム１００は、ユーザの利便性を向上させることが可能となる。また、表示装置２０は、ユーザの関心度に応じてオブジェクトの表示輝度を低下させることもでき、複数のオブジェクトを表示するための消費電力を削減することも可能となる。
【００４６】
画面２６は、例えば液晶ディスプレイパネルまたはプラズマディスプレイパネルなどである。画面２６には、画面制御部２５によって複数のオブジェクトが表示される。
【００４７】
カメラ３０は、ユーザを撮影して画像情報を生成する。具体的には、カメラ３０は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサを有する。そして、カメラ３０は、表示装置２０の画面２６の前方に存在するユーザを撮影する。
【００４８】
また、カメラ３０は、表示装置２０の周囲に設置される。具体的には、カメラ３０は、画面２６の前方に存在するユーザを撮影可能な位置に設置される。より具体的には、カメラ３０は、例えば図２Ａ〜図２Ｃに示す位置に設置される。
【００４９】
図２Ａ〜図２Ｃは、本発明の実施の形態におけるカメラ３０の設置例を説明するための図である。
【００５０】
例えば、図２Ａに示すように、カメラ３０は、表示装置２０の画面２６の上端部に取り付けられる。また例えば、図２Ｂに示すように、カメラ３０は、表示装置２０には取り付けられず、画面２６の近傍に設置されてもよい。また例えば、図２Ｃに示すように、カメラ３０は、表示装置２０が設置されている部屋の壁面または天井などに設置されてもよい。つまり、カメラ３０は、表示装置２０が設置されている空間内の適切な位置に設置されてもよい。
【００５１】
次に、以上のように構成されたユーザインタフェース装置１０の各種動作について説明する。
【００５２】
図３は、本発明の実施の形態における入力方法を示すフローチャートである。
【００５３】
まず、視線方向検出部１１は、ユーザの視線方向を検出する（Ｓ１０１）。その後、視線滞留時間算出部１２は、画面上に表示された複数のオブジェクトの各々に対する視線滞留時間を算出する（Ｓ１０２）。
【００５４】
また、誘目強度算出部１３は、オブジェクトごとに誘目強度を算出する（Ｓ１０３）。最後に、関心度推定部１４は、視線滞留時間が長いほど関心度が高くなるように、かつ誘目強度が小さいほど関心度が高くなるように、複数のオブジェクトの各々に対するユーザの関心度を推定する（Ｓ１０４）。
【００５５】
以下に、このような入力方法に含まれる各ステップの詳細を説明する。
【００５６】
１．視線方向の検出
まず、視線方向検出処理（Ｓ１０１）の詳細について、図４〜図９を用いて説明する。
【００５７】
図４は、本発明の実施の形態における視線方向検出処理を説明するための図である。
【００５８】
以下では、図４に示すように、表示装置２０の近傍に設置されたカメラ３０によって撮影された画像からユーザの視線方向を検出する処理について説明する。視線方向は、ユーザの顔の向き（以下、単に「顔向き」という）と、ユーザの目の中の黒目部分の方向（以下、単に「黒目方向」という）との組み合わせを基に計算される。
【００５９】
図５は、本発明の実施の形態における視線方向検出処理の流れを示すフローチャートである。
【００６０】
まず、視線方向検出部１１は、カメラ３０が画面２６の前方に存在するユーザを撮影した画像を取得する（Ｓ５０１）。続いて、視線方向検出部１１は、取得された画像から顔領域の検出を行う（Ｓ５０２）。次に、視線方向検出部１１は、検出された顔領域に対し、各基準顔向きに対応した顔部品特徴点の領域を当てはめ、各顔部品特徴点の領域画像を切り出す（Ｓ５０３）。
【００６１】
そして、視線方向検出部１１は、切り出された領域画像と、あらかじめ保持されたテンプレート画像との相関度を計算する（Ｓ５０４）。続いて、視線方向検出部１１は、各基準顔向きが示す角度を、計算された相関度の比に応じて重み付けして加算した重み付け和を求め、これを検出した顔領域に対応するユーザの顔向きとして検出する（Ｓ５０５）。
【００６２】
図６は、本発明の実施の形態における顔向きを検出する処理を説明するための図である。
【００６３】
視線方向検出部１１は、図６の（ａ）に示すように、各基準顔向きに対応した顔部品特徴点の領域を記憶している顔部品領域ＤＢから、顔部品特徴点の領域を読み出す。続いて、視線方向検出部１１は、図６の（ｂ）に示すように、撮影された画像の顔領域に対し顔部品特徴点の領域を基準顔向きごとに当てはめ、顔部品特徴点の領域画像を基準顔向きごとに切り出す。
【００６４】
そして、視線方向検出部１１は、図６の（ｃ）に示すように、切り出された領域画像と、顔部品領域テンプレートＤＢに保持されたテンプレート画像との相関度を基準顔向きごとに計算する。また、視線方向検出部１１は、このように計算された相関度が示す相関度合いの高さに応じて、基準顔向きごとの重みを算出する。例えば、視線方向検出部１１は、基準顔向きの相関度の総和に対する各基準顔向きの相関度の比を重みとして算出する。
【００６５】
続いて、視線方向検出部１１は、図６の（ｄ）に示すように、基準顔向きが示す角度に、算出された重みを乗算した値の総和を計算し、計算結果をユーザの顔向きとして検出する。
【００６６】
図６の（ｄ）の例では、基準顔向き＋２０度に対する重みが「０．８５」、正面向きに対する重みが「０．１４」、−２０度に対する重みが「０．０１」である。そこで、視線方向検出部１１は、顔向きを１６．８度（＝２０×０．８５＋０×０．１４＋（−２０）×０．０１）と検出する。
【００６７】
なお、図６では、視線方向検出部１１は、顔部品特徴点の領域画像を対象として相関度を計算したが、これに限らず例えば、顔領域全体の画像を対象として相関度を計算してもよい。また、顔向きを検出するその他の方法としては、顔画像から目・鼻・口などの顔部品特徴点を検出し、顔部品特徴点の位置関係から顔向きを計算する方法がある。
【００６８】
顔部品特徴点の位置関係から顔向きを計算する方法としては、１つのカメラから得られた顔部品特徴点に最も一致するように、あらかじめ用意した顔部品特徴点の３次元モデルを回転・拡大縮小してマッチングし、得られた３次元モデルの回転量から顔向きを計算する方法がある。また、顔部品特徴点の位置関係から顔向きを計算する他の方法としては、２台のカメラにより撮影された画像を基にステレオ視の原理を用いて、左右のカメラにおける顔部品特徴点位置の画像上のずれから各顔部品特徴点の３次元位置を計算し、得られた顔部品特徴点の位置関係から顔向きを計算する方法がある。例えば、両目および口の３次元座標点で張られる平面の法線方向を顔向きとして検出する方法などがある。
【００６９】
図５のフローチャートの説明に戻る。
【００７０】
視線方向検出部１１は、カメラ３０によって撮像されたステレオ画像を用いて、ユーザの左右の目頭の３次元位置を検出し、検出した左右の目頭の３次元位置を用いて視線方向基準面を算出する（Ｓ５０６）。続いて、視線方向検出部１１は、カメラ３０によって撮像されたステレオ画像を用いて、ユーザの左右の黒目中心の３次元位置を検出する（Ｓ５０７）。そして、視線方向検出部１１は、視線方向基準面と左右の黒目中心の３次元位置とを用いて、黒目方向を検出する（Ｓ５０８）。
【００７１】
そして、視線方向検出部１１は、検出されたユーザの顔向きと黒目方向とを用いて、ユーザの視線方向を検出する（Ｓ５０９）。
【００７２】
次に、黒目方向を検出する方法の詳細について、図７〜図９を用いて説明する。
【００７３】
本実施の形態では、視線方向検出部１１は、まず、視線方向基準面を算出する。続いて、視線方向検出部１１は、黒目中心の３次元位置を検出する。そして最後に、視線方向検出部１１は、黒目方向を検出する。
【００７４】
まず、視線方向基準面の算出について、説明する。
【００７５】
図７は、本発明の実施の形態における視線方向基準面の算出について説明するための図である。視線方向基準面とは、黒目方向を検出する際に基準となる面のことであり、図７に示すように顔の左右対称面と同一である。目頭の位置は、目尻、口角、または眉など他の顔部品に比べて、表情による変動が少なく、また誤検出が少ない。そこで、視線方向検出部１１は、顔の左右対称面である視線方向基準面を目頭の３次元位置を用いて算出する。
【００７６】
具体的には、視線方向検出部１１は、カメラ３０であるステレオカメラで撮影した２枚の画像（ステレオ画像）の各々において、顔検出モジュールと顔部品検出モジュールとを用いて、左右の目頭領域を検出する。そして、視線方向検出部１１は、検出した目頭領域の画像間の位置のずれ（視差）を利用して、左右の目頭それぞれの３次元位置を計測する。さらに、視線方向検出部１１は、図７に示すように、検出した左右の目頭の３次元位置を端点とする線分の垂直二等分面を視線方向基準面として算出する。
【００７７】
次に、黒目中心の検出に関して説明する。
【００７８】
図８および図９は、本発明の実施の形態における黒目中心の検出について説明するための図である。
【００７９】
対象物からの光が瞳孔を通って網膜に届き電気信号に変換され、その電気信号が脳に伝達されることにより、人は対象を視覚的に認識する。したがって、瞳孔の位置を用いれば、視線方向を検出することができる。しかし、日本人の虹彩は、黒または茶色であるので、画像処理によって瞳孔と虹彩とを判別することが難しい。そこで、本実施の形態では、瞳孔の中心と黒目（瞳孔および虹彩の両方を含む）の中心とがほぼ一致することから、視線方向検出部１１は、黒目方向を検出する際に、黒目中心の検出を行う。
【００８０】
視線方向検出部１１は、まず、撮影された画像から目尻の位置と目頭の位置とを検出する。そして、視線方向検出部１１は、図８のような、目尻と目頭とを含む領域から輝度が小さい領域を、黒目領域として検出する。具体的には、視線方向検出部１１は、例えば、輝度が所定閾値以下なる領域であって、所定の大きさよりも大きい領域を黒目領域として検出する。
【００８１】
次に視線方向検出部１１は、図８のような、第１領域１と第２領域とからなる黒目検出フィルタを黒目領域の任意の位置に設定する。そして、視線方向検出部１１は、第１領域１内の画素の輝度と第２領域内の画素の輝度との領域間分散が最大となるような黒目検出フィルタの位置を探索し、探索結果が示す位置を黒目中心として検出する。最後に、視線方向検出部１１は、上記と同様に、ステレオ画像における黒目中心の位置のずれを利用して、黒目中心の３次元位置を検出する。
【００８２】
さらに、黒目方向の検出について説明する。
【００８３】
視線方向検出部１１は、算出した視線方向基準面と、検出した黒目中心の３次元位置とを用いて、黒目方向を検出する。成人の眼球直径は、ほとんど個人差がないことが知られており、例えば日本人の場合約２４ｍｍである。したがって、基準となる方向（例えば正面）を向いたときの黒目中心の位置が分かっていれば、そこから現在の黒目中心の位置までの変位を求めることで黒目方向に変換算出することができる。
【００８４】
ユーザが正面を向いたときは、左右の黒目中心の中点が顔の中心、すなわち視線方向基準面上に存在することを利用して、視線方向検出部１１は、左右の黒目中心の中点と視線方向基準面との距離を算出することにより、黒目方向を検出する。
【００８５】
具体的には、視線方向検出部１１は、眼球半径Ｒと、視線方向基準面に対する左右の黒目中心を結んだ線分の中点（以下、「黒目中点」という）の距離ｄとを用いて、式１に示すように、顔向きに対する左右方向の回転角θを黒目方向として検出する。
【００８６】
θ＝ｓｉｎ−１（ｄ／Ｒ）        （式１）
Ｒ：眼球半径（１２ｍｍ）
ｄ：視線方向基準面と黒目中点との距離
【００８７】
以上のように、視線方向検出部１１は、視線方向基準面と黒目中心の三次元位置とを用いて、黒目方向を検出する。そして、視線方向検出部１１は、検出された顔向きと黒目方向とを用いて、実空間におけるユーザの視線方向を検出する。
【００８８】
２．視線滞留時間の算出
次に、視線滞留時間算出処理（Ｓ１０２）の詳細について説明する。
【００８９】
視線滞留時間算出部１２は、視線方向検出部１１によって検出された視線方向に基づき、画面２６上の各オブジェクトに対する視線方向の滞留時間を算出する。つまり、視線滞留時間算出部１２は、画面２６上のオブジェクトを見るために視線方向が滞留した時間をオブジェクトごとに算出する。
【００９０】
より具体的には、視線滞留時間算出部１２は、例えば、ユーザの目の３次元位置を取得する。そして、視線滞留時間算出部１２は、ユーザの目の３次元位置から視線方向に延びる直線と画面２６との交点を注視点として算出する。さらに、視線滞留時間算出部１２は、オブジェクトごとに、当該オブジェクトの表示領域内に注視点が連続して存在している時間を視線滞留時間として算出する。
【００９１】
なお、視線滞留時間算出部１２は、必ずしも上記のように視線滞留時間を算出する必要はない。例えば、視線滞留時間算出部１２は、オブジェクトごとに、当該オブジェクトの表示領域を中心とした一定範囲の領域内に注視点が連続して存在している時間を視線滞留時間として算出してもよい。また例えば、視線滞留時間算出部１２は、注視点がオブジェクトの表示領域外に移動した場合であっても、予め定められた時間以内に当該表示領域内に戻ってきた場合には、当該領域内に注視点が連続して存在しているとみなして、視線滞留時間を算出してもよい。
【００９２】
３．誘目強度の算出
次に、誘目強度算出処理（Ｓ１０３）の詳細について説明する。
【００９３】
上述したように、誘目強度とは、視覚的な注意の引きやすさの程度を示す。具体的には、誘目強度とは、画面に表示された各オブジェクトの画像がどれだけユーザの視線をひきやすいかを示す値である。
【００９４】
一般的に、誘目強度は、画像の物理的な特徴に依存する。例えば、画像の色あるいはテクスチャが高明度あるいは高彩度であるほど、その画像は、潜在的にユーザの視線をひきやすい。また、周囲の画像と物理的特徴が異質であればあるほど、その画像は、ユーザの視線をひきやすい。
【００９５】
さらには、誘目強度は、ユーザとオブジェクトとの間の心理的距離にも依存する。例えば、ユーザと関係性の深い画像ほど、または、視覚回数が多い画像ほど、その画像は、ユーザの視線をひきやすい。
【００９６】
なお、心理的距離とは、ユーザとオブジェクトとの間の心理的な関係性を示す。心理的距離は、ユーザとオブジェクトとの間の心理的な関係性が高いほど短くなる。
【００９７】
また、誘目強度は、ユーザとオブジェクトとの物理的な位置関係にも依存する。つまり、誘目強度は、ユーザが存在している位置と、オブジェクトが表示されている位置との位置関係にも影響される。例えば、ユーザの正面に表示された画像は、ユーザの視線をひきやすい。
【００９８】
そこで、誘目強度算出部１３は、オブジェクトｉの誘目強度Ａ（ｉ）を、式２のように算出する。
【００９９】
Ａ（ｉ）＝ａ１×Ａｉｍａｇｅ（ｉ）＋ａ２×Ａｐｓｙ（ｉ）＋ａ３×Ａｐｈｙ（ｉ）        （式２）
【０１００】
ここで、Ａｉｍａｇｅ（ｉ）は、オブジェクトｉの画像の物理的特徴に基づく誘目強度を表す。つまり、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトの画像の物理的な特徴に基づいて誘目強度を算出する。
【０１０１】
また、Ａｐｓｙ（ｉ）は、ユーザとオブジェクトｉと間の心理的距離に基づく誘目強度を表す。つまり、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトとユーザとの間の心理的距離が短いほど誘目強度が大きくなるように誘目強度を算出する。
【０１０２】
また、Ａｐｈｙ（ｉ）は、ユーザとオブジェクトｉとの物理的な位置関係に基づく誘目強度を表す。つまり、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出する。
【０１０３】
なお、ａ１、ａ２、およびａ３は、各項が誘目強度に与える影響を調整するための調整パラメータである。ａ１、ａ２、およびａ３には、予め定められた０以上の数値が設定される。例えば、次式３のように、ａ２およびａ３に０が設定され、ａ１に０より大きい数値が設定されてもよい。つまり、ａ１、ａ２、およびａ３の少なくとも１つに、０よりも大きな数値が設定されればよい。
【０１０４】
ａ２＝０、ａ３＝０        （式３）
【０１０５】
つまり、誘目強度算出部１３は、オブジェクトの画像の物理的な特徴、オブジェクトとユーザとの間の心理的距離、およびオブジェクトとユーザとの間の物理的な位置関係の少なくとも１つに基づいて、誘目強度を算出すればよい。
【０１０６】
ここで、Ａｉｍａｇｅ（ｉ）、Ａｐｓｙ（ｉ）、およびＡｐｈｙ（ｉ）の各々は、次式４〜６で定義される。
【０１０７】
Ａｉｍａｇｅ（ｉ）＝ｉ１×ｃｏｍｐｌｅｘ（ｉ）＋ｉ２×ｈｅｔｅｒｏ（ｉ）              （式４）
Ａｐｓｙ（ｉ）＝ｓ１×ｅ＿ｓｔ（ｉ）＋ｓ２×ｅ＿ｓｂ（ｉ）＋ｓ３×ｅ＿ｗ（ｉ）        （式５）
Ａｐｈｙ（ｉ）＝ｈ１／ｄｉｓｔ（ｉ）＋ｈ２／ａｎｇ（ｉ）        （式６）
【０１０８】
なお、ｉ１、ｉ２、ｓ１、ｓ２、ｓ３、ｈ１、およびｈ２は、各項が誘目強度に与える影響を調整するための調整パラメータである。ｉ１、ｉ２、ｓ１、ｓ２、ｓ３、ｈ１、およびｈ２には、予め定められた０以上の数値が設定される。
【０１０９】
ここで、式４において、ｃｏｍｐｌｅｘ（ｉ）は、オブジェクトｉの画像の複雑度を表す。したがって、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトの画像の複雑度に基づいて、複雑度が高いほど誘目強度が大きくなるように誘目強度を算出する。
【０１１０】
また、ｈｅｔｅｒｏ（ｉ）は、オブジェクトｉの周囲の画像に対するオブジェクトｉの画像の異質度を表す。したがって、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトの周囲の画像に対する当該オブジェクトの画像の異質度に基づいて、異質度が高いほど誘目強度が大きくなるように誘目強度を算出する。
【０１１１】
また、式５において、ｅ＿ｓｔ（ｉ）は、ユーザがオブジェクトｉの作成者であれば「１」となり、そうでなければ「０」となる。つまり、誘目強度算出部１３は、オブジェクトごとに、ユーザが当該オブジェクトの作成者であるか否かに基づいて、ユーザが当該オブジェクトの作成者である場合に、ユーザが当該オブジェクトの作成者でない場合よりも心理的距離が短くなるように、心理的距離を算出する。
【０１１２】
この場合、ユーザインタフェース装置１０は、例えば、ユーザから当該ユーザを識別するための識別情報の入力を予め受け付けておき、その識別情報に基づいて、ユーザがオブジェクトの作成者であるか否かを判定すればよい。なお、オブジェクトの作成者を識別するための情報は、例えば、そのオブジェクトに対応付けて予め記憶部（図示せず）に記憶されていればよい。
【０１１３】
また、ｅ＿ｓｂ（ｉ）は、ユーザがオブジェクトｉ内に表示されている被写体であれば「１」となり、そうでなければ「０」となる。つまり、誘目強度算出部１３は、オブジェクトごとに、ユーザが当該オブジェクト内に表示されている被写体であるか否かに基づいて、ユーザが被写体である場合にユーザが被写体でない場合よりも心理的距離が短くなるように、心理的距離を算出する。
【０１１４】
この場合も、ユーザインタフェース装置１０は、例えば、ユーザから当該ユーザを識別するための識別情報の入力を予め受け付けておき、その識別情報に基づいて、ユーザが当該オブジェクト内に表示されている被写体であるか否かを判定すればよい。なお、オブジェクト内に表示されている被写体を識別するための情報は、例えば、そのオブジェクトに対応付けて予め記憶部（図示せず）に記憶されていればよい。
【０１１５】
また、ｅ＿ｗ（ｉ）はユーザがオブジェクトｉを視覚した回数（以下、単に「視覚回数」という）を表す。したがって、誘目強度算出部１３は、オブジェクトごとに、ユーザが当該オブジェクトを過去に視覚した回数が多いほど心理的距離が短くなるように心理的距離を算出する。
【０１１６】
また、式６において、ｄｉｓｔ（ｉ）は、ユーザとオブジェクトｉとの物理的な距離を表す。したがって、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトと前記ユーザとの間の物理的距離に基づいて、物理的距離が短いほど誘目強度が大きくなるように誘目強度を算出する。
【０１１７】
また、ａｎｇ（ｉ）は、オブジェクトｉおよびユーザを結ぶ線と、画面２６の法線とのなす角度を表す。したがって、誘目強度算出部１３は、オブジェクトごとに、当該オブジェクトおよびユーザを結ぶ線と画面２６の法線とのなす角度に基づいて、角度が小さいほど誘目強度が大きくなるように誘目強度を算出する。
【０１１８】
ここで、オブジェクトｉの画像の複雑度であるｃｏｍｐｌｅｘ（ｉ）の算出方法について説明する。
【０１１９】
まず、誘目強度算出部１３は、オブジェクトｉの画像を既知の画像処理手法により領域分割する。そして、誘目強度算出部１３は、領域分割によって得られる領域の数に応じて、領域の数が多いほど複雑度が高くなるように、ｃｏｍｐｌｅｘ（ｉ）を算出する。
【０１２０】
具体的には、誘目強度算出部１３は、例えば、特許文献３（特開２００７−１８０２５号公報）に開示されている方法を用いて、複雑度を算出すればよい。もちろん、この特許文献３に示されている方法は、画像の複雑度の算出方法の一例にすぎず、本発明はこれに限られるものではない。
【０１２１】
次に、オブジェクトｉの周囲の画像に対するオブジェクトｉの画像の異質度であるｈｅｔｅｒｏ（ｉ）の算出方法について説明する。
【０１２２】
誘目強度算出部１３は、オブジェクトｉの周囲の画像における色およびテクスチャと、オブジェクトｉの画像における色およびテクスチャとの間の相違度を異質度として算出する。各画像における色およびテクスチャは、例えば、当該画像中における最大の領域を占有する色およびテクスチャである。
【０１２３】
具体的には、誘目強度算出部１３は、例えば、非特許文献２（「田中昭二、井口征司、岩舘祐一、中津良平：画像領域の物理的特徴に基づく誘目度評価モデル、電子情報通信学会論文誌Ａ、Ｖｏｌ．Ｊ８３−Ａ、Ｎｏ．５、ｐｐ．５７６−５８８、２０００」）に開示されている方法を用いて、異質度を算出すればよい。もちろん、この非特許文献２に示されている方法は、異質度の算出方法の一例にすぎず、本発明はこれに限られるものではない。
【０１２４】
以下に、非特許文献２に開示されている異質度の算出方法について説明する。
【０１２５】
物理特徴量の異質度は、特徴量と全領域の平均特徴量との差をｄ、ｄの平均値をｄｍ、ｄの標準偏差をｓｔｄとしたとき、次式７で算出される。
【０１２６】
Ｈ（ｄ，ｄｍ，ｓｔｄ）＝｜（ｄ−ｄｍ）／ｓｔｄ｜        （式７）
【０１２７】
例えば、誘目強度算出部１３は、オブジェクトｉの画像の領域の平均色と周囲のオブジェクトの画像も含めた画面全体の平均色との色差と、色差平均と、色差の標準偏差とを算出する。そして、誘目強度算出部１３は、算出結果を式７に代入して、オブジェクトｉの画像の色の異質度ＨＣ（ｉ）を算出する。
【０１２８】
なお、色差は、例えば、ＣＩＥ（国際照明委員会）が策定したＣＩＥ  Ｌ＊ａ＊ｂ＊（エルスター、エースター、ビースター）色空間における色差式を用いて算出されればよい。
【０１２９】
また例えば、誘目強度算出部１３は、テクスチャの特徴量として、非特許文献３（Ｂ．Ｓ．Ｍａｎｊｕｎａｔｈ、Ｗ．Ｙ．Ｍａ：Ｔｅｘｔｕｒｅ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｂｒｏｗｓｉｎｇ  ａｎｄ  ｒｅｔｒｉｖａｌ  ｏｆ  ｉｍａｇｅ  ｄａｔａ、ＩＥＥＥ  Ｔｒａｎｓ．Ｐａｔｔｅｒｎ  Ａｎａｌ．ａｎｄ  Ｍａｃｈ．Ｉｎｔｅｌｌ．、Ｖｏｌ．１８、Ｎｏ．８、ｐｐ．８３７−８４２、１９９６）に記載のテクスチャ特徴ベクトルを算出してもよい。この場合、誘目強度算出部１３は、テクスチャの特徴量間の差として、テクスチャ特徴ベクトル間のユークリッド距離を算出する。そして、誘目強度算出部１３は、オブジェクトｉの画像のベクトルとオブジェクトｉの周囲のオブジェクトの画像も含めた画面全体の平均ベクトルとの距離、距離の平均、および距離の標準偏差を式７に代入して、オブジェクトｉの画像のテクスチャの異質度ＨＴ（ｉ）を算出する。
【０１３０】
４．関心度の推定
次に、関心度推定処理（Ｓ１０４）の詳細について説明する。
【０１３１】
関心度推定部１４は、視線滞留時間が長いほど関心度が高くなるように、かつ誘目強度が小さいほど関心度が高くなるように、画面２６に表示された複数のオブジェクトの各々に対するユーザの関心度を推定する。本実施の形態では、関心度推定部１４は、まず、誘目強度が大きいほど短くなるように視線滞留時間を補正することにより、補正視線滞留時間を算出する。そして、関心度推定部１４は、算出した補正視線滞留時間が長いほど関心度が高くなるように関心度を推定する。
【０１３２】
４−１．視線滞留時間の補正
まず、視線滞留時間の補正について、図１０〜図１１Ｂを用いて説明する。
【０１３３】
図１０は、本発明の実施の形態におけるオブジェクトの表示例を示す図である。
【０１３４】
以下では、図１０に示すように、１５個のオブジェクトが画面２６に表示されている場合について説明する。なお、図１０において、画面２６に表示されている数字は、各オブジェクトの識別子（ｉ）と一致している。
【０１３５】
図１１Ａおよび図１１Ｂは、本発明の実施の形態における視線滞留時間の補正方法の一例を説明するための図である。具体的には、図１１Ａは、視線滞留時間から誘目強度に応じた時間を減算することで、補正視線滞留時間を算出する方法を説明するための図である。
【０１３６】
図１１Ａでは、関心度推定部１４は、以下の式８に従って補正視線滞留時間を算出する。すなわち、関心度推定部１４は、視線滞留時間から誘目強度に応じた時間を減算することにより、補正視線滞留時間を算出する。
【０１３７】
Ｔｃ（ｉ）＝Ｔ（ｉ）−Ａ（ｉ）×ｇａ    （ｇａ＞０）        （式８）
【０１３８】
ここで、Ｔ（ｉ）は、オブジェクトｉに対する視線滞留時間を表す。また、Ｔｃ（ｉ）は、オブジェクトｉに対する補正視線滞留時間を表す。また、ｇａは、補正量を調整するための調整パラメータである。
【０１３９】
なお、関心度推定部１４は、必ずしも視線滞留時間から誘目強度に応じた時間を減算することにより、補正視線滞留時間を算出する必要はない。例えば、関心度推定部１４は、誘目強度に応じた値を用いて視線滞留時間を除算することにより、補正視線滞留時間を算出してもよい。
【０１４０】
図１１Ｂは、視線滞留時間を誘目強度に応じた値で除算することで、補正視線滞留時間を算出する方法を説明するための図である。図１１Ｂでは、関心度推定部１４は、以下の式９に従って補正視線滞留時間を算出する。すなわち、関心度推定部１４は、誘目強度に応じた値を用いて視線滞留時間を除算することにより、補正視線滞留時間を算出する。つまり、関心度推定部１４は、誘目強度に応じて視線滞留時間を収縮させることで、視線滞留時間を補正する。
【０１４１】
Ｔｃ（ｉ）＝Ｔ（ｉ）／Ａ（ｉ）×ｇｂ    （ｇｂ＞０）        （式９）
【０１４２】
ここで、ｇｂは、補正量を調整するための調整パラメータである。
【０１４３】
このように、関心度推定部１４は、誘目強度が大きいほど短くなるように視線滞留時間を補正することにより、補正視線滞留時間を算出する。
【０１４４】
４−２．関心度の推定
次に、関心度推定部１４は、上記により算出された補正視線滞留時間を用いて、次式１０のように関心度を推定する。すなわち、関心度推定部１４は、補正視線滞留時間が長いほど関心度が高くなるように関心度を推定する。
【０１４５】
Ｉ（ｉ）＝Ｔｃ（ｉ）×ｋ    （ｋ＞０）        （式１０）
【０１４６】
ここで、Ｉ（ｉ）は関心度を表す。また、ｋは、関心度の値の大きさを調整するための調整パラメータである。
【０１４７】
以上のように、本実施の形態におけるユーザインタフェース装置１０によれば、ユーザの関心度を推定する際に、視線滞留時間をそのまま用いるのでなく、オブジェクトの誘目強度を用いて視線滞留時間を補正した補正視線滞留時間を用いる。これにより、視線滞留時間を用いてユーザの関心度を推定するときに、視線滞留時間に含まれる、関心度に関係がない時間（例えば、画像が複雑で一見しただけでは内容を理解することが難しいためにオブジェクトを注視している時間、あるいは刺激強度が強いからオブジェクトを注視している時間など）の影響を抑制することができる。
【０１４８】
すなわち、ユーザインタフェース装置１０は、各オブジェクトの誘目強度に基づいて、ユーザの関心度を推定することができる。オブジェクトの誘目強度が大きければ、ユーザは、そのオブジェクトに関心がなくても視線を向けてしまう。つまり、視線滞留時間は、そのオブジェクトに対するユーザの関心度だけではなく、そのオブジェクトの誘目強度に応じて変動する。したがって、ユーザインタフェース装置１０は、誘目強度に基づいて関心度を推定することにより、視線滞留時間のうちユーザの関心度に関係しない時間が、関心度の推定に与える影響を抑制することができる。つまり、ユーザインタフェース装置１０は、オブジェクトに対するユーザの関心度を高精度に推定することが可能となる。
【０１４９】
また、ユーザインタフェース装置１０は、オブジェクトの物理的な特徴に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトの物理的な特徴（例えば、オブジェクトの複雑度または異質度など）に依存する。例えば、オブジェクトの画像の複雑度が高ければ、そのオブジェクトの内容を理解するために視線をそのオブジェクトに向ける時間が長くなる。したがって、ユーザインタフェース装置１０は、オブジェクトの物理的な特徴に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
【０１５０】
また、ユーザインタフェース装置１０は、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの間の心理的距離（例えば、そのオブジェクトをユーザが視覚した回数、ユーザがそのオブジェクトの作成者であるか否か、そのオブジェクトにユーザが表示されているか否かなど）に依存する。したがって、ユーザインタフェース装置１０は、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
【０１５１】
また、ユーザインタフェース装置１０は、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの物理的な位置関係（例えば、オブジェクトとユーザとの物理的距離、またはユーザに対するオブジェクトの方向など）に依存する。例えば、オブジェクトとユーザとの物理的距離が短ければ、そのオブジェクトに視線を向ける時間が長くなる。したがって、ユーザインタフェース装置１０は、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
【０１５２】
また、ユーザインタフェース装置１０は、誘目強度に応じて補正した視線滞留時間に基づいて関心度を推定することができる。したがって、ユーザインタフェース装置１０は、視線滞留時間からユーザの関心度に関係しない時間を取り除くことができるので、ユーザの関心度を高精度に推定することが可能となる。
【０１５３】
以上、本発明の一態様に係るユーザインタフェースシステム１００について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本発明の範囲内に含まれる。
【０１５４】
例えば、上記実施の形態において、視線方向検出部１１は、カメラ３０によって生成された画像情報に基づいて、視線方向を検出したが、もちろん画像情報に基づいて視線方向を検出する方法に限られない。他の視線方向を検出する方法としては、例えば、ユーザに装着された計測機器を用いて視線方向を検出する方法（第１の方法）、または赤外光源など非接触な機器を用いて視線方向を検出する方法（第２の方法）などがある。
【０１５５】
第１の方法には、頭部に取り付けられた電極から取得された角膜−網膜の電位変化から眼球運動を検出するＥＯＧ（Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｐｈｙ）法、あるいはコイルを組み込んだコンタクトレンズに生じた誘導電流から眼球運動を検出するサーチコイル法などが存在する。また、第１の方法には、ヘルメットあるいは眼鏡のような装着型のアイカメラを用いて、視線方向を検出する方法もある。
【０１５６】
第２の方法には、近赤外の点光源を目に照射し、角膜で反射されたプルキニエ像と瞳孔の位置から視線方向を推定する角膜反射法などがある。
【０１５７】
また、上記実施の形態において、関心度推定部１４は、補正視線滞留時間を算出していたが、必ずしも補正視線滞留時間を算出する必要はない。例えば、関心度推定部１４は、視線滞留時間に基づいて関心度を推定した後に、誘目強度を用いて、推定された関心度を補正してもよい。
【０１５８】
また、上記実施の形態において、表示装置２０が画面制御部２５を備えていたが、ユーザインタフェース装置１０が画面制御部２５を備えてもよい。この場合、ユーザインタフェース装置１０は、画面制御装置と呼ばれてもよい。また、ユーザインタフェース装置１０は、画面制御部２５に加えて、画面２６を備えてもよい。この場合、ユーザインタフェース装置１０は、表示装置と呼ばれてもよい。
【０１５９】
また、上記実施の形態において、表示装置２０は、推定された関心度に応じて、画面の表示制御を行っていたが、必ずしも画面の表示制御を行う必要はない。例えば、表示装置２０は、関心度に応じて音を出力してもよい。具体的には、表示装置２０は、例えば、複数のオブジェクトのうち関心度が最も高いオブジェクトに関する情報を示す音（例えば機械音声）を出力してもよい。
【０１６０】
また、図２Ａ〜図２Ｃにおいて、ユーザインタフェース装置１０は、表示装置２０の外部に配置されていたが、表示装置２０に内蔵されてもよい。
【０１６１】
なお、本発明の一態様に係るユーザインタフェース装置は、以下のように変形することもできる。
【０１６２】
（１）上記のユーザインタフェース装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたは前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。
【０１６３】
（２）上記のユーザインタフェース装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１６４】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１６５】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０１６６】
（３）上記のユーザインタフェース装置を構成する構成要素の一部または全部は、ユーザインタフェース装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１６７】
（４）本発明は、上記に示す入力方法であるとしてもよい。また、これらの入力方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１６８】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（登録商標））、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラムまたは前記デジタル信号であるとしてもよい。
【０１６９】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１７０】
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
【０１７１】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１７２】
（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０１７３】
本発明の一態様に係るユーザインタフェース装置は、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うユーザインタフェース装置として有用である。また、デジタルサイネージにおける広告効果の測定等の用途にも応用できる。
【符号の説明】
【０１７４】
１０    ユーザインタフェース装置
１１    視線方向検出部
１２    視線滞留時間算出部
１３    誘目強度算出部
１４    関心度推定部
２０    表示装置
２５    画面制御部
２６    画面
３０    カメラ
１００    ユーザインタフェースシステム
【図１】
0005602155.tif 000002
【図２Ａ】
0005602155.tif 000003
【図２Ｂ】
0005602155.tif 000004
【図２Ｃ】
0005602155.tif 000005
【図３】
0005602155.tif 000006
【図４】
0005602155.tif 000007
【図５】
0005602155.tif 000008
【図６】
0005602155.tif 000009
【図７】
0005602155.tif 000010
【図８】
0005602155.tif 000011
【図９】
0005602155.tif 000012
【図１０】
0005602155.tif 000013
【図１１Ａ】
0005602155.tif 000014
【図１１Ｂ】
0005602155.tif 000015