(57)【要約】【課題】表示画面に対する視線の検出精度に応じて、適切に視線による操作を行うことが可能な方法を提案する。【解決手段】表示画面に注がれる操作者の視線を検出する視線検出部と、前記視線検出部により検出された視線の検出精度を判定する検出精度判定部と、前記検出精度判定部により判定された検出精度に応じて、前記表示画面に表示する表示オブジェクトの表示形態を異ならせる表示制御部と、を備える、情報処理装置。【選択図】図１
2015152938.tif 000002
【特許請求の範囲】
【請求項１】
表示画面に注がれる操作者の視線を検出する視線検出部と、
前記視線検出部により検出された視線の検出精度を判定する検出精度判定部と、
前記検出精度判定部により判定された検出精度に応じて、前記表示画面に表示する表示オブジェクトの表示形態を異ならせる表示制御部と、
を備える、情報処理装置。
【請求項２】
前記表示制御部は、前記検出精度に応じて、前記表示画面に表示する表示オブジェクトの位置、大きさ、形の少なくともいずれかを異ならせる、
請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、前記表示画面において前記検出精度が高いと判定された領域に、前記表示オブジェクトを表示させる、
請求項１に記載の情報処理装置。
【請求項４】
前記表示制御部は、前記表示画面において前記検出精度が高い領域ほど、複数の表示オブジェクトを密に表示させる、
請求項３に記載の情報処理装置。
【請求項５】
前記表示制御部は、前記表示画面において前記検出精度が低いと判定された領域に、前記表示オブジェクトを表示させる、
請求項１に記載の情報処理装置。
【請求項６】
視線検出のキャリブレーションを行うキャリブレーション実行部を更に備え、
前記表示制御部は、前記表示画面において前記キャリブレーションが行われていない領域に、前記表示オブジェクトを表示させる、
請求項５に記載の情報処理装置。
【請求項７】
前記キャリブレーション実行部は、前記表示制御部により前記表示画面に表示された表示オブジェクトに基づいて、キャリブレーションを行う、
請求項６に記載の情報処理装置。
【請求項８】
前記表示制御部は、前記検出精度に応じて、前記表示画面に表示する表示オブジェクトの数を異ならせる、
請求項１に記載の情報処理装置。
【請求項９】
前記表示制御部は、前記検出精度が高いほど、前記表示オブジェクトを細かく表示させる、
請求項８に記載の情報処理装置。
【請求項１０】
視線検出のキャリブレーションを行うキャリブレーション実行部を更に備え、
前記検出精度判定部は、前記キャリブレーション実行部による前記キャリブレーションの回数に応じて、前記視線の検出精度を判定する、
請求項１に記載の情報処理装置。
【請求項１１】
表示画面に注がれる操作者の視線を検出することと、
検出された視線の検出精度を判定することと、
判定された検出精度に応じて、前記表示画面に表示する表示オブジェクトの表示形態を異ならせることと、
を含む、情報処理方法。
【請求項１２】
コンピュータに、
表示画面に注がれる操作者の視線を検出することと、
検出された視線の検出精度を判定することと、
判定された検出精度に応じて、前記表示画面に表示する表示オブジェクトの表示形態を異ならせることと、
を実行させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
人の視線を検出する技術として、例えば、赤外線等を利用者の眼球に照射して、角膜表面における反射像の位置から得られる角膜曲率中心と瞳孔中心から視線を検出するものがある。この技術を利用することで、利用者が注視する表示画面上の位置を判定することができる。
【０００３】
ところで、角膜表面における反射像を利用して検出される視線によって判定されるディスプレイ上の位置と、実際に利用者が注視している位置との間には誤差が生じる場合がある。このような誤差を補正するために、視線キャリブレーションが行なわれ、誤差を埋める補正係数が算出される（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−６５７８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
通常、視線入力が可能な装置においては、キャリブレーションによって表示画面に対する視線検出精度が所望の精度が確保されるまで、操作者は視線により操作を行うことができない。
【０００６】
そこで、本開示は、表示画面に対する視線の検出精度に応じて、適切に視線による操作を行うことが可能な方法を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、表示画面に注がれる操作者の視線を検出する視線検出部と、前記視線検出部により検出された視線の検出精度を判定する検出精度判定部と、前記検出精度判定部により判定された検出精度に応じて、前記表示画面に表示する表示オブジェクトの表示形態を異ならせる表示制御部と、を備える、情報処理装置が提供される。
【０００８】
また、本開示によれば、表示画面に注がれる操作者の視線を検出することと、検出された視線の検出精度を判定することと、判定された検出精度に応じて、前記表示画面に表示する表示オブジェクトの表示形態を異ならせることと、を含む、情報処理方法が提供される。
【０００９】
また、本開示によれば、コンピュータに、表示画面に注がれる操作者の視線を検出することと、検出された視線の検出精度を判定することと、判定された検出精度に応じて、前記表示画面に表示する表示オブジェクトの表示形態を異ならせることと、を実行させるための、プログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、表示画面に対する視線の検出精度に応じて、適切に視線による操作を行うことが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本開示の第１の実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。
【図２】表示画面における操作者の真の視線位置の第１収集例を説明するための模式図である。
【図３】表示画面における操作者の真の視線位置の第２収集例を説明するための模式図である。
【図４】表示画面における操作者の真の視線位置の第３収集例を説明するための模式図である。
【図５】第１の実施形態に係る視線検出精度ＭＡＰの一例を示す模式図である。
【図６】第１の実施形態に係る視線検出精度ＭＡＰの一例を示す模式図である。
【図７】第１の実施形態に係る視線検出精度ＭＡＰに応じた表示オブジェクトの配置例を示す図である。
【図８】第１の実施形態に係る視線検出精度ＭＡＰに応じた表示オブジェクトの配置例を示す図である。
【図９】第１の実施形態に係る視線検出精度と表示オブジェクトの配置との関係を示す模式図である。
【図１０】第１の実施形態に係る情報処理装置の動作の一例を示すフローチャートである。
【図１１】第２の実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。
【図１２】第２の実施形態に係るキャリブレーション位置ＭＡＰの一例を示す模式図である。
【図１３】第２の実施形態に係るキャリブレーション位置ＭＡＰに応じた表示オブジェクトの配置例を示す図である。
【図１４】情報処理装置のハードウェア構成の一例を示した説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．視線検出及びキャリブレーション
２．第１の実施形態
２−１．情報処理装置の構成
２−２．情報処理装置の動作
３．第２の実施形態
４．ハードウェア構成
５．まとめ
【００１４】
＜１．視線検出及びキャリブレーション＞
近年、種々の情報機器に対して、視線入力が可能となっている。かかる視線入力のために、操作者の視線を検出する必要があるが、視線検出方法として、様々な方式が提案されている。
【００１５】
例えば、安価なシステムで高精度の視線検出を行うことができる瞳孔角膜反射法が知られている。瞳孔角膜反射法では、３次元空間での視線位置を特定するために眼球モデルを導入し３次元の視線ベクトルを検出することができる。この方式で求められる３次元ベクトルは、眼軸と呼ばれ眼球の中心を通る。
【００１６】
ところで、眼軸と実際に操作者が見ている視軸との間にはずれが生じる。このため、瞳孔角膜反射法で視線検出を行う場合には、視線検出のキャリブレーションを行うことが必要である。なお、瞳孔角膜反射法で支配的なずれは眼軸と視軸のずれであるが、他にも眼球モデルで想定した個人パラメータ（たとえば角膜曲率半径など）や眼球の非球面性・眼鏡表面での屈折等もキャリブレーションで補正する必要がある。
【００１７】
キャリブレーションは、通常、何らかのマーカを表示画面上に表示し、そのマーカ位置を操作者が本来見ているべき視軸上の点（キャリブレーションポイント）とし、検出された操作者の眼軸との関係式を求めるものである。一般的に、キャリブレーションポイントの付近では検出精度が高くなるため、キャリブレーションの回数が多いほどよい。しかし、キャリブレーションの工程は、操作者に一定の操作を強要するため、操作者への負担が大きくなりやすい。
【００１８】
また、キャリブレーションによって、予め指定された機器操作に必要な視線検出が達成されなければ、操作者は快適な機器操作を行うことが出来ない。また、操作者によってはキャリブレーションをしても想定された検出精度を達成できない場合があるが、この場合、予め指定された機器操作を行うことができない恐れがある。
【００１９】
これに対して、以下に説明する本開示に係る情報処理装置は、表示画面における視線の検出精度を判定し、判定された検出精度に応じて表示画面に表示する表示オブジェクトの表示形態を異ならせる。これにより、表示画面に対する視線の検出精度に応じて表示オブジェクトの表示形態を異ならせることで、表示された表示オブジェクトに対して視線による操作を適切に行うことが可能となる。
【００２０】
＜２．第１の実施形態＞
（２−１．情報処理装置の構成）
図１を参照しながら、本開示の第１の実施形態に係る情報処理装置の構成の一例について説明する。図１は、本開示の第１の実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。
【００２１】
情報処理装置１００は、本実施形態では、ＴＶ等の情報機器の内部に搭載されているものとする。この情報機器は、図１に示すように、撮像部１５０と、表示画面１６０とを有する。
【００２２】
撮像部１５０は、例えば撮像素子を有するカメラである。撮像部１５０は、表示画面１６０の近傍に設けられており、表示画面１６０を注視するユーザ等の操作者（具体的には、操作者の目）を撮像可能である。撮像部１５０は、撮像結果を情報処理装置１００の視線検出部１０４に出力する。なお、撮像部１５０は、操作者の目を撮像できれば、表示画面１６０から離れて設けられても良い。
【００２３】
表示画面１６０は、種々の情報を表示する。例えば、表示画面１６０は、機能を実行させるための表示オブジェクトを表示する。操作者が、表示画面１６０に表示された表示オブジェクトを選択することで、対応する機能が実行される。ここで、表示オブジェクトは、例えばアイコンやカーソルを含む概念である。表示画面１６０は、情報機器と一体になって設けられているが、これに限定されず、例えば情報機器と分離した構成であっても良い。
【００２４】
情報処理装置１００は、撮像部１５０を介して表示画面１６０を注視するユーザの視線を検出すると共に、表示画面１６０に表示される表示オブジェクトの表示を制御する。情報処理装置１００は、図１に示すように、入力情報取得部１０２と、視線検出部１０４と、キャリブレーション実行部１０６と、注視度判定部１０８と、データ収集制御部１１０と、キャリブレーション係数算出部１１２と、視線検出精度判定部１１４と、ＵＩ表示制御部１１６とを有する。
【００２５】
（入力情報取得部１０２）
入力情報取得部１０２は、表示画面１６０に対する入力情報を取得する。入力情報取得部１０２は、入力情報として、例えば操作者が表示画面１６０にタッチ操作を行った際のタッチ位置の情報等を取得する。入力情報取得部１０２は、取得した入力情報をデータ収集制御部１１０に出力する。
【００２６】
（視線検出部１０４）
視線検出部１０４は、撮像部１５０が操作者の視線を撮像した撮像画像に基づいて、表示画面１６０に注がれる操作者の視線を検出する。視線検出部１０４は、例えば瞳孔角膜反射法に基づいて、表示画面１６０における視線位置を検出する。視線検出部１０４は、検出結果をキャリブレーション実行部１０６と注視度判定部１０８に出力する。
【００２７】
（キャリブレーション実行部１０６）
キャリブレーション実行部１０６は、視線検出のキャリブレーションを行う。これにより、操作者が視線入力を行う場合の、視線検出部１０４が検出した視線予測位置と、実際の視線位置との間の誤差（すなわち、眼軸と視軸のずれ）を補正することが可能となる。また、キャリブレーション実行部１０６は、キャリブレーション係数算出部１１２により算出されたキャリブレーション係数（補正係数）に基づいて、キャリブレーションを行う。
【００２８】
（注視度判定部１０８）
注視度判定部１０８は、視線検出部１０４により検出された操作者の視線の、表示画面１６０に対する注視の度合いを判定する。例えば、操作者の視線が表示画面１６０の一の点に停留した状態で所定時間経過した場合には、注視度判定部１０８は操作者の視線が当該一の点に注視していると判定する。注視度判定部１０８は、判定した注視度をデータ収集制御部１１０に出力する。
【００２９】
（データ収集制御部１１０）
データ収集制御部１１０は、視線検出精度の測定や、キャリブレーションに必要な視線データを収集する。具体的には、データ収集制御部１１０は、視線データとして、視線検出部１０４により検出された視線位置（視線予測位置）の座標データＤ１を収集する。また、データ収集制御部１１０は、入力情報取得部１０２が取得した入力情報等に基づいて、操作者が実際に見ている表示画面１６０における真の視線位置の座標データＤ２を収集する。
【００３０】
ここで、表示画面１６０における操作者の真の視線位置の収集例として、３つの収集例（第１収集例〜第３収集例）を挙げて説明する。
【００３１】
（第１収集例）
まず、図２を参照しながら、表示画面１６０における真の視線位置の座標データの第１収集例について説明する。図２は、表示画面１６０における真の視線位置の第１収集例を説明するための模式図である。
【００３２】
第１収集例においては、図２に示すように、表示画面１６０において、視線感知領域１６１とＵＩ表示領域１６２が設定されている。視線感知領域１６１は、操作者Ｕの視線を感知する領域である。図２には、表示画面１６０の左右にそれぞれ視線感知領域１６１に設定されている。このよう視線感知領域１６１を設けることで、操作者Ｕが表示画面１６０の左右のいずれに視線を向けているかを感知できる。視線感知領域１６１は、表示画面１６０に表示されない。ただし、これに限定されず、視線感知領域１６１が表示画面１６０に表示されることとしても良い。
【００３３】
ＵＩ表示領域１６２は、視線感知領域１６１よりも十分小さく、視線感知領域１６１内に含まれる。ＵＩ表示領域１６２内に、表示オブジェクトが表示される。図２では、二つの視線感知領域１６１の中央に、それぞれＵＩ表示領域１６２が設定されている。なお、表示画面１６０に表示される表示オブジェクトに対する実際の操作は、視線予測位置が存在する視線感知領域１６１に対応する操作により実行される。
【００３４】
データ収集制御部１１０は、視線検出部１０４により求めた視線予測位置が、二つの視線感知領域１６１のいずれかの視線感知領域１６１に所定時間以上停留したときに、操作者Ｕの真の視線位置を、当該視線感知領域１６１内の表示オブジェクトの位置とみなす。そして、データ収集制御部１１０は、表示オブジェクトの位置座標を、操作者の視線位置として記録させる。この際、視線検出部１０４により求められた視線予測位置も記録させる。
【００３５】
なお、メガネ型の表示装置として、ヘッドマウントディスプレイ装置と距離測定装置を組み合わせて、所謂ＡＲで重畳させたオブジェクト位置を３次元の操作者の真の視線位置として記録しておいてもよい。
【００３６】
（第２収集例）
図３を参照しながら、表示画面１６０における真の視線位置の座標データの第２収集例について説明する。図３は、表示画面１６０における真の視線位置の第２収集例を説明するための模式図である。
【００３７】
第２収集例においては、表示画面１６０がタッチパネルであるものとし、操作者Ｕが表示画面１６０にタッチ操作を行うものとする。ここで、タッチ操作は、操作者Ｕが表示画面１６０に指で直接接触する操作や、タッチパッドによる操作を含む。
【００３８】
一般的に、操作者は、タッチ操作をする際に、タッチ位置を注視しやすい。そこで、データ収集制御部１１０は、操作者Ｕが表示画面１６０にタッチ操作を行ったタッチ位置の座標を、操作者Ｕの真の視線位置としてみなす。これにより、視線位置が、視線検出部１０４による視線予測位置と離れたタッチ位置に補正される。
【００３９】
なお、上記では、タッチ操作を例に挙げて説明したが、これに限定されず、例えばマウスカーソルの選択や、文字入力などにも適用できる。すなわち、操作者は、マウスで表示画面１６０のカーソルを操作する際に当該カーソルを注視しやすいので、カーソル位置をユーザの真の視線位置としてみなす。
【００４０】
（第３収集例）
図４を参照しながら、表示画面１６０における真の視線位置の座標データの第３収集例について説明する。図４は、表示画面１６０における真の視線位置の第３収集例を説明するための模式図である。
【００４１】
第３収集例においては、操作者が注視しやすいオブジェクト（説明の便宜上、注視オブジェクト１６４と呼ぶ）が、表示画面１６０に意図的に表示される。ここで、注視オブジェクト１６４の表示形態としては、例えば、平坦な背景に、点滅するオブジェクト、人の顔を示すオブジェクト、ロゴを示すオブジェクト等を表示させる形態がある。
【００４２】
一般的に、操作者は、表示画面１６０を見た際に、表示画面１６０に表示された注視オブジェクト１６４を注視しやすい。そこで、データ収集制御部１１０は、注視オブジェクト１６４の表示位置を、操作者Ｕの真の視線位置としてみなす。これにより、視線位置が、視線検出部１０４による視線予測位置と離れた注視オブジェクト１６４の表示位置に補正される。
【００４３】
（キャリブレーション係数算出部１１２）
キャリブレーション係数算出部１１２は、データ収集制御部１１０が収集したデータに基づいて、キャリブレーション係数（補正係数）を算出する。キャリブレーション係数算出部１１２は、算出結果をキャリブレーション実行部１０６に出力する。
【００４４】
（視線検出精度判定部１１４）
視線検出精度判定部１１４は、視線検出部１０４により検出された視線の検出精度を判定する。具体的には、視線検出精度判定部１１４は、データ収集制御部１１０が収集した視線検出部１０４により検出された視線位置（視線予測位置）と、操作者が実際に見ている真の視線位置との誤差（視線検出誤差）に基づいて、視線の検出精度を判定する。
【００４５】
第１の実施形態に係る視線検出精度判定部１１４は、検出精度評価データＤ３である視線検出精度ＭＡＰを用いて、表示画面１６０における視線の検出精度を判定する。視線検出精度ＭＡＰは、真の視線位置と視線予測位置との誤差を記録したものである。以下において、図５及び図６を参照しながら、視線検出精度ＭＡＰについて説明する。
【００４６】
図５及び図６は、第１の実施形態に係る視線検出精度ＭＡＰの一例を示す模式図である。視線検出精度ＭＡＰは、ｘ方向とｙ方向に配列された複数の領域から成る。視線検出精度ＭＡＰの解像度は、表示画面１６０の解像度と同じである。ただし、これに限定されず、例えば、視線検出精度ＭＡＰの解像度は、視線検出アルゴリズムの最高分解能と同じでもよいし、表示画面１６０の解像度を最小オブジェクトのサイズで分割した値であっても良い。また、図５及び図６では、黒く塗られている領域の視線検出精度が高い。
【００４７】
視線検出精度判定部１１４は、視線検出精度ＭＡＰにおいて、領域毎に視線検出精度を判定する。図５や図６に示すように、視線検出精度ＭＡＰにおいて、視線検出精度がばらついている。例えば、図５では、マップの中央部の視線検出精度が高く、中央部の左右側が中央部よりも視線検出精度が低く、その他の部分は、視線検出精度が更に低い。
【００４８】
視線検出精度判定部１１４は、視線検出誤差が小さくなるほど、視線検出精度を高く判定する。ここで、視線検出誤差は、例えば、真の視線位置と視線予測位置の間の距離で規定できる。なお、視線検出誤差は、真の視線位置と視線予測位置の間の距離を正規化した値を用いても良い。また、３次元の視線ベクトルを検出する場合には、角度誤差を用いても良い。
【００４９】
そして、視線検出精度の値は、例えば、視線検出誤差が１より大きい場合には、視線検出誤差の逆数を用いる。また、視線検出誤差が０〜１．０の間で正規化されるような値であれば、視線検出誤差は、１．０から視線検出誤差を引いた値を用いても良い。
【００５０】
なお、視線検出誤差の初期値としては、使用する視線検出アルゴリズムで見込まれる平均誤差を用いる。例えば、瞳孔角膜反射法を用いた場合、支配的なズレは視軸と眼軸のズレであり、この場合のズレ量は平均約５度であることが分かっている。また、表示画面１６０の横Ｗ×縦Ｈ（ｍｍ）と、操作者と表示画面１６０の距離Ｚ（ｍｍ）とが分かっている場合には、初期値ｄは下記の式で求められる。なお、正規化する場合には、縦横でそれぞれ横Ｗと縦Ｈで割った値を用いる。
ｄ＝ｚ×ｔａｎ（５．０×円周率／１８０）
【００５１】
視線検出精度判定部１１４は、視線検出精度ＭＡＰの各領域に対して視線検出精度を求める。そして、視線検出精度判定部１１４は、求めた視線検出精度を記録する。なお、上記では、視線検出精度ＭＡＰが、図５に示すようにｘ方向及びｙ方向の２次元のＭＡＰであることとしたが、これに限定されない。例えば、視線検出精度ＭＡＰは、ｘ方向、ｙ方向、及びｚ方向の３次元のＭＡＰであっても良い。
【００５２】
また、視線検出精度判定部１１４は、キャリブレーション実行部１０６によるキャリブレーションの回数に応じて、視線の検出精度を判定しても良い。通常、キャリブレーションの回数が増えるに従い、視線検出の精度が高くなる傾向にある。そこで、視線検出精度判定部１１４は、キャリブレーションの回数が多いと視線の検出精度が高いと判定し、キャリブレーションの回数が少ないと視線の検出精度が低いと判定する。これにより、視線の検出精度を簡易に判定することができる。
【００５３】
（ＵＩ表示制御部１１６）
ＵＩ表示制御部１１６は、視線検出精度判定部１１４により判定された検出精度に応じて、表示画面１６０に表示する表示オブジェクト（アイコン等）の表示形態を異ならせる。例えば、ＵＩ表示制御部１１６は、検出精度に応じて、表示画面１６０に表示する表示オブジェクトの位置、大きさ、形の少なくともいずれかを異ならせる。
【００５４】
表示画面１６０において、視線検出精度が一様に分布せずにばらついているケースが多い（図５参照）。このため、ＵＩ表示制御部１１６は、表示画面１６０に対する視線検出精度の分布状態に応じて、表示オブジェクトの表示形態を異ならせる。
【００５５】
例えば、ＵＩ表示制御部１１６は、表示画面１６０において視線検出精度が高いと判定された領域に、表示オブジェクトを表示させる。一方で、ＵＩ表示制御部１１６は、表示画面１６０において視線検出精度が低いと判定された領域に、表示オブジェクトを表示させない。これにより、表示された表示オブジェクトに対する操作者の視線による操作を、確実に検出できる。
【００５６】
さらに、ＵＩ表示制御部１１６は、表示画面１６０において視線検出精度が高い領域ほど、複数の表示オブジェクトを密に表示させる。視線検出精度が高い場合には、複数の表示オブジェクトを密に表示させても、各表示オブジェクトに対する視線による操作を識別できる。一方で、ＵＩ表示制御部１１６は、表示画面１６０において視線検出精度が低い領域ほど、複数の表示オブジェクトを疎に表示させる。
【００５７】
また、ＵＩ表示制御部１１６は、視線検出精度に応じて、表示画面１６０に表示する表示オブジェクトの数を異ならせる。例えば、ＵＩ表示制御部１１６は、視線検出精度が高いときの表示オブジェクトの数が、視線検出精度が低いときの表示オブジェクトの数よりも多くなるように、表示オブジェクトの表示を制御する。視線検出精度が高い場合には、表示オブジェクトを多く表示させても、各表示オブジェクトに対する操作者の視線による操作を識別できる。
【００５８】
また、ＵＩ表示制御部１１６は、視線検出精度が高いほど、表示オブジェクトを細かく（小さく）表示させる。かかる場合には、表示オブジェクトを細かく表示させても、当該表示オブジェクトに対する操作者の視線による操作を適切に検出できる。一方で、ＵＩ表示制御部１１６は、視線検出精度が低いほど、表示オブジェクトを大きく表示させる。
【００５９】
ここで、図７及び図８を参照しながら、視線検出精度ＭＡＰに応じた表示オブジェクト（例えばアイコン）の配置例について説明する。なお、図７及び図８では、１つの領域にそれぞれ１つの表示オブジェクトが配置されるものとする。ただし、これに限定されず、１つの領域に複数の表示オブジェクトが配置されても良く、複数の領域に跨って１つの表示オブジェクトが配置されても良い。
【００６０】
図７は、第１の実施形態に係る視線検出精度ＭＡＰに応じた表示オブジェクトの配置例を示す図である。図７に示す視線検出精度ＭＡＰは、図５で説明した視線検出精度ＭＡＰである。図７に示すように、視線検出精度ＭＡＰにおいて視線検出精度が高い部分に対応する表示画面１６０の領域に、表示オブジェクトＡが集中して配置されている。なお、表示オブジェクトＡの大きさは、それぞれ同じである。
【００６１】
図８は、第１の実施形態に係る視線検出精度ＭＡＰに応じた表示オブジェクトの配置例を示す図である。図８に示す視線検出精度ＭＡＰは、図６で説明した視線検出精度ＭＡＰである。図８に示すように、視線検出精度ＭＡＰにおいて視線検出精度が高い部分に対応する表示画面１６０の領域に配置させる表示オブジェクトＡの形が、視線検出精度が低い部分に対応する表示画面１６０の領域に配置させる表示オブジェクトＡの形と異なる。具体的には、視線検出精度が低い部分に対応する領域に、大きい矩形の表示オブジェクトＡが一つ配置され、視線検出精度が高い部分に対応する領域に、小さい矩形の表示オブジェクトＡが複数配置されている。
【００６２】
上述した図７及び図８では、表示画面１６０全体のうちの一部の領域についての表示オブジェクトＡの配置例が示されている。一方で、表示画面１６０全体に対しては、図９に示すように表示オブジェクトを配置しても良い。
【００６３】
図９は、第１の実施形態に係る視線検出精度と表示オブジェクトの配置との関係を示す模式図である。図９を見ると分かるように、視線検出精度が低いと表示画面１６０に配置される表示オブジェクトＡの数が少なく、視線検出精度が高いと表示画面１６０に配置される表示オブジェクトＡの数が多くなる。また、視線検出精度が高くなるにつれて、表示画面１６０に配置される表示オブジェクトＡの形が小さくなる。
【００６４】
なお、上記では、情報処理装置１００が、情報機器であるＴＶに搭載されている例について説明したが、これに限定されない。例えば、情報処理装置１００は、プロジェクタ、デジタルカメラ、ヘッドマウントディスプレイ等の機器に搭載されても良い。
【００６５】
（２−２．情報処理装置の動作）
図１０を参照しながら、上述した構成を有する情報処理装置１００の動作の一例について説明する。図１０は、第１の実施形態に係る情報処理装置１００の動作の一例を示すフローチャートである。
【００６６】
図１０に示す処理は、情報処理装置１００のＣＰＵが、ＲＯＭに格納されているプログラムを実行することにより、実現される。なお、実行されるプログラムは、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、メモリカード等の記録媒体に記憶されても良く、インターネットを介してサーバ等からダウンロードされても良い。
【００６７】
図１０のフローチャートは、操作者が表示画面１６０を見ているところから開始される。まず、視線検出部１０４は、撮像部１５０を介して表示画面１６０を見る操作者の視線を検出する（ステップＳ１０２）。検出した結果は、操作者の視線予測位置として、データ収集制御部１１０によって収集される。
【００６８】
次に、データ収集制御部１１０は、操作者の真の視線位置を取得する（ステップＳ１０４）。例えば、データ収集制御部１１０は、操作者が表示画面１６０に対してタッチ操作を行ったタッチ位置を真の視線位置として取得する。
【００６９】
次に、視線検出精度判定部１１４は、視線検出部１０４により検出された視線の検出精度を判定する（ステップＳ１０６）。例えば、視線検出精度判定部１１４は、視線予測位置と操作者の真の視線位置との誤差（視線検出誤差）に基づいて、視線の検出精度を判定する。
【００７０】
次に、ＵＩ表示制御部１１６は、判定された視線検出精度に基づいて、表示画面１６０に表示する表示オブジェクトを表示させる（ステップＳ１０８）。この際、ＵＩ表示制御部１１６は、視線検出精度に応じて、表示オブジェクトの表示形態を異ならせる。例えば、ＵＩ表示制御部１１６は、表示画面１６０において視線検出精度が高い領域に表示オブジェクトを表示させる。これにより、表示画面１６０に表示された表示オブジェクトに対する操作者の視線による操作を、精度良く検出できる。
【００７１】
＜３．第２の実施形態＞
上述した第１の実施形態では、視線検出精度に応じて、操作者が視線入力する際に表示画面１６０に表示させる表示オブジェクトの表示形態を変化させる点を説明した。これに対して、第２の実施形態では、視線検出精度に応じて、キャリブレーション用のデータを取得する際に表示画面１６０に表示させる表示オブジェクトの表示形態を変化させる。
【００７２】
図１１は、本開示の第２の実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。第２の実施形態においては、視線検出精度判定部２１４と、ＵＩ表示制御部２１６の構成が、第１の実施形態と異なる。他の構成は、第１の実施形態と同様であるので、詳細な説明は省略する。
【００７３】
視線検出精度判定部２１４は、視線検出部１０４により検出された視線の検出精度を判定する。そして、視線検出精度判定部２１４は、検出精度評価データＤ４であるキャリブレーション位置ＭＡＰを用いて、表示画面１６０においてキャリブレーション用のデータを取得した位置を判定する。
【００７４】
図１２は、第２の実施形態に係るキャリブレーション位置ＭＡＰの一例を示す模式図である。キャリブレーション位置ＭＡＰは、図１２に示すようにｘ方向とｙ方向に配列された複数の領域から成る。キャリブレーション位置ＭＡＰの解像度は、表示画面１６０の解像度と同じである。
【００７５】
視線検出精度判定部２１４は、キャリブレーション位置ＭＡＰにおいて、領域毎にキャリブレーション用データの取得の有無を判定する。図１２では、キャリブレーション用データが取得された領域が、白く塗られ、キャリブレーション用データが取得されていない領域が、黒く塗られている。なお、キャリブレーション用データが取得された領域は、視線検出精度が高く、キャリブレーション用データが取得されていない領域は、視線検出精度が低い。
【００７６】
ＵＩ表示制御部２１６は、キャリブレーション位置ＭＡＰに応じて、表示画面１６０においてキャリブレーションが行われていない領域に、表示オブジェクトを表示させる。特に、ＵＩ表示制御部２１６は、キャリブレーション用のデータを収集する際に、表示画面１６０においてキャリブレーションが行われていない領域のみに、表示オブジェクトを表示させる。これにより、キャリブレーション実行部１０６は、表示画面１６０においてキャリブレーションが行われていない領域に意図的に表示させた表示オブジェクトに基づいて、キャリブレーションを行うことになる。この結果、キャリブレーションが行われていなかった領域の検出精度を、迅速に高めることが可能となる。
【００７７】
図１３は、第２の実施形態に係るキャリブレーション位置ＭＡＰに応じた表示オブジェクトの配置例を示す図である。図１３に示すキャリブレーション位置ＭＡＰは、図１２で説明したキャリブレーション位置ＭＡＰである。図１３に示すように、キャリブレーション位置ＭＡＰにおいてキャリブレーションが行われていない領域に対応する表示画面１６０の領域に、表示オブジェクトＢが表示されている。なお、図１３では、表示画面１６０において２つの表示オブジェクトＢのみが表示されているが、これに限定されず、例えば３つ以上の表示オブジェクトＢが表示されても良い。
【００７８】
上記では、ＵＩ表示制御部２１６は、キャリブレーションが行われない領域のみに表示オブジェクトＢを配置させることとしたが、これに限定されない。例えば、ＵＩ表示制御部２１６は、表示画面１６０において検出精度が低いと判定された領域に、表示オブジェクトＢを表示させても良い。これにより、検出精度が低い領域に意図的に表示オブジェクトを表示させてキャリブレーションを実行することで、当該領域の検出精度を迅速に高めることができる。
【００７９】
＜４．ハードウェア構成＞
上述した情報処理装置１００の動作は、情報処理装置１００が備えるハードウェア構成とソフトウェアとが協働することにより実現される。
【００８０】
図１４は、情報処理装置１００のハードウェア構成の一例を示した説明図である。図１４に示したように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）８０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）８０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）８０３と、入力装置８０８と、出力装置８１０と、ストレージ装置８１１と、ドライブ８１２と、撮像装置８１３と、通信装置８１５とを備える。
【００８１】
ＣＰＵ８０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。また、ＣＰＵ８０１は、マイクロプロセッサであってもよい。ＲＯＭ８０２は、ＣＰＵ８０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ８０３は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【００８２】
入力装置８０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ８０１に出力する入力制御回路などから構成されている。情報処理装置１００のユーザは、該入力装置８０８を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００８３】
出力装置８１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置８１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
【００８４】
ストレージ装置８１１は、本実施形態にかかる情報処理装置１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置８１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置８１１は、ＣＰＵ８０１が実行するプログラムや各種データを格納する。
【００８５】
ドライブ８１２は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体８２０に記録されている情報を読み出して、ＲＡＭ８０３に出力する。また、ドライブ８１２は、リムーバブル記憶媒体８２０に情報を書き込むこともできる。
【００８６】
撮像装置８１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
【００８７】
通信装置８１５は、例えば、ネットワーク８３０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置８１５は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００８８】
なお、ネットワーク８３０は、ネットワーク８３０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク８３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク８３０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００８９】
＜５．まとめ＞
上述した情報処理装置１００は、表示画面１６０における視線の検出精度を判定し、判定された検出精度に応じて表示画面１６０に表示する表示オブジェクトの表示形態を異ならせる（図７、図８参照）。例えば、情報処理装置１００は、表示画面１６０に表示する表示オブジェクトの位置、大きさ、形のいずれかを異ならせる。
【００９０】
これにより、例えば表示画面１６０において視線検出精度のばらつきがあっても、表示オブジェクトが表示画面１６０において視線検出精度の高い領域に位置するように、表示オブジェクトの位置、大きさ、形等が設定されることになる。このため、表示オブジェクトに対する操作者の視線を適切に検出できるので、視線入力を適切に行うことができる。
【００９１】
なお、上記では、情報処理装置１００は、表示画面１６０を有する情報機器に搭載されることとしたが、これに限定されない。情報処理装置１００は、情報機器とネットワークを介して通信可能なサーバに設けられても良い。
【００９２】
また、上記では、視線の検出精度に応じて、表示画面１６０に表示する表示オブジェクトの表示形態を異ならせることについて説明したが、これに限定されない。例えば、表示画面等に対する操作者の指差しを検出する装置において、指差しの検出精度に応じて、表示画面１６０に表示する表示オブジェクトの表示形態を異ならせることとしても良い。これにより、表示画面に対する指差しの検出精度に応じて、適切に指差しによる操作を行うことが可能となる。
【００９３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９４】
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【００９５】
本明細書において説明した情報処理装置による処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random  Access  Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【００９６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示画面に注がれる操作者の視線を検出する視線検出部と、
前記視線検出部により検出された視線の検出精度を判定する検出精度判定部と、
前記検出精度判定部により判定された検出精度に応じて、前記表示画面に表示する表示オブジェクトの表示形態を異ならせる表示制御部と、
を備える、情報処理装置。
（２）
前記表示制御部は、前記検出精度に応じて、前記表示画面に表示する表示オブジェクトの位置、大きさ、形の少なくともいずれかを異ならせる、
前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記表示画面において前記検出精度が高いと判定された領域に、前記表示オブジェクトを表示させる、
前記（１）又は（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記表示画面において前記検出精度が高い領域ほど、複数の表示オブジェクトを密に表示させる、
前記（３）に記載の情報処理装置。
（５）
前記表示制御部は、前記表示画面において前記検出精度が低いと判定された領域に、前記表示オブジェクトを表示させる、
前記（１）又は（２）に記載の情報処理装置。
（６）
視線検出のキャリブレーションを行うキャリブレーション実行部を更に備え、
前記表示制御部は、前記表示画面において前記キャリブレーションが行われていない領域に、前記表示オブジェクトを表示させる、
前記（５）に記載の情報処理装置。
（７）
前記キャリブレーション実行部は、前記表示制御部により前記表示画面に表示された表示オブジェクトに基づいて、キャリブレーションを行う、
前記（６）に記載の情報処理装置。
（８）
前記表示制御部は、前記検出精度に応じて、前記表示画面に表示する表示オブジェクトの数を異ならせる、
前記（１）又は（２）に記載の情報処理装置。
（９）
前記表示制御部は、前記検出精度が高いほど、前記表示オブジェクトを細かく表示させる、
前記（８）に記載の情報処理装置。
（１０）
視線検出のキャリブレーションを行うキャリブレーション実行部を更に備え、
前記検出精度判定部は、前記キャリブレーション実行部による前記キャリブレーションの回数に応じて、前記視線の検出精度を判定する、
前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
表示画面に注がれる操作者の視線を検出することと、
検出された視線の検出精度を判定することと、
判定された検出精度に応じて、前記表示画面に表示する表示オブジェクトの表示形態を異ならせることと、
を含む、情報処理方法。
（１２）
コンピュータに、
表示画面に注がれる操作者の視線を検出することと、
検出された視線の検出精度を判定することと、
判定された検出精度に応じて、前記表示画面に表示する表示オブジェクトの表示形態を異ならせることと、
を実行させるための、プログラム。
【符号の説明】
【００９７】
１００    情報処理装置
１０２    入力情報取得部
１０４    視線検出部
１０６    キャリブレーション実行部
１１０    データ収集制御部
１１４    視線検出精度判定部
１１６    ＵＩ表示制御部
１６０    表示画面
【図１】
2015152938.tif 000003
【図２】
2015152938.tif 000004
【図３】
2015152938.tif 000005
【図４】
2015152938.tif 000006
【図５】
2015152938.tif 000007
【図６】
2015152938.tif 000008
【図７】
2015152938.tif 000009
【図８】
2015152938.tif 000010
【図９】
2015152938.tif 000011
【図１０】
2015152938.tif 000012
【図１１】
2015152938.tif 000013
【図１２】
2015152938.tif 000014
【図１３】
2015152938.tif 000015
【図１４】
2015152938.tif 000016