(57)【特許請求の範囲】
【請求項１】
撮像装置により撮像された表示装置を観察する観察者の眼球を含む画像を用いて、前記表示装置の表示面内における前記観察者の注視位置を算出する注視位置算出部と、
第１の表示画像を前記表示装置に表示させているときに、観察者について前記注視位置算出部で算出した第１の注視位置に基づいて前記第１の表示画像を変化させた第２の表示画像を生成する表示画像生成部と、
前記第２の表示画像を前記表示装置に表示させているときに前記観察者について前記注視位置算出部で算出した第２の注視位置と、前記第１の表示画像に対する前記第２の画像の変化量と、前記第１の注視位置とに基づいて、前記観察者についての注視位置に対する補正量を算出する補正量算出部と、を備える、
ことを特徴とする情報処理システム。
【請求項２】
前記表示画像生成部は、前記第１の表示画像において前記第１の注視位置の周囲に存在する像の表示位置を変化させた前記第２の表示画像を生成する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記表示画像生成部は、前記第１の表示画像における前記第１の注視位置を中心として前記第１の表示画像を拡大又は縮小して前記第２の表示画像を生成する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項４】
前記表示画像生成部は、前記第１の表示画像に含まれる像の表示位置を所定の距離だけ並進移動させて前記第２の表示画像を生成する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項５】
前記表示画像生成部は、前記第２の表示画像を生成して前記表示装置に表示させる前に、前記第１の表示画像及び前記第２の表示画像に含まれる像の表示位置が前記第１の表示画像における表示位置から前記第２の表示画像における表示位置に向かって段階的に変化する複数の表示画像を順次生成して前記表示装置に表示させる、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項６】
前記情報処理システムは、前記観察者についての人物情報を抽出する人物情報抽出部を、更に備え、
当該情報処理システムは、前記注視位置に対する補正量と前記人物情報とを対応付けて保持し、前記第１の注視位置を算出する際の前記観察者の人物情報と同一の人物情報を保持している場合に当該人物情報と対応付けられた前記補正量を用いて前記第１の注視位置を算出する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項７】
前記情報処理システムは、
前記第１の注視位置が前記表示装置の表示面内における所定の範囲内である場合にのみ、前記第２の注視位置を算出し前記注視位置に対する補正量を算出する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項８】
コンピュータが、
第１の表示画像を表示させた表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第１の注視位置を算出し、
算出した前記注視位置に基づいて前記第１の表示画像を変化させた第２の表示画像を生成して前記表示装置に表示させ、
第２の表示画像を表示させた前記表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第２の注視位置を算出し、
前記第１の注視位置と、前記第２注視位置と、前記第１の表示画像に対する前記第２の画像の変化量と、に基づいて、前記注視位置に対する補正量を算出する、
処理を実行することを特徴とする情報処理方法。
【請求項９】
第１の表示画像を表示させた表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第１の注視位置を算出し、
算出した前記注視位置に基づいて前記第１の表示画像を変化させた第２の表示画像を生成して前記表示装置に表示させ、
第２の表示画像を表示させた前記表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第２の注視位置を算出し、
前記第１の注視位置と、前記第２注視位置と、前記第１の表示画像に対する前記第２の画像の変化量と、に基づいて、前記注視位置に対する補正量を算出する、
処理をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【０００２】
コンピュータ等の情報処理装置における情報の入力方法の１つとして、利用者（オペレータ）の視線を利用した入力方法が知られている。この種の入力方法では、利用者が表示装置の表示面内における所定の位置を注視することにより、その位置と対応付けられた情報が情報処理装置に入力される。利用者が注視している位置は、撮像装置で撮像した利用者の眼球の画像から検出した利用者の視線に基づいて算出する。
【０００３】
利用者の視線の検出方法の１つに、瞳孔−角膜反射法と呼ばれる方法がある。瞳孔−角膜反射法では、利用者の眼球の画像における所定の光源からの光に対する角膜反射の位置と、瞳孔の中心位置との位置関係に基づいて、利用者の視線を検出する。
【０００４】
ところが、角膜の曲率半径、瞳孔間距離等は利用者毎に個人差がある。そのため、瞳孔−角膜反射法で検出した利用者の視線に基づいて利用者が注視している位置を算出した場合、利用者が実際に注視している位置と、情報処理装置が算出した注視位置とにずれが生じることがある。利用者が実際に注視している位置と、情報処理装置が算出した注視位置とにずれが生じている場合、情報処理装置に正しい情報を入力することが難しくなる。したがって、視線を利用した入力方法では、事前に、利用者が実際に注視している位置と、情報処理装置が算出した注視位置とのずれを解消するための注視位置の較正を行う。
【０００５】
注視位置の較正方法の１つとして、視線を利用した入力方法と、マウス装置等の入力装置を利用した入力方法とを併用して行う較正方法が知られている。この種の較正方法では、利用者が入力装置を操作して表示装置に表示された像（オブジェクト）を選択した際の表示面内における操作位置と、利用者の視線に基づいて算出した注視位置とに基づいて注視位置のずれを補正する（例えば、特許文献１を参照）。
【０００６】
また、注視位置の較正方法として、利用者がテスト画像を観察する際の眼球運動と、利用者の視野データとに基づいて眼球運動データを較正し、注視位置を較正する方法が知られている（例えば、特許文献２を参照）。
【０００７】
更に、注視位置の較正方法として、利用者の眼球の画像における眼球の位置から表示装置の表示面内の注視位置に向かうベクトルと、画像から算出した視線のベクトルとに基づいて較正する方法が知られている（例えば、特許文献３を参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１２−０６５７８１号公報
【特許文献２】特開２０００−００５１３０号公報
【特許文献３】特開２０１１−２１７７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、視線を利用した入力方法と、マウス装置等の入力装置を利用した入力方法とを併用して行う注視位置の較正方法では、注視位置を構成する際に利用者が視線による入力操作と入力装置による入力操作をしなければならない。そのため、注視位置の較正に手間がかかる。更に、入力方法が視線を利用した入力方法のみである場合、入力装置を用いた注視位置の較正方法は適用対象外となる。
【００１０】
また、テスト画像等を用いた注視位置の較正方法では、利用者に注視させるための特徴的な部分を含む画像を用意する必要があり、かつその特徴的な部分を利用者に注視させる必要がある。そのため、利用者が実際に注視した部分と、利用者に注視させたい部分とが一致していない場合には注視位置を適正に較正することが難しくなり、注視位置の較正をやり直さなければならないことがある。
【００１１】
１つの側面において、本発明は、視線を利用した情報の入力が可能な情報処理システムにおける利用者の注視位置を補正する際の利用者の手間を軽減することを目的とする。
【課題を解決するための手段】
【００１２】
１つの態様の情報処理システムは、注視位置算出部と、表示画像生成部と、補正量算出部と、を備える。注視位置算出部は、撮像装置により撮像された表示装置を観察する観察者の眼球を含む画像を用いて、表示装置の表示面内における観察者の注視位置を算出する。表示画像生成部は、第１の表示画像を表示装置に表示させているときに、観察者について注視位置算出部で算出した第１の注視位置に基づいて第１の表示画像を変化させた第２の表示画像を生成する。補正量算出部は、第２の表示画像を表示装置に表示させているときに観察者について注視位置算出部で算出した第２の注視位置と、第１の表示画像に対する第２の表示画像の変化量と、第１の注視位置とに基づいて、観察者についての注視位置に対する補正量を算出する。
【発明の効果】
【００１３】
上述の態様によれば、視線を利用した情報の入力が可能な情報処理システムにおける利用者の注視位置を補正する際の利用者の手間を軽減することができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る情報処理システムの構成を示す図である。
【図２】観察者の視線の検出方法を説明する図である。
【図３】注視位置のずれを説明する図である。
【図４】第１の実施形態に係る情報処理装置の機能的構成を示す図である。
【図５Ａ】第１の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その１）である。
【図５Ｂ】第１の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その２）である。
【図６】拡大表示の例を示す図である。
【図７Ａ】シフト量の算出方法を説明する図（その１）である。
【図７Ｂ】シフト量の算出方法を説明する図（その２）である。
【図８】シフト量算出領域を説明する図である。
【図９Ａ】第２の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その１）である。
【図９Ｂ】第２の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その２）である。
【図１０】スクロールの例を示す図である。
【図１１】スクロールの前後で生じるシフト量の変動を説明する図である。
【図１２】変動率算出領域を説明する図である。
【図１３】第３の実施形態に係る情報処理装置の機能的構成を示す図である。
【図１４Ａ】第３の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その１）である。
【図１４Ｂ】第３の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その２）である。
【図１５】コンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１５】
［第１の実施形態］
図１は、第１の実施形態に係る情報処理システムの構成を示す図である。
【００１６】
図１に示すように、情報処理システム１は、情報処理装置２と、表示装置３と、光源４と、撮像装置５と、を備える。
【００１７】
情報処理装置２は、表示装置３に表示させる表示画像の生成処理を含む各種の情報処理を行う。表示装置３は、情報処理装置２が生成した表示画像を表示する。
【００１８】
光源４及び撮像装置５は、観察者の視線の検出に用いる画像を撮像するためのものである。観察者の視線の検出は、情報処理装置２が行う。ここで、観察者は、表示装置３の表示面３０１を観察する者である。また、観察者の視線は、表示装置３の表示面３０１内における観察者が見ている位置を表す。以下の説明では、視線のことを視線位置ともいう。
【００１９】
光源４及び撮像装置５は、例えば、図１に示したように、表示装置３における表示面３０１の下方、かつ表示面３０１における水平方向の中心となる位置に近接させて配置してある。なお、光源４は観察者の顔に光が照射される向きで配置してあり、撮像装置５は観察者の顔を撮像する向きで配置してある。
【００２０】
本実施形態の情報処理装置２は、瞳孔−角膜反射法により観察者の視線を検出する。瞳孔−角膜反射法は、光源４からの光を観察者の顔に照射した状態で撮像した観察者の眼球の画像における角膜反射の位置と瞳孔の中心位置とに基づいて、観察者の視線を検出する方法である。瞳孔−角膜反射法では、光源４として赤外線発光ダイオード（ＩＲ ＬＥＤ）等の赤外線光源を用い、撮像装置５として赤外線カメラを用いる。
【００２１】
図２は、観察者の視線の検出方法を説明する図である。
図２の（ａ）に示すように、表示装置３の表示面３０１と向かい合う位置に観察者６がいる場合、光源４が発した光の一部は観察者６の眼球６０１で反射する。そのため、図２の（ｂ）に示すように、撮像装置５で撮像した画像７における観察者の眼球６０１の部分には、光源４からの光による角膜反射６０２が見られる。瞳孔−角膜反射法では、画像７内における、角膜反射６０２の位置（PrkX，PrkY）に対する瞳孔６０３の中心位置（PupX，PupY）に基づいて観察者６の視線を検出する。観察者６が表示装置３の表示面３０１を観察している場合、観察者６の視線位置（X，Y）は、例えば、下記式（１−１）及び（１−２）で与えられる。
X＝A・(PupX−PrkX)＋(DPX/2)  ・・・（１−１）
Y＝DPY＋B・(PupY-PrkY)  ・・・（１−２）
【００２２】
式（１−１）のDPXは、表示面３０１のｘ方向（水平方向）の解像度（表示画素数）である。式（１−２）のDPYは、表示面３０１のｙ方向（垂直方向）の解像度である。また、式（１−１）のA及び式（１−２）のBは、それぞれｘ方向の換算係数及びｙ方向の換算係数である。換算係数は、例えば、撮像装置５から観察者６までの距離、眼球６０１のサイズ、角膜曲率半径、角膜反射位置と瞳孔中心位置との差等を用いた統計処理の結果に基づいて設定される値である。
【００２３】
本実施形態の情報処理装置２は、一定期間内に撮像された複数の画像から検出した視線位置（X，Y）の分布が所定の範囲内である場合、視線位置の分布に基づいて観察者６が注視している位置を算出する。そして、観察者６が注視している位置が表示装置３の表示面３０１内における所定の位置である場合、情報処理装置２は、当該所定の位置と対応付けられた情報の入力を受け付ける。例えば、表示装置３に地図を表示している状態で観察者６が地図内のある箇所を注視している場合、情報処理装置２は「観察者が注視している位置を中心として地図（表示画像）を拡大表示する」という情報の入力を受け付ける。以下の説明では、観察者が注視している位置を観察者の注視位置ともいう。
【００２４】
図３は、注視位置のずれを説明する図である。
本実施形態に係る情報処理システム１においては、画像７から算出した観察者６の注視位置と、観察者６が実際に注視している位置とに、個人差によるずれが生じることがある。例えば、図３に示すように、画像７から抽出した視線位置８０１が所定の範囲８０２内に分布している場合、注視位置８１１の座標（X1，Y1）は各視線位置８０１の座標の平均を取ることで求められる。ところが、視線位置８０１の算出式における換算係数A，Bは統計処理の結果に基づいて設定される値であり、観察者６に対する換算係数として最適な値ではない可能性が高い。そのため、図３に示したように、算出した注視位置８１１の座標（X1，Y1）と、観察者６の実際の注視位置８０３を示す座標（XR，YR）とにはずれが生じる。このように算出した注視位置と観察者の実際の注視位置とにずれが生じている場合、情報処理装置２は、観察者の意図している処理とは異なる処理を行ってしまう可能性がある。例えば、表示装置３に表示された画像に含まれる入力釦の像の近傍を観察者が注視している場合、実際の注視位置８０３が入力釦の像の表示領域の外側であっても、算出した注視位置８１１が入力釦の像の表示領域内になることがある。この場合、情報処理装置２には、観察者が意図しない、入力釦と対応した情報が入力される。したがって、この種の情報処理システム１における情報処理装置２は、算出した注視位置と、観察者の実際の注視位置とのずれを解消する補正（キャリブレーション）を行う。本実施形態では、算出した注視位置を補正する代わりに、視線位置（X，Y）の算出式に対する補正を行う。すなわち、本実施形態では、ズーム、スクロールといったような画像変化前後でユーザーは表示面内で同じ対象物に追従、注視し続けることに着目し、画像変化前後での注視位置の変化量と情報処理装置側の画像変化量とをもとに、注視位置の較正（補正）を実施する。以下の説明では、画像から算出した注視位置を算出注視位置ともいう。
【００２５】
図４は、第１の実施形態に係る情報処理装置の機能的構成を示す図である。
図４に示すように、情報処理装置２は、画像取得部２０１と、表示制御部２０２と、表示画像生成部２０３と、表示画像出力部２０４と、記憶部２０５と、を備える。
【００２６】
画像取得部２０１は、撮像装置５から画像データを取得する。以下の説明では、画像データのことを単に画像ともいう。
【００２７】
表示制御部２０２は、取得した画像から観察者６の視線位置（X，Y）を検出する処理を行い、検出処理の結果に基づいて表示画像生成部２０３における表示画像の生成処理を制御する。情報処理システム１を起動させた直後等、画像から観察者６の視線位置（X，Y）が検出されない場合、表示制御部２０２は、表示画像生成部２０３に対し初期画面の表示画像を生成する制御信号を出力する。また、画像から観察者６の視線位置（X，Y）が検出された場合、表示制御部２０２は、観察者６が表示装置３の表示面３０１を注視しているか否かを判定する。観察者６が表示面３０１を注視している場合、表示制御部２０２は、表示画像生成部２０３に対し、観察者６の注視位置（算出注視位置）を中心として表示面３０１に表示された像（表示像）を拡大又は縮小させた表示画像を生成する制御信号を出力する。更に、表示制御部２０２は、表示装置３の表示面３０１に表示された像を、算出注視位置を中心として拡大表示させたときに、観察者６の視線位置の算出式を補正する処理を行う。この表示制御部２０２は、視線検出部２０２ａと、注視位置算出部２０２ｂと、補正量算出部２０２ｃと、を含む。視線検出部２０２ａは、取得した画像から観察者６の視線位置（X，Y）を検出する処理を行う。注視位置算出部２０２ｂは、一定期間内における観察者６の視線位置（X，Y）の分布に基づいて観察者６の注視位置を算出する。補正量算出部２０２ｃは、表示面３０１の像を拡大する前の注視位置と拡大した後の注視位置とに基づいて、視線位置（X，Y）の算出式における換算係数A，Bの補正値を算出する。
【００２８】
表示画像生成部２０３は、表示制御部２０２からの制御信号に基づいて、表示装置３に表示させる表示画像を生成する。表示画像生成部２０３は、表示面３０１に表示させる画像のデータを記憶部２０５の表示用データ２０５ａを読み出して表示画像を生成する。
【００２９】
表示画像出力部２０４は、表示画像生成部２０３が生成した表示画像を表示装置３に出力する。
【００３０】
記憶部２０５には、表示用データ２０５ａに加え、表示制御部２０２が参照する各種のデータを記憶させる。記憶部２０５に記憶させる各種のデータには、係数初期値２０５ｂと、前注視位置２０５ｃと、係数補正値２０５ｄと、が含まれる。係数初期値２０５ｂは、視線位置の算出式（１−１）及び式（１−２）における換算係数A，Bの初期値である。前注視位置２０５ｃは、注視位置算出部２０２ｂが算出した過去の注視位置である。係数補正値２０５ｄは、補正量算出部２０２ｃが算出した換算係数A，Bの補正値である。
【００３１】
なお、図４においては、画像取得部２０１、表示制御部２０２、表示画像生成部２０３、表示画像出力部２０４、記憶部２０５が1台の情報処理装置２に搭載されている例を示しているが、実装のされ方はこれに限る必要はない。例えば、ネットワークを介して接続された複数のコンピュータ上に、各処理部が分散されて配置されても構わない。すなわち、情報処理装置２はコンピュータシステムとして実現されてもよい。
【００３２】
本実施形態の情報処理システム１を稼動させると、情報処理装置２は、まず初期画面の表示画像を生成して表示装置３に表示させる。初期画面の表示画像は、表示画像生成部２０３が生成する。表示画像生成部２０３が生成した初期画面の表示画像は、表示画像出力部２０４を介して表示装置３に出力される。その後、情報処理装置２は、図５Ａ及び図５Ｂに示したような処理を行う。
【００３３】
図５Ａは、第１の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その１）である。図５Ｂは、第１の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その２）である。
【００３４】
情報処理装置２は、図５Ａに示すように、まず、撮像装置５から画像を取得して視線を検出する処理（ステップＳ１）を行う。ステップＳ１の処理は、画像取得部２０１と、表示制御部２０２の視線検出部２０２ａとが行う。画像取得部２０１は、撮像装置５から画像を取得して視線検出部２０２ａに転送する。視線検出部２０２ａは、取得した画像に含まれる観察者の眼球の部分から角膜反射の位置（PrkX，PrkY）及び瞳孔の中心位置（PupX，PupY）を検出し、式（１−１）及び式（１−２）を用いて観察者の視線位置（X，Y）を算出する。また、１回のステップＳ１の処理において、視線検出部２０２ａは、N秒分（例えば１秒分）の複数の画像のそれぞれから観察者の視線位置（X，Y）を検出する処理を行う。
【００３５】
次に、情報処理装置２は、観察者が表示装置３の表示面３０１を注視しているか否かを判定する（ステップＳ２）。ステップＳ２の判定は、例えば、視線検出部２０２ａが行う。視線検出部２０２ａは、N秒分の複数の画像のそれぞれから検出した視線位置（X，Y）が所定の視野角範囲（例えば３度）の円内に含まれる場合に、観察者６が表示面３０１を注視していると判定する。観察者６が表示面３０１を注視していないと判定した場合（ステップＳ２；Ｎｏ）、情報処理装置２が行う処理はステップＳ１に戻る。なお、ステップＳ２の判定は、観察者６の有無の判定を含む。すなわち、観察者６がおらず取得した画像から視線が検出されなかった場合も、ステップＳ２の判定結果は「Ｎｏ」となる。
【００３６】
一方、観察者６が表示面３０１を注視していると判定した場合（ステップＳ２；Ｙｅｓ）、情報処理装置２は、次に、観察者６の注視位置を算出する（ステップＳ３）。ステップＳ３の処理は、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、観察者６の注視位置（X1，Y1）として、N秒分の複数の画像のそれぞれから検出した視線位置（X，Y）の平均値を算出する。
【００３７】
観察者６の注視位置（X1，Y1）を算出すると、情報処理装置２は、次に、注視位置を中心として表示像を拡大表示させる（ステップＳ４）。ステップＳ４の処理は、表示画像制御部２０２、表示画像生成部２０３、及び表示画像出力部２０４が行う。表示画像制御部２０２は、ステップＳ３で観察者６の注視位置（X1，Y1）を算出した後、注視位置（X1，Y1）を中心として表示像を拡大させる制御信号を表示画像生成部２０３に出力する。表示画像生成部２０３は、制御信号に従って、現在表示装置３に表示させている像（表示像）についての表示用データを記憶部２０５の表示用データ２０５ａから読み出し、注視位置を中心として所定の拡大率で拡大した表示画像を生成する。表示画像出力部２０５は、表示画像生成部２０４が生成した表示画像を表示装置３に出力する。
【００３８】
なお、ステップＳ４において表示画像を拡大させる場合、拡大前の表示画像における像が所定の拡大率まで段階的（連続的）に拡大されるよう表示画像を変化させることが好ましい。
【００３９】
ステップＳ４の後、情報処理装置２は、表示像を拡大する前の注視位置がシフト量算出領域内であるか否かを判定する（ステップＳ５）。ステップＳ５の判定は、例えば、注視位置算出部２０２ｂが行う。シフト量算出領域は、視線位置の算出式を補正するか否かの判定基準として表示面３０１内に設定した領域である。拡大する前の注視位置がシフト量算出領域の外側である場合（ステップＳ５；Ｎｏ）、情報処理装置２は、図５Ｂに示すように、視線位置算出式の係数を補正せずに処理を終了する。
【００４０】
一方、拡大する前の注視位置がシフト量算出領域内である場合（ステップＳ５；Ｙｅｓ）、情報処理装置２は、次に、拡大する前の注視位置を保持する（ステップＳ６）。ステップＳ６の処理は、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、ステップＳ３で算出した注視位置（X1，Y1）を、前注視位置２０５ｃとして記憶部２０５に記憶させる。
【００４１】
ステップＳ６の後、情報処理装置２は、撮像装置５から画像を取得して視線を検出する処理（ステップＳ７）を行い、観察者６が表示面３０１を注視しているか否かを判定する（ステップＳ８）。ステップＳ７の処理は、ステップＳ２の処理と同様、画像取得部２０１と視線検出部２０２ａが行う。また、ステップＳ８の判定は、ステップＳ２の判定と同様、視線検出部２０２ａが行う。
【００４２】
表示像を拡大した後、観察者６が表示面３０１を注視していない場合（ステップＳ８；Ｎｏ）、情報処理装置２は、図５Ｂに示すように、視線位置算出式の係数を補正せずに処理を終了する。
【００４３】
一方、表示像を拡大した後も観察者６が表示面３０１を注視している場合（ステップＳ８；Ｙｅｓ）、情報処理装置２は、次に、拡大後の注視位置（X2，Y2）を算出する（ステップＳ９）。ステップＳ９の処理は、ステップＳ３の処理と同様、注視位置算出部２０２ｂが行う。
【００４４】
表示像を拡大した後の注視位置（X2，Y2）を算出すると、情報処理装置２は、次に、図５Ｂに示すように、算出した注視位置（X1，Y1）と観察者６の実際の注視位置とのずれ量（シフト量）を算出する（ステップＳ１０）。ステップＳ１０の処理は、補正量算出部２０２ｃが行う。補正量算出部２０２ｃは、表示画像を拡大する前に算出した第１の注視位置（X1，Y1）と、拡大した後に算出した第２の注視位置と、拡大率とに基づいて、ｘ方向のシフト量diffX及びｙ方向のシフト量diffYを算出する。
【００４５】
シフト量diffX，diffYを算出すると、情報処理装置２は、次に、算出したシフト量が閾値以上であるか否かを判定する（ステップＳ１１）。シフト量が閾値よりも小さい場合（ステップＳ１１；Ｎｏ）、情報処理装置２は、視線位置算出式の係数を補正せずに処理を終了する。
【００４６】
一方、シフト量が閾値以上である場合（ステップＳ１１；Ｙｅｓ）、情報処理装置２は、次に、視線位置算出式の換算係数A，Bを補正する（ステップＳ１２）。ステップＳ１２の処理は、補正量算出部２０２ｃが行う。補正量算出部２０２ｃは、拡大前の注視位置（X1，Y1）と、表示像の拡大率と、算出したシフト量diffX，diffYとを用いて、式（１−１）の換算係数A及び式（１−２）の換算係数Bを補正する。
【００４７】
補正量算出部２０２ｃは、換算係数の補正値Ａ’，Ｂ’を係数補正値２０５ｄとして記憶部２０５に記憶させる。これにより、表示像を拡大する処理と連動した視線位置算出式の係数を補正する処理が終了する。
【００４８】
図６は、拡大表示の例を示す図である。
本実施形態の情報処理システム１は、例えば、地図を表示するサイネージ等に適用可能である。この種のサイネージにおいては、例えば、図６の（ａ）に示すように、表示装置３の表示面３０１に近隣の地図が表示されている。そして、表示面３０１と向かい合う位置にいる観察者６が表示面３０１に表示された地図上のある点８１１を注視すると、図示しない情報処理装置２は注視位置８１１の座標（X1，Y1）を算出する。その後、情報処理装置２は、注視位置８１１の座標（X1，Y1）を中心として地図を拡大表示させる処理（ステップＳ４）を行う。このとき、情報処理装置２は、図６の（ａ）に示した領域８２１内の像が注視位置８１１を中心としてズームアップされるよう段階的に拡大させた複数の表示画像を生成して表示装置３に順次表示させる。すなわち、観察者６が表示面３０１に表示された地図上のある点８１１を注視した場合、表示装置３の表示面３０１に表示される像は、図６の（ｂ）に示すように、注視位置８１１及びその周囲を拡大した像に段階的に変化する。なお、注視位置８１１を中心として地図を拡大させる場合、領域８２１のｘ方向の寸法及びｙ方向の寸法は、それぞれ、表示面３０１の寸法と拡大率の逆数とから算出する。また、領域８２１の左上の角部の位置（X5，Y5）は、注視位置８１１から表示面の左上の角部までの距離及び方向と、拡大率の逆数とから算出する。
【００４９】
このように、観察者６の注視位置８１１を中心として地図を拡大することにより、拡大の前後において表示面３０１内の注視位置８１１が変わらないため、拡大後に観察者６が注視していた位置を見失う可能性が低くなる。
【００５０】
ところが、情報処理装置２が算出した注視位置と、観察者６の実際の注視位置とには、上記のように角膜反射の個人差によるずれが生じる。そのため、情報処理装置２は、注視位置に対する補正量を算出する処理を行う。本実施形態では、補正量を算出する処理として、算出した注視位置と、観察者の実際の注視位置とのずれ量（シフト量）を求め、当該シフト量に基づいて視線位置算出式の換算係数A，Bを観察者６に適した値に補正する処理を行う。
【００５１】
図７Ａは、シフト量の算出方法を説明する図（その１）である。図７Ｂは、シフト量の算出方法を説明する図（その２）である。
【００５２】
上記のように、情報処理装置２は、まず、換算係数A，Bの初期値（係数初期値）を用いた視線位置算出式により、観察者６の注視位置８１１の座標（X1，Y1）を算出する。ここで、図７Ａの（ａ）に示すように、算出した注視位置８１１と観察者６の実際の注視位置８１３とにずれが生じているとする。この場合、観察者６の実際の注視位置８１３が座標（XR，YR）であるとすると、シフト量diffX及びdiffYは、下記式（２−１）及び式（２−２）で与えられる。
diffX＝XR−X1  ・・・（２−１）
diffY＝YR−Y1  ・・・（２−２）
【００５３】
しかしながら、観察者６の実際の注視位置８１３の座標（XR，YR）は未知であるため、下記式（２−１）及び式（２−２）からシフト量diffX及びdiffYを算出することはできない。そのため、情報処理装置２は、注視位置８１１を中心として表示像を拡大するときの拡大率zoomと、拡大する前後における算出注視位置の移動量とに基づいて、シフト量diffX及びdiffYを算出する。
【００５４】
拡大前の算出注視位置８１１を中心として表示像を拡大すると、図７の（ｂ）に示したように、拡大前に注視位置８１３に表示されていた像８１５の表示位置（X0，Y0）は、算出注視位置８１１及び拡大前の注視位置８１３を通る直線上に位置する。そのため、図７Ａの（ｂ）に示すように、拡大前の算出注視位置８１１と実際の注視位置８１３との距離をＬとすると、算出注視位置８１１と像８１５の表示位置との距離はzoom・Ｌとなる。このように、算出注視位置８１１を中心として表示像を拡大したことにより、観察者６が実際に注視している像の表示位置がずれる。そのため、観察者６は、注視位置（視線位置）を座標（XR，YR）から座標（X0，Y0）に移動させる。この注視位置の移動の前後において、シフト量diffX及びdiffYは略同一である。したがって、図７Ｂの（ｃ）に示すように、観察者６が座標（X0，Y0）を注視しているときの算出注視位置８１６の座標は、実際の注視位置から距離Ｌの座標（X2，Y2）となる。
【００５５】
上記のように、拡大前に注視位置８１３に表示されていた像８１５の表示位置（X0，Y0）は、算出注視位置８１１及び拡大前の注視位置８１３を通る直線上に位置する。そのため、像８１５の表示位置（X0，Y0）と、拡大前の算出注視位置８１１の座標（X1，Y1）と、拡大後の算出注視位置８１６の座標（X2，Y2）とは、同一直線上の点とみなすことができる。したがって、これら３点の座標を用いることにより、シフト量diffX及びdiffYは、下記式（３−１）及び式（３−２）で表すことができる。
diffX＝（X2−X1）／（zoom−1）  ・・・（３−１）
diffY＝（Y2−Y1）／（zoom−1）  ・・・（３−２）
【００５６】
情報処理装置２は、式（３−１）により算出したシフト量diffXが閾値以上である場合、式（１−１）の視線位置計算式における換算係数Aを補正する。視線位置のｘ方向の座標値を算出する式（１−１）は、下記式（４−１）を満たす式に補正する。
XR＝X1＋diffX
＝A'・(PupX1−PrkX1）＋DPX／2  ・・・（４−１）
【００５７】
式（４−１）の換算係数A'は、下記式（５−１）及び式（６−１）により算出する。
A'・(PupX1−PrkX1)＝A・(PupX1−PrkX1)＋diffX  ・・・（５−１）
A'＝{A・(PupX1−PrkX1)＋diffX}／(PupX1−PrkX1)  ・・・（６−１）
【００５８】
また、情報処理装置２は、式（３−２）により算出したシフト量diffYが閾値以上である場合、式（１−２）の視線位置計算式における換算係数Bを補正する。視線位置のｙ方向の座標値を算出する式（１−２）は、下記式（４−２）を満たす式に補正する。
YR＝Y1＋diffY
＝DPY＋B'・(PupY1−PrkY1)  ・・・（４−２）
【００５９】
式（４−２）の換算係数B'は、下記式（５−２）及び式（６−２）により算出する。
B'・(PupY1−PrkY1)＝B・(PupY1−PrkY1)＋diffY  ・・・（５−２）
B'＝{B・(PupY1−PrkY1)＋diffY}／(PupY1−PrkY1）  ・・・（６−２）
【００６０】
すなわち、情報処理装置２は、式（４−１）及び式（６−１）を用いて算出した換算係数A’と、式（４−２）及び式（６−２）を用いて算出した換算係数B’とを、係数補正値２０５ｅとして記憶部２０５に記憶させる。以後、情報処理装置２は、観察者６の注視位置が算出されなくなるか、又は観察者６の注視位置を中心として表示像を拡大し視線位置算出式が再度補正されるまで、補正後の換算係数A’，B’（係数補正値）を用いて観察者６の視線位置を算出する。
【００６１】
なお、上記のような方法でシフト量を算出し視線位置算出式の換算係数を正確に補正することができるのは、拡大前に観察者６が実際に注視している位置８１３に表示されている像が拡大後も表示面３０１に表示されている場合に限られる。そのため、本実施形態の視線位置算出式の補正方法では、上記のように表示面３０１内にシフト量算出領域を設定し、拡大前の注視位置がシフト量算出領域内である場合にのみ、シフト量を算出して視線位置算出式の換算係数を補正する。
【００６２】
図８は、シフト量算出領域を説明する図である。
算出注視位置８１１を中心として表示像を拡大させる場合、観察者の実際の注視位置８１３が、注視位置８１１と、表示面３０１における注視位置８１１から最も近い辺との間に位置していると、拡大前の注視位置の像が拡大後に表示されない可能性が高い。特に、算出した注視位置８１１から表示面３０１の辺までの距離が短い場合に、拡大前の注視位置の像が拡大後に表示されない可能性が高い。拡大前の注視位置の像が拡大後に表示されない場合、拡大後も観察者６が表示面３０１を注視していたとしても、拡大の前後において観察者６が注視している像が異なる。よって、正確なシフト量diffX，diffYを算出することができず、視線位置算出式の換算係数A，Bに対し誤った補正を行ってしまう可能性がある。
【００６３】
そこで、本実施形態に係る視線位置の算出式の補正方法では、図８に示すように、表示装置３の表示面３０１内にシフト量算出領域３０１ａを設定する。シフト量算出領域３０１ａを設定する際には、上記のような理由から、表示面３０１における正確なシフト量を算出することができない可能性の高い領域（言い換えるとシフト量を算出しない領域）を基準に設定する。例えば、図８に示したように、表示面３０１のｘ方向（水平方向）の各辺からそれぞれ距離CEXの範囲と、表示面３０１の上辺から距離CEYの範囲とをシフト量を算出しない領域に設定することにより、シフト量算出領域３０１ａが定まる。シフト量を算出しない領域の範囲を表す距離CEX，CEYは、それぞれ、拡大率zoomと、補正対象とするシフト量の値とに基づいて設定する。例えば、拡大率が１．５倍であり、補正後の換算係数A'，B'が初期値A，Bの０．８倍程度となるシフト量を補正対象とした場合、距離CEX及びCEYは、それぞれ、下記式（７−１）及び式（７−２）に基づいて算出する。
CEX＝{DPX・(1-0.8)・1.5}／2  ・・・（７−１）
CEY＝DPY・(1-0.8)・1.5  ・・・（７−２）
【００６４】
例えば、表示装置３の表示面３０１の解像度が１９２０×１０８０画素である場合、式（７−１）からCEX＝２８８となり、式（７−２）からCEY＝３２４となる。そのため、表示面３０１の左端及び右端から幅２８８画素の範囲、並びに表示面３０１の上端から幅３２４画素の範囲を、シフト量を算出しない領域に設定する。
【００６５】
なお、シフト量算出範囲３０１ａは、図８に示した領域に限らず、表示面３０１内の任意の位置に任意の寸法で設定することが可能である。例えば、表示面３０１の上下方向についても、左右方向と同様、シフト量算出範囲３０１ａの上方及び下方にシフト量を算出しない範囲を設定してもよい。また、拡大表示の対象となる像を表示する領域が表示面３０１内の一部の領域に限定されている場合、拡大表示の対象となる像を表示する領域の位置及び寸法に合わせてシフト量算出範囲３０１ａを設定してもよい。例えば、表示面３０１を左右に２分割して左半分の領域のみに拡大表示の対象となる像を表示させる場合、表示面３０１の左半分の領域内のみにシフト量算出範囲を設定してもよい。
【００６６】
以上のように、本実施形態に係る情報処理装置２は、観察者６が表示面３０１を注視した際の拡大表示と連動して視線位置の算出式を補正する。この際、視線位置の算出式は拡大前後の注視位置と拡大率とに基づいて補正するので、観察者６に補正のための装置を操作させることなく視線位置の算出式を補正することができる。また、本実施形態に係る情報処理装置２では、拡大前後の注視位置と拡大率とに基づいて視線位置の算出式を補正するので、補正用のテスト画像に限らず、任意の画像を表示装置に表示させた状態で補正することが可能となる。例えば、地図等のコンテンツを観察者６に提供する情報処理システム１の場合、上記のように、表示装置３に表示させた地図を拡大表示する際に視線位置の算出式を補正することができる。そのため、表示装置３に表示させたテスト画面内の特徴点を所定の順序で注視する等の動作を観察者に行わせることなく、視線位置の算出式を補正することができる。したがって、本実施形態の情報処理システム１によれば、観察者６が視線位置の算出式を補正するための処理を行う手間を省くことができる。
【００６７】
なお、視線位置の算出式を補正するタイミングは、表示画像を拡大するときに限らず、例えば、観察者６の注視位置を中心として表示画像を縮小するときであってもよい。また、拡大又は縮小する表示画像は、観察者６に提供するコンテンツの像に限らず、補正用の画像であってもよい。補正用画像は、例えば、観察者に注視させる位置が一点だけ示された画像でよい。また、観察者６は、補正用画像内の指定位置を注視するだけでよい。そのため、観察者６が行う動作は、画像内の複数の特徴点を所定の順序で注視するような動作と比べて非常に少なくなる。よって、補正用の画像を用いて視線位置の算出式を補正する際の処理が軽減される。
【００６８】
また、観察者６の視線の検出方法は、本実施形態で挙げた瞳孔−角膜反射法に限らず、他の方法（例えば画像内の目頭の位置と虹彩の中心位置とに基づいて検出する方法）であってもよい。
【００６９】
更に、図１及び図４に示した情報処理装置２は、観察者６の視線位置に基づいて情報の入力を受け付けるだけでなく、キーボード装置、マウス装置、及びタッチパネル装置等の入力装置からの情報の入力も受け付けるものであってもよい。これらの入力装置は、本実施形態の情報処理システム１に必須の構成ではない。しかしながら、これらの入力装置を併用することでより多くの種類の情報を入力可能となり、観察者の利便性を向上させることが可能となる。
【００７０】
［実施形態２］
本実施形態に係る情報処理システム１では、情報処理装置２が行う表示画像のスクロールと連動して視線位置の算出式を補正する。本実施形態に係る情報処理システム１は、図１に示したような構成であり、情報処理装置２と、表示装置３と、光源４と、撮像装置５と、を備える。また、情報処理装置２の機能的構成は、図４に示したような構成であり、画像取得部２０１と、表示制御部２０２と、表示画像生成部２０３と、表示画像出力部２０４と、記憶部２０５と、を備える。なお、情報処理装置２の表示制御部２０２は、観察者６が表示面３０１内の所定位置を注視した場合に、表示している像が所定の方向に所定の移動量だけ並進移動した表示画像を生成する制御信号を表示画像生成部２０３に転送する。
【００７１】
図９Ａは、第２の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その１）である。図９Ｂは、第２の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その２）である。
【００７２】
本実施形態の情報処理装置２は、図９Ａに示すように、まず、撮像装置５から画像を取得して視線を検出する処理（ステップＳ１）を行う。ステップＳ１の処理は、画像取得部２０１と、表示制御部２０２の視線検出部２０２ａとが行う。画像取得部２０１は、撮像装置５から画像を取得して視線検出部２０２ａに転送する。視線検出部２０２ａは、取得した画像に含まれる観察者の眼球の部分から角膜反射の位置（PrkX，PrkY）及び瞳孔の中心位置（PupX，PupY）を検出し、式（１−１）及び式（１−２）を用いて観察者の視線位置（X，Y）を算出する。また、１回のステップＳ１の処理において、視線検出部２０２ａは、N秒分（例えば１秒分）の複数の画像のそれぞれから観察者の視線位置（X，Y）を検出する処理を行う。
【００７３】
次に、情報処理装置２は、観察者が表示装置３の表示面３０１を注視しているか否かを判定する（ステップＳ２）。ステップＳ２の判定は、例えば、視線検出部２０２ａが行う。視線検出部２０２ａは、例えば、N秒分の複数の画像のそれぞれから検出した視線位置（X，Y）が所定の視野角範囲（例えば３度）の円内に含まれる場合に、観察者６が表示面３０１を注視していると判定する。観察者６が表示面３０１を注視していないと判定した場合（ステップＳ２；Ｎｏ）、情報処理装置２が行う処理はステップＳ１に戻る。なお、ステップＳ２の判定は、観察者６の有無の判定を含む。すなわち、観察者６がおらず取得した画像から視線が検出されなかった場合も、ステップＳ２の判定結果は「Ｎｏ」となる。
【００７４】
一方、観察者６が表示面３０１を注視していると判定した場合（ステップＳ２；Ｙｅｓ）、情報処理装置２は、次に、観察者６の注視位置を算出する（ステップＳ３）。ステップＳ３の処理は、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、観察者６の注視位置（X1，Y1）として、N秒分の複数の画像のそれぞれから検出した視線位置（X，Y）の平均値を算出する。
【００７５】
観察者６の注視位置（X1，Y1）を算出すると、情報処理装置２は、次に、表示像をスクロールさせる（ステップＳ２１）。ステップＳ２１の処理は、表示画像制御部２０２、表示画像生成部２０３、及び表示画像出力部２０４が行う。表示画像制御部２０２は、ステップＳ３で観察者６の注視位置（X1，Y1）を算出した後、表示像を所定方向に所定の移動量だけ並進移動（スクロール）させる制御信号を表示画像生成部２０３に出力する。表示画像生成部２０３は、制御信号に従って、現在表示装置３に表示させている像（表示像）についての表示用データを記憶部２０５の表示用データ２０５ａから読み出し、並進移動させた表示画像を生成する。なお、表示画像生成部２０３は、表示像をスクロールさせることにより生じた空白領域に表示像と連続する像、或いは表示像と重なって非表示になっていた像が表示された表示画像を生成する。表示画像出力部２０５は、表示画像生成部２０４が生成した表示画像を表示装置３に出力する。
【００７６】
なお、ステップＳ２１において表示画像をスクロールする場合、スクロール前の表示画像における像が所定の移動量だけ移動するまで段階的（連続的）に表示位置が移動するよう表示画像を変化させることが好ましい。
【００７７】
ステップＳ２１の後、情報処理装置２は、スクロールする前の注視位置が変動量算出領域内であるか否かを判定する（ステップＳ２２）。ステップＳ２２の判定は、例えば、注視位置算出部２０２ｂが行う。変動量算出領域は、視線位置の算出式を補正するか否かの判定基準として表示面３０１内に設定した領域である。スクロールする前の注視位置が変動量算出領域の外側である場合（ステップＳ２２；Ｎｏ）、情報処理装置２は、図９Ｂに示すように、視線位置算出式の係数を補正せずに処理を終了する。
【００７８】
一方、スクロールする前の注視位置が変動量算出領域内である場合（ステップＳ２２；Ｙｅｓ）、情報処理装置２は、次に、スクロールする前の注視位置を保持する（ステップＳ２３）。ステップＳ２３の処理は、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、ステップＳ３で算出した注視位置（X1，Y1）を、前注視位置２０５ｃとして記憶部２０５に記憶させる。
【００７９】
ステップＳ２３の後、情報処理装置２は、撮像装置５から画像を取得して視線を検出する処理（ステップＳ７）を行い、観察者６が表示面３０１を注視しているか否かを判定する（ステップＳ８）。ステップＳ７の処理は、ステップＳ２の処理と同様、画像取得部２０１と視線検出部２０２ａが行う。また、ステップＳ８の判定は、ステップＳ３の判定と同様、視線検出部２０２ａが行う。
【００８０】
表示像をスクロールした後、観察者６が表示面３０１を注視していない場合（ステップＳ８；Ｎｏ）、情報処理装置２は、図９Ｂに示すように、視線位置算出式の係数を補正せずに処理を終了する。
【００８１】
一方、表示像をスクロールした後も観察者６が表示面３０１を注視している場合（ステップＳ８；Ｙｅｓ）、情報処理装置２は、次に、注視位置を算出する（ステップＳ９）。ステップＳ９の処理は、ステップＳ３の処理と同様、注視位置算出部２０２ｂが行う。
【００８２】
表示像をスクロールした後の注視位置（X2，Y2）を算出すると、情報処理装置２は、次に、図９Ｂに示すように、スクロールの前後で生じるシフト量の変動量を算出する（ステップＳ２４）。ステップＳ２４の処理は、補正量算出部２０２ｃが行う。補正量算出部２０２ｃは、スクロール前の注視位置（X1，Y1）と、スクロール後の注視位置（X2，Y2）と、スクロール時の表示像の移動量とに基づいて、シフト量の変動率を算出する。シフト量の変動率は、スクロール前の注視位置のシフト量に対するスクロール後の注視位置のシフト量の変化率である。シフト量の変動率を算出すると、情報処理装置２は、次に、算出した変動率が閾値以上であるか否かを判定する（ステップＳ２５）。変動率が閾値よりも小さい場合（ステップＳ２５；Ｎｏ）、情報処理装置２は、視線位置算出式の係数を補正せずに処理を終了する。
【００８３】
一方、変動率が閾値以上である場合（ステップＳ２５；Ｙｅｓ）、情報処理装置２は、次に、視線位置算出式の換算係数を補正する（ステップＳ２６）。ステップＳ２６の処理は、補正量算出部２０２ｃが行う。補正量算出部２０２ｃは、スクロール時の表示像の移動方向と、シフト量の変動率とに基づいて、視線位置算出式における換算係数A，Bを補正する。スクロール時の表示像の移動方向がｙ方向（垂直方向）の場合、補正量算出部２０２ｃは、換算係数Bのみを補正する。スクロール時の表示像の移動方向がｘ方向（水平方向）の場合、補正量算出部２０２ｃは、換算係数Aのみを補正する。スクロール時の表示像の移動方向がｘ方向成分とｙ方向成分とを含む場合、補正量算出部２０２ｃは、換算係数A，Bを補正する。
【００８４】
補正量算出部２０２ｃは、換算係数の補正値を係数補正値２０５ｄとして記憶部２０５に記憶させる。これにより、表示画像をスクロールさせる処理と連動した視線位置算出式の補正処理が終了する。
【００８５】
図１０は、スクロールの例を示す図である。
図１０には、表示画像をスクロールする画面表示の例として、表示面３０１全体にｗｅｂページが表示された表示装置３を示している。スクロールする前の表示面３０１には、図１０の（ａ）に示すように、画像３０１ｄやテキスト３０１ｅを含むｗｅｂページが表示されている。このような表示状態であるときに、例えば、観察者６が表示面３０１の垂直方向の中心よりも下方となる座標（X1，Y1）の付近を注視すると、情報処理装置２は、注視位置８１１の座標（X1，Y1）を算出する処理（ステップＳ３）を行う。その後、情報処理装置２は、図１０の（ｂ）に示すように、表示面３０１に表示させている画像３０１ｄやテキスト３０１ｅを含むｗｅｂページの像を画面上方にΔＹだけスクロール（並進移動）させる処理（ステップＳ２１）を行う。この際、表示面３０１における下端側の高さΔＹの領域には、ｗｅｂページの続きの部分に含まれる画像３０１ｆ等が表示される。このように、ｗｅｂページを画面上方にスクロール量ΔＹだけスクロールさせた場合、観察者６の注視位置８１１も、画面上方に移動する。このとき観察者６の注視位置の移動量は、スクロール量ΔＹと同一の移動量になると考えられる。ところが、実際には、角膜反射の個人差によりスクロールの前後におけるシフト量が変動し、観察者６の注視位置の移動量がスクロール量とは異なる値になることがある。
【００８６】
図１１は、スクロールの前後で生じるシフト量の変動を説明する図である。
図１１に示すように、表示画像をスクロールする前における算出注視位置８１１と観察者６の実際の注視位置８１３との間には、シフト量diffYのずれが生じる。また、表示面３０１の表示画像を画面上方にスクロール量ΔＹだけスクロールさせると、観察者６の実際の注視位置８１３に表示されていた像はΔＹだけ上方の座標（X0，Y0）の位置８１５に移動する。そのため、スクロール後の観察者６の実際の注視位置は座標（X0，Y0）の位置８１５に移動する。ここで、観察者６が注視位置８１５を注視しているときのシフト量と、注視位置８１３を注視していたときのシフト量diffYとが同じであれば、スクロール後に情報処理装置２が算出する注視位置は、座標（X1，Y1−ΔY）の位置８１６となる。
【００８７】
ところが、スクロールにより観察者６の視線（注視する方向）が変化した場合、角膜反射の個人差等によりスクロールの前後でシフト量が変動し、図１１に示したように、算出する注視位置８１７が位置８１６とは異なる位置になることがある。すなわち、表示面３０１の表示像を画面上方にスクロール量ΔＹだけスクロールさせたときに、スクロール後の注視位置８１７とスクロール前の注視位置８１１とのｙ方向の距離Y2−Y1がスクロール量Δｙとは異なる値になることがある。そのため、本実施形態の視線位置の算出式の補正方法では、スクロールの前後で生じるシフト量の変動率に応じて視線位置の算出式の換算係数A，Bを補正する。ｙ方向のスクロールにより生じるシフト量の変動率diffY0はdiffY0＝（Y2−Y1）／ΔYと表せる。ここで、角膜反射に個人差がなければdiffY0＝１でありY2−Y1＝ΔYとなるが、実際には、diffY0≠１であるため、スクロールの前後による注視位置の移動量は（Y2−Y1）＝diffY0・ΔYとなる。よって、視線位置の算出式（１−２）における換算係数Bを、下記式（８）を満たす換算係数B'に補正する。
diffY0・ΔY＝B'・(PupY2−PrkY2)−B'・(PupY1−PrkY1)  ・・・（８）
【００８８】
すなわち、情報処理装置２は、式（８）を用いて算出した換算係数B'を、係数補正値２０５ｅとして記憶部２０５に記憶させる。以後、情報処理装置２は、観察者の注視位置が検出されなくなるか、又は表示像をスクロールし視線位置算出式が再度補正されるまで、換算係数A，B'を用いて観察者６の視線位置を算出する。
【００８９】
図１２は、変動率算出領域を説明する図である。
本実施形態の視線位置算出式の補正方法においても、スクロールする前に観察者６の実際の注視位置に表示されていた像がスクロール後にも表示されていないと、スクロールの前後で観察者6の注視している像が異なるため、視線位置算出式の換算係数に対し誤った補正を行ってしまうこととなる。
【００９０】
そこで、本実施形態に係る視線位置の算出方法では、図１２に示すように、表示面３０１の上辺から距離CEYの範囲をシフト量の変動率を算出しない領域とすることで、変動率算出領域３０１ｂを設定する。シフト量の変動率を算出しない領域の幅CEYは、スクロール量ΔYと、補正対象とする変動率の値とに基づいて設定する。例えば、スクロール量ΔYが２１６画素であり、補正後の換算係数B’が初期値Bの０．８倍程度となる変動率を補正対象とした場合、CEY＝２７０（＝２１６／０．８）とする。
【００９１】
なお、変動量算出領域３０１ｂは、図１２に示した領域に限らず、表示面３０１内の任意の位置に任意の寸法で設定することが可能である。例えば、表示面３０１の下方側にスクロールした場合にも視線位置算出式の換算係数を補正する場合、表示面の下辺側にも幅CEYのシフト量の変動率を算出しない領域が存在するよう変動量算出領域３０１ｂを設定してもよい。また、表示面３０１の水平方向（左右方向）にもスクロール可能な場合、表示面の右辺側及び左辺側にもシフト量の変動率を算出しない領域が存在するよう変動量算出領域３０１ｂを設定してもよい。
【００９２】
以上のように、本実施形態に係る情報処理装置２は、観察者６が表示面３０１を注視した際のスクロールと連動して視線位置の算出式を補正する。この際、視線位置の算出式はスクロールの前後の注視位置とスクロール量とに基づいて補正するので、観察者に補正のための装置を操作させることなく視線位置の算出式を補正することができる。また、本実施形態に係る情報処理装置２では、スクロールの前後の注視位置とスクロール量とに基づいて視線位置の算出式を補正するので、補正用のテスト画像に限らず、任意の画像を表示装置に表示させた状態で補正することが可能となる。そのため、表示装置に表示させたテスト画像内の特徴点を所定の順序で注視する等の動作を観察者に行わせることなく、視線位置の算出式を補正することができる。したがって、本実施形態の情報処理システム１によれば、観察者が視線位置の算出式を補正するための処理を行う手間を省くことができる。
【００９３】
なお、本実施形態では、表示画像をスクロールするとき、すなわち表示されている像を所定の方向に並進移動させるときに視線位置の算出式を補正しているが、これに限らず、表示画像を拡大又は縮小するときにも視線位置の算出式を補正してもよい。更に、例えば、表示画像の拡大と所定の方向への並進移動（スクロール）とを続けて行った場合に視線位置の算出式の補正を行うようにしてもよい。
【００９４】
［第３の実施形態］
図１３は、第３の実施形態に係る情報処理装置の機能的構成を示す図である。
【００９５】
図１３に示すように、本実施形態の情報処理装置２は、画像取得部２０１と、表示制御部２０２と、表示画像生成部２０３と、表示画像出力部２０４と、記憶部２０５と、を備える。情報処理装置２は、第１の実施形態で説明した情報処理システム１（図１を参照）の構成要素の１つであり、表示画像生成部２０３で生成した表示画像を表示装置３に表示させる。また、情報処理装置２は、撮像装置５で撮像した観察者６の眼球を含む画像を取得し、観察者の注視位置に基づいて表示画像の拡大等の処理を行う。
【００９６】
本実施形態の情報処理装置２は、第１の実施形態の情報処理装置２と同様、表示装置３の表示面３０１の表示像を拡大するときに、観察者の注視位置のシフト量に基づいて視線位置の算出式を補正する。そのため、本実施形態の情報処理装置２における表示制御部２０２は、視線検出部２０２ａと、注視位置算出部２０２ｂと、補正量算出部２０２ｃと、を含む。また、本実施形態の情報処理装置２における記憶部２０５には、表示用データ２０５ａとともに、係数初期値２０５ｂと、前注視位置２０５ｃと、係数補正値２０５ｄとが記憶される。
【００９７】
更に、本実施形態の情報処理装置２は、表示画像を拡大する処理を繰り返し行う際に、現在の観察者が直前の処理を行った際の観察者と同一人物であるか否かを判定する。そして、同一人物である場合には、表示画像を拡大する処理と連動した視線位置の算出式を補正する処理を省略する。このため、本実施形態の情報処理装置２における表示制御部２０２は、人物情報抽出部２０２ｄを更に含む。また、本実施形態の情報処理装置２における記憶部２０５には、人物情報２０５ｅが記憶される。
【００９８】
人物情報抽出部２０２ｄは、例えば、撮像装置５から取得した画像における人物（観察者６）についての所定の特徴量を抽出し、抽出した特徴量を人物情報２０５ｅとして記憶部２０５に記憶させる。また、人物情報抽出部２０２ｄは、視線位置の算出式を補正した際には補正後の換算係数A’，B’（係数補正値）と、補正時の人物情報とを対応付ける。更に、人物情報抽出部２０２ｄは、表示画像を拡大する際に、抽出した特徴量と記憶部２０５の人物情報２０５ｅとを照合し視線位置の算出式を補正するか否かを判定する。
【００９９】
なお、図１３においては、画像取得部２０１、表示制御部２０２、表示画像生成部２０３、表示画像出力部２０４、記憶部２０５が1台の情報処理装置２に搭載されている例を示しているが、実装のされ方はこれに限る必要はない。例えば、ネットワークを介して接続された複数のコンピュータ上に、各処理部が分散されて配置されても構わない。すなわち、情報処理装置２はコンピュータシステムとして実現されてもよい。
【０１００】
図１４Ａは、第３の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その１）である。図１４Ｂは、第３の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その２）である。
【０１０１】
本実施形態の情報処理装置２は、図１４Ａに示すように、まず、撮像装置５から画像を取得して人物情報を抽出する処理（ステップＳ３１）を行う。ステップＳ３１の処理は、画像取得部２０１と、表示制御部２０２の人物情報抽出部２０２ｄとが行う。画像取得部２０１は、撮像装置５から取得した画像を表示制御部２０２に転送する。人物情報検出部２０２ｄは、人物情報として、例えば、取得した画像における観察者の目頭等についての特徴量を抽出する。
【０１０２】
次に、情報処理装置２は、人物情報の抽出結果に応じた視線位置の算出式で観察者の視線を検出する（ステップＳ３２）。ステップＳ３２の処理は、表示制御部２０２の視線検出部２０２ａが行う。視線検出部２０２ａは、ステップＳ３１の人物情報の抽出結果を取得し、記憶部２０５の人物情報２０５ｅと合致するか否かを判定する。人物情報の抽出結果と記憶部２０５の人物情報２０５ｅとが合致する場合、視線検出部２０２ｅは、記憶部２０５の係数補正値２０５ｄを換算係数とする視線位置の算出式を用いて観察者の視線位置（X，Y）を算出する。人物情報の抽出結果と記憶部２０５の人物情報２０５ｅとが合致しない場合、視線検出部２０２ｅは、記憶部２０５の係数初期値２０５ｂを換算係数とする視線位置の算出式を用いて観察者の視線位置（X，Y）を算出する。また、１回のステップＳ１の処理において、視線検出部２０２ａは、Ｎ秒分の複数の画像のそれぞれから観察者の視線位置（X，Y）を検出する処理を行う。
【０１０３】
次に、情報処理装置２は、観察者が表示装置３の表示面３０１を注視しているか否かを判定する（ステップＳ３３）。ステップＳ３３の判定は、例えば、視線検出部２０２ａが行う。視線検出部２０２ａは、例えば、N秒分（例えば１秒分）の複数の画像のそれぞれから検出した視線位置（X，Y）が所定の視野角範囲（例えば３度）の円内に含まれる場合に、観察者６が表示面３０１を注視していると判定する。観察者６が表示面３０１を注視していないと判定した場合（ステップＳ３３；Ｎｏ）、情報処理装置２が行う処理はステップＳ３１に戻る。なお、ステップＳ３３の判定は、観察者６の有無の判定を含む。すなわち、観察者６がおらず取得した画像から視線が検出されなかった場合も、ステップＳ３３の判定結果は「Ｎｏ」となる。
【０１０４】
一方、観察者６が表示面３０１を注視していると判定した場合（ステップＳ３３；Ｙｅｓ）、情報処理装置２は、次に、観察者６の注視位置を算出する（ステップＳ３４）。ステップＳ３４の処理は、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、観察者６の注視位置（X1，Y1）として、N秒分の複数の画像のそれぞれから検出した視線位置（X，Y）の平均値を算出する。
【０１０５】
観察者６の注視位置（X1，Y1）を算出すると、情報処理装置２は、次に、注視位置を中心として表示している像（表示像）を拡大させる（ステップＳ３５）。ステップＳ３５の処理は、表示画像制御部２０２、表示画像生成部２０３、及び表示画像出力部２０４が行う。表示画像制御部２０２は、ステップＳ３４で観察者６の注視位置（X1，Y1）を算出した後、注視位置（X1，Y1）を中心として表示像を拡大させる制御信号を表示画像生成部２０３に出力する。表示画像生成部２０３は、制御信号に従って、現在表示装置に表示させている像（表示像）についての表示用データを記憶部２０５の表示用データ２０５ａから読み出し、注視位置を中心として所定の拡大率で拡大した表示画像を生成する。表示画像出力部２０５は、表示画像生成部２０４が生成した表示画像を表示装置３に出力する。
【０１０６】
ステップＳ３５の後、情報処理装置２は、現在の処理における観察者６が直前の処理のときと同じ人物であるか否かを判定する（ステップＳ３６）。ステップＳ３６の判定は、例えば、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、ステップＳ３１で抽出した人物情報と記憶部の人物情報２０５ｅとが合致する場合、現在の処理における観察者６が直前の処理のときと同じ人物であると判定する。観察者６が直前の処理と同じ人物である場合（ステップＳ３６；Ｙｅｓ）、情報処理装置２は、図１４Ｂに示すように、視線位置算出式の係数を補正せずに処理を終了する。一方、観察者６が直前の処理と同じ人物ではない場合（ステップＳ３６；Ｎｏ）、情報処理装置２は、図１４Ｂに示すように、次に、表示像を拡大する前の注視位置がシフト量算出領域内であるか否かを判定する（ステップＳ３７）。ステップＳ３７の判定は、例えば、注視位置算出部２０２ｂが行う。シフト量算出領域は、視線位置の算出式を補正するか否かの判定基準として表示面３０１内に設定した領域である。拡大する前の注視位置がシフト量算出領域の外側である場合（ステップＳ３７；Ｎｏ）、情報処理装置２は、視線位置算出式の係数を補正せずに処理を終了する。
【０１０７】
一方、拡大する前の注視位置がシフト量算出領域内である場合（ステップＳ３７；Ｙｅｓ）、情報処理装置２は、次に、拡大する前の注視位置を保持する（ステップＳ３８）。ステップＳ３８の処理は、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、ステップＳ３４で算出した注視位置（X1，Y1）を、前注視位置２０５ｃとして記憶部２０５に記憶させる。
【０１０８】
ステップＳ３８の後、情報処理装置２は、撮像装置５から画像を取得して視線を検出する処理（ステップＳ３９）を行い、観察者６が表示面３０１を注視しているか否かを判定する（ステップＳ４０）。ステップＳ３９の処理は、画像取得部２０１と視線検出部２０２ａが行う。視線検出部２０２ａは、ステップＳ３２の処理を行った際の算出式と同じ算出式を用いて視線位置（X，Y）を算出する。また、ステップＳ４０の判定は、視線検出部２０２ａが行う。表示している像を拡大した後、観察者６が表示面３０１を注視していない場合（ステップＳ４０；Ｎｏ）、情報処理装置２は、視線位置算出式の係数を補正せずに処理を終了する。
【０１０９】
一方、表示している像を拡大した後も観察者６が表示面３０１を注視している場合（ステップＳ４０；Ｙｅｓ）、情報処理装置２は、次に、注視位置（X2，Y2）を算出する（ステップＳ４１）。ステップＳ４１の処理は、ステップＳ３４の処理と同様、注視位置算出部２０２ｂが行う。
【０１１０】
表示している像を拡大した後の注視位置（X2，Y2）を算出すると、情報処理装置２は、次に、算出した注視位置と観察者６が実際に注視している位置とのずれ量（シフト量）を算出する（ステップＳ４２）。ステップＳ４２の処理は、補正量算出部２０２ｃが行う。補正量算出部２０２ｃは、第１の実施形態で説明したような方法でｘ方向のシフト量diffX及びｙ方向のシフト量diffYを算出する。
【０１１１】
シフト量diffX，diffYを算出すると、情報処理装置２は、次に、算出したシフト量が閾値以上であるか否かを判定する（ステップＳ４３）。シフト量が閾値よりも小さい場合（ステップＳ４３；Ｎｏ）、情報処理装置２は、視線位置算出式の係数を補正せずに処理を終了する。
【０１１２】
一方、シフト量が閾値以上である場合（ステップＳ４３；Ｙｅｓ）、情報処理装置２は、次に、視線位置算出式の換算係数A，Bを補正する（ステップＳ４４）。ステップＳ４４の処理は、補正量算出部２０２ｃが行う。補正量算出部２０２ｃは、拡大前の注視位置（X1，Y1）と、表示像の拡大率と、算出したシフト量diffX，diffYとを用いて、視線位置算出式における換算係数A，Bを補正する。補正量算出部２０２ｃは、例えば、下記式（６−１）及び式（６−２）を用いて、換算係数の補正値A'，B'を算出する。
【０１１３】
換算係数の補正値A'，B'を算出すると、補正量算出部２０２ｃは、算出した換算係数の補正値A'，B'を係数補正値２０５ｄとして記憶部２０５に記憶させる。この際、補正量算出部２０２ｃは、人物情報と視線位置算出式の換算係数との対応付けを更新する（ステップＳ４５）。これにより、表示している像を拡大する処理と連動した視線位置算出式の係数を補正する処理が終了する。
【０１１４】
このように、本実施形態の視線位置の算出式の補正方法では、画像から抽出した人物情報に基づいて、現在の観察者６が直前の処理を行ったときの観察者と同一人物であるか否かを判定する。そして、現在の観察者６が直前の処理を行ったときの観察者と同一人物である場合、情報処理装置２は、視線位置算出式の換算係数を補正する処理を省略する。現在の観察者が直前の処理を行ったときの観察者と同一人物である場合、当該観察者が表示面３０１を注視したときのシフト量及び視線位置算出式の換算係数を補正する処理は、直前の処理或いは更に前の処理で行われている。そのため、ステップＳ３２及びＳ３４の処理により算出される観察者の注視位置は、観察者６の実際の注視位置と略同一となる。よって、現在の観察者６が直前の処理を行ったときの観察者と同一人物である場合、表示像を拡大した後のステップＳ３７〜Ｓ４５の処理を省略することが可能となる。これにより、同一の観察者６が表示像を拡大する処理を繰り返し行った場合の情報処理装置２の処理負荷を軽減することが可能となる。
【０１１５】
なお、図１４Ａ及び図１４Ｂの処理は一例に過ぎず、必要に応じて一部の処理の内容を変更してもよいし、他の処理を追加してもよい。例えば、人物情報と視線位置算出式の係数との対応付けは、更新せずに蓄積してもよい。人物情報と視線位置算出式の係数との対応付けを蓄積する場合、例えば、タイムスタンプにより人物情報を抽出した時刻を特定する。また、ステップＳ３２で視線位置算出式の換算係数を決定する際や、ステップＳ３６の判定の際には、タイムスタンプに基づいて直前（最新）の処理を行ったときの人物情報を特定する。このように人物情報と視線位置算出式の係数とを対応付けて蓄積することにより、例えば、視線位置算出式の換算係数の初期値の見直しや学習を行うことが可能となる。
【０１１６】
また、観察者６が直前の処理のときと同一人物であるか否かの判定に用いる人物情報は、撮像装置５で撮像した画像から抽出した特徴量に限らず、他の情報であってもよい。例えば、人感センサを用いて所定の空間内の人物の有無を検知し、その検知結果に基づいて観察者６が直前の処理のときと同一人物であるか否かを判定してもよい。
【０１１７】
第１〜第３の実施形態に係る情報処理システム１では、１個の情報処理装置２において観察者の注視位置の算出、表示画像の生成、及び視線位置の算出式の補正の各処理を行っている。しかしながら、情報処理システム１は、これに限らず、注視位置の算出及び表示画像の生成を行う情報処理装置とは別個に、視線位置の算出式を補正する処理を行う情報処理装置を設けてもよい。また、情報処理システム１は、表示装置３、光源４及び撮像装置５の組が１個の情報処理装置２に複数組接続された構成であってもよい。
【０１１８】
また第１〜第３の実施形態に係る情報処理装置２は、例えば、コンピュータと、当該コンピュータに実行させるプログラムとを用いて実現することが可能である。以下、コンピュータとプログラムとを用いて実現される情報処理装置２について、図１５を参照して説明する。
【０１１９】
図１５は、コンピュータのハードウェア構成を示す図である。
図１５に示すように、コンピュータ１０は、プロセッサ１００１と、主記憶装置１００２と、補助記憶装置１００３と、表示装置１００４と、インタフェース装置１００５と、通信装置１００６と、記憶媒体駆動装置１００７と、を備える。コンピュータ１０におけるこれらの要素１００１〜１００７は、バス１０１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
【０１２０】
プロセッサ１００１は、Central Processing Unit（ＣＰＵ）等の演算処理装置であり、オペレーティングシステムを含む各種のプログラムを実行することによりコンピュータ１０の全体の動作を制御する。
【０１２１】
主記憶装置１００２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置１００２のＲＯＭには、例えばコンピュータ１０の起動時にプロセッサ１００１が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置１００２のＲＡＭ は、プロセッサ１００１が各種のプログラムを実行する際に、必要に応じて作業用記憶領域として使用する。主記憶装置１００２のＲＡＭは、例えば、視線位置算出式の換算係数（係数初期値２０５ｂ及び係数補正値２０５ｄ）、注視位置の算出に用いる複数の視線位置、及び前注視位置２０５ｃの記憶に利用可能である。
【０１２２】
補助記憶装置１００３は、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）等の主記憶装置１００２に比べて容量の大きい記憶装置である。補助記憶装置１００３には、プロセッサ１００１によって実行される各種のプログラムや各種のデータ等を記憶させることができる。補助記憶装置１００３は、例えば、図５Ａ及び図５Ｂの処理を含むプログラム、図９Ａ及び図９Ｂの処理を含むプログラム、図１４Ａ及び図１４Ｂの処理を含むプログラム等の記憶に利用可能である。また、補助記憶装置１００３は、例えば、表示用データ２０５ａ、視線位置算出式の換算係数（係数初期値２０５ｂ）、注視位置の算出に用いる複数の視線位置、前注視位置２０５ｃ、人物情報２０５ｅ等の記憶に利用可能である。
【０１２３】
表示装置１００４は、例えば液晶ディスプレイである。表示装置１００４は、プロセッサ１００１等から送信される表示画像のデータに従って各種のテキスト画面、画像等を含む表示画像を表示する。
【０１２４】
インタフェース装置１００５は、コンピュータ１０と他の電子装置とを接続する装置であり、Universal Serial Bus（ＵＳＢ）規格のコネクタ等を備える。インタフェース装置１００５によりコンピュータ１０と接続可能な電子装置の１つは、撮像装置５である。
【０１２５】
通信装置１００６は、インターネット等の通信ネットワークを介して他のコンピュータ等の外部装置と各種通信を行う装置である。コンピュータ１０は、例えば、通信装置１００６を介して、他のコンピュータから各種の表示用データ２０５ａを取得することが可能である。
【０１２６】
記憶媒体駆動装置１００７は、図示しない可搬型記憶媒体に記録されているプログラムやデータの読み出し、補助記憶装置１００３に記憶されたデータ等の可搬型記憶媒体への書き込みを行う。可搬型記憶媒体としては、例えば、ＵＳＢ規格のコネクタが備えられているフラッシュメモリが利用可能である。また、可搬型記憶媒体としては、Compact Disk（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等の光ディスクも利用可能である。
【０１２７】
コンピュータ１０は、プロセッサ１００１が補助記憶装置１００３等から上記の視線位置算出式の補正処理を含むプログラムを読み出し、撮像装置５から取得した画像を用いた注視位置の算出処理、表示画像を変化させる処理、算出式を補正する処理等を行う。
【０１２８】
なお、情報処理装置２として用いるコンピュータ１０は、図１５に示した全ての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、サイネージ等で通信ネットワークを利用して表示用データをコンピュータ１０（情報処理装置２）に供給する場合、記憶媒体駆動装置１００７を省略することが可能である。
【０１２９】
また、情報処理装置２として用いるコンピュータ１０は、図示しない入力装置を備えたものであってもよい。ここで、入力装置は、例えばキーボード装置やマウス装置であり、コンピュータ１０のオペレータ（観察者６）により操作されると、その操作内容と対応付けられている入力情報をプロセッサ１００１に送信する。また、入力装置には、例えば、表示装置１００３の表示面に重ねて配置されたタッチパネル装置を利用することも可能である。
【０１３０】
また、コンピュータ１０は、種々のプログラムを実行することにより複数の機能を実現する汎用型のものに限らず、上記の実施形態で説明した処理に特化した専用の装置でもよい。
【０１３１】
以上記載した各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像装置により撮像された表示装置を観察する観察者の眼球を含む画像を用いて、前記表示装置の表示面内における前記観察者の注視位置を算出する注視位置算出部と、
第１の表示画像を前記表示装置に表示させているときに、観察者について前記注視位置算出部で算出した第１の注視位置に基づいて前記第１の表示画像を変化させた第２の表示画像を生成する表示画像生成部と、
前記第２の表示画像を前記表示装置に表示させているときに前記観察者について前記注視位置算出部で算出した第２の注視位置と、前記第１の表示画像に対する前記第２の画像の変化量と、前記第１の注視位置とに基づいて、前記観察者についての注視位置に対する補正量を算出する補正量算出部と、を備える、
ことを特徴とする情報処理システム。
（付記２）
前記表示画像生成部は、前記第１の表示画像において前記第１の注視位置の周囲に存在する像の表示位置を変化させた前記第２の表示画像を生成する、
ことを特徴とする付記１に記載の情報処理システム。
（付記３）
前記表示画像生成部は、前記第１の表示画像における前記第１の注視位置を中心として前記第１の表示画像を拡大又は縮小して前記第２の表示画像を生成する、
ことを特徴とする付記１に記載の情報処理システム。
（付記４）
前記表示画像生成部は、前記第１の表示画像に含まれる像の表示位置を所定の距離だけ並進移動させて前記第２の表示画像を生成する、
ことを特徴とする付記１に記載の情報処理システム。
（付記５）
前記表示画像生成部は、前記第２の表示画像を生成して前記表示装置に表示させる前に、前記第１の表示画像及び前記第２の表示画像に含まれる像の表示位置が前記第１の表示画像における表示位置から前記第２の表示画像における表示位置に向かって段階的に変化する複数の表示画像を順次生成して前記表示装置に表示させる、
ことを特徴とする付記１に記載の情報処理システム。
（付記６）
前記注視位置算出部は、所定期間内に前記撮像装置で撮像した複数の前記画像のそれぞれから算出した前記表示装置の表示面内における前記観察者の視線位置の分布に基づいて前記観察者の注視位置を算出し、
前記補正量算出部は、前記第１の注視位置と、前記第２の注視位置と、前記第１の表示画像に対する前記第２の表示画像の変化量とに基づいて、前記視線位置の算出に用いる算出式を補正する、
ことを特徴とする付記１に記載の情報処理システム。
（付記７）
前記情報処理システムは、前記観察者についての人物情報を抽出する人物情報抽出部を、更に備え、
当該情報処理システムは、前記注視位置に対する補正量と前記人物情報とを対応付けて保持し、前記第１の注視位置を算出する際の前記観察者の人物情報と同一の人物情報を保持している場合に当該人物情報と対応付けられた前記補正量を用いて前記第１の注視位置を算出する、
ことを特徴とする付記１に記載の情報処理システム。
（付記８）
前記情報処理システムは、前記撮像装置で撮像した画像に含まれる前記観察者の眼球部分における角膜反射の位置と瞳孔の中心位置との位置関係に基づいて前記観察者の視線を検出する視線検出部、を更に備える、
ことを特徴とする付記１に記載の情報処理システム。
（付記９）
前記情報処理システムは、
前記第１の注視位置が前記表示装置の表示面内における所定の範囲内である場合にのみ、前記第２の注視位置を算出し前記注視位置に対する補正量を算出する、
ことを特徴とする付記１に記載の情報処理システム。
（付記１０）
コンピュータが、
第１の表示画像を表示させた表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第１の注視位置を算出し、
算出した前記注視位置に基づいて前記第１の表示画像を変化させた第２の表示画像を生成して前記表示装置に表示させ、
第２の表示画像を表示させた前記表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第２の注視位置を算出し、
前記第１の注視位置と、前記第２注視位置と、前記第１の表示画像に対する前記第２の画像の変化量と、に基づいて、前記注視位置に対する補正量を算出する、
処理を実行することを特徴とする情報処理方法。
（付記１１）
前記第２の表示画像を生成する処理では、前記コンピュータは、前記第１の表示画像において前記第１の注視位置の周囲に存在する像の表示位置を変化させた前記第２の表示画像を生成する、
ことを特徴とする付記１０に記載の情報処理方法。
（付記１２）
前記第２の表示画像を生成する処理では、前記コンピュータは、前記第１の表示画像における前記第１の注視位置を中心として前記第１の表示画像を拡大又は縮小して前記第２の表示画像を生成する、
ことを特徴とする付記１０に記載の情報処理方法。
（付記１３）
前記第２の表示画像を生成する処理では、前記コンピュータは、前記第１の表示画像に含まれる像の表示位置を所定方向に所定の距離だけ並進移動させて前記第２の表示画像を生成する、
ことを特徴とする付記１０に記載の情報処理方法。
（付記１４）
前記コンピュータが、前記第２の表示画像を生成して前記表示装置に表示させる前に、前記第１の表示画像及び前記第２の表示画像に含まれる像の表示位置が第１の表示画像における表示位置から第２の表示画像における表示位置に向かって段階的に変化する複数の表示画像を順次生成して前記表示装置に表示させる、
処理を実行することを特徴とする付記１０に記載の情報処理方法。
（付記１５）
前記第１の注視位置及び前記第２の注視位置を算出する処理では、前記コンピュータは、一定期間内に前記撮像装置で撮像した複数の前記画像のそれぞれから算出した前記表示装置の表示面内における前記観察者の視線位置の分布に基づいて前記注視位置を算出し、
前記注視位置に対する補正量を算出する処理では、前記コンピュータは、前記第１の注視位置と、前記第２の注視位置と、前記第１の表示画像に対する前記第２の画像の変化量とに基づいて、前記視線位置の算出に用いる算出式を補正する、
ことを特徴とする付記１０に記載の情報処理方法。
（付記１６）
前記コンピュータが、前記観察者についての人物情報を抽出する処理、及び抽出した前記人物情報と前記注視位置に対する補正量とを対応付けて保持する処理、を更に実行し、
前記第１の注視位置を算出する処理では、前記コンピュータは、抽出した前記観察者の人物情報と同一の人物情報を保持している場合に当該人物情報と対応付けられた前記補正量を用いて前記第１の注視位置を算出する、
ことを特徴とする付記１０に記載の情報処理方法。
（付記１７）
前記コンピュータが、前記撮像装置で撮像した画像に含まれる前記観察者の眼球部分における角膜反射の位置と瞳孔の中心位置との位置関係に基づいて前記観察者の視線を検出し、所定の算出式を用いて前記表示装置の表示面における前記観察者の視線位置を算出する、
処理を更に実行することを特徴とする付記１０に記載の情報処理方法。
（付記１８）
前記コンピュータは、前記第１の注視位置が前記表示装置の表示面内における所定の範囲内である場合にのみ、前記第２の注視位置を算出し前記注視位置に対する補正量を算出する、
処理を実行することを特徴とする付記１０に記載の情報処理方法。
（付記１９）
第１の表示画像を表示させた表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第１の注視位置を算出し、
算出した前記注視位置に基づいて前記第１の表示画像を変化させた第２の表示画像を生成して前記表示装置に表示させ、
第２の表示画像を表示させた前記表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第２の注視位置を算出し、
前記第１の注視位置と、前記第２注視位置と、前記第１の表示画像に対する前記第２の画像の変化量と、に基づいて、前記注視位置に対する補正量を算出する、
処理をコンピュータに実行させる情報処理プログラム。
【符号の説明】
【０１３２】
１  情報処理システム
２  情報処理装置
２０１  画像取得部
２０２  表示制御部
２０２ａ  視線検出部
２０２ｂ  注視位置算出部
２０２ｃ  補正量算出部
２０２ｄ  人物情報抽出部
２０３  表示画像生成部
２０４  表示画像出力部
２０５  記憶部
３，１００４  表示装置
３０１  表示面
４  光源
５  撮像装置
６  観察者
６０１  眼球
６０２  角膜反射
６０３  瞳孔
７  画像
８０１，８１１  算出した注視位置
８０３，８１３  実際の注視位置
１０  コンピュータ
１００１  プロセッサ
１００２  主記憶装置
１００３  補助記憶装置
１００５  インタフェース装置
１００６  通信装置
１００７  記憶媒体駆動装置
【図１】
0006540490.tif 000002
【図２】
0006540490.tif 000003
【図３】
0006540490.tif 000004
【図４】
0006540490.tif 000005
【図５Ａ】
0006540490.tif 000006
【図５Ｂ】
0006540490.tif 000007
【図６】
0006540490.tif 000008
【図７Ａ】
0006540490.tif 000009
【図７Ｂ】
0006540490.tif 000010
【図８】
0006540490.tif 000011
【図９Ａ】
0006540490.tif 000012
【図９Ｂ】
0006540490.tif 000013
【図１０】
0006540490.tif 000014
【図１１】
0006540490.tif 000015
【図１２】
0006540490.tif 000016
【図１３】
0006540490.tif 000017
【図１４Ａ】
0006540490.tif 000018
【図１４Ｂ】
0006540490.tif 000019
【図１５】
0006540490.tif 000020