(57)【要約】【課題】視線による入力操作の操作性を向上させる。【解決手段】コンピュータに実行させる表示プログラムが以下の３つの処理を含む。１つ目の処理は、入力された画像に含まれるユーザの眼球部分の情報に基づいて、表示装置の表示画面内におけるユーザの視線の位置を算出する処理である。２つ目の処理は、視線の位置と、ユーザの視野に関する情報とに基づいて、表示画面内における、視線による入力操作と対応した処理の対象とする処理対象領域と、処理対象領域と隣接した、視線による入力操作を受け付ける操作領域とを設定する処理である。３つ目の処理は、操作領域内の画像情報に処理対象領域内の画像情報が含まれる、表示装置に表示させる画面データを作成する処理である。【選択図】図５Ｂ
2019028563.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像に含まれるユ−ザの眼球部分の情報に基づいて、表示装置の表示画面内における前記ユ−ザの視線の位置を算出し、
前記視線の位置と、前記人の視野に関する情報とに基づいて、前記表示画面内における、視線による入力操作と対応した処理の対象とする処理対象領域と、前記処理対象領域と隣接した、前記視線による入力操作を受け付ける操作領域とを設定し、
前記操作領域内の画像情報に前記処理対象領域内の画像情報が含まれる、前記表示装置にさせる画面データを作成する、
処理をコンピュータに実行させることを特徴とする表示プログラム。
【請求項２】
前記操作領域内の画像情報に前記処理対象領域内の画像情報が含まれる前記画面データを作成する処理は、前記処理対象領域と前記操作領域とが設定された状態で算出した前記視線の位置が前記操作領域内である場合に行う、
ことを特徴とする請求項１に記載の表示プログラム。
【請求項３】
前記操作領域内の画像情報に前記処理対象領域内の画像情報が含まれる画面データを作成する処理は、前記操作領域内の画像情報を、前記処理対象領域内の画像情報と同一の画像情報にした前記画面データを作成する、
ことを特徴とする請求項１に記載の表示プログラム。
【請求項４】
前記ユ−ザの視野に関する情報は、前記ユーザとなる人の有効視野を示す情報を含み、
前記処理対象領域及び前記操作領域を設定する処理は、前記有効視野を示す情報に基づいて、前記処理対象領域及び前記操作領域の寸法を決定する、
ことを特徴とする請求項１に記載の表示プログラム。
【請求項５】
前記視線による入力操作は、前記処理対象領域内に表示される所定のオブジェクトと、他のオブジェクトとの位置関係を変更させる操作を含む、
ことを特徴とする請求項１に記載の表示プログラム。
【請求項６】
前記視線の位置が前記処理対象領域内から前記操作領域内に移動し、更に前記操作領域内から前記処理対象領域及び前記操作領域の外側に移動した場合に、前記視線の位置の移動方向に前記操作領域を移動させる、
ことを特徴とする請求項１に記載の表示プログラム。
【請求項７】
前記処理対象領域と前記操作領域とを設定する処理は、前記表示画面を複数の部分領域に分割し、前記複数の部分領域のうちの前記視線の位置を含む部分領域を前記処理対象領域に設定し、前記処理対象領域に設定した部分領域と隣接する他の部分領域を、前記操作領域に設定する、
ことを特徴とする請求項１に記載の表示プログラム。
【請求項８】
入力された画像に含まれるユーザの眼球部分の情報に基づいて、表示装置の表示画面内における前記ユーザの視線の位置を算出する視線位置算出部と、
前記視線の位置と、前記ユーザの視野に関する情報とに基づいて、前記表示画面内における、視線による入力操作と対応した処理の対象とする処理対象領域と、前記処理対象領域と隣接した、前記視線による入力操作を受け付ける操作領域とを設定する領域設定部と、
前記表示装置に表示させる画面データを作成する画面データ作成部とを備え、
前記画面データ作成部は、前記処理対象領域と前記操作領域とが設定された状態であり、かつ前記視線の位置が前記操作領域内である場合に、前記操作領域内の画像情報に前記処理対象領域内の画像情報が含まれる前記画面データを作成する、
ことを特徴とする情報処理装置。
【請求項９】
コンピュータが、
入力された画像に含まれるユーザの眼球部分の情報に基づいて、表示装置の表示画面内における前記ユーザの視線の位置を算出し、
前記視線の位置と、前記ユーザの視野に関する情報とに基づいて、前記表示画面内における、視線による入力操作と対応した処理の対象とする処理対象領域と、前記処理対象領域と隣接した、前記視線による入力操作を受け付ける操作領域とを設定し、
前記操作領域内の画像情報に前記処理対象領域内の画像情報が含まれる、前記表示装置に表示させる画面データを作成する、
処理を実行することを特徴とする表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示プログラム、情報処理装置、及び表示方法に関する。
【背景技術】
【０００２】
各種電子機器に対する操作情報を入力方法の１つとして、視線検出技術を利用したものがある。視線検出技術を利用した入力方法では、画像から検出した利用者（ユーザ）の視線に基づいて利用者が注視している位置を算出し、注視している位置と対応付けられた操作情報を電子機器に入力する。
【０００３】
視線による操作情報の入力が可能な電子機器では、例えば、利用者が表示画面内の一点を注視している場合に、当該注視している位置にポインタ等のオブジェクトを表示することが可能である。また、この種の電子機器には、例えば、利用者が表示画面内の一点を注視している場合に、注視している位置を含む所定範囲内のオブジェクトを拡大表示することが可能なものがある。更に、この種の電子機器には、例えば、表示画面内の一点を注視していた利用者が視線を移動させたることで、注視していた位置に表示されているポインタを視線の移動方向と対応した方向に移動可能にしたものがある（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１００３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
利用者（ユーザ）が表示画面等の一点を注視している場合、利用者自身が一点を見続けていると認識している状況下であっても、固視微動（細かな目の揺れ）や画像処理において生じる検出誤差等により視線の位置が細かく移動する。このため、利用者が表示画面を注視しているか否かを判定する際には、所定期間内における視線の位置の移動範囲が所定の範囲内であるか否かに基づいて判定することが多い。視線の位置の移動範囲が所定の範囲内である場合に注視していると判定する場合、注視している位置に表示されたポインタ等の操作対象を移動させることを目的として利用者が視線を移動させるときには、上記の所定の範囲の外側まで視線を移動させることとなる。更に、視線を移動させた利用者は、操作対象が所望の位置に移動したか否かを確認するため、操作対象の表示位置と、該操作対象を移動可能にする位置との間での視線の移動を繰り返すこととなる。このような視線の移動の繰り返しは、利用者にとって負担となり視線による入力操作の操作性が低下する。
【０００６】
１つの側面において、本発明は、視線による入力操作の操作性を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
１つの態様である表示プログラムは、以下の３つの処理をコンピュータに実行させる。１つ目の処理は、入力された画像に含まれるユーザの眼球部分の情報に基づいて、表示装置の表示画面内におけるユーザの視線の位置を算出する処理である。２つ目の処理は、視線の位置と、ユーザの視野に関する情報とに基づいて、表示画面内における、視線による入力操作と対応した処理の対象とする処理対象領域と、処理対象領域と隣接した、視線による入力操作を受け付ける操作領域とを設定する処理である。３つ目の処理は、操作領域内の画像情報に処理対象領域内の画像情報が含まれる、表示装置に表示させる画面データを作成する処理である。
【発明の効果】
【０００８】
上述の態様によれば、視線による入力操作の操作性が向上する。
【図面の簡単な説明】
【０００９】
【図１】視線による入力操作に対応した表示システムのシステム構成例を示す図である。
【図２】第１の実施形態に係る情報処理装置の機能的構成を示す図である。
【図３】第１の実施形態に係る情報処理装置が行う処理を説明するフローチャートである。
【図４】利用者が表示画面を注視していないときに表示される画面の例を示す図である。
【図５Ａ】表示画面の遷移の第１の例を説明する図（その１）である。
【図５Ｂ】表示画面の遷移の第１の例を説明する図（その２）である。
【図５Ｃ】表示画面の遷移の第１の例を説明する図（その３）である。
【図６】ポインタを移動させたときの利用者の視線の位置の時間変化の例を示すグラフ図である。
【図７Ａ】表示画面の遷移の第２の例を説明する図（その１）である。
【図７Ｂ】表示画面の遷移の第２の例を説明する図（その２）である。
【図７Ｃ】表示画面の遷移の第２の例を説明する図（その３）である。
【図８】操作領域内の表示の別の例を説明する図である。
【図９】操作領域の設定方法の別の例を説明する図である。
【図１０Ａ】表示画面の遷移の第３の例を説明する図（その１）である。
【図１０Ｂ】表示画面の遷移の第３の例を説明する図（その２）である。
【図１１】ポイント領域及び操作領域の設定方法の更に別の例を説明する図である。
【図１２】操作領域の表示方法の応用例を説明する図である。
【図１３】第２の実施形態に係る情報処理装置の機能的構成を示す図である。
【図１４】操作領域と対応リストの例を説明する図である。
【図１５】第２の実施形態に係る情報処理装置が行う処理を説明するフローチャートである。
【図１６】コンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１０】
図１は、視線による入力操作に対応した表示システムのシステム構成例を示す図である。
【００１１】
図１に示すように、視線による入力操作（以下「視線入力」という）に対応した表示システム１は、表示装置２と、情報処理装置３と、撮像装置４と、赤外光源５とを含む。
【００１２】
表示装置２は、利用者（ユーザ）７に提供する各種情報を表示する。表示装置２の表示画面２０１に表示させる各種情報の画面データは、情報処理装置３により作成される。
【００１３】
情報処理装置３は、表示装置２の表示画面２０１に表示させる各種情報の画面データを作成し、作成した画面データを表示装置２に出力する。情報処理装置３と表示装置２とは、ケーブル６０１で接続されている。情報処理装置３で作成した画面データは、ケーブル６を介して表示装置２に転送される。
【００１４】
また、情報処理装置３は、表示装置２の近傍に設置された撮像装置４により撮像した画像を取得し、取得した画像から利用者（ユーザ）７の視線７０１を検出した場合に、表示装置２の表示画面２０１における視線の位置（Ｐｘ，Ｐｙ）を算出する。ここで、表示画面２０１における視線の位置（Ｐｘ，Ｐｙ）は、例えば、表示画面２０１における左上角部を原点（０，０）とし、該原点からの水平方向（ｘ方向）の距離Ｐｘと垂直方向（ｙ方向）の距離Ｐｙとで表される。撮像装置４と情報処理装置３とは、ケーブル６０２で接続されている。撮像装置４で撮像した画像は、ケーブル６０２を介して情報処理装置３に転送される。
【００１５】
情報処理装置３が瞳孔−角膜反射法により利用者７の視線の位置を算出するものである場合、視線の位置の算出に用いる画像は、例えば、撮像装置４の撮像範囲４０１内に赤外光源５が発する赤外線を投光した状態で撮像装置４により撮像した画像とする。赤外光源５は、撮像装置４の撮像範囲４０１内となる投光範囲５０１に赤外線を投光する態様で、撮像装置４の近傍に設置しておく。このとき、撮像装置４の撮像範囲４０１内に利用者７の頭部が存在し、かつ利用者７が表示装置２の表示画面２０１を観察している状態で、撮像装置４により撮像した画像は、利用者７の眼球部分に角膜反射が写っている。
【００１６】
更に、表示システム１における情報処理装置３は、利用者７が表示画面２０１内の一点を注視すると、表示画面２０１内に、注視している点を含むポイント領域と、該ポイント領域の外側であってポイント領域に隣接した操作領域とを設定する。ポイント領域は、視線入力を受け付けたときに該視線入力と対応した処理の対象とする処理対象領域の一例である。一方、操作領域は、ポイント領域内に表示された操作対象に対する視線入力を受け付ける領域である。例えば、ポイント領域には、アイコン等のオブジェクトの選択に用いるポインタを表示させる。ポイント領域に表示されたポインタは、利用者７が操作領域を注視することにより表示画面２０１内を移動する。すなわち、情報処理装置３は、利用者７が操作領域内の点を注視した場合に、該操作領域の外側となるポイント領域内に表示されたポインタに対する処理を行う。
【００１７】
ポイント領域と操作領域とを設定すると、情報処理装置３は、例えば、ポイント領域及び操作領域の範囲を示す枠線と、ポイント領域内のポインタとを含む画像データを生成して表示装置２に出力する。また、表示装置２の表示画面２０１におけるポイント領域内にポインタが表示された状態で、利用者７の視線がポイント領域内から操作領域内に移動すると、情報処理装置３は、利用者７の視線の位置を含む操作領域とポイント領域との位置関係に基づいて、ポイント領域内のポインタを移動させる。この際、情報処理装置３は、少なくとも利用者７の視線の位置を含む操作領域内に、ポイント領域内に表示させる画像情報と対応した画像情報が表示される画面データを生成する。例えば、情報処理装置３は、利用者７が注視している操作領域の画像情報を、ポイント領域内の画像情報と同一の画像情報に置き換えた画面データを作成する。
【００１８】
図２は、第１の実施形態に係る情報処理装置の機能的構成を示す図である。
図２に示すように、本実施形態の情報処理装置３は、画像取得部３１０と、視線位置算出部３２０と、注視判定部３３０と、操作処理部３４０とを備える。また、本実施形態の情報処理装置３は、視線履歴３９１と、領域情報３９２と、表示用データ３９３とを含む各種情報を記憶する記憶部３９０を備える。
【００１９】
画像取得部３１０は、撮像装置４で撮像した画像を取得する。撮像装置４は、情報処理装置３と接続された表示装置２内或いは表示装置２の近傍に、該表示装置２の表示画面２０１を観察する利用者７の眼球を含む画像を撮像可能な位置及び向きで設置されている。
【００２０】
視線位置算出部３２０は、撮像装置４から取得した画像に基づいて、表示装置２の表示画面２０１を観察する利用者７の視線を検出し、表示装置２の表示画面２０１における視線の位置を算出する。視線位置算出部２２０は、例えば、瞳孔−角膜反射法における既知の算出方法に従って、利用者７の視線を検出し、視線の位置を算出する。視線位置算出部２２０は、算出した視線の位置と、視線の検出時刻とを含む検出結果を視線履歴３９１に格納する。
【００２１】
注視判定部３３０は、表示装置２の表示画面２０１内における視線の位置の時間変化に基づいて、表示装置２の表示画面２０１を観察している利用者７が表示画面２０１内の一点を注視しているか否かを判定する。注視判定部３３０は、視線履歴３９１を参照し、所定の期間（例えば３秒間）における視線の位置の分布が所定の範囲内である場合に、利用者７が表示画面２０１の一点を注視していると判定する。
【００２２】
操作処理部３４０は、視線の位置及び時間変化に基づいて視線による入力操作の操作内容を特定するとともに、表示装置２に表示させる表示画像の画面データを生成する。画像から利用者７の視線が検出されなかった場合、操作処理部３４０は、ポイント領域及び操作領域を示す情報を含まない画面データを生成して表示装置２に出力する。また、利用者７が表示装置２の表示画面２０１内を注視している場合、操作処理部３４０は、ポイント領域と操作領域とを設定し、ポイント領域及び操作領域を示す枠線等の情報を含む画面データを生成して表示装置２に出力する。上記のように、ポイント領域は、視線による入力操作を受け付けたときに該入力操作と対応した処理の対象とする処理対象領域の一例である。ポイント領域内には、例えば、アイコンやボタン等のオブジェクトを選択するポインタが表示される。一方、操作領域は、ポイント領域内に表示された操作対象（例えば、ポインタ）に対する視線による入力操作を受け付ける領域である。更に、利用者７が操作領域内を注視している場合、操作処理部３４０は、利用者７が注視している操作領域と対応した処理を行い、処理後の画面データを生成して表示装置２に出力する。例えば、利用者７が視線の位置をポインタ領域内から操作領域内に移動させて操作領域内を注視した場合に、操作処理部３４０は、ポイント領域内に表示されたポインタを、ポインタ領域と操作領域との位置関係に応じた方向に移動させた画面データを生成する。このとき、操作処理部３４０は、利用者７が注視している操作領域内の画像情報が、生成する画面データにおけるポイント領域内の画像情報を含む画像情報となる画面データを生成する。
【００２３】
操作処理部３４０は、領域決定部３４１と、操作内容特定部３４２と、画面データ作成部３４３とを含む。領域決定部３４１は、利用者７が表示画面２０１内の一点を注視している場合に、注視している位置と、領域情報３９２とに基づいて、ポイント領域と操作領域とを設定する。領域情報３９２は、例えば、ポイント領域及び操作領域の範囲（寸法）を示す情報を含む。操作内容特定部３４２は、ポイント領域及び操作領域が設定された状態で利用者７が注視している位置に基づいて、視線による入力操作の内容を特定する。画面データ作成部３４３は、領域決定部３４１及び操作内容特定部３４２の処理結果に基づいて、表示装置２に表示させる画面データを作成する。画面データ作成部３４３は、例えば、表示用データ３９３に含まれるアイコン、ボタン、及びポインタ等の各種オブジェクトの画像情報に基づいて画面データを作成する。また、ポイント領域及び操作領域が設定されている場合、画面データ作成部３４３は、ポイント領域及び操作領域を示す枠線等の情報を付加した画面データを作成する。更に、利用者７が操作領域内を注視している場合、画面データ作成部３４３は、利用者が注視している操作領域内の画像情報が、該操作領域と対応した処理を行った後のポインタ領域の画像情報を含む画像情報となる画面データを作成する。画面データ作成部３４３は、作成した画面データを表示装置２に出力する（送信する）。
【００２４】
本実施形態の情報処理装置１は、所定の画面データを生成して表示装置２に出力し、撮像装置４から画像を取得する処理を開始した後、例えば、所定の時間間隔で、図３のフローチャートに沿った処理を繰り返す。
【００２５】
図３は、第１の実施形態に係る情報処理装置が行う処理を説明するフローチャートである。
【００２６】
本実施形態の情報処理装置３は、まず、処理の対象とする画像を選択し、該画像から視線の位置を算出する処理（ステップＳ１）を行う。ステップＳ１の処理は、視線位置算出部３２０が行う。視線位置算出部３２０は、まず、既知の視線検出方法に従って、画像から人の視線を検出する処理を行う。瞳孔−角膜反射法により視線を検出する場合、視線位置算出部３２０は、画像から人の眼の瞳孔と、角膜で反射した赤外光（角膜反射）とを検出する処理を行う。画像から瞳孔及び角膜反射が検出されなかった場合、視線位置算出部３２０は、処理対象の画像からは視線の位置を算出することができなかったと認識し、ステップＳ１の処理を終了する。一方、画像から瞳孔及び角膜反射が検出された場合、視線位置算出部３２０は、画像内における瞳孔の位置と角膜反射の位置とに基づいて、表示装置２の表示画面２０１内における視線の位置を算出する。視線位置算出部３２０は、既知の算出方法に従って視線の位置を算出する。視線の位置を算出した場合、視線位置算出部３２０は、算出した視線の位置と、処理対象の画像の撮像時刻を示す情報とを含む検出結果を視線履歴３９１に格納する。
【００２７】
ステップＳ１の処理が終了すると、情報処理装置３は、次に、視線の位置を算出することができたか否かを判定する（ステップＳ２）。ステップＳ２の判定は、例えば、視線位置算出部３２０が行う。視線の位置を算出することができなかった場合（ステップＳ２；ＮＯ）、視線位置算出部３２０は、表示装置２における現在の表示と対応した画面データを生成して表示装置２に出力する（ステップＳ１１）。ステップＳ１１の処理は、操作処理部３４０の画面データ作成部３４３が行う。ステップＳ１１の処理を行う場合、画面データ作成部３４３は、現在表示装置２に表示させている画面データと同じ画面データを作成して表示装置２に出力する（送信する）。ステップＳ１１の処理を行うと、情報処理装置３は、選択した画像に対する処理を終了する。
【００２８】
視線の位置を算出することができた場合（ステップＳ２；ＹＥＳ）、情報処理装置３は、次に、視線位置の履歴に基づいて、画像に写っている人が表示装置２の表示画面２０１内の一点を注視しているか否かを判定する（ステップＳ３）。ステップＳ３の判定は、注視判定部３３０が行う。注視判定部３３０は、視線履歴３９１から所定期間分（例えば、直近の３秒間）の視線の位置の情報を読み出し、該期間内における視線の位置の分布（移動範囲）が所定の範囲内であるか否かを判定する。注視判定部３３０は、所定期間内における視線の位置の分布が所定の範囲内である場合に、表示画面２０１内を注視していると判定する。注視しているか否かの判定基準となる所定の範囲は、例えば、人の中心視野或いは有効視野と、表示画面２０１から利用者７の眼球までの距離とに基づいて設定する。ここで、人の中心視野或いは有効視野は、利用者（ユーザ）７となる人の中心視野或いは有効視野であってもよいし、統計処理によって得られる平均値等であってもよい。画像に写っている人が表示画面２０１内を注視していない場合（ステップＳ３；ＮＯ）、情報処理装置３は、表示装置２における現在の表示と対応した画面データを作成して表示装置２に出力し（ステップＳ１１）、選択した画像に対する処理を終了させる。
【００２９】
画像に写っている人が表示画面２０１内を注視している場合（ステップＳ３；ＹＥＳ）、情報処理装置３は、次に、表示画面２０１にポイント領域及び操作領域を表示中であるか否かを判定する（ステップＳ４）。ステップＳ４の判定は、例えば、操作処理部３４０の領域決定部３４１が行う。ポインタ領域及び操作領域をまだ表示していない場合（ステップＳ４；ＮＯ）、情報処理装置３は、ポインタ領域及び操作領域を示す情報を含む画面データを生成して表示装置２に出力する（ステップＳ５）。ステップＳ５の処理は、操作処理部３４０の領域決定部３４１と画面データ作成部３４３とが行う。ステップＳ５の処理を行う場合、領域決定部３４１は、表示画面２０１内における視線の位置と、領域情報３９２に含まれるポイント領域及び操作領域の範囲を示す情報とに基づいて、表示画面内におけるポイント領域及び操作領域の位置を決定する。また、ステップＳ５の処理を行う場合、画面データ作成部３４３は、現在表示装置２に表示させている画面データに、ポイント領域及び操作領域を示す情報を重畳した（付加した）画面データを作成し、表示装置２に送信する。例えば、ステップＳ５の処理において、画面データ作成部３４３は、現在表示装置２に表示させている画面データに、ポイント領域の範囲及び操作領域の範囲を示す枠線と、ポイント領域内のポインタとを重畳した画面データを作成する。また、例えば、画面データ作成部３４３は、操作領域内の画像情報がポイント領域内の画像情報を含む画像情報となる画面データを作成してもよい。ここで、画像情報は、表示画面２０１の所定の領域（操作領域やポイント領域）に表示されるオブジェクトや背景等を示す情報である。また、操作領域内の画像情報は、ポイント領域内の画像情報と同一の画像情報に限らず、現在表示装置２に表示させている画面データにおける操作領域内の画像情報と、ポイント領域内の画像情報とを合成した情報であってもよい。ステップＳ５の処理を行うと、情報処理装置３は、選択した画像に対する処理を終了する。
【００３０】
表示画面２０１にポイント領域及び操作領域を表示中である場合（ステップＳ４；ＹＥＳ）、情報処理装置３は、次に、操作領域内を注視しているか否かを判定する（ステップＳ６）。ステップＳ６の判定は、例えば、操作処理部３４０の操作内容特定部３４２が行う。操作領域内を注視している場合（ステップＳ６；ＹＥＳ）、情報処理装置３は、ポインタが移動し、かつ操作領域内の画像情報にポイント領域内の画像情報が含まれる画像データを生成して表示装置２に出力する（ステップＳ７）。
【００３１】
ステップＳ７の処理は、操作処理部３４０の操作内容特定部３４２と、画面データ作成部３４３とが行う。ステップＳ７の処理を行う場合、操作内容特定部３４２は、利用者７が注視している位置を含む操作領域と、ポイント領域との位置関係に基づいて、ポインタを移動させる方向を特定する。例えば、利用者７がポイント領域の右方に位置する操作領域内を注視している場合、操作内容特定部３４２は、ポインタの移動方向を右方に特定する。また、ステップＳ７の処理を行う場合、画面データ作成部３４３は、特定した操作内容と対応する処理を行った後の画面データを作成する。例えば、ステップＳ７の処理において、画面データ作成部３４３は、現在表示装置２に表示させている画面データにおけるポインタの位置を移動させた画面データを作成する。また、例えば、移動後のポインタの位置がアイコン等の他のオブジェクトを選択可能な範囲内となった場合、画面データ作成部３４３は、該当するオブジェクトが選択されたことを示す画面データを作成する。更に、ステップＳ７の処理において、画面データ作成部３４３は、例えば、利用者７が注視している位置を含む操作領域内の画像情報を、例えば、ポイント領域内の画像情報に置き換えた画面データを作成する。すなわち、情報処理装置３においてステップＳ７の処理を行うことにより、表示装置２の表示画面２０１のうちの利用者７が注視している位置を含む操作領域には、該操作領域とは異なるポイント領域（処理対象領域）内の画像情報が表示される。ステップＳ７の処理を行うと、情報処理装置３は、選択した画像に対する処理を終了する。
【００３２】
これに対し、操作領域内を注視していない場合（ステップＳ６；ＮＯ）、情報処理装置３は、次に、ポイント領域内を注視しているか否かを判定する（ステップＳ８）。ステップＳ８の判定は、例えば、操作処理部３４０の操作内容特定部３４２が行う。ポインタ領域内を注視している場合（ステップＳ８；ＹＥＳ）、情報処理装置３は、ポインタが停止し、かつポイント領域内の画像情報と対応する画像情報が操作領域内に含まれる画像データを生成して表示装置２に出力する（ステップＳ９）。
【００３３】
ステップＳ９の処理は、操作処理部３４０の操作内容特定部３４２と、画面データ作成部３４３とが行う。ステップＳ９の処理を行う場合、操作内容特定部３４２は、作成する画面データにおけるポインタの位置を、現在表示装置２に表示させている画面データにおけるポインタの位置に特定する。このため、ステップＳ９の処理を行う場合、画面データ作成部３４３は、現在表示装置２に表示させている画面データと同一の画面データを作成する。なお、ステップＳ９の処理において、画面データ作成部３４３は、ポインタ領域及び操作領域を示す情報、並びにポインタを含む画面データを作成する。ステップＳ９の処理を行うと、情報処理装置３は、選択した画像に対する処理を終了する。
【００３４】
一方、ポイント領域内を注視していない場合（ステップＳ８；ＮＯ）、図３の処理では、利用者７が注視している位置は、表示画面２０１内のうちの、ポイント領域内及び操作領域内とは別の位置となる。この場合、情報処理装置３は、現在の利用者７が注視している位置に基づいて、ポインタ領域及び操作領域の位置を変更した画面データを作成する（ステップＳ１０）。ステップＳ１０の処理は、操作処理部３４０の領域決定部３４１と画面データ作成部３４３とが行う。ステップＳ１０において、領域決定部３４１と画面データ作成部３４３とは、それぞれ、ステップＳ５の処理と同様の処理を行い、ポインタ領域及び操作領域の位置を変更した画面データを作成する。ステップＳ１０の処理を行うと、情報処理装置３は、選択した画像に対する処理を終了する。なお、ステップＳ１０の処理では、ポイント領域及び操作領域の位置を変更する代わりに、ポイント領域及び操作領域の設定を解除してもよい。
【００３５】
このように、本実施形態に係る情報処理装置３は、画像から人が表示画面を注視していると判定した場合に、注視している点を含むポイント領域と、該ポイント領域と隣接した操作領域とを示す情報を含む画面データを作成し、表示装置２に表示させる。更に、本実施形態の情報処理装置３は、ポイント領域及び操作領域を示す情報を含む画面データを表示装置２に表示させており、かつ利用者７が操作領域内を注視している場合に、操作領域内にポイント領域内の画像情報が含まれる画面データを作成する。
【００３６】
図４は、利用者が表示画面を注視していないときに表示される画面の例を示す図である。
【００３７】
本実施形態に係る情報処理装置３は、例えば、まず、表示する複数のアイコン（オブジェクト）と各アイコンの表示位置とを含む情報に基づいて画面データを作成して表示装置２に表示させる。このとき、図４に示すように、表示装置２の表示画面２０１には、複数のアイコン８０１〜８０７が所定の位置に配置された画像が表示される。表示画面２０１が図４の状態であるときに利用者７が表示画面２０１における点Ｐの位置を注視すると（ステップＳ３；ＹＥＳ）、情報処理装置３は、点Ｐを含むポイント領域ＢＰと、図示していない操作領域とを示す情報を含む画面データを生成する（ステップＳ５）。利用者７が表示画面２０１を注視しているか否かは、所定期間内（例えば３秒間）の視線の位置の変化に基づいて判定する。画像から人の視線の位置を算出する場合、本人が表示画面２０１上の一点を見続けていると認識している状況下であっても、固視微動（細かな目の揺れ）や画像処理において生じる検出誤差等により視線の位置が細かく移動する。このため、情報処理装置３の注視判定部３３０は、例えば、現在の視線の位置を基準とした過去３秒間の視線の位置の分布が所定の範囲内であるか否かに基づいて、利用者７が注視しているか否かを判定する。ここで、所定の範囲は、例えば、注視しているとみなす視線角度の範囲と、利用者７の眼球から表示画面までの距離とに基づいて定めた正方形の領域とする。注視しているとみなす視線角度の範囲は、例えば、人の中心視野、或いは有効視野に基づいて設定する。中心視野は、例えば、視線位置を中心とする数度程度の角度範囲内の視野であり、視力が高く、細かいものも視認可能な視野である。有効視野は、例えば、視線位置を中心とする４度から２０度程度の角度範囲内の視野であり、中心視野ほどではないが必要な情報と不要な情報とを識別が可能な視野である。例えば、注視しているとみなす視線角度の範囲を４度とした場合、利用者７の眼球から表示画面までの距離が５０ｃｍであれば一片の長さＨが３．５ｃｍの正方形の領域を所定の範囲とする。また、例えば、注視しているとみなす視線角度の範囲を４度とした場合、利用者７の眼球から表示画面までの距離が７０ｃｍであれば一片の長さＨが４．９ｃｍの正方形の領域を所定の範囲とする。なお、利用者７の眼球から表示画面までの距離は、例えば、画像内における利用者７の瞳孔間距離と、撮像装置４の撮像範囲（画角）とに基づいて算出する。画像内における瞳孔間距離をＬ１、撮像装置４の水平方向の画角をθ度とした場合、利用者７の眼球から表示画面までの距離Ｌ２は、下記式（１）により算出することが可能である。
【００３８】
Ｌ２＝Ｌ１／２ｔａｎ（θ／２）      （１）
【００３９】
なお、視線角度の範囲の設定に用いる中心視野や有効視野は、利用者（ユーザ）７となる人の視野の情報であってもよいし、統計処理によって得られる平均値等であってもよい。
【００４０】
図５Ａは、表示画面の遷移の第１の例を説明する図（その１）である。図５Ｂは、表示画面の遷移の第１の例を説明する図（その２）である。図５Ｃは、表示画面の遷移の第１の例を説明する図（その３）である。
【００４１】
利用者７が表示画面２０１の点Ｐを注視すると、情報処理装置３は、例えば、点Ｐを中心とするポイント領域ＢＰと、４個の操作領域ＢＯ１〜ＢＯ４を示す情報を含む画面データを生成し、表示装置２に表示させる。このとき、図５Ａに示すように、表示装置２の表示画面２０１には、ポイント領域ＢＰの輪郭を示す枠と、４個の操作領域ＢＯ１〜ＢＯ４のそれぞれを示す枠とが表示される。また、ポイント領域ＢＰ内には、視線の位置Ｐを指し示すポインタ８１０が表示される。またこのとき、４個の操作領域ＢＯ１〜ＢＯ４は、それぞれ、ポイント領域ＢＰの上下左右のいずれかでポイント領域ＢＰと隣接している。このように、利用者７が点Ｐを注視したときにポイント領域ＢＰ及び４個の操作領域ＢＯ１〜ＢＯ４を示す枠を表示することで、利用者７に対し、視線入力によりポインタ８１０を移動させることが可能な状態に移行したことを通知することが可能となる。
【００４２】
更に、図５Ａの表示画面２０１では、４個の操作領域ＢＯ１〜ＢＯ４のそれぞれに、ポイント領域ＢＰ内の画像情報と同一の画像情報を表示させている。例えば、ポイント領域ＢＰの上方に位置する操作領域ＢＯ１には、利用者７が点Ｐを注視する前に表示させていたアイコン８０３及び８０４（図４を参照）の代わりに、ポイント領域ＢＰ内のアイコン８０５〜８０７とポインタ８１０とが表示されている。このように、ポイント領域ＢＰを囲む４個の操作領域ＢＯ１〜ＢＯ４のそれぞれに、ポイント領域ＢＰ内と同一の画像情報を表示させることで、利用者７に対し、ポインタ８１０を移動させる場合には操作領域ＢＯ１〜ＢＯ４のいずれかを注視すればよいことを通知することが可能となる。
【００４３】
表示画面２０１にポイント領域ＢＰ及び操作領域ＢＯ１〜ＢＯ４が表示された状態で利用者７が視線を移動させて操作領域内の一点を注視すると（ステップＳ６；ＹＥＳ）、情報処理装置３は、ポインタ８１０を移動させた画面データを生成する（ステップＳ７）。例えば、図５Ｂに示すように、利用者７がポイント領域ＢＰの右方に位置する操作領域ＢＯ２内の点Ｐ１に視線を移動させて該点Ｐ１を注視すると、情報処理装置３は、ポイント領域ＢＰ内のポインタ８１０を右方に移動させた画面データを生成する。また、操作領域ＢＯ１〜ＢＯ４内にポイント領域ＢＰ内の画像情報と同一の画像情報を表示させている場合、表示画面２０１における操作領域ＢＯ１〜ＢＯ４内のポインタ８１０も右方に移動する。このように、本実施形態の情報処理装置３では、ポインタ８１０を移動させるためにポイント領域ＢＰの外側となる操作領域ＢＯ２を注視した場合に、注視している操作領域ＢＯ２内にポイント領域内の画像情報と同一の画像情報が表示される。このため、利用者７は、注視している操作領域ＢＯ２内に表示されるポインタ８１０とアイコン８０５〜８０７とによりポインタ８１０の位置を確認しながら、ポイント領域ＢＰ内のポインタ８１０を操作することが可能となる。すなわち、利用者７は、視線の位置をポイント領域ＢＰ内に戻すことなく、ポインタ８１０の位置を把握しながら、ポインタ８１０を操作することが可能となる。したがって、本実施形態の情報処理装置３で作成した画面データを表示装置２に表示させることにより、操作領域内を注視して視線入力を行っている最中に操作対象（ポインタ）の位置を確認するための視線の移動量を少なくすることが可能となる。
【００４４】
その後、利用者７が操作領域ＢＯ２内を注視し続けてポインタ８１０がアイコン８０７を選択可能な範囲内に到達すると、例えば、図５Ｃのように、ポインタ領域ＢＰ内の画像情報は、アイコン８０７が選択されたことを示す情報に変更される。このとき、操作領域ＢＯ１〜ＢＯ４内のアイコン８０７も同様に、選択されたことを示す情報に変更される。これにより、利用者７は、操作領域ＢＯ２内を注視した状態で、ポイント領域ＢＰ内のポインタ８１０によりアイコン８０７を選択したことを確認することが可能となる。そして、操作領域ＢＯ２内の点Ｐ１を注視していた利用者７が、例えば、視線をポイント領域ＢＰ内の点Ｐに戻して点Ｐを注視すると（ステップＳ８；ＹＥＳ）、情報処理装置３は、ポインタ８１０を停止させた画面データを作成する（ステップＳ９）。
【００４５】
このように、利用者７が表示画面２０１内の一点を注視すると、情報処理装置３は、ポイント領域ＢＰと操作領域ＢＯ１〜ＢＯ４と示す情報を含む画面データを作成し、表示装置２に表示させる。このとき、情報処理装置３は、例えば、図５Ａ〜図５Ｃのように、操作領域ＢＯ１〜ＢＯ４のそれぞれにポイント領域ＢＰの画像情報と同一の画像情報が表示される画面データを作成する。これにより、利用者７は、操作領域内を注視した状態で、ポイント領域内のポインタ８１０の位置を確認することが可能となる。このため、利用者７は、操作領域内を注視して視線入力を行っている最中に操作対象（ポインタ）の位置を確認するための視線の移動量を少なくすることが可能となる。また、視線をポイント領域ＢＰに戻すことなくポインタの移動操作を行うことが可能であるため、例えば、視線をポイント領域ＢＰに戻すことによる意図しない入力操作（例えばポインタの逆行）の発生を防ぐことが可能となる。よって、本実施形態によれば、視線による入力操作の操作性を向上させることが可能となる。
【００４６】
図６は、ポインタを移動させたときの利用者の視線の位置の時間変化の例を示すグラフ図である。図６の（ａ）のグラフ９０１には、操作領域内にポインタ領域内の画像情報を表示していない場合の、視線の位置の時間変化の例を示している。一方、図６の（ｂ）のグラフ９０２には、操作領域内にポインタ領域内の画像情報を表示していない場合の、視線の位置の時間変化の例を示している。
【００４７】
グラフ９０１及び９０２は、それぞれ、表示画面２０１に表示されたポインタ８１０を上方に第１の距離だけ移動させた後、右方に第２の距離だけ移動させたときの、視線の位置の時間変化を示している。なお、グラフ９０１及び９０２における縦軸は、水平方向の位置Ｐｘについては表示画面２０１の左端を０としており、垂直方向の位置Ｐｙについては表示画面２０１の上端を０としている。
【００４８】
操作領域内にポインタ領域内の画像情報を表示していない場合、グラフ９０１のように、ポインタを上方に移動させている期間Ｔ１内に視線の位置Ｐｙが大きく移動している箇所が３箇所みられる。これは、ポインタを上方に移動させている期間Ｔ１内に、視線の位置Ｐｙが操作領域とポイント領域との間で移動していることを示している。また、操作領域内にポインタ領域内の画像情報を表示していない場合、グラフ９０１のように、ポインタを右方に移動させている期間Ｔ２内に視線の位置Ｐｘが大きく移動している箇所が５箇所みられる。これは、ポインタを右方に移動させている期間Ｔ２内に、視線の位置Ｐｘが操作領域とポイント領域との間で移動していることを示している。このように、操作領域内にポインタ領域内の画像情報を表示していない場合、利用者７の視線は、ポインタの位置を確認するために、ポインタを移動させる操作領域内の点と、ポイント領域内の点との間での移動を複数回繰り返す。
【００４９】
これに対し、操作領域内にポインタ領域内の画像情報を表示した場合には、グラフ９０２のように、ポインタを上方に移動させている期間Ｔ１内に、視線の位置Ｐｙが操作領域とポイント領域との間で繰り返し移動していることを示す変化はみられない。同様に、操作領域内にポインタ領域内の画像情報を表示した場合には、グラフ９０２のように、ポインタを右方に移動させている期間Ｔ２内に、視線の位置Ｐｘが操作領域とポイント領域との間で繰り返し移動していることを示す変化はみられない。すなわち、操作領域内にポインタ領域内の画像情報を表示することにより、利用者は、操作領域を注視した状態で、操作領域とは異なるポインタ領域内のポインタの位置を把握しながら、ポインタを操作させることが可能となる。
【００５０】
更に、ポインタの移動を完了するまでに要した時間を比較すると、操作領域内にポインタ領域内の画像情報を表示していない場合が約３５０フレーム期間分であるのに対し、操作領域内にポインタ領域内の画像情報を表示した場合は約２５０フレーム期間分である。よって、本実施形態のように操作領域内にポインタ領域内の画像情報を表示することにより、視線の移動量を少なくし、ポインタを短期間でスムーズに移動させることが可能となるため、視線による入力操作の操作性が向上する。
【００５１】
なお、図５Ａ〜図５Ｃは、表示画面の遷移の一例に過ぎない。例えば、ポイント領域及び操作領域を示す枠を重畳した画面データを作成する際には、操作領域のうちの利用者が注視している位置を含む操作領域のみにポイント領域の画像情報と同一の画像情報を表示してもよい。
【００５２】
図７Ａは、表示画面の遷移の第２の例を説明する図（その１）である。図７Ｂは、表示画面の遷移の第２の例を説明する図（その２）である。図７Ｃは、表示画面の遷移の第２の例を説明する図（その３）である。
【００５３】
図４に示した表示画面２０１における点Ｐを利用者７が注視した場合、情報処理装置３は、ポイント領域ＢＰ及び操作領域ＢＯ１〜ＢＯ４を示す情報を含む画面データを作成する処理（図３のステップＳ５）を行う。このとき、情報処理装置３は、例えば、図７Ａのように、ポイント領域ＢＰの輪郭を示す枠、及び操作領域ＢＯ１〜ＢＯ４のそれぞれの輪郭を示す枠、並びにポインタ８１０のみを重畳した画面データを作成し、表示装置２に表示させてもよい。この場合、操作領域ＢＯ１〜ＢＯ４のそれぞれに表示される画像情報は、画面データを作成する時点で表示画面２０１に表示されている各領域の画像情報と同一の画像情報となっている。例えば、ポインタ領域ＢＰの上方に位置する操作領域ＢＯ１には、図４の表示画面２０１に表示されているアイコン８０３及び８０４が表示される。
【００５４】
表示画面２０１の表示が図７Ａの状態であるときに利用者７が操作領域内を注視すると、情報処理装置３は、ポインタ８１０を移動させた画面データを作成する処理（図３のステップＳ７）を行う。このとき、情報処理装置３は、利用者７が注視している操作領域内の画像情報のみを、ポイント領域ＢＰ内の画像情報と同一の画像情報に置き換えた画面データを作成する。例えば、図７Ｂに示すように、利用者７がポイント領域ＢＰの右方に位置する操作領域ＢＯ２内の点Ｐ１を注視している場合、該操作領域ＢＯ２内には、ポインタ領域ＢＰ内と同じ画像情報（アイコン８０５〜８０７及び右方に移動するポインタ８１０）が表示される。このとき、他の操作領域ＢＯ１，ＢＯ３，及びＢＯ４内は、それぞれ、領域を設定する前の画像情報のままである。このため、利用者７は、ポイント領域ＢＰ内のポインタ８１０の位置とともに、操作領域ＢＯ１内のアイコン８０３及び８０４や操作領域ＢＯ４内のアイコン８０１及び８０２等も確認しながらポインタ８１０を操作することが可能となる。また、例えば、図７Ｃに示すように、利用者７がポイント領域ＢＰの左方に位置する操作領域ＢＯ４の点Ｐ２を注視している場合、該操作領域ＢＯ４内には、ポインタ領域ＢＰ内と同じ画像情報（アイコン８０５〜８０７及び左方に移動するポインタ８１０）が表示される。このため、表示位置が操作領域ＢＯ４内となるアイコン８０１及び８０２によりポインタ８１０の操作を阻害されることはない。このように、利用者７が注視している操作領域内のみをポイント領域ＢＰ内の画像情報と同一の画像情報に置き換えることにより、ポイント領域ＢＰ内の画像情報と同一の画像情報が多数表示されて表示がわかりづらくなる可能性が低減される。
【００５５】
図８は、操作領域内の表示の別の例を説明する図である。
表示画面の遷移についての第１の例及び第２の例では、それぞれ、操作領域内の画像情報をポイント領域内の画像情報に置き換えた画面データを作成し、表示装置２に表示させている。しかしながら、操作領域内にポイント領域内の画像情報を表示する際には、画像情報を置き換えるだけでなく、図８に示すように、操作領域ＢＯ１及びＢＯ４内の画像情報にポイント領域ＢＰ内の画像情報を重ねてもよいことはもちろんである。操作領域内の画像情報にポイント領域内の画像情報を重ねた画面データを作成する場合には、例えば、利用者７からみて操作領域内の画像情報よりも手前となる方向にポイント領域内の画像情報を重ね、ポイント領域内の画像情報を透過表示させる。例えば、図８の表示画面２０１における操作領域ＢＯ４には、ポイント領域ＢＰ内の画像情報（アイコン８０５〜８０７及びポインタ８１０）とともに、領域設定前に表示していたアイコン８０１及び８０２が表示されている。このように、操作領域内の表示を元の画面データにおける画像情報とポイント領域の画像情報とを重ねた表示にすることで、例えば、ポイント領域を識別しやすくなる。
【００５６】
図９は、操作領域の設定方法の別の例を説明する図である。
上記の表示画面の遷移についての第１の例では、ポイント領域ＢＰの上方、右方、下方、及び左方のそれぞれに、ポインタ８１０を移動させるための操作領域ＢＯ１〜ＢＯ４を設定している。しかしながら、操作領域の設定方法は、これに限らず、図９に示すように、８個の操作領域ＢＯ１〜ＢＯ８を設定してもよい。ポイント領域ＢＰの外側に８個の操作領域を設定した場合、例えば、ポインタの移動方向を８方向に分けることが可能となる。すなわち、図９のように８個の操作領域ＢＯ１〜ＢＯ８を設定することにより、ポインタを上方、下方、右方、及び左方の４方向に移動させることに加え、右斜め上方、右斜め下方、左斜め上方、及び左斜め下方のそれぞれにも移動させることが可能となる。例えば、視線入力によりポインタを右斜め上方に移動させる場合には、利用者７は、ポインタ領域ＢＰの右斜め上方に位置する操作領域ＢＯ５を注視すればよい。このため、ポインタを右斜め上方に移動させる場合に、上方の操作領域を注視することと右方の操作領域を注視することとを繰り返すことによる視線の移動回数及び移動量の増加を抑えることが可能となる。よって、視線入力によりポインタを移動させる操作を行う際の操作性が一層向上する。
【００５７】
図１０Ａは、表示画面の遷移の第３の例を説明する図（その１）である。図１０Ｂは、表示画面の遷移の第３の例を説明する図（その２）である。
【００５８】
上記の表示画面の遷移の例では、ポイント領域ＢＰ内に表示したポインタ８１０の表示位置が移動する（変化する）画面データを作成して表示装置２に表示させている。しかしながら、作成する画面データは、これに限らず、表示装置２の表示画面２０１に表示された背景が移動する画面データであってもよい。例えば、図１０Ａに示した表示装置２の表示画面２０１におけるポイント領域ＢＰには、マーカ８３０と、オブジェクト８２１〜８２３とが表示されている。また、図１０Ａでは一部を省略しているが、ポイント領域ＢＰの外側には、８個の操作領域が設定されており、各操作領域内には、ポイント領域ＢＰ内の画像情報と同一の画像情報が表示されている。このような表示がされている状態で利用者がポイント領域ＢＰの右斜め上方に位置する操作領域ＢＯ５を注視した場合、図９を参照した上記の説明では、情報処理装置３においてマーカ８３０が右斜め上方に移動した画面データを作成して表示装置２に表示させる。
【００５９】
これに対し、表示画面の遷移の第３の例では、利用者が操作領域ＢＯ５を注視した場合に、情報処理装置３が背景を左斜め下方に移動させた画面データを作成する。すなわち、図１０Ｂに示すように、表示装置２の表示画面２０１におけるポイント領域ＢＰ内の表示は、オブジェクト８２１〜８２３がそれぞれ左斜め下方に移動して、マーカ８３０の位置は変化しない。更に、利用者７が注視している操作領域ＢＯ５内の表示も、ポイント領域ＢＰ内の表示と同様、オブジェクト８２１〜８２３がそれぞれ左斜め下方に移動して、マーカ８３０の位置は変化しない。
【００６０】
このように利用者が注視している位置に応じて背景を移動させる場合、表示画面２０１に表示されている所望のオブジェクトを、表示画面２０１内の特定の位置（例えば表示画面２０１の中央）に移動させることができる。このような表示方法は、例えば、カーナビゲーションシステムにおける地図の表示等に適用可能である。
【００６１】
図１１は、ポイント領域及び操作領域の設定方法の更に別の例を説明する図である。
ポイント領域ＢＰを設定する際には、例えば、図１１のように、表示装置２の表示画面２０１を予め複数の部分領域Ｂ１１〜Ｂ６４に分割しておき、注視している位置を含む部分領域Ｂ４２をポイント領域ＢＰとしてもよい。この場合、操作領域ＢＯ１〜ＢＯ４は、複数の部分領域Ｂ１１〜Ｂ６４のうちの、ポイント領域ＢＰとした部分領域Ｂ４２と隣接する部分領域Ｂ４１，Ｂ３２，Ｂ５２，及びＢ４３とする。ここで、表示画面２０１は、利用者７が注視している位置と有効視野等に基づいて定めた所定の範囲Ｈと対応する寸法の部分領域に分割する。このようにすると、例えば、利用者７が注視している位置が部分領域Ｂ１１〜Ｂ６４のうちのどの部分領域に含まれるかにより、ポイント領域ＢＰ及び操作領域ＢＯ１〜ＢＯ４を機械的に確定することが可能となる。このため、利用者７が注視している位置と有効視野等に基づいて定めた所定の範囲とに基づいて、ポイント領域ＢＰ及び操作領域ＢＯ１〜ＢＯ４を都度算出する場合と比べて、情報処理装置３における演算処理による負荷が軽減される。
【００６２】
図１２は、操作領域の表示方法の応用例を説明する図である。
上記のポイント領域及び操作領域の表示方法では、操作領域をポイント領域と隣接させている。しかしながら、操作領域の表示位置は、これに限らず、適宜変更可能である。例えば、図１２には、利用者７が表示装置２の表示画面２０１における点Ｐを注視した後、ポイント領域ＢＰの右方に位置する点Ｐ１を注視し、更に右方の点Ｐ２を注視したときのポイント領域ＢＰ及び操作領域ＢＯ１〜ＢＯ４を示している。利用者７が点Ｐ１を注視しているときには、図１２に二点鎖線で示した領域が操作領域ＢＯ２に設定されており、操作領域ＢＯ２にはポイント領域ＢＰ内の画像情報と同一の画像情報が表示されている。その後、利用者７が視線を点Ｐ２に移動させると、情報処理装置３は、視線の移動に合わせて、操作領域ＢＯ２を右方に移動させる。このように視線の移動に合わせて操作領域を移動させることにより、例えば、利用者７は、ポイント領域（処理対象領域）から遠い位置に表示された画像情報等を見ながら、ポイント領域に対する操作を行うことが可能となる。これにより、例えば、ポイント領域（処理対象領域）に対する操作を行いながら、他の情報の取得や、次に行う操作の確認等を行うことが可能となるため、視線による入力操作の操作性がより一層向上する。
【００６３】
なお、本実施形態では、視線入力により表示画面２０１内のポインタ８０１等を移動させる例を示したが、本実施形態に係る情報処理装置３は、これに限らず、視線を利用した他の操作と組み合わせることが可能である。例えば、情報処理装置３は、撮像装置４で撮像した画像から利用者７の瞬きを検出する検出部を更に備え、瞬きを検出した場合に所定の処理を実行するものであってもよい。
【００６４】
更に、本実施形態に係る情報処理装置３は、図１の表示システム１に限らず、視線による入力操作と対応した処理を行う種々の表示システムに適用可能である。また、情報処理装置３は、表示装置２、撮像装置４、及び赤外光源５と一体化された電子機器であってもよい。
【００６５】
[第２の実施形態]
図１３は、第２の実施形態に係る情報処理装置の機能的構成を示す図である。
【００６６】
図１３に示すように、本実施形態に係る情報処理装置３は、画像取得部３１０と、視線位置算出部３２０と、注視判定部３３０と、操作処理部３４０とを備える。また、本実施形態の情報処理装置３は、視線履歴３９１と、領域情報３９２と、表示用データ３９３と、対応リスト３９４とを含む各種情報を記憶する記憶部３９０を備える。
【００６７】
本実施形態の情報処理装置３における画像取得部３１０、視線位置算出部３２０、及び注視判定部３３０は、それぞれ、第１の実施形態で説明した機能を持つ。
【００６８】
本実施形態の情報処理装置３における操作処理部３４０は、第１の実施形態で説明した機能に加え、入力装置１０から入力される操作情報に基づいた表示画面の切り替え処理等を行う。入力装置１０は、例えば、キーボード装置やタッチパネル装置等の、視線入力とは異なる方法による操作情報等の入力が可能なものである。また、本実施形態の操作処理部３４０は、例えば、記憶部３９０に記憶させた対応リスト３９４に基づいて、視線入力によるポインタの移動とは異なる操作を行うことが可能となっている。操作処理部３４０は、領域決定部３４１と、操作内容特定部３４２と、画面データ生成部３４３とを含む。
【００６９】
図１４は、操作領域と対応リストの例を説明する図である。
本実施形態の情報処理装置３では、対応リスト３９４に基づいて、利用者７が注視している位置を含む操作領域と対応した操作内容を特定する。図１４の（ａ）には、ポイント領域ＢＰと、８個の操作領域ＢＯ１〜ＢＯ８とを示している。第１の実施形態では、これら８個の操作領域ＢＯ１〜ＢＯ８の全てを、ポインタ８１０を移動させる操作に割り当てた例を説明した（図９を参照）。これに対し、本実施形態では、例えば、図１４の（ｂ）に示した対応リスト３９４のように、８個の操作領域ＢＯ１〜ＢＯ８のうちの４個の操作領域ＢＯ１〜ＢＯ４を、ポインタ８１０を移動させる操作に割り当て、残りの操作領域ＢＯ５〜ＢＯ６には別の操作に割り当てる。図１４の（ｂ）の対応リスト３９４では、ポイント領域ＢＰの右斜め上方に位置する操作領域ＢＯ５に、直近のオブジェクトにポインタを移動させる操作が対応付けられている。すなわち、利用者７が操作領域ＢＯ５を注視した場合、情報処理装置３は、現在のポインタの表示位置に最も近いオブジェクトを選択可能な位置にポインタ８１０を移動させた画面データを生成し、表示装置２に表示させる。また、図１４の（ｂ）の対応リスト３９４では、ポイント領域ＢＰの右斜め下方に位置する操作領域ＢＯ６に、文字入力モードに移行する操作が対応付けられている。すなわち、利用者７が操作領域ＢＯ６を注視した場合、情報処理装置３は、文字入力モードに移行する。文字入力モードに移行した情報処理装置３は、例えば、入力装置１０を操作して入力された文字情報をポインタ８１０が指し示す位置に重畳した画面データを生成し、表示装置２に表示させる。
【００７０】
また、図１４の（ｂ）の対応リスト３９４では、ポイント領域ＢＰの左斜め下方に位置する操作領域ＢＯ７に、領域の設定をキャンセルする操作が対応付けられている。すなわち、利用者７が操作領域ＢＯ７を注視した場合、情報処理装置３は、ポインタ領域ＢＰ及び操作領域ＢＯ１〜ＢＯ８の設定を解除するとともに、各領域を示す情報やポインタが消去された画面データを生成して表示装置２に表示させる。また、図１４の（ｂ）の対応リスト３９４では、ポイント領域ＢＰの左斜め上方に位置する操作領域ＢＯ８に、ターゲットをクリックする操作が対応付けられている。すなわち、ポインタ８１０がアイコン等のオブジェクトを選択した状態で利用者７が操作領域ＢＯ８を注視すると、情報処理装置３は、選択されたオブジェクト（ターゲット）に対する所定の処理を実行する。更に、情報処理装置３は、所定の処理を実行した後の画面データを作成して表示装置２に表示させる。ターゲットに対する処理は、例えば、ターゲットと対応付けられたテキストデータや画像データを表示する処理である。
【００７１】
対応テーブル３９４における各操作領域の操作内容は、図１４の（ｂ）に示した操作内容に限らず、適宜変更可能である。すなわち、対応テーブル３９４は、入力装置１０を利用して編集することが可能な態様で記憶部３９０に記憶させておいてもよい。
【００７２】
本実施形態の情報処理装置１は、所定の画面データを生成して表示装置２に出力し、撮像装置４から画像を取得する処理を開始した後、例えば、所定の時間間隔で、図１５のフローチャートに沿った処理を繰り返す。
【００７３】
図１５は、第２の実施形態に係る情報処理装置が行う処理を説明するフローチャートである。なお、図１５のフローチャートにおいて、図３のフローチャートと異なる点は、利用者７が操作領域を注視している場合（ステップＳ６；ＹＥＳ）に続けて行う処理のみである。したがって、図１５のフローチャートのうちの図３のフローチャートと重複する処理についての詳細な説明は省略する。
【００７４】
本実施形態の情報処理装置３は、まず、処理の対象とする画像を選択し、該画像を用いた視線位置算出処理（ステップＳ１）を行う。視線位置算出処理は、視線位置算出部３２０が行う。視線位置算出部３２０は、まず、既知の視線検出方法に従って、画像から人の視線を検出する処理を行う。視線の位置を算出した場合、視線位置算出部３２０は、算出した視線の位置と、処理対象の画像の撮像時刻を示す情報とを含む検出結果を視線履歴３９１に格納する。
【００７５】
視線位置算出処理が終了すると、情報処理装置３は、次に、視線の位置を算出したか否かを判定する（ステップＳ２）。視線の位置を算出しなかった場合（ステップＳ２；ＮＯ）、情報処理装置３は、表示装置２における現在の表示と対応した画面データを生成して表示装置２に出力し（ステップＳ１１）する。ステップＳ１１の処理を行うと、情報処理装置３は、選択した画像に対する処理を終了させる。
【００７６】
視線の位置を算出した場合（ステップＳ２；ＹＥＳ）、情報処理装置３は、次に、視線位置の履歴に基づいて、画像に写っている人が表示装置２の表示画面２０１内の一点を注視しているか否かを判定する（ステップＳ３）。画像に写っている人が表示画面２０１内を注視していない場合（ステップＳ３；ＮＯ）、情報処理装置３は、ステップＳ１１の処理を行い、選択した画像に対する処理を終了させる。
【００７７】
画像に写っている人が表示画面２０１内を注視している場合（ステップＳ３；ＹＥＳ）、情報処理装置３は、次に、表示画面２０１にポイント領域及び操作領域を表示中であるか否かを判定する（ステップＳ４）。ポインタ領域及び操作領域をまだ表示していない場合（ステップＳ４；ＮＯ）、情報処理装置３は、ポインタ領域及び操作領域を示す情報を含む画面データを生成して表示装置２に出力する（ステップＳ５）。ステップＳ５の処理は、操作処理部３４０の領域決定部３４１と画面データ作成部３４３とが行う。ステップＳ５で生成する画面データは、ポインタ領域及び操作領域を示す枠と、ポインタとを重畳した画面データでもよいし、操作領域内の画像情報をポインタ領域内の画像情報と同一の画像情報に置き換えた画面データでもよい。ステップＳ５の処理を行うと、情報処理装置３は、選択した画像に対する処理を終了する。
【００７８】
表示画面２０１にポイント領域及び操作領域を表示中である場合（ステップＳ４；ＹＥＳ）、情報処理装置３は、次に、操作領域内を注視しているか否かを判定する（ステップＳ６）。操作領域内を注視している場合（ステップＳ６；ＹＥＳ）、情報処理装置３は、利用者が注視している操作領域と対応リスト３９４とに基づいて操作内容を特定し、操作内容に応じた処理を行った後の画面データを生成して表示装置２に出力する（ステップＳ１７）。
【００７９】
ステップＳ１７の処理は、操作処理部３４０の操作内容特定部３４２と、画面データ作成部３４３とが行う。ステップＳ１７の処理を行う場合、操作内容特定部３４２は、利用者７が注視している位置を含む操作領域と対応リスト３９４とに基づいて、操作内容を特定する。また、ステップＳ１７の処理を行う場合、画面データ作成部３４３は、特定した操作内容と対応する処理を行った後の画面データを作成する。例えば、操作内容がポインタを移動させる操作である場合、画面データ作成部３４３は、注視している操作領域と対応付けられた移動方向にポインタを移動させた画面データを生成する。また、注視している操作領域と対応した操作内容がポインタを移動させる動作ではない場合、画面データ作成部３４３は、操作内容に応じた処理を行った後の画面データを生成する。例えば、操作内容がターゲットをクリックする操作である場合、画面データ作成部３４３は、ターゲットと対応付けられたテキストデータや画像データが表示された画面データを生成する。
【００８０】
また、操作内容が領域の設定をキャンセルする操作とは別の操作である場合、画面データ作成部３４３は、例えば、利用者が注視している操作領域の画像情報を、ポイント領域ＢＰ内の画像情報に置き換えた画面データを生成する。なお、生成する画面データは、複数の操作領域のうちのいくつかの操作領域内の画像情報のみをポインタ領域ＢＰ内の画像情報に置き換えたものでもよいし、全ての操作領域内の画像情報をポインタ領域ＢＰ内の画像情報に置き換えたものでもよい。更に、生成する画面データにおける操作領域内の画像情報は、元の画像情報にポインタ領域ＢＰ内の画像情報を重ねて透過表示させる情報であってもよい。
【００８１】
ステップＳ１７の処理を行うと、情報処理装置３は、選択した画像に対する処理を終了する。
【００８２】
これに対し、操作領域内を注視していない場合（ステップＳ６；ＮＯ）、情報処理装置３は、次に、ポイント領域内を注視しているか否かを判定する（ステップＳ８）。ポインタ領域内を注視している場合（ステップＳ８；ＹＥＳ）、情報処理装置３は、ポインタを停止させ、ポイント領域内の画像情報と対応する画像情報が操作領域内に含まれる画像データを生成して表示装置２に出力する（ステップＳ９）。
【００８３】
一方、ポイント領域内を注視していない場合（ステップＳ８；ＮＯ）、図１６の処理では、利用者７が注視している位置は、表示画面２０１内のうちの、ポイント領域内及び操作領域内とは別の位置となる。この場合、情報処理装置３は、現在の利用者７が注視している位置に基づいて、ポインタ領域及び操作領域の位置を変更した画面データを作成する（ステップＳ１０）。ステップＳ１０の処理は、操作処理部３４０の領域決定部３４１と画面データ作成部３４３とが行う。ステップＳ１０の処理を行うと、情報処理装置３は、選択した画像に対する処理を終了する。
【００８４】
このように、本実施形態に係る情報処理装置３は、画像から人が表示画面を注視していると判定した場合に、注視している点を含むポイント領域と、該ポイント領域と隣接した操作領域とを示す情報を含む画面データを作成し、表示装置２に表示させる。更に、本実施形態の情報処理装置３は、ポイント領域及び操作領域を示す情報を含む画面データを表示装置２に表示させており、かつ利用者７が操作領域内を注視している場合に、操作領域内にポイント領域内の画像情報が含まれる画面データを作成する。このため、視線入力によるポイント領域ＢＰ内のポイント８１０を移動させる操作等において、利用者７は、注視している操作領域内に表示されたポインタ領域内の画像情報により、ポインタ領域内のポインタの位置等を確認することが可能となる。したがって、本実施形態の情報処理装置３で作成した画面データを表示装置２に表示させることにより、操作領域内を注視して視線入力を行っている最中に操作対象（ポインタ）の位置を確認するための視線の移動量を少なくすることが可能となる。また、視線をポイント領域ＢＰに戻すことなくポインタの移動操作を行うことが可能であるため、例えば、視線をポイント領域ＢＰに戻すことによる意図しない入力操作（例えばポインタの逆行）の発生を防ぐことが可能となる。よって、本実施形態によれば、視線による入力操作の操作性を向上させることが可能となる。
【００８５】
更に、本実施形態の情報処理装置３は、視線入力によりポインタの移動とは異なる操作を行うことが可能である。このため、本実施形態によれば、視線による入力操作の操作性が更に向上する。
【００８６】
また、本実施形態の情報処理装置３は、表示装置２、撮像装置４、赤外光源５、及び入力装置１０と一体化された装置（各種電子機器）であってもよい。
【００８７】
上記の情報処理装置３は、それぞれ、コンピュータと、該コンピュータに実行させるプログラムとにより実現可能である。以下、図１６を参照して、コンピュータとプログラムとにより実現される情報処理装置３について説明する。
【００８８】
図１６は、コンピュータのハードウェア構成を示す図である。
図１６に示すように、コンピュータ２０は、プロセッサ２００１と、主記憶装置２００２と、補助記憶装置２００３と、入力装置２００４と、出力装置２００５と、入出力インタフェース２００６と、通信制御装置２００７と、媒体駆動装置２００８と、を備える。コンピュータ２０におけるこれらの要素２００１〜２００８は、バス２０１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
【００８９】
プロセッサ２００１は、Central Processing Unit（ＣＰＵ）やMicro Processing Unit（ＭＰＵ）等である。プロセッサ２００１は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ２０の全体の動作を制御する。また、プロセッサ２００１は、例えば、図３の各処理或いは図１４の各処理を含む表示プログラムを実行することにより、視線入力を利用した表示画面の生成等を行う。
【００９０】
主記憶装置２００２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置２００２のＲＯＭには、例えば、コンピュータ２０の起動時にプロセッサ２００１が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置２００２のＲＡＭは、プロセッサ２００１が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置２００２のＲＡＭは、例えば、視線履歴３９１及び領域情報３９２等の記憶に利用可能である。また、主記憶装置２００２のＲＡＭは、例えば、表示用データ３９３や対応リスト３９４等の記憶にも利用可能である。
【００９１】
補助記憶装置２００３は、例えば、Hard Disk Drive（ＨＤＤ）や、フラッシュメモリ等の不揮発性メモリ（Solid State Drive（ＳＳＤ）を含む）等、主記憶装置２００２のＲＡＭと比べて容量の大きい記憶装置である。補助記憶装置２００３は、プロセッサ２００１によって実行される各種のプログラムや各種のデータ等の記憶に利用可能である。補助記憶装置２００３は、例えば、図３の各処理を或いは図１４の各処理を含む表示プログラムの記憶に利用可能である。また、補助記憶装置２００３は、例えば、視線履歴３９１、領域情報３９２、表示用データ３９３、及び対応リスト３９４等の記憶に利用可能である。
【００９２】
入力装置２００４は、例えば、キーボード装置やタッチパネル装置等である。コンピュータ２０のオペレータ（利用者）が入力装置２００４に対して所定の操作を行うと、入力装置２００４は、その操作内容に対応付けられている入力情報をプロセッサ２００１に送信する。入力装置２００４は、第２の実施形態で説明した入力装置１０として利用可能である。
【００９３】
出力装置２００５は、例えば、液晶表示装置等の表示装置やスピーカ等の音声再生装置である。出力装置２００５は、例えば、表示システム１における表示装置２として利用可能である。
【００９４】
入出力インタフェース２００６は、コンピュータ２０と、他の電子機器とを接続する。入出力インタフェース２００６は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタ等を備える。入出力インタフェース２００６は、例えば、コンピュータ２０と撮像装置４との接続等に利用可能である。
【００９５】
通信制御装置２００７は、コンピュータ２０をインターネット等のネットワークに接続し、ネットワークを介したコンピュータ２０と他の電子機器との各種通信を制御する装置である。通信制御装置２００７は、例えば、コンピュータ２０と、表示用データ３９３を提供するサーバ装置との通信に利用可能である。
【００９６】
媒体駆動装置２００８は、可搬型記憶媒体２１に記録されているプログラムやデータの読み出し、補助記憶装置２００３に記憶されたデータ等の可搬型記憶媒体２１への書き込みを行う。媒体駆動装置２００８には、例えば、１種類又は複数種類の規格に対応したメモリカード用リーダ／ライタが利用可能である。媒体駆動装置２００８としてメモリカード用リーダ／ライタを用いる場合、可搬型記憶媒体２１としては、メモリカード用リーダ／ライタが対応している規格、例えば、Secure  Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）等を利用可能である。また、可搬型記録媒体２１としては、例えば、ＵＳＢ規格のコネクタを備えたフラッシュメモリが利用可能である。更に、コンピュータ２０が媒体駆動装置２００８として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体２１として利用可能である。可搬型記録媒体２１として利用可能な光ディスクには、例えば、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等がある。可搬型記録媒体２１は、例えば、図３の各処理、或いは図１４の各処理を含む表示プログラムの記憶に利用可能である。また、可搬型記録媒体２１は、例えば、視線履歴３９１、領域情報３９２、表示用データ３９３、及び対応リスト３９４等の記憶に利用可能である。
【００９７】
オペレータが入力装置２００４等を利用して所定の操作情報をコンピュータ２０に入力すると、プロセッサ２００１が、補助記憶装置２００３等の非一時的な記録媒体に記憶させた表示プログラム等を読み出して実行する。表示プログラムを実行している間、プロセッサ２００１は、情報装置１における視線位置算出部３２０、注視判定部３３０、及び操作処理部３４０として機能する（動作する）。また、表示プログラムを実行している間、主記憶装置２００２のＲＡＭや補助記憶装置２００３等は、情報処理装置３の記憶部３９０として機能する。
【００９８】
なお、情報処理装置３として動作させるコンピュータ２０は、図１６に示した全ての要素２００１〜２００８を含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ２０は、通信制御装置２００７や媒体駆動装置２００８が省略されたものであってもよい。
【００９９】
以上記載した各実施形態に関し、更に以下の付記を開示する。
（付記１）
入力された画像に含まれるユーザの眼球部分の情報に基づいて、表示装置の表示画面内における前記ユーザの視線の位置を算出し、
前記視線の位置と、前記ユーザの視野に関する情報とに基づいて、前記表示画面内における、視線による入力操作と対応した処理の対象とする処理対象領域と、前記処理対象領域と隣接した、前記視線による入力操作を受け付ける操作領域とを設定し、
前記操作領域内の画像情報に前記処理対象領域内の画像情報が含まれる、前記表示装置に表示させる画面データを作成する、
処理をコンピュータに実行させる表示プログラム。
（付記２）
前記操作領域内の画像情報に前記処理対象領域内の画像情報が含まれる前記画面データを作成する処理は、前記処理対象領域と前記操作領域とが設定された状態で算出した前記視線の位置が前記操作領域内である場合に行う、
ことを特徴とする付記１に記載の表示プログラム。
（付記３）
前記処理対象領域と前記操作領域とを設定する処理では、前記処理対象領域の外側に複数の操作領域を設定し、
前記操作領域内の画像情報に前記処理対象領域内の画像情報が含まれる前記画面データを作成する処理は、前記複数の操作領域のうちの、前記視線の位置を含む操作領域内の画像情報にのみ前記処理対象領域内の画像情報が含まれる前記画面データを作成する、
ことを特徴とする付記２に記載の表示プログラム。
（付記４）
前記操作領域内の画像情報に前記処理対象領域内の画像情報が含まれる画面データを作成する処理は、前記操作領域内の画像情報を、前記処理対象領域内の画像情報と同一の画像情報にした前記画面データを作成する、
ことを特徴とする付記１に記載の表示プログラム。
（付記５）
前記操作領域内の画像情報に前記処理対象領域内の画像情報が含まれる前記画面データを作成する処理は、前記操作領域を設定する前に作成した画面データにおける前記操作領域と対応する領域内の画像情報に、前記処理対象領域内の画像情報を合成して前記画面データを作成する、
ことを特徴とする付記１に記載の表示プログラム。
（付記６）
前記ユーザの視野に関する情報は、前記ユーザとなる人の有効視野を示す情報を含み、
前記処理対象領域及び前記操作領域を設定する処理は、前記有効視野を示す情報に基づいて、前記処理対象領域及び前記操作領域の寸法を決定する、
ことを特徴とする付記１に記載の表示プログラム。
（付記７）
前記画像に含まれる前記ユーザの瞳孔間距離と、前記画像を撮像した撮像装置における撮像範囲とに基づいて前記表示画面から前記ユーザの眼球までの距離を算出する処理を更に含み、
前記処理対象領域及び前記操作領域を設定する処理は、前記有効視野を示す情報と、前記表示画面から前記ユーザの眼球までの距離とに基づいて、前記処理対象領域及び前記操作領域の寸法を決定する、
ことを特徴とする付記６に記載の表示プログラム。
（付記８）
前記視線による入力操作は、前記処理対象領域内に表示される所定のオブジェクトと、他のオブジェクトとの位置関係を変更させる操作を含む、
ことを特徴とする付記１に記載の表示プログラム。
（付記９）
所定期間内における前記視線の位置の分布に基づいて前記ユーザが前記表示画面内を注視しているか否かを判定する処理を更に含み、
前記処理対象領域と前記操作領域とを設定する処理は、前記ユーザが前記表示画面内を注視している場合に行う、
ことを特徴とする付記１に記載の表示プログラム。
（付記１０）
前記視線の位置が前記処理対象領域内から前記操作領域内に移動し、更に前記操作領域内から前記処理対象領域及び前記操作領域の外側に移動した場合に、前記視線の位置の移動方向に前記操作領域を移動させる、
ことを特徴とする付記１に記載の表示プログラム。
（付記１１）
前記処理対象領域と前記操作領域とを設定する処理は、前記表示画面を複数の部分領域に分割し、前記複数の部分領域のうちの前記視線の位置を含む部分領域を前記処理対象領域に設定し、前記処理対象領域に設定した部分領域と隣接する他の部分領域を、前記操作領域に設定する、
ことを特徴とする付記１に記載の表示プログラム。
（付記１２）
入力された画像に含まれるユーザの眼球部分の情報に基づいて、表示装置の表示画面内における前記ユーザの視線の位置を算出する視線位置算出部と、
前記視線の位置と、前記ユーザの視野に関する情報とに基づいて、前記表示画面内における、視線による入力操作と対応した処理の対象とする処理対象領域と、前記処理対象領域と隣接した、前記視線による入力操作を受け付ける操作領域とを設定する領域設定部と、
前記表示装置に表示させる画面データを作成する画面データ作成部とを備え、
前記画面データ作成部は、前記処理対象領域と前記操作領域とが設定された状態であり、かつ前記視線の位置が前記操作領域内である場合に、前記操作領域内の画像情報に前記処理対象領域内の画像情報が含まれる前記画面データを作成する、
ことを特徴とする情報処理装置。
（付記１３）
前記情報処理装置は、所定期間内における前記視線の位置の分布に基づいて前記ユーザが前記表示画面内を注視しているか否かを判定する注視判定部、を更に備え、
前記領域設定部は、前記ユーザが前記表示画面内を注視している場合に前記処理対象領域と前記操作領域とを設定する、
ことを特徴とする付記１２に記載の情報処理装置。
（付記１４）
コンピュータが、
入力された画像に含まれるユーザの眼球部分の情報に基づいて、表示装置の表示画面内における前記ユーザの視線の位置を算出し、
前記視線の位置と、前記ユーザの視野に関する情報とに基づいて、前記表示画面内における、視線による入力操作と対応した処理の対象とする処理対象領域と、前記処理対象領域と隣接した、前記視線による入力操作を受け付ける操作領域とを設定し、
前記操作領域内の画像情報に前記処理対象領域内の画像情報が含まれる、前記表示装置に表示させる画面データを作成する、
処理を実行することを特徴とする表示方法。
【符号の説明】
【０１００】
１  表示システム
２  表示装置
２０１  表示面
３  情報処理装置
３１０  画像取得部
３２０  視線位置算出部
３３０  注視判定部
３４０  操作処理部
３４１  領域決定部
３４２  操作内容特定部
３４３  画面データ作成部
３９０  記憶部
３９１  視線履歴
３９２  領域情報
３９３  表示用データ
４  撮像装置
５  赤外光源
７  利用者
８０１〜８０７  アイコン
８１０  ポインタ
８２１〜８２３  オブジェクト
８３０  マーカ
２０  コンピュータ
２００１  プロセッサ
２００２  主記憶装置
２００３  補助記憶装置
２００４  入力装置
２００５  出力装置
２００６  入出力インタフェース
２００７  通信制御装置
２００８  媒体駆動装置
２０１０  バス
２１  可搬型記録媒体
ＢＰ  ポイント領域
ＢＯ１〜ＢＯ８  操作領域
【図１】
2019028563.tif 000003
【図２】
2019028563.tif 000004
【図３】
2019028563.tif 000005
【図４】
2019028563.tif 000006
【図５Ａ】
2019028563.tif 000007
【図５Ｂ】
2019028563.tif 000008
【図５Ｃ】
2019028563.tif 000009
【図６】
2019028563.tif 000010
【図７Ａ】
2019028563.tif 000011
【図７Ｂ】
2019028563.tif 000012
【図７Ｃ】
2019028563.tif 000013
【図８】
2019028563.tif 000014
【図９】
2019028563.tif 000015
【図１０Ａ】
2019028563.tif 000016
【図１０Ｂ】
2019028563.tif 000017
【図１１】
2019028563.tif 000018
【図１２】
2019028563.tif 000019
【図１３】
2019028563.tif 000020
【図１４】
2019028563.tif 000021
【図１５】
2019028563.tif 000022
【図１６】
2019028563.tif 000023