(57)【要約】【課題】視線検出の性能向上を実現する。【解決手段】本技術に係る情報処理装置は、制御部を具備する。前記制御部は、視線キャリブレーションに用いられるハードウェアの位置及び姿勢に関連する第１の位置姿勢情報、及び、前記ハードウェアの位置及び姿勢に関連する、前記第１の位置姿勢情報とは異なる第２の位置姿勢情報を取得し、第１の位置に呈示される第１の呈示注視点と、前記第１の位置とは異なる第２の位置に呈示される第２の呈示注視点とを含む複数の呈示注視点を表示するように表示部を制御し、前記第１の呈示注視点を注視するユーザの眼球及び前記第２の呈示注視点を注視するユーザの眼球のそれぞれの第１の画像を取得するように撮像部を制御し、前記第１の位置姿勢情報、前記第２の位置姿勢情報及び前記第１の画像に基づいて複数のキャリブレーションデータを生成し、前記複数のキャリブレーションデータに基づいて、前記ユーザの眼球における光軸ベクトル及び視軸ベクトルに関連する補正を行うように構成される。【選択図】図１２
2019021049.tif 000002
【特許請求の範囲】
【請求項１】
視線キャリブレーションに用いられるハードウェアの位置及び姿勢に関連する第１の位置姿勢情報、及び、前記ハードウェアの位置及び姿勢に関連する、前記第１の位置姿勢情報とは異なる第２の位置姿勢情報を取得し、第１の位置に呈示される第１の呈示注視点と、前記第１の位置とは異なる第２の位置に呈示される第２の呈示注視点とを含む複数の呈示注視点を表示するように表示部を制御し、前記第１の呈示注視点を注視するユーザの眼球及び前記第２の呈示注視点を注視するユーザの眼球のそれぞれの第１の画像を取得するように撮像部を制御し、前記第１の位置姿勢情報、前記第２の位置姿勢情報及び前記第１の画像に基づいて複数のキャリブレーションデータを生成し、前記複数のキャリブレーションデータに基づいて、前記ユーザの眼球における光軸ベクトル及び視軸ベクトルに関連する補正を行うように構成された制御部
を具備する情報処理装置。
【請求項２】
前記ハードウェアは、前記撮像部、前記表示部、又は前記ユーザの眼球に光を照射する光源のうち少なくとも１つである
請求項１に記載の情報処理装置。
【請求項３】
前記複数のキャリブレーションデータは、前記光軸ベクトル及び前記視軸ベクトルに関する情報を含む、前記第１の位置姿勢情報に基づく第１のキャリブレーションデータと、前記光軸ベクトル及び前記視軸ベクトルに関する情報を含む、前記第２の位置姿勢情報に基づく第２のキャリブレーションデータとを含み、
前記制御部は、前記第１のキャリブレーションデータ及び前記第２のキャリブレーションデータのうち、前記第１の呈示注視点に対応する光軸ベクトル及び視軸ベクトルの差分と、前記第２の呈示注視点に対応する光軸ベクトル及び視軸ベクトルの差分との間の差がより小さいキャリブレーションデータに基づいて、前記補正を行うように構成される
請求項１に記載の情報処理装置。
【請求項４】
前記制御部は、前記第１のキャリブレーションデータ及び前記第２のキャリブレーションデータのうち、前記複数の呈示注視点にそれぞれ対応する光軸ベクトル及び視軸ベクトルの差分の分散がより小さいキャリブレーショデータに基づいて、前記補正を行うように構成される
請求項３に記載の情報処理装置。
【請求項５】
前記第１の呈示注視点は、前記第２の呈示注視点とは異なる呈示注視点である
請求項１に記載の情報処理装置。
【請求項６】
前記第２の呈示注視点は、前記第１の位置から前記第２の位置に移動した前記第１の呈示注視点である
請求項１に記載の情報処理装置。
【請求項７】
前記第１の呈示注視点及び前記第２の呈示注視点は、前記情報処理装置に関連付けられた位置及び姿勢に関連する位置姿勢情報に基づいて空間中に定位された仮想オブジェクトである
請求項１に記載の情報処理装置。
【請求項８】
前記制御部は、ユーザの眼球の第２の画像を取得するように前記撮像部を制御し、前記第２の画像に基づいて前記光軸ベクトルを推定し、推定された前記光軸ベクトルに対して、補正量に基づく補正を行うことによって前記視軸ベクトルを推定し、前記第１のキャリブレーションデータ及び前記第２のキャリブレーションデータのうち、前記差がより小さいキャリブレーショデータに基づいて前記補正量を算出するように構成される
請求項３に記載の情報処理装置。
【請求項９】
前記制御部は、前記推定された光軸ベクトルと、前記第１のキャリブレーションデータ及び前記第２のキャリブレーションデータのうち、前記差がより小さいキャリブレーションデータに含まれる前記光軸ベクトルとの類似度に基づいて、前記補正量を算出するように構成される
請求項８に記載の情報処理装置。
【請求項１０】
前記第１のキャリブレーションデータ及び前記第２のキャリブレーションデータは、前記ユーザの眼球の角膜曲率中心、瞳孔、又は眼球旋回中心の３次元位置のうち少なくとも１つに関する情報をさらに含み、
前記制御部は、前記第２の画像に基づいて、前記角膜曲率中心、前記瞳孔又は前記眼球旋回中心の３次元位置のうち少なくとも１つを推定し、推定された前記角膜曲率中心、前記瞳孔、又は前記眼球旋回中心の３次元位置のうち少なくとも１つと、前記第１のキャリブレーションデータ及び前記第２のキャリブレーションデータのうち、前記差がより小さいキャリブレーションデータに含まれる前記角膜曲率中心、前記瞳孔、又は前記眼球旋回中心の３次元位置のうち少なくとも１つとの類似度に基づいて、前記補正量を算出するように構成される
請求項９に記載の情報処理装置。
【請求項１１】
前記制御部は、実空間上における前記ハードウェアの移動に応じた前記第１の位置姿勢情報及び前記第２の位置姿勢情報を取得するように構成される
請求項１に記載の情報処理装置。
【請求項１２】
前記制御部は、前記ハードウェアの移動方法を示すガイドを表示するように前記表示部を制御するように構成される
請求項１１に記載の情報処理装置。
【請求項１３】
前記制御部は、前記ガイドが示された後に前記第１の位置姿勢情報及び前記第２の位置姿勢情報を取得するように構成される
請求項１２に記載の情報処理装置。
【請求項１４】
前記ハードウェアの位置又は姿勢のうち少なくとも１つの調整を行うように構成された調整部を更に具備し、
前記制御部は、前記調整に応じた前記第１の位置姿勢情報及び前記第２の位置姿勢情報を取得するように構成される
請求項１１に記載の情報処理装置。
【請求項１５】
前記調整部は、駆動部により自動的に前記調整を行うように構成され、
前記制御部は、前記補正の結果に基づいて、前記調整部を駆動する
請求項１４に記載の情報処理装置。
【請求項１６】
前記調整部は、ヘッドマウントディスプレイ又はヘッドアップディスプレイの瞳孔間距離を調整するように構成され、
前記制御部は、前記瞳孔間距離の調整に応じた前記第１の位置姿勢情報及び前記第２の位置姿勢情報を取得するように構成される
請求項１４に記載の情報処理装置。
【請求項１７】
前記調整部は、ヘッドマウントディスプレイ又はヘッドアップディスプレイのための、手動調整可能な機構である
請求項１４に記載の情報処理装置。
【請求項１８】
前記表示部及び前記撮像部をさらに具備するヘッドマウントディスプレイである
請求項１に記載の情報処理装置。
【請求項１９】
制御部が、
視線キャリブレーションに用いられるハードウェアの位置及び姿勢に関連する第１の位置姿勢情報、及び、前記ハードウェアの位置及び姿勢に関連する、前記第１の位置姿勢情報とは異なる第２の位置姿勢情報を取得し、
第１の位置に呈示される第１の呈示注視点と、前記第１の位置とは異なる第２の位置に呈示される第２の呈示注視点とを含む複数の呈示注視点を表示するように表示部を制御し、
前記第１の呈示注視点を注視するユーザの眼球及び前記第２の呈示注視点を注視するユーザの眼球のそれぞれの第１の画像を取得するように撮像部を制御し、
前記第１の位置姿勢情報、前記第２の位置姿勢情報及び前記第１の画像に基づいて複数のキャリブレーションデータを生成し、
前記複数のキャリブレーションデータに基づいて、前記ユーザの眼球における光軸ベクトル及び視軸ベクトルに関連する補正を行うこと、を含む
情報処理方法。
【請求項２０】
視線キャリブレーションに用いられるハードウェアの位置及び姿勢に関連する第１の位置姿勢情報、及び、前記ハードウェアの位置及び姿勢に関連する、前記第１の位置姿勢情報とは異なる第２の位置姿勢情報を取得することと、
第１の位置に呈示される第１の呈示注視点と、前記第１の位置とは異なる第２の位置に呈示される第２の呈示注視点とを含む複数の呈示注視点を表示するように表示部を制御することと、
前記第１の呈示注視点を注視するユーザの眼球及び前記第２の呈示注視点を注視するユーザの眼球のそれぞれの第１の画像を取得するように撮像部を制御することと、
前記第１の位置姿勢情報、前記第２の位置姿勢情報及び前記第１の画像に基づいて複数のキャリブレーションデータを生成することと、
前記複数のキャリブレーションデータに基づいて、前記ユーザの眼球における光軸ベクトル及び視軸ベクトルに関連する補正を行うことと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、視線検出デバイスを備える情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、ユーザの視線検出を行う前に視線のキャリブレーションを行う技術が開発されている（例えば、特許文献１参照。）。かかるキャリブレーションにおいては、ユーザに対して所定の方向に視線を合わせるように指示し、指示に従って視線を調整したユーザの目の状態を取得する。そうすれば、キャリブレーション時に取得した目の状態に応じてユーザの視線検出の結果に対して補正を行うことが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１８３４７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本技術の目的は、視線検出の性能の向上を図ることのできる情報処理装置、情報処理方法、及びプログラムを実現することにある。
【課題を解決するための手段】
【０００５】
本技術の一側面に係る情報処理装置は、制御部を具備する。前記制御部は、視線キャリブレーションに用いられるハードウェアの位置及び姿勢に関連する第１の位置姿勢情報、及び、前記ハードウェアの位置及び姿勢に関連する、前記第１の位置姿勢情報とは異なる第２の位置姿勢情報を取得し、第１の位置に呈示される第１の呈示注視点と、前記第１の位置とは異なる第２の位置に呈示される第２の呈示注視点とを含む複数の呈示注視点を表示するように表示部を制御し、前記第１の呈示注視点を注視するユーザの眼球及び前記第２の呈示注視点を注視するユーザの眼球のそれぞれの第１の画像を取得するように撮像部を制御し、前記第１の位置姿勢情報、前記第２の位置姿勢情報及び前記第１の画像に基づいて複数のキャリブレーションデータを生成し、前記複数のキャリブレーションデータに基づいて、前記ユーザの眼球における光軸ベクトル及び視軸ベクトルに関連する補正を行うように構成される。
【発明の効果】
【０００６】
以上のように、本技術によれば、視線検出の性能の向上を図ることができる。
【図面の簡単な説明】
【０００７】
【図１】本技術に係る第１の実施形態の情報処理装置１００の形態を示す図である。
【図２】図１の情報処理装置１００に含まれる視線検出デバイス１０の構成を示す概念図である。
【図３】図２の視線検出デバイス１０のハードウェア構成を示すブロック図である。
【図４Ａ】典型的な視線検出デバイスにおいて撮像部１２が撮像部１２の光軸方向ｙにずれて配置されている場合の実際の光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を示す図である。
【図４Ｂ】図４Ａの光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を視線キャリブレーションの計算上の関係に置き換えて示す図である。
【図５Ａ】視線推定対象であるユーザの眼球１の位置が視線キャリブレーション時の位置）に対して撮像部１２の組立誤差が存在する撮像部１２の光軸方向ｙに直交する方向に移動した場合の実際の光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を示す図である。
【図５Ｂ】図５Ａの光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を視線キャリブレーションの計算上の関係に置き換えて示す図である。
【図６Ａ】視線推定対象であるユーザの眼球１の位置が視線キャリブレーション時の位置に対して、撮像部１２の光軸方向ｙに対して直交する方向以外の方向に移動した場合の実際の光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を示す図である。
【図６Ｂ】図６Ａの光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を視線キャリブレーションの計算上の関係に置き換えて示す図である。
【図７Ａ】典型的な視線検出デバイスにおいて撮像部１２の姿勢に組立誤差がある場合の実際の光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を示す図である。
【図７Ｂ】図７Ａの光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を視線キャリブレーションの計算上の関係に置き換えて示す図である。
【図８Ａ】視線推定対象であるユーザの眼球１の位置が視線キャリブレーション時の位置に対して撮像部１２の位置を中心とした半径方向に移動した場合の光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を示す図である。
【図８Ｂ】図８Ａの光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を視線キャリブレーションの計算上の関係に置き換えて示す図である。
【図９Ａ】視線推定対象であるユーザの眼球１の位置が視線キャリブレーション時の位置に対して撮像部１２の位置を中心とした半径方向以外の方向に移動した場合の光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を示す図である。
【図９Ｂ】図９Ａの光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を視線キャリブレーションの計算上の関係に置き換えて示す図である。
【図１０Ａ】Ｎ点の呈示注視点それぞれに対する実際の光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との関係を示す図である。
【図１０Ｂ】図１０Ａの光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との関係を視線キャリブレーションの計算上の関係に置き換えて示す図である。
【図１１】本技術に係る第１の実施形態のハードウェアの組立誤差を考慮した光軸−視軸補正量の算出方法の流れを示すフローチャートである。
【図１２】図１１のハードウェアの組立誤差を考慮した光軸−視軸補正量の算出方法における撮像部１２の移動について説明するための図である。
【図１３】表示部１３の組立誤差を考慮した光軸−視軸補正量の算出方法の流れを示すフローチャートである。
【図１４】アクティブ光源１１の組立誤差を考慮した光軸−視軸補正量の算出方法の流れを示すフローチャートである。
【図１５】センサ原点座標系における角膜曲率中心の３次元位置を推定する方法の概要を示す図である。
【図１６】センサ原点座標系における瞳孔中心の３次元位置の推定方法の概要を示す図である。
【図１７】アクティブ光源を持たない視線検出デバイスのハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
［情報処理装置のハードウェア構成］
【０００９】
図１は、本技術に係る第１の実施形態の情報処理装置１００の形態を示す図である。
この情報処理装置１００は、ユーザＵの眼を覆うようにして頭部に装着可能な装置であり、いわゆるヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）と呼ばれるものである。この情報処理装置１００は表示部を有する。表示部の画面には、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：仮想現実）映像、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）などの映像が表示される。
【００１０】
この情報処理装置１００には、表示部の画面空間のどこにユーザＵの視線があるかを検出する視線検出デバイスが設けられている。情報処理装置１００では、この視線検出デバイスにより検出されたユーザＵの視線データをもとに表示映像の制御などが実行される。
【００１１】
［視線検出デバイス］
次に、図２及び図３を用いて、視線検出デバイスの構成を説明する。
図２は視線検出デバイス１０の構成を示す概念図である。
図３は視線検出デバイス１０のハードウェア構成を示すブロック図である。  視線検出デバイス１０は、アクティブ光源１１と、撮像部１２と、表示部１３と、記憶部１５と、制御部制御部１６とを備える。
【００１２】
アクティブ光源１１は、表示部１３の画面における任意の位置Ｐｇｔｎを視ているユーザの眼球１に視線キャリブレーションおよび視線推定用の光を照射する光源である。アクティブ光源１１には、例えば、赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などが用いられる。
【００１３】
撮像部１２は、例えば、カメラであり、アクティブ光源１１からの光が照射されているユーザの眼球１からの反射光を撮像するデバイスである。撮像部１２は、例えば、レンズと撮像素子と信号処理回路とを含んで構成される。レンズは撮像素子の撮像面に被写体の光学像を結像する撮像レンズを含む。撮像素子は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーなどのイメージセンサーで構成される。信号処理回路は、例えば、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路やＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、ホワイトバランス処理、色調補正処理、ガンマ処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
【００１４】
表示部１３は、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ ＤｉｓｐｌａｙまたはＯＬＥＤディスプレイ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ Ｄｉｓｐｌａｙ）ともよばれる。）などである。ユーザの光軸ベクトルに対する視軸ベクトルの差分を推定する視線キャリブレーションの際、表示部１３の画面には、制御部１６による制御によって、ユーザに注視させる呈示注視点が表示されるようになっている。
【００１５】
記憶部１５は、揮発性のメモリと、不揮発性のメモリとを含む。揮発性のメモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、制御部１６が使用するプログラムや演算パラメータなどの制御用データ、さらには撮像部１２によって撮像された画像データなどを記憶する。
【００１６】
不揮発性メモリは、例えば、ユーザ毎の眼球１に関する各種の測定データや測定に用いられるデータなどが記憶される。不揮発性メモリとしては、例えば、フラッシュメモリなどが用いられる。不揮発性メモリは、情報処理装置１００本体に対して着脱自在なものであってもよい。
【００１７】
制御部１６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により構成される。制御部１６は、視線検出デバイス１０を含む情報処理装置１００の制御のための演算処理を揮発性のメモリに記憶された制御用データ、不揮発性メモリに記憶された各種データを用いて実行する。
【００１８】
［視線推定方法］
次に、視線検出デバイス１０の視線推定方法について説明する。
視線推定方法としては、例えば眼球の３次元モデルを用いて視線を推定する方法がある。典型的には、まず制御部１６が、撮像部１２により撮像された眼球の画像（第２の画像）から、眼球の光軸ベクトルを推定する。光軸ベクトルを推定する方法としては、例えば、アクティブ光源１１の光が角膜において反射された角膜反射像を用いる角膜反射法などがある。この方法では、まず、撮影画像から瞳孔が検出される。次に、制御部１６は、撮像画像から特定される瞳孔の位置に基づいて角膜反射像の存在範囲を設定し、角膜反射像と瞳孔の画像上の観測位置から角膜曲率中心の３次元位置と瞳孔中心の３次元位置を推定する。制御部１６は、各々推定された角膜曲率中心の３次元位置と瞳孔中心の３次元位置とを結び、眼球から外の方向に向かうベクトルを光軸ベクトルの推定結果として得る。
【００１９】
一方、人間が主観的に見ていると感じる方向ベクトルは視軸ベクトルと呼ばれる。視軸ベクトルは眼球の中心窩と角膜中心とを結んだベクトルであり、したがって、視軸ベクトルと光軸ベクトルとにはずれ（差分）が存在する。そこで、上記のようにして推定された光軸ベクトルを、後述する視線キャリブレーションによって得た光軸ベクトルと視軸ベクトルとの差分（補正量）を用いて補正することによって、視軸ベクトルを推定することが行われる。以降、光軸ベクトルから視軸ベクトルを推定するために用いられる差分を適宜「光軸−視軸補正量（補正量）」と呼ぶ場合がある。
【００２０】
［視線キャリブレーション］
図２を用いて典型的な視線キャリブレーションの概要を説明する。
典型的な視線キャリブレーションでは、表示部１３の画面に呈示注視点Ｐｇｔｎを呈示してユーザに注視してもらう。制御部１６は、このとき撮像部１２により撮像された画像から推定された角膜曲率中心Ｐｅｎの３次元位置と瞳孔中心の３次元位置とを結んだ光軸ベクトルＶｏｐｔ→と、撮像部１２により撮像された画像から推定された角膜曲率中心の３次元位置Ｐｅｎと呈示注視点の３次元位置Ｐｇｔｎとを結んだ視軸ベクトルＶｖｉｓ→との差分を算出する。
【００２１】
しかしながら、視線キャリブレーションによる光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との差分つまり光軸−視軸補正量の推定精度は、撮像部１２、表示部１３およびアクティブ光源１１などのデバイスの位置や姿勢などの組立状態における誤差（組立誤差）によって低下するおそれがある。
【００２２】
［組立誤差による視線キャリブレーションへの影響］
以下に、デバイスの組立誤差、特に撮像部１２の組立誤差による視線キャリブレーションへの影響について検討する。
【００２３】
図４Ａおよび図４Ｂは撮像部１２が撮像部１２の光軸方向ｙにずれて配置されている場合の呈示注視点に対する光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を示す図である。ここで、図４Ａは実際の光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を示す図である。図４Ｂは図４Ａの光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を視線キャリブレーションの計算上の関係（組立誤差が無い場合）に置き換えて示す図である。
【００２４】
このような組立誤差が存在するなかで、表示部１３の画面と撮像部１２の光軸ｙとの交点に表示された呈示注視点がユーザにより注視されて視線キャリブレーションが行われた場合、図４Ｂに示すように、光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との実際の差分θｒと撮像部１２のｙ軸方向の組立誤差に起因する差分θａとの和が視線キャリブレーションによる計算上の差分として算出される。
【００２５】
この差分（θｒ＋θａ）は、図５Ａおよび図５Ｂに示すように、視線推定対象であるユーザの眼球１の位置が視線キャリブレーション時の位置（点線で示す。）に対して、撮像部１２の組立誤差が存在する撮像部１２の光軸方向ｙに直交する方向に移動した場合には結果的に正しい視線推定結果が得られ、問題はない。しかし、図６Ａおよび図６Ｂに示すように、視線推定対象であるユーザの眼球１の位置が視線キャリブレーション時の位置に対して、撮像部１２の光軸方向ｙに対して直交する方向以外の方向（例えば光軸方向ｙ）に移動した場合は、補正注視点が呈示注視点と一致せず、つまり正しい視線推定結果が得られない。
【００２６】
次に、撮像部１２の姿勢に組立誤差がある場合を検討する。
図７Ａおよび図７Ｂは撮像部１２の姿勢に組立誤差がある場合における呈示注視点に対する光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を示す図である。ここで、図７Ａは実際の光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を示す図である。図７Ｂは図７Ａの図７Ａの光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との関係を視線キャリブレーションの計算上の関係（組立誤差が無い場合）に置き換えて示す図である。
【００２７】
このように撮像部１２の姿勢に組立誤差があるなかで、視線キャリブレーションが行われた場合、図７Ｂに示すように、光軸ベクトルＶｏｐｔ→と視軸ベクトルＶｖｉｓ→との実際の差分θｒと撮像部１２の姿勢の組立誤差に起因する差分θｂとの和が視線キャリブレーションによる計算上の差分として算出される。
【００２８】
この差分（θｒ＋θｂ）は、図８Ａおよび図８Ｂに示すように、眼球１の位置が視線キャリブレーション時の位置（点線で示す。）に対して撮像部１２の位置を中心とした半径方向に移動した場合には結果的に正しい視線推定結果が得られ、問題はない。しかし、図９Ａおよび図９Ｂに示すように、眼球１の位置が視線キャリブレーション時の位置に対して撮像部１２の位置を中心とした半径方向以外の方向に移動した場合は、補正注視点が呈示注視点と一致せず、つまり正しい視線推定結果が得られない。
【００２９】
このように、撮像部１２に組立誤差があると、特別な状況を除いて、正しく視線推定を行うことができない。同様に、表示部１３、アクティブ光源１１などの他のハードウェアの組立誤差がある場合も同様に、特別な状況を除いて、視線推定を正しく行うことができない。
【００３０】
［Ｎ点の呈示注視点による視線キャリブレーション］
次に、Ｎ点（複数点）の呈示注視点に対する視線キャリブレーションによって光軸−視軸補正量を推定する典型的な方法について説明する。
【００３１】
図１０Ａおよび図１０ＢはＮ点の呈示注視点それぞれに対する光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との関係を示す図である。図１０ＡはＮ点（本例では３点）の呈示注視点に対する光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との実際の関係を示す図である。図１０Ｂは図１０ＡのＮ点の呈示注視点に対する光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との関係を視線キャリブレーションの計算上の関係（組立誤差が無い場合）に置き換えて示す図である。
【００３２】
解剖学的に、一人のユーザの光軸と視軸との幾何関係は視線方向によらず一定と考えることができる。しかしながら、例えば撮像部１２などのハードウェアの組立誤差がある場合、視線方向によって光軸−視軸補正量のばらつきが発生する。つまり、呈示注視点１に対する光軸−視軸補正量は光軸ベクトルＶｏｐｔ１→と視軸ベクトルＶｖｉｓ１→との実際の差分θｒに撮像部１２の組立誤差に起因する差分θｃ１との和となる。呈示注視点２に対する光軸−視軸補正量は光軸ベクトルＶｏｐｔ２→と視軸ベクトルＶｖｉｓ２→との実際の差分θｒに撮像部１２の組立誤差に起因する差分θｃ２との和となる。呈示注視点３に対する光軸−視軸補正量は光軸ベクトルＶｏｐｔ３→と視軸ベクトルＶｖｉｓ３→との実際の差分θｒに撮像部１２の組立誤差に起因する差分θｃ３との和となる。撮像部１２の組立誤差に起因する上記３つの差分θｃ１、θｃ２、θｃ３は視線方向により異なるため、視線方向による光軸−視軸補正量のばらつきが生じる。
【００３３】
このようにＮ点の呈示注視点に対する視線キャリブレーションによって求められた各々の呈示注視点毎の光軸−視軸補正量は、ハードウェアの組立誤差に起因して視線方向によるばらつきを生じる。そこで、典型的には、視線推定の対象であるユーザの眼球の光軸始点や光軸ベクトルを画像から推定し、その光軸始点や光軸ベクトルと視線キャリブレーションデータとして保存された光軸始点や光軸ベクトルとの類似度、さらには視線キャリブレーションデータに含まれる呈示注視点毎の補正量を用いて光軸−視軸補正量を算出する方法などが検討されている。しかし、ハードウェアの組立精度を明示的に考慮した方法ではない以上、やはりハードウェアの組立誤差に起因した光軸−視軸補正量の誤差の発生を効果的に抑えることは困難である。
【００３４】
そこで本技術に係る第１の実施形態の情報処理装置１００は、制御部１６が、ＲＡＭ１４に記憶されたプログラムなどの制御用データに従って、表示部１３の複数の異なる位置に呈示注視点を切り替えて表示させる。そして、制御部１６は、表示された呈示注視点毎に、該呈示注視点を注視するユーザの眼球を、撮像部１２により撮像して、個々の前記呈示注視点に対して複数の視線キャリブレーションデータを生成する。そして、制御部１６は、前記複数の視線キャリブレーションデータをもとに、前記呈示注視点毎の光軸ベクトルと視軸ベクトルとの差分の分散（あるいは差）が、前記視線キャリブレーションデータにおいて最小であるときの、情報処理装置１００に含まれる任意のハードウェアの位置および姿勢を推定する。推定された任意のハードウェアの位置および姿勢は、ハードウェアの組立誤差を反映した位置および姿勢として見做すことができる。言い換えれば、推定された任意のハードウェアの位置および姿勢に基づいて、任意のハードウェアの組立誤差を反映した光軸−視軸補正量が算出されることで、該任意のハードウェアの組立誤差の影響が低減される。なお、任意のハードウェアとして、例えば、撮像部１２、表示部１３、光源１１から一つもしく二つ以上の組み合わせが選択されてよい。以下に、その詳細を説明する。
【００３５】
なお、カメラ、ディスプレイ、ユーザの眼球に光を照射する光源について各ハードウェアの位置、姿勢は事前に得られた設計情報の値を利用するが、実際には組立誤差の影響により設計情報とのずれが生じているため、制御部１６により設計情報とのずれを推定し、組立誤差が生じた後の位置、姿勢を得る。この時の原点位置は前記設計情報に記載されている。
【００３６】
［ハードウェアの組立誤差を考慮した光軸−視軸補正量の算出］
図１１は、第１の実施形態のハードウェアの組立誤差を考慮した光軸−視軸補正量の算出方法の流れを示すフローチャートである。
なお、ここでは、ハードウェアの組立誤差として撮像部１２の組立誤差がある場合を想定する。
【００３７】
１．まず、制御部１６は、Ｎ点の呈示注視点のうち最初の呈示注視点（第１の呈示注視点）を表示部１３の画面上における所定の位置（第１の位置）に表示するように、表示部１３を制御する（ステップＳ１０１）。
【００３８】
ここで、呈示注視点とはユーザに注視するよう指示を与えた点（仮想オブジェクト）であり、例えば表示部１３上に表示された円形の点などである。
【００３９】
２．次に、制御部１６は、撮像部１２の位置及び姿勢のうち少なくとも一方を変化させながら、最初の呈示注視点を注視するユーザの眼球１を撮像部１２によりＬ回繰り返して撮像させる。これにより、制御部は、最初の呈示注視点に対応するＬ個分の眼球の画像（第１の画像）を取得する（ステップＳ１０２）。Ｌの値は情報処理装置１の速度による制限を受けるが、できるだけ多いことが精度上望ましい。
【００４０】
なお、撮像部１２の位置及び姿勢のうち少なくとも一方を変化させる方法としては、仮想空間上において仮想的に撮像部１２の位置及び姿勢のうち少なくとも一方を変化させる方法と、実空間上において実際に撮像部１２の位置及び姿勢のうち少なくとも一方を変化させる方法とが挙げられる。仮想的に撮像部１２の位置及び姿勢のうち少なくとも一方を変化させる場合、制御部１２は、仮想空間上における計算上の撮像部１２の位置又は姿勢を変化させる。一方、実際に撮像部１２の位置及び姿勢のうち少なくとも一方を変化させる場合、調整部がヘッドマウントディスプレイに対して追加される。
【００４１】
この調整部は、撮像部１２の位置及び姿勢のうち少なくとも一方の調整を行うことが可能に構成されている。なお、調整部１２は、撮像部１２だけでなく、表示部１３、アクティブ光源１１についても位置及び姿勢のうち少なくとも一方の調整を行うことが可能に構成されていてもよい（後述のように、表示部１３、アクティブ光源１１における位置、姿勢が調整される場合）。
【００４２】
調整部は、アクチュエータ等の駆動部によって自動的に上記調整を行うことが可能なように構成されていてもよい。あるいは、調整部は、手動で上記調整を行うことが可能なように構成されていてもよい（例えば、ダイヤル機構）。
【００４３】
手動で上記調整が行われる場合、制御部１２は、ユーザに対して、撮像部１２の動かし方、動かす速度などのガイドを表示するように表示部を制御する。例えば、「もっとゆっくり動かして下さい。」、「もっと大きく動かして下さい。」、「初回の移動と同じように移動させてください。」、「もう一度動かしてください。」などのガイドが表示され、ユーザに通知される。なお、音声によるガイドがユーザに通知されてもよい。
【００４４】
制御部１２は、カメラ１２の一定範囲の移動に対して所定数（Ｌ）の視線キャリブレーションデータが得られたかどうか等の条件に基づいて、上記各種のガイドのうちいずれのガイドをユーザに呈示するかを判定してもよい。あるいは、制御部１２は、呈示注視点毎にカメラ１２が同じ軌跡で移動されたかどうか等の条件に基づいて、上記各種のガイドのうちいずれのガイドをユーザに呈示するかを判定してもよい。
【００４５】
制御部１６は、撮像部１２の位置及び姿勢のうち少なくとも一方を変化させながら、撮像部１２によりユーザの眼球１を撮像し（ガイドが表示された後）、仮想空間上、あるいは、実空間上の撮像部１２の位置及び姿勢に関連する位置姿勢情報を取得する。該位置姿勢情報は、撮像部１３の位置及び姿勢のうち少なくとも一方の変化に応じた、互いに異なる第１の位置姿勢情報および第２の位置姿勢情報を含むものと見做されてよい。そして、制御部１６は、撮像部１２の位置姿勢情報と、その位置及び姿勢で撮像された眼球の画像（第１の画像）とを関連付けて、記憶部１４に保存する。
【００４６】
３．制御部１６は、撮像されたＬ枚の画像（第１の画像）について、それぞれ、角膜曲率中心の３次元位置Ｐｅｎを推定し、角膜曲率中心の３次元位置Ｐｅｎと呈示注視点の３次元位置Ｐｇｔｎを結んだ視軸ベクトルＶｖｉｓｎ→を推定する（ステップＳ１０３）。ここで、ｎはＮ点の呈示注視点に割り当てられた１からＮまでの番号を意味する。
【００４７】
４．制御部１６は、撮像されたＬ枚の画像について、それぞれ、瞳孔中心の３次元位置を推定し、この瞳孔中心の３次元位置と角膜曲率中心の３次元位置Ｐｅｎとを結んだ光軸ベクトルＶｏｐｔｎ→を推定する（ステップＳ１０４）。
【００４８】
５．制御部１６は、以上の推定された視軸ベクトルＶｖｉｓｎ→、光軸ベクトルＶｏｐｔｎ→、および角膜曲率中心の３次元位置Ｐｅｎを視線キャリブレーションデータとして記憶部１４に保存する（ステップＳ１０５）。なお、制御部１６は、Ｌ個の各視線キャリブレーションデータを、位置姿勢情報と関連付けて記憶部に記憶する。以後、角膜曲率中心の３次元位置Ｐｅｎを光軸始点の位置と呼ぶこともある。
【００４９】
上記のステップＳ１０２からステップＳ１０５までの処理により、制御部１６は、１つの呈示注視点に対してＬ個の視線キャリブレーションデータを得る。
【００５０】
６．次に、制御部１６は、Ｎ点の呈示注視点に対する全ての（Ｎ×Ｌ個）視線キャリブレーションデータを取得したかどうかを判定する（ステップＳ１０６）。取得すべき視線キャリブレーションデータが残っている場合（ステップＳ１０６のＮＯ）、制御部１６は、ステップＳ１０１へ戻る。そして、制御部１６は、例えば、最初の呈示注視点を表示部１３の画面上における所定の位置（第２の位置）に移動させて、２番目の呈示注視点を（第２の呈示注視点）を表示するように表示部１３を制御する
【００５１】
制御部１６は、２番目以降の呈示注視点が呈示されているとき、最初の呈示注視点が呈示されている場合と同様の変化のさせ方で、（仮想空間上、あるいは、実空間上における）撮像部１２の位置、姿勢を変化させる。
【００５２】
７．全て（Ｌ×Ｎ個）の視線キャリブレーションデータが得られた場合（ステップＳ１０６のＹＥＳ）、制御部１６は、撮像部１２の組立誤差を次のように推定する（ステップＳ１０７）。
【００５３】
制御部１６は、取得した（Ｌ×Ｎ）個の視線キャリブレーションデータについて、光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との差分をそれぞれ算出する。制御部１６は、（Ｌ×Ｎ）個の視線キャリブレーションデータについてそれぞれ算出された光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との差分を、それぞれの視線キャリブレーションデータに対応付けられた位置姿勢情報（第１の位置姿情報、第２の位置姿勢情報）に基づいて、撮像部１２の位置および姿勢が等しいものごとに分類する。
【００５４】
この結果、（Ｌ×Ｎ）個の視線キャリブレーションデータはＮ個の視線キャリブレーションデータを含むＬ個のグループに分類される。Ｌ個の各グループに分類された、Ｎ個の視線キャリブレーションデータ（第１のキャリブレーションデータ：第１グループのキャリブレーションデータ、第２のキャリブレーションデータ：第２グループのキャリブレーションデータ）は、それぞれ、（仮想空間上、実空間上の）撮像部１２が同じ位置、姿勢の状態で取得されたデータである。また、Ｌ個の各グループに分類された、Ｎ個の視線キャリブレーションデータは、上述のように、それぞれ、視軸ベクトルＶｖｉｓｎ→、光軸ベクトルＶｏｐｔｎ→、角膜曲率中心の３次元位置Ｐｅｎ、光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との差分等の情報を含む。なお、視線キャリブレーションデータは、眼球旋回中心の３次元位置の情報を含んでいてもよい。
【００５５】
制御部１６は、分類されたデータ単位（Ｌ個のグループ単位）で光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との差分の分散が最小となる位置および姿勢を判定する。そして、制御部１６は、この位置および姿勢から撮像部１２の設計上の位置および姿勢に対する誤差を組立誤差として算出する。
【００５６】
ハードウェアの組立誤差を考慮した光軸−視軸補正量の算出動作の説明に戻る。
８．撮像部１２の組立誤差の推定が完了した後、ユーザの眼球１の光軸ベクトルＶｏｐｔ→に対して光軸−視軸補正量を算出し、視軸ベクトルＶｖｉｓ→を推定する動作（視線推定）を行うことが可能となる。
【００５７】
視線推定では、制御部１６は、撮像部１２により、視線推定対象であるユーザの眼球１の撮像を行い、ユーザの眼球の画像（第２の画像）を取得する。制御部１６は、撮像された画像から角膜曲率中心の３次元位置Ｐｅと瞳孔中心の３次元位置を推定し、これらを結んだベクトルを光軸ベクトルＶｏｐｔ→として推定する。
【００５８】
その際、ハードウェアの組立誤差を見込んで角膜曲率中心Ｐｅの３次元位置と瞳孔中心の３次元位置が推定されることによって、視線推定対象であるユーザの眼球１のハードウェアの組立誤差を見込んだ光軸ベクトルＶｏｐｔ→が推定される。制御部１６は、そのハードウェアの組立誤差を見込んで推定された光軸ベクトルＶｏｐｔ→と角膜曲率中心の３次元位置Ｐｅ、さらに（Ｌ×Ｎ）個の視線キャリブレーションデータのうち、少なくとも、光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との差分の分散が最小となるＮ個の視線キャリブレーションデータとから、視線推定対象であるユーザの眼球１のハードウェアの組立誤差を見込んだ、光軸ベクトルＶｏｐｔ→に対する視軸ベクトルＶｖｉｓ→の差分を光軸−視軸補正量として推定する。そして、制御部１６は、光軸−視軸補正量に基づいて、光軸ベクトルＶｏｐｔ→を補正することで、視軸ベクトルを推定し、これにより、視線推定を行う。
【００５９】
なお、本実施形態では、一例として、制御部１６が、（Ｌ×Ｎ）個の視線キャリブレーションデータのうち、光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との差分の分散が最小となるＮ個の視線キャリブレーションデータを補正に用いる場合について説明するが、一方、Ｎが２つの場合も想定される。Ｎが２つの場合とは、呈示注視点が２つであり、１つのグループにおける視線キャリブレーションデータが２つの場合である。この場合、制御部１６は、例えば、（Ｌ×Ｎ（Ｎ＝２））個の視線キャリブレーションデータのうち、１つ目の呈示注視点（第１の呈示注視点）に対応する光軸ベクトルＶｏｐｔｎ→及び視軸ベクトルＶｖｉｓｎ→の差分と、２つ目の呈示注視点（第２の呈示注視点）に対応する光軸ベクトル及び視軸ベクトルの差分との間の差がより小さいＮ個（Ｎ＝２）の視線キャリブレーションデータを補正に用いる。
【００６０】
［光軸−視軸補正量の算出方法］
次に、光軸−視軸補正量の算出方法の例を説明する。
制御部１６は、視線推定対象であるユーザの眼球１の、ハードウェアの組立誤差を見込んで推定された角膜曲率中心の３次元位置Ｐｅおよび光軸ベクトルＶｏｐｔ→と、Ｎ個の視線キャリブレーションデータにおける角膜曲率中心の３次元位置Ｐｅｎおよび光軸ベクトルＶｏｐｔｎ→との類似度Ｄｎを算出する。この際、制御部１６は、Ｖｏｐｔ→とＶｏｐｔｎ→とのなす角φｎを指標に類似度Ｄｎを算出してもよい。その他の例として、コサイン類似度、ＰｅとＰｅｎとのユークリッド距離、これらの２種類以上の組み合わせを類似度Ｄｎの指標としてもよい。
【００６１】
次に制御部１６は、Ｄｎを正規化した類似度//Ｄｎ//を求める。例えば、Ｖｏｐｔ→とＶｏｐｔｎ→とのなす角φｎを指標に類似度を算出する場合、//Ｄｎ//は１／φｎにより求めることができる。この際、φｎ＝０の場合は//Ｄｎ//＝１とし、ｎ点目以外の正規化類似度を"０"とするなどの例外処理が行われる。
【００６２】
次に、制御部１６は、Ｎ個の視線キャリブレーションデータにおける光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→とのＮ個の差分量を、正規化類似度を係数として重み付けし、その結果をすべて足し合わせた値を、視線推定対象であるユーザの眼球１の光軸ベクトルＶｏｐｔ→に対する光軸−視軸補正量として算出する。
【００６３】
なお、制御部１６は、以下の様にして、光軸−視軸補正量を算出してもよい。まず、制御部１６は、視線推定時の眼球の画像（第２の画像）に基づいて、角膜曲率中心、瞳孔又は眼球旋回中心の３次元位置を推定する。そして、制御部１６は、推定された角膜曲率中心、瞳孔又は眼球旋回中心の３次元位置と、（Ｌ×Ｎ）個の視線キャリブレーションデータのうち、上記分散（あるいは、上記差）が最小となるＮ個のキャリブレーションデータに含まれる角膜曲率中心、瞳孔又は眼球旋回中心の３次元位置との類似度を判定する。そして、制御部１６は、この類似度に基づいて、光軸−視軸補正量を算出する。なお、この場合の類似度は、光軸ベクトルとの類似度との組み合わせで、類似度が評価される。
【００６４】
ここまで、特に組立誤差の推定対象であるハードウェアが撮像部１２である場合を想定して、組立誤差の推定方法および推定された組立誤差を考慮した視線推定について説明したが、組立誤差の推定対象が表示部１３あるいはアクティブ光源１１である場合も同様に組立誤差の推定および推定された組立誤差を考慮した視線推定を行うことができる。
【００６５】
［表示部１３の組立誤差の推定方法］
次に、組立誤差の推定対象であるハードウェアが表示部１３である場合のハードウェアの組立誤差を考慮した光軸−視軸補正量の算出方法の詳細を説明する。
【００６６】
図１３は、表示部１３の組立誤差を考慮した光軸−視軸補正量の算出方法の流れを示すフローチャートである。
【００６７】
なお、この場合の処理手順も、撮像部１２の組立誤差を考慮した光軸−視軸補正量の算出方法と基本的には同じである。
【００６８】
１１．まず、制御部１６は、Ｎ点の呈示注視点のうち最初の呈示注視点を表示部１３の画面上における所定の位置に表示するように、表示部を制御する（ステップＳ２０１）。
【００６９】
１２．次に、制御部１６は、表示部１３の位置及び姿勢のうち少なくとも一方を変化させながら、最初の呈示注視点を注視するユーザの眼球１を撮像部１２によりＬ回繰り返して撮像させる。これにより、制御部１６は、最初の呈示注視点に対応するＬ個分の眼球の画像（第１の画像）を取得する（ステップＳ２０２）。Ｌの値は情報処理装置１の速度による制限を受けるが、できるだけ多いことが精度上望ましい。
【００７０】
制御部１６は、表示部１３の位置及び姿勢のうち少なくとも一方を変化させながら、撮像部１２によりユーザの眼球１を撮像し、仮想空間上、あるいは、実空間上の表示部１３の位置及び姿勢に関連する位置姿勢情報を取得する。該位置姿勢情報は、表示部１３の位置及び姿勢のうち少なくとも一方の変化に応じた、互いに異なる第１の位置姿勢情報および第２の位置姿勢情報を含むものと見做されてよい。そして、制御部１６は、表示部１３の位置姿勢情報と、その位置及び姿勢で撮像された眼球の画像（第１の画像）とを関連付けて、記憶部１４に保存する。
【００７１】
１３．制御部１６は、撮像されたＬ枚の画像について、それぞれ、角膜曲率中心の３次元位置Ｐｅｎを推定し、角膜曲率中心の３次元位置Ｐｅｎと呈示注視点の３次元位置Ｐｇｔｎを結んだ視軸ベクトルＶｖｉｓｎ→を推定する（ステップＳ２０３）。なお、角膜曲率中心の３次元位置Ｐｅｎは表示部１３の位置および姿勢に依存しないため、一つの呈示注視点に対して一回推定されればよい。
【００７２】
１４．制御部１６は、撮像されたＬ枚の画像について、それぞれ、瞳孔中心の３次元位置を推定し、この瞳孔中心の３次元位置と角膜曲率中心の３次元位置Ｐｅｎとを結んだ光軸ベクトルＶｏｐｔｎ→を推定する（ステップＳ２０４）。ここで、光軸ベクトルＶｏｐｔｎ→の推定は１つの呈示注視点に対して一回行わればよい。
【００７３】
１５．制御部１６は、以上の推定された視軸ベクトルＶｖｉｓｎ→、光軸ベクトルＶｏｐｔｎ→、および角膜曲率中心の３次元位置Ｐｅｎを視線キャリブレーションデータとして記憶部１４に保存する（ステップＳ２０５）。
【００７４】
上記のステップＳ２０２からステップＳ２０５までの処理により、制御部１６は、１つの呈示注視点に対してＬ個の視線キャリブレーションデータが得る。
【００７５】
１６．次に、制御部１６は、Ｎ点の呈示注視点に対する全ての（Ｎ×Ｌ個）視線キャリブレーションデータを取得したかどうかを判定する（ステップＳ２０６）。取得すべき視線キャリブレーションデータが残っている場合（ステップＳ２０６のＮＯ）、制御部１６は、ステップＳ２０１へ戻る。そして、制御部１６は、例えば、最初の呈示注視点を表示部１３の画面上における所定の位置（第２の位置）に移動させて、２番目の呈示注視点を（第２の呈示注視点）を表示するように表示部１３を制御する。
【００７６】
制御部１６は、２番目以降の呈示注視点が呈示されているとき、最初の呈示注視点が呈示されている場合と同様の変化のさせ方で、（仮想空間上、あるいは、実空間上における）表示部１３の位置、姿勢を変化させる。
【００７７】
１７．全て（Ｌ×Ｎ個）の視線キャリブレーションデータが得られ場合（ステップＳ２０６のＹＥＳ）、制御部１６は、表示部１３の組立誤差を次のように推定する（ステップＳ２０７）。
【００７８】
制御部１６は、取得した（Ｌ×Ｎ）個の視線キャリブレーションデータについて、光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との差分をそれぞれ算出する。制御部１６は、（Ｌ×Ｎ）個の視線キャリブレーションデータについてそれぞれ算出された光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との差分を、それぞれの視線キャリブレーションデータに対応付けられた位置姿勢情報（第１の位置姿情報、第２の位置姿勢情報）に基づいて、表示部１３の位置および姿勢が等しいものごとに分類する。
【００７９】
この結果、（Ｌ×Ｎ）個の視線キャリブレーションデータはＮ個の視線キャリブレーションデータを含むＬ個のグループに分類される。Ｌ個の各グループに分類された、Ｎ個の視線キャリブレーションデータは、それぞれ、（仮想空間上、実空間上の）表示部１３が同じ位置、姿勢の状態で取得されたデータである。
【００８０】
制御部１６は、分類されたデータ単位で光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との差分の分散が最小となる表示部１３の位置および姿勢を判定し、この位置および姿勢から表示部１３の設計上の位置および姿勢に対する誤差を表示部１３の組立誤差として算出する。
【００８１】
［アクティブ光源１１の組立誤差の推定方法］
次に、組立誤差の推定対象であるハードウェアがアクティブ光源１１である場合のハードウェアの組立誤差を考慮した光軸−視軸補正量の算出方法の詳細を説明する。
【００８２】
図１４は、アクティブ光源１１の組立誤差を考慮した光軸−視軸補正量の算出方法の流れを示すフローチャートである。
【００８３】
なお、この場合の処理手順は、表示部１３の組立誤差を考慮した光軸−視軸補正量の算出方法と基本的には同じである。
【００８４】
２１．まず、制御部１６は、Ｎ点の呈示注視点のうち最初の呈示注視点を表示部１３の画面上における所定の位置に表示するように、表示部１３を制御する（ステップＳ３０１）。
【００８５】
２２．次に、制御部１６は、アクティブ光源１１の位置及び姿勢のうち少なくとも一方を変化させながら、最初の呈示注視点を注視するユーザの眼球１を撮像部１２によりＬ回繰り返して撮像させる。これにより、制御部は、最初の呈示注視点に対応するＬ個分の眼球の画像（第１の画像）を取得する（ステップＳ３０２）。Ｌの値は情報処理装置１の速度による制限を受けるが、できるだけ多いことが精度上望ましい。
【００８６】
制御部１６は、アクティブ光源１１の位置及び姿勢のうち少なくとも一方を変化させながら、撮像部１２によりユーザの眼球１を撮像し、仮想空間上、あるいは、実空間上のアクティブ光源１１の位置及び姿勢に関連する位置姿勢情報を取得する。該位置姿勢情報は、アクティブ光源１１の位置及び姿勢のうち少なくとも一方の変化に応じた、互いに異なる第１の位置姿勢情報および第２の位置姿勢情報を含むものと見做されてよい。そして、制御部１６は、アクティブ光源１１の位置姿勢情報と、その位置及び姿勢で撮像された眼球の画像（第１の画像）とを関連付けて、記憶部１４に保存する。
【００８７】
２３．制御部１６は、撮像されたＬ枚の画像について、それぞれ、角膜曲率中心の３次元位置Ｐｅｎを推定し、角膜曲率中心の３次元位置Ｐｅｎと呈示注視点の３次元位置Ｐｇｔｎを結んだ視軸ベクトルＶｖｉｓｎ→を推定する（ステップＳ３０３）。なお、角膜曲率中心の３次元位置Ｐｅｎはアクティブ光源１１の位置および姿勢に依存しないため、一つの呈示注視点に対して一回推定されればよい。
【００８８】
２４．制御部１６は、撮像されたＬ枚の画像について、それぞれ、瞳孔中心の３次元位置を推定し、この瞳孔中心の３次元位置と角膜曲率中心の３次元位置Ｐｅｎとを結んだ光軸ベクトルＶｏｐｔｎ→を推定する（ステップＳ３０４）。ここで、光軸ベクトルＶｏｐｔｎ→の推定は１つの呈示注視点に対して一回行わればよい。
【００８９】
２５．制御部１６は、以上の推定された視軸ベクトルＶｖｉｓｎ→、光軸ベクトルＶｏｐｔｎ→、および角膜曲率中心の３次元位置Ｐｅｎを視線キャリブレーションデータとしてＲＡＭ１４に保存する（ステップＳ３０５）。
【００９０】
上記のステップＳ３０２からステップＳ３０５までの処理により、制御部１６は、１つの呈示注視点に対してＬ個の視線キャリブレーションデータを得る。
【００９１】
２６．次に、制御部１６は、Ｎ点の呈示注視点に対する全ての（Ｎ×Ｌ個）視線キャリブレーションデータを取得したかどうかを判定する（ステップＳ３０６）。取得すべき視線キャリブレーションデータが残っている場合（ステップＳ３０６のＮＯ）、制御部１６は、ステップＳ３０１へ戻る。そして、制御部１６は、例えば、最初の呈示注視点を表示部１３の画面上における所定の位置（第２の位置）に移動させて、２番目の呈示注視点を（第２の呈示注視点）を表示するように表示部１３を制御する。
【００９２】
制御部１６は、２番目以降の呈示注視点が呈示されているとき、最初の呈示注視点が呈示されている場合と同様の変化のさせ方で、（仮想空間上、あるいは、実空間上における）撮像部１２の位置、姿勢を変化させる。
【００９３】
２７．全て（Ｌ×Ｎ個）の視線キャリブレーションデータが得られた場合（ステップＳ３０６のＹＥＳ）、制御部１６は、アクティブ光源１１の組立誤差を次のように推定する（ステップＳ３０７）。
【００９４】
制御部１６は、取得した（Ｌ×Ｎ）個の視線キャリブレーションデータについて、光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との差分をそれぞれ算出する。制御部１６は、（Ｌ×Ｎ）個の視線キャリブレーションデータについてそれぞれ算出された光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との差分を、それぞれの視線キャリブレーションデータに対応付けられた位置姿勢情報（第１の位置姿情報、第２の位置姿勢情報）に基づいて、アクティブ光源１１の位置および姿勢が等しいものごとに分類する。
【００９５】
この結果、（Ｌ×Ｎ）個の視線キャリブレーションデータはＮ個の視線キャリブレーションデータを含むＬ個のグループに分類される。Ｌ個の各グループに分類された、Ｎ個の視線キャリブレーションデータは、それぞれ、（仮想空間上、実空間上の）アクティブ光源１１が同じ位置、姿勢の状態で取得されたデータである。
【００９６】
制御部１６は、分類されたデータ単位で光軸ベクトルＶｏｐｔｎ→と視軸ベクトルＶｖｉｓｎ→との差分の分散が最小となるアクティブ光源１１の位置および姿勢を判定し、この位置および姿勢からアクティブ光源１１の設計上の位置および姿勢に対する誤差をアクティブ光源１１の組立誤差として算出する。
【００９７】
なお、情報処理装置１に複数のアクティブ光源１１がある場合には、各々のアクティブ光源１１について上記の処理が行われて、アクティブ光源１１毎の組立誤差が得られる。
【００９８】
［補足等］
（角膜曲率中心の３次元位置の推定方法の例）
図１５は、センサ原点座標系における角膜曲率中心の３次元位置を推定する方法の概要を示す図である。
この例では、２つのアクティブ光源（第１のアクティブ光源１１Ａ、第２のアクティブ光源１１Ｂ）が存在する場合を説明する。
【００９９】
この方法は、２つのアクティブ光源（第１のアクティブ光源１１Ａ、第２のアクティブ光源１１Ｂ）より各々異なる位置および角度で出射された赤外光２５Ａ、２５Ｂが眼球１の角膜表面２２で反射する２つの輝点を含む画像（プルキニエ像）２３からセンサ原点座標系における角膜曲率中心２４の３次元位置を推定する方法である。
【０１００】
第１のアクティブ光源１１Ａのセンサ座標系での３次元位置をＰＬ１、第２のアクティブ光源１１Ｂのセンサ座標系での３次元位置をＰＬ２、撮像部１２による撮像画像２３における瞳孔中心位置をｉｃｏｒｎｅａ、撮像部１２による撮像画像２３における第１のアクティブ光源１１Ａの反射輝点２１Ａの位置をｉｇｌｉｎｔｓ１、撮像部１２による撮像画像２３における第２のアクティブ光源１１Ｂの反射輝点２１Ｂの位置をｉｇｌｉｎｔｓ２とすると、
センサ原点座標系における角膜曲率中心２４の３次元位置ｐｃｏｒｎｅａは、
ｐｃｏｒｎｅａ＝Ｆｃｏｒｎｅａ（ｉｃｏｒｎｅａ，ｉｇｌｉｎｔｓ１，ｉｇｌｉｎｔｓ２，ＰＬ１，ＰＬ２）で求められる。
Ｆｃｏｒｎｅａは、ｉｃｏｒｎｅａ，ｉｇｌｉｎｔｓ１，ｉｇｌｉｎｔｓ２，ＰＬ１，ＰＬ２をパラメータとしてｐｃｏｒｎｅａを求めるための関数である。
【０１０１】
（瞳孔３次元位置の推定方法の例）
図１６は、瞳孔中心２７の３次元位置の推定方法の概要を示す図である。
センサ原点座標系における角膜曲率中心２４の３次元位置をｐｃｏｒｎｅａ  、撮像部１２により撮像された画像２３における瞳孔中心２８の３次元位置をｉｐｕｐｉｌ  とすると、ワールド座標系の瞳孔中心２７の３次元位置ｐｐｕｐｉｌ  は、
ｐｐｕｐｉｌ＝Ｆｐｕｐｉｌ（ｉｐｕｐｉｌ，ｐｃｏｒｎｅａ）
で求められる。
ここで、Ｆｐｕｐｉｌは、ｉｐｕｐｉｌ，ｐｃｏｒｎｅａをパラメータとしてｐｐｕｐｉｌを求めるための関数である。
【０１０２】
＜各種変形例＞
（アクティブ光源１１を持たない構成）
上記の実施形態では、アクティブ光源１１による赤外線を用いて視線を検出する例を説明したが、これに限定されない。例えば、赤外線を照射させずに、撮像部１２が撮像した撮像画像のみで視線を検出、追跡する方法もある。この場合、アクティブ光源１１は不要である。図１７にアクティブ光源を備えない視線検出デバイスを有する情報処理装置のハードウェア構成を示す。
【０１０３】
（クラウド構成）
上記の実施形態では、情報処理装置１００内の制御部１６において視線推定のための演算処理を行う例を説明したが、サーバの制御部が情報処理装置１００より視線キャリブレーション、視線推定のための演算処理を行うために必要な各データ（撮影画像データ、ハードウェア設計データなど）をネットワークを通じて受信し、視線推定のための処理を実行し、その結果を情報処理装置１００に送信するようにしてもよい。
【０１０４】
（情報処理装置１００の他の例）
以上の説明では、情報処理装置１００の一例として、ヘッドマウントディスプレイを例に挙げて説明した。一方、情報処理装置１００は、ヘッドマウントディスプレイ以外の各種のウェアラブル装置や、ヘッドアップディスプレイにも応用され得る。本技術は、典型的には、ユーザの視線を検出して、表示部上に画像を表示させる装置であれば、どのような装置にも適用可能である。
【０１０５】
情報処理装置１００の利用空間における位置、姿勢を測定するため、情報処理装置１００は、Inside-outカメラ、センサ（ジャイロセンサ、加速度センサ、地磁気センサ、超音波センサ、気圧センサなど）、情報処理装置１００とは別個に実空間（利用空間）内に置かれたOutside−inカメラ、情報処理装置とは別個に実空間内に置かれたセンサ（光学式ポジショントラッカーなど）のうち、一つもしくは二つ以上の組合せを備えてもよい。
【０１０６】
なお、Inside-outカメラは、情報処理装置内、あるいは情報処理装置上に搭載された、情報処理装置の位置を追跡するためのカメラとして見做されてよい。また、Outside−inカメラは、情報処理装置１００とは別個に実空間に設けられ、情報処理装置の位置を追跡するためのカメラとして見做されてよい。
【０１０７】
情報処理装置１００が、実空間における位置、姿勢を測定するセンサを備える場合、空間に定位する呈示注視点をユーザに表示することができる。ここで、ユーザが視認する背景は実空間の像（実空間の画像を含む）であってもよく、また仮想画像であってもよい。すなわち、呈示注視点はいわゆる仮想オブジェクト（ARオブジェクトまたはVRオブジェクト）であってもよい。この呈示注視点をユーザに注視させながらデバイスの位置、姿勢を変化させた場合、眼球を撮影するカメラから見たユーザの視線方向は相対的に変化することとなり、複数の呈示注視点をユーザに注視させた場合と同じ効果を得られる。つまり、複数の呈示注視点は、情報処理装置に関連付けられた位置及び姿勢に関連する位置姿勢情報に基づいて空間中に定位された仮想オブジェクトであってもよい。
【０１０８】
ここで、例えば、瞳孔間距離（IPD）はユーザにより異なるため、上記調整部は、表示部１３の位置をユーザのIPDに合わせて調整するための機構であってもよい。調整部は、例えば、接眼レンズの位置をIPDに応じて調整することで表示部１３の画面上の見え方を調整する機構とされる。また、調整部は、接眼レンズが、撮像部１２及び光源１１と同一ユニット上に配置されている場合、該ユニットの位置、姿勢を調整することで、IPDに応じた最適な眼球撮影位置に調整できる。制御部１６は、ＩＰＤの調整に応じた位置姿勢情報を取得してもよい。また、制御部１６は、上記補正の結果に基づいて、この調整部の駆動を制御してもよい。
【０１０９】
情報処理装置１００が、上記のIPD調整機構以外に、ハードウェア（撮像部１２、表示部１３、光源１１）の位置、姿勢を調整するためのガイド機構を調整部として備えていてもよい。この場合、ガイド機構とともに、上記情報処理装置１００の前記ハードウェアの位置、姿勢に関する位置姿勢情報を取得する少なくとも一つのセンサが設けられる。これらにより、制御部１６によって上記情報処理装置１００の前記ハードウェアの位置、姿勢に関する位置姿勢情報が取得される。ここでガイド機構は、例えば複数の既定位置、姿勢の中から一つを選択し、固定できるメカ機構として見做されてよい。またセンサには、例えばジャイロセンサ、加速度センサ、地磁気センサ、超音波センサ、気圧センサ、環境下に置かれた外部センサ（outside−inカメラなど）のうち少なくとも１つが含まれてよい。
【０１１０】
上記情報処理装置１００が、ハードウェアの位置、姿勢の調整部を備えている場合、ハードウェアの位置、姿勢の調整の実施と並行して、視線キャリブレーションを実行してもよい。この場合、ユーザの視線を実空間に固定された任意の１点に向くよう、呈示注視点を調整して表示部１３に表示しユーザの眼球を撮影する。これにより実空間上の１点を向くユーザの視線および眼球を、ハードウェアの異なる位置、姿勢で、撮影した視線キャリブレーションデータを得られる。この視線キャリブレーションデータにおいて、光軸ベクトルと視軸ベクトルとの差分の分散（あるいは差）が最小であるハードウェアの位置、姿勢は、複数の呈示注視点に対応する光軸ベクトル及び視軸ベクトルの差分の分散（あるいは差）が最小となるハードウェア位置、姿勢の推定する際に、計算負荷を軽減する。例えば、最小化問題としてハードウェアの位置、姿勢を解く場合の初期値として利用することで計算負荷を軽減することができる。
【０１１１】
なお、本技術は以下のような構成もとることができる。
（１）視線キャリブレーションに用いられるハードウェアの位置及び姿勢に関連する第１の位置姿勢情報、及び、前記ハードウェアの位置及び姿勢に関連する、前記第１の位置姿勢情報とは異なる第２の位置姿勢情報を取得し、第１の位置に呈示される第１の呈示注視点と、前記第１の位置とは異なる第２の位置に呈示される第２の呈示注視点とを含む複数の呈示注視点を表示するように表示部を制御し、前記第１の呈示注視点を注視するユーザの眼球及び前記第２の呈示注視点を注視するユーザの眼球のそれぞれの第１の画像を取得するように撮像部を制御し、前記第１の位置姿勢情報、前記第２の位置姿勢情報及び前記第１の画像に基づいて複数のキャリブレーションデータを生成し、前記複数のキャリブレーションデータに基づいて、前記ユーザの眼球における光軸ベクトル及び視軸ベクトルに関連する補正を行うように構成された制御部
を具備する情報処理装置。
（２）  前記ハードウェアは、前記撮像部、前記表示部、又は前記ユーザの眼球に光を照射する光源のうち少なくとも１つである
上記（１）に記載の情報処理装置。
（３）  前記複数のキャリブレーションデータは、前記光軸ベクトル及び前記視軸ベクトルに関する情報を含む、前記第１の位置姿勢情報に基づく第１のキャリブレーションデータと、前記光軸ベクトル及び前記視軸ベクトルに関する情報を含む、前記第２の位置姿勢情報に基づく第２のキャリブレーションデータとを含み、
前記制御部は、前記第１のキャリブレーションデータ及び前記第２のキャリブレーションデータのうち、前記第１の呈示注視点に対応する光軸ベクトル及び視軸ベクトルの差分と、前記第２の呈示注視点に対応する光軸ベクトル及び視軸ベクトルの差分との間の差がより小さいキャリブレーションデータに基づいて、前記補正を行うように構成される
上記（１）又は（２）に記載の情報処理装置。
（４）前記制御部は、前記第１のキャリブレーションデータ及び前記第２のキャリブレーションデータのうち、前記複数の呈示注視点にそれぞれ対応する光軸ベクトル及び視軸ベクトルの差分の分散がより小さいキャリブレーショデータに基づいて、前記補正を行うように構成される
上記（３）に記載の情報処理装置。
（５）前記第１の呈示注視点は、前記第２の呈示注視点とは異なる呈示注視点である
上記（１）〜（４）のうちいずれか１つに記載の情報処理装置。
（６）前記第２の呈示注視点は、前記第１の位置から前記第２の位置に移動した前記第１の呈示注視点である
上記（１）〜（５）のうちいずれか１つに記載の情報処理装置。
（７）前記第１の呈示注視点及び前記第２の呈示注視点は、前記情報処理装置に関連付けられた位置及び姿勢に関連する位置姿勢情報に基づいて空間中に定位された仮想オブジェクトである
上記（１）〜（５）のうちいずれか１つに記載の情報処理装置。
（８）前記制御部は、ユーザの眼球の第２の画像を取得するように前記撮像部を制御し、前記第２の画像に基づいて前記光軸ベクトルを推定し、推定された前記光軸ベクトルに対して、補正量に基づく補正を行うことによって前記視軸ベクトルを推定し、前記第１のキャリブレーションデータ及び前記第２のキャリブレーションデータのうち、前記差がより小さいキャリブレーショデータに基づいて前記補正量を算出するように構成される
上記（３）に記載の情報処理装置。
（９）  前記制御部は、前記推定された光軸ベクトルと、前記第１のキャリブレーションデータ及び前記第２のキャリブレーションデータのうち、前記差がより小さいキャリブレーションデータに含まれる前記光軸ベクトルとの類似度に基づいて、前記補正量を算出するように構成される
上記（８）に記載の情報処理装置。
（１０）  前記第１のキャリブレーションデータ及び前記第２のキャリブレーションデータは、前記ユーザの眼球における角膜曲率中心、瞳孔又は眼球旋回中心の３次元位置のうち少なくとも１つに関する情報を含み、
前記制御部は、前記第２の画像に基づいて、前記角膜曲率中心、前記瞳孔又は前記眼球旋回中心の３次元位置のうち少なくとも１つを推定し、推定された前記角膜曲率中心、前記瞳孔又は前記眼球旋回中心の３次元位置と、前記第１のキャリブレーションデータ及び前記第２のキャリブレーションデータのうち、前記差がより小さいキャリブレーションデータに含まれる前記角膜曲率中心、前記瞳孔又は前記眼球旋回中心の３次元位置のうち少なくとも１つとの類似度に基づいて、前記補正量を算出するように構成される
上記（９）に記載の情報処理装置。
（１１）前記制御部は、実空間上における前記ハードウェアの移動に応じた前記第１の位置姿勢情報及び前記第２の位置姿勢情報を取得するように構成される
上記（１）〜（１０）のうちいずれか１つに記載の情報処理装置。
（１２）前記制御部は、前記ハードウェアの移動方法を示すガイドを表示するように前記表示部を制御するように構成される
上記（１１）に記載の情報処理装置。
（１３）  前記制御部は、前記ガイドが示された後に前記第１の位置姿勢情報及び前記第２の位置姿勢情報を取得するように構成される
上記（１２）に記載の情報処理装置。
（１４）前記ハードウェアの位置又は姿勢のうち少なくとも１つの調整を行うように構成された調整部を更に具備し、
前記制御部は、前記調整に応じた前記第１の位置姿勢情報及び前記第２の位置姿勢情報を取得するように構成される
上記（１１）に記載の情報処理装置。
（１５）  上記調整部は、駆動部により自動的に前記調整を行うように構成され、
前記制御部は、前記補正の結果に基づいて、前記調整部を駆動する
上記（１４）に記載の情報処理装置。
（１６）  前記調整部は、ヘッドマウントディスプレイ又はヘッドアップディスプレイの瞳孔間距離を調整するように構成され、
前記制御部は、前記瞳孔間距離の調整に応じた前記第１の位置姿勢情報及び前記第２の位置姿勢情報を取得するように構成される
上記（１４）に記載の情報処理装置。
（１７）  前記調整部は、ヘッドマウントディスプレイ又はヘッドアップディスプレイのための、手動調整可能な機構である
上記（１４）に記載の情報処理装置。
（１８）  前記表示部及び前記撮像部をさらに具備するヘッドマウントディスプレイである
上記（１）〜（１７）のうちいずれか１つに記載の情報処理装置。
（１９）  制御部が、
視線キャリブレーションに用いられるハードウェアの位置及び姿勢に関連する第１の位置姿勢情報、及び、前記ハードウェアの位置及び姿勢に関連する、前記第１の位置姿勢情報とは異なる第２の位置姿勢情報を取得し、
第１の位置に呈示される第１の呈示注視点と、前記第１の位置とは異なる第２の位置に呈示される第２の呈示注視点とを含む複数の呈示注視点を表示するように表示部を制御し、
前記第１の呈示注視点を注視するユーザの眼球及び前記第２の呈示注視点を注視するユーザの眼球のそれぞれの第１の画像を取得するように撮像部を制御し、
前記第１の位置姿勢情報、前記第２の位置姿勢情報及び前記第１の画像に基づいて複数のキャリブレーションデータを生成し、
前記複数のキャリブレーションデータに基づいて、前記ユーザの眼球における光軸ベクトル及び視軸ベクトルに関連する補正を行うこと、を含む
情報処理方法。
（２０）
視線キャリブレーションに用いられるハードウェアの位置及び姿勢に関連する第１の位置姿勢情報、及び、前記ハードウェアの位置及び姿勢に関連する、前記第１の位置姿勢情報とは異なる第２の位置姿勢情報を取得することと、
第１の位置に呈示される第１の呈示注視点と、前記第１の位置とは異なる第２の位置に呈示される第２の呈示注視点とを含む複数の呈示注視点を表示するように表示部を制御することと、
前記第１の呈示注視点を注視するユーザの眼球及び前記第２の呈示注視点を注視するユーザの眼球のそれぞれの第１の画像を取得するように撮像部を制御するステップと、
前記第１の位置姿勢情報、前記第２の位置姿勢情報及び前記第１の画像に基づいて複数のキャリブレーションデータを生成することと、
前記複数のキャリブレーションデータに基づいて、前記ユーザの眼球における光軸ベクトル及び視軸ベクトルに関連する補正を行うことと
をコンピュータに実行させるプログラム。
【符号の説明】
【０１１２】
１０…視線検出デバイス
１１…アクティブ光源
１２…撮像部
１３…表示部
１４…記憶部
１６…制御部
１００…情報処理装置
【図１】
2019021049.tif 000003
【図２】
2019021049.tif 000004
【図３】
2019021049.tif 000005
【図４Ａ】
2019021049.tif 000006
【図４Ｂ】
2019021049.tif 000007
【図５Ａ】
2019021049.tif 000008
【図５Ｂ】
2019021049.tif 000009
【図６Ａ】
2019021049.tif 000010
【図６Ｂ】
2019021049.tif 000011
【図７Ａ】
2019021049.tif 000012
【図７Ｂ】
2019021049.tif 000013
【図８Ａ】
2019021049.tif 000014
【図８Ｂ】
2019021049.tif 000015
【図９Ａ】
2019021049.tif 000016
【図９Ｂ】
2019021049.tif 000017
【図１０Ａ】
2019021049.tif 000018
【図１０Ｂ】
2019021049.tif 000019
【図１１】
2019021049.tif 000020
【図１２】
2019021049.tif 000021
【図１３】
2019021049.tif 000022
【図１４】
2019021049.tif 000023
【図１５】
2019021049.tif 000024
【図１６】
2019021049.tif 000025
【図１７】
2019021049.tif 000026