(57)【要約】【課題】視点の位置や姿勢に応じた情報の提示をより好適な態様で実現可能とする。【解決手段】視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する第１の情報を取得する取得部と、前記第１の情報に基づき表示領域に対象となるオブジェクトを投影し、当該投影の結果に応じて表示情報が前記表示領域に提示されるように制御する制御部と、を備え、前記制御部は、前記表示領域に含まれる第１の部分領域及び第２の部分領域それぞれについて、互いに異なるタイミングでの前記認識結果に応じた前記第１の情報に基づき前記オブジェクトを投影する、情報処理装置。【選択図】図８
2020003898.tif 000002
【特許請求の範囲】
【請求項１】
視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する第１の情報を取得する取得部と、
前記第１の情報に基づき表示領域に対象となるオブジェクトを投影し、当該投影の結果に応じて表示情報が前記表示領域に提示されるように制御する制御部と、
を備え、
前記制御部は、前記表示領域に含まれる第１の部分領域及び第２の部分領域それぞれについて、互いに異なるタイミングでの前記認識結果に応じた前記第１の情報に基づき前記オブジェクトを投影する、
情報処理装置。
【請求項２】
前記制御部は、
前記第１の部分領域についての前記オブジェクトの投影結果に応じた第１の表示情報の当該第１の部分領域への提示と、
前記第２の部分領域についての前記オブジェクトの投影結果に応じた第２の表示情報の当該第２の部分領域への提示と、
を互いに異なるタイミングで制御する、
請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、前記第１の部分領域及び前記第２の部分領域のうち少なくともいずれかの部分領域に対する表示情報の提示を、当該部分領域についての前記オブジェクトの投影の結果が取得されたタイミングに応じて制御する、請求項２に記載の情報処理装置。
【請求項４】
前記制御部は、前記部分領域に対する表示情報の提示に係るフレームレートが第１のフレームレートに低下したとき、前記第１の部分領域及び前記第２の部分領域のうち少なくともいずれかの部分領域への前記オブジェクトの投影に係る第２のフレームレートを前記第１のフレームレートよりも大きく設定する、請求項３に記載の情報処理装置。
【請求項５】
前記制御部は、
第１のタイミングでの前記認識結果に応じた前記第１の情報に基づく前記第１の部分領域への前記オブジェクトの投影と、当該投影の結果に応じた前記第１の表示情報の当該第１の部分領域への提示と、が順次実行される第１の処理と、
第２のタイミングでの前記認識結果に応じた前記第１の情報に基づく前記第２の部分領域への前記オブジェクトの投影と、当該投影の結果に応じた前記第２の表示情報の当該第２の部分領域への提示と、が順次実行される第２の処理と、
を互いに異なるタイミングで実行する、
請求項３に記載の情報処理装置。
【請求項６】
前記制御部は、所定の単位期間ごとに、前記第１の処理及び前記第２の処理をあらかじめ決められた順序で実行する、請求項５に記載の情報処理装置。
【請求項７】
前記第２のタイミングは、前記第１のタイミングよりも後のタイミングであり、
前記制御部は、前記第１の処理の実行後に、前記第２の処理を実行する、
請求項６に記載の情報処理装置。
【請求項８】
前記制御部は、前記第１の処理及び前記第２の処理のうち少なくともいずれかの処理について処理時間を推定し、当該処理時間の推定結果に応じて、当該処理に対応する前記第１の情報が取得される前に、対応する部分領域への表示情報の提示に係る処理を開始する、請求項５に記載の情報処理装置。
【請求項９】
前記制御部は、前記第１の処理及び前記第２の処理のうち少なくともいずれかの処理について処理時間を推定し、当該処理時間の推定結果に応じて、当該処理の実行をスキップする、請求項５に記載の情報処理装置。
【請求項１０】
前記制御部は、前記第１の処理及び前記第２の処理のうち少なくともいずれかの処理をスキップした場合には、当該処理により提示される表示情報に替えて、他の表示情報が対応する部分領域に提示されるように制御する、請求項９に記載の情報処理装置。
【請求項１１】
前記第１の部分領域と前記第２の部分領域とは互いに隣り合う領域であり、
前記制御部は、前記第１の表示情報と前記第２の表示情報とが連続した一連の表示情報として提示されるように、当該第１の表示情報と当該第２の表示情報とのうち少なくともいずれかを補正する、
請求項２に記載の情報処理装置。
【請求項１２】
前記制御部は、前記表示領域に関連付けられた投影面に対して前記オブジェクトを投影することで、当該表示領域に対する当該オブジェクトの投影結果を取得する、請求項１に記載の情報処理装置。
【請求項１３】
前記制御部は、前記第１の情報に基づく、前記視点と、前記投影面と、前記オブジェクトと、の間の位置及び姿勢のうち少なくともいずれかの関係に応じて、当該投影面に当該オブジェクトを投影する、請求項１２に記載の情報処理装置。
【請求項１４】
前記第１の部分領域及び前記第２の部分領域は、前記表示領域を構成する複数の単位領域のうち、それぞれが互いに異なる１以上の単位領域を含む、請求項１に記載の情報処理装置。
【請求項１５】
前記単位領域は、スキャンライン及びタイルのうちのいずれかである、請求項１４に記載の情報処理装置。
【請求項１６】
前記投影の対象となる前記オブジェクトは仮想オブジェクトであり、
前記取得部は、実空間内の実オブジェクトの認識結果に関する第２の情報を取得し、
前記制御部は、
前記第２の情報に応じて前記仮想オブジェクトを実空間内の位置に関連付け、
当該仮想オブジェクトを前記第１の情報に基づき前記表示領域に投影する、
請求項１に記載の情報処理装置。
【請求項１７】
前記制御部は、前記仮想オブジェクトが前記実オブジェクトに重畳して視認されるように、当該仮想オブジェクトを実空間内の位置に関連付けられる、請求項１６に記載の情報処理装置。
【請求項１８】
検知部による検知結果に応じて前記視点の位置及び姿勢のうち少なくともいずれかを認識する認識処理部を備え、
前記取得部は、前記認識の結果に応じた前記第１の情報を取得する、
請求項１に記載の情報処理装置。
【請求項１９】
コンピュータが、
視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する第１の情報を取得することと、
前記第１の情報に基づき表示領域に対象となるオブジェクトを投影し、当該投影の結果に応じて表示情報が前記表示領域に提示されるように制御することと、
を含み、
前記表示領域に含まれる第１の部分領域及び第２の部分領域それぞれについて、互いに異なるタイミングでの前記認識結果に応じた前記第１の情報に基づき前記オブジェクトが投影される、
情報処理方法。
【請求項２０】
コンピュータに、
視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する第１の情報を取得することと、
前記第１の情報に基づき表示領域に対象となるオブジェクトを投影し、当該投影の結果に応じて表示情報が前記表示領域に提示されるように制御することと、
を実行させ、
前記表示領域に含まれる第１の部分領域及び第２の部分領域それぞれについて、互いに異なるタイミングでの前記認識結果に応じた前記第１の情報に基づき前記オブジェクトが投影される、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、画像認識技術の高度化に伴い、撮像装置により撮像された画像に含まれる実オブジェクト（即ち、実空間上の物体）の位置及び姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、拡張現実（ＡＲ：Augmented  Reality）と称される技術が挙げられる。ＡＲ技術を利用することで、実空間内の物体（以下、「実オブジェクト」とも称する）に対して、テキスト、アイコン、またはアニメーション等の様々な態様の仮想的なコンテンツ（以降では、「仮想オブジェクト」とも称する）を重畳させてユーザに提示することが可能となる。例えば、特許文献１には、ＡＲ技術を利用して仮想的なコンテンツをユーザに提示する技術の一例が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／１８３３４６号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、仮想オブジェクトとして提示する表示情報によっては、当該仮想オブジェクトの描画に係る処理負荷が比較的高くなり、当該仮想オブジェクトの描画が開始されてから表示情報として出力されるまでの間に遅延が生じる場合がある。そのため、例えば、当該遅延に伴い、描画された仮想オブジェクトがユーザに提示されるまでの間に、当該ユーザの視点の位置や姿勢に変化が生じると、当該視点と、描画された仮想オブジェクトが重畳される位置との間の相対的な位置や姿勢の関係にずれが生じる場合がある。このようなずれは、例えば、当該仮想オブジェクトが重畳される空間上の位置のずれとしてユーザに認識される場合がある。これは、ＡＲに限らず、人工的に構築される仮想空間上に仮想オブジェクトを提示する、所謂仮想現実（ＶＲ：Virtual  Reality）においても同様である
【０００５】
そこで、本開示では、視点の位置や姿勢に応じた情報の提示をより好適な態様で実現可能とする技術を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する第１の情報を取得する取得部と、前記第１の情報に基づき表示領域に対象となるオブジェクトを投影し、当該投影の結果に応じて表示情報が前記表示領域に提示されるように制御する制御部と、を備え、前記制御部は、前記表示領域に含まれる第１の部分領域及び第２の部分領域それぞれについて、互いに異なるタイミングでの前記認識結果に応じた前記第１の情報に基づき前記オブジェクトを投影する、情報処理装置が提供される。
【０００７】
また、本開示によれば、コンピュータが、視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する第１の情報を取得することと、前記第１の情報に基づき表示領域に対象となるオブジェクトを投影し、当該投影の結果に応じて表示情報が前記表示領域に提示されるように制御することと、を含み、前記表示領域に含まれる第１の部分領域及び第２の部分領域それぞれについて、互いに異なるタイミングでの前記認識結果に応じた前記第１の情報に基づき前記オブジェクトが投影される、情報処理方法が提供される。
【０００８】
また、本開示によれば、コンピュータに、視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する第１の情報を取得することと、前記第１の情報に基づき表示領域に対象となるオブジェクトを投影し、当該投影の結果に応じて表示情報が前記表示領域に提示されるように制御することと、を実行させ、前記表示領域に含まれる第１の部分領域及び第２の部分領域それぞれについて、互いに異なるタイミングでの前記認識結果に応じた前記第１の情報に基づき前記オブジェクトが投影される、プログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、視点の位置や姿勢に応じた情報の提示をより好適な態様で実現可能とする技術が提供される。
【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。
【図２】同本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。
【図３】視点の動きと情報の提示との間の遅延の影響の一例について概要を説明するための説明図である。
【図４】視点の動きと情報の提示との間の遅延の影響を緩和する方法の一例について説明するための説明図である。
【図５】視点の動きと情報の提示との間の遅延の影響の一例について概要を説明するための説明図である。
【図６】３次元的な形状の情報を有するオブジェクトを２次元的な表示情報として描画する処理の一例について概要を説明するための説明図である。
【図７】３次元的な形状の情報を有するオブジェクトを２次元的な表示情報として描画する処理の一例について概要を説明するための説明図である。
【図８】同実施形態に係る情報処理システムにおける表示情報の描画及び提示に係る処理の基本原理について説明するための説明図である。
【図９】表示情報の提示位置の補正に係る処理の一例について説明するための説明図である。
【図１０】同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。
【図１１】同実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。
【図１２】同実施形態に係る情報処理システムの実施例について概要を説明するための説明図である。
【図１３】同実施形態に係る情報処理システムの実施例について概要を説明するための説明図である。
【図１４】本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例を示す機能ブロック図である。
【図１５】本開示の一実施形態に係る情報処理システムを構成する情報処理装置をチップとして実現した場合のハードウェア構成の一例を示す機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．概要
１．１．概略構成
１．２．入出力装置の構成
１．３．自己位置推定の原理
２．視点の動きと情報の提示との間の遅延に関する検討
３．技術的特長
３．１．オブジェクトを表示情報として描画する処理の概要
３．２．表示情報の描画及び提示に係る処理の基本原理
３．３．機能構成
３．４．処理
３．５．変形例
３．６．実施例
４．ハードウェア構成
５．むすび
【００１４】
＜＜１．概要＞＞
＜１．１．概略構成＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図１は、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。図１において、参照符号Ｍ１１は、実空間上に位置する物体（即ち、実オブジェクト）を模式的に示している。また、参照符号Ｖ１３及びＶ１５は、実空間上に重畳するように提示される仮想的なコンテンツ（即ち、仮想オブジェクト）を模式的に示している。即ち、本実施形態に係る情報処理システム１は、所謂ＡＲ（Augmented  Reality）技術に基づき、例えば、実オブジェクトＭ１１等の実空間上の物体に対して、仮想オブジェクトを重畳してユーザに提示する。なお、図１では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。
【００１５】
図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０とを含む。情報処理装置１０と入出力装置２０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１０と入出力装置２０とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、Ｗｉ−Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、ＬＡＮ（Local  Area  Network）、または、ＷＡＮ（Wide  Area  Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、一部が有線のネットワークとして構成されていてもよい。
【００１６】
入出力装置２０は、各種入力情報の取得や、当該入出力装置２０を保持するユーザに対して各種出力情報を提示するための構成である。また、入出力装置２０による出力情報の提示は、情報処理装置１０により、当該入出力装置２０により取得された入力情報に基づき制御される。例えば、入出力装置２０は、実オブジェクトＭ１１を認識するための情報を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、実空間上における実オブジェクトＭ１１の位置を認識し、当該認識結果に基づき、入出力装置２０に仮想オブジェクトＶ１３及びＶ１５を提示させる。このような制御により、入出力装置２０は、所謂ＡＲ技術に基づき、実オブジェクトＭ１１に対して仮想オブジェクトＶ１３及びＶ１５が重畳するように、当該仮想オブジェクトＶ１３及びＶ１５をユーザに提示することが可能となる。なお、図１では、入出力装置２０と情報処理装置１０とが互いに異なる装置として示されているが、入出力装置２０及び情報処理装置１０は一体的に構成されていてもよい。また、入出力装置２０及び情報処理装置１０の構成及び処理の詳細については別途後述する。
【００１７】
以上、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明した。
【００１８】
＜１．２．入出力装置の構成＞
続いて、図２を参照して、図１に示した本実施形態に係る入出力装置２０の概略的な構成の一例について説明する。図２は、本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。
【００１９】
本実施形態に係る入出力装置２０は、ユーザが頭部の少なくとも一部に装着して使用する、所謂頭部装着型デバイスとして構成されている。例えば、図２に示す例では、入出力装置２０は、所謂アイウェア型（メガネ型）のデバイスとして構成されており、レンズ２９３ａ及び２９３ｂのうち少なくともいずれかが透過型のディスプレイ（出力部２１１）として構成されている。また、入出力装置２０は、第１撮像部２０１ａ及び２０１ｂと、第２撮像部２０３ａ及び２０３ｂと、操作部２０７と、メガネのフレームに相当する保持部２９１とを備える。保持部２９１は、入出力装置２０がユーザの頭部に装着されたときに、出力部２１１と、第１撮像部２０１ａ及び２０１ｂと、第２撮像部２０３ａ及び２０３ｂと、操作部２０７とを、当該ユーザの頭部に対して所定の位置関係となるように保持する。また、図２には図示していないが、入出力装置２０は、ユーザの音声を集音するための集音部を備えていてもよい。
【００２０】
ここで、入出力装置２０のより具体的な構成について説明する。例えば、図２に示す例では、レンズ２９３ａが、右眼側のレンズに相当し、レンズ２９３ｂが、左眼側のレンズに相当する。即ち、保持部２９１は、入出力装置２０が装着された場合に、出力部２１１（換言すると、レンズ２９３ａ及び２９３ｂ）がユーザの眼前に位置するように、当該出力部２１１を保持する。
【００２１】
第１撮像部２０１ａ及び２０１ｂは、所謂ステレオカメラとして構成されており、入出力装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部２９１によりそれぞれ保持される。このとき、第１撮像部２０１ａが、ユーザの右眼の近傍に保持され、第１撮像部２０１ｂが、当該ユーザの左眼の近傍に保持される。このような構成に基づき、第１撮像部２０１ａ及び２０１ｂは、入出力装置２０の前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置から撮像する。これにより、入出力装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、第１撮像部２０１ａ及び２０１ｂそれぞれにより撮像された画像間の視差に基づき、当該入出力装置２０から、当該被写体までの距離を算出することが可能となる。
【００２２】
なお、入出力装置２０と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time  Of  Flight）、Structured  Light等の方式に基づき、入出力装置２０と被写体との間の距離が測定されてもよい。ここで、ＴＯＦとは、被写体に対して赤外線等の光を投光し、投稿した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（所謂距離画像）を得る方式である。また、Structured  Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。
【００２３】
また、第２撮像部２０３ａ及び２０３ｂは、入出力装置２０がユーザの頭部に装着されたときに、それぞれの撮像範囲内に当該ユーザの眼球が位置するように、保持部２９１によりそれぞれ保持される。具体的な一例として、第２撮像部２０３ａは、撮像範囲内にユーザの右眼が位置するように保持される。このような構成に基づき、第２撮像部２０３ａにより撮像された右眼の眼球の画像と、当該第２撮像部２０３ａと当該右眼との間の位置関係と、に基づき、当該右眼の視線が向いている方向を認識することが可能となる。同様に、第２撮像部２０３ｂは、撮像範囲内に当該ユーザの左眼が位置するように保持される。即ち、第２撮像部２０３ｂにより撮像された左眼の眼球の画像と、当該第２撮像部２０３ｂと当該左眼との間の位置関係と、に基づき、当該左眼の視線が向いている方向を認識することが可能となる。なお、図２に示す例では、入出力装置２０が第２撮像部２０３ａ及び２０３ｂの双方を含む構成について示しているが、第２撮像部２０３ａ及び２０３ｂのうちいずれかのみが設けられていてもよい。
【００２４】
操作部２０７は、入出力装置２０に対するユーザからの操作を受け付けるための構成である。操作部２０７は、例えば、タッチパネルやボタン等のような入力デバイスにより構成されていてもよい。操作部２０７は、保持部２９１により、入出力装置２０の所定の位置に保持されている。例えば、図２に示す例では、操作部２０７は、メガネのテンプルに相当する位置に保持されている。
【００２５】
また、本実施形態に係る入出力装置２０は、例えば、加速度センサや、角速度センサ（ジャイロセンサ）が設けられ、当該入出力装置２０を装着したユーザの頭部の動き（換言すると、入出力装置２０自体の動き）を検出可能に構成されていてもよい。具体的な一例として、入出力装置２０は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出することで、当該ユーザの頭部の位置及び姿勢のうち少なくともいずれかの変化を認識してもよい。
【００２６】
以上のような構成に基づき、本実施形態に係る入出力装置２０は、ユーザの頭部の動きに応じた、実空間上における自身の位置や姿勢の変化を認識することが可能となる。また、このとき入出力装置２０は、所謂ＡＲ技術に基づき、実空間に位置する実オブジェクトに対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳するように、出力部２１１に当該コンテンツを提示することも可能となる。なお、入出力装置２０が、実空間上における自身の位置及び姿勢を推定するための方法（即ち、自己位置推定）の一例については、詳細を別途後述する。
【００２７】
なお、入出力装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ：Head  Mounted  Display）の一例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。
【００２８】
シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。例えば、図２に示した入出力装置２０は、シースルー型ＨＭＤの一例に相当する。
【００２９】
ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。また、このときビデオシースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該ビデオシースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、外部の風景の画像に対して仮想オブジェクトを重畳させてもよい。
【００３０】
網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。
【００３１】
また、上記に説明した例以外にも、没入型ＨＭＤと呼ばれるＨＭＤが挙げられる。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザに対して没入感を与えることが可能となる。そのため、没入型ＨＭＤは、例えば、主にＶＲ（Virtual  Reality）技術に基づき情報を提示する場合に適用され得る。
【００３２】
以上、図２を参照して、本開示の一実施形態に係る入出力装置の概略的な構成の一例について説明した。
【００３３】
＜１．３．自己位置推定の原理＞
次いで、入出力装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間上における自身の位置及び姿勢を推定するための手法（即ち、自己位置推定）の原理の一例について説明する。
【００３４】
自己位置推定の具体的な一例として、入出力装置２０は、実空間上の実オブジェクト上に提示されたサイズが既知のマーカ等を、自身に設けられたカメラ等の撮像部により撮像する。そして、入出力装置２０は、撮像された画像を解析することで、マーカ（ひいては、当該マーカが提示された実オブジェクト）に対する自身の相対的な位置及び姿勢のうち少なくともいずれかを推定する。なお、以降の説明では、入出力装置２０が自身の位置及び姿勢を推定する場合に着目して説明するが、当該入出力装置２０は、自身の位置及び姿勢のうちいずれかのみを推定してもよい。
【００３５】
具体的には、画像中に撮像されたマーカの向き（例えば、マーカの模様等の向き）に応じて、当該マーカに対する撮像部（ひいては、当該撮像部を備える入出力装置２０）の相対的な方向を推定することが可能である。また、マーカのサイズが既知の場合には、画像中におけるマーカのサイズに応じて、当該マーカと撮像部（即ち、当該撮像部を備える入出力装置２０）との間の距離を推定することが可能である。より具体的には、マーカをより遠くから撮像すると、当該マーカは、より小さく撮像されることとなる。また、このとき画像中に撮像される実空間上の範囲は、撮像部の画角に基づき推定することが可能である。以上の特性を利用することで、画像中に撮像されたマーカの大きさ（換言すると、画角内においてマーカが占める割合）に応じて、当該マーカと撮像部との間の距離を逆算することが可能である。以上のような構成により、入出力装置２０は、マーカに対する自身の相対的な位置及び姿勢を推定することが可能となる。
【００３６】
また、所謂ＳＬＡＭ（simultaneous  localization  and  mapping）と称される技術が、入出力装置２０の自己位置推定に利用されてもよい。ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ  ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部（ひいては、入出力装置２０）の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、入出力装置２０に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。
【００３７】
以上のような構成のもとで、例えば、撮像部による既知のマーカの撮像結果に基づく、当該マーカに対する入出力装置２０の相対的な位置及び姿勢の推定結果が、上述したＳＬＡＭにおける初期化処理や位置補正に利用されてもよい。このような構成により、入出力装置２０は、マーカが撮像部の画角内に含まれない状況下においても、従前に実行された初期化や位置補正の結果を受けたＳＬＡＭに基づく自己位置推定により、当該マーカ（ひいては、当該マーカが提示された実オブジェクト）に対する自身の位置及び姿勢を推定することが可能となる。
【００３８】
また、上記では、主にマーカの撮像結果に基づき自己位置推定を行う場合の例に着目して説明したが、自己位置推定の基準として利用可能であれば、当該マーカ以外の他の対象の検知結果が当該自己位置推定に利用されてもよい。具体的な一例として、上記マーカに替えて、実空間内の物体（実オブジェクト）の形状や模様等のような当該物体の特徴的な部分の検出結果が、ＳＬＡＭにおける初期化処理や位置補正に利用されてもよい。
【００３９】
以上、入出力装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間上における自身の位置及び姿勢を推定するための手法（即ち、自己位置推定）の原理の一例について説明した。なお、以降においては、例えば、上述した原理に基づき、実空間上の物体（実オブジェクト）に対する入出力装置２０の位置及び姿勢を推定することが可能であるものして説明する。
【００４０】
＜＜２．視点の動きと情報の提示との間の遅延に関する検討＞＞
続いて、ＡＲやＶＲ等のように、視点（例えば、ユーザの頭部）の位置や姿勢の変化に応じてユーザに対して情報を提示する場合における、当該視点の動きと情報の提示との間の遅延について概要を説明する。
【００４１】
視点の位置や姿勢の変化に応じてユーザに対して情報を提示する場合には、当該視点の動きが検知されてから情報が提示されるまでの間の遅延（所謂motion−to−photon  latency）が、ユーザに与える体験に影響を及ぼし得る。具体的な一例として、ユーザの頭部の向きに応じて仮想的な物体があたかも当該ユーザの目前に存在するように提示する場合には、ユーザの頭部の動きの検知結果から、当該頭部の向きを認識し、当該認識結果に応じて情報を提示するという一連の処理に時間を要する場合がある。このような場合には、例えば、ユーザの頭部の動きと、当該頭部の動きに応じた視野の変化（即ち、ユーザに提示される情報の変化）との間に、上記処理遅延に応じたずれが生じる場合がある。
【００４２】
特にＡＲのように実世界に対して仮想的な物体を重畳させるような状況下においては、上記遅延が実世界と仮想的な物体との間のずれとして顕在化する。そのため、上記遅延の影響として顕在化するずれが、ＶＲの場合にはユーザに知覚されにくいわずかなものであったとしても、ＡＲの場合にはユーザに知覚されやすくなる場合がある。
【００４３】
上述のような遅延の影響を低減する方法の一例として、処理速度（ＦＰＳ：Frame  per  Second）を上げることで当該遅延をより少なくする方法が挙げられる。しかしながら、この場合には、処理速度の向上に比例して、より高性能なＣＰＵやＧＰＵ等のプロセッサを要することとなる。また、処理速度の向上に伴い、消費電力が増大するような状況や、発熱を伴うような状況も想定され得る。特に、図２を参照して説明した入出力装置２０のように、ＡＲやＶＲを実現するための装置はバッテリーからの電力供給により動作する場合も想定され、消費電力の増大がより顕著に影響を及ぼし得る。また、入出力装置２０のように、ユーザが身体の一部に装着して使用するような装置においては、使用方法の特性上、他の装置に比べて発熱の影響（例えば、装置を装着するユーザへの影響）がより顕在化しやすい傾向にある。また、入出力装置２０のような装置においては、据え置き型の装置に比べてプロセッサ等のデバイスを設けるスペースが制限されており、高性能のプロセッサを適用することが困難な場合も想定され得る。
【００４４】
また、上述のような遅延の影響を低減する方法の他の一例として、ユーザに対して情報を提示する際に、当該提示のタイミングにおける視点の位置や姿勢に応じて、情報の提示位置を表示領域内で２次元的に補正する方法が挙げられる。このように、情報の提示位置を２次元的に補正する技術の一例として、「timewarp」と称される技術が挙げられる。
【００４５】
一方で、情報の提示位置を２次元的に補正するのみでは、必ずしも本来期待される態様で当該情報が提示されるとは限らない。例えば、図３は、視点の動きと情報の提示との間の遅延の影響の一例について概要を説明するための説明図であり、視点の位置や姿勢に応じて、情報の提示位置を２次元的に補正した場合の出力の一例について示している。
【００４６】
図３において、参照符号Ｐ１８１ａ及びＰ１８１ｂのそれぞれは、視点の位置及び姿勢を模式的に示している。具体的には、参照符号Ｐ１８１ａは、移動前の視点の位置及び姿勢を示している。また、参照符号Ｐ１８１ｂは、移動後の当該視点の位置及び姿勢を示している。なお、以降の説明では、視点Ｐ１８１ａ及びＰ１８１ｂを特に区別しない場合には、単に「視点Ｐ１８１」と称する場合がある。また、参照符号Ｍ１８１及びＭ１８３のそれぞれは、表示領域への表示対象となるオブジェクト（例えば、仮想オブジェクト）を模式的に示している。即ち、図３は、視点Ｐ１８１とオブジェクトＭ１８１及びＭ１８３それぞれとの間の３次元的な位置関係に応じて、視点Ｐ１８１からオブジェクトＭ１８１及びＭ１８３を見た場合における当該オブジェクトＭ１８１及びＭ１８３の画像を提示する場合の一例について示している。
【００４７】
例えば、参照符号Ｖ１８１は、移動前の視点Ｐ１８１ａからオブジェクトＭ１８１及びＭ１８３を見た場合の視野に相当する映像を模式的に示している。映像Ｖ１８１として提示されるオブジェクトＭ１８１及びＭ１８３の画像は、視点Ｐ１８１ａの位置及び姿勢に応じた、当該視点Ｐ１８１ａと当該オブジェクトＭ１８１及びＭ１８３との間の位置や姿勢の関係に応じて２次元的な画像として描画されることとなる。
【００４８】
また、参照符号Ｖ１８３は、移動後の視点Ｐ１８１ｂからオブジェクトＭ１８１及びＭ１８３を見た場合の視野として、本来期待される映像を模式的に示している。これに対して、参照符号Ｖ１８５は、映像Ｖ１８１として提示されたらオブジェクトＭ１８１及びＭ１８３の画像の提示位置を、視点Ｐ１８１の移動に応じて２次元的に補正することで提示される、当該視点Ｐ１８１からの視野に相当する映像を模式的に示している。映像Ｖ１８３及びＶ１８５を比較するとわかるように、オブジェクトＭ１８１及びＭ１８３は、視点Ｐ１８１を基点とした奥行き方向の位置が異なるため、当該視点Ｐ１８１の移動に伴う視野内で移動量が本来は異なる。一方で、映像Ｖ１８５のように、映像Ｖ１８１におけるオブジェクトＭ１８１及びＭ１８３の画像を一連の画像として、当該一連の画像の提示位置を視点Ｐ１８１の移動に応じて２次元的に補正するのみでは、当該オブジェクトＭ１８１及びＭ１８３の視野内での移動量が等しくなる。そのため、オブジェクトＭ１８１及びＭ１８３の画像の提示位置を２次元的に補正する場合には、移動後の視点Ｐ１８１ｂからの視野としては論理的に破綻した映像が視認される場合がある。
【００４９】
このような問題を解決するための方法の一例として、視点を基点とした視野に相当する領域を奥行き方向に沿って複数の領域に分けて、当該領域ごとにオブジェクト（例えば、仮想オブジェクト）の画像の提示位置を補正する方法が挙げられる。例えば、図４は、視点の動きと情報の提示との間の遅延の影響を緩和する方法の一例について説明するための説明図であり、奥行き方向に沿って分割された領域ごとにオブジェクトの画像の提示位置を補正する方法の一例について概要を示している。
【００５０】
図４に示す例では、視点Ｐ１９１を基点とした視野に相当する領域を、奥行き方向に沿って複数の領域Ｒ１９１、Ｒ１９３、及びＲ１９５に分割し、分割された各領域に対して互いに異なるバッファを関連付けている。なお、領域Ｒ１９１、Ｒ１９３、及びＲ１９５に関連付けられたバッファを、それぞれバッファＢ１９１、Ｂ１９３、及びＢ１９５と称する。また、ＡＲでの利用を想定した場合には、実空間内の実オブジェクトと視点との間の距離の測定結果に応じたデプスマップを保持するためのバッファＢ１９０が、バッファＢ１９１、Ｂ１９３、及びＢ１９５とは別に設けられていてもよい。
【００５１】
以上のような構成のもとで、各仮想オブジェクトの画像が、当該仮想オブジェクトが提示される領域に応じたバッファに描画される。即ち、領域Ｒ１９１に位置する仮想オブジェクトＶ１９１の画像はバッファＢ１９１に描画される。同様に、領域Ｒ１９３に位置する仮想オブジェクトＶ１９３の画像はバッファＢ１９３に描画される。また、領域Ｒ１９５に位置する仮想オブジェクトＶ１９５及びＶ１９７それぞれの画像はバッファＢ１９５に描画される。また、実オブジェクトＭ１９９と視点Ｐ１９１との間の距離の測定結果に応じたデプスマップについてはバッファＢ１９０に保持される。
【００５２】
そして、視点Ｐ１９１が移動した場合には、当該視点Ｐ１９１の位置や姿勢の変化に応じて、バッファＢ１９１〜Ｂ１９５それぞれに描画された仮想オブジェクトの画像の提示位置がバッファごとに個別に補正される。このような構成により、視点Ｐ１９１と仮想オブジェクトＶ１９１〜Ｖ１９７それぞれとの間の距離に応じた移動量を考慮して、各仮想オブジェクトの画像の提示位置を個別に補正することが可能となる。また、視点Ｐ１９１の移動に伴い、一部の仮想オブジェクトが実オブジェクトや他のオブジェクトに遮蔽されるような状況下においても、当該遮蔽を考慮して各仮想オブジェクトの画像の提示を制御することが可能となる。即ち、図４に示す例に依れば、図３を参照して説明した例に比べて、論理的な破綻の少ない態様でユーザに情報を提示することが可能となる。
【００５３】
一方で、図４を参照して説明した例では、奥行き方向の位置に応じた画像の提示位置の補正に係る精度がバッファの数に応じて変化する場合がある。即ち、バッファの数が少ないほど、表示情報の提示位置の誤差がより大きくなる可能性がある。また、最終的に情報が提示されるか否かに関わらず各バッファに対してオブジェクトの画像を描画することになるため、バッファの数に比例して処理コストが増大する可能性がある。また、複数のバッファに描画された画像を最終的に合成して提示することになるため、当該合成に係る処理のコストも必要となる。
【００５４】
また、画像の描画処理や当該描画の結果を表示する処理の実行中にも視点の位置や姿勢が変化するような状況も想定され得る。例えば、図５は、視点の動きと情報の提示との間の遅延の影響の一例について概要を説明するための説明図である。具体的には、図５は、ＡＲ技術に基づき、視点Ｐ１０１の位置や姿勢に応じて実空間内の実オブジェクトＭ１０１に重畳するように、仮想オブジェクトの画像を表示情報Ｖ１０３として提示する場合における、当該表示情報Ｖ１０３の提示に係る処理の流れの一例を示している。より具体的には、図５は、実空間の画像の撮像結果に応じて視点Ｐ１０１の位置や姿勢が認識され、当該認識の結果に応じて表示情報Ｖ１０３のレンダリングが行われたうえで、当該表示情報Ｖ１０３が表示領域に表示されるまでの一連の流れにおいて、当該視点Ｐ１０１の位置や姿勢がさらに変化した場合の一例について示している。図５において、参照符号Ｐ１０１ａは、移動前の視点Ｐ１０１の位置及び姿勢を示している。また、参照符号Ｐ１０１ｂは、移動後の当該視点Ｐ１０１の位置及び姿勢を示している。
【００５５】
参照符号Ｖ１０１ａは、実オブジェクトＭ１０１の画像の撮像完了時における視点Ｐ１０１からの視野内の映像（換言すると、ユーザに視認される映像）を模式的に示している。当該実オブジェクトＭ１０１の画像に基づき、例えば、ＳＬＡＭ等のような自己位置推定の技術を利用することで、当該実オブジェクトＭ１０１の画像の撮像時における視点Ｐ１０１の位置及び姿勢（即ち、移動前の視点Ｐ１０１ａの位置及び姿勢）が認識される。
【００５６】
参照符号Ｖ１０１ｂは、表示情報Ｖ１０３のレンダリング開始時における視点Ｐ１０１からの視野内の映像を模式的に示している。映像Ｖ１０１ｂでは、実オブジェクトＭ１０１の画像の撮像完了時からの視点Ｐ１０１の位置及び姿勢の変化に伴い、当該映像内（即ち、視野内）における実オブジェクトＭ１０１の位置が、映像Ｖ１０１ａとして示した状態から変化している。なお、図５に示す例では、レンダリングの開始時に、視点Ｐ１０１の位置及び姿勢の変化に応じて、表示情報Ｖ１０３の提示位置を補正している。参照符号Ｖ１０５は、提示位置が補正される前の表示情報Ｖ１０３の提示位置を模式的に示している。即ち、提示位置Ｖ１０５は、撮像完了時における映像Ｖ１０１ａ内の実オブジェクトＭ１０１の位置に相当する。上記補正に伴い、この時点では、映像Ｖ１０１ｂ内において、実オブジェクトＭ１０１の位置と表示情報Ｖ１０３が提示される位置とが略一致している。
【００５７】
参照符号Ｖ１０１ｃは、表示情報Ｖ１０３の表示に係る処理（例えば、表示情報Ｖ１０３の描画等）の開始時における視点Ｐ１０１からの視野内の映像を模式的に示している。また、参照符号Ｖ１０１ｄは、表示情報Ｖ１０３の表示に係る処理の終了時における視点Ｐ１０１からの視野内の映像を模式的に示している。映像Ｖ１０１ｃ及びＶ１０１ｄのそれぞれにおいては、表示情報Ｖ１０３のレンダリング開始時からの視点Ｐ１０１の位置及び姿勢の変化に伴い、当該映像内（即ち、視野内）における実オブジェクトＭ１０１の位置が、映像Ｖ１０１ｂとして示した状態から変化している。
【００５８】
映像Ｖ１０１ｂ〜Ｖ１０１ｄを比較するとわかるように、レンダリングが開始されてから当該レンダリングの結果に応じた表示情報Ｖ１０３の表示が終了するまでの間に視点Ｐ１０１の位置及び姿勢が変化するため、当該視点Ｐ１０１からの視野内における実オブジェクトＭ１０１の位置が変化する。その一方で、当該視野内において表示情報Ｖ１０３が提示される位置はレンダリングの開始時から変化していない。そのため、図５に示す例では、表示情報Ｖ１０３のレンダリングの開始時から当該表示情報Ｖ１０３の表示が終了するまでの間の遅延時間が、視点Ｐ１０１からの視野内における実オブジェクトＭ１０１の位置と当該表示情報Ｖ１０３の提示位置との間のずれとして顕在化することとなる。
【００５９】
以上のような状況を鑑み、本開示では、視点の位置や姿勢に応じて情報を提示するような状況下において、当該視点の位置や姿勢が変化した場合においても、より好適な態様（例えば、論理的な破綻のより少ない態様）で当該情報を提示可能とする技術を提案する。
【００６０】
＜＜３．技術的特長＞＞
以降に、本開示に係る情報処理システムの技術的特徴について説明する。
【００６１】
＜３．１．オブジェクトを表示情報として描画する処理の概要＞
まず、３次元的な形状の情報を有するオブジェクト（例えば、仮想オブジェクト）を表示情報としてディスプレイ等の出力部に提示するような状況下において、当該オブジェクトを２次元的な表示情報として描画する処理の一例について概要を説明する。
【００６２】
例えば、図６は、３次元的な形状の情報を有するオブジェクトを２次元的な表示情報として描画する処理の一例について概要を説明するための説明図である。なお、図６に示す処理は、例えば、「vertex  shader」と称される処理により実現され得る。
【００６３】
図６に示すように、３次元的な形状の情報を有するオブジェクトを２次元的な表示情報として提示する場合には、３次元空間上において、観察点（即ち、視点）を基準として、当該観察点からの視野（画角）に応じて規定されるスクリーン面に対して、対象となるオブジェクトを投影（射影）する。即ち、スクリーン面が投影面に相当し得る。このとき、上記３次元空間上に規定された光源と上記オブジェクトとの間の位置関係に応じて、当該オブジェクトを２次元的な表示情報として描画する際の当該オブジェクトの色が算出されてもよい。これにより、観察点の位置及び姿勢に応じた、当該観察点、オブジェクト、及びスクリーン面の相対的な位置関係に応じて、当該オブジェクトの２次元的な形状、当該オブジェクトの色、及び当該オブジェクトが提示される２次元的な位置（即ち、スクリーン面上の位置）等が算出される。
【００６４】
なお、図６に示す例では、クリップ面が対象となるオブジェクトの奥側に位置する場合、即ち、当該オブジェクトを奥側に位置するスクリーン面に投影する場合の投影方法の一例について示している。これに対して、投影方法の他の一例として、クリップ面が対象となるオブジェクトの手前側に位置し、当該オブジェクトを手前側に位置するスクリーン面に投影する方法も挙げられる。以降の説明では、図６に示すように、クリップ面が対象となるオブジェクトの奥側に位置する場合を例に説明するが、必ずしもオブジェクトの投影方法を限定するものではなく、クリップ面がオブジェクトの手前側に位置する場合においても、技術的な齟齬が生じない限りは同様であるものとする。
【００６５】
次いで、図７を参照して、本開示の一実施形態に係る情報処理システムが、上記オブジェクトの投影結果を２次元的な表示情報として描画する処理の一例について説明する。図７は、３次元的な形状の情報を有するオブジェクトを２次元的な表示情報として描画する処理の一例について概要を説明するための説明図である。なお、図７に示す処理は、例えば、「pixel  shader」と称される処理に相当し得る。
【００６６】
図７において、参照符号Ｖ１１１は、オブジェクトの投影結果を２次元的な表示情報として描画する描画領域を示している。即ち、当該描画領域Ｖ１１１は、図６に示すスクリーン面の少なくとも一部の領域に関連付けられており、当該領域へのオブジェクトの投影結果が表示情報として描画される。また、描画領域Ｖ１１１は、ディスプレイ等の出力部の表示領域と関連付けられており、描画領域Ｖ１１１への表示情報の描画結果が当該表示領域に提示され得る。描画領域Ｖ１１１は、描画結果等のデータを一時的または恒久的に保持する所定のバッファ（例えば、フレームバッファ等）の少なくとも一部の領域として規定されてもよい。また、当該表示領域自体が描画領域Ｖ１１１として利用されてもよい。この場合には、描画領域Ｖ１１１に相当する表示領域に対して表示情報が直接描画されることで、当該表示領域に当該表示情報が提示されることとなる。また、この場合には、表示領域自体がスクリーン面（投影面）に相当し得る。
【００６７】
また、参照符号Ｖ１１３は、対象となるオブジェクトの投影結果を示しており、即ち、描画対象となる表示情報に相当する。表示情報Ｖ１１３の描画については、例えば、描画領域Ｖ１１１（換言すると、表示領域）を複数の部分領域Ｖ１１５に分けて、当該部分領域Ｖ１１５ごとに行われる。当該部分領域Ｖ１１５が規定される単位としては、例えば、スキャンラインやタイル等のような、それぞれが所定のサイズを有するように描画領域Ｖ１１１が分割された単位領域が挙げられる。例えば、図７に示す例では、スキャンラインを単位領域として、当該スキャンラインを１以上含む部分領域Ｖ１１５が規定されている。
【００６８】
ここで、部分領域Ｖ１１５ごとの表示情報Ｖ１１３の描画に係る処理の流れについて概要を以下に説明する。
【００６９】
本開示の一実施形態に係る情報処理システムでは、まず、表示情報Ｖ１１３のうち対象となる部分領域Ｖ１１５に対応する部分の頂点が抽出される。例えば、参照符号Ｖ１１７ａ〜Ｖ１１７ｄは、表示情報Ｖ１１３のうち、部分領域Ｖ１１５に対応する部分の頂点を示している。換言すると、表示情報Ｖ１１３から部分領域Ｖ１１５に対応する部分を切り出した場合に、切り出された部分の頂点が抽出されることとなる。
【００７０】
次いで、直前のタイミングにおける視点の位置及び姿勢の認識結果（例えば、最新の認識結果）が取得され、当該視点の位置及び姿勢に応じて、頂点Ｖ１１７ａ〜Ｖ１１７ｄの位置が補正される。より具体的には、当該直前のタイミングにおける視点の位置や姿勢に応じて、対象となるオブジェクトが当該部分領域Ｖ１１５に再投影され、当該再投影の結果に応じて頂点Ｖ１１７ａ〜Ｖ１１７ｄの位置（換言すると、表示情報Ｖ１１３のうち部分領域Ｖ１１５に対応する部分の形状）が補正される。このとき、表示情報Ｖ１１３のうち部分領域Ｖ１１５に対応する部分として描画される色の情報が、当該再投影の結果に応じて更新されてもよい。また、再投影に利用される視点の位置及び姿勢の認識タイミングは、上記補正に係る処理の実行タイミングにより近い過去のタイミングであることがより望ましい。このように、本開示に係る情報処理システムでは、部分領域Ｖ１１５それぞれについて、互いに異なるタイミングでの視点の位置及び姿勢の認識結果に応じて、当該部分領域Ｖ１１５への対象となるオブジェクトの再投影が行われ、当該再投影の結果に応じて上記補正が行われる。なお、当該再投影に基づく補正に係る処理を、以降では「reprojection  shader」とも称する。また、上記オブジェクトの再投影に係る処理が、部分領域に対するオブジェクトの投影に係る処理の一例に相当する。
【００７１】
そして、上記再投影に基づく補正に係る処理が完了すると、対象となる部分領域Ｖ１１５への当該補正結果に応じた表示情報Ｖ１１３の描画に係る処理が実行される。図７に示す例では、部分領域Ｖ１１５への表示情報Ｖ１１３の描画については、例えば、当該部分領域Ｖ１１５を構成するスキャンラインごとに逐次実行される。
【００７２】
以上、図６及び図７を参照して、３次元的な形状の情報を有するオブジェクトを出力部に提示するような状況下において、当該オブジェクトを２次元的な表示情報として描画する処理の一例について概要を説明した。
【００７３】
＜３．２．表示情報の描画及び提示に係る処理の基本原理＞
続いて、本開示の一実施形態に係る情報処理システムにおける、オブジェクトを表示情報として描画し、当該描画の結果を提示する処理の基本原理について、特に、視点の位置及び姿勢の認識結果が反映されるタイミングに着目して説明する。例えば、図８は、本開示の一実施形態に係る情報処理システムにおける表示情報の描画及び提示に係る処理の基本原理について説明するための説明図である。図８において、「実施例」として示したタイミングチャートが、本実施形態に係る情報処理システムにおいて、オブジェクトを表示情報として描画し、当該描画の結果を提示する処理のタイミングチャートの一例に相当すする。なお、図８では、本実施形態に係る情報処理システムの特徴がよりわかりやすくなるように、比較例１及び２として、従来のシステムにおいて適用されているオブジェクトの描画に係る処理のタイミングチャートの一例を示している。そこで、以降では、比較例１及び２それぞれについて概要を説明したうえで、本実施形態に係る情報処理システムの特徴について説明する。なお、図８に示す各タイミングチャートは、フレーム等のような情報の提示に係る所定の単位期間ごとに実行される処理について示している。そこで、以降では、便宜上、１フレームを単位期間として情報の提示に係る処理が実行されるものとして説明するが、必ずしも当該処理の実行に係る単位期間を限定するものではない。
【００７４】
（比較例１）
まず、比較例１に係る処理について説明する。比較例１に係る処理は、図５を参照して前述した例のように、視点の位置や姿勢に応じて、表示情報の提示位置を２次元的に補正する場合の、当該表示情報の描画及び提示に係る処理に相当する。
【００７５】
例えば、参照符号ｔ１０１は、比較例１に係る処理における、フレームごとの情報の提示に係る処理の開始タイミングを示している。具体的には、タイミングｔ１０１において、まず視点と、描画の対象となり得るオブジェクト（例えば、仮想オブジェクト）と、の間の位置関係に関する情報（例えば、シーングラフ）が更新され（Scene  Update）、当該更新の結果に応じて当該オブジェクトがスクリーン面に２次元的な表示情報として投影される（Vertex  Shader）。
【００７６】
次いで、当該投影に係る処理が完了すると、フレームバッファに対してオブジェクトの投影結果に応じた表示情報の描画（Pixel  Shader）が実行され、出力部の表示領域に対する表示情報の表示に係る処理の同期待ちが行われる（Wait  vsync）。例えば、参照符号ｔ１０３は、出力部の表示領域に対する表示情報の表示に係る処理が開始されるタイミングを示している。より具体的な一例として、垂直同期（Vsync）のタイミングが該当タイミングｔ１０３の一例に相当する。
【００７７】
比較例１に係る処理では、表示領域への表示情報の表示が開始されるタイミングｔ１０３において、直前のタイミングで取得された視点の位置及び姿勢の認識結果に関する情報に基づき、当該表示領域中の当該表示情報の提示位置が補正される。このときの補正量は、奥行き方向（ｚ方向）の位置のうちのいずれかの位置（例えば、注目している位置）について、視点の位置や姿勢の変化に伴い視認される位置の整合性が取れるように算出される。例えば、参照符号ＩＭＵを付して示したタイミングは、視点の位置や姿勢の認識結果に応じた情報が取得されるタイミングを模式的に示している。なお、当該タイミングで取得される情報は、例えば、当該タイミングの直前のタイミングにおける視点の位置及び姿勢の認識結果に応じた情報であるとよい。
【００７８】
そして、表示領域中の表示情報の提示位置の補正が完了すると、フレームバッファに保持された表示情報の描画結果が出力部に順次転送され、当該補正の結果に応じて当該出力部の表示領域に当該表示情報が表示される（Transfer  FB  to  display）。
【００７９】
以上のような特性から、比較例１に係る処理においては、タイミングｔ１０１及びｔ１０３間の期間Ｔ１１においては、表示情報の提示位置の補正量の算出の基準とした奥行き方向の位置については、論理的に正しい位置に表示情報が提示される。一方で、当該期間Ｔ１１においても、奥行き方向の位置のうち、補正量の算出の基準とした位置以外の他の位置については、視点の位置及び姿勢に応じて表示情報が本来提示されるべき位置と、実際に当該表示情報が視認される位置との間にずれが生じる場合がある。
【００８０】
また、タイミングｔ１０３以降も視点が移動する場合には、当該視点の移動に伴い視野が変化するにも関わらず、当該視野に関連付けられた表示領域中における表示情報の提示位置は変化しないこととなる。そのため、この場合には、奥行き方向の位置に限らず、移動後の視点の位置及び姿勢に応じて表示情報が本来提示されるべき位置と、実際に当該表示情報が視認される位置との間にずれが生じ、このずれは上記補正が行われたタイミングｔ１０３からの経過時間に比例してより大きくなる可能性がある。
【００８１】
例えば、参照符号ｔ１０５は、表示情報の描画結果を出力部の表示領域に順次表示される期間中の任意のタイミングを模式的に示している。具体的な一例として、タイミングｔ１０５は、一部のスキャンラインに表示情報が表示されるタイミングに相当し得る。即ち、タイミングｔ１０３及びｔ１０５間の期間Ｔ１３においては、当該期間Ｔ１３の長さに比例して、上述した表示情報の提示位置のずれがより大きくなる。
【００８２】
（比較例２）
次いで、比較例２に係る処理について説明する。比較例２に係る処理は、表示情報の描画結果を出力部の表示領域に順次表示させる処理（Transfer  FB  to  display）の実行中においても、視点の位置や姿勢を逐次監視し、当該監視結果に応じて順次表示される表示情報の提示位置がその都度補正される点で、比較例１に係る処理と異なる。即ち、図８に示すように、参照符号ＩＭＵを付して示したタイミングのそれぞれにおいて、当該タイミングで表示領域に表示される表示情報の提示位置が、当該タイミングで取得された視点の位置や姿勢の認識結果に応じて補正される。比較例２に係る処理で適用される上記補正に係る技術として、例えば「ラスタ補正」と称される技術が挙げられる。
【００８３】
ここで、図９を参照して、比較例２に係る処理について具体的な例を挙げて概要を説明する。図９は、表示情報の提示位置の補正に係る処理の一例について説明するための説明図であり、視点の位置や姿勢の変化を逐次監視し、当該監視結果に応じて表示情報Ｖ１３３の表示領域中の提示位置を補正する場合の一例を示している。なお、図９に示す例では、図５を参照して説明した例と同様に、ＡＲ技術に基づき、視点Ｐ１０１の位置や姿勢に応じて実空間内の実オブジェクトＭ１０１に重畳するように、仮想オブジェクトの画像を表示情報Ｖ１３３として提示される場合を想定している。また、図９に示す例では、図５を参照して説明した例と同様に、視点Ｐ１０１の位置や姿勢の認識結果に応じて表示情報Ｖ１３３のレンダリングが行われたうえで、当該表示情報Ｖ１３３が表示領域に表示されるまでの一連の流れにおいて、当該視点Ｐ１０１の位置や姿勢がさらに変化するものとする。
【００８４】
図９において、参照符号Ｖ１２１ｂは、表示情報Ｖ１３３のレンダリング開始時における視点Ｐ１０１からの視野内の映像を模式的に示している。また、参照符号Ｂ１３１は、フレームバッファをも指摘に示している。即ち、当該フレームバッファＢ１３１には、従前に取得された視点Ｐ１０１の位置や姿勢の認識結果に応じて表示情報Ｖ１３３が描画される。
【００８５】
参照符号Ｖ１３３ａ〜Ｖ１３３ｃのそれぞれは、表示情報Ｖ１３３の一部に相当する表示情報を模式的に示している。具体的な一例として、表示情報Ｖ１３３ａ〜Ｖ１３３ｃのそれぞれは、表示領域中においてそれぞれが１以上のスキャンラインを含む部分領域ごとに表示情報Ｖ１３３を順次表示させる場合における、当該表示情報Ｖ１３３のうちの各部分領域に対応する部分に相当する。また、参照符号Ｖ１３１ａ、Ｖ１３１ｂ、Ｖ１３１ｃ、及びＶ１３１ｈは、表示領域への表示情報Ｖ１３３の表示に係る処理が開始されてから当該表示に係る処理が終了するまでの各過程における視点Ｐ１０１からの視野内の映像を模式的に示している。即ち、表示領域中の部分領域ごとに表示情報Ｖ１３３ａ、Ｖ１３３ｂ、及びＶ１３３ｃが順次表示されることで、映像Ｖ１３１ａ、Ｖ１３１ｂ、及びＶ１３１ｃとして示すように視野内の映像が順次更新されることとなる。また、映像Ｖ１３１ｈは、表示情報Ｖ１３３の表示が終了したタイミングにおける視野内の映像に相当する。
【００８６】
また、図９に示す例では、比較のために、図５を参照して説明した例と同様の方法で補正が行われた場合における、表示情報Ｖ１３３の表示が終了したタイミングにおける視点Ｐ１０１からの視野内の映像を、映像Ｖ１２１ｄとして示している。
【００８７】
図９に示すように、比較例２に係る処理においては、表示領域中の部分領域ごとに当該部分領域に対応する表示情報Ｖ１３３の一部を表示する際に、直前に取得される視点Ｐ１０１の位置や姿勢の認識結果に応じて、当該一部の提示位置を補正する。即ち、表示情報Ｖ１３３ａが表示されるタイミング（換言すると、映像Ｖ１３１ａが表示されるタイミング）では、当該タイミングの直前のタイミングで取得された視点Ｐ１０１の位置や姿勢に応じて、表示領域中の当該表示情報Ｖ１３３ａの提示位置が補正される。
【００８８】
具体的には、図８において、参照符号ｔ１１１は、比較例２に係る処理における、フレームごとの情報の提示に係る処理の開始タイミングを示している。また、参照符号ｔ１１３は、表示情報の描画結果を出力部の表示領域に順次表示される期間中の任意のタイミングを模式的に示しており、比較例１に係る処理におけるタイミングｔ１０５に相当する。比較例２に係る処理に依れば、タイミングｔ１１１及びｔ１１３間の期間Ｔ１５において、表示情報の提示位置の補正量の算出の基準とした奥行き方向の位置については、論理的に正しい位置に表示情報が提示される。即ち、比較例２に係る処理に依れば、比較例１に比べて、視点Ｐ１０１の移動に伴う表示情報Ｖ１３３の提示位置のずれをより小さく抑えることが可能となる。一方で、比較例２に係る処理を適用した場合においても、奥行き方向の位置のうち、補正量の算出の基準とした位置以外の他の位置については、視点の位置及び姿勢に応じて表示情報が本来提示されるべき位置と、実際に当該表示情報が視認される位置との間にずれが生じることとなる。
【００８９】
（実施例）
次いで、実施例に係る処理として、本開示の一実施形態に係る情報処理システムによる、オブジェクトを表示情報として描画し、当該描画の結果を提示する処理について説明する。図８において、参照符号ｔ１２１は、実施例に係る処理における、フレームごとの情報の提示に係る処理の開始タイミングを示している。また、参照符号ｔ１２３は、表示情報の描画結果を出力部の表示領域に順次表示される期間中の任意のタイミングを模式的に示しており、比較例１に係る処理におけるタイミングｔ１０５や、比較例２に係る処理におけるタイミングｔ１１３に相当する。また、図８において、参照符号ＰＳを付して示した処理は、比較例１及び比較例２に係る処理におけるオブジェクトの投影結果に応じた表示情報の描画に係る処理（Pixel  Shader）に相当し、本実施例においては、図７を参照して説明した処理が該当する。
【００９０】
図７を参照して前述したように、本実施形態に係る情報処理システムでは、表示領域を複数の部分領域に分けて、当該部分領域ごとに表示情報の描画を行う。この際に、情報処理システムは、直前のタイミングで取得された視点の位置や姿勢の認識結果に基づき、当該部分領域への対象となるオブジェクトの再投影（reprojection  shader）を行い、当該再投影の結果が、当該部分領域への上記表示情報の描画に反映される。即ち、部分領域ごとに表示情報の描画及び提示に係る処理が実行される際に、その都度、直前に取得された視点の位置や姿勢の認識結果に応じて対象となるオブジェクトの再投影が行われることとなる。例えば、参照符号ＩＭＵを付して示したタイミングは、視点の位置や姿勢の認識結果に応じた情報が取得されるタイミングを模式的に示している。
【００９１】
具体的には、タイミングｔ１２１において、まず視点と、描画の対象となり得るオブジェクト（例えば、仮想オブジェクト）と、の間の位置関係に関する情報（例えば、シーングラフ）が更新され（Scene  Update）、当該更新の結果に応じて当該オブジェクトがスクリーン面に２次元的な表示情報として投影される（Vertex  Shader）。次いで、当該投影に係る処理が完了すると、出力部の表示領域に対する表示情報の表示に係る同期が行われる（Wait  vsync）。また、本実施形態に係る情報処理システムでは、当該処理と平行して、視点の位置や姿勢の認識結果に関する情報の取得、部分領域ごとの当該認識結果に応じたオブジェクトの再投影、及び当該部分領域への当該再投影の結果に基づく表示情報の描画（Pixel  Shader）に係る処理が実行される。
【００９２】
そして、垂直同期（Vsync）のタイミングから、部分領域ごとに当該部分領域に対応する表示情報の描画結果が出力部に順次転送され、当該出力部の表示領域中の当該部分領域に対応する位置に当該表示情報が表示される（Transfer  FB  to  display）。このとき、部分領域ごとの表示情報の転送タイミングにあわせて当該表示情報の描画結果が取得可能となるように、事前にバックエンドで、当該部分領域に対する上述した再投影の結果に基づく表示情報の描画に係る処理が実行される。即ち、表示情報の転送タイミング（換言すると、表示情報の提示タイミング）に応じて、再投影に係る処理の実行が開始されるタイミングや、当該再投影に係る処理に利用される視点の位置や姿勢の認識結果が取得されるタイミング（換言すると、視点の位置や姿勢が認識されるタイミング）が決定され得る。
【００９３】
このような特性から、本実施形態に係る情報処理システムに依れば、各部分領域に表示情報が提示される際に、奥行き方向（ｚ方向）の位置全てについて論理的に正しい位置に当該表示情報が提示されることとなる。具体的には、図８に示す例では、実施例に係る処理に依れば、タイミングｔ１２１及びｔ１２３間の期間Ｔ１７において、奥行き方向（ｚ方向）の位置全てについて論理的に正しい位置について、論理的に正しい位置に表示情報が提示される。このように、本実施形態に係る情報処理システムに依れば、視点の位置や姿勢に応じた情報を提示するような状況下においても、比較例１及び２に係る処理に比べて、論理的な破綻のより少ない態様で当該情報を提示することが可能となる。
【００９４】
以上、図８を参照して、本開示の一実施形態に係る情報処理システムにおける、オブジェクトを表示情報として描画し、当該描画の結果を提示する処理の基本原理について、特に、視点の位置及び姿勢の認識結果が反映されるタイミングに着目して説明した。
【００９５】
＜３．３．機能構成＞
続いて、本開示の一実施形態に係る情報処理システムの機能構成の一例について、特に、図１に示す情報処理装置１０の構成に着目して説明する。例えば、図１０は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。
【００９６】
図１０に示すように、本実施形態に係る情報処理システム１は、撮像部２０１と、検知部２５１と、情報処理装置１０と、出力部２１１とを含む。なお、出力部２１１は、例えば、図２を参照して説明した出力部２１１に相当する。
【００９７】
撮像部２０１は、図２においてステレオカメラとして構成された撮像部２０１ａ及び２０１ｂに相当する。撮像部２０１は、実空間上の物体（被写体）の画像を撮像し、撮像した当該画像を情報処理装置１０に出力する。
【００９８】
検知部２５１は、入出力装置２０の位置や姿勢の変化（ひいては、当該入出力装置２０を装着したユーザの頭部の動き）を検出するための情報の取得に係る部分を模式的に示している。換言すると、検知部２５１は、視点の位置や姿勢の変化を検出するための情報を取得する。具体的な一例として、検知部２５１は、加速度センサや角速度センサ等のような各種センサを含んでもよい。検知部２５１は、取得した情報を情報処理装置１０に出力する。これにより、情報処理装置１０は、入出力装置２０の位置や姿勢の変化を認識することが可能となる。
【００９９】
次いで、情報処理装置１０の構成について説明する。図１０に示すように、情報処理装置１０は、認識処理部１０１と、演算部１０５と、投影処理部１０７と、補正処理部１０９と、描画処理部１１１と、出力制御部１１３とを含む。
【０１００】
認識処理部１０１は、撮像部２０１から撮像された画像を取得し、取得した画像に対して解析処理を施すことで、当該画像に撮像された実空間上の物体（被写体）を認識する。具体的な一例として、認識処理部１０１は、ステレオカメラとして構成された撮像部２０１から、互いに異なる複数の視点から撮像された画像（以降では、「ステレオ画像」とも称する）を取得し、取得した画像間の視差に基づき、画像中に撮像された物体までの距離を、当該画像の画素ごとに測定する。これにより、認識処理部１０１は、当該画像が撮像されたタイミングにおける、撮像部２０１（ひいては、入出力装置２０）と、当該画像に撮像された各物体との間の、実空間上における相対的な位置関係（特に、奥行き方向の位置関係）を推定または認識することが可能となる。もちろん上記はあくまで一例であり、実空間内の物体を認識することが可能であれば、その方法やそのための構成は特に限定されない。即ち、実空間内の物体の認識方法に応じて、撮像部２０１等の構成が適宜変更されてもよい。
【０１０１】
また、認識処理部１０１は、例えば、自己位置推定の技術に基づき、視点の位置や姿勢を認識してもよい。具体的な一例として、認識処理部１０１は、ＳＬＡＭに基づき自己位置推定と環境地図の作成とを行うことで、入出力装置２０（換言すると、視点）と、画像中に撮像された物体との間の、実空間上における位置関係を認識してもよい。この場合には、例えば、認識処理部１０１は、検知部２５１から入出力装置２０の位置及び姿勢の変化の検知結果に関する情報を取得し、当該情報をＳＬＡＭに基づく自己位置推定に利用してもよい。なお、上記はあくまで一例であり、視点の位置や姿勢を認識することが可能であれば、その方法やそのための構成は特に限定されない。即ち、視点の位置や姿勢の認識方法に応じて、撮像部２０１や検知部２５１等の構成が適宜変更されてもよい。
【０１０２】
そして、認識処理部１０１は、入出力装置２０の自己位置推定の結果（即ち、視点の位置や姿勢の認識結果）に関する情報を後述する演算部１０５や補正処理部１０９に出力する。なお、当該自己位置推定の結果に関する情報、換言すると、視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する情報が、「第１の情報」の一例に相当する。また、認識処理部１０１は、画像中に撮像された各物体（即ち、実オブジェクト）の実空間内における位置を認識し、当該認識結果に関する情報を演算部１０５に出力してもよい。具体的な一例として、認識処理部１０１は、画像中の画素ごとに測定された深度（物体までの距離）を示す情報（即ち、デプスマップ）を、演算部１０５に出力してもよい。なお、上述した実空間内の物体（即ち、実オブジェクト）の認識結果に関する情報が、「第２の情報」の一例に相当する。
【０１０３】
なお、前述したように、被写体までの距離の測定方法は、上述したステレオ画像に基づく測定方法のみには限定されない。そのため、撮像部２０１に相当する構成を、距離の測定方法にあわせて適宜変更してもよい。具体的な一例として、ＴＯＦに基づき被写体までの距離を測定する場合には、撮像部２０１に替えて、赤外線を投光する光源と、当該光源から投光され被写体で反射した赤外線を検知するための受光素子とを設けてもよい。また、物体までの距離を測定する際に、複数の測定方法が利用されてもよい。この場合には、利用される測定方法に応じて、当該測定に利用する情報を取得するための構成が、入出力装置２０または情報処理装置１０に設けられていてもよい。もちろん、画像中に撮像された各物体の実空間上における位置の認識結果を示す情報（例えば、デプスマップ）の内容についても、適用される測定方法に応じて適宜変更されてもよいことは言うまでもない。
【０１０４】
演算部１０５は、自己位置推定の結果に関する情報を認識処理部１０１から取得し、取得した当該情報に基づき、視点の位置及び姿勢を更新し、当該更新の結果に応じて、当該視点（例えば、レンダリングカメラ）と、描画の対象となり得るオブジェクト（例えば、仮想オブジェクト）と、の間の位置関係に関する情報を更新する（Scene  Update）。なお、以降では、便宜上、上記位置関係に関する情報を「シーングラフ」と称する。また、このとき演算部１０５は、実空間内の物体の認識結果に関する情報を認識処理部１０１から取得し、当該情報に基づき、実空間内の物体の位置や姿勢を考慮して、シーングラフの更新を行ってもよい。そして、演算部１０５は、シーングラフの更新結果に基づき、描画対象となるオブジェクトを構成する頂点の位置の算出を行う。また、このとき演算部１０５は、当該物体の表面の情報（例えば、テクスチャ）の特定等を行ってもよい。そして、演算部１０５は、シーングラフの更新結果に関する情報、換言すると、視点の位置や姿勢に関する情報や、描画の対象となり得るオブジェクトを含む各種オブジェクトと当該視点との間の３次元的な位置や姿勢の関係に関する情報を投影処理部１０７に出力する。
【０１０５】
投影処理部１０７は、視点の位置や姿勢の認識結果に応じたシーングラフの更新結果に関する情報を演算部１０５から取得する。投影処理部１０７は、取得した当該情報に基づき、描画対象となり得るオブジェクトを、視点の位置や姿勢に応じて規定されるスクリーン面に２次元的な表示情報として投影する。これにより、例えば、描画対象となり得る３次元的な情報を有する仮想オブジェクトの頂点が、上記スクリーン面上に２次元的な情報として投影される（Vertex  Shader）。なお、投影処理部１０７は、３次元的な情報を２次元的な情報としてスクリーン面に投影する際に、当該３次元的な情報に基づく奥行き方向（ｚ方向）の情報（例えば、距離の情報）を、スクリーン面に投影された２次元的な情報に関連付けて保持する。そして、投影処理部１０７は、シーングラフの更新結果に基づく、スクリーン面へのオブジェクトの投影結果に関する情報を補正処理部１０９に出力する。
【０１０６】
なお、図１０に示す情報処理装置１０の各構成のうち、参照符号１１５として示す処理ブロックによる処理、即ち、演算部１０５及び投影処理部１０７それぞれによる処理は、フレームごとの表示情報の描画が行われる前に実行される。即ち、処理ブロック１１５により実行される各処理は、例えば、フレーム単位で実行されることとなる。なお、処理ブロック１１５により実行される各処理が、例えば、レンダリングと称される処理の一例に相当し得る。これに対して、参照符号１１７として示す処理ブロックによる処理、即ち、後述する補正処理部１０９、描画処理部１１１、及び出力制御部１１３それぞれによる処理は、出力部２１１に対する表示情報の提示単位で実行される。具体的な一例として、出力部２１１の表示領域を複数の部分領域に分割し、当該部分領域ごとに表示情報の提示に係る各種処理が実行される場合には、処理ブロック１１７により実行される各処理は、当該部分領域ごとに実行されることとなる。上記を踏まえ、補正処理部１０９、描画処理部１１１、及び出力制御部１１３それぞれの処理について以下に説明する。
【０１０７】
補正処理部１０９は、部分領域ごとの表示情報の描画タイミングにあわせて、認識処理部１０１から自己位置推定の結果（即ち、視点の位置や姿勢の認識結果）に関する情報を取得し、当該情報に基づき当該部分領域に対して対象となるオブジェクトを再投影する（reprojection  shader）。即ち、補正処理部１０９は、「再投影処理部」とも称し得る。ここで、補正処理部１０９による上記再投影に係る処理の一例について以下により詳細に説明する。
【０１０８】
前述したように、投影処理部１０７により３次元的なオブジェクトが２次元的な表示情報として投影される際に、当該オブジェクトの奥行き方向（ｚ方向）の情報が、当該表示情報に関連付けて保持される。具体的な一例として、当該オブジェクトの頂点について、３次元的な座標が２次元的な座標として投影される際に、奥行き方向（ｚ方向）の座標値についても保持される。ここで、投影後の頂点の２次元的な座標をＵ、Ｖとし、奥行き方向の座標をＺとした場合に、同次座標系における当該頂点の座標ベクトルχは、以下に（式１）として示す計算式で表される。
【０１０９】
【数１】
2020003898.tif 000003
【０１１０】
補正処理部１０９は、直前のタイミングで取得された自己位置推定の結果（即ち、最新の自己位置推定の結果）に基づき、投影処理部１０７による上記投影に係る処理（Vertex  Shader）の実行時からの視点（換言すると、入出力装置２０）の位置や姿勢の変化を算出する。このとき、補正処理部１０９は、視点の位置や姿勢の変化として、例えば、回転の変化量Ｒと、位置の変化量Ｔとを算出してもよい。回転の変化量Ｒは、例えば、ロール軸、ピッチ軸、及びヨー軸それぞれの回転角（ｒａｄ）の情報を有する３次元ベクトルとして表される。また、位置の変化量Ｔは、視点から見た場合の左右方向、上下方向、及び奥行き方向それぞれの軸に沿った移動量（ｍ）の情報を有する３次元ベクトルとして表される。なお、以降の説明では、便宜上、視点から見た場合の左右方向、上下方向、及び奥行き方向に対応する軸を、それぞれ「ｘ軸」、「ｙ軸」、及び「ｚ軸」とも称する。
【０１１１】
補正処理部１０９は、視点の位置や姿勢の変化量の算出結果に基づき、スクリーン面への投影後の２次元座標上における対象となるオブジェクトの頂点の移動量を算出する。このとき、視点の回転量が微小であると仮定した場合には、当該視点の変化を表す行列ΔＴは、以下に（式２）として示す行列で表される。
【０１１２】
【数２】
2020003898.tif 000004
【０１１３】
上記式２において、Ｔｘ、Ｔｙ、及びＴｚは、上述した位置の変化量Ｔのｘ軸成分、ｙ軸成分、及びｚ軸成分をそれぞれ示している。また、Ｒｘ、Ｒｙ、及びＲｚは、上述した回転の変化量Ｒの各成分のうち、ｘ軸まわりの回転の角度成分（ピッチ軸の成分）、ｙ軸まわりの回転の角度成分（ヨー軸の成分）、及びｚ軸まわりの回転角度成分（ロール軸の成分）のをそれぞれ示している。
【０１１４】
また、ディスプレイ（出力部２１１）の射影行列を、以下に（式３）として表す行列Ｐとする。
【０１１５】
【数３】
2020003898.tif 000005
【０１１６】
上記式３において、ｃｘ及びｃｙは、２次元座標系の中心、即ち、ディスプレイの画像中心に相当する。また、ｆｘ及びｆｙは、２次元座標系におけるｘ軸方向及びｙ軸方向の焦点距離をそれぞれ示している。
【０１１７】
以上を踏まえ、対象となるオブジェクトの頂点の再射影を行う場合には、２次元座標系における再射影後の当該頂点の座標は、Ｐ・ΔＴ・Ｐ−１・χで表される。なお、前述したように、頂点の座標ベクトルχは同次座標系のため、再射影後の当該頂点の座標の算出時には、当該同次座標系のｗ成分での除算が必要となる場合がある。また、上記Ｐ・ΔＴ・Ｐ−１は、モデルごとに定数の成分となるため、例えば、モデルごとに事前に算出しておいてもよい。
【０１１８】
以上のような処理により、補正処理部１０９は、部分領域ごとの表示情報の描画タイミングにあわせて、認識処理部１０１から自己位置推定の結果（即ち、視点の位置や姿勢の認識結果）に関する情報を取得し、当該情報に基づき当該部分領域に対して対象となるオブジェクトを再投影することが可能となる。
【０１１９】
なお、補正処理部１０９による部分領域ごとのオブジェクトの再投影に係る処理が、後述する描画処理部１１１による当該部分領域への描画の開始タイミングまでに終了していることが望ましい。そのため、部分領域ごとに補正処理部１０９が上記再投影に係る処理を開始するタイミングや、当該再投影時にどのタイミングで取得された自己位置推定の結果（換言すると、どのタイミングで認識された視点の位置や姿勢）が使用されるかについては、当該再投影に係る処理に要する時間に応じて適宜設計されるとよい。また、補正処理部１０９は、一部の部分領域について上記再投影に係る処理を、当該部分領域についての表示情報の描画が開始されるタイミングまでに完了することが困難な場合には、当該部分領域に対する上記再投影に係る処理をスキップしてもよい。
【０１２０】
また、上記はあくまで一例であり、補正処理部１０９が、部分領域ごとに、所望のタイミングで取得された視点の位置や姿勢の認識結果に応じて、対象となるオブジェクトを当該部分領域に再投影することが可能であれば、その方法は特に限定されない。
【０１２１】
そして、補正処理部１０９は、対象となる部分領域に対する対象となるオブジェクトの再投影の結果に関する情報を、後段に位置する描画処理部１１１に出力する。
【０１２２】
描画処理部１１１は、部分領域ごとの表示情報の描画タイミングにあわせて、当該部分領域への対象となるオブジェクトの再投影の結果に関する情報を補正処理部１０９から取得する。描画処理部１１１は、取得した情報に基づき、部分領域に対するオブジェクトの当該再投影の結果に応じた表示情報（２次元的な表示情報）をフレームバッファに描画する。当該描画に係る処理は、例えば、ラスタライズと称される処理が該当し得る。
【０１２３】
出力制御部１１３は、描画処理部１１１によるフレームバッファへの部分領域ごとの表示情報の描画結果を出力部２１１に順次転送する。このとき、出力制御部１１３は、直前に取得された視点の位置や姿勢の認識結果に関する情報に基づき、当該部分領域中における上記表示情報の提示位置を２次元的に補正してもよい。具体的な一例として、出力制御部１１３は、補正処理部１０９により一部の表示情報について直前の視点の位置や姿勢の認識結果が反映できなかった場合（例えば、再投影に係る処理がスキップされた場合）には、対応する部分領域中における当該表示情報の提示位置を２次元的に補正してもよい。
【０１２４】
以上のようにして、出力部２１１の表示領域に対して部分領域ごとに、その時々の視点の位置や姿勢に応じた、対象となるオブジェクトの投影結果に基づく表示情報が順次提示される。このような構成により、視点の位置や姿勢が逐次変化し得るような状況下においても、当該視点の位置や姿勢に応じた表示情報を、論理的な破綻のより少ない態様で提示することが可能となる。
【０１２５】
なお、図１０に示した情報処理システム１の機能構成はあくまで一例であり、上述した各構成の動作を実現することが可能であれば、当該情報処理システム１の機能構成は必ずしも図１０に示す例には限定されない。具体的な一例として、撮像部２０１、検知部２５１、及び出力部２１１の少なくともいずれかと、情報処理装置１０とが一体的に構成されていてもよい。また、他の一例として、情報処理装置１０の一部の機能が、当該情報処理装置１０の外部に設けられていてもよい。具体的な一例として、認識処理部１０１や処理ブロック１１５に相当する部分が、情報処理装置１０の外部に設けられていてもよい。また、情報処理装置１０の少なくとも一部の機能が、複数の装置が連携して動作することで実現されてもよい。
【０１２６】
なお、上述した情報処理装置１０の各構成のうち、処理ブロック１１５及び１１７に相当する部分（特に、処理ブロック１１７に相当する部分）が、「制御部」の一例に相当する。また、当該処理ブロック１１５及び１１７のうち、自己位置推定の結果に関する情報、換言すると、視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する情報を認識処理部１０１から取得する部分が「取得部」の一例に相当する。
【０１２７】
また、表示領域が分割された複数の部分領域のうち互いに異なる部分領域が、「第１の部分領域」及び「第２の部分領域」の一例に相当する。また、第１の部分領域に対する対象となるオブジェクトの再投影に利用される視点の位置や姿勢が認識されたタイミング（または、当該視点の位置や姿勢の認識結果が取得されたタイミング）が、「第１のタイミング」の一例に相当する。また、第１の部分領域について、処理ブロック１１７（即ち、補正処理部１０９、描画処理部１１１、及び出力制御部１１３）により実行される一連の処理が、「第１の処理」の一例に相当する。同様に、第２の部分領域に対する対象となるオブジェクトの再投影に利用される視点の位置や姿勢が認識されたタイミング（または、当該視点の位置や姿勢の認識結果が取得されたタイミング）が、「第２のタイミング」の一例に相当する。また、第２の部分領域について、処理ブロック１１７により実行される一連の処理が、「第２の処理」の一例に相当する。なお、フレーム等のような所定の単位期間ごとに、複数の部分領域それぞれに対する処理があらかじめ決められた順序で順次実行される場合には、上記第１の処理及び上記第２の処理の実行についても、あらかじめ決められた順序で実行されることとなる。これに伴い、上記第１のタイミングと上記第２のタイミングとの間の前後関係についても、上記第１の処理及び上記第２の処理が実行される順序に応じて決定され得る。即ち、第１の処理の実行後に第２の処理が実行される場合には、上記第２のタイミングは上記第１のタイミングよりも後のタイミングとなり得る。
【０１２８】
以上、図１０を参照して、本開示の一実施形態に係る情報処理システムの機能構成の一例について、特に、図１に示す情報処理装置１０の構成に着目して説明した。
【０１２９】
＜３．４．処理＞
続いて、本開示の一実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、図１に示す情報処理装置１０の動作に着目して説明する。例えば、図１１は、本開示の一実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。
【０１３０】
図１１に示すように、情報処理装置１０（認識処理部１０１）は、撮像部２０１による画像の撮像結果や、検知部２５１による入出力装置２０の位置や姿勢の変化の検知結果に関する情報に基づき、視点の位置及び姿勢のうち少なくともいずれかを認識する。当該視点の位置や姿勢の認識には、例えば、ＳＬＡＭ等の自己位置推定の技術が利用されてもよい。以上のようにして、情報処理装置１０は、視点の位置や姿勢の認識結果を、その時々で取得される上記各種情報に基づき逐次更新する。また、情報処理装置１０（演算部１０５）は、視点の位置や姿勢の認識結果に関する情報（例えば、自己位置推定の結果に応じた情報）に基づき、当該視点と、描画の対象となり得るオブジェクトと、の間の位置関係に関する情報（即ち、シーングラフ）を更新する（Ｓ１０１）。
【０１３１】
情報処理装置１０（投影処理部１０７）は、シーングラフの更新結果に基づき、画対象となり得るオブジェクトを、視点の位置や姿勢に応じて規定されるスクリーン面に２次元的な表示情報として投影する（Ｓ１０３）。これにより、例えば、描画対象となり得る３次元的な情報を有する仮想オブジェクトの頂点が、上記スクリーン面上に２次元的な情報として投影される。
【０１３２】
情報処理装置１０（補正処理部１０９）は、部分領域ごとの表示情報の描画タイミングにあわせて、認識処理部１０１から自己位置推定の結果（即ち、視点の位置や姿勢の認識結果）に関する情報を取得し（Ｓ１０５）、当該情報に基づき当該部分領域に対して対象となるオブジェクトを再投影する（Ｓ１０７）。
【０１３３】
情報処理装置１０（描画処理部１１１）は、部分領域ごとの表示情報の描画タイミングにあわせて、当該部分領域への対象となるオブジェクトの再投影の結果に応じた表示情報（２次元的な表示情報）をフレームバッファに描画する（Ｓ１０９）。
【０１３４】
情報処理装置１０（出力制御部１１３）は、フレームバッファへの部分領域ごとの表示情報の描画結果を出力部２１１に順次転送することで、当該表示情報を当該出力部２１１の表示領域のうちの当該部分領域に表示させる（Ｓ１１１）。
【０１３５】
以上のようにして、情報処理装置１０は、表示領域が分割された一連の部分領域それぞれについて、参照符号Ｓ１０５〜Ｓ１１１として示した一連の処理を逐次実行する（Ｓ１１３、ＮＯ）。これにより、出力部２１１の表示領域に対して部分領域ごとに、その時々の視点の位置や姿勢に応じた、対象となるオブジェクトの投影結果に基づく表示情報が順次提示される。そして、一連の部分領域それぞれについての処理の完了に伴い（Ｓ１１３、ＹＥＳ）、情報処理装置１０によりフレーム単位で実行される、視点の位置や姿勢に応じた出力部２１１への表示情報の提示に係る処理が終了する。
【０１３６】
情報処理装置１０は、一連の処理の実行の終了が指示されるまで（Ｓ１１５、ＮＯ）、参照符号Ｓ１０１〜Ｓ１１３で示した一連の処理をフレーム単位で逐次実行する。そして、情報処理装置１０は、一連の処理の実行の終了の指示を受けると（Ｓ１１５、ＹＥＳ）、参照符号Ｓ１０１〜Ｓ１１３で示した一連の処理の実行を終了する。
【０１３７】
以上、図１１を参照して、本開示の一実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、図１に示す情報処理装置１０の動作に着目して説明した。
【０１３８】
＜３．５．変形例＞
続いて、本開示の一実施形態に係る情報処理システムの変形例について説明する。
【０１３９】
（情報の提示に係る処理負荷と提示タイミングとの関係に応じた制御例）
本実施形態に係る情報処理システムでは、図８を参照して前述したように、部分領域ごとに、オブジェクトの再投影（reprojection  shader）、再投影の結果に応じた表示情報の描画（Pixel  Shader）、及び出力部への表示情報の転送（Transfer  FB  to  display）を行う必要がある。そのため、これらの一連の処理に要する時間が、部分領域ごとに情報が提示される期間を超えるような場合には、当該一連の処理の実行の完了が、対応する部分領域への表示情報の提示タイミングに間に合わなくなる可能性も想定され得る。そのため、このような場合には、一部の部分領域について、上記再投影や上記描画に係る処理をスキップしてもよい。
【０１４０】
なお、一部の部分領域について上記再投影や上記描画に係る処理がスキップされる場合には、例えば、当該部分領域に対して、本来提示される予定であった当該再投影や当該描画の結果に応じた表示情報に替えて、代替となる表示情報が提示されてもよい。この場合には、フレームバッファに対して代替となる表示情報をあらかじめ描画しておくとよい。また、代替となる表示情報としては、例えば、対象となるオブジェクトの表面の色の情報（即ち、視点の位置及び姿勢や光源の位置等を考慮していない場合の色）を利用してもよい。
【０１４１】
また、他の一例として、上述した一連の処理に要する処理時間の見積りを事前に行うことで、当該一連の処理の完了が対応する部分領域への情報の提示タイミングに間に合うか否かを判断し、当該判断の結果に応じて当該部分領域に対応する処理を選択的に切り替えてもよい。具体的な一例として、上記見積りの結果に基づき上記一連の処理の完了を対応する部分領域への情報の提示タイミングに間に合わせることが困難であると判定された場合には、位置や姿勢の認識結果の取得を待たずに、当該部分領域についての表示情報の描画が開始されてもよい。なお、この場合には、例えば、当該表示情報の提示タイミングの直前に取得される視点の位置や姿勢の認識結果に応じて、当該表示情報の提示位置が２次元的に補正されてもよい。なお、上記見積りには、例えば、対象となる部分領域に対する表示情報の描画量や、従前のフレームにおいて対象となる部分領域について要した時間等の情報を利用することが可能である。
【０１４２】
また、出力部（ディスプレイ）等の種類によっては、ピクセルの発光後に、当該ピクセルが発光し続けるものと、当該ピクセルが消灯する（即ち、黒画となる）ものとがある。このような出力部の仕様の違いに関わらず、同様の出力を実現するために、直前のフレームでフレームバッファに描画された情報が保持されていてもよい。
【０１４３】
（表示情報の歪みへの対策）
上述したように、本実施形態に係る情報処理システムでは、部分領域ごとにオブジェクトの再投影が行われる。そのため、部分領域ごとに情報の提示に係る一連の処理が実行される間における視点の移動量が大きくなると、隣接する部分領域間で、各部分領域に提示される表示情報の間が不連続となる場合がある。このような場合には、隣接する部分領域それぞれに提示される表示情報が連続した一連の表示情報として提示されるように、少なくとも一部の部分領域に提示される表示情報が補正されてもよい。具体的な一例として、隣接する部分領域のうち少なくとも一部の部分領域に提示される表示情報の頂点の位置を調整することで、当該隣接する部分領域それぞれに提示される表示情報が連続した一連の表示情報として提示されるように制御することが可能である。
【０１４４】
（レンダリング品質の制御例）
本実施形態に係る情報処理システムのように、３次元的な情報を有するオブジェクトをレンダリングにより２次元的な表示情報として提示する場合には、当該レンダリングの処理負荷がより大きくなるような状況も想定され得る。一方で、レンダリングの実行に伴う処理負荷は、当該レンダリングの品質に応じて変化し得る。そこで、各種状況に応じてレンダリングの品質を制御することで、当該レンダリングに基づく情報の提示に係る処理の負荷を低減してもよい。
【０１４５】
具体的な一例として、視点の位置や姿勢に応じた視野内のうち注目している部分（換言すると、当該視点からの視線が向けられている部分）以外の他の部分についてはレンダリングの品質を落とすことで、処理負荷を低減してもよい。このような制御に伴い処理負荷がより低減されることで、例えば、消費電力をより低減させる効果も期待される。
【０１４６】
また、他の一例として、視点が高速で移動するような状況のように、所謂「動きボケ」が生じるような状況下では、必ずしも高品質の映像（例えば、より高い分解能でレンダリングされた映像）の提示が必要となるとは限らない。そこで、このような場合には、レンダリングの品質を落とすことで処理負荷が低減されてもよい。
【０１４７】
（描画のフレームレートに応じた制御例）
上述したオブジェクトの再投影に係る処理（即ち、補正に係る処理）のフレームレートと、当該再投影の結果に応じた描画に係る処理のフレームレートと、については、必ずしも一致している必要はない。具体的には、上記再投影に係る処理のフレームレートが、上記描画に係る処理のフレームレート以上となる状態が維持されていることが望ましく、当該条件を満たせばこれらのフレームレートが一致していなくてもよい。そのため、例えば、上記再投影に係る処理及び上記描画に係る処理それぞれのフレームレートが６０ｆｐｓの状態から、当該描画に係る処理のフレームレートが３０ｆｐｓに低下した場合においても、当該再投影に係る処理のフレームレートについては６０ｆｐｓに維持されることよい。すなわち、表示情報の提示に係るフレームレート（第１のフレームレート）が低下したとしても、いずれかの部分領域への投影に係るフレームレート（第２のフレームレート）は、第１のフレームレートよりも大きく設定されてもよい。なお、この場合の制御の主体は、例えば、処理ブロック１１７が該当し得る。
【０１４８】
（陰面を想定した制御例）
視点が移動するような状況下では、視点の移動前には視認できなかった面が、視点の移動に伴い視認可能となる場合も想定され得る。そのため、例えば、部分領域ごとの情報の提示に係る処理が開始される前に実行される、スクリーン面へのオブジェクトの投影に係る処理（Vertex  Shader）において、そのときの視点の位置からでは視認が困難な面（陰面）のうち少なくとも一部について、表示情報の提示に利用可能な情報（例えば、頂点の情報等）の算出を行っておいてもよい。具体的な一例として、移動前の視点の位置や姿勢を基点として、想定され得る移動量の範囲内で視点が移動した場合に視認される可能性のある陰面については、表示情報の提示に利用可能な情報の算出が行われていてもよい。
【０１４９】
（テクスチャのフェッチに関する制御例）
本実施形態に係る情報処理システムのように、３次元的な情報を有するオブジェクトを２次元的な表示情報として提示するような場合には、テクスチャのフェッチを当該表示情報の提示タイミングに間に合わせることが困難となるような状況も想定され得る。このような場合には、例えば、ｍｉｐｍａｐ用のテクスチャ（特に、比較的サイズの小さいテクスチャ）を保持しておき、テクスチャのフェッチが間に合わないことが予測される場合には、当該ｍｉｐｍａｐ用のテクスチャを表示情報の表示に利用してもよい。また、テクスチャ内で使用される画素値の順序を事前に予測することが可能な場合には、当該予測の結果に応じて、当該画素値を事前にキャシュしておいてもよい。
【０１５０】
（ディスプレイのリフレッシュレートに応じた制御例）
本実施形態に係る情報処理システムのように、３次元的な情報を有するオブジェクトをレンダリングにより２次元的な表示情報として提示する場合には、レンダリングのフレームレートと、ディスプレイのリフレッシュレートとが異なる場合がある。特に、近年におけるディスプレイのリフレッシュレートの向上に伴い、レンダリングのフレームレートに比べてディスプレイのリフレッシュレートがより高くなるような状況も想定され得る。このような場合には、本実施形態に係る情報処理システムにおいては、部分領域ごとの再投影に係る処理の実行時に、上述したレートの違いを考慮した処理を実現することも可能である。
【０１５１】
具体的には、オブジェクトの頂点ごとに速度項（即ち、頂点の移動速度に関する情報）を持たせ、部分領域ごとに当該オブジェクトの再投影を行う際に、当該速度の情報を反映させるとよい。なお、上記速度項は、例えば、仮想オブジェクト自体の速度、または視点の位置や姿勢の変化の速度に基づき算出され得る。より具体的には、レンダリングのフレームレートがディスプレイのリフレッシュレートよりも低い場合には、当該ディスプレイへの情報の提示に際し、最新の視点の位置や姿勢の情報が反映されないタイミングが生じることとなる。このような場合においても、本実施形態に係る情報処理システムでは、各頂点の速度項に応じた当該頂点の移動量を考慮して再投影を行うことで、視点の位置や姿勢の変化に応じた情報の提示位置の変化を疑似的に再現することが可能となる。
【０１５２】
以上のような制御により、例えば、レンダリングのフレームレートが３０Ｈｚであるのに対して、ディスプレイのリフレッシュレートが１２０Ｈｚの場合においても、１２０Ｈｚのフレームレート（即ち、レンダリングの４倍のフレームレート）でのアニメーションを疑似的に再現することが可能となる。
【０１５３】
（レイトレースへの適用）
本実施形態に係る情報処理システムは、前述したように、部分領域ごとの情報の提示タイミングにあわせて、対象となるオブジェクトをそのときの視点の位置や姿勢に応じて再投影し、当該再投影の結果に基づき表示情報の描画を行う。このような本実施形態に係る情報処理システムによる表示情報の描画及び提示に係る処理の基本原理を逸脱しない範囲であれば、当該情報処理システムの一連の処理のうち一部の処理を適宜変更することが可能である。
【０１５４】
具体的な一例として、本実施形態に係る情報処理システムによる一連の処理のうち、レンダリングに相当する処理に対して、レイトレースと称される技術を応用することも可能である。この場合には、ピクセルごとに実行される光線の追跡に係る処理が、前述した投影や再投影に係る処理、即ち、３次元的な形状の情報を有するオブジェクトを２次元的な表示情報として投影する処理（Vertex  Shader）や再投影する処理（reprojection  shader）に相当し得る。
【０１５５】
より具体的な一例として、部分領域ごとに再投影を行う場合に、光線の追跡に係る処理の基点となるカメラ（レンダリングカメラ）の位置を、直前のタイミングで取得された視点の位置や姿勢の位置に応じて決定してもよい。
【０１５６】
以上、本開示の一実施形態に係る情報処理システムの変形例について説明した。
【０１５７】
＜３．６．実施例＞
続いて、本開示の一実施形態に係る実施例として、視点の移動に伴い当該視点の位置や姿勢が変化した場合に、本実施形態に係る情報処理システム１による表示情報の提示態様の一例について具体的な例を挙げて説明する。
【０１５８】
例えば、図１２は、本実施形態に係る情報処理システムの実施例について概要を説明するための説明図であり、視点が移動する前の状態を模式的に示している。図１２において、参照符号Ｐ２０１ａは、視点の位置及び姿勢を模式的に示しており、具体的な一例として、図１に示す例における入出力装置２０（より厳密には撮像部２０１）の位置及び姿勢に相当する。また、参照符号Ｍ２０１及びＭ２０３は、表示情報の描画対象となるオブジェクト（例えば、仮想オブジェクト）を模式的に示している。
【０１５９】
以上のような前提の基で、図１２に示す例では、視点Ｐ２０１ａからの視野内の映像が提示される。具体的には、視点Ｐ２０１ａと、オブジェクトＭ２０１及びＭ２０３のそれぞれと、の間の位置及び姿勢の関係に応じて、当該オブジェクトＭ２０１及びＭ２０３が視点Ｐ２０１ａの位置及び姿勢に応じたスクリーン面に２次元的な表示情報として投影される。例えば、参照符号Ｖ２０１は、図１２に示す例において、視点Ｐ２０１ａの位置及び姿勢の認識結果（換言すると、自己位置推定の結果）に応じて提示される、当該視点Ｐ２０１ａからの視野に対応する映像を模式的に示している。なお、図１２に示す例では、視点Ｐ２０１ａは、オブジェクトＭ２０１の前面と対向しており、映像Ｖ２０１には、当該オブジェクトＭ２０１については、前面以外の他の面については提示されていないことがわかる。
【０１６０】
また、図１３は、本実施形態に係る情報処理システムの実施例について概要を説明するための説明図であり、視点が移動した後の状態を模式的に示している。図１３において、参照符号Ｐ２０１ｂは、図１２に示す状態から、視点が移動した後の、当該視点の位置及び姿勢を模式的に示している。なお、以降の説明では、図１２に示す移動前の視点Ｐ２０１ａと、図１３に示す移動後の視点Ｐ２０１ｂと、を特に区別しない場合には、単に「視点Ｐ２０１」と称する場合がある。また、参照符号Ｍ２０１及びＭ２０３は、図１２に示すオブジェクトＭ２０１及びＭ２０３に相当する。
【０１６１】
また、参照符号Ｖ２０５は、本開示の一実施形態に係る情報処理システム１により、視点Ｐ２０１の移動に伴い提示される当該視点Ｐ２０１（即ち、移動後の視点Ｐ２０１ｂ）からの視野に対応する映像を模式的に示している。図１３に示すように、移動前の視点Ｐ２０１ａからでは見えていなかったオブジェクトＭ２０１の側面が、移動後の視点Ｐ２０１ｂの位置からは見えている。そのため、映像Ｖ２０５では、移動後の視点Ｐ２０１ｂの位置及び姿勢に応じた再投影に係る処理に基づきオブジェクトＭ２０１に対応する２次元的な表示情報が提示されるため、当該オブジェクトＭ２０１の上記側面が視認可能に提示されている。また、オブジェクトＭ２０１及びＭ２０３のそれぞれに対応する表示情報が、移動後の視点Ｐ２０１ｂの位置及び姿勢を考慮した位置関係に基づき提示されることとなる。
【０１６２】
これに対して、参照符号Ｖ２０３は、図５を参照して前述した例のように、視点Ｐ２０１の移動前にオブジェクトＭ２０１及びＭ２０３が投影された２次元的な表示情報の提示位置を、当該視点Ｐ２０１の移動に伴い２次元的に補正した場合の一例を示している。図１３に示すように、映像Ｖ２０３は、図１２に示す映像Ｖ２０１として提示されたオブジェクトＭ２０１及びＭ２０３に対応する表示情報の提示位置を、視点Ｐ２０１の位置や姿勢の変化に応じて２次元的に補正している。そのため、移動後の視点Ｐ２０１ｂからは、オブジェクトＭ２０１の側面が視認可能であるにも関わらず、映像Ｖ２０３では、当該オブジェクトＭ２０１の側面が提示されていない。また、オブジェクトＭ２０１及びＭ２０３のそれぞれに対応する表示情報の位置関係が、移動後の視点Ｐ２０１ｂから視た場合の位置関係となっていないことがわかる。
【０１６３】
このように、本開示の一実施形態に係る情報処理システム１に依れば、視点の位置や姿勢に応じて情報を提示するような状況下においても、対象となるオブジェクトが投影された２次元的な表示情報を、論理的な破綻の少ない態様でユーザに提示することが可能となる。
【０１６４】
以上、図１２及び図１３を参照して、本開示の一実施形態に係る実施例として、視点の移動に伴い当該視点の位置や姿勢が変化した場合に、本実施形態に係る情報処理システム１による表示情報の提示態様の一例について具体的な例を挙げて説明した。
【０１６５】
＜＜４．ハードウェア構成＞＞
続いて、本実施形態に係る情報処理システムを構成する情報処理装置１０のハードウェア構成の一例について説明する。
【０１６６】
（独立して動作可能な装置としての構成例）
まず、図１４を参照して、前述した情報処理装置１０に相当する構成を、ＰＣ、スマートフォン、サーバ等のような独立して動作可能な装置（以降では、便宜上「情報処理装置９００」とも称する）として実現する場合における、当該情報処理装置９００のハードウェア構成の一例について、詳細に説明する。図１４は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置９００のハードウェア構成の一例を示す機能ブロック図である。
【０１６７】
本実施形態に係る情報処理システム１を構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０１６８】
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図１０を参照して前述した、認識処理部１０１、演算部１０５、投影処理部１０７、補正処理部１０９、描画処理部１１１、及び出力制御部１１３は、例えば、ＣＰＵ９０１により実現され得る。
【０１６９】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
【０１７０】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１７１】
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図１０を参照して前述した、出力部２１１は、例えば、出力装置９１７により実現され得る。
【０１７２】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。
【０１７３】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ｃａｒｄ）又は電子機器等であってもよい。
【０１７４】
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
【０１７５】
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
【０１７６】
以上、本開示の実施形態に係る情報処理システム１を構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１４では図示しないが、本実施形態に係る情報処理システム１を構成する情報処理装置９００に対応する各種の構成を当然備える。
【０１７７】
なお、上述のような本実施形態に係る情報処理システム１を構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。なお、単数のコンピュータ、または、複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。
【０１７８】
以上、図１４を参照して、前述した情報処理装置１０に相当する構成を、ＰＣ、スマートフォン、サーバ等のような独立して動作可能な情報処理装置９００として実現する場合における、当該情報処理装置９００のハードウェア構成の一例について、詳細に説明した。
【０１７９】
（チップとして実現する場合の構成例）
続いて、図１５を参照して、前述した情報処理装置１０に相当する構成を、ＧＰＵ等のようなチップ（以降では、便宜上「チップ９５０」とも称する）として実現する場合における、当該チップ９５０のハードウェア構成の一例について、詳細に説明する。図１５は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置をチップとして実現した場合のハードウェア構成の一例を示す機能ブロック図である。
【０１８０】
図１５に示すように、チップ９５０は、画像処理ユニット（ＧＣＡ：Graphics  and  Compute  Array）９５１と、記憶デバイス（ＧＭＣ：Graphics  Memory  Controller）９５３と、ディスプレイインタフェース（ＤＩＦ：Display  Interface）９５５と、バスインタフェース（ＢＩＦ：Bus  Interface）９５７と、電源制御ユニット（ＰＭＵ：Power  Management  Unit）９６１と、起動制御ユニット（ＶＧＡＢＩＯＳ）９６３とを含む。また、画像処理ユニット９５１と記憶デバイス９５３との間に圧縮処理ユニット（Compression  Unit）９５９が介在してもよい。
【０１８１】
画像処理ユニット９５１は、画像処理に係る各種処理を実行するプロセッサに相当する。具体的な一例として、画像処理ユニット９５１は、前述したシーングラフの更新（Scene  Update）、オブジェクトの投影に係る処理（Vertex  Shader）、オブジェクトの再投影に係る処理（reprojection  shader）、及び表示情報の描画に係る処理（Pixel  Shader）等のような各種演算処理を実行する。また、このとき画像処理ユニット９５１は、記憶デバイス９５３に記憶されたデータを読み出し、当該データを各種演算処理の実行に利用してもよい。なお、図１０を参照して前述した、認識処理部１０１、演算部１０５、投影処理部１０７、補正処理部１０９、描画処理部１１１、及び出力制御部１１３の各処理は、例えば、画像処理ユニット９５１による演算処理により実現され得る。
【０１８２】
記憶デバイス９５３は、各種データを一時的または恒久的に記憶するための構成である。具体的な一例として、記憶デバイス９５３は、画像処理ユニット９５１による各種演算処理の実行結果に応じたデータを記憶してもよい。記憶デバイス９５３は、例えば、ＶＲＡＭ（Video  RAM）、ＷＲＡＭ（Window  RAM）、ＭＤＲＡＭ（Multibank  DRAM）、ＤＤＲ（Double−Data−Rate）、ＧＤＤＲ（Graphics  DDR）、ＨＢＭ（High  Bandwidth  Memory）等の技術に基づき実現され得る。
【０１８３】
圧縮処理ユニット９５９は、各種データの圧縮及び解凍を行う。具体的な一例として、圧縮処理ユニット９５９は、画像処理ユニット９５１による演算結果に応じたデータが記憶デバイス９５３に記憶される際に、当該データを圧縮してもよい。また、圧縮処理ユニット９５９は、画像処理ユニット９５１が記憶デバイス９５３に記憶されたデータを読み出す際に、当該データが圧縮されている場合には、当該データを解凍してもよい。
【０１８４】
ディスプレイインタフェース９５５は、チップ９５０がディスプレイ（例えば、図１０に示す出力部２１１）との間でデータの送受信を行うためのインタフェースである。具体的な一例として、画像処理ユニット９５１による表示情報の描画の結果が、ディスプレイインタフェース９５５を介してディスプレイに出力される。また、他の一例として、画像処理ユニット９５１による表示情報の描画の結果が記憶デバイス９５３に保持されている場合には、記憶デバイス９５３に保持された当該描画の結果が、ディスプレイインタフェース９５５を介してディスプレイに出力される。
【０１８５】
バスインタフェース９５７は、チップ９５０が他の機器や外部の装置とデータの送受信を行うためのインタフェースである。具体的な一例として、記憶デバイス９５３に記憶されたデータが、バスインタフェース９５７を介して、他の機器や外部の装置に送信される。また、他の機器や外部の装置から送信されたデータは、バスインタフェース９５７を介してチップ９５０に入力される。なお、チップ９５０に入力されたデータは、例えば、記憶デバイス９５３に記憶される。
【０１８６】
電源制御ユニット９６１は、チップ９５０の各部への電力の供給を制御するための構成である。
【０１８７】
起動制御ユニット９６３は、チップ９５０の起動時に、当該起動に係る各種処理や情報の入出力等の管理や管制を行うための構成である。起動制御ユニット９６３は、所謂ＶＧＡＢＩＯＳ（Video  Graphics  Array  Basic  Input／Output  System）に相当する。
【０１８８】
以上、図１５を参照して、前述した情報処理装置１０に相当する構成を、ＧＰＵ等のようなチップ９５０として実現する場合における、当該チップ９５０のハードウェア構成の一例について、詳細に説明した。なお、本開示においては、「情報処理装置」として記載した場合には、図１４に示すような１つの装置として実現する場合に加え、図１５に示すように、装置に組み込まれるチップ（換言すると、部品）として実現する場合も含み得るものとする。
【０１８９】
＜＜５．むすび＞＞
以上説明したように、本開示の一実施形態に係る情報処理システムにおいて、情報処理装置は、視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する第１の情報を取得する。また、当該情報処理装置は、当該記第１の情報に基づき表示領域に対象となるオブジェクトを投影し、当該投影の結果に応じて表示情報が前記表示領域に提示されるように制御する。このとき、情報処理装置は、上記表示領域に含まれる第１の部分領域及び第２の部分領域それぞれについて、互いに異なるタイミングでの上記認識結果に応じた第１の情報に基づき上記オブジェクトを投影する。
【０１９０】
また、情報処理装置は、第１の部分領域についての上記オブジェクトの投影結果に応じた第１の表示情報の当該第１の部分領域への提示と、上記第２の部分領域についての上記オブジェクトの投影結果に応じた第２の表示情報の当該第２の部分領域への提示と、を互いに異なるタイミングで制御してもよい。また、情報処理装置は、上記第１の部分領域及び上記第２の部分領域のうち少なくともいずれかの部分領域に対する表示情報の提示を、当該部分領域についての上記オブジェクトの投影の結果が取得されたタイミングに応じて制御してもよい。
【０１９１】
以上のような構成により、本開示の一実施形態に係る情報処理システムに依れば、視点の位置や姿勢が逐次変化し得るような状況下においても、当該視点の位置や姿勢に応じた表示情報を、論理的な破綻のより少ない態様で提示することが可能となる。特に、本開示の一実施形態に係る情報処理システムに依れば、フレーム間で視点の位置や姿勢が大きく変化するような状況においても、従来のようにフレームごとにレンダリング（特に、オブジェクトの投影）が行われる場合に比べて、論理的な破綻のより少ない態様で情報を提示することが可能となる。即ち、本開示の一実施形態に係る情報処理システムに依れば、視点の位置や姿勢に応じた情報の提示をより好適な態様で実現することが可能となる。
【０１９２】
なお、上記では、主にＡＲ技術に基づき情報を提示する場合を例に、本開示の一実施形態に係る情報処理システムの特徴について説明したが、必ずしも当該情報処理システムの適用先をＡＲ技術に基づき情報を提示する場合に限定するものではない。即ち、本開示の一実施形態に係る情報処理システムは、ＡＲ技術に基づき情報を提示する場合のみに限らず、ＶＲ技術に基づき情報を提示する場合についても適用することが可能である。なお、本開示の一実施形態に係る情報処理システムをＶＲ技術に基づき情報を提示する場合に適用する場合には、前述した本開示に係る技術の基本原理として説明した思想を逸脱しない範囲で、当該情報処理システムの一部の構成を適宜変更してもよい。
【０１９３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１９４】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１９５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する第１の情報を取得する取得部と、
前記第１の情報に基づき表示領域に対象となるオブジェクトを投影し、当該投影の結果に応じて表示情報が前記表示領域に提示されるように制御する制御部と、
を備え、
前記制御部は、前記表示領域に含まれる第１の部分領域及び第２の部分領域それぞれについて、互いに異なるタイミングでの前記認識結果に応じた前記第１の情報に基づき前記オブジェクトを投影する、
情報処理装置。
（２）
前記制御部は、
前記第１の部分領域についての前記オブジェクトの投影結果に応じた第１の表示情報の当該第１の部分領域への提示と、
前記第２の部分領域についての前記オブジェクトの投影結果に応じた第２の表示情報の当該第２の部分領域への提示と、
を互いに異なるタイミングで制御する、
前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記第１の部分領域及び前記第２の部分領域のうち少なくともいずれかの部分領域に対する表示情報の提示を、当該部分領域についての前記オブジェクトの投影の結果が取得されたタイミングに応じて制御する、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記部分領域に対する表示情報の提示に係るフレームレートが第１のフレームレートに低下したとき、前記第１の部分領域及び前記第２の部分領域のうち少なくともいずれかの部分領域への前記オブジェクトの投影に係る第２のフレームレートを前記第１のフレームレートよりも大きく設定する、前記（３）に記載の情報処理装置。
（５）
前記制御部は、
第１のタイミングでの前記認識結果に応じた前記第１の情報に基づく前記第１の部分領域への前記オブジェクトの投影と、当該投影の結果に応じた前記第１の表示情報の当該第１の部分領域への提示と、が順次実行される第１の処理と、
第２のタイミングでの前記認識結果に応じた前記第１の情報に基づく前記第２の部分領域への前記オブジェクトの投影と、当該投影の結果に応じた前記第２の表示情報の当該第２の部分領域への提示と、が順次実行される第２の処理と、
を互いに異なるタイミングで実行する、
前記（３）または（４）に記載の情報処理装置。
（６）
前記制御部は、所定の単位期間ごとに、前記第１の処理及び前記第２の処理をあらかじめ決められた順序で実行する、前記（５）に記載の情報処理装置。
（７）
前記第２のタイミングは、前記第１のタイミングよりも後のタイミングであり、
前記制御部は、前記第１の処理の実行後に、前記第２の処理を実行する、
前記（６）に記載の情報処理装置。
（８）
前記制御部は、前記第１の処理及び前記第２の処理のうち少なくともいずれかの処理について処理時間を推定し、当該処理時間の推定結果に応じて、当該処理に対応する前記第１の情報が取得される前に、対応する部分領域への表示情報の提示に係る処理を開始する、前記（５）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記制御部は、前記第１の処理及び前記第２の処理のうち少なくともいずれかの処理について処理時間を推定し、当該処理時間の推定結果に応じて、当該処理の実行をスキップする、前記（５）〜（７）のいずれか一項に記載の情報処理装置。
（１０）
前記制御部は、前記第１の処理及び前記第２の処理のうち少なくともいずれかの処理をスキップした場合には、当該処理により提示される表示情報に替えて、他の表示情報が対応する部分領域に提示されるように制御する、前記（９）に記載の情報処理装置。
（１１）
前記第１の部分領域と前記第２の部分領域とは互いに隣り合う領域であり、
前記制御部は、前記第１の表示情報と前記第２の表示情報とが連続した一連の表示情報として提示されるように、当該第１の表示情報と当該第２の表示情報とのうち少なくともいずれかを補正する、
前記（２）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記制御部は、前記表示領域に関連付けられた投影面に対して前記オブジェクトを投影することで、当該表示領域に対する当該オブジェクトの投影結果を取得する、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記制御部は、前記第１の情報に基づく、前記視点と、前記投影面と、前記オブジェクトと、の間の位置及び姿勢のうち少なくともいずれかの関係に応じて、当該投影面に当該オブジェクトを投影する、前記（１２）に記載の情報処理装置。
（１４）                                                                                        
前記第１の部分領域及び前記第２の部分領域は、前記表示領域を構成する複数の単位領域のうち、それぞれが互いに異なる１以上の単位領域を含む、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記単位領域は、スキャンライン及びタイルのうちのいずれかである、前記（１４）に記載の情報処理装置。
（１６）
前記投影の対象となる前記オブジェクトは仮想オブジェクトであり、
前記取得部は、実空間内の実オブジェクトの認識結果に関する第２の情報を取得し、
前記制御部は、
前記第２の情報に応じて前記仮想オブジェクトを実空間内の位置に関連付け、
当該仮想オブジェクトを前記第１の情報に基づき前記表示領域に投影する、
前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記制御部は、前記仮想オブジェクトが前記実オブジェクトに重畳して視認されるように、当該仮想オブジェクトを実空間内の位置に関連付けられる、前記（１６）に記載の情報処理装置。
（１８）
検知部による検知結果に応じて前記視点の位置及び姿勢のうち少なくともいずれかを認識する認識処理部を備え、
前記取得部は、前記認識の結果に応じた前記第１の情報を取得する、
前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
コンピュータが、
視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する第１の情報を取得することと、
前記第１の情報に基づき表示領域に対象となるオブジェクトを投影し、当該投影の結果に応じて表示情報が前記表示領域に提示されるように制御することと、
を含み、
前記表示領域に含まれる第１の部分領域及び第２の部分領域それぞれについて、互いに異なるタイミングでの前記認識結果に応じた前記第１の情報に基づき前記オブジェクトが投影される、
情報処理方法。
（２０）
コンピュータに、
視点の位置及び姿勢のうち少なくともいずれかの認識結果に関する第１の情報を取得することと、
前記第１の情報に基づき表示領域に対象となるオブジェクトを投影し、当該投影の結果に応じて表示情報が前記表示領域に提示されるように制御することと、
を実行させ、
前記表示領域に含まれる第１の部分領域及び第２の部分領域それぞれについて、互いに異なるタイミングでの前記認識結果に応じた前記第１の情報に基づき前記オブジェクトが投影される、
プログラム。
【符号の説明】
【０１９６】
１      情報処理システム
１０    情報処理装置
１０１  認識処理部
１０５  演算部
１０７  投影処理部
１０９  補正処理部
１１１  描画処理部
１１３  出力制御部
１１５  処理ブロック
１１７  処理ブロック
２０    入出力装置
２０１  撮像部
２０７  操作部
２１１  出力部
２５１  検知部
２９１  保持部
２９３ａ、２９３ｂ  レンズ
【図１】
2020003898.tif 000006
【図２】
2020003898.tif 000007
【図３】
2020003898.tif 000008
【図４】
2020003898.tif 000009
【図５】
2020003898.tif 000010
【図６】
2020003898.tif 000011
【図７】
2020003898.tif 000012
【図８】
2020003898.tif 000013
【図９】
2020003898.tif 000014
【図１０】
2020003898.tif 000015
【図１１】
2020003898.tif 000016
【図１２】
2020003898.tif 000017
【図１３】
2020003898.tif 000018
【図１４】
2020003898.tif 000019
【図１５】
2020003898.tif 000020