(57)【要約】【課題】表示画像に係る視点の制御をより直観的に実現する。【解決手段】ユーザの視線方向に関する視線情報を取得する視線情報取得部と、前記ユーザの身体の重心移動方向に関する重心移動情報を取得する移動情報取得部と、前記視線方向と前記重心移動方向とが略平行である場合、撮像部の撮像姿勢を実質的に維持した状態で前記撮像部の視点を前記重心移動方向において移動させることで前記撮像部の撮像姿勢に応じた視野画像を前記ユーザに提供するよう表示装置を制御する第１表示制御を行い、前記視線方向と前記重心移動方向が略平行ではない場合、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において移動させることで前記視野画像を前記ユーザに提供するよう前記表示装置を制御する第２表示制御を行う表示制御部と、を備える情報処理装置が提供される。【選択図】図１
2019040555.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視線方向に関する視線情報を取得する視線情報取得部と、
前記ユーザの身体の重心移動方向に関する重心移動情報を取得する移動情報取得部と、
前記視線方向と前記重心移動方向とが略平行である場合、撮像部の撮像姿勢を実質的に維持した状態で前記撮像部の視点を前記重心移動方向において移動させることで前記撮像部の撮像姿勢に応じた視野画像を前記ユーザに提供するよう表示装置を制御する第１表示制御を行い、前記視線方向と前記重心移動方向が略平行ではない場合、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において移動させることで前記視野画像を前記ユーザに提供するよう前記表示装置を制御する第２表示制御を行う表示制御部と、
を備える情報処理装置。
【請求項２】
前記表示制御部は、前記第２表示制御において、前記視線方向に基づいて前記撮像部の撮像姿勢を回転させる回転方向を決定する、
請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、前記第２表示制御において、前記視線方向に前記視野画像の画像中心が近づくよう前記撮像部の撮像姿勢を回転させる、
請求項１に記載の情報処理装置。
【請求項４】
前記表示制御部は、前記第２表示制御において、前記視線方向と前記重心移動方向との角度差の大きさに基づいて、前記撮像部の撮像姿勢を回転させる回転量を決定する、
請求項１に記載の情報処理装置。
【請求項５】
前記表示制御部は、前記第２表示制御において、前記角度差が判定値を下回る場合と前記角度差が前記判定値以上である場合とで、異なる算出方法を用いて前記回転量を決定し、前記撮像部の視点を前記重心移動方向において前記回転量に応じた移動量を以って移動させる、
請求項４に記載の情報処理装置。
【請求項６】
前記表示制御部は、前記第２表示制御において、前記角度差が前記判定値を下回る場合、前記撮像部の視点の移動方向が前記視線方向に向かってカーブするように前記回転量を決定し、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において前記回転量に応じた移動量を以って移動させる、
請求項５に記載の情報処理装置。
【請求項７】
前記表示制御部は、前記第２表示制御において、前記角度差が前記判定値を下回り、かつ前記角度差が所定値を下回る場合、前記角度差が小さくなるにつれて回転の度合いが小さくなるよう前記回転量を決定する、
請求項５に記載の情報処理装置。
【請求項８】
前記表示制御部は、前記第２表示制御において、前記角度差が前記判定値を下回り、かつ前記角度差が所定値以上である場合、前記角度差が小さくなるにつれて回転の度合いが大きくなるよう前記回転量を決定する、
請求項５に記載の情報処理装置。
【請求項９】
前記表示制御部は、前記第２表示制御において、前記角度差が前記判定値以上である場合、前記撮像部の視点の移動方向が前記視線方向に向かって回り込むように前記回転量を決定し、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において前記回転量に応じた移動量を以って移動させる、
請求項５に記載の情報処理装置。
【請求項１０】
前記表示制御部は、前記第２表示制御において、前記角度差が前記判定値以上である場合、前記角度差が小さくなるにつれて回転の度合いが大きくなるよう前記回転量を決定する、
請求項５に記載の情報処理装置。
【請求項１１】
前記表示制御部は、前記第２表示制御において、前記角度差が前記判定値以上である場合、前記角度差が前記判定値を下回る場合よりも回転量の変化の度合いが小さくなるよう前記回転量を決定する、
請求項５に記載の情報処理装置。
【請求項１２】
前記表示制御部は、前記第２表示制御において、現状態における前記視線方向と前状態における前記視線方向とが略平行である場合、前記撮像部の撮像姿勢を回転させずに、前記撮像部の視点を前記重心移動方向において移動させる、
請求項１に記載の情報処理装置。
【請求項１３】
前記表示制御部は、前記第２表示制御において、現状態における前記視線方向と前状態における前記視線方向とが略平行ではなく、かつ前記ユーザの注視点が変化していないと推定した場合、前記注視点の方向に前記視野画像の画像中心が近づくよう前記撮像部の撮像姿勢を回転させる、
請求項１に記載の情報処理装置。
【請求項１４】
前記表示制御部は、前記第２表示制御において、現状態における前記視線方向と前状態における前記視線方向とが略平行ではなく、かつ前記ユーザの注視点が変化していると推定した場合、現状態の前記視線方向に前記視野画像の画像中心が近づくよう前記撮像部の撮像姿勢を回転させる、
請求項１に記載の情報処理装置。
【請求項１５】
前記表示装置は、前記ユーザが装着するヘッドマウントディスプレイであり、
前記表示制御部は、前記視野画像を前記ヘッドマウントディスプレイの表示部に表示させる、
請求項１に記載の情報処理装置。
【請求項１６】
前記撮像部は、仮想空間において任意の視点に対応する視野画像を生成する仮想カメラであり、
前記表示制御部は、前記仮想カメラの撮像姿勢および視点に応じた前記視野画像を前記表示装置に表示させる、
請求項１に記載の情報処理装置。
【請求項１７】
前記撮像部は、実空間において無人移動体が備える実カメラであり、
前記表示制御部は、前記実カメラの撮像姿勢および視点に応じた前記視野画像を前記表示装置に表示させる、
請求項１に記載の情報処理装置。
【請求項１８】
前記表示制御部は、水平方向における前記視線方向と前記重心移動方向と差に基づいて、前記第１表示制御および前記第２表示制御を実行し、垂直方向における前記視線方向に基づいて、前記撮像部の視点の移動に係る移動量を制御する、
請求項１に記載の情報処理装置。
【請求項１９】
プロセッサが、
ユーザの視線方向に関する視線情報を取得することと、
前記ユーザの身体の重心移動方向に関する重心移動情報を取得することと、
前記視線方向と前記重心移動方向とが略平行である場合、撮像部の撮像姿勢を実質的に維持した状態で前記撮像部の視点を前記重心移動方向において移動させることで前記撮像部の撮像姿勢に応じた視野画像を前記ユーザに提供するよう表示装置を制御する第１表示制御を行い、前記視線方向と前記重心移動方向が略平行ではない場合、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において移動させることで前記視野画像を前記ユーザに提供するよう前記表示装置を制御する第２表示制御を行うこと、
を含む情報処理方法。
【請求項２０】
コンピュータを、
ユーザの視線方向に関する視線情報を取得する視線情報取得部と、
前記ユーザの身体の重心移動方向に関する重心移動情報を取得する移動情報取得部と、
前記視線方向と前記重心移動方向とが略平行である場合、撮像部の撮像姿勢を実質的に維持した状態で前記撮像部の視点を前記重心移動方向において移動させることで前記撮像部の撮像姿勢に応じた視野画像を前記ユーザに提供するよう表示装置を制御する第１表示制御を行い、前記視線方向と前記重心移動方向が略平行ではない場合、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において移動させることで前記視野画像を前記ユーザに提供するよう前記表示装置を制御する第２表示制御を行う表示制御部と、
を備える情報処理装置、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、ユーザの頭部に装着され、眼前に配置されたディスプレイによりユーザに画像を提供するヘッドマウントディスプレイが広く普及している。また、ヘッドマウントディスプレイが表示する画像に対する没入感を向上させるための技術が多く開発されている。例えば、特許文献１には、ヘッドマウントディスプレイの姿勢変化の度合いに基づいて画像の表示制御を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−５４２０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の技術では、一部、コントローラ型の入力装置を用いて視線方向の切り替えを実現している。このため、特許文献１に記載の技術では、視線方向の制御に対する操作感が強く、十分な没入感を得ることが困難な場合がある。
【０００５】
そこで、本開示では、表示画像に係る視点の制御をより直観的に実現することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、ユーザの視線方向に関する視線情報を取得する視線情報取得部と、前記ユーザの身体の重心移動方向に関する重心移動情報を取得する移動情報取得部と、前記視線方向と前記重心移動方向とが略平行である場合、撮像部の撮像姿勢を実質的に維持した状態で前記撮像部の視点を前記重心移動方向において移動させることで前記撮像部の撮像姿勢に応じた視野画像を前記ユーザに提供するよう表示装置を制御する第１表示制御を行い、前記視線方向と前記重心移動方向が略平行ではない場合、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において移動させることで前記視野画像を前記ユーザに提供するよう前記表示装置を制御する第２表示制御を行う表示制御部と、を備える情報処理装置が提供される。
【０００７】
また、本開示によれば、プロセッサが、ユーザの視線方向に関する視線情報を取得することと、前記ユーザの身体の重心移動方向に関する重心移動情報を取得することと、前記視線方向と前記重心移動方向とが略平行である場合、撮像部の撮像姿勢を実質的に維持した状態で前記撮像部の視点を前記重心移動方向において移動させることで前記撮像部の撮像姿勢に応じた視野画像を前記ユーザに提供するよう表示装置を制御する第１表示制御を行い、前記視線方向と前記重心移動方向が略平行ではない場合、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において移動させることで前記視野画像を前記ユーザに提供するよう前記表示装置を制御する第２表示制御を行うこと、を含む情報処理方法が提供される。
【０００８】
また、本開示によれば、コンピュータを、ユーザの視線方向に関する視線情報を取得する視線情報取得部と、前記ユーザの身体の重心移動方向に関する重心移動情報を取得する移動情報取得部と、前記視線方向と前記重心移動方向とが略平行である場合、撮像部の撮像姿勢を実質的に維持した状態で前記撮像部の視点を前記重心移動方向において移動させることで前記撮像部の撮像姿勢に応じた視野画像を前記ユーザに提供するよう表示装置を制御する第１表示制御を行い、前記視線方向と前記重心移動方向が略平行ではない場合、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において移動させることで前記視野画像を前記ユーザに提供するよう前記表示装置を制御する第２表示制御を行う表示制御部と、を備える情報処理装置、として機能させるプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、表示画像に係る視点の制御をより直観的に実現することが可能となる。
【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の第１の実施形態の概要について説明するための図である。
【図２】同実施形態に係るシステム構成例と情報処理装置の機能構成例とを示すブロック図である。
【図３】同実施形態に係る第１表示制御について説明するための図である。
【図４】同実施形態に係る視点の直進移動に係る軌道について詳細に説明する。
【図５】同実施形態に係る第２表示制御におけるカーブ移動について説明するための図である。
【図６】同実施形態に係る回転量の算出に用いられる算出方法について説明するための図である。
【図７】同実施形態に係る第２表示制御におけるカーブ移動の軌道を示す図である。
【図８】同実施形態に係る第２表示制御における回り込み移動について説明するための図である。
【図９】同実施形態に係る第２表示制御における回り込み移動の軌道を示す図である。
【図１０】同実施形態に係る視線方向の時系列情報を用いた視点の移動制御について説明するための図である。
【図１１】同実施形態に係る視線方向に対し斜めに直進移動する場合の制御について説明するための図である。
【図１２】同実施形態に係る視線方向の時系列情報を用いた視点の曲線移動について説明するための図である。
【図１３】同実施形態に係る撮像部が実カメラである場合の移動制御について説明するための図である。
【図１４】同実施形態に係る情報処理装置による制御の基本的な流れを示すフローチャートである。
【図１５】同実施形態に係る視線方向の時系列情報を用いない視点の移動制御の流れを示すフローチャートである。
【図１６】同実施形態に係る視線方向の時系列情報を用いた視点の移動制御の流れを示すフローチャートである。
【図１７】同実施形態に係る本開示の第２の実施形態に係る視線方向を用いた移動方向の補正について説明するための図である。
【図１８】同実施形態に係る移動ベクトルの補正領域について説明するための図である。
【図１９】同実施形態に係る２つの補正領域をユーザＵ２の頭上から示した図である。
【図２０】同実施形態に係る２つの補正領域をユーザＵ２の側方から示した図である。
【図２１】同実施形態に係る移動トリガーと動作クラスの一例について説明するための図である。
【図２２】同実施形態に係る情報処理装置による制御の流れを示すフローチャートである。
【図２３】同実施形態に係る移動ベクトルの補正制御の流れを示すフローチャートである。
【図２４】本開示の一実施形態に係るハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．概要
１．２．機能構成
１．３．視点の移動制御の詳細
１．４．制御の流れ
２．第２の実施形態
２．１．概要
２．２．移動ベクトルの補正に係る詳細
２．３．制御の流れ
３．ハードウェア構成例
４．まとめ
【００１４】
＜１．第１の実施形態＞
＜＜１．１．概要＞＞
上述したように、近年では、ヘッドマウントディスプレイが広く普及している。ヘッドマウントディスプレイは、例えば、ユーザの頭部が向く方向に対応する仮想空間上の画像などを当該ユーザの眼前に配置される表示部に表示させることができる。ヘッドマウントディスプレイが有する上記の機能によれば、ユーザは、頭部を動かすことで仮想空間における視点を操作し、同空間上の種々の方向に対応する画像を楽しむことができる。
【００１５】
また、近年では、仮想空間上での移動と当該移動に伴う視点の変化を制御する機能を有する装置も存在する。上記のような装置は、例えば、ユーザによるコントローラの操作などに基づいて、仮想空間における視点を前後左右などに移動させ、当該移動に伴い変化する一連の画像を提供する。しかし、上記のような入力装置の操作を要する移動制御は、ユーザの両手を拘束すると共に操作感が強く、没入感を低下させる要因となる。
【００１６】
また、例えば、手を用いたジェスチャなどにより移動方向を指定する手法も開発されているが、ジェスチャの認識精度や方向の指示に係る曖昧性などから、ユーザが意図する方向へ正確に移動することが困難な場合もある。
【００１７】
本開示に係る技術思想は、上記の点に着目して発想されたものであり、表示画像に係る視点の制御をより直観的に実現することを可能とする。このために、本開示の一実施形態に係る情報処理装置、情報処理方法、およびプログラムは、重心の移動を伴うユーザの動作とユーザの視線の方向とに基づいてヘッドマウントディスプレイが提供する視野画像に係る視点を制御すること、を特徴の一つとする。
【００１８】
図１は、本開示の第１の実施形態の概要について説明するための図である。図１には、本実施形態に係るヘッドマウントディスプレイ型の情報処理装置１０を装着するユーザＵ１と、情報処理装置１０が表示する視野画像ＦＶが示されている。
【００１９】
図１の上部に示す状況の場合、情報処理装置１０は、ユーザの重心がＣＧ０に位置する状態において検出したユーザの視線方向ＳＤに基づいて、視線方向ＳＤに対応する仮想空間上の視野画像ＦＶをユーザＵ１の眼前に配置される表示部に表示している。また、図１の上部に示す視野画像ＦＶには、ユーザＵ１が注視している注視対象オブジェクトＴＯと注視対象オブジェクトＴＯ上におけるユーザＵ１の注視点ＰＶとが示されている。
【００２０】
ここで、図１の上部に示す状態から、図１の下部に示す状態にユーザＵ１の重心が前方に移動した場合、すなわちユーザＵ１の重心がＣＧ０からＣＧ１に移動した場合を想定する。この際、本実施形態に係る情報処理装置１０は、ユーザＵ１の身体の重心の移動方向ＧＤ（以下、重心移動方向、と称する）とユーザＵ１の視線方向ＳＤが略平行であることに基づいて、ユーザＵ１が前方に移動を望んでいると判定し、視野画像ＦＶを生成する仮想カメラ（撮像部）の視点を仮想空間上において前方に直進させる。
【００２１】
図１の下部に示す視野画像ＦＶを参照すると、上部に示す視野画像ＦＶと比較して注視対象オブジェクトＴＯが画像手前に近づいていることから、仮想カメラの視点が仮想空間上で前方に移動したことが確認できる。
【００２２】
このように、本実施形態に係る情報処理方法を実現する情報処理装置１０は、ユーザの視線方向と重心移動方向とに基づいて、視野画像を生成する撮像部の移動を制御することができる。本実施形態に係る情報処理装置１０が有する上記の機能によれば、ユーザがより直観的に視野画像に係る視点の移動を制御することができ、十分な没入感を得ることが可能となる。
【００２３】
なお、図１では、本実施形態に係る情報処理装置１０がユーザの視線方向と重心移動方向とに基づいて、視野画像を生成する撮像部を重心移動方向すなわち前方に直進させる場合を例に述べたが、本実施形態に係る視点の移動制御は係る例に限定されない。本実施形態に係る情報処理装置１０は、例えば、ユーザの視線方向と重心移動方向とに基づいて、視点が注視点の方向に曲がりながら移動するよう制御を行うことや、注視点に対して回り込むように移動するよう制御を行うことが可能である。
【００２４】
以下、上記の機能を実現する情報処理装置１０の構成や特徴について詳細に説明する。
【００２５】
＜＜１．２．機能構成＞＞
まず、本実施形態に係るシステム構成例について説明する。図２は、本実施形態に係るシステム構成例と情報処理装置１０の機能構成例とを示すブロック図である。図２を参照すると、本実施形態に係る情報処理システムは、情報処理装置１０とセンサ装置２０とを備える。また、情報処理装置１０とセンサ装置２０は、互いに通信が行えるように、ネットワーク３０を介して接続される。
【００２６】
（情報処理装置１０）
本実施形態に係る情報処理装置１０は、ユーザの視線方向と重心移動方向とに基づいて、視野画像に係る視点の移動を制御する機能を有する。本実施形態に係る情報処理装置１０は、ネットワーク３０を介してセンサ装置２０から受信したセンサ情報に基づいて、重心移動方向を取得してもよい。
【００２７】
また、上述したように、本実施形態に係る情報処理装置１０は、ヘッドマウントディスプレイとして実現されてよい。本実施形態に係る情報処理装置１０が有する機能の詳細については別途詳細に説明する。
【００２８】
（センサ装置２０）
本実施形態に係るセンサ装置２０は、ユーザの重心の移動に係るセンサ情報を収集する装置である。センサ装置２０は、収集した上記のセンサ情報をネットワーク３０を介して情報処理装置１０に送信する。本実施形態に係るセンサ装置２０は、例えば、圧力センサを備えるマット型の装置であってもよい。この場合、センサ装置２０は、装置に乗ったユーザの重心移動に伴い変化した圧力値の情報を情報処理装置１０に送信することができる。
【００２９】
また、本実施形態に係るセンサ装置２０は、撮像機能を有する装置であってもよい。この場合、情報処理装置１０は、センサ装置２０が撮像したユーザの身体を映した画像群に基づいて、ユーザの重心移動方向の推定することが可能である。また、この場合、センサ装置２０が複数の異なる角度から撮像したユーザの画像を送信することで、情報処理装置１０が重心移動方向を精度高く推定することができる。
【００３０】
また、本実施形態に係るセンサ装置２０は、ユーザの装着する赤外線マーカが照射または反射する赤外線を検出する赤外線センサを備えてもよい。この場合、情報処理装置１０は、センサ装置２０が検出した赤外線マーカの位置変化に基づいてユーザの重心移動方向を取得することが可能である。
【００３１】
また、本実施形態に係るセンサ装置２０は、加速度センサ、ジャイロセンサ、地磁気センサなどを備え、ユーザが装着する装置であってもよい。この場合、情報処理装置１０は、センサ装置２０が収集した加速度、角速度、方向などの情報に基づいてユーザの重心移動方向を推定することも可能である。
【００３２】
（ネットワーク３０）
ネットワーク３０は、情報処理装置１０とセンサ装置２０とを接続する機能を有する。ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３０は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
【００３３】
以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、後述するように、本実施形態に係る情報処理システムは、情報処理装置１０による制御に基づいて移動を行う制御対象装置などを備えてもよい。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。
【００３４】
引き続き、図２を参照し、本実施形態に係る情報処理装置１０の機能構成例について説明する。図２を参照すると、本実施形態に係る情報処理装置１０は、移動情報取得部１１０、視線情報取得部１２０、表示制御部１３０、撮像部１４０、表示部１５０、および通信部１６０を備える。
【００３５】
（移動情報取得部１１０）
本実施形態に係る移動情報取得部１１０は、ユーザの身体の重心移動方向に関する重心移動情報を取得する機能を有する。本実施形態に係る移動情報取得部１１０は、センサ装置２０が収集したセンサ情報に基づいて重心移動方向を取得することができる。本実施形態に係る移動情報取得部１１０は、例えば、圧力情報、画像情報、マーカ位置情報、加速度情報、角速度情報、方向情報などに基づいて重心移動方向を取得することが可能である。
【００３６】
（視線情報取得部１２０）
本実施形態に係る視線情報取得部１２０は、ユーザの視線方向に関する視線情報を取得する機能を有する。本実施形態に係る視線情報取得部１２０は、例えば、角膜反射法などを用いてユーザの視線情報を取得してもよい。ここで、角膜反射法とは、ユーザの眼球に対して光源から光を照射し、その光の角膜表面での反射光と瞳孔の位置とを検出して視線方向を推定する手法である。このために、本実施形態に係る視線情報取得部１２０は、ユーザの眼球に光を照射する光源や角膜表面からの反射光を検出する撮像センサを備えてもよい。
【００３７】
また、本実施形態に係る視線情報取得部１２０は、情報処理装置１０の正面方向をユーザの視線方向として推定してもよい。このために、本実施形態に係る視線情報取得部１２０は、情報処理装置１０の正面方向の変化を検出するためのジャイロセンサや地磁気センサを備えてもよい。
【００３８】
（表示制御部１３０）
本実施形態に係る表示制御部１３０は、視線情報取得部１２０が取得した視線情報と移動情報取得部１１０が取得した視線情報とに基づいて、視野画像を提供する撮像部１４０の視点の移動を制御する機能を有する。この際、本実施形態に係る表示制御部１３０は、視線方向と重心移動方向との角度差に基づいて視点の移動を制御することを特徴とする。
【００３９】
具体的には、本実施形態に係る表示制御部１３０は、視線方向と重心移動方向とが略平行である場合、撮像部１４０の撮像姿勢を実質的に維持した状態で、撮像部１４０の視点を重心移動方向に移動させることで撮像部１４０の撮像姿勢に応じた視野画像をユーザに提供するよう表示部１５０を制御する第１表示制御を行う。
【００４０】
すなわち、本実施形態に係る表示制御部１３０は、視線方向と重心移動方向とがほぼ同一方向である場合、ユーザが当該方向への移動を望んでいると判定し、撮像姿勢を維持したまま撮像部１４０の視点を重視方向へ直進移動させる。なお、上記の撮像姿勢とは、３自由度の回転軸（ロール軸、ピッチ軸、ヨー軸）により定義される姿勢であってよい。
【００４１】
本実施形態に係る表示制御部１３０が有する上記の機能によれば、視線方向またはジェスチャから推定される方向のみを用いて視点の移動を制御する場合と比較して、ユーザの望む移動方向を精度高く検出する効果が期待される。
【００４２】
また、本実施形態に係る表示制御部１３０は、視線方向と重心移動方向が略平行ではない場合、撮像部１４０の撮像姿勢を回転させるとともに撮像部１４０の視点を重心移動方向において移動させることで視野画像をユーザに提供するよう表示部１５０を制御する第２表示制御を行う。
【００４３】
すなわち、本実施形態に係る表示制御部１３０は、視線方向と重心移動方向とが別方向を向いている場合、ユーザが現在の移動方向から視線方向への方向転換を望んでいると判定し、撮像部１４０の撮像姿勢を視線方向へ回転させながら撮像部１４０の視点を重心移動方向において曲線を描くように移動させる。
【００４４】
本実施形態に係る表示制御部１３０が有する上記の機能によれば、直進や後退に限定されない自由度の高い視点の移動制御を行うことができる。また、上記の機能によれば、ユーザの意図する視点の移動方向が重心移動方向とは異なる場合であっても、視線方向により視点の移動方向を補正することができ、より直観的かつ精度の高い視点の移動制御を実現することが可能となる。
【００４５】
なお、本実施形態に係る表示制御部１３０が有する機能の詳細については、別途、具体例を挙げながら詳細に説明する。
【００４６】
（撮像部１４０）
本実施形態に係る撮像部１４０は、表示制御部１３０による制御に基づいて撮像姿勢と視点を変更し、当該撮像姿勢と視点とに対応した視野画像を得る機能を有する。本実施形態に係る撮像部１４０は、例えば、仮想空間において任意の視点方向に対応する視野画像を生成する仮想カメラであってもよい。すなわち、本実施形態に係る表示制御部１３０は、仮想カメラの撮像姿勢および視点を制御し、当該撮像姿勢と視点に応じた視野画像を表示部１５０に表示させることができる。
【００４７】
また、本実施形態に係る撮像部１４０は、実空間においてＵＡＶ（Ｕｎｍａｎｎｅｄ  ａｅｒｉａｌ  ｖｅｈｉｃｌｅ）や各種のロボットなどの無人移動体が備える実カメラであってもよい。すなわち、本実施形態に係る表示制御部１３０は、実カメラの撮像姿勢および視点を制御し、当該撮像姿勢と視点に応じた視野画像を表示部１５０に表示させることができる。
【００４８】
なお、本実施形態に係る撮像部１４０の視点の並進に係る自由度は、撮像部１４０の特性により異なってよい。例えば、撮像部１４０が地表における人間や車などの視点を再現する仮想カメラである場合や、地表に接して移動を行う無人移動体である場合、撮像部１４０は、２自由度の並進軸（ｘ軸、ｙ軸）を有してよい。
【００４９】
一方、撮像部１４０や鳥や魚などの視点を再現する仮想カメラである場合や、空中や水中を無人移動体である場合、撮像部１４０は、３自由度の並進軸（ｘ軸、ｙ軸、ｚ軸）を有してよい。
【００５０】
（表示部１５０）
本実施形態に係る表示部１５０は、表示制御部１３０による制御に基づいて視野画像をユーザに提示する機能を有する。本実施形態に係る表示部１５０は、本開示における表示装置の一例として見做されてよい。本実施形態に係る表示部１５０は、ユーザの眼前に配置され、例えば、ユーザの右眼および左眼に対応する２つの表示領域を有する。上記の表示領域は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどにより実現される。
【００５１】
（通信部１６０）
本実施形態に係る通信部１６０は、ネットワーク３０を介してセンサ装置２０との情報通信を行う機能を有する。具体的には、通信部１６０は、センサ装置２０から種々のセンサ情報を受信する。また、本実施形態に係る通信部１６０は、上述した制御対象装置との情報通信を行ってもよい。ここで、上記の制御対象装置とは、表示制御部１３０が制御を行う実カメラを備える無人移動体であり得る。この場合、通信部１６０は、表示制御部１３０が生成した視点制御に係る制御信号を制御対象装置に送信する。
【００５２】
以上、本実施形態に係る情報処理装置１０の機能構成について説明した。なお、図２を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理装置１０の機能構成は係る例に限定されない。例えば、本実施形態に係る情報処理装置１０は、ヘッドマウントディスプレイとは分離して備えられるサーバなどであってもよい。この場合、情報処理装置１０は、ネットワーク３０を介してユーザが装着するヘッドマウントディスプレイを制御することで、視野画像をヘッドマウントディスプレイの表示部に表示させることも可能である。本実施形態に係る情報処理装置１０の機能構成は、仕様や運用に応じて柔軟に変更可能である。
【００５３】
＜＜１．３．視点の移動制御の詳細＞＞
次に、本実施形態に係る表示制御部１３０による撮像部１４０の視点の移動制御について詳細に説明する。上述したように、本実施形態に係る表示制御部１３０は、ユーザの視線方向と重心移動方向とに基づいて、視野画像を取得する撮像部１４０の視点や撮像姿勢を制御することができる。
【００５４】
この際、本実施形態に係る表示制御部１３０は、視線方向と重心移動方向との角度差に基づいて、軌道の異なる複数種の視点移動を実現することが可能である。
【００５５】
まず、本実施形態に係る第１表示制御について説明する。本実施形態に係る第１表示制御は、撮像部１４０の撮像姿勢を実質的に維持したまま撮像部１４０の視点を重心移動方向において移動させることを特徴の一つとする。本実施形態に係る表示制御部１３０は、視線方向と重心移動方向とが略平行である場合に、第１表示制御を行う。
【００５６】
図３は、本実施形態に係る第１表示制御について説明するための図である。図３の左側には、情報処理装置１０を装着するユーザＵ１が示されており、また、ユーザＵ１の視線方向ＳＤが点線の矢印により、ＣＧ０からＣＧ１へ移動する重心移動方向ＧＤが実線の矢印により示されている。
【００５７】
この際、本実施形態に係る表示制御部１３０は、視線方向ＳＤと重心移動方向ＧＤとが略平行であることに基づいて、撮像部１４０の撮像姿勢を実質的に維持したまま視点を重心移動方向ＧＤに直進移動させる。具体的には、表示制御部１３０は、視線方向ＳＤと重心移動方向ＧＤとの角度差θが第１の閾値（例えば、５°など）未満である場合、上記の直進移動制御を実行してよい。図３の右側における視野画像ＦＶには、上記の移動制御に基づく撮像部１４０の視点の軌道が白抜きの矢印により模擬的に示されている。
【００５８】
次に、図４を参照して、視点の直進移動に係る軌道について詳細に説明する。図４は、本実施形態に係る第１表示制御における直進移動の軌道を示す図である。図４には、時刻ｔ＝０〜２の時点における撮像部１４０の視点と撮像姿勢とが人物モデルＭＬ０〜ＭＬ２により表されている。ここで、図中における人物モデルＭＬ０〜ＭＬ２の位置は、仮想空間における撮像部１４０の視点の位置を表す。また、人物モデルＭＬ０〜ＭＬ２の正面方向は、撮像部１４０の水平方向の撮像姿勢を表す。また、人物モデルＭＬ０〜ＭＬ２における頭部の向きはユーザの視線方向ＳＤを表している。なお、図４においてユーザの重心移動方向ＧＤは、図３と同様に実線の矢印により表されている。
【００５９】
図示するように、時刻ｔ＝０の時点で注視点ＰＶに向かうユーザの視線方向ＳＤと重心移動方向ＧＤとが略平行である場合、表示制御部１３０は、撮像姿勢を実質的に維持したまま撮像部１４０の視点を重心移動方向ＧＤに移動させる。同様に、移動後の時刻ｔ＝１の時点で注視点ＰＶに向かうユーザの視線方向ＳＤと重心移動方向ＧＤとが略平行である場合、表示制御部１３０は、撮像姿勢を実質的に維持したまま撮像部１４０の視点を重心移動方向ＧＤに移動させる。
【００６０】
表示制御部１３０による上記の制御によれば、撮像部１４０の視点の移動に係る軌跡は、図中に示す人物モデルＭＬ０〜ＭＬ２のように直線となる。このように、本実施形態に係る表示制御部１３０は、ユーザの視線方向ＳＤと重心移動方向ＧＤとが略平行である場合、撮像部１４０の視線を直進移動させることで、直進方向に順次取得される視野画像を表示部１５０に表示させることができる。
【００６１】
なお、表示制御部１３０は、視線情報からユーザの注視点ＰＶの深度が変わらないことを検出した場合、図示するように、注視点ＰＶに近づくにつれ直進移動の移動量が小さくなるよう制御することも可能である。表示制御部１３０が有する上記の機能によれば、ユーザが視線や重心により直観的に視点の直進や停止を制御することが可能となる。
【００６２】
次に、本実施形態に係る第２表示制御について説明する。本実施形態に係る第２表示制御は、撮像部１４０の撮像姿勢を回転させるとともに撮像部１４０の視点を重心移動方向において移動させることを特徴の一つとする。本実施形態に係る表示制御部１３０は、視線方向と重心移動方向とが略平行でない場合、すなわち視線方向と重心移動方向との角度差θが第１の閾値を超える場合に、第２表示制御を行う。
【００６３】
この際、本実施形態に係る表示制御部１３０は、ユーザの視線方向に基づいて、撮像部１４０の撮像姿勢を回転させる方向を決定する。より具体的には、表示制御部１３０は、ユーザの視線方向に撮像部１４０が取得する視野画像の画像中心が近づくよう撮像部１４０の撮像姿勢を回転させてよい。表示制御部１３０が有する上記の機能によれば、ユーザの視線方向の変化に対応するより自然な視野画像を動的に取得することが可能となる。
【００６４】
また、本実施形態に係る表示制御部１３０は、第２表示制御において、視線方向と重心移動方向との角度差θの大きさに基づいて、撮像部１４０の撮像姿勢を回転させる回転量を決定することを特徴の一つとする。この際、本実施形態に係る表示制御部１３０は、角度差θが判定値を下回る場合と、角度差θが判定値以上である場合とで、異なる算出方法を用いて回転量を決定し、撮像部１４０の視点を重心移動方向において当該回転量に応じた移動量を以って移動させる。本実施形態に係る表示制御部１３０が有する上記の機能によれば、軌道の異なる２種の曲線移動を実現することが可能となる。
【００６５】
ここで、上記の曲線移動は、カーブ移動と回り込み移動とを含む。まず、本実施形態に係るカーブ移動について説明する。
【００６６】
図５は、本実施形態に係る第２表示制御におけるカーブ移動について説明するための図である。図５の左側には、図３の場合と同様に、ユーザＵ１の視線方向ＳＤが点線の矢印により、ＣＧ０からＣＧ１へ移動する重心移動方向ＧＤが実線の矢印により示されている。一方、図５に示す一例の場合、図３の場合とは異なり、ユーザＵ１の視線方向ＳＤと重心移動方向ＧＤとは略平行ではない。この際、本実施形態に係る表示制御部１３０は、視線方向ＳＤと重心移動方向ＧＤとの角度差θに基づいて、撮像姿勢の回転に係る算出方法を決定する。
【００６７】
図５に示す一例の場合、表示制御部１３０は、角度差θが判定値を下回ることに基づいて、撮像部１４０の視点がカーブ移動を行うように移動制御を行う。図５の右側における視野画像ＦＶには、上記の移動制御に基づく撮像部１４０の視点の軌道が白抜きの矢印により模擬的に示されている。
【００６８】
ここで、表示制御部１３０が角度差θに基づいて回転量を決定する際の算出方法について説明する。図６は、本実施形態に係る回転量の算出に用いられる算出方法について説明するための図である。図６には、表示制御部１３０が角度差θに基づいて回転量を決定する際に用いる３つの関数がグラフにより示されている。なお、図６の横軸は、角度差θの大きさと、縦軸は単位時間あたりの回転量を示している。
【００６９】
例えば、角度差θが第１の閾値Ｅ１以上であり第３の閾値Ｅ３よりも小さい場合、表示制御部１３０は、第１の関数Ｆ１または第２の関数Ｆ２を用いて回転量を決定し、撮像部１４０の視点がカーブ移動を行うよう移動制御を行う。すなわち、表示制御部１３０は、角度差θが判定値に対応する第３の閾値Ｅ３を下回る場合、撮像部１４０の視点の移動方向が視線方向に向かってカーブするように回転量を決定し、撮像部１４０の撮像姿勢を回転させるとともに撮像部１４０の視点を重心移動方向において当該回転量に応じた移動量を以って移動させることができる。
【００７０】
なお、カーブ移動に係る制御を行う場合、表示制御部１３０は、角度差θの大きさに基づいて第１の関数Ｆ１または第２の関数Ｆ２を使い分けることで視点のカーブ移動を実現する。
【００７１】
具体的には、表示制御部１３０は、角度差θが判定値に対応する第３の閾値Ｅ３を下回り、かつ角度差θが所定値に対応する第２の閾値Ｅ２を下回る場合、第１の関数Ｆ１を用いることで、角度差θが小さくなるにつれて回転の度合いが小さくなるよう回転量を決定する。この際、第１の関数Ｆ１により算出される回転量ｙは、例えば、ｙ＝ｗ１θ、により定義されてもよい。
【００７２】
一方、表示制御部１３０は、角度差θが判定値に対応する第３の閾値Ｅ３を下回り、かつ角度差θが所定値に対応する第２の閾値Ｅ２以上である場合、第２の関数Ｆ２を用いて角度差θが小さくなるにつれて回転の度合いが大きくなるよう回転量を決定する。この際、第２の関数Ｆ２により算出される回転量ｙは、例えば、ｙ＝ｗ２（−θ）＋ｂ、により定義されてもよい。
【００７３】
図７は、本実施形態に係る第２表示制御におけるカーブ移動の軌道を示す図である。図７では、角度差θ＝４５°未満である状態から表示制御部１３０が撮像部１４０の視点をカーブ移動させる場合の例が示されている。なお、図７では、時刻ｔ＝０〜３の時点における撮像部１４０の視点と撮像姿勢とが人物モデルＭＬ０〜ＭＬ３により表されている。
【００７４】
図示するように、時刻ｔ＝０の時点で注視点ＰＶに向かうユーザの視線方向ＳＤと重心移動方向ＧＤとの角度差θが第２の閾値Ｅ２（ここでは、４５°）を下回る場合、表示制御部１３０は、第１の関数Ｆ１を用いて算出した回転量により撮像部１４０の撮像姿勢を視線方向ＳＤに近づくよう回転させ、当該回転量に応じた移動量を以って撮像部１４０の視点を移動させる。
【００７５】
同様に、時刻ｔ＝１〜３の時点においても、表示制御部１３０は、角度差θが第２の閾値Ｅ２を下回ることに基づいて、第１の関数Ｆ１を用いて算出した回転量により撮像部１４０の撮像姿勢を回転させている。時刻ｔ＝０〜３に対応する人物モデルＭＬ０〜ＭＬ３を参照すると、第１の関数Ｆ１に従い、角度差θが小さくなるにつれ撮像姿勢の回転量の度合いも小さくなっていることがわかる。
【００７６】
一方、時刻ｔ＝４の時点においては、ユーザの視線方向ＳＤと重心移動方向ＧＤとの角度差θは０となっているため、表示制御部１３０は、図４に示した場合と同様に、撮像姿勢を保ったまま撮像部１４０の視点を直進移動させている。
【００７７】
このように、本実施形態に係る表示制御部１３０によれば、視点の移動方向がユーザの注視点ＰＶに向かってカーブしながら近づくような軌道を実現することが可能となる。
【００７８】
次に、本実施形態に係る回り込み移動について説明する。図８は、本実施形態に係る第２表示制御における回り込み移動について説明するための図である。図８の右側には、図５の場合と同様に、ユーザＵ１の視線方向ＳＤが点線の矢印により、ＣＧ０からＣＧ１へ移動する重心移動方向ＧＤが実線の矢印により示されている。また、図８に示す一例の場合、ユーザＵ１の視線方向ＳＤと重心移動方向ＧＤとの角度差θは、判定値に対応する第３の閾値Ｅ３以上である。この際、本実施形態に係る表示制御部１３０は、第３の関数Ｆ３を用いて撮像部１４０の撮像姿勢に係る回転量を決定してよい。図８の左側における視野画像ＦＶには、上記の移動制御に基づく撮像部１４０の視点の軌道が白抜きの矢印により模擬的に示されている。
【００７９】
ここで、再び、図６を参照して、本実施形態に係る第３の関数Ｆ３について説明する。角度差θが判定値に対応する第３の閾値以上であり、第４の閾値Ｅ４（例えば、１７５°）未満である場合、表示制御部は、図６に示すグラフに従い、第３の関数Ｆ３を用いて回転量の算出を行い、撮像部１４０の視点が回り込み移動を行うよう移動制御を行う。すなわち、視線方向と重心移動方向とが略平行ではなく、角度差θが判定値に対応する第３の閾値Ｅ３以上である場合、表示制御部１３０は、撮像部１４０の視点の移動方向が視線方向に向かって回り込むように回転量を決定し、撮像部１４０の撮像姿勢を回転させるとともに撮像部の視点を重心移動方向において回転量に応じた移動量を以って移動させることができる。
【００８０】
この際、本実施形態に係る表示制御部１３０は、第３の関数Ｆ３に従い、角度差θが小さくなるにつれて回転の度合いが大きくなるよう回転量を決定する。ただし、表示制御部１３０は、カーブ移動の場合よりも、全体的に回転量の変化の度合いが小さくなるよう撮像姿勢に係る回転量を決定する。この際、第３の関数Ｆ３により算出される回転量ｙは、例えば、ｙ＝ｗ３（−θ）＋ｂ、により定義されてもよい。
【００８１】
図９は、本実施形態に係る第２表示制御における回り込み移動の軌道を示す図である。図９では、角度差θ＝１２０°である状態から表示制御部１３０が撮像部１４０の視点を回り込み移動させる場合の例が示されている。なお、図９では、時刻ｔ＝０〜３の時点における撮像部１４０の視点と撮像姿勢とが人物モデルＭＬ０〜ＭＬ３により表されている。
【００８２】
図示するように、時刻ｔ＝０の時点で注視点ＰＶに向かうユーザの視線方向ＳＤと重心移動方向ＧＤとの角度差θが第３の閾値Ｅ３（ここでは、９０°）以上である場合、表示制御部１３０は、第３の関数Ｆ３を用いて算出した回転量により撮像部１４０の撮像姿勢を視線方向ＳＤに近づくよう回転させ、当該回転量に応じた移動量を以って撮像部１４０の視点を移動させる。
【００８３】
同様に、時刻ｔ＝１〜３の時点においても、表示制御部１３０は、角度差θが第３の閾値Ｅ３以上であることに基づいて、第３の関数Ｆ３を用いて算出した回転量により撮像部１４０の撮像姿勢を回転させている。時刻ｔ＝０〜３に対応する人物モデルＭＬ０〜ＭＬ３を参照すると、第３の関数Ｆ３に従い、角度差θが小さくなるにつれ撮像姿勢の回転量の度合いが大きくなっていることがわかる。
【００８４】
このように、本実施形態に係る表示制御部１３０によれば、視点の移動方向がユーザの注視点ＰＶに対し回り込みながら近づくような軌道を実現することが可能となる。
【００８５】
以上、本実施形態に係る第１表示制御および第２表示制御の基本的な動作について述べた。本実施形態に係る第１表示制御および第２表示制御によれば、ユーザの視線方向と重心移動方向との角度差に基づいて、直進とカーブ、回り込み移動を使い分けることができ、より自然な視点変化を伴う視野画像をユーザに提供することが可能となる。
【００８６】
一方、これまでに説明した視点の移動制御では、視線方向と重心移動方向とが略平行である場合にのみ、撮像部１４０の視点を直進移動させることが可能である。しかし、状況によっては、視線方向とは別の方向に直進移動を行いたい場合も想定される。
【００８７】
例えば、撮像部１４０が水平面において全方向に直進移動が可能なホバーボードなどの視点を再現する仮想カメラである場合、視線を正面に向けたまま撮像部１４０の視点を斜め方向に直進させるような状況も考えられる。
【００８８】
本実施形態に係る表示制御部１３０は、視点の移動方向の判定に視線方向の時系列情報を用いることで、上記のような斜め方向への直進移動を実現することが可能である。
【００８９】
図１０は、本実施形態に係る視線方向の時系列情報を用いた視点の移動制御について説明するための図である。図１０の左側には、ユーザＵ１の視線方向ＳＤが点線の矢印により、ＣＧ０からＣＧ１へ移動する重心移動方向ＧＤが実線の矢印により示されている。図１０に示す一例の場合、視線方向ＳＤと重心移動方向ＧＤとは略平行である。
【００９０】
この際、本実施形態に係る表示制御部１３０は、図１０の右側に示す軌道のように撮像部１４０の視点に係る移動制御を行う。図１０の右側には、時刻ｔ＝０〜２の時点における撮像部１４０の視点と撮像姿勢とが人物モデルＭＬ０〜ＭＬ２により表されている。
【００９１】
表示制御部１３０は、まず、時刻ｔ＝０の時点においては、前状態の視線情報が存在しないことから、ユーザの重心移動方向ＧＤに撮像部１４０の視点を移動させる。
【００９２】
次に、表示制御部１３０は、時刻ｔ＝１の時点において、前状態すなわち時刻ｔ＝０の時点における視線方向ＳＤと現状態すなわち時刻ｔ＝１の時点において取得された視線方向ＳＤを比較する。図１０に示す一例の場合、ユーザの視線方向ＳＤは時刻ｔ＝０および時刻ｔ＝１で略平行であることから、表示制御部１３０は、撮像部１４０の視点の移動方向を維持し、時刻ｔ＝２の状態に移行する。
【００９３】
このように、本実施形態に係る表示制御部１３０は、視線方向の時系列情報を用いて撮像部１４０の視点の移動を制御することが可能である。本実施形態に係る上記の機能によれば、視線方向と重心移動方向とが略平行ではない場合であっても、撮像部１４０の視点を直進移動させることができる。
【００９４】
図１１は、本実施形態に係る視線方向に対し斜めに直進移動する場合の制御について説明するための図である。図１１の左側には、図１０と同様に、ユーザＵ１の視線方向ＳＤが点線の矢印により、ＣＧ０からＣＧ１へ移動する重心移動方向ＧＤが実線の矢印により示されている。一方、図１１に示す一例の場合、視線方向ＳＤと重心移動方向ＧＤとは略平行ではない。
【００９５】
この際、本実施形態に係る表示制御部１３０は、図１１の右側に示す軌道のように撮像部１４０の視点を視線方向に対し斜めに直進移動させる。図１１の右側には、時刻ｔ＝０〜２の時点における撮像部１４０の視点と撮像姿勢とが人物モデルＭＬ０〜ＭＬ２により表されている。
【００９６】
表示制御部１３０は、まず、図１０に示した場合と同様に、時刻ｔ＝０の時点においては、前状態の視線情報が存在しないことから、ユーザの重心移動方向ＧＤに撮像部１４０の視点を移動させる。
【００９７】
次に、表示制御部１３０は、時刻ｔ＝１の時点において、前状態すなわち時刻ｔ＝０の時点における視線方向ＳＤと現状態すなわち時刻ｔ＝１の時点において取得された視線方向ＳＤを比較する。図１１に示す一例の場合、ユーザの視線方向ＳＤは時刻ｔ＝０および時刻ｔ＝１で略平行である。この場合、表示制御部１３０は、視線方向ＳＤと重心移動方向ＧＤとが略平行でない場合であっても、撮像部１４０の視点の移動方向を維持し、時刻ｔ＝２の状態に移行する。
【００９８】
すなわち、本実施形態に係る表示制御部１３０は、第２表示制御において、現状態における視線方向と前状態における視線方向とが略平行である場合、撮像部１４０の撮像姿勢を回転させずに、撮像部１４０の視点を前記重心移動方向において移動させることができる。
【００９９】
このように、本実施形態にかかる表示制御部１３０は、視線方向の時系列情報を用いることで、視線方向ＳＤと重心移動方向ＧＤとが略平行ではない場合に実行する第２表示制御においても、重心移動方向への直進移動、すなわち視線方向に対する斜め方向への直進移動を実現することが可能である。
【０１００】
なお、視線方向の時系列情報を用いる場合であっても、上述のように視線方向の時系列情報を用いない視点の移動制御と同様に、撮像部１４０の視点を曲線移動させることもできる。
【０１０１】
図１２は、本実施形態に係る視線方向の時系列情報を用いた視点の曲線移動について説明するための図である。図１２の左側には、時系列に変化するユーザＵ１の視線方向ＳＤ０およびＳＤ１が点線の矢印により、ＣＧ０からＣＧ１へ移動する重心移動方向ＧＤが実線の矢印により示されている。
【０１０２】
この際、本実施形態に係る表示制御部１３０は、図１２の右側に示す軌道のように撮像部１４０の視点を注視点ＰＶの方向に曲線移動させる。図１２の右側には、時刻ｔ＝０〜２の時点における撮像部１４０の視点と撮像姿勢とが人物モデルＭＬ０〜ＭＬ２により表されている。
【０１０３】
図１０および図１１に示した場合と同様に、表示制御部１３０は、まず、時刻ｔ＝０の時点においては、前状態の視線情報が存在しないことから、ユーザの重心移動方向ＧＤに撮像部１４０の視点を移動させる。
【０１０４】
次に、表示制御部１３０は、時刻ｔ＝１の時点において、前状態すなわち時刻ｔ＝０の時点における視線方向ＳＤ０と現状態すなわち時刻ｔ＝１の時点において取得された視線方向ＳＤ１を比較する。図１２に示す一例の場合、視線方向ＳＤ０と視線方向ＳＤ１は、略平行ではないが、注視点ＰＶが固定されていることがわかる。このように、現状態における視線方向と前状態における視線方向とが略平行ではなく、かつユーザの注視点が変化していないと推定した場合、表示制御部１３０は、注視点の方向に視野画像の画像中心が近づくよう撮像部１４０の撮像姿勢を回転させる。この際、撮像姿勢の回転に係る回転量は、現状態の視線方向と重心移動方向との角度差θの大きさに比例してよい。
【０１０５】
本実施形態に係る表示制御部１３０が有する上記の機能によれば、視線方向の時系列情報を用いる場合であっても、注視点へ向かう曲線移動を制御することが可能である。
【０１０６】
なお、現状態における視線方向と前状態における視線方向とが略平行ではなく、かつユーザの注視点が変化していると推定した場合にあっては、表示制御部１３０は、現状態の視線方向に視野画像の画像中心が近づくよう撮像部１４０の撮像姿勢を回転させてよい。
【０１０７】
以上、本実施形態に係る視線方向の時系列情報を用いた視点の移動制御について説明した。上述したように、本実施形態に係る表示制御部１３０は、視線方向の時系列情報を用いることで、視線方向と重心移動方向とが略平行でない場合であっても、撮像部１４０の視点を直進移動させることができる。
【０１０８】
なお、本実施形態に係る表示制御部１３０は、モードやアプリケーションの様態に応じて、視線方向の時系列情報の利用有無を切り替えることも可能である。例えば、撮像部１４０が自動車など斜め方向に自律的に移動し続けることができない移動体の視点を再現する場合、表示制御部１３０は、視線方向の時系列情報を用いず、現状態における視線方向と重心移動方向との角度差に基づいて視点の移動制御を行ってよい。表示制御部１３０は、例えば、アプリケーションがレーシングゲームなどである場合、視線方向の時系列情報を用いない移動制御を行うように自動で設定を行うこともできる。
【０１０９】
また、一方で、撮像部１４０が上述したホバーボートのように斜め方向への移動が可能な移動体の視点を再現する場合には、視線方向の時系列情報を用いた視点の移動制御を行うように自動で切り替えを行うことも可能である。
【０１１０】
以上、本実施形態に係る視点の移動制御について詳細に説明した。なお、上記では、表示制御部１３０が仮想カメラである撮像部１４０の視点を制御する場合を主に説明したが、上述したように、本実施形態に係る撮像部１４０は、実空間において無人移動体が備える実カメラであってもよい。
【０１１１】
図１３は、本実施形態に係る撮像部１４０が実カメラである場合の移動制御について説明するための図である。図１３には、実カメラである撮像部１４０を備える制御対象装置４０と、制御対象装置４０の移動を制御するユーザＵ１とが示されている。なお、図１３では、制御対象装置４０がＡＶである場合の一例が示されている。
【０１１２】
この際、ユーザＵ１は、上記で説明したように、視線方向と重心移動方向とを変化させることで、制御対象装置４０の移動を制御し、当該移動に伴い撮像部１４０が撮像する実空間における視野画像ＦＶを情報処理装置１０の表示部１５０により確認することができる。図１３を参照すると、視野画像ＦＶには制御対象装置４０の前方に存在する実物体ＲＯが映し出させている。なお、この際、表示制御部１３０は、ネットワーク３０を介して制御対象装置４０に移動に係る制御信号を送信し、制御対象装置４０から受信した視野画像ＦＶを表示部１５０に表示させる。
【０１１３】
このように、本実施形態に係る表示制御部１３０は、仮想カメラのみではなく、実空間において画像を撮像する実カメラの視点を制御することが可能である。なお、図１３に示す一例では、撮像部１４０がＵＡＶに備えられる場合を例に説明したが、本実施形態に係る撮像部１４０は、例えば、海中を移動する探索機などに備えられてもよい。
【０１１４】
＜＜１．４．制御の流れ＞＞
次に、本実施形態に係る情報処理装置１０による制御の流れについて詳細に説明する。図１４は、本実施形態に係る情報処理装置１０による制御の基本的な流れを示すフローチャートである。
【０１１５】
図１４を参照すると、まず、情報処理装置１０の通信部１６０がセンサ装置２０からセンサ情報を受信する（Ｓ１１０１）。
【０１１６】
次に、移動情報取得部１１０が、ステップＳ１１０１において受信されたセンサ情報に基づいて、ユーザの重心移動方向に関する重心移動情報を取得する（Ｓ１１０２）。
【０１１７】
また、視線情報取得部１２０が、角膜反射法などを用いてユーザの視線方向に関する視線情報を取得する（Ｓ１１０３）。なお、上述したとおり、本実施形態に係る視線情報取得部１２０は、情報処理装置１０の正面方向を視線情報として取得してもよい。
【０１１８】
次に、表示制御部１３０が、ステップＳ１１０２において移動情報取得部１１０が取得した重心移動情報とステップＳ１１０３において視線情報取得部１２０が取得した視線情報とに基づいて、撮像部１４０の視点に係る移動制御を実行する（Ｓ１１０４）。
【０１１９】
続いて、図１３のステップＳ１１０４における撮像部１４０の視点に係る移動制御の流れについて詳細に説明する。上述したように、本実施形態に係る表示制御部１３０は、視線方向の時系列情報を用いない視点の移動制御と、視線方向の時系列情報を用いる視点の移動制御とを行うことができる。
【０１２０】
まず、表示制御部１３０による視線方向の時系列情報を用いない視点の移動制御の流れについて詳細に説明する。図１５は、本実施形態に係る視線方向の時系列情報を用いない視点の移動制御の流れを示すフローチャートである。
【０１２１】
図１５を参照すると、表示制御部１３０は、まず現状態の視線方向と現状態の重心移動方向との角度差θを算出する（Ｓ１２０１）。
【０１２２】
続いて、表示制御部１３０は、ステップＳ１２０１において算出した角度差θが第１の閾値Ｅ１未満であるか否かを判定する（Ｓ１２０２）。すなわち、表示制御部１３０は、現状態の視線方向と現状態の重心移動方向とが略平行であるか否かを判定する。
【０１２３】
ここで、角度差θが第１の閾値Ｅ１未満である場合（Ｓ１２０２：ＹＥＳ）、表示制御部１３０は、撮像姿勢を実質的に維持したまま重心移動方向に撮像部１４０の視点を直進移動させる（Ｓ１２０３）。
【０１２４】
一方、角度差θが第１の閾値Ｅ１以上である場合（Ｓ１２０２：ＮＯ）、表示制御部１３０は、ステップＳ１２０１において算出した角度差θが第２の閾値Ｅ２未満であるか否かを判定する（Ｓ１２０４）。
【０１２５】
ここで、角度差θが第２の閾値Ｅ２未満である場合（Ｓ１２０２：ＹＥＳ）、表示制御部１３０は、撮像姿勢の回転量の算出に第１の関数Ｆ１を設定する（Ｓ１２０５）。
【０１２６】
一方、角度差θが第２の閾値Ｅ２以上である場合（Ｓ１２０３：ＮＯ）、表示制御部１３０は、ステップＳ１２０１において算出した角度差θが第３の閾値Ｅ３未満であるか否かを判定する（Ｓ１２０６）。
【０１２７】
ここで、角度差θが第３の閾値Ｅ３未満である場合（Ｓ１２０６：ＹＥＳ）、表示制御部１３０は、撮像姿勢の回転量の算出に第２の関数Ｆ２を設定する（Ｓ１２０７）。
【０１２８】
一方、角度差θが第３の閾値Ｅ３以上である場合（Ｓ１２０６：ＮＯ）、表示制御部１３０は、ステップＳ１２０１において算出した角度差θが第４の閾値Ｅ４未満であるか否かを判定する（Ｓ１２０８）。
【０１２９】
ここで、角度差θが第４の閾値Ｅ４未満である場合（Ｓ１２０８：ＹＥＳ）、表示制御部１３０は、撮像姿勢の回転量の算出に第３の関数Ｆ３を設定する（Ｓ１２０９）。
【０１３０】
一方、角度差θが第４の閾値Ｅ４以上である場合（Ｓ１２０８：ＹＥＳ）、表示制御部１３０は、現状態における視点の移動制御を終了する。
【０１３１】
他方、ステップＳ１２０５、Ｓ１２０７またはＳ１２０９において関数の設定を行った場合、表示制御部１３０は、上記で設定した関数を用いて角度差θに応じた回転量を算出し、当該回転量に基づいて撮像部１４０の撮像姿勢を回転させる（Ｓ１２１０）。
【０１３２】
続いて、表示制御部１３０は、ステップＳ１２１０において撮像姿勢を回転させた回転量に基づいて撮像部１４０の視点を重心移動方向において移動させる（Ｓ１２１１）。
【０１３３】
以上、表示制御部１３０による視線方向の時系列情報を用いない視点の移動制御の流れについて説明した。次に、表示制御部１３０による視線方向の時系列情報を用いた視点の移動制御の流れについて詳細に説明する。図１６は、本実施形態に係る視線方向の時系列情報を用いた視点の移動制御の流れを示すフローチャートである。
【０１３４】
図１６を参照すると、表示制御部１３０は、まず、現状態の視線方向と前状態の視線方向とが略平行であるか否かを判定する（Ｓ１３０１）。
【０１３５】
ここで、現状態の視線方向と前状態の視線方向とが略平行である場合（Ｓ１３０１：ＹＥＳ）、表示制御部１３０は、撮像部１４０の視点の移動候補を維持し（Ｓ１３０２）、現状態における視点の移動制御を終了する。
【０１３６】
一方、現状態の視線方向と前状態の視線方向とが略平行でない場合（Ｓ１３０１：ＮＯ）、表示制御部１３０は、続いて、前状態における注視点と現状態における注視点に変化があるか否かを判定する（Ｓ１３０３）。
【０１３７】
ここで、前状態における注視点と現状態における注視点に変化がある場合（Ｓ１３０３：ＹＥＳ）、表示制御部１３０は、現状態の視線方向に基づいて撮像部１４０の視点を回転させる（Ｓ１３０４）。
【０１３８】
一方、前状態における注視点と現状態における注視点に変化がない場合（Ｓ１３０３：ＹＥＳ）、表示制御部１３０は、注視点に基づいて撮像部１４０の視点を回転させる（Ｓ１３０５）。
【０１３９】
次に、表示制御部１３０は、ステップＳ１３０５またはＳ１３０６において視点を回転させた際の回転量に応じて撮像部１４０の視点を重心移動方向において移動させる（Ｓ１３０６）。
【０１４０】
＜２．第２の実施形態＞
＜＜２．１．概要＞＞
次に、本開示の第２の実施形態について説明する。上記の第１の実施形態では、情報処理装置１０がユーザの視線方向と重心移動方向とに基づいて撮像部１４０の視点の移動を制御する場合について述べた。第１の実施形態に係る情報処理装置１０によれば、ユーザは重心の移動と視線とを変化させることで直観的に撮像部１４０の視点を移動し、任意の移動方向における視点に対応した視野画像を取得することができる。
【０１４１】
一方、撮像部１４０の視点の移動方向は、必ずしも重心の移動のみにより決定されなくくてもよい。例えば、足踏みなどのジェスチャを移動制御に係る移動トリガーとし、撮像部１４０の視点の移動方向を決定することなども考えられる。この場合、例えば、高齢者や幼児などの身体のバランスと取りづらいユーザであっても、椅子に座ったまま足踏みを行うなどして、撮像部１４０の視点に係る移動を制御することが可能である。
【０１４２】
しかし、足踏みなどのジェスチャを移動トリガーとする場合、ユーザが意図する方向と足踏みから検出される移動方向とにずれが生じる可能性もあり、上記のずれをいかに補正するかが課題となる。
【０１４３】
このため、本開示の第２の実施形態に係る情報処理装置１０は、種々のジェスチャを移動トリガーとして検出した移動方向をユーザの視線方向を用いて補正することを特徴の一つとする。
【０１４４】
図１７は、本開示の第２の実施形態に係る視線方向を用いた移動方向の補正について説明するための図である。図１７には、情報処理装置１０を装着するユーザＵ２が足踏みを行う様子が示されている。この際、本実施形態に係る情報処理装置１０の移動情報取得部１１０は、ユーザＵ２の足踏みを移動トリガーとして移動ベクトルＭＶ０を算出する。ここで、本実施形態に係る移動ベクトルとは、撮像部１４０の視点移動に係る移動方向と移動量とを含む情報である。
【０１４５】
また、この際、表示制御部１３０は、視線情報取得部１２０が取得したユーザＵ２の視線方向ＳＤが移動ベクトルＭＶ０を基準として所定の範囲内にある場合、視線方向ＳＤに基づいて、移動ベクトルＭＶ０を補正し新たな移動ベクトルＭＶ１を得ることができる。
【０１４６】
本実施形態に係る情報処理装置１０が有する上記の機能によれば、足踏みなどのジェスチャから検出される移動方向とユーザが希望する移動方向とにずれが生じている場合でも、視線方向ＳＤを用いることで上記のずれを容易に補正し、精度の高い移動制御を実現することが可能となる。
【０１４７】
また、一般的に、人は直線に歩く場合であっても、種々の方向に存在する者や事象を観察しながら前進する傾向がある。これは、ユーザが情報処理装置１０を装着している場合であっても同様であると考えられる。
【０１４８】
例えば、ユーザが情報処理装置１０を装着して仮想空間における景色を鑑賞している場合を想定する。この際、ユーザは、前進しながらも周囲に存在する様々な仮想オブジェクトに視線を向けることが容易に予想される。また、ユーザが空を仰いだり地面に視線を寄せたりすることも考えられる。
【０１４９】
しかし、この際、ユーザが必ずしも視線を向けた方向に移動することを望んでいるとは限らない。ユーザは、例えば、単純に視線方向に存在する仮想オブジェクトなどを観察したいだけの場合もあれば、実空間において発生した音などに反応して視線を移動する場合もある。
【０１５０】
このため、本開示の第２の実施形態に係る情報処理装置１０は、ユーザの視線方向がジェスチャを移動トリガーとして検出した移動方向から所定以上外れた場合、当該視線方向を用いた移動方向の補正を行わず、代わりに移動量に制限を加えることを特徴の一つとする。
【０１５１】
本実施形態に係る情報処理装置１０が有する上記の機能によれば、ユーザが移動方向を変えずに周囲に存在する注視対象物をゆっくり観察することができ、より現実における移動に近い感覚を得ることが可能となる。また、上記の機能によれば、仮想空間における移動中の没入感を増大させると同時に、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）視聴に伴う酔いの症状を軽減する効果も期待される。
【０１５２】
以下、本開示の第２の実施形態に係る上記２つの機能について詳細に説明する。なお、以下の説明においては、第１の実施系との差異について中心に述べ、第１の実施形態と共通する構成や特徴については、詳細な説明を省略する。
【０１５３】
＜＜２．２．移動ベクトルの補正に係る詳細＞＞
次に、本実施形態に係る表示制御部１３０による移動ベクトルの補正について詳細に説明する。上述したように、本実施形態に係る表示制御部１３０は、ユーザの視線方向に基づいて移動情報取得部１１０が算出した移動ベクトルを補正する機能を有する。
【０１５４】
より具体的には、本実施形態に係る表示制御部１３０は、ユーザの視線方向と移動ベクトルとの角度差が所定の範囲に収まる場合、視線方向に基づいて移動ベクトルの移動方向を補正してよい。
【０１５５】
また、本実施形態に係る表示制御部１３０は、ユーザの視線方向と移動ベクトルとの角度差が所定の値を超える場合、視線方向に基づいて移動ベクトルの移動量を減少させる補正を行う。
【０１５６】
図１８は、本実施形態に係る移動ベクトルの補正領域について説明するための図である。図１８には、ユーザＵ２を背後から観察した場合における２つの補正領域を模式的に示した図である。図１８に示すように、本実施形態に係る補正領域は、方向補正領域ＤＣＲおよび移動量補正領域ＡＣＲに大別される。
【０１５７】
ここで、方向補正領域ＤＣＲは、表示制御部１３０が移動ベクトルの方向補正の判定に用いる領域である。具体的には、表示制御部１３０は、ユーザＵ２の視線方向ＳＤが方向補正領域ＤＣＲに収まる場合、視線方向ＳＤに基づいて移動情報取得部１１０が算出した移動ベクトルの移動方向を修正することができる。
【０１５８】
本実施形態に係る表示制御部１３０が有する上記の機能によれば、ユーザが希望する移動方向と移動トリガーに基づいて検出される移動方向との多少のずれをユーザの視線方向を用いて補正することで、より精度の高い移動制御を実現することが可能となる。
【０１５９】
一方、移動量補正領域ＡＣＲは、表示制御部１３０が移動ベクトルの移動量補正の判定に用いる領域である。具体的には、表示制御部１３０は、ユーザＵ２の視線方向ＳＤが移動量補正領域ＡＣＲに位置する場合、視線方向ＳＤに基づいて移動情報取得部１１０が算出した移動ベクトルの移動量を修正することができる。
【０１６０】
本実施形態に係る表示制御部１３０が有する上記の機能によれば、ユーザの意図しない方向へ移動方向を補正する誤作動の可能性を効果的に低減することができる。また、上記の機能によれば、ユーザは、周囲の注視対象物を観察しながらも移動方向への移動を維持することが可能となる。
【０１６１】
次に、図１９を用いて、本実施形態に係る移動ベクトルの補正について説明を続ける。図１９は、本実施形態に係る２つの補正領域をユーザＵ２の頭上から示した図である。図１８では、２つの補正領域をユーザの背後から示したため、方向補正領域ＤＣＲと移動量補正領域ＡＣＲとが２次元平面形状であるようにも見受けられた。しかし、方向補正領域ＤＣＲおよび移動量補正領域ＡＣＲは、実際には、図１９また後に説明する図２０に示すように、ユーザＵ２を囲う球状に形成される。
【０１６２】
ここで、図１９に示すように、ユーザＵ２の視線方向ＳＤ１が方向補正領域ＤＣＲに位置する場合、本実施形態に係る表示制御部１３０は、移動情報取得部１１０が算出した移動ベクトルＭＶ０の移動方向を視線方向ＳＤ１に基づいて補正し、新たな移動ベクトルＭＶ１を得ることができる。
【０１６３】
また、ユーザＵ２の視線方向ＳＤ２が移動量補正領域ＡＣＲに位置する場合、本実施形態に係る表示制御部１３０は、移動情報取得部１１０が算出した移動ベクトルＭＶ０の移動量を視線方向ＳＤ１に基づいて補正し、新たな移動ベクトルＭＶ２を得ることができる。
【０１６４】
なお、撮像部１４０が地表に接して移動を行う移動体の視点を再現する仮想カメラである場合や、当該移動体に備えられる２自由度の並進軸を有する実カメラである場合、表示制御部１３０は、視線方向ＳＤ１に基づいて、水平方向に定義される移動ベクトルＭＶ０の移動方向を補正してよい。
【０１６５】
一方、撮像部１４０が空中や海中などを移動する移動体の視点を再現する仮想カメラである場合や、当該移動体に備えられる３自由度の並進軸を有する実カメラである場合、表示制御部１３０は、視線方向ＳＤ１に基づいて、水平方向および垂直方向に定義される移動ベクトルＭＶ０の移動方向を補正してよい。
【０１６６】
また、図２０は、本実施形態に係る２つの補正領域をユーザＵ２の側方から示した図である。ここで、図２０に示すように、ユーザＵ２の視線方向ＳＤ３が垂直方向において方向補正領域ＤＣＲに位置する場合、本実施形態に係る表示制御部１３０は、撮像部１４０が上記で述べた３自由度の並進軸を有する場合にのみ、視線方向ＳＤ３に基づいて移動ベクトルＭＶ０の移動方向を垂直方向に補正してよい。
【０１６７】
また、ユーザＵ２の視線方向ＳＤ４が移動量補正領域ＡＣＲに位置する場合、本実施形態に係る表示制御部１３０は、移動情報取得部１１０が算出した移動ベクトルＭＶ０の移動量を視線方向ＳＤ４に基づいて補正し、新たな移動ベクトルＭＶ４を得ることができる。
【０１６８】
なお、上記の垂直方向における視線方向に基づいた移動量の制御は、本開示の第１の実施形態に組み合わせて実現することも可能である。すなわち、本開示における表示制御部１３０は、水平方向における視線方向と重心移動方向と差に基づいて、前記第１表示制御および前記第２表示制御を実行し、垂直方向における視線方向に基づいて、撮像部１４０の視点の移動に係る移動量を制御してもよい。
【０１６９】
以上説明したように、本実施形態に係る表示制御部１３０は、視線情報取得部１２０が取得したユーザの視線方向が補正領域に位置する場合、当該視線方向に基づいて移動情報取得部１１０が算出した移動ベクトルを補正することができる。本実施形態に係る表示制御部１３０が有する上記の機能によれば、より現実の移動に近い視点の移動を実現することができ、ユーザに高い没入感を提供することが可能となる。
【０１７０】
なお、上記では、移動トリガーとして主に足踏みのジェスチャーを例に説明したが、本実施形態に係る移動トリガーは係る例に限定されない。例えば、仮想空間上を移動する場合の動作クラスとしては、前方への歩行や走行の他、横歩き、後退、その場での回転、仮想オブジェクトなどへの接近、仮想オブジェクト間のすり抜けなど種々のパターンが考えらえる。
【０１７１】
本実施形態に係る情報処理装置１０は、上記のようなクラスに対応する移動トリガーを検出し、また視線方向を用いて補正を行うことで、精度の高い動作制御を実現することが可能である。また、仮想オブジェクトなどとのインタラクションに係る動作クラスの補正については、仮想空間上における仮想オブジェクトとユーザの視線方向との関係を特徴として用いることで実現することが可能である。
【０１７２】
ここで、図２１を参照して、本実施形態に係る移動トリガーと動作クラスの一例について述べる。図２１は、本実施形態に係る移動トリガーと動作クラスの一例について説明するための図である。
【０１７３】
図２１には、情報処理装置１０を装着するユーザＵ２が仮想空間上でスノーボードを疑似体験している状況が示されている。この際、本実施形態に係る移動情報取得部１１０は、例えば、図中左に示すようにユーザの身体の重心移動を移動トリガーとして検出してもよい。この際、表示制御部１３０は、上記の重心移動に対応する動作クラスとして滑走や停止制御を行ってよい。
【０１７４】
また、表示制御部１３０は、ユーザの視線方向ＳＤ５に基づいて滑走の方向を補正することが可能である。図中右側に示される視野画像では、表示制御部１３０が、移動情報取得部１１０がユーザの重心移動を移動トリガーとして算出した移動ベクトルＭＶ０を視線方向ＳＤ５に基づいて補正し、新たな移動ベクトルＭＶ５を得ていることが模式的に示されている。
【０１７５】
＜＜２．３．制御の流れ＞＞
次に、本実施形態に係る情報処理装置１０による制御の流れについて詳細に説明する。図２２は、本実施形態に係る情報処理装置１０による制御の流れを示すフローチャートである。
【０１７６】
図２２を参照すると、まず、表示制御部１３０が、前時刻における状態を取得する（Ｓ２１０１）。
【０１７７】
続いて、表示制御部１３０は、ステップＳ２１０１において取得した前時刻における状態が移動状態であるか、または静止状態であるかを判定する（Ｓ２１０２）。
【０１７８】
ここで、前時刻における状態が静止状態である場合（Ｓ２１０２：静止）、表示制御部１３０は、続けて、移動情報取得部１１０が現時刻に検出した移動トリガーが移動開始を示すか否かを判定する（Ｓ２１０３）。
【０１７９】
ここで、移動トリガーが移動開始を示さない場合（Ｓ２１０３：ＮＯ）、表示制御部１３０は、現時刻の状態を静止状態として更新する（Ｓ２１０８）。
【０１８０】
一方、ステップＳ２１０２において前時刻における状態が移動状態であると判定した場合（Ｓ２０１２：移動）、続いて、表示制御部１３０は、移動情報取得部１１０が現時刻に検出した移動トリガーが移動の維持を示すか、または移動の静止を示すかを判定する（Ｓ２１０４）。
【０１８１】
ここで、移動トリガーが移動の静止を示す場合（Ｓ２１０４：静止）、表示制御部１３０は、現時刻の状態を静止状態として更新する（Ｓ２１０８）。
【０１８２】
一方、ステップＳ２１０４において移動トリガーが移動の維持を示す場合（Ｓ２１０４：維持）や、ステップＳ２１０３において移動トリガーが移動の開始を示す場合（Ｓ２１０４：ＹＥＳ）、表示制御部１３０は、視線情報取得部１２０が取得したユーザの視線方向に基づく移動ベクトルの補正制御を実行する（Ｓ２１０５）。
【０１８３】
次に、表示制御部１３０は、ステップＳ２１０５における補正制御において、移動量が０になったか否かを判定する（Ｓ２１０６）。
【０１８４】
ここで、移動量が０の場合、表示制御部１３０は、現時刻の状態を静止状態として更新する（Ｓ２１０８）。
【０１８５】
一方、移動量が０より大きい場合、表示制御部１３０は、移動量に基づいて撮像部１４０の視点に係る移動制御を行う（Ｓ２１０７）。
【０１８６】
続いて、表示制御部１３０は、時刻の状態を移動状態として更新し（Ｓ２１０８）、現時刻における移動制御の処理を終了する。
【０１８７】
次に、図２２のステップＳ２１０５における移動ベクトルの補正制御の流れについて詳細に説明する。図２３は、本実施形態に係る移動ベクトルの補正制御の流れを示すフローチャートである。
【０１８８】
図２３を参照すると、まず、移動情報取得部１１０が検出した移動トリガーに基づいて移動ベクトルを算出する（Ｓ２２０１）。
【０１８９】
次に、表示制御部１３０は、視線情報取得部１２０が取得したユーザの視線方向と、ステップＳ２２０１において移動情報取得部１１０が算出した移動ベクトルの移動方向との角度差θ２を算出する（Ｓ２１０２）。
【０１９０】
次に、表示制御部１３０は、ステップＳ２１０２において算出した角度差θ２が第５の閾値Ｅ５以下であるか否かを判定する（Ｓ２２０３）。ここで、上記の第５の閾値Ｅ５は、移動ベクトルの移動方向を軸とした方向補正領域ＤＣＲの範囲を規定する値である。すなわち、表示制御部１３０は、ユーザの視線方向が方向補正領域ＤＣＲの範囲に位置するか否かを判定する。
【０１９１】
ここで、角度差θ２が第５の閾値Ｅ５以下である場合（Ｓ２２０３：ＹＥＳ）、すなわち、視線方向が方向補正領域ＤＣＲに位置する場合、表示制御部１３０は、視線方向に基づいて移動ベクトルの移動方向を補正する（Ｓ２２０４）。
【０１９２】
一方、角度差θ２が第５の閾値Ｅ５以下である場合（Ｓ２２０３：ＹＥＳ）、ステップＳ２２０４における移動方向の補正をスキップする。
【０１９３】
次に、表示制御部１３０は、ステップＳ２１０２において算出した角度差θ２が第６の閾値Ｅ６以上であるか否かを判定する（Ｓ２２０５）。ここで、上記の第６の閾値Ｅ６は、移動ベクトルの移動方向を軸とした移動量補正領域ＡＣＲの範囲を規定する値である。すなわち、表示制御部１３０は、ユーザの視線方向が方向補正領域ＡＣＲの範囲に位置するか否かを判定する。
【０１９４】
ここで、角度差θ２が第６の閾値Ｅ６以下である場合（Ｓ２２０５：ＹＥＳ）、すなわち、視線方向が移動量補正領域ＡＣＲに位置する場合、表示制御部１３０は、視線方向に基づいて移動ベクトルの移動量を減少させる（Ｓ２２０６）。
【０１９５】
一方、角度差θ２が第６の閾値Ｅ６以下である場合（Ｓ２２０５：ＹＥＳ）、ステップＳ２２０６における移動方向の補正をスキップし、移動ベクトルの補正制御を終了する。
【０１９６】
＜３．ハードウェア構成例＞
次に、本開示の一実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図２４は、本開示の一実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図２４を参照すると、情報処理装置１０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【０１９７】
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【０１９８】
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１９９】
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
【０２００】
（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
【０２０１】
（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
【０２０２】
（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０２０３】
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
【０２０４】
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０２０５】
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
【０２０６】
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０２０７】
（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
【０２０８】
＜４．まとめ＞
以上説明したように、本開示の第１の実施形態に係る情報処理装置１０は、ユーザの視線方向と重心移動方向とが略平行である場合に直進移動を実現する第１表示制御を実行し、ユーザの視線方向と重心移動方向とが略平行でない場合に曲線移動を実現する第２表示制御を実行する。また、本開示の第１の実施形態に係る情報処理装置１０は、ユーザの視線方向に基づいて、移動トリガーに基づいて算出される移動ベクトルの移動方向や移動量を補正することができる。係る構成によれば、表示画像に係る視点の制御をより直観的に実現することが可能となる。
【０２０９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２１０】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０２１１】
また、本明細書の情報処理装置１０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置１０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
【０２１２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの視線方向に関する視線情報を取得する視線情報取得部と、
前記ユーザの身体の重心移動方向に関する重心移動情報を取得する移動情報取得部と、
前記視線方向と前記重心移動方向とが略平行である場合、撮像部の撮像姿勢を実質的に維持した状態で前記撮像部の視点を前記重心移動方向において移動させることで前記撮像部の撮像姿勢に応じた視野画像を前記ユーザに提供するよう表示装置を制御する第１表示制御を行い、前記視線方向と前記重心移動方向が略平行ではない場合、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において移動させることで前記視野画像を前記ユーザに提供するよう前記表示装置を制御する第２表示制御を行う表示制御部と、
を備える情報処理装置。
（２）
前記表示制御部は、前記第２表示制御において、前記視線方向に基づいて前記撮像部の撮像姿勢を回転させる回転方向を決定する、
前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記第２表示制御において、前記視線方向に前記視野画像の画像中心が近づくよう前記撮像部の撮像姿勢を回転させる、
前記（１）または（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記第２表示制御において、前記視線方向と前記重心移動方向との角度差の大きさに基づいて、前記撮像部の撮像姿勢を回転させる回転量を決定する、
前記（１）〜（３）のいずれかに記載の情報処理装置。
（５）
前記表示制御部は、前記第２表示制御において、前記角度差が判定値を下回る場合と前記角度差が前記判定値以上である場合とで、異なる算出方法を用いて前記回転量を決定し、前記撮像部の視点を前記重心移動方向において前記回転量に応じた移動量を以って移動させる、
前記（４）に記載の情報処理装置。
（６）
前記表示制御部は、前記第２表示制御において、前記角度差が前記判定値を下回る場合、前記撮像部の視点の移動方向が前記視線方向に向かってカーブするように前記回転量を決定し、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において前記回転量に応じた移動量を以って移動させる、
前記（５）に記載の情報処理装置。
（７）
前記表示制御部は、前記第２表示制御において、前記角度差が前記判定値を下回り、かつ前記角度差が所定値を下回る場合、前記角度差が小さくなるにつれて回転の度合いが小さくなるよう前記回転量を決定する、
前記（５）または（６）に記載の情報処理装置。
（８）
前記表示制御部は、前記第２表示制御において、前記角度差が前記判定値を下回り、かつ前記角度差が所定値以上である場合、前記角度差が小さくなるにつれて回転の度合いが大きくなるよう前記回転量を決定する、
前記（５）〜（７）のいずれかに記載の情報処理装置。
（９）
前記表示制御部は、前記第２表示制御において、前記角度差が前記判定値以上である場合、前記撮像部の視点の移動方向が前記視線方向に向かって回り込むように前記回転量を決定し、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において前記回転量に応じた移動量を以って移動させる、
前記（５）〜（８）のいずれかに記載の情報処理装置。
（１０）
前記表示制御部は、前記第２表示制御において、前記角度差が前記判定値以上である場合、前記角度差が小さくなるにつれて回転の度合いが大きくなるよう前記回転量を決定する、
前記（５）〜（９）のいずれかに記載の情報処理装置。
（１１）
前記表示制御部は、前記第２表示制御において、前記角度差が前記判定値以上である場合、前記角度差が前記判定値を下回る場合よりも回転量の変化の度合いが小さくなるよう前記回転量を決定する、
前記（５）〜（１０）のいずれかに記載の情報処理装置。
（１２）
前記表示制御部は、前記第２表示制御において、現状態における前記視線方向と前状態における前記視線方向とが略平行である場合、前記撮像部の撮像姿勢を回転させずに、前記撮像部の視点を前記重心移動方向において移動させる、
前記（１）〜（１１）のいずれかに記載の情報処理装置。
（１３）
前記表示制御部は、前記第２表示制御において、現状態における前記視線方向と前状態における前記視線方向とが略平行ではなく、かつ前記ユーザの注視点が変化していないと推定した場合、前記注視点の方向に前記視野画像の画像中心が近づくよう前記撮像部の撮像姿勢を回転させる、
前記（１）〜（１２）のいずれかに記載の情報処理装置。
（１４）
前記表示制御部は、前記第２表示制御において、現状態における前記視線方向と前状態における前記視線方向とが略平行ではなく、かつ前記ユーザの注視点が変化していると推定した場合、現状態の前記視線方向に前記視野画像の画像中心が近づくよう前記撮像部の撮像姿勢を回転させる、
前記（１）〜（１３）のいずれかに記載の情報処理装置。
（１５）
前記表示装置は、前記ユーザが装着するヘッドマウントディスプレイであり、
前記表示制御部は、前記視野画像を前記ヘッドマウントディスプレイの表示部に表示させる、
前記（１）〜（１４）のいずれかに記載の情報処理装置。
（１６）
前記撮像部は、仮想空間において任意の視点に対応する視野画像を生成する仮想カメラであり、
前記表示制御部は、前記仮想カメラの撮像姿勢および視点に応じた前記視野画像を前記表示装置に表示させる、
前記（１）〜（１５）のいずれかに記載の情報処理装置。
（１７）
前記撮像部は、実空間において無人移動体が備える実カメラであり、
前記表示制御部は、前記実カメラの撮像姿勢および視点に応じた前記視野画像を前記表示装置に表示させる、
前記（１）〜（１６）のいずれかに記載の情報処理装置。
（１８）
前記表示制御部は、水平方向における前記視線方向と前記重心移動方向と差に基づいて、前記第１表示制御および前記第２表示制御を実行し、垂直方向における前記視線方向に基づいて、前記撮像部の視点の移動に係る移動量を制御する、
前記（１）〜（１７）のいずれかに記載の情報処理装置。
（１９）
プロセッサが、
ユーザの視線方向に関する視線情報を取得することと、
前記ユーザの身体の重心移動方向に関する重心移動情報を取得することと、
前記視線方向と前記重心移動方向とが略平行である場合、撮像部の撮像姿勢を実質的に維持した状態で前記撮像部の視点を前記重心移動方向において移動させることで前記撮像部の撮像姿勢に応じた視野画像を前記ユーザに提供するよう表示装置を制御する第１表示制御を行い、前記視線方向と前記重心移動方向が略平行ではない場合、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において移動させることで前記視野画像を前記ユーザに提供するよう前記表示装置を制御する第２表示制御を行うこと、
を含む情報処理方法。
（２０）
コンピュータを、
ユーザの視線方向に関する視線情報を取得する視線情報取得部と、
前記ユーザの身体の重心移動方向に関する重心移動情報を取得する移動情報取得部と、
前記視線方向と前記重心移動方向とが略平行である場合、撮像部の撮像姿勢を実質的に維持した状態で前記撮像部の視点を前記重心移動方向において移動させることで前記撮像部の撮像姿勢に応じた視野画像を前記ユーザに提供するよう表示装置を制御する第１表示制御を行い、前記視線方向と前記重心移動方向が略平行ではない場合、前記撮像部の撮像姿勢を回転させるとともに前記撮像部の視点を前記重心移動方向において移動させることで前記視野画像を前記ユーザに提供するよう前記表示装置を制御する第２表示制御を行う表示制御部と、
を備える情報処理装置、
として機能させるプログラム。
【符号の説明】
【０２１３】
１０      情報処理装置
１１０    移動情報取得部
１２０    視線情報取得部
１３０    表示制御部
１４０    撮像部
１５０    表示部
２０      センサ装置
ＳＤ      視線方向
ＧＤ      重心移動方向
ＭＶ      移動ベクトル
ＤＣＲ    方向補正領域
ＡＣＲ    移動量補正領域
【図１】
2019040555.tif 000003
【図２】
2019040555.tif 000004
【図３】
2019040555.tif 000005
【図４】
2019040555.tif 000006
【図５】
2019040555.tif 000007
【図６】
2019040555.tif 000008
【図７】
2019040555.tif 000009
【図８】
2019040555.tif 000010
【図９】
2019040555.tif 000011
【図１０】
2019040555.tif 000012
【図１１】
2019040555.tif 000013
【図１２】
2019040555.tif 000014
【図１３】
2019040555.tif 000015
【図１４】
2019040555.tif 000016
【図１５】
2019040555.tif 000017
【図１６】
2019040555.tif 000018
【図１７】
2019040555.tif 000019
【図１８】
2019040555.tif 000020
【図１９】
2019040555.tif 000021
【図２０】
2019040555.tif 000022
【図２１】
2019040555.tif 000023
【図２２】
2019040555.tif 000024
【図２３】
2019040555.tif 000025
【図２４】
2019040555.tif 000026