(57)【特許請求の範囲】
【請求項１】
空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報に含まれる撮像画像を利用して、前記移動体が存在する位置の周囲が撮像された周囲撮像画像を生成する画像生成部と、
前記撮像装置の視線方向が変化したときに、前記撮像装置の姿勢に関する情報である撮像装置姿勢情報に基づいて、前記周囲撮像画像に対して前記撮像装置の視線方向の変化に伴う前記周囲撮像画像の変化を抑制する補正を実施する画像補正部と、
ユーザの操作するユーザ操作機器から得られる、前記ユーザが視認したい領域を特定するユーザ視認情報と、前記周囲撮像画像と、に基づいて、前記周囲撮像画像のうち前記ユーザ視認情報に対応する撮像画像をユーザ視認用画像として選択する画像選択部と、
を含み、選択された前記ユーザ視認用画像に基づいて生成される表示画像を、前記ユーザが視認する表示領域に表示させる制御を行う制御部を備え、
前記ユーザ操作機器は、加速度センサ及びジャイロセンサを含む、前記ユーザの視線方向を自動的に検出可能なセンサを備え、前記ユーザ視認情報は、前記ユーザ操作機器の前記センサが検知した前記ユーザの視線方向に応じて生成され、
前記画像補正部は、前記ユーザ操作機器から得られた前記補正の適用度合いを示した補正適用情報に応じて、前記補正の実施の度合いを制御する、
情報処理装置。
【請求項２】
前記画像補正部は、前記補正適用情報に応じて、前記撮像装置に関して互いに独立に規定される回転座標軸のそれぞれに対し、前記補正の実施の度合いを制御する、請求項１に記載の情報処理装置。
【請求項３】
前記画像補正部は、前記撮像装置の視線方向の変化に伴う回転角の大きさに応じて、前記移動体の視線方向の変化後の前記周囲撮像画像を逆回転させる補正を実施する、請求項１または２に記載の情報処理装置。
【請求項４】
前記画像補正部は、前記撮像装置の視線方向の変化の前後において局所特徴量が一致するように、前記補正を実施する、請求項１〜３のいずれか一項に記載の情報処理装置。
【請求項５】
前記画像生成部は、前記周囲撮像画像として、前記移動体の存在する位置における全周囲画像、又は、当該全周囲画像を矩形画像へと変換した変換画像を生成する、請求項１〜４のいずれか一項に記載の情報処理装置。
【請求項６】
前記撮像装置姿勢情報に基づいて、前記撮像装置の視線方向を示す視線情報を生成する視線情報生成部を更に備え、
前記制御部は、前記視線情報生成部により生成された前記視線情報を利用して、当該視線情報で表わされる前記撮像装置の視線方向を示すオブジェクトを前記ユーザ視認用画像とあわせて表示させる、請求項１に記載の情報処理装置。
【請求項７】
前記制御部は、
前記撮像装置姿勢情報に基づき算出された、前記撮像装置の視線方向の変化に伴う回転に関する回転情報を利用して、前記撮像装置の姿勢の変化を可視化した姿勢情報を生成し、
生成した当該姿勢情報を前記表示画像に重畳した上で、当該表示画像を前記ユーザが視認する表示領域に表示させる制御を行う、請求項５に記載の情報処理装置。
【請求項８】
前記画像補正部は、前記撮像装置の位置が変化することなく当該撮像装置の視線方向が変化した場合に、前記周囲撮像画像に対して、前記撮像装置の視線方向の変化に伴う前記周囲撮像画像の変化を抑制する補正を実施し、
前記制御部は、前記画像補正部による補正後の前記周囲撮像画像に対して、前記姿勢情報を表わすオブジェクトを重畳させる、請求項７に記載の情報処理装置。
【請求項９】
前記制御部は、前記表示画像に対して、前記撮像装置の視線方向の変化に伴う回転運動に伴って回転するオブジェクトと、回転しないオブジェクトと、の少なくとも何れか一方を重畳させる、請求項８に記載の情報処理装置。
【請求項１０】
前記制御部は、前記回転情報を利用し、
前記撮像装置が存在する空間に固定された座標系の動きを固定し、かつ、前記撮像装置に固定された座標系を変化させる、又は、前記撮像装置が存在する空間に固定された座標系の動きを変化させ、かつ、前記撮像装置に固定された座標系の動きを固定することにより、前記撮像装置の姿勢の変化を可視化する、請求項７〜９のいずれか一項に記載の情報処理装置。
【請求項１１】
前記制御部は、前記回転情報を利用して前記撮像装置の姿勢の変化を可視化する際に、前記空間に固定された座標系の中心とは異なる位置から前記空間を仮想的に視認した場合に対応する前記表示画像を生成する、請求項１０に記載の情報処理装置。
【請求項１２】
前記制御部は、前記ユーザ操作機器から、前記表示画像の特定の位置に対してアノテーションの付加を要求された場合に、前記撮像装置が存在する空間に固定された座標系における前記特定の位置の対応箇所に対して、前記アノテーションを関連付ける、請求項７〜１１のいずれか一項に記載の情報処理装置。
【請求項１３】
前記制御部は、前記回転情報に応じて、前記表示画像を前記ユーザが視認する表示領域に表示させる際の再生速度、又は、表示画角の少なくとも何れかを制御する、請求項７〜１２のいずれか一項に記載の情報処理装置。
【請求項１４】
前記制御部は、前記ユーザ操作機器から指定された任意の位置を中心とし、当該指定された任意の位置から前記空間を仮想的に視認した場合の表示画像を生成する、請求項７〜１３のいずれか一項に記載の情報処理装置。
【請求項１５】
前記制御部は、前記画像補正部における補正処理に関する設定、及び、前記制御部における姿勢情報の重畳処理に関する設定を、前記撮像装置、又は、前記ユーザ操作機器の少なくとも一方に対して行われた操作に基づいて変更する、請求項８に記載の情報処理装置。
【請求項１６】
前記ユーザ操作機器は、前記ユーザの装着するウェアラブル機器であり、
前記ユーザ視認情報は、前記ウェアラブル機器が検知した前記ユーザの視線方向に応じて生成される、請求項１〜１５のいずれか一項に記載の情報処理装置。
【請求項１７】
前記移動体は、前記ユーザ操作機器を操作するユーザとは異なる人間、前記空間内を自走する自走体、又は、前記空間内を飛行する飛行体の何れかである、請求項１〜１６のいずれか一項に記載の情報処理装置。
【請求項１８】
演算処理装置によって、
空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報に含まれる撮像画像を利用して、前記移動体が存在する位置の周囲が撮像された周囲撮像画像を生成することと、前記撮像装置の視線方向が変化したときに、前記撮像装置の姿勢に関する情報である撮像装置姿勢情報に基づいて、前記周囲撮像画像に対して前記撮像装置の視線方向の変化に伴う前記周囲撮像画像の変化を抑制する補正を実施することと、ユーザの操作するユーザ操作機器から得られる、前記ユーザが視認したい領域を特定する、加速度センサ及びジャイロセンサを含む、前記ユーザの視線方向を自動的に検出可能なセンサを備える前記ユーザ操作機器の前記センサが検知した前記ユーザの視線方向に応じて生成されるユーザ視認情報と、前記周囲撮像画像と、に基づいて、前記周囲撮像画像のうち前記ユーザ視認情報に対応する撮像画像をユーザ視認用画像として選択することと、を含む、選択された前記ユーザ視認用画像に基づいて生成される表示画像を、前記ユーザが視認する表示領域に表示させる制御を行うことを含み、
前記ユーザ操作機器から得られた前記補正の適用度合いを示した補正適用情報に応じて、前記補正の実施の度合いを制御する、情報処理方法。
【請求項１９】
コンピュータに、
空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報に含まれる撮像画像を利用して、前記移動体が存在する位置の周囲が撮像された周囲撮像画像を生成する画像生成部と、前記撮像装置の視線方向が変化したときに、前記撮像装置の姿勢に関する情報である撮像装置姿勢情報に基づいて、前記周囲撮像画像に対して前記撮像装置の視線方向の変化に伴う前記周囲撮像画像の変化を抑制する補正を実施する画像補正部と、ユーザの操作するユーザ操作機器から得られる、前記ユーザが視認したい領域を特定する、加速度センサ及びジャイロセンサを含む、前記ユーザの視線方向を自動的に検出可能なセンサを備える前記ユーザ操作機器の前記センサが検知した前記ユーザの視線方向に応じて生成されるユーザ視認情報と、前記周囲撮像画像と、に基づいて、前記周囲撮像画像のうち前記ユーザ視認情報に対応する撮像画像をユーザ視認用画像として選択する画像選択部と、を含み、選択された前記ユーザ視認用画像に基づいて生成される表示画像を、前記ユーザが視認する表示領域に表示させる制御を行う制御機能を実現させ、
前記ユーザ操作機器から得られた前記補正の適用度合いを示した補正適用情報に応じて、前記補正の実施の度合いを制御させる制御機能を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】  近年、人間の体験をそのまま他者に伝送するために、頭部搭載型カメラ等のウェアラブル機器による一人称視点の画像が、各種コンテンツの作成等で利用されている。また、上記のような一人称視点画像の伝送により他者とコミュニケーションを図り、他者が体験を共有したり、他者の知識や指示を仰いだりするようなインタフェースも提案されている。【０００３】  例えば下記特許文献１には、頭部に装着された撮像装置で撮像される映像を他の装置へと送信し、当該他の装置において上記映像を鑑賞するための技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１１０７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】  しかしながら、上記特許文献１に開示されているような技術では、伝送された一人称視点画像を視聴する他者の視線は、ウェアラブル機器を装着している装着者の視線に限定されてしまうため、他者が装着者とは異なる視点で空間を把握することができなかった。【０００６】  そこで、本開示では、上記事情に鑑みて、視線の自由度を維持しつつ空間を共有することが可能な、情報処理装置、情報処理方法及びプログラムを提供する。
【課題を解決するための手段】
【０００７】  本開示によれば、空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報と、当該撮像装置の姿勢に関する情報である撮像装置姿勢情報と、ユーザの操作するユーザ操作機器から得られる、ユーザが視認したい領域を特定するユーザ視認情報と、に基づいて生成される表示画像を、前記ユーザが視認する表示領域に表示させる制御を行う制御部を備える情報処理装置が提供される。【０００８】  また、本開示によれば、空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報と、当該撮像装置の姿勢に関する情報である撮像装置姿勢情報と、ユーザの操作するユーザ操作機器から得られる、ユーザが視認したい領域を特定するユーザ視認情報と、に基づいて生成される表示画像を、前記ユーザが視認する表示領域に表示させる制御を行うことを含む情報処理方法が提供される。【０００９】  また、本開示によれば、コンピュータに、空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報と、当該撮像装置の姿勢に関する情報である撮像装置姿勢情報と、ユーザの操作するユーザ操作機器から得られる、ユーザが視認したい領域を特定するユーザ視認情報と、に基づいて生成される表示画像を、前記ユーザが視認する表示領域に表示させる制御を行う機能を実現させるためのプログラムが提供される。
【発明の効果】
【００１０】  以上説明したように本開示によれば、視線の自由度を維持しつつ空間を共有することが可能となる。【００１１】  なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示された何れかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の第１の実施形態に係るシステムの概略的な構成を示した説明図である。
【図２】同実施形態に係る装置の概略的な構成を示した説明図である。
【図３】同実施形態に係るウェアラブル機器の一例を模式的に示した説明図である。
【図４Ａ】同実施形態に係る情報処理装置の構成の一例を示したブロック図である。
【図４Ｂ】同実施形態に係る情報処理装置の構成の一例を示したブロック図である。
【図５】同実施形態に係る情報処理装置の機能を説明するための説明図である。
【図６】同実施形態に係る情報処理装置の機能を説明するための説明図である。
【図７】同実施形態に係る情報処理装置の機能を説明するための説明図である。
【図８】同実施形態に係る情報処理装置の機能を説明するための説明図である。
【図９】同実施形態に係る情報処理装置の機能を説明するための説明図である。
【図１０】同実施形態に係る情報処理装置の機能を説明するための説明図である。
【図１１】同実施形態に係る情報処理方法の流れの一例を示した流れ図である。
【図１２】同実施形態に係る表示制御処理を説明するための説明図である。
【図１３】同実施形態に係る表示制御処理を説明するための説明図である。
【図１４】同実施形態に係る表示制御処理を説明するための説明図である。
【図１５】同実施形態に係る表示制御処理を説明するための説明図である。
【図１６】同実施形態に係る表示制御処理を説明するための説明図である。
【図１７】同実施形態に係る表示制御処理の流れの一例を示した流れ図である。
【図１８】本開示の第２の実施形態に係る情報処理装置の構成の一例を示したブロック図である。
【図１９】同実施形態に係る情報処理装置の機能を説明するための説明図である。
【図２０】同実施形態に係る情報処理装置の機能を説明するための説明図である。
【図２１】同実施形態に係る情報処理装置の機能を説明するための説明図である。
【図２２】同実施形態に係る情報処理方法の流れの一例を示した流れ図である。
【図２３】同実施形態の変形例に係る情報処理装置の機能を説明するための説明図である。
【図２４】同実施形態の変形例に係る情報処理方法の流れの一例を示した流れ図である。
【図２５】光線空間について説明するための説明図である。
【図２６】本開示の第３の実施形態に係るシステムの概略的な構成を示した説明図である。
【図２７Ａ】同実施形態に係る撮像装置の概略的な構成を示した説明図である。
【図２７Ｂ】同実施形態に係る撮像装置の概略的な構成を示した説明図である。
【図２８Ａ】同実施形態に係る撮像装置の概略的な構成を示した説明図である。
【図２８Ｂ】同実施形態に係る撮像装置の概略的な構成を示した説明図である。
【図２９】同実施形態に係る撮像装置の概略的な構成を示した説明図である。
【図３０】同実施形態に係る情報処理装置の構成の一例を示したブロック図である。
【図３１】同実施形態に係る情報処理装置の機能を説明するための説明図である。
【図３２Ａ】同実施形態に係る情報処理装置の機能を説明するための説明図である。
【図３２Ｂ】同実施形態に係る情報処理装置の機能を説明するための説明図である。
【図３３】同実施形態に係る情報処理装置の機能を説明するための説明図である。
【図３４】同実施形態に係る情報処理方法の流れの一例を示した流れ図である。
【図３５】同実施形態に係る情報処理方法の流れの一例を示した流れ図である。
【発明を実施するための形態】
【００１３】  以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】  なお、説明は以下の順序で行うものとする。  １．第１の実施形態    １．１．システム構成例について    １．２．情報処理装置の構成について    １．３．情報処理方法の流れについて    １．４．表示制御処理の例    １．５．まとめ  ２．第２の実施形態    ２．１．情報処理装置の構成について    ２．２．情報処理方法の流れについて    ２．３．情報処理方法の変形例について    ２．４．まとめ  ３．第３の実施形態    ３．１．システム構成例について    ３．２．撮像機器の構成について    ３．３．情報処理装置の構成について    ３．４．情報処理方法の流れについて    ３．５．まとめ
【００１５】
（第１の実施形態）
＜システム構成例について＞
図１は、本開示の第１の実施形態に係るシステムの概略的な構成を示す図である。図１に示したように、本実施形態におけるシステム１０は、サーバ１００と、クライアント機器２００〜７００と、を有する。
【００１６】  サーバ１００は、単一のサーバ装置、又は、有線もしくは無線の各種ネットワークで接続されて協働する複数のサーバ装置、によって実現される機能の集合体であり、クライアント機器２００〜７００に各種サービスを提供する。
【００１７】  クライアント機器２００〜７００は、サーバ１００と有線又は無線の各種ネットワークで接続された端末装置である。
【００１８】  サーバ１００及びクライアント機器２００〜７００は、単独で、又は、互いに協働することで、システム１０の中で以下の（１）〜（７）の少なくとも何れかの機能を実現する。
【００１９】  （１）カメラなどの撮像機構を有し、撮像された実空間の画像を、サーバ１００又は他のクライアント機器２００〜７００に提供する装置。  （２）カメラなどの撮像機構を有し、撮像された実空間の画像に対して各種の画像処理を実施し、画像処理により得られた実空間に関する各種画像を、サーバ１００又は他のクライアント機器２００〜７００に提供する装置。  （３）カメラなどの撮像機構を有し、撮像された実空間の画像に対して各種の画像処理を実施し、ユーザによって実施された各種画像に関する各種操作に応じてユーザの所望する画像を生成し、生成した各種画像を、サーバ１００又は他のクライアント機器２００〜７００に提供する装置。  （４）ディスプレイなどの表示機構を少なくとも有し、好ましくはタッチパネルなどの操作機構を更に有し、（１）の装置により提供された画像を取得するとともに、ユーザによって実施された画像に関する各種操作に応じてユーザの所望する画像を生成し、生成した各種画像をユーザの閲覧に供する装置。  （５）ディスプレイなどの表示機構を少なくとも有し、好ましくはタッチパネルなどの操作機構を更に有し、（２）の装置により提供された画像を取得するとともに、ユーザによって実施された画像に関する各種操作に応じてユーザの所望する画像を生成し、生成した各種画像をユーザの閲覧に供する装置。  （６）ディスプレイなどの表示機構を少なくとも有し、好ましくはタッチパネルなどの操作機構を更に有し、（３）の装置により提供された画像を取得してユーザの閲覧に供するとともに、ユーザによる画像への各種操作を受け付ける装置。  （７）ディスプレイなどの表示機構を有し、（４）〜（６）の装置によって受け付けられた各種のユーザ操作に基づき生成された各種画像を表示させる装置。
【００２０】  クライアント機器２００は、ウェアラブル端末である（以下、単にウェアラブル端末２００ともいう）。ウェアラブル端末２００は、例えば撮像機構もしくは表示機構の少なくとも何れかを有し、上記（１）〜（７）の少なくとも何れかの装置として機能する。図示された例においてウェアラブル端末２００は眼鏡型であるが、ユーザの身体に装着可能な形状であれば、この例には限られない。上記（１）〜（３）の装置として機能する場合、ウェアラブル端末２００は、撮像機構として、例えば眼鏡のフレーム部分などに設置されたカメラを有する。このカメラによって、ウェアラブル端末２００は、ユーザの視点に近い位置から実空間の画像を取得することができる。取得した画像は、サーバ１００又は他のクライアント機器３００〜７００に送信される。また、上記（４）〜（７）の装置として機能する場合、ウェアラブル端末２００は、表示機構として、例えば眼鏡のレンズ部分の一部又は全部に設置されたディスプレイなどを有する。ウェアラブル端末２００は、上記のカメラによって撮像された画像をこのディスプレイに表示させる。
【００２１】  クライアント機器３００は、タブレット端末である（以下、単にタブレット端末３００ともいう）。タブレット端末３００は、少なくとも表示機構を有し、好ましくは操作機構を更に有し、例えば上記（４）〜（７）の装置として機能しうる。タブレット端末３００は、上記の表示機構及び操作機構に加えて撮像機構を更に有し、上記の（１）〜（３）の少なくとも何れかの装置として機能してもよい。つまり、タブレット端末３００は、上記の（１）〜（７）の装置のうちの任意の装置として機能しうる。
【００２２】  クライアント機器４００は、携帯電話（スマートフォン）である（以下、単に携帯電話４００ともいう）。なお、システム１０における携帯電話４００の機能は、タブレット端末３００と同様であるため、詳細な説明は省略する。なお、図示していないが、例えば携帯型ゲーム機や携帯型音楽再生機やデジタルカメラのような装置も、通信機構と表示機構、操作機構又は撮像機構とを有していれば、システム１０においてタブレット端末３００や携帯電話４００と同様に機能しうる。
【００２３】  クライアント機器５００は、ラップトップＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）である（以下、単にラップトップＰＣ５００ともいう）。ラップトップＰＣ５００は、表示機構及び操作機構を有し、上記（４）〜（７）の装置として機能する。図示された例において、ラップトップＰＣ５００は、基本的に固定して使用されるために上記（１）〜（３）の装置としては機能しない装置の例として扱われている。図示していないが、例えばデスクトップＰＣやテレビなども、ラップトップＰＣ５００と同様に機能しうる。ラップトップＰＣ５００は、表示機構としてディスプレイを、操作機構としてマウスやキーボードを有し、上記（１）〜（３）の装置から直接的に又は各種装置を経由して提供される画像を表示するとともに、当該画像に対するユーザの各種操作を受け付ける。また、ラップトップＰＣ５００がカメラなどの撮像機構を更に有している場合、ラップトップＰＣ５００は、上記（１）〜（３）の装置として機能することも可能である。
【００２４】  クライアント機器６００は、固定カメラである（以下、単に固定カメラ６００ともいう）。固定カメラ６００は、撮像機構を有し、上記（１）〜（３）の装置として機能する。図示された例において、固定カメラ６００は、固定して使用され、かつ表示機構を有さないために上記（４）〜（７）の装置としては機能しない装置の例として扱われている。図示していないが、例えばテスクトップＰＣやテレビに画面の前を映すカメラが設けられている場合や、デジタルカメラのような移動可能な装置が三脚などに一時的に固定されている場合も、これらの装置は固定カメラ６００と同様に機能しうる。固定カメラ６００は、撮像機構としてカメラを有し、固定された視点（カメラが自動的に、又は、撮像画像を閲覧するユーザの操作に応じてスイングするような場合も含む。）から実空間の画像を取得することができる。
【００２５】  クライアント機器７００は、プロジェクタである（以下、単にプロジェクタ７００ともいう）。プロジェクタ７００は、表示機構として投影装置を有し、上記（７）の装置として機能する。図示された例において、プロジェクタ７００は、撮像機構を有さず、また表示（投影）した画像に対する入力を受け付ける操作機構も有さないため、上記（１）〜（６）の装置としては機能しない装置の例として扱われている。プロジェクタ７００は、投影装置を用いてスクリーンやオブジェクトの表面に画像を投影することによって、実空間に各種の画像を表示させる。なお、プロジェクタ７００は、固定型のものが図示されているが、ハンドヘルド型のものであってもよい。
【００２６】  サーバ１００は、単独で、又は、上記クライアント機器２００〜７００と協働することによって、上記（１）〜（７）の少なくとも何れかの装置として機能する。すなわち、サーバ１００は、実空間の画像を取得したり、得られた画像に対して各種の画像処理を行ったり、取得した実空間の画像、又は、画像処理によって得られた画像の少なくとも何れかを表示させたりする機能を有する。
【００２７】  サーバ１００、及び、クライアント機器２００〜７００によって実現される上記のような機能によって、例えば、人間などの各種生物、地表、地中もしくは水中などを自走する自走体、又は、空中を飛行する飛行体などといった移動体が存在する実空間の画像をユーザが閲覧し、各種移動体とユーザとで、空間を共有することが可能となる。更に、本実施形態に係るシステムでは、以下で詳述するような処理が行われることで、ユーザは、移動体とは独立して、移動体の存在する実空間の画像を自由に閲覧することも可能となる。
【００２８】  以上、本実施形態に係るシステムについて説明した。図１に示したように、本実施形態に係るシステム１０は、実空間の画像を取得可能な装置と、実空間の画像をユーザの閲覧に供するとともにユーザによる各種操作を受け付けることが可能な装置と、ユーザによる各種操作により生成された画像を表示させる装置と、を含みうる。
【００２９】  なお、上記のようなシステム１０で実施される画像処理を含む各種の情報処理は、サーバ１００やクライアント機器２００〜７００が、単独で、又は、互いに協働することで実施される。サーバ１００やクライアント機器２００〜７００が、単独で、又は、互いに協働する結果、システム１０全体としてみると、以下で詳述するような情報処理装置が実現されることとなる。
【００３０】［装置構成］  図２は、本実施形態に係る装置の概略的な構成を示す図である。図２に示したように、装置９００は、プロセッサ９１０及びメモリ９２０を含む。装置９００は、更に、表示部９３０、操作部９４０、通信部９５０、撮像部９６０、又は、センサ９７０の少なくとも何れかを含みうる。これらの構成要素は、バス９８０によって相互に接続される。装置９００は、例えば、上記のサーバ１００を構成するサーバ装置、及び、クライアント機器２００〜７００を実現しうる。
【００３１】  プロセッサ９１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）といったような各種のプロセッサであり、例えばメモリ９２０に格納されたプログラムに従って演算や制御などの動作を実行することによって、各種の機能を実現する。プロセッサ９１０は、例えば上記のサーバ１００及びクライアント機器２００〜７００の装置全体の制御機能を実現する。プロセッサ９１０は、例えばサーバ１００やクライアント機器２００〜７００において、後述するような各種の画像処理や、画像を表示画面に表示させるための表示制御を実行する。
【００３２】  メモリ９２０は、半導体メモリ又はハードディスクなどの記憶媒体によって構成され、装置９００による処理のためのプログラム及びデータを格納する。メモリ９２０は、例えば、撮像部９６０によって取得された撮像画像データや、センサ９７０によって取得されたセンサデータを格納してもよい。なお、本明細書で説明するプログラム及びデータの一部は、メモリ９２０に格納されることなく、外部のデータソース（例えばデータサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００３３】
表示部９３０は、例えば上述した表示機構を有するクライアント機器に設けられる。表示部９３０は、例えば装置９００の形状に応じたディスプレイでありうる。例えば、上記の例でいえば、ウェアラブル端末２００は、例えば眼鏡のレンズ部分に対応した形状、又は、ヘッドマウントディスプレイの表示領域に対応した形状のディスプレイを有しうる。また、タブレット端末３００や携帯電話４００、ラップトップＰＣ５００は、それぞれの筐体に設けられる平板型のディスプレイを有しうる。あるいは、表示部９３０は、オブジェクトに画像を投影する投影装置であってもよい。上記の例では、プロジェクタ７００が表示部として投影装置を有しうる。
【００３４】
操作部９４０は、例えば、上述した操作機構を有するクライアント機器に設けられる。操作部９４０は、例えばディスプレイ上に設けられたタッチセンサ（ディスプレイとあわせてタッチパネルを構成する）やタッチパッド、マウスなどのポインティングデバイスに、必要に応じてキーボード、ボタン、スイッチなどを組み合わせて構成される。操作部９４０は、例えばポインティングデバイスによって表示部９３０に表示された画像中の位置を特定し、その位置に対してキーボードやボタン、スイッチなどによって何らかの情報を入力するユーザの操作を受け付ける。あるいは、操作部９４０は、ポインティングデバイスによって表示部９３０に表示された画像中の位置を特定し、更にポインティングデバイスによってその位置に対して何らかの情報を入力するユーザの操作を受け付けてもよい。
【００３５】  通信部９５０は、装置９００による他の装置との間の通信を仲介する通信インタフェースである。通信部９５０は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００３６】  撮像部９６０は、画像を撮像するカメラモジュールである。撮像部９６０は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。撮像部９６０によって生成される一連の撮像画像は、映像を構成する。なお、撮像部９６０は、必ずしも装置９００の一部でなくてもよい。例えば、装置９００と有線又は無線で接続される撮像装置が撮像部９６０として扱われてもよい。また、撮像部９６０は、撮像部９６０と被写体との間の距離を画素ごとに測定する深度（ｄｅｐｔｈ）センサを含んでいてもよい。深度センサから出力される深度データは、後述するように実空間を撮像した画像における環境の認識のために利用されうる。
【００３７】  センサ９７０は、測位センサ、加速度センサ及びジャイロセンサなどの様々なセンサを含みうる。センサ９７０において得られる測定結果は、実空間を撮像した画像における環境の認識の支援、地理的な位置に特化したデータの取得、又は、ユーザ入力の検出などの様々な用途で利用されてもよい。なお、センサ９７０は、撮像部９６０を有する装置（上記の例ではウェアラブル端末２００やタブレット端末３００、携帯電話４００、又は、固定カメラ６００など）に設けられうる。
【００３８】＜情報処理装置の構成について＞  次に、上記のようなサーバ１００やクライアント機器２００〜７００が単独で又は互いに協働することでシステム１０全体として実現される、本実施形態に係る情報処理装置の構成について、図３〜図１０を参照しながら、主としてその機能の面を詳細に説明する。
【００３９】
ここで、本実施形態に係る情報処理装置１０００で扱われる撮像画像の種別は特に限定されるものではなく、静止画像であってもよいし、動画像であってもよい。
【００４０】  また、本実施形態に係る情報処理装置１０００で扱われる撮像画像は、実空間のなるべく広範囲を撮像したものであることが好ましい。従って、実空間の撮像に用いられる撮像装置は、なるべく広角のレンズが装着されたカメラであることが好ましく、更に好ましくは、例えば図３に模式的に示したような、全周囲カメラであることが好ましい。
【００４１】  図３は、実空間を撮像するための全周囲カメラが、ウェアラブル端末２００として実現される場合の構成を、模式的に図示したものである。図３に示したウェアラブル端末２００では、なるべく広角のレンズが装着されたカメラが、移動体の一例である人間の頭部の周囲を覆うように、環状に設けられている。また、カメラを人間の頭部の周囲に設置するだけでは、天頂方向の画像を得ることが困難となるため、図３では、頭頂部にもカメラが設けられている。また、ウェアラブル端末２００には、測位センサ、加速度センサ及びジャイロセンサなどといった各種のセンサが設けられる。かかるセンサから出力される、撮像装置の視線（換言すれば、撮像装置の姿勢）に関する情報は、後述する情報処理装置に対して出力され、かかる情報処理装置において、撮像装置の姿勢に関する情報である撮像装置姿勢情報として用いられる。
【００４２】  なお、図３に示した例では、全周囲画像を得るためにカメラを環状に配設する場合を示しているが、情報処理装置１０００で扱う画像が全周囲画像でなくともよい場合には、カメラを環状に配設しなくてもよく、人間の頭部の少なくとも一部にカメラが設けられていればよい。図３に示したようなウェアラブル端末２００を実現するにあたって用いられるカメラの台数については限定されるものではなく、どの程度広範囲の画像を取得したいかに応じて、台数を適宜設定すればよい。
【００４３】  また、図３では、移動体が人間である場合について図示しているが、移動体は人間に限定されるものではなく、ウェアラブル端末２００の装着された人間以外の動物であってもよいし、カメラの装着されたロボットなどの自走体や飛行体であってもよい。
【００４４】  図３に例示したような撮像機器により撮像された撮像画像に対して各種の情報処理を行う情報処理装置１０００は、空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報と、当該撮像装置の姿勢に関する情報である撮像装置姿勢情報と、ユーザの操作するユーザ操作機器から得られる、ユーザが視認したい領域を特定するユーザ視認情報と、に基づいて生成される表示画像を、前記ユーザが視認する表示領域に表示させる制御を行う装置である。なお、撮像装置姿勢情報とは、例えば、撮像装置の回転に関する情報であり、ユーザ視認情報とは、例えば、撮像装置が撮像した全周囲画像において、ユーザが視認したい表示画角を特定する情報であってもよい。
【００４５】  この情報処理装置１０００は、例えば図４Ａに示したように、制御部の一例である表示制御部１０５０を少なくとも備える。また、本実施形態に係る情報処理装置１０００は、図４Ｂに示したように、表示制御部１０５０に加えて、画像生成部１０１０と、画像選択部１０２０と、画像補正部１０３０と、移動体視線情報生成部１０４０と、データ取得部１０６０と、データ提供部１０７０と、記憶部１０８０と、の少なくとも何れかを更に備えてもよい。ここで、図４Ａ及び図４Ｂに示した各処理部は、サーバ１００又はクライアント機器２００〜７００の何れか１つの機器に実現されていてもよいし、複数の機器に分散されて実現されていてもよい。
【００４６】  なお、以下の説明では、情報処理装置１０００が、上記撮像装置によって撮像された撮像画像と、上記撮像装置姿勢情報と、上記ユーザ視認情報と、に基づいて生成される表示画像の表示制御を行う場合について説明する。しかしながら、情報処理装置１０００は、例えば撮像装置や撮像装置及び情報処理装置とは異なる他の機器により、上記撮像画像と上記撮像装置姿勢情報とに基づいて生成された生成画像（例えば、撮像画像に対し撮像装置の姿勢に関する補正が予め施された補正画像）と、上記ユーザ視認情報と、に基づいて、以下と同様にして表示制御を行ってもよいことは、言うまでもない。
【００４７】  画像生成部１０１０は、空間内を移動する移動体に装着された撮像装置によって撮像される撮像画像を利用して、移動体が存在する位置の周囲が撮像された周囲撮像画像を生成する。画像生成部１０１０による周囲撮像画像の生成処理は、例えば図３に示したような撮像機器から撮像画像が出力されると、リアルタイムに随時実施される。
【００４８】  ここで、周囲撮像画像の生成に用いられる撮像画像が図３に例示したような全周囲カメラによって撮像されたものである場合、画像生成部１０１０が撮像画像を統合することによって生成する周囲撮像画像は、図５に示したような全周囲撮像画像（全球画像）となる。なお、複数のカメラによって撮像された複数の撮像画像から周囲撮像画像を生成する手法については特に限定されるものではなく、公知の手法を適用すればよい。
【００４９】  画像生成部１０１０は、周囲撮像画像として、図５に示したような全周囲撮像画像（全球画像）ではなく、図６に示したような、全球画像と等価な矩形画像を生成してもよい。全球画像と等価な矩形画像は、例えば正距円筒図法などの公知の方法により、全球画像を変換することで生成することができる。周囲撮像画像として、図５に示したような全球画像ではなく、図６に示したような矩形画像を用いることで、より簡便に各種の画像処理を実施することが可能となる。
【００５０】  画像選択部１０２０は、画像生成部１０１０により生成された周囲撮像画像と、ユーザの操作するユーザ操作機器から得られた、ユーザが視認したい空間を示すユーザ視認情報と、に基づいて、周囲撮像画像のうちユーザ視認情報に対応する撮像画像を、ユーザ視認用画像として選択する。画像選択部１０２０によって選択されたユーザ視認用画像は、ユーザの操作するユーザ操作機器（例えば、図５及び図６に示した例では、移動体とは異なるユーザの装着した、ヘッドマウントディスプレイなどのウェアラブル端末２００）へと提供され、ユーザの閲覧に供される。これにより、ユーザ操作機器を操作しているユーザは、ある空間内を移動する移動体と空間を共有することができるとともに、空間内でユーザが視認を希望する位置を、移動体とは独立して選択することが可能となる。その結果、移動体が存在している空間において、ユーザは、移動体が視認している位置とは異なる位置の画像を、自由に選択することが可能となる。
【００５１】  このような周囲撮像画像の生成処理及び周囲撮像画像からの画像選択処理は、画像間の特徴点を照合させるなどといった演算コストの高い処理を多用する空間再合成技術に比べて、より少ない演算コストで処理を実行することができる。従って、かかる処理を実施可能な情報処理装置１０００は、装置の小型軽量化を実現することが可能となる。
【００５２】  ここで、ユーザ操作機器によって設定されるユーザ視認情報は、ユーザがユーザ操作機器に設けられているタッチパッド、キーボード、マウス等の各種入力機構を操作することによって生成され、画像選択部１０２０に伝送される。ユーザ操作機器が図５及び図６に示したようなウェアラブル端末２００である場合、ウェアラブル端末２００に設けられた測位センサ、加速度センサ及びジャイロセンサなどの様々なセンサによって、ユーザの挙動（例えば、ユーザの視線方向）を自動的に検出することで、生成されてもよい。また、かかるユーザ視認情報は、ユーザ操作機器へのユーザによる音声入力やジェスチャ入力等によって生成されてもよい。
【００５３】  このように、本実施形態に係る情報処理装置１０００は、上記画像生成部１０１０及び画像選択部１０２０を備えることによって、移動体（より詳細には、撮像装置）の視認している空間の画像（いわゆる一人称視点画像）がリアルタイムでユーザに対して提供される。ここで、一人称視点画像では、移動体（より詳細には、撮像装置）が自身の存在する位置の周辺を見回すことに起因する、激しい画面の揺れが発生することがある。かかる画面の激しい揺れをユーザが視認してしまうと、ユーザは、揺れの激しい画像を見ることによる「酔い」（モーションシックネス）を感じてしまうことがある。従って、本実施形態に係る情報処理装置１０００では、撮像装置における上記のような回転運動を補正する補正機能を更に有していることが好ましい。
【００５４】  画像補正部１０３０は、撮像装置姿勢情報に基づいて、上記のような撮像装置の回転運動に伴う画像の変化を補正する処理部である。この画像補正部１０３０は、撮像装置の位置が変化することなく当該撮像装置の視線方向が変化した（すなわち、撮像装置に回転運動が生じた）場合に、周囲撮像画像に対して、撮像装置の視線方向の変化に伴う周囲撮像画像の変化を抑制する補正を実施する。
【００５５】  より具体的には、画像補正部１０３０は、移動体視線情報を利用し、撮像装置の視線方向の変化に伴う回転角の大きさに応じて、撮像装置の視線方向の変化後の周囲撮像画像を逆回転させる補正を実施する。以下、この補正処理について、図７を参照しながら説明する。
【００５６】  図７に示したように、ある時点において、センサ及び全周囲カメラを有するウェアラブル端末２００を装着した移動体（人間）からの撮像データにより、全球画像Ａが生成されたものとする。その後、撮像装置に回転運動が発生して視線方向の変化が生じ、それに伴い、全球画像Ｂが生成されたものとする。かかる場合、画像補正部１０３０は、ウェアラブル端末２００から出力されたセンサ情報を参照して回転成分を抽出し、撮像装置の視線方向の変化に伴う回転角の大きさを特定する。続いて、画像補正部１０３０は、全球画像Ｂに対して、得られた回転角の大きさに応じて画像を逆回転させる補正を実施して、全球画像Ｂから回転成分の相殺された全球画像Ｃを生成する。これにより、全球画像Ｃは、回転成分が相殺された結果、全球画像Ａとほぼ同じ方向を見た画像となる。
【００５７】  以上のような画像補正処理を実施することで、撮像装置の回転運動に起因する激しい画面の揺れを抑制することができ、ユーザにおける「酔い」（モーションシックネス）の発生を防止することができる。
【００５８】  また、画像補正部１０３０は、撮像装置の回転運動に伴う視線方向の変化の前後において、局所特徴量が一致するように回転運動の補正処理を実施してもよい。図７では、移動体に設けられたセンサからの出力を利用して、回転補正を行う場合について図示しているが、全球画像Ａにおける局所特徴量と、全球画像Ｂにおける局所特徴量と、に着目して、回転運動の補正処理を実施してもよい。
【００５９】  例えば、画像補正部１０３０は、全球画像Ａにおける局所特徴量（例えば、特徴点の位置）と、全球画像Ｂにおける局所特徴量と、をそれぞれ抽出して、かかる局所特徴量の照合処理を実施する。その上で、画像補正部１０３０は、撮像装置の視線方向の変化の前後において局所特徴量が一致するように、補正を実施してもよい。この場合、画像補正部１０３０は、２つの局所特徴量を一致させるために施すべき回転成分を抽出して、全球画像Ｂに対して、得られた回転角の大きさに応じて画像を逆回転させる補正を実施すればよい。
【００６０】  ここで、画像補正部１０３０が着目する局所特徴量は特に限定されるものではなく、公知の局所特徴量を利用することが可能であるが、このような局所特徴量として、例えば、Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）を挙げることができる。
【００６１】  また、図８に示したように、画像補正部１０３０は、移動体に装着されたセンサからの出力に基づく画像補正処理と、局所特徴量に基づく画像補正処理と、を併用してもよい。これにより、画像補正部１０３０は、より精密に回転成分を相殺することが可能となる。
【００６２】  なお、画像補正部１０３０は、ユーザ操作機器から得られた上記補正の適用度合いを示した補正適用情報に応じて、補正の実施の度合いを制御してもよい。これにより、画像補正部１０３０は、上記のような回転成分の補正により回転成分を完全に相殺したり、回転成分の補正を実施しなかったり、回転成分を完全に相殺しない程度の補正を実施したりできる。また、画像補正部１０３０は、回転成分を完全に相殺しない程度の補正を実施することで、撮像装置の回転運動に徐々に追随させるような画像制御を実施することもできる。
【００６３】  また、撮像装置で発生しうる回転運動は、例えば、ヨー（ｙａｗ）軸、ピッチ（ｐｉｔｃｈ）軸、ロール（ｒｏｌｌ）軸のような、互いに独立に規定される回転座標軸を用いて表現することが可能である。そのため、画像補正部１０３０は、例えば図９に示したように、上記のような回転補正の実施度合いを、かかる回転座標軸のそれぞれについて、互いに独立に制御してもよい。
【００６４】
移動体視線情報生成部１０４０は、撮像装置姿勢情報に基づいて、撮像装置の視線の方向（位置）又は視野を示す視線情報を生成する。この視線情報は、例えば、移動体に装着されている各種センサからの出力情報（すなわち、撮像装置姿勢情報）を用いて、公知の方法により生成することができる。かかる視線情報を、画像生成部１０１０により生成された周囲撮像画像とあわせてユーザに提供することで、ユーザ操作機器に提供されるユーザ視認用画像には、撮像装置の視線の方向（位置）や視野を示すオブジェクトを表示させることが可能となる。その結果、ユーザは、撮像装置の視線の方向（位置）又は視野とは異なる任意の方向の周囲撮像画像を視認しつつ、撮像装置の視線方向を随時把握することが可能となる。
【００６５】  表示制御部１０５０は、情報処理装置１０００や情報処理装置１０００の外部に設けられたディスプレイ等の表示装置の表示内容を制御する。具体的には、表示制御部１０５０は、空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報と、当該撮像装置の姿勢に関する情報である撮像装置姿勢情報と、ユーザの操作するユーザ操作機器から得られる、ユーザが視認したい領域を特定するユーザ視認情報と、に基づいて生成される表示画像を、前記ユーザが視認する表示領域に表示させる制御を行う。また、表示制御部１０５０は、ユーザ操作機器の表示画面の表示制御を行うことで、例えば図１０に示したように、ユーザ視認用画像の中に、撮像装置の視線方向や視界を表わしたオブジェクトを表示させることができる。これにより、ユーザは、移動体とは独立に視線方向を選択しつつも、移動体の視線方向を随時把握することが可能となる。
【００６６】  データ取得部１０６０は、移動体に装着された撮像機器から出力される撮像画像データや、撮像装置の視線方向に関するセンサ出力（すなわち、撮像装置姿勢情報）等を含む視線関連データを取得したり、ユーザ操作機器から出力されるユーザ操作に関するデータを取得したりする。データ取得部１０６０により各種機器から取得された各種データは、情報処理装置１０００の有する各処理部が適宜利用することが可能である。
【００６７】  データ提供部１０７０は、情報処理装置１０００で生成された各種データ（例えば、周辺撮像画像やユーザ視認用画像などの撮像画像データや、撮像装置の視線方向などの視線関連データ）を、情報処理装置１０００の外部に設けられた装置に提供する。これにより、情報処理装置１０００の外部に設けられた装置においても、情報処理装置１０００で生成された各種情報を利用することが可能となる。
【００６８】
記憶部１０８０には、画像生成部１０１０、画像選択部１０２０、画像補正部１０３０、移動体視線情報生成部１０４０、表示制御部１０５０、データ取得部１０６０、データ提供部１０７０における処理に利用される各種のデータベースや、これら処理部が実行する各種の演算処理に用いられるアプリケーションを含む各種のプログラムや、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過などが、適宜記録されてもよい。
【００６９】
この記憶部１０８０は、画像生成部１０１０、画像選択部１０２０、画像補正部１０３０、移動体視線情報生成部１０４０、表示制御部１０５０、データ取得部１０６０、データ提供部１０７０などの各処理部が、自由にアクセスし、データを書き込んだり読み出したりすることができる。
【００７０】  以上、本実施形態に係る情報処理装置１０００の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【００７１】  なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【００７２】
また、図４Ｂに示した画像生成部１０１０、画像選択部１０２０、画像補正部１０３０、移動体視線情報生成部１０４０、データ取得部１０６０、データ提供部１０７０、記憶部１０８０は、情報処理装置１０００と相互に通信が可能なコンピュータ等の他の装置に実装されており、情報処理装置１０００と他の装置とが協働することで、上記のような機能が実現されてもよい。
【００７３】＜情報処理方法の流れについて＞  次に、図１１を参照しながら、本実施形態に係る情報処理装置１０００で実施される情報処理方法の流れについて、簡単に説明する。
【００７４】  本実施形態に係る情報処理方法では、まず、移動体に装着されたカメラから撮像画像データを取得する（ステップＳ１０１）。
【００７５】  その後、情報処理装置１０００の画像生成部１０１０は、取得した撮像画像データに基づいて、例えば、全球画像や全球画像を矩形変換した矩形画像などといった、周囲撮像画像を生成する（ステップＳ１０３）。
【００７６】  この際、情報処理装置１０００の画像補正部１０３０は、必要に応じて、生成した周囲撮像画像に対して、上記のような補正処理を実施する（ステップＳ１０５）。
【００７７】  その後、情報処理装置１０００の画像選択部１０２０は、ユーザ操作機器から取得したユーザ視認情報に応じて、周囲撮像画像のなかからユーザ視認情報に対応する画像（すなわち、ユーザ視認用画像）を選択する（ステップＳ１０７）。
【００７８】  続いて、情報処理装置１０００の表示制御部１０５０は、選択した画像のユーザ操作機器の表示画面への表示を制御する（ステップＳ１０９）。これにより、ユーザ操作機器を使用しているユーザは、移動体の存在する空間内の画像を移動体と共有することが可能となる。
【００７９】  なお、撮像装置から取得した撮像画像に代えて、撮像画像と撮像装置姿勢情報とに基づいて生成された生成画像を用いて処理を行う場合についても、上記と同様に処理を実施することができる。
【００８０】  以上、図１１を参照しながら、本実施形態に係る情報処理方法の流れについて、簡単に説明した。
【００８１】＜表示制御処理の例＞  続いて、図１２〜図１７を参照しながら、本実施形態に係る情報処理装置１０００の表示制御部１０５０によって生成される表示画像の例を挙げつつ、表示制御部１０５０における表示制御処理について、具体的に説明する。  図１２〜図１６は、本実施形態に係る表示制御処理について説明するための説明図であり、図１７は、本実施形態に係る表示制御処理の流れの一例を示した流れ図である。
【００８２】  図７及び図８を参照しながら説明したように、本実施形態に係る情報処理装置１０００では、撮像装置から随時出力される画像情報から生成された全球画像、又は、全球画像と等価な正距円筒図法等に基づく矩形画像（すなわち、周囲撮像画像）のフレーム間の変化に着目することで、回転成分を抽出することができる。
【００８３】  今、フレーム１に対応する周囲撮像画像Ｆ１と、フレーム２に対応する周囲撮像画像Ｆ２との間で発生した回転運動Ｑ１，２は、周囲撮像画像Ｆ１における特徴点が周囲撮像画像Ｆ２においてどの位置に存在するかに着目して行われる公知の推定処理等によって、特定することができる。かかる回転運動の特定処理を、フレーム（Ｎ−１）に対応する周囲撮像画像ＦＮ−１と、フレームＮに対応する周囲撮像画像ＦＮとの間で発生した回転運動ＱＮ−１，Ｎまで随時実施し、得られたそれぞれの回転運動の積を取ることで、下記式１０１に示すような、フレーム１からフレームＮまでの間の回転運動Ｑ１，Ｎを特定することができる。
【００８４】    Ｑ１，Ｎ＝Ｑ１，２×Ｑ２，３×・・・×ＱＮ−１，Ｎ  ・・・（式１０１）
【００８５】  上記のようにして得られるＱ１，Ｎは、撮像装置の視線方向の変化に伴う回転に関する情報（すなわち、回転情報）であるといえる。かかる回転情報は、フレーム１〜フレームＮの間に発生した回転運動の軌跡を表わした情報として取り扱うことが可能であり、表示制御部１０５０は、かかるＱ１，Ｎを可視化することで、フレーム１〜フレームＮの間に発生した回転運動の軌跡（換言すれば、撮像装置の姿勢の変化を可視化した姿勢情報）を、ユーザに提供することが可能となる。
【００８６】  ここで、表示制御部１０５０が、画像生成部１０１０によって生成された表示画像（すなわち、周囲撮像画像）に対して姿勢情報を重畳させる際に利用可能な座標系としては、以下の２つがある。  （ａ）撮像装置が存在する空間に固定された座標系（絶対座標系、以下、座標系Ａともいう。）  （ｂ）撮像装置に固定された座標系（相対座標系、以下、座標系Ｂともいう。）
【００８７】  本実施形態に係る表示制御部１０５０は、上記２つの座標系のうち座標系Ａを利用して、周囲撮像画像を空間内に適切に表示させるとともに、上記姿勢情報に対応する画像や各種オブジェクトを、周囲撮像画像に対して重畳させる。
【００８８】  また、本実施形態に係る表示制御部１０５０は、撮像装置の視線方向の変化に伴う周囲撮像画像の変化を抑制する補正が施された周囲撮像画像に対して、更に、姿勢情報に対応する画像や各種オブジェクトを重畳させてもよい。
【００８９】  なお、画像選択部１０２０によって周囲撮像画像から選択されるユーザ視認用画像は、図１２に模式的に示したような座標系Ａにおける全球の表面に張り付けられた周囲撮像画像の一部を、球の内部に位置する任意の点から視認する場合の画像に対応する。従って、球の内部に位置する任意の点に、座標系Ａとは別個に上記座標系Ｂが規定される。また、図１２に示したような、本実施形態で利用可能な座標系は、球の表面の任意の位置を２つの回転角を用いて表現する回転座標系とすることが好ましい。
【００９０】  また、ユーザ操作機器から、周囲撮像画像の特定の位置に対して、テキストデータ、画像データ、音声データ等といった各種のアノテーションの付加を要求された場合、表示制御部１０５０は、ユーザ操作機器から指定された位置の座標系Ａにおける対応箇所に対して、各種アノテーションを関連付けることが好ましい。また、表示制御部１０５０は、アノテーションを表わす画像やアイコン等といった各種のオブジェクトを、ユーザ操作機器からの指定位置に応じた周囲撮像画像の対応箇所（すなわち、座標系Ａにおける対応箇所）に表示させることも可能である。
【００９１】  ここで、姿勢情報に含まれる情報を可視化する際に、表示制御部１０５０が採用しうる方法として、少なくとも以下の２つの方法がある。表示制御部１０５０は、撮像装置の操作者、又は、ユーザ操作機器の操作者の少なくとも一方のユーザ操作に基づいて、採用する可視化方法を設定したり、変更したりする。
【００９２】  （Ａ）座標系Ａの動きを固定し、かつ、座標系Ｂの動きを姿勢情報に応じて変化させる。  この場合、撮像装置の姿勢の変化に伴い、ユーザ操作機器等の表示装置の表示領域に表示される周囲撮像画像が変化するように表示される。また、姿勢情報に対応する画像や各種オブジェクトは、撮像装置の姿勢に変化があったとしても、表示領域に固定されたように表示される。  （Ｂ）座標系Ａの動きを姿勢情報に応じて変化させ、かつ、座標系Ｂの動きを固定する。  この場合、撮像装置の姿勢の変化があったとしても、ユーザ操作機器等の表示装置の表示領域に表示される周囲撮像画像の像が変化しない、又は、撮像装置の姿勢の変化に伴う像の変化が少なくなるように表示される。また、姿勢情報に対応する画像や各種オブジェクトは、撮像装置の姿勢の変化に伴って、変化する（仮想的に回転等する）ように表示領域に表示される。
【００９３】  ここで、先だって説明した画像補正部１０３０による画像補正処理が、上記（Ｂ）の可視化方法において、座標系Ｂの動きを固定する処理に対応している。
【００９４】  上記（Ａ）の可視化方法により姿勢情報を可視化することで、座標系Ａに固定された周囲撮像画像は固定されたままで、姿勢情報に応じて座標系Ｂの向きが変化することとなる。このような座標系Ｂの動きの変化をより明確にユーザ操作機器のユーザへと伝達するために、表示制御部１０５０は、例えば図１２に示したように、姿勢情報を表わすオブジェクトとして、座標系Ｂの座標軸（例えば、緯度方向・経度方向の角度で規定される座標軸）を表わすオブジェクトを周囲撮像画像に重畳させ、かかる座標軸を姿勢情報に応じて回転させればよい。また、表示制御部１０５０は、座標系Ｂの動きの変化をより効果的にユーザ操作機器のユーザへと伝達するために、例えば図１３に示したように、姿勢情報の変化に対応する動きを軌跡として、周囲撮像画像に重畳させてもよい。
【００９５】  また、上記（Ｂ）の可視化方法により姿勢情報を可視化することで、座標系Ｂの向きは固定されたまま、座標系Ａに固定された周囲撮像画像が姿勢情報に応じて変化することとなる。この場合、周囲撮像画像そのものが姿勢情報に応じて回転するため、ユーザ操作機器のユーザは、撮像装置の姿勢の変化を容易に把握することができる。ここで、表示制御部１０５０は、周囲撮像画像に対して、例えば図１２に示したような座標系Ａの座標軸（例えば、緯度方向・経度方向の角度で規定される座標軸）を表わすオブジェクトを重畳させて、周囲撮像画像の回転に応じて座標軸も回転させてもよい。また、表示制御部１０５０は、座標系Ａの動きの変化をより効果的にユーザ操作機器のユーザへと伝達するために、例えば図１３に示したように、姿勢情報の変化に対応する動きを軌跡として、周囲撮像画像に重畳させてもよい。
【００９６】  なお、表示制御部１０５０は、以上のような２種類の座標系の回転を可視化する際に、生成される表示画像（すなわち、ユーザ視認用画像）に対して、撮像装置の視線方向の変化に伴う回転運動に伴って回転するオブジェクトと、回転しないオブジェクトと、の少なくとも何れか一方を重畳させることが可能である。すなわち、表示制御部１０５０は、座標系の座標軸を表わすオブジェクトそのものは、回転運動に伴って回転させるものの、例えば図１２に示した座標軸に付与されている数値や文字等のように、回転運動に伴って回転してしまうと把握することが難しくなるオブジェクトについては、回転させずにおいてもよい。これにより、回転運動に伴って回転してしまうと把握が難しくなるオブジェクトの位置は回転運動に伴って移動するものの、オブジェクトの姿勢はビューポイントに対して一定とすることが可能となる。その結果、ユーザによるオブジェクトの把握をより容易にすることが可能となる。
【００９７】  ここで、表示制御部１０５０によってユーザ視認用画像に重畳される各種オブジェクトの具体例については特に限定されるものではなく、任意のものを使用することが可能である。また、ユーザ視認用画像に対して、図１０に示したような視線情報を重畳してもよいことは、言うまでもない。
【００９８】  表示制御部１０５０は、座標系Ａの座標軸及び座標系Ｂの座標軸のどちらの座標軸を表示させて、どちらの座標軸を回転させるか、といった設定を、撮像装置の操作者、又は、ユーザ操作機器の操作者の少なくとも一方のユーザ操作に基づいて、決定したり、変更したりすることが好ましい。
【００９９】  なお、座標系の回転軸と姿勢情報に記載されている回転運動（すなわち、撮像装置の回転運動）の回転軸とが一致してしまうと、ユーザ操作機器のユーザは、撮像装置の姿勢の変化を把握することが難しくなる場合がある。そこで、表示制御部１０５０は、回転情報を利用して撮像装置の姿勢の変化を可視化する際に、空間に固定された座標系（座標系Ａ）の中心とは異なる位置（例えば、図１２における座標系Ａの中心Ｃから撮像装置の視線方向に沿って後方に平行移動した位置Ｏ）から空間を仮想的に視認したものとして、表示画像を生成することが好ましい。これにより、ユーザ操作機器のユーザは、あたかも、撮像装置の位置とは異なる位置に仮想的に設置された固定カメラから表示画像が生成されているかのように視認することが可能となる。その結果、ユーザ操作機器のユーザは、撮像装置の姿勢の変化をより容易に把握することが可能となる。なお、表示制御部１０５０は、上記の可視化における基準位置（図１２における位置Ｏ）を、撮像装置の操作者、又は、ユーザ操作機器の操作者の少なくとも一方のユーザ操作に基づいて、設定したり、変更したりすることが可能である。
【０１００】  表示制御部１０５０は、姿勢情報の変化をより効果的にユーザ操作機器のユーザへと伝達するために、姿勢情報に応じて、表示画像をユーザが視認する表示領域に表示させる際の再生速度、又は、表示画角の少なくとも何れかを制御してもよい。表示制御部１０５０は、例えば姿勢情報に基づく回転量が大きい時点では再生速度を遅くする等といった表示制御を行うことで、ユーザ操作機器のユーザに対して、姿勢情報の変化をより効果的に伝達することができる。
【０１０１】  また、表示制御部１０５０は、ユーザ操作機器から指定された任意の位置を中心とし、指定された任意の位置から空間を仮想的に視認した場合の表示画像を生成して、ユーザ操作機器に提供してもよい。
【０１０２】［表示画像の具体例］  以下では、図１４〜図１６を示しながら、本実施形態に係る表示制御部１０５０で実施される表示制御処理により、ユーザ操作機器へと伝送される表示画像の一例について、簡単に説明する。
【０１０３】  以下に示す図１４及び図１５は、図３に示したような撮像装置の実装されたウェアラブル端末２００を身に付けたユーザが、体育館の中で体操競技の一つである鉄棒を行った場合に、ウェアラブル端末２００によって撮像された画像を、ユーザ操作機器を操作する他のユーザへ提供する場合の例を示している。
【０１０４】  図１４は、上記（Ａ）の可視化方法を採用した場合における表示画像の一例である。図１４から明らかなように、ウェアラブル端末２００を身に付けたユーザが鉄棒競技を継続することで、周囲の画像が変化し、かかる変化にあわせて座標系Ａの座標軸を表わすオブジェクトの向きが時々刻々と変化していることがわかる。また、図１４では、ウェアラブル端末２００の姿勢情報を表わす軌跡を、ユーザ視認用画像に対して重畳させている。
【０１０５】  一方、図１５は、上記（Ｂ）の可視化方法を採用した場合における表示画像の一例である。図１５から明らかなように、ウェアラブル端末２００を身に付けたユーザが鉄棒競技を継続しても周囲の画像は変化せず、重畳表示している座標系Ｂの座標軸が時々刻々と変化していることがわかる。
【０１０６】  このように、本実施形態に係る表示制御処理を実施することで、得られた姿勢情報（回転情報）を利用して、撮像装置の姿勢の変化を可視化することが可能となる。
【０１０７】  なお、本実施形態に係る表示制御処理は、図１４及び図１５に例示したような全球画像だけでなく、図１６に示したような、全球画像と等価な正距円筒図法による矩形画像に対しても適用することが可能である。
【０１０８】［表示制御処理の流れ］  次に、図１７を参照しながら、本実施形態に係る表示制御処理の流れの一例について、簡単に説明する。
【０１０９】  本実施形態に係る表示制御処理では、まず、移動体に装着されたカメラから撮像画像データを取得する（ステップＳ１５１）。
【０１１０】  その後、情報処理装置１０００の画像生成部１０１０は、取得した撮像画像データに基づいて、例えば、全球画像や全球画像を矩形変換した矩形画像などといった、周囲撮像画像を生成する（ステップＳ１５３）。
【０１１１】  続いて、情報処理装置１０００の画像補正部１０３０は、生成した各周囲撮像画像を利用して、先だって説明したような回転解析処理を実施する（ステップＳ１５５）。
【０１１２】  その後、情報処理装置１０００の表示制御部１０５０は、座標系Ａに基づく天球上へ、生成された周囲撮像画像や各種のグラフィックオブジェクトを配置する（ステップＳ１５７）。
【０１１３】  続いて、情報処理装置１０００の画像選択部１０２０は、ユーザ操作機器から取得したユーザ視認情報に応じて、各種のグラフィックオブジェクトが重畳された周囲撮像画像のなかから、ユーザ視認情報に対応する画像（すなわち、ユーザ視認用画像）を生成する（ステップＳ１５９）。
【０１１４】  情報処理装置１０００の表示制御部１０５０は、画像選択部１０２０によって選択された画像のユーザ操作機器の表示画面への表示を制御することで、ユーザ操作機器を使用しているユーザは、移動体の存在する空間内の画像を移動体と共有することが可能となる。
【０１１５】  以上、図１７を参照しながら、本実施形態に係る表示制御処理の流れについて、簡単に説明した。
【０１１６】＜まとめ＞  このように、本実施形態に係る情報処理装置及び情報処理方法では、移動体を取り巻く映像を周囲撮像画像として実時間で観測でき、ユーザは、あたかも移動体が存在する場に居合わせたような臨場感を得ることができる。また、上記のような補正処理を実施することで、移動体の回転運動による画像の揺れが抑制されるため、ユーザは、急激な画像の変化によるモーションシックネス（映像酔い）を避けることができる。
【０１１７】  このような構成は、単方向（移動体からユーザに一方的に情報が流れるだけ）の場合と、双方向（ユーザから音声その他の手段によって情報を移動体に伝える）の場合と、がある。前者は、例えばスポーツプレイヤーを移動体とすると、プレイを鑑賞する人がユーザとなり、臨場感のあるスポーツ中継などを実現することができる。この場合、ユーザの数は１に限定されず、放送聴取者と同様の数万人ということも考えられる。一方、後者は、移動体の視界を共有しつつ、ユーザが移動体に対して何らかのガイダンスや指示を行う用途を想定している。例えば移動体（人間）が料理をしているときに、その指示をユーザが与えるような用途である。この場合も、ユーザの数は１には限定されないが、比較的少数であることが現実的である。
【０１１８】  以上、本開示の第１の実施形態に係る情報処理装置及び情報処理方法について、詳細に説明した。
【０１１９】（第２の実施形態）＜情報処理装置の構成について＞  続いて、本開示の第２の実施形態について説明する。本実施形態に係る情報処理装置１１００は、移動する移動体に装着された撮像装置によって撮像された撮像画像に対して、各種の情報処理を行い、移動体の周囲の全周囲撮像画像をより自然にユーザが視聴することを可能にする装置である。
【０１２０】  具体的には、本実施形態に係る情報処理装置１１００は、第１の実施形態と同様に、移動体（より詳細には、撮像装置）の視認している空間の画像（いわゆる一人称視点画像）をリアルタイムでユーザに対して提供するものである。ここで、一人称視点画像には、撮像している移動体の動きに起因する揺れが含まれる。そのため、このような一人称視点画像をユーザが視認した場合、ユーザは、一人称視点画像に含まれる揺れの原因である動きと、自身の身体の動きとの不整合から「酔い」（モーションシックネス）を感じることがあった。
【０１２１】  そこで、ユーザへの「酔い」を軽減するために、移動体（より詳細には、撮像装置）の動きに起因する一人称視点画像の揺れを画像の回転成分として抽出し、該回転成分の逆回転により画像を補正する処理が実施される。しかし、上記の処理では、例えば、移動体が移動方向を変えた場合における撮像装置の回転も補正されてしまう。そのため、移動方向を変えながら移動する移動体の一人称視点画像をユーザが視聴した場合、一人称視点画像は常に一定方向を向くこととなり、ユーザに不自然な印象を与えることがあった。
【０１２２】  本実施形態に係る情報処理装置１１００は、移動体の移動方向に基づいて、一人称視点画像の表示を制御することにより、より自然な一人称視点画像をユーザに対して提供するものである。
【０１２３】  なお、本実施形態に係るシステム及び情報処理装置のハードウェア構成は、図１及び図２で示したものと実質的に同様である。また、本実施形態に係る情報処理装置１１００で扱われる撮像画像は、例えば、図３で示したようなウェアラブル端末２００に装着された全周囲カメラにより撮像され、実空間のなるべく広範囲を撮像したもの（例えば、全周囲撮像画像）であることが好ましい。
【０１２４】  以下では、図１８を参照して、上述した本実施形態に係る情報処理装置１１００の具体的な機能構成について説明する。なお、図１８で示した各処理部は、図１におけるサーバ１００又はクライアント機器２００〜７００の何れか１つの機器によって実現されていてもよいし、複数の機器に分散されて実現されていてもよい。
【０１２５】  図１８に示すように、本実施形態に係る情報処理装置１１００は、画像生成部１１１０と、画像選択部１１２０と、画像補正部１１３０と、表示制御部１１５０と、データ取得部１１６０と、データ提供部１１７０と、記憶部１１８０と、方向制御部１１９０を備える。
【０１２６】
ここで、画像生成部１１１０は、画像生成部１０１０と実質的に同様であり、画像選択部１１２０は、画像選択部１０２０と実質的に同様であり、表示制御部１１５０は、表示制御部１０５０と実質的に同様であり、データ取得部１１６０は、データ取得部１０６０と実質的に同様であり、データ提供部１１７０は、データ提供部１０７０と実質的に同様であり、記憶部１１８０は、記憶部１０８０と実質的に同様であるので、ここでの詳細な説明は省略する。以下では、本実施形態において特徴的な画像補正部１１３０、方向制御部１１９０について説明する。
【０１２７】  画像補正部１１３０は、移動体（より詳細には、撮像装置）の回転の逆回転を周囲撮像画像に施すことにより、撮像装置の回転に伴う画像の変化を補正する処理部である。画像補正部１１３０は、加速度センサ、傾斜センサなどの各種センサによって撮像装置の回転を検出し、検出した回転を用いて画像の変化を補正してもよい。また、画像補正部１１３０は、撮像装置が撮像した周囲撮像画像から撮像装置の回転を推測し、推測した撮像装置の回転を用いて画像の変化を補正してもよい。
【０１２８】  ただし、画像補正部１１３０は、撮像装置が撮像した周囲撮像画像から撮像装置の回転を推測し、推測した撮像装置の回転に伴う画像の変化を補正することが好ましい。このような場合、撮像装置の回転と、周囲撮像画像の回転補正とを同期させることが容易になり、かつ、各種センサを用いた場合よりも高速の回転に対応することが可能となるため、より好ましい。
【０１２９】  以下では、図１９を参照して、画像補正部１１３０が周囲撮像画像から撮像装置の回転を推測し、推測した撮像装置の回転に基づいて画像の変化を補正する方法について、より具体的に説明する。
【０１３０】  図１９に示すように、ある時点（時刻ｔ）において、全周囲カメラを有するウェアラブル端末２００を装着した移動体（人間）からの撮像データにより、全球画像Ａが生成されたものとする。その後（時刻ｔ＋１）、移動体（より詳細には、撮像装置）に回転運動が発生して、全球画像Ｂが生成されたものとする。
【０１３１】  このような場合、画像補正部１１３０は、全球画像Ａ及び全球画像Ｂのそれぞれから局所特徴量Ｕを抽出し、局所特徴量の変化量Ｆを算出する。具体的には、画像補正部１１３０は、全球画像Ａ及び全球画像Ｂのそれぞれから局所特徴量Ｕとして、複数（例えば、ｎ＝１０００）の画像特徴点の位置を抽出する。
【０１３２】  ここで、複数の画像特徴点は、全球画像全体において、可能な限り互いに間隔を空けて均一に抽出されることが好ましい。なお、全球画像の高緯度部分は、画像の歪みが大きくなる傾向があるため、高緯度部分からは、画像特徴点は抽出しないことが好ましい。
【０１３３】  次に、全球画像Ａ及び全球画像Ｂにて抽出した局所特徴量Ｕを比較し、全球画像Ａから全球画像Ｂに変化した際の局所特徴量の変化量Ｆを算出する。なお、局所特徴量の変化量Ｆのうち、所定の閾値以上のものについては、はずれ値として除外してもよい。
【０１３４】  すなわち、時刻ｔ＋１の全球画像Ｂにおける局所特徴量Ｕ（ｔ＋１）は、直前の時刻ｔの全球画像Ａにおける局所特徴量Ｕ（ｔ）、及び全球画像Ａと全球画像Ｂとの局所特徴量の変化量Ｆ（ｔ＋１）を用いて、以下の式２０１で表すことができる。
【０１３５】
【数１】
0006515813.tif 000002
【０１３６】  次に、画像補正部１１３０は、全球画像Ａ及び全球画像Ｂを正距円筒図法上の天球に貼り付け、算出された局所特徴量（Ｕ（ｔ）、Ｕ（ｔ＋１））を３次元上の特徴量Ｐ(ｔ)、Ｐ（ｔ＋１）に変換する。続いて、画像補正部１１３０は、３次元上の特徴量Ｐ(ｔ)からＰ（ｔ＋１）への変換Ｍａｔ（ｔ＋１）を３次元アフィン推定により推定する（式２０２）。
【０１３７】
【数２】
0006515813.tif 000003
【０１３８】  これにより、画像補正部１１３０は、Ｐ(ｔ)からＰ（ｔ＋１）への変換Ｍａｔ（ｔ＋１）を推定することができる。さらに、画像補正部１１３０は、推測した変換Ｍａｔ（ｔ＋１）に基づいて、全球画像Ａから全球画像Ｂへの回転Ｑ（ｔ＋１）を算出することができる。なお、画像補正部１１３０は、算出した回転Ｑ（ｔ＋１）の推定誤差を算出することにより、回転の推定が成功しているのか否かを判定してもよい。また、画像補正部１１３０は、推定が失敗していると判定した場合、再度、回転の推定をやり直してもよい。
【０１３９】  したがって、画像補正部１１３０は、推定した回転Ｑ（ｔ＋１）の逆変換にあたる回転を全球画像Ｂに施すことにより、回転が補正された全球画像Ｃを生成することができる。また、画像補正部１１３０は、所定の時刻の全球画像からの回転を積算し、積算した回転に基づいて周囲撮像画像を補正してもよい。
【０１４０】  なお、画像補正部１１３０が着目する局所特徴量は、特に限定されるものではなく、公知の局所特徴量を利用することが可能である。このような公知の局所特徴量としては、例えば、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）などを挙げることができる。
【０１４１】  方向制御部１１９０は、移動体の移動方向に基づいて、周囲撮像画像の表示を制御する処理部である。具体的には、方向制御部１１９０は、ユーザが視認している表示画像の基準方向と、移動体の移動方向とが一致するように、ユーザが視認している表示領域に表示される表示画像を制御する。より詳細には、方向制御部１１９０は、移動体の移動方向と移動体の基準方向との角度差が閾値以内（例えば、片側１５°、合計３０°）である場合、ユーザが視認している表示画像の基準方向と、移動体の基準方向又は移動方向とが一致するように、ユーザが視認している表示領域に表示される画像の表示画角を制御する。
【０１４２】  ここで、移動体の基準方向とは、例えば、移動体（人間、自走体、飛行体など）の正面方向である。また、ユーザが視認している表示画像の基準方向とは、例えば、ユーザが正面方向を向いている際にユーザの正面の表示領域に表示される表示画像の画角方向である。
【０１４３】  すなわち、方向制御部１１９０は、移動体の正面方向と、ユーザが正面方向を向いている際にユーザの正面の表示領域に表示される表示画像の画角方向とが一致するように、表示画像の表示画角を制御することができる。そのため、方向制御部１１９０は、移動体が移動方向を変えた際に生じる表示画像の不自然さを解消することができる。
【０１４４】  方向制御部１１９０は、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）、又はＷｉ−Ｆｉ（登録商標）を用いた位置測位により取得した移動体の位置情報から移動体の移動方向を算出してもよい。また、方向制御部１１９０は、例えば、地磁気センサ、加速度センサなどの各種センサが検出した情報から移動体の移動方向を算出してもよい。さらに、方向制御部１１９０は、撮像装置により撮像された周囲撮像画像から移動体の移動方向を算出してもよい。
【０１４５】  ただし、本実施形態では、方向制御部１１９０は、撮像された周囲撮像画像から移動体の移動方向を算出することがより好ましい。この構成によれば、方向制御部１１９０は、画像補正部１１３０による画像処理にて回転が算出された場合に、より効率的に移動体の移動方向を算出することができる。
【０１４６】  具体的には、移動体（より詳細には、撮像装置）が平行移動しながら回転している場合、画像補正部１１３０にて説明した全球画像Ａの局所特徴量Ｕ（ｔ）と、全球画像Ｂの局所特徴量Ｕ（ｔ＋１）との変化量Ｆ（ｔ＋１）には、回転成分に加えて平行移動成分が重畳されていると考えられる。そこで、上述のように画像補正部１１３０によって回転Ｑ（ｔ＋１）が推定された後、方向制御部１１９０は、全球画像Ｂの３次元上の特徴量Ｐ（ｔ＋１）と、全球画像Ａを推定回転Ｑ（ｔ＋１）で回転させた３次元上の特徴量Ｐ(ｔ)＊Ｑ（ｔ＋１）との差分を算出する。これにより、全球画像Ｂと全球画像Ａとの間の平行移動成分Ｔ（ｔ＋１）をＰ（ｔ＋１）とＰ(ｔ)＊Ｑ（ｔ＋１）との差分として推定することができる（式２０３）。
【０１４７】
【数３】
0006515813.tif 000004
【０１４８】  また、周囲撮像画像の平行移動は、撮像している移動体の移動により生じたとみなすことができる。したがって、移動体の移動方向は、周囲撮像画像の平行移動方向の反対方向と推定することができ、方向制御部１１９０は、推定した平行移動成分Ｔ（ｔ＋１）の移動方向の反対方向を移動体の移動方向であると推定することができる。
【０１４９】  さらに、方向制御部１１９０は、算出したＴ（ｔ＋１）を時間平均処理し、時間平均化した平行移動成分Ｔから移動体の移動方向を推定することがより好ましい。これは、移動体が移動方向を頻繁に変更している場合、方向制御部１１９０がユーザにより視認されている表示画像の表示画角を頻繁に回転させると、ユーザに「酔い」が生じる可能性があるためである。なお、方向制御部１１９０は、他の方法で移動体の移動方向を算出した場合でも、移動体の移動方向として、所定の時間で平均化した移動体の移動方向を用いることが好ましいことは言うまでもない。
【０１５０】  以上の方法により、移動体の移動方向を算出した方向制御部１１９０は、移動体の移動方向と、ユーザが視認している表示画像の基準方向とが一致するように、ユーザが視認している表示領域に表示される表示画像の表示画角を変更する。特に、方向制御部１１９０は、移動体の移動方向と移動体の正面方向との角度差が閾値以内（例えば、片側１５°、合計３０°）である場合に、ユーザが正面方向を向いている際にユーザの正面に、移動体の正面方向の撮像画像が表示されるように、表示画像を制御することが好ましい。これにより、方向制御部１１９０は、移動体の正面方向と、ユーザが正面方向を向いている際に正面に表示される表示画像の画角方向とを一致させることができるため、移動体が移動方向を変えた際に生じる表示画像の不自然さを解消することができる。
【０１５１】  以下では、図２０を参照して、方向制御部１１９０が移動体の移動方向と、ユーザにより視認されている表示画像の基準方向とを一致させるために、ユーザが視認している表示領域に表示される画像の画角を回転させる方法について、より具体的に説明する。
【０１５２】  例えば、図２０に示したように、移動体２１０の移動方向２１１が矢印にて示されており、ユーザが視認している表示画像２３１の画角方向が角度表示で示されているとする。なお、ユーザが視認している表示画像２３１における「０°」が、ユーザが正面方向を向いている際にユーザの正面に表示される表示画像の画角方向（すなわち、表示画像の基準方向）であるとする。
【０１５３】  ここで、図２０に示したように、移動体２１０が右に移動方向２１１を変えた場合、方向制御部１１９０は、移動体の移動方向２１１と、ユーザが視認している表示画像２３１の「０°」が一致するように、周囲撮像画像の表示画角を回転させ、ユーザが正面にて視認している表示画像２３１を変更する。これにより、ユーザが正面方向を向いている際にユーザの正面に表示される表示画像の画角方向と、移動体の移動方向とを一致させることができる。そのため、方向制御部１１９０は、移動体が移動方向を変えたにもかかわらず、ユーザが視認する一人称視点画像が常に一方向を向いてしまうような不自然な画像生成を抑制することができる。
【０１５４】  また、ユーザが視認している表示画像の基準方向と、移動体の移動方向とを一致させるために、方向制御部１１９０が周囲撮像画像の表示画角を回転させる速度は、所定の速度で行われることが好ましい。このような方向制御部１１９０が周囲撮像画像の表示画角を回転させる速度について、図２１を参照して説明する。
【０１５５】  図２１は、移動体２１０の移動方向と、ユーザが視認している表示画像２３１の基準方向との時間変化を示したグラフ図である。なお、両方向の変化は、角度変化として示した。図２１に示すように、例えば、右に曲がる等の動作によって移動体２１０の移動方向が、時刻Ｐにて変化した場合、方向制御部１１９０は、ユーザが視認している表示画像２３１の基準方向が移動体２１０の移動方向と一致するように、所定の速度で表示画像２３１の画角を回転させる。ここで、急激な表示画像２３１の画角の回転によりユーザが「酔い」又は不自然さを感じないようにするためには、方向制御部１１９０は、所定の速度で緩やかに表示画像２３１の画角を回転させることが好ましい。
【０１５６】  表示画像２３１の画角を回転させる際の所定の速度は、ユーザの選択によって制御されてもよく、移動体２１０の移動速度又は回転速度によって制御されてもよい。例えば、移動体２１０の移動速度又は回転速度が速い場合、方向制御部１１９０はより速く表示画像２３１の画角を回転させてもよい。また、これらの移動体２１０の移動速度又は回転速度と、表示画像２３１の画角方向の回転速度との対応関係は、対応テーブル又は関数等の形式にてあらかじめ記憶部１１８０に記憶されていることが好ましい。
【０１５７】  なお、上述したユーザが視認する表示領域に表示させる画像の画角を制御する機能は、ユーザからの入力、又はユーザの状態によって実行されないように制御されてもよい。
【０１５８】  例えば、ユーザが意図的に移動体の移動方向とは別の方向を視認したい場合、方向制御部１１９０の機能は、ユーザからの入力によって実行されないように制御されてもよい。このようなユーザからの入力は、例えば、ユーザがウェアラブル端末であるユーザ操作機器を両手で固定するように保持する入力動作などが挙げられる。
【０１５９】  また、ユーザが様々な方向を視認しており、視線方向が一定に定まっていない場合、方向制御部１１９０の機能は、実行されないように制御されてもよい。具体的には、検知されたユーザの視線方向の変動量が閾値を超える場合、方向制御部１１９０の機能は実行されないように制御されてもよい。また、ユーザの視線方向の変動量が一定時間、閾値以下である場合、方向制御部１１９０の機能は実行されるように制御されてもよい。
【０１６０】  なお、本実施形態において、ユーザに提供される表示画像には、移動体（例えば、人間）の視線方向が表示されてもよく、移動体（例えば、人間）の視線方向の軌跡が表示されてもよい。また、移動体（例えば、人間）に情報処理装置１１００から表示画像（例えば、ユーザが視認する画像）が提供される場合、表示画像には、ユーザの視線方向が表示されてもよく、ユーザの視線方向の軌跡が表示されてもよい。
【０１６１】  以上、本実施形態に係る情報処理装置１１００の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。本実施形態のハードウェア構成は、本実施形態を実施する時々の技術レベルに応じて、適宜、変更することが可能である。
【０１６２】  なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１６３】
また、図１８に示した画像生成部１１１０、画像選択部１１２０、画像補正部１１３０、方向制御部１１９０、データ取得部１１６０、データ提供部１１７０、記憶部１１８０は、情報処理装置１１００と相互に通信が可能なコンピュータ等の他の装置に実装され、情報処理装置１１００と他の装置とが協働することで、上記のような機能が実現されてもよい。
【０１６４】＜情報処理方法の流れについて＞  次に、図２２を参照して、本実施形態に係る情報処理装置１１００で実施される情報処理方法の流れについて、簡単に説明する。
【０１６５】  本実施形態に係る情報処理方法では、まず、移動体に装着された撮像装置（カメラ）から撮像画像データを取得する（ステップＳ１７１）。
【０１６６】  次に、情報処理装置１１００の画像生成部１１１０は、取得した撮像画像データに基づいて、例えば、全球画像や全球画像を矩形変換した矩形画像などといった、周囲撮像画像を生成する（ステップＳ１７３）。
【０１６７】  また、情報処理装置１１００の画像補正部１１３０は、生成した周囲撮像画像から回転成分を抽出し、移動体（より詳細には、撮像装置）の回転を補正する画像処理を周囲撮像画像に対して実施する（ステップＳ１７５）。
【０１６８】  続いて、情報処理装置１１００の方向制御部１１９０は、移動体の移動方向データを取得する（ステップＳ１７７）。
【０１６９】  ここで、情報処理装置１１００の方向制御部１１９０は、移動体の移動方向と、移動体の基準方向（例えば、移動体の正面方向）との角度差が閾値以内か否かを判断する（ステップＳ１７９）。ここで、閾値は、例えば、３０°（すなわち、片側１５°）であってもよい。
【０１７０】  移動体の移動方向と、移動体の基準方向との角度差が閾値を超える場合（ステップＳ１７９／Ｎｏ）、情報処理装置１１００の画像選択部１１２０は、周囲撮像画像の中からユーザが視認する画像を選択する。情報処理装置１１００の表示制御部１１５０は、選択された画像のユーザ操作機器の表示画面への表示を制御する（ステップＳ１８１）。
【０１７１】  一方、移動体の移動方向と、移動体の基準方向との角度差が閾値以内である場合（ステップＳ１７９／Ｙｅｓ）、ステップＳ１８１と同様に、情報処理装置１１００の画像選択部１１２０及び表示制御部１１５０は、表示画面への表示を制御する（ステップＳ１８３）。さらに、情報処理装置１１００の方向制御部１１９０は、移動体の移動方向又は基準方向と、ユーザの基準方向が一致するように表示画面に表示された周囲撮像画像を所定の速度で回転させる表示制御を行う（ステップＳ１８５）。
【０１７２】  これにより、情報処理装置１１００は、撮像装置の回転による周囲撮像画像の揺れを補正し、かつ移動体が移動方向を変更した場合でも不自然ではない周囲撮像画像をユーザに対して提供することができる。
【０１７３】  以上、図２２を参照して、本実施形態に係る情報処理方法の流れについて、簡単に説明した。
【０１７４】＜情報処理方法の変形例について＞  続いて、図２３を参照して、本実施形態の変形例について、説明する。本実施形態の変形例は、移動体の動き（運動）と、ユーザの動き（運動）が同期している場合に、周囲撮像画像への回転補正を実行しないように画像補正部を制御する情報処理装置及び情報処理方法である。
【０１７５】  すなわち、本実施形態の変形例において、画像補正部１１３０は、移動体の動きと、ユーザの動きとが同期しているか否かを判断する。また、移動体の動きと、ユーザの動きとが同期していると判断された場合、画像補正部１１３０および方向制御部１１９０機能は、実行されないように制御される。
【０１７６】  具体的には、本発明者らは、移動体（例えば、人間）が体験している運動と同期した運動又は意識をもってユーザが周囲撮像画像を観測する場合、「酔い」が軽減され、かつ臨場感を高めることができることを見出した。そこで、本実施形態の変形例では、移動体（例えば、人間）の運動と、ユーザの運動とが同期している場合に、周囲撮像画像への回転補正を実行しないことにより、ユーザにさらに臨場感のある画像を提供することができる。また、本実施形態の変形例は、移動体及びユーザ間で同期していない運動が検出された場合には、周囲撮像画像への回転補正を実行することにより、ユーザにおいて「酔い」が発生することを防止する。
【０１７７】  なお、このような移動体（例えば、人間）の動きと、ユーザの動きとが同期するような運動とは、例えば、テニスのボールを追う場合の運動などが挙げられる。
【０１７８】  ここで、図２３を参照して、移動体の動きと、ユーザの動きとが「同期している」ことについて説明する。図２３は、移動体の頭部の回転の角度変化、及びユーザの頭部の回転の角度変化を時間経過で示したグラフ図である。
【０１７９】  図２３に示したように、移動体の動きと、ユーザの動きとが「同期している」とは、例えば、移動体及びユーザの頭部の回転の向きが同一であることを示す。具体的には、図２３では、移動体２１０の頭部回転の波形と、ユーザ２３０の頭部回転の波形とは、振幅及び周期に変動はあるものの、上に凸のタイミング、及び下に凸のタイミングがほぼ同一である。このような場合、移動体の運動と、ユーザの運動とは、「同期している」ということができる。
【０１８０】  また、より好ましくは、移動体の動きと、ユーザの動きとが「同期している」とは、移動体及びユーザの頭部の回転の向きが同一であり、かつ、移動体及びユーザの頭部の回転の回転量が所定の大きさ以上である場合を示す。移動体及びユーザの頭部の回転の回転量が小さい場合、移動体及びユーザの頭部の回転の向きは、不随意運動等によって偶然一致する可能性がある。したがって、移動体及びユーザの頭部の回転の回転量が所定の大きさ以上であり、かつ、移動体及びユーザの頭部の回転の向きが同一である場合に、より確実にユーザは移動体の運動と自身の運動を意識的に「同期」させているということができる。なお、上記の所定の大きさとは、例えば、４０°（片側２０°）である。
【０１８１】  また、移動体の頭部の回転、及びユーザの頭部の回転の検出する以外にも移動体の動きと、ユーザの動きとが「同期している」ことを検出することは可能である。
【０１８２】  例えば、移動体（例えば、人間）の重心位置の移動方向と、ユーザの重心位置の移動方向とが一致している場合、移動体の動きと、ユーザの動きとが「同期している」と見なしてもよい。また、移動体（例えば、人間）の体の傾き方向と、ユーザの体の傾き方向とが一致している場合、移動体の動きと、ユーザの動きとが「同期している」と見なしてもよい。これらの移動体またはユーザの重心位置、体の傾きの検出は、例えば、加速度センサ、モーションセンサ等の公知のセンサを用いることにより実現することが可能である。
【０１８３】  また、例えば、移動体（例えば、人間）の視線方向と、ユーザの視線方向とが一致している場合、移動体の動きと、ユーザの動きとが「同期している」と見なしてもよい。さらに、移動体の注視点と、ユーザの注視点とが一致している場合、移動体の動きと、ユーザの動きとが「同期している」と見なしてもよい。これは、移動体（例えば、人間）とユーザとの間において、意識または認識がほぼ一致している（同期している）と見なせるためである。これらの視線方向または注視点の検出は、例えば、移動体（例えば、人間）及びユーザが装着しているウェアラブル端末の視線検出機能等により実行することができる。視線検出機能は、第１の実施形態にて説明した方法、又は公知の方法により実現することが可能である。
【０１８４】  なお、上述した移動体の動きと、ユーザの動きとが「同期している」ことを検出する方法を組み合わせることによって、より確実に移動体の動きと、ユーザの動きとが「同期している」ことを検出してもよい。
【０１８５】  本実施形態の変形例において、移動体（例えば、人間）の運動と、ユーザの運動とが同期している場合、画像補正部１１３０は、周囲撮像画像への回転補正を実行しない。また、移動体及びユーザ間で同期していない運動が検出された場合、画像補正部１１３０は、周囲撮像画像への回転補正を実行する。このような本実施形態の変形例が実行する情報処理方法の流れについて、図２４を参照して説明する。
【０１８６】  ここで、以下の説明では、移動体及びユーザが体験している運動は、移動体及びユーザとの間で運動又は意識の同期が可能な運動であるとする。
【０１８７】  本実施形態の変形例に係る情報処理方法では、まず、移動体に装着された撮像装置（カメラ）から撮像画像データを取得する（ステップＳ１９１）。
【０１８８】  次に、情報処理装置１１００の画像生成部１１１０は、取得した撮像画像データに基づいて、例えば、全球画像や全球画像を矩形変換した矩形画像などといった、周囲撮像画像を生成する（ステップＳ１９３）。
【０１８９】  ここで、情報処理装置１１００の画像補正部１１３０は、移動体（より詳細には撮像装置）の回転、及びユーザが装着している端末の回転が同期しているか否かを判断する。より具体的には、情報処理装置１１００の画像補正部１１３０は、撮像装置の回転の向きと、ユーザが装着している端末の回転の向きとが同一であるか否かを判断する（ステップＳ１９５）。
【０１９０】  ここで、撮像装置の回転と、ユーザが装着している端末の回転とが同期していない場合（ステップＳ１９５／Ｎｏ）、情報処理装置１１００の画像補正部１１３０は、周囲撮像画像から回転成分を抽出し、撮像装置の回転を補正する画像処理を周囲撮像画像に対して実行する（ステップＳ１９７）。ここで、方向制御部１１９０は、移動体の移動方向に基づいた表示画像の制御をさらに実行してもよい。
【０１９１】  一方、移動体の回転と、ユーザが装着している端末の回転とが同期している場合（ステップＳ１９５／Ｙｅｓ）、情報処理装置１１００の画像補正部１１３０は、撮像装置の回転を補正する画像処理を周囲撮像画像に対して実行しない。
【０１９２】  その後、情報処理装置１１００の画像選択部１１２０は、周囲撮像画像の中からユーザが視認する画像を選択し、情報処理装置１１００の表示制御部１１５０は、選択された画像のユーザ操作機器の表示画面への表示を制御する（ステップＳ１９９）。
【０１９３】  これにより、情報処理装置１１００は、移動体と同期した動きを体験しながらユーザが周囲撮像画像を観測する場合に、ユーザに対してさらに臨場感の高い周囲撮像画像を提供することができる。
【０１９４】  以上、図２４を参照して、本実施形態の変形例に係る情報処理方法の流れについて、簡単に説明した。
【０１９５】＜まとめ＞  このように、本実施形態に係る情報処理装置及び情報処理方法では、移動体を取り巻く映像を周囲撮像画像として実時間で観測でき、ユーザは、あたかも移動体が存在する場に居合わせたような臨場感を得ることができる。また、上記のような補正処理を実施することで、撮像装置の回転運動による画像の揺れが抑制され、かつ移動体の移動方向の変化を表示画像に反映させることができる。そのため、ユーザは、モーションシックネス（酔い）の発生が抑制され、より自然な一人称撮像画像を視認することができる。
【０１９６】  さらに、本実施形態の変形例に係る情報処理装置及び情報処理方法では、移動体と同期した動きを体験しながらユーザが周囲撮像画像を観測する場合に、ユーザに対してより臨場感の高い周囲撮像画像を提供することも可能である。
【０１９７】  以上、本開示の第２の実施形態に係る情報処理装置及び情報処理方法について、詳細に説明した。
【０１９８】（第３の実施形態）  従来、現実の景観を複数台のカメラで取得し、仮想空間内にその景観を再合成して、利用者に空間の閲覧を許す技術が多く開発されている。そのような技術の一例として、走行する自動車に搭載されたカメラによる画像を位置情報と関連づけ、画像内での移動を可能にした技術や、全周囲画像が撮像可能なカメラを搭載して、ある地点からの自由な視線方向の変化を可能にした技術などがある。これらの技術により、仮想空間内を移動しながら、周囲の画像を閲覧することができる。一方、これらの技術では、撮影箇所が離散的であるため、近傍の観測点に移動して、移動先での全周囲画像を観測することはできるが、視点をなめらかに移動することができない。従って、これらの技術で実現される画像は、利用者があたかもその場所にいるような画像の再現とは異なっている。
【０１９９】  また、格子状に配置されたカメラによって空間を撮像することで視点位置移動を可能にした、光線空間法（Ｌｉｇｈｔ  Ｆｉｅｌｄ）という方法がある。この光線空間法では、格子上に配置されたカメラアレイによって空間を撮影した後、撮像された画像を構成する各画素を、図２５に示したような２つの投影面を有する空間に投影する。
【０２００】  これにより、投影面Ａ及び投影面Ｂから構成される矩形の空間を通過する光（例えば、図２５における光線１）は、投影面Ａにおける位置を表わす座標（ｕ，ｖ）と、投影面Ｂにおける位置を表わす座標（ｓ，ｖ）と、を利用して、Ｌ（ｕ，ｖ，ｓ，ｔ）で表わされる４次元空間の１点として表現できる。また、２つの投影面を透過する光を上記のような４次元空間で表現することで、ある視点からの画像は、図２５に示した４次元空間から再合成できることになる。
【０２０１】  例えば、図２５における点ａは視点を表わし、点ｂは視点ａから見た観測点を表わしている。視点ａから観測点ｂに注ぐ光（光線２）は、上記のようなＬによって表現することができる。従って、投影面Ａと投影面Ｂとの間に位置する任意の投影面において、かかる投影面を構成する点のそれぞれで同様の処理を繰り返すことにより、視点ａからの視野を再現することができる。
【０２０２】  しかしながら、図２５に示した光線空間の構成では、視点の位置の自由度に依然として制限がある。例えば、図２５において視点ｃからの視線（光線３）は、投影面Ａ及び投影面Ｂを貫通しないため、光線空間Ｌ中の点として表現できない。従って、図２５に示したような光線空間に基づく視界の再合成は、位置の制限を受けていることになる。
【０２０３】  そこで、本発明者らは、鋭意検討を行った結果、制約を受けることなく視界を再合成することが可能な技術に想到し、以下で説明する情報処理装置を完成するに至ったのである。
【０２０４】＜システム構成例について＞  図２６は、本開示の第３の実施形態に係るシステムの概略的な構成を示す図である。図２６に示したように、本実施形態におけるシステム２０は、撮像機器８００と、情報処理装置２０００と、を有する。
【０２０５】  図２５に示したような光線空間法における制約は、撮像機器であるアレイカメラを二次元の格子上に配置したことに起因する。そこで、本発明者は、カメラを３次元の格子状に配置することで、視点の制約をなくすことが可能であると考えた。しかしこの場合、（１）あるカメラが別のカメラの視野を隠すことが発生する、（２）必要とされるカメラの個数が膨大なものになってしまう、という問題が生じてしまう。
【０２０６】  そこで、本発明者は、撮像に用いる撮像機器について鋭意検討した結果、空間内を自由に移動可能な自走式の撮像機器８００を用いることで、上記のような問題を回避しつつ、空間を、３次元の格子状に撮像可能であることに想到した。かかる撮像機器８００については、以下で改めて詳細に説明する。
【０２０７】  本実施形態に係るシステム２０では、かかる自走式の撮像機器８００により撮像された複数の撮像データを情報処理装置２０００へと提供し、情報処理装置２０００において、複数の撮像データに基づく画像の再構成処理が実施される。
【０２０８】  情報処理装置２０００では、撮像機器８００によって撮像された複数の撮像データに基づいて、画像の再構成処理を実施する。情報処理装置２０００は、画像の再構成処理を実施する際に、撮像機器８００によって撮像された複数の撮像データを利用して、３次元の撮像空間を生成する。情報処理装置２０００は、生成した撮像空間、又は、生成した撮像空間に基づいて更に生成した光線空間を利用して、画像の再構成処理を実施する。かかる情報処理装置２０００は、例えば、図１を参照しながら説明した第１の実施形態に係るシステム１０を構成するサーバ１００やクライアント機器２００〜７００の少なくとも何れかにより構成されていてもよい。この場合、サーバ１００やクライアント機器２００〜７００が、単独で、又は、互いに協働することで、システム２０全体として、以下で詳述するような情報処理装置２０００が実現される。また、かかる情報処理装置２０００が、単独の各種コンピュータにより構成されていてもよいことは言うまでもない。情報処理装置２０００のハードウェア的な装置構成については、図２と同様であるため、以下では詳細な説明は省略する。また、かかる情報処理装置２０００の構成については、以下で改めて詳細に説明する。
【０２０９】＜撮像機器の構成について＞  本実施形態に係る撮像機器８００は、空間内を自由に移動可能なロボットのような単体の撮像機器として構成されていてもよいが、図２７Ａ又は図２７Ｂに示したような、アレイカメラを有する自走式の撮像機器８００を用いることが好ましい。
【０２１０】  図２７Ａに示した撮像機器８００は、カメラ８０１が１次元方向に並んで配置されている。また、カメラ８０１の上部には、撮像位置を特定するための少なくとも１つの位置認識マーカ８０３が設けられている。これらカメラ８０１及び位置認識マーカ８０３は、車輪を備える移動式の架台８０５によって支持されている。カメラ８０１や架台８０５の制御は、架台８０５上に設けられた、バッテリを含む制御用コンピュータ８０７によって実施される。図２７Ｂに示した撮像機器８００は、図２７Ａに示したカメラ８０１が２次元方向にアレイ上に配設されたものである。
【０２１１】  本実施形態に係るシステム２０では、図２７Ａ又は図２７Ｂに示したような撮像機器８００が、空間を移動しながら撮像処理を繰り返す。
【０２１２】  なお、図２７Ａ及び図２７Ｂに示した撮像機器８００に設けられるカメラ８０１は、図２８Ａに示したように、所定の方向の画角のみを撮像視野とする広角カメラであってもよいし、図２８Ｂに示したように、全周囲を撮像視野とする全周囲カメラであってもよい。しかしながら、以下で説明するように、空間内のなるべく多くの方向をできる限り稠密に撮像することが好ましいため、撮像機器８００に設けるカメラ８０１としては、図２８Ｂに示したような全周囲カメラであることが好ましい。
【０２１３】  本実施形態に係る撮像機器８００は、図２９に模式的に示したように、空間内を所定間隔（好ましくは定間隔）で移動しながら、撮像を繰り返す。この際、撮像機器８００に設けられた位置認識用マーカ８０３によって、空間内における撮像位置が撮像と同時に記録される。
【０２１４】  このような撮像機器８００によって撮像された複数の撮像データは、情報処理装置２０００に出力される。
【０２１５】
＜情報処理装置の構成について＞
本実施形態に係る情報処理装置２０００は、図３０に示したように、撮像空間生成部２０１０と、光線空間生成部２０２０と、画像再構成部２０３０と、を備える。情報処理装置２０００は、更に、表示制御部２０４０と、データ取得部２０５０と、データ提供部２０６０と、記憶部２０７０と、の少なくとも何れかを更に備えてもよい。ここで、図３０に示した各処理部は、サーバ１００又はクライアント機器２００〜７００の何れか１つの機器に実現されていてもよいし、複数の機器に分散されて実現されていてもよい。
【０２１６】  撮像空間生成部２０１０は、空間内を移動する撮像装置８００又は空間内を移動する移動体に装着された撮像装置によって撮像された複数の撮像画像を利用して、それぞれの撮像画像が生成された空間内の位置を表わす情報と、対応する撮像画像と、が互いに関連付けられた撮像空間を生成する。本実施形態に係る撮像機器８００では、カメラ８０１とあわせて位置認識用マーカ８０３が設けられているため、撮像画像と撮像位置との関連付けを容易に実施することが可能である。生成される撮像空間は、例えば図３１に模式的に示したように、各格子点が撮像装置８００等による撮像位置に対応し、各格子点に撮像画像が関連付けられた３次元の空間となる。
【０２１７】  このような撮像空間が生成されることで、例えばユーザから視点（ｘ，ｙ，ｚ）から見た画像を視認したいとの指定があった場合に、視点（ｘ，ｙ，ｚ）に最も近い撮像位置（ｘ’，ｙ’，ｚ’）に関連付けられた撮像画像を提供することができる。特に、各格子点に関連付けられた撮像画像が全周囲画像である場合には、ユーザから更に視線方向の指定を受けることで、対応する全周囲画像の中から、指定を受けた視線方向の画像を切り出して、ユーザの閲覧に供することができる。
【０２１８】  このような方法で画像をユーザに提供するためには、図３１に示したような撮像空間における格子点の個数はなるべく多く、隣り合う格子点の間隔もなるべく短いことが好ましい。
【０２１９】  また、本実施形態に係る情報処理装置２０００では、図３１に示したような撮像空間に基づく自由視点画像の提供だけでなく、光線空間に基づく自由視点画像の提供を行うことも可能である。かかる光線空間は、撮像空間生成部２０１０によって生成された撮像空間に基づいて、光線空間生成部２０２０により生成される。
【０２２０】  光線空間生成部２０２０は、撮像空間生成部２０１０によって生成された撮像空間に基づき、かかる撮像空間に外接する光線空間を生成する。かかる光線空間は、例えば図３２Ａに示したように、撮像空間に外接する直方体の空間であってもよいし、図３２Ｂに示したように、撮像空間に外接する球状の空間であってもよい。
【０２２１】  図３２Ａ又は図３２Ｂに示したような、撮像空間に外接する光線空間を生成することで、この光線空間の内部を貫通する光は、光線空間の任意の２か所を貫通することとなる。このような光線空間を生成することで、光線空間の内部から観測する全ての光線を観測位置や観測方向の制限なしに記述することが可能となる。
【０２２２】  例えば図３２Ａに示したように、光線空間が直方体の空間である場合、光線空間を貫通する光は、直方体の６つの面のうちの２か所を貫通する。そのため、直方体における光の貫通点の座標を用いることによって、光線Ｌを定義することができる。このようにして定義される光線Ｌは、（ｕ，ｖ，ｓ，ｔ）という４次元空間中の１点に対応することとなる。ここで、直方体の面ごとに座標系は異なることとなるが、図３２Ａの下段に示したように、光線空間の展開図を考慮することで、貫通する面によらず、全て同一の座標系で点を表現することが可能となる。
【０２２３】  また、例えば図３２Ｂに示したように光線空間を球状の空間とした場合、球表面上の１点は、例えば正距円筒図法等の公知の方法により、矩形平面上の１点に変換することが可能である。従って、図３２Ｂに示したように光線空間を球状の空間とした場合であっても、図２５Ａの場合と同様に、光線Ｌを４次元空間中の１点に対応付けることができる。
【０２２４】  このようにして生成した光線空間によって、空間を閲覧する際の画像を再構成することが可能となる。かかる再構成処理は、画像再構成部２０３０によって実施される。
【０２２５】  画像再構成部２０３０は、光線空間生成部２０２０が生成した光線空間と、ユーザから指定された視点及び視線方向に関する再構成情報と、に基づいて、再構成情報に対応する画像を再構成する。以下では、画像の再構成方法について、図３３を参照しながら説明する。
【０２２６】  ユーザの視認する画像の１点は、図３３に示したように、視点位置と、かかる視点位置からの視点方向と、で表わされるベクトルで表現することができる。画像再構成部２０３０は、再構成情報に基づいて図３３に示したようなベクトルを特定すると、このベクトルを延長して、光線空間との交点の位置を算出する。いま、交点の座標が図３３に示したように（ｕ，ｖ）及び（ｓ，ｔ）である場合、再構成情報に対応する画素（再構成される画像における画素）に対応する光線Ｌは、Ｌ（ｕ，ｖ，ｓ，ｔ）から再現することができる。
【０２２７】  画像再構成部２０３０は、以上説明したような処理を、再構成される画像に含まれるすべての画素に対して繰り返し実施することで、ユーザが指定した任意視点での画像を再現することが可能である。
【０２２８】  かかる再構成方法は、撮像機器８００により多視点の画像を稠密に撮像して光線空間を生成することで、より精度よく実現することができる。生成される光線空間と撮像との関係は単純であり、以上説明したような空間の再現方法も単純であるため、低計算コストで上記のような処理を実施することが可能である。また、本実施形態に係る再構成方法は、従来実施されているような多視点ステレオ画像のように２つの画像間の対応点を認識することが不要であるため、任意視点、任意方向の画像を極めて簡便に再構成することが可能な、汎用的な方法であるといえる。
【０２２９】  表示制御部２０４０は、情報処理装置２０００や情報処理装置２０００の外部に設けられたディスプレイ等の表示装置の表示内容を制御する。具体的には、表示制御部２０４０は、撮像空間生成部２０１０により生成された撮像空間や、光線空間生成部２０２０によって生成された光線空間や、画像再構成部２０３０によって再構成された画像などを、ユーザに視認させることが可能となる。これにより、ユーザは、任意視点、任意方向の画像を随時把握することが可能となる。
【０２３０】  データ取得部２０５０は、撮像機器８００から出力される撮像画像データや撮像位置に関するデータを取得したり、ユーザ操作機器や各種入力機構などから出力されるユーザ操作に関するデータを取得したりする。データ取得部２０５０により取得された各種データは、情報処理装置２０００の有する各処理部が適宜利用することが可能である。
【０２３１】  データ提供部２０６０は、情報処理装置２０００で生成された各種データ（例えば、再構成画像データ）を、情報処理装置２０００の外部に設けられた装置に提供する。これにより、情報処理装置２０００の外部に設けられた装置においても、情報処理装置２０００で生成された各種情報を利用することが可能となる。
【０２３２】  記憶部２０７０には、撮像空間生成部２０１０、光線空間生成部２０２０、画像再構成部２０３０、表示制御部２０４０、データ取得部２０５０、データ提供部２０６０における処理に利用される各種のデータベースや、これら処理部が実行する各種の演算処理に用いられるアプリケーションを含む各種のプログラムや、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過などが、適宜記録されてもよい。
【０２３３】  この記憶部２０７０は、撮像空間生成部２０１０、光線空間生成部２０２０、画像再構成部２０３０、表示制御部２０４０、データ取得部２０５０、データ提供部２０６０などの各処理部が、自由にアクセスし、データを書き込んだり読み出したりすることができる。
【０２３４】  以上、本実施形態に係る情報処理装置２０００の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【０２３５】  なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【０２３６】＜情報処理方法の流れについて＞  次に、図３４及び図３５を参照しながら、本実施形態に係る情報処理装置２０００で実施される情報処理方法の流れについて、簡単に説明する。
【０２３７】［光線空間の生成処理］  まず、図３４を参照しながら、光線空間の生成処理までの流れについて説明する。  本実施形態に係る情報処理装置２０００の撮像空間生成部２０１０は、撮像機器８００によって撮像された撮像データを取得して、撮像データと、当該撮像データに関連付けられている撮像位置に関する情報とに基づいて、図３３に示したような撮像空間を生成する（ステップＳ２０１）。
【０２３８】  次に情報処理装置２０００の光線空間生成部２０２０は、撮像空間生成部２０１０によって生成された撮像空間を利用して、まず、ステップＳ２０３以降で表わされる光線Ｌの定義ループを実施する。この光線Ｌの定義ループは、全ての撮像位置（Ｃｘ，Ｃｙ，Ｃｚ）の全ての画素（Ｐｘ，Ｐｙ）について処理が終了するまで、実施される。
【０２３９】  この光線Ｌの定義ループでは、光線空間生成部２０２０は、まず、強度Ｉ（Ｃｘ，Ｃｙ，Ｃｚ，Ｐｘ，Ｐｙ）を、撮像位置（Ｃｘ，Ｃｙ，Ｃｚ）の各画素（Ｐｘ，Ｐｙ）の輝度に設定する（ステップＳ２０５）。続いて、光線空間生成部２０２０は、パラメータＣｘ，Ｃｙ，Ｃｚ，Ｐｘ，Ｐｙに基づいて、光線空間の座標（ｕ，ｖ，ｓ，ｔ）を算出する（ステップＳ２０７）。その後、光線空間生成部２０２０は、Ｌ（ｕ，ｖ，ｓ，ｔ）＝Ｉ（Ｃｘ，Ｃｙ，Ｃｚ，Ｐｘ，Ｐｙ）とする（ステップＳ２０９）。
【０２４０】  以上説明したような光線Ｌの定義ループが終了すると、光線空間生成部２０２０は、ステップＳ２１１以降で表わされる光線Ｌの補完ループを実施する。この光線Ｌの補完ループは、全ての光線空間座標（ｕ，ｖ，ｓ，ｔ）について処理が終了するまで、実施される。
【０２４１】  この光線Ｌの補完ループでは、光線空間生成部２０２０は、まず、着目している光線空間座標（ｕ，ｖ，ｓ，ｔ）について、Ｌ（ｕ，ｖ，ｓ，ｔ）が定義されているか否かを判断する（ステップＳ２１３）。Ｌ（ｕ，ｖ，ｓ，ｔ）が既に定義されている場合には、光線生成部２０２０は、別の光線空間座標（ｕ，ｖ，ｓ，ｔ）について、ステップＳ２１３の処理を継続する。一方、Ｌ（ｕ，ｖ，ｓ，ｔ）が定義されていない場合には、光線空間生成部２０２０は、（ｕ，ｖ，ｓ，ｔ）の近傍でＬが定義済みのものに基づいて公知の補完処理を実施して、Ｌ（ｕ，ｖ，ｓ，ｔ）を算出する（ステップＳ２１５）。これにより、定義済みのＬ（ｕ，ｖ，ｓ，ｔ）に基づいて、Ｌが定義されていない光線空間位置におけるＬ（ｕ，ｖ，ｓ，ｔ）が補完されることとなる。
【０２４２】  以上説明したような光線Ｌの補完ループが終了することで、図３２Ａや図３２Ｂに示したような光線空間が生成されることとなる。
【０２４３】［画像の再構成処理］  次に、図３５を参照しながら、画像の再構成処理の流れについて説明する。  本実施形態に係る情報処理装置２０００の画像再構成部２０３０は、まず、ユーザ操作に関する情報などを参照して、視点位置（Ｃｘ，Ｃｙ，Ｃｚ）と、再構成する画像に含まれる各画素の位置（Ｐｘ，Ｐｙ）と、を特定する（ステップＳ３０１）。
【０２４４】  次に、画像再構成部２０３０は、ステップＳ３０３以降で表わされる輝度算出ループを実施する。この輝度算出ループは、再構成する画像に含まれる全ての画素（Ｐｘ，Ｐｙ）について処理が終了するまで、実施される。
【０２４５】  この輝度算出ループでは、画像再構成部２０３０は、まず、パラメータ（Ｃｘ，Ｃｙ，Ｃｚ，Ｐｘ，Ｐｙ）に基づいて、光線空間の座標（ｕ，ｖ，ｓ，ｔ）を算出する（ステップＳ３０５）。その後、画像再構成部２０３０は、Ｌ（ｕ，ｖ，ｓ，ｔ）を利用して、着目している画素の画素値Ｉ（Ｐｘ，Ｐｙ）＝Ｌ（Ｃｘ，Ｃｙ，Ｃｚ，Ｐｘ，Ｐｙ）を算出する（ステップＳ３０７）。
【０２４６】  以上説明したような光線Ｌの補完ループが終了することで、ユーザ操作によって指定された任意位置、任意視点の画像が再構成される。
【０２４７】  画像再構成部２０３０は、以上のようにして再構成した画像のデータを、表示制御部２０４０やデータ提供部２０６０を介して出力する（ステップＳ３０９）。これにより、再構成した画像がユーザに視認されることとなる。
【０２４８】  以上、図３４及び図３５を参照しながら、本実施形態に係る情報処理方法の流れについて、簡単に説明した。
【０２４９】＜まとめ＞  このように、本実施形態に係る情報処理装置及び情報処理方法では、空間内を移動する撮像機器により撮像された複数の撮像画像データに基づいて、所定の光線空間が生成され、生成された光線空間に基づいて、ユーザにより指定された任意視点・任意方向の画像が再構成される。本実施形態に係る情報処理装置及び情報処理方法で生成される光線空間は、光線空間の内部から観測する全ての光線を観測位置や観測方向の制限なしに記述することが可能であるため、制約を受けることなく視界を再合成することが可能となる。
【０２５０】  以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２５１】  また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０２５２】  なお、以下のような構成も本開示の技術的範囲に属する。（１）  空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報と、当該撮像装置の姿勢に関する情報である撮像装置姿勢情報と、ユーザの操作するユーザ操作機器から得られる、ユーザが視認したい領域を特定するユーザ視認情報と、に基づいて生成される表示画像を、前記ユーザが視認する表示領域に表示させる制御を行う制御部を備える、情報処理装置。（２）  前記前記画像情報に含まれる撮像画像を利用して、前記移動体が存在する位置の周囲が撮像された周囲撮像画像を生成する画像生成部と、  前記画像生成部により生成された前記周囲撮像画像と、前記ユーザ視認情報と、に基づいて、前記周囲撮像画像のうち前記ユーザ視認情報に対応する撮像画像をユーザ視認用画像として選択する画像選択部と、を更に備える、（１）に記載の情報処理装置。（３）  前記撮像装置の視線方向が変化したときに、前記撮像装置姿勢情報に基づいて、前記周囲撮像画像に対して前記撮像装置の視線方向の変化に伴う前記周囲撮像画像の変化を抑制する補正を実施する画像補正部を更に備える、（２）に記載の情報処理装置。（４）  前記画像補正部は、前記ユーザ操作機器から得られた前記補正の適用度合いを示した補正適用情報に応じて、前記補正の実施の度合いを制御する、（３）に記載の情報処理装置。（５）  前記画像補正部は、前記補正適用情報に応じて、前記撮像装置に関して互いに独立に規定される回転座標軸のそれぞれに対し、前記補正の実施の度合いを制御する、（４）に記載の情報処理装置。（６）  前記画像補正部は、前記撮像装置の視線方向の変化に伴う回転角の大きさに応じて、前記移動体の視線方向の変化後の前記周囲撮像画像を逆回転させる補正を実施する、（３）〜（５）の何れか１つに記載の情報処理装置。（７）  前記画像補正部は、前記撮像装置の視線方向の変化の前後において局所特徴量が一致するように、前記補正を実施する、（３）〜（６）の何れか１つに記載の情報処理装置。（８）  前記画像生成部は、前記周囲撮像画像として、前記移動体の存在する位置における全周囲画像、又は、当該全周囲画像を矩形画像へと変換した変換画像を生成する、（２）〜（７）の何れか１つに記載の情報処理装置。（９）  前記撮像装置姿勢情報は、前記撮像装置の回転に関する情報である、（１）〜（８）の何れか１つに記載の情報処理装置。（１０）  前記ユーザ視認情報は、前記周囲撮像画像において、前記ユーザが視認したい表示画角を特定する情報である、（２）〜（９）の何れか１つに記載の情報処理装置。（１１）  前記撮像装置姿勢情報に基づいて、前記撮像装置の視線方向を示す視線情報を生成する視線情報生成部を更に備え、  前記制御部は、前記視線情報生成部により生成された前記視線情報を利用して、当該視線情報で表わされる前記撮像装置の視線方向を示すオブジェクトを前記ユーザ視認用画像とあわせて表示させる、（２）に記載の情報処理装置。（１２）  前記制御部は、  前記撮像装置姿勢情報に基づき算出された、前記撮像装置の視線方向の変化に伴う回転に関する回転情報を利用して、前記撮像装置の姿勢の変化を可視化した姿勢情報を生成し、  生成した当該��勢情報を前記表示画像に重畳した上で、当該表示画像を前記ユーザが視認する表示領域に表示させる制御を行う、（１０）または（１１）に記載の情報処理装置。（１３）  前記撮像装置の位置が変化することなく当該撮像装置の視線方向が変化した場合に、前記周囲撮像画像に対して、前記撮像装置の視線方向の変化に伴う前記周囲撮像画像の変化を抑制する補正を実施する画像補正部を更に備え、  前記制御部は、前記画像補正部による補正後の前記周囲撮像画像に対して、前記姿勢情報を表わすオブジェクトを重畳させる、（１２）に記載の情報処理装置。（１４）  前記制御部は、前記表示画像に対して、前記撮像装置の視線方向の変化に伴う回転運動に伴って回転するオブジェクトと、回転しないオブジェクトと、の少なくとも何れか一方を重畳させる、（１３）に記載の情報処理装置。（１５）  前記制御部は、前記回転情報を利用し、  前記撮像装置が存在する空間に固定された座標系の動きを固定し、かつ、前記撮像装置に固定された座標系を変化させる、又は、前記撮像装置が存在する空間に固定された座標系の動きを変化させ、かつ、前記撮像装置に固定された座標系の動きを固定することにより、前記撮像装置の姿勢の変化を可視化する、（１２）〜（１４）の何れか１つに記載の情報処理装置。（１６）  前記制御部は、前記回転情報を利用して前記撮像装置の姿勢の変化を可視化する際に、前記空間に固定された座標系の中心とは異なる位置から前記空間を仮想的に視認した場合に対応する前記表示画像を生成する、（１５）に記載の情報処理装置。（１７）  前記制御部は、前記ユーザ操作機器から、前記表示画像の特定の位置に対してアノテーションの付加を要求された場合に、前記撮像装置が存在する空間に固定された座標系における前記特定の位置の対応箇所に対して、前記アノテーションを関連付ける、（１２）〜（１６）の何れか１つに記載の情報処理装置。（１８）  前記制御部は、前記回転情報に応じて、前記表示画像を前記ユーザが視認する表示領域に表示させる際の再生速度、又は、表示画角の少なくとも何れかを制御する、（１２）〜（１７）の何れか１つに記載の情報処理装置。（１９）  前記制御部は、前記ユーザ操作機器から指定された任意の位置を中心とし、当該指定された任意の位置から前記空間を仮想的に視認した場合の表示画像を生成する、（１２）〜（１８）の何れか１つに記載の情報処理装置。（２０）  前記制御部は、前記画像補正部における補正処理に関する設定、及び、前記制御部における姿勢情報の重畳処理に関する設定を、前記撮像装置、又は、前記ユーザ操作機器の少なくとも一方に対して行われた操作に基づいて変更する、（１３）〜（１９）の何れか１つに記載の情報処理装置。（２１）  前記周囲撮像画像に対して、前記撮像装置の回転に伴う前記周囲撮像画像の変化を抑制する補正を実施する画像補正部を更に備える、（２）に記載の情報処理装置。（２２）  前記制御部は、前記撮像装置を装着した前記移動体の移動方向に基づいて、前記表示画像の表示を制御する、（２１）に記載の情報処理装置。（２３）  前記制御部は、前記移動体の移動方向と前記移動体の基準方向との角度差が閾値以内である場合に、前記表示画像における基準方向と前記移動体の基準方向または移動方向とが一致するように、前記ユーザが視認する表示領域に表示させる前記表示画像の表示画角を所定の速度で回転させる、（２２）に記載の情報処理装置。（２４）  前記所定の速度は、前記移動体の移動速度、または回転速度の少なくともいずれかに基づいて制御される、（２３）に記載の情報処理装置。（２５）  前記ユーザ操作機器は、前記ユーザが装着し、前記表示画像が表示されるウェアラブル機器であり、  前記画像補正部は、前記移動体の回転方向と、前記ユーザ操作機器の回転方向とが一致している場合、前記周囲撮像画像の変化を抑制する補正を実行しない、（２１）〜（２４）の何れか１つに記載の情報処理装置。（２６）  前記画像補正部は、前記撮像装置および前記ユーザ操作機器の回転量が閾値以下の場合、前記周囲撮像画像の変化を抑制する補正を実行する、（２５）に記載の情報処理装置。（２７）  前記ユーザ操作機器は、前記ユーザの装着するウェアラブル機器であり、  前記ユーザ視認情報は、前記ウェアラブル機器が検知した前記ユーザの視線方向に応じて生成される、（１）〜（２６）の何れか１つに記載の情報処理装置。（２８）  前記移動体は、前記ユーザ操作機器を操作するユーザとは異なる人間、前記空間内を自走する自走体、又は、前記空間内を飛行する飛行体の何れかである、（１）〜（２７）の何れか１つに記載の情報処理装置。（２９）  前記画像情報と、前記撮像装置姿勢情報とに基づいて生成される中間画像情報を取得する取得部を更に備え、  前記制御部は、前記中間画像情報と、前記ユーザ視認情報とに基づいて生成される表示画像を前記ユーザが視認する表示領域に表示させる制御を行う、（１）に記載の情報処理装置。（３０）  空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報と、当該撮像装置の姿勢に関する情報である撮像装置姿勢情報と、ユーザの操作するユーザ操作機器から得られる、ユーザが視認したい領域を特定するユーザ視認情報と、に基づいて生成される表示画像を、前記ユーザが視認する表示領域に表示させる制御を行うことを含む、情報処理方法。（３１）  コンピュータに、  空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報と、当該撮像装置の姿勢に関する情報である撮像装置姿勢情報と、ユーザの操作するユーザ操作機器から得られる、ユーザが視認したい領域を特定するユーザ視認情報と、に基づいて生成される表示画像を、前記ユーザが視認する表示領域に表示させる制御を行う制御機能を実現させるためのプログラム。
【符号の説明】
【０２５３】
１０００、１１００、２０００    情報処理装置
１０１０、１１１０    画像生成部
１０２０、１１２０    画像選択部
１０３０、１１３０    画像補正部
１０４０    移動体視線情報生成部
１０５０、１１５０    表示制御部
１０６０、１１６０、２０１０    データ取得部
１０７０、１１７０、２０６０    データ提供部
１０８０、１１８０、２０７０    記憶部
１１９０    方向制御部
２０１０    撮像空間生成部
２０２０    光線空間生成部
２０３０    画像再構成部
【図１】
0006515813.tif 000005
【図２】
0006515813.tif 000006
【図３】
0006515813.tif 000007
【図４Ａ】
0006515813.tif 000008
【図４Ｂ】
0006515813.tif 000009
【図５】
0006515813.tif 000010
【図６】
0006515813.tif 000011
【図７】
0006515813.tif 000012
【図８】
0006515813.tif 000013
【図９】
0006515813.tif 000014
【図１０】
0006515813.tif 000015
【図１１】
0006515813.tif 000016
【図１２】
0006515813.tif 000017
【図１３】
0006515813.tif 000018
【図１４】
0006515813.tif 000019
【図１５】
0006515813.tif 000020
【図１６】
0006515813.tif 000021
【図１７】
0006515813.tif 000022
【図１８】
0006515813.tif 000023
【図１９】
0006515813.tif 000024
【図２０】
0006515813.tif 000025
【図２１】
0006515813.tif 000026
【図２２】
0006515813.tif 000027
【図２３】
0006515813.tif 000028
【図２４】
0006515813.tif 000029
【図２５】
0006515813.tif 000030
【図２６】
0006515813.tif 000031
【図２７Ａ】
0006515813.tif 000032
【図２７Ｂ】
0006515813.tif 000033
【図２８Ａ】
0006515813.tif 000034
【図２８Ｂ】
0006515813.tif 000035
【図２９】
0006515813.tif 000036
【図３０】
0006515813.tif 000037
【図３１】
0006515813.tif 000038
【図３２Ａ】
0006515813.tif 000039
【図３２Ｂ】
0006515813.tif 000040
【図３３】
0006515813.tif 000041
【図３４】
0006515813.tif 000042
【図３５】
0006515813.tif 000043