(57)【要約】【課題】表示領域に対するユーザの状態によって、表示領域に表示される画像を補正することが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】画像が表示されうる表示領域に対する、表示領域を見るユーザの方向を示す方向情報に基づいて、表示領域上に表示が指示される対象画像に対して幾何補正を行う画像処理部を備える、情報処理装置が提供される。【選択図】図２７
2017055178.tif 000002
【特許請求の範囲】
【請求項１】
画像が表示されうる表示領域に対する、前記表示領域を見るユーザの方向を示す方向情報に基づいて、前記表示領域上に表示が指示される対象画像に対して幾何補正を行う画像処理部を備える、情報処理装置。
【請求項２】
前記画像処理部は、前記対象画像に対する幾何補正として、前記対象画像を所定の軸周りに回転させ、
前記対象画像が回転されることにより、前記表示領域の形状は変化する、請求項１に記載の情報処理装置。
【請求項３】
前記画像処理部は、前記表示領域に表示された画像が前記方向情報が示す前記ユーザの方向に傾くように前記対象画像を回転させる幾何補正を行う第１のモードによる幾何補正、または、前記第１のモードによる幾何補正を行わない第２のモードによる幾何補正を行う、請求項１に記載の情報処理装置。
【請求項４】
前記画像処理部は、前記対象画像に基づいて、前記第１のモードと前記第２のモードとを切り替える、請求項３に記載の情報処理装置。
【請求項５】
前記画像処理部は、前記表示領域を見るユーザの状態に基づいて、前記第１のモードと前記第２のモードとを切り替える、請求項３に記載の情報処理装置。
【請求項６】
前記ユーザの状態は、前記表示領域を見るユーザの人数である、請求項５に記載の情報処理装置。
【請求項７】
前記ユーザの状態は、前記方向情報が示す前記ユーザの方向と前記表示領域との関係である、請求項５に記載の情報処理装置。
【請求項８】
前記画像処理部は、前記方向情報が示す前記ユーザの方向と前記表示領域との関係に応じて、前記対象画像に対する幾何補正の内容を変える、請求項１に記載の情報処理装置。
【請求項９】
前記画像処理部は、前記ユーザの方向と前記表示領域との関係が前記ユーザの方向と前記表示領域とが直交していると判定される第１の関係である場合と、前記ユーザの方向と前記表示領域との関係が前記第１の関係に該当しない第２の関係である場合とで、前記対象画像に対する幾何補正の内容を変える、請求項８に記載の情報処理装置。
【請求項１０】
前記画像処理部は、前記ユーザの方向と前記表示領域との関係が前記第１の関係である場合には、さらに前記対象画像に基づいて、前記対象画像に対して幾何補正を行わない、請求項９に記載の情報処理装置。
【請求項１１】
前記表示領域に対する画像の表示が、画像投影デバイスから前記表示領域への画像の投射により行われる場合、
前記画像処理部は、前記方向情報が示す前記ユーザの方向と、前記表示領域に対する前記画像投影デバイスからの画像の投射方向とに基づいて、前記対象画像に対する幾何補正の内容を変える、請求項１に記載の情報処理装置。
【請求項１２】
前記画像処理部は、前記ユーザの方向と前記投射方向との関係が前記ユーザの方向と前記投射方向とが平行であると判定される第３の関係である場合と、前記ユーザの方向と前記投射方向との関係が前記第３の関係に該当しない第４の関係である場合とで、前記対象画像に対する幾何補正の内容を変える、請求項１１に記載の情報処理装置。
【請求項１３】
前記表示領域が複数の平面である場合、前記画像処理部は、前記表示領域に含まれる平面それぞれに表示される対象画像の部分ごとに幾何補正を行う、請求項１に記載の情報処理装置。
【請求項１４】
前記画像処理部は、幾何補正の内容を指定するユーザ操作が検出された場合には、前記表示領域上に表示が指示される対象画像に対して、前記ユーザ操作に対応する幾何補正を行う、請求項１に記載の情報処理装置。
【請求項１５】
前記対象画像に対する幾何補正には、前記対象画像に対して幾何補正を行わないことが含まれる、請求項１に記載の情報処理装置。
【請求項１６】
複数のユーザそれぞれの前記方向情報が取得された場合、
前記画像処理部は、複数の前記方向情報がそれぞれ示す複数の前記ユーザの方向に基づいて、１つの前記ユーザの方向を決定し、決定された前記ユーザの方向に基づいて、前記表示領域上に表示が指示される対象画像に対して幾何補正を行う、請求項１に記載の情報処理装置。
【請求項１７】
前記方向情報は、ユーザの視線方向を示す、請求項１に記載の情報処理装置。
【請求項１８】
幾何補正が行われた前記対象画像を前記表示領域に表示させる表示制御部をさらに備える、請求項１に記載の情報処理装置。
【請求項１９】
画像が表示されうる表示領域に対する、前記表示領域を見るユーザの方向を示す方向情報に基づいて、前記表示領域上に表示が指示される対象画像に対して幾何補正を行うステップを有する、情報処理装置により実行される情報処理方法。
【請求項２０】
画像が表示されうる表示領域に対する、前記表示領域を見るユーザの方向を示す方向情報に基づいて、前記表示領域上に表示が指示される対象画像に対して幾何補正を行うステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
画像を見る視聴者の位置に基づいて画像を投影する投影位置を決定し、決定された投影位置に基づいてプロジェクタの位置またはプロジェクタにおける投影方向を変更する技術が開発されている。上記技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０７９２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば特許文献１に記載の技術では、視聴者の位置それぞれに対応する複数の投影位置が規定されている投影位置情報を利用して、検出された視聴者の位置に対応する投影位置を決定する。しかしながら、特許文献１に記載の技術が用いられる場合には、投影位置情報において予め規定されている投影位置にしか、視聴者が見やすいように画像を表示させることができない。
【０００５】
本開示では、表示領域に対するユーザの状態によって、表示領域に表示される画像を補正することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、画像が表示されうる表示領域に対する、上記表示領域を見るユーザの方向を示す方向情報に基づいて、上記表示領域上に表示が指示される対象画像に対して幾何補正を行う画像処理部を備える、情報処理装置が提供される。
【０００７】
また、本開示によれば、画像が表示されうる表示領域に対する、上記表示領域を見るユーザの方向を示す方向情報に基づいて、上記表示領域上に表示が指示される対象画像に対して幾何補正を行うステップを有する、情報処理装置により実行される情報処理方法が提供される。
【０００８】
また、本開示によれば、画像が表示されうる表示領域に対する、上記表示領域を見るユーザの方向を示す方向情報に基づいて、上記表示領域上に表示が指示される対象画像に対して幾何補正を行うステップをコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【０００９】
本開示によれば、表示領域に対するユーザの状態によって、表示領域に表示される画像を補正することができる。
【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る情報処理方法の概要を説明するための説明図である。
【図２】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図３】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図４】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図５】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図６】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図７】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図８】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図９】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図１０】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図１１】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図１２】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図１３】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図１４】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図１５】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図１６】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図１７】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図１８】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図１９】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図２０】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図２１】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図２２】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図２３】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図２４】本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
【図２５】本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。
【図２６】本実施形態に係る情報処理方法に係る処理の他の例を示す流れ図である。
【図２７】本実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図２８】本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る情報処理方法
２．本実施形態に係る情報処理装置
３．本実施形態に係るプログラム
【００１４】
（本実施形態に係る情報処理方法）
まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
【００１５】
［１］本実施形態に係る情報処理方法の概要
例えば部屋における壁や天井、床など、空間において画像を表示させることが可能な任意の位置に画像（静止画像または動画像。以下、同様とする。）を表示することが可能な表示環境を考える。
【００１６】
ここで、本実施形態に係る表示環境としては、例えば、１または２以上の画像投影デバイス（例えばプロジェクタなど）に画像を投影させることによって画像を表示させる環境や、壁や天井、床などに設けられている表示デバイスに画像を表示させることによって画像を表示させる環境、あるいは、これらを組み合わせた環境などが挙げられる。以下では、本実施形態に係る表示環境が、１または２以上の画像投影デバイスに画像を投影させることによって画像を表示させる環境である場合を、主に例に挙げる。
【００１７】
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、表示領域に対する当該表示領域を見るユーザの方向を示す方向情報に基づいて、表示領域上に表示が指示される対象の画像に対して幾何補正を行う（画像処理）。
【００１８】
以下では、表示領域上に表示が指示される対象の画像を「対象画像」と示す。本実施形態に係る対象画像としては、例えば、任意のコンテンツを示す静止画像や動画像が挙げられる。また、本実施形態に係る対象画像は、ＵＩ（User  Interface）に係る画面を示す画像であってもよい。
【００１９】
ここで、本実施形態に係る表示領域とは、表示環境の空間（以下、単に「空間」と示す場合がある。）における、画像が表示されうる領域である。また、本実施形態に係る表示領域は、例えば、スクリーン（壁や天井など）やプロジェクション領域の全てを指しているのではなく、表示可能な領域中で出力が指示された画像に対応する領域をいう。本実施形態に係る表示領域は、画像が既に表示されている領域であってもよいし、画像がこれから表示される領域であってもよい。本実施形態に係る表示領域としては、例えば、壁や天井、床などの表示環境の空間における１つの面内の領域や、複数の面に跨る領域が挙げられる。以下では、本実施形態に係る表示領域が、表示環境の空間における１つの面内の領域である場合を主に例に挙げる。
【００２０】
本実施形態に係る表示領域としては、予め設定されている領域が挙げられる。
【００２１】
また、本実施形態に係る表示領域は、例えば、ユーザの姿勢や、ユーザの視線（例えば、視線方向、視点位置）に基づいて設定された領域であってもよい。ユーザの姿勢や視線は、例えば、表示環境の空間内を撮像する撮像デバイスによる撮像により得られた撮像画像や、加速度センサや角速度センサなどのユーザの動きや姿勢などを検出することが可能な任意のセンサの検出結果などに基づいて推定される。
【００２２】
本実施形態に係る表示領域は、例えば、画像をみるユーザの視点位置から視線方向へと伸ばした直線と表示環境の空間における面とが交わる位置（以下、「設定基準位置」と示す場合がある。）を基準として設定される。また、設定基準位置に基づき設定される表示領域としては、例えば、下記に示す例が挙げられる。なお、設定基準位置に基づき設定される表示領域の例が下記に示す例に限られないことは、言うまでもない。
・設定基準位置を表示領域の重心位置とするなど、設定基準位置を表示領域の設定されている所定の位置とする領域
・設定基準位置を上記所定の位置としたときに領域が一平面上に存在しない場合、設定基準位置を上記所定の位置としたときの領域が、領域が一平面上に存在するように平行移動された領域（表示領域を一平面からなる領域とする場合）
【００２３】
本実施形態に係る表示領域の設定に係る表示領域設定処理は、本実施形態に係る情報処理装置において行われてよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。
【００２４】
本実施形態に係る方向情報とは、表示領域に対する、表示領域を見るユーザの方向を示すデータである。後述するように、本実施形態に係る方向情報が用いられることによって、ユーザがどのように表示領域を見るのかを特定する（または推定する）ことが可能である。つまり、本実施形態に係る方向情報は、表示領域に対するユーザの状態を示す情報であるといえる。
【００２５】
本実施形態に係る方向情報としては、例えば、表示領域に対するユーザの視線方向を示す情報や、表示領域に対するユーザの姿勢を示す情報が挙げられる。
【００２６】
表示領域に対するユーザの視線方向を示す情報としては、例えば、表示領域の法線方向と視線方向とがなす角度を示すデータが挙げられる。なお、本実施形態に係る表示領域に対するユーザの視線方向を示す情報は、上記に限られず、例えば空間の所定の座標系においてユーザの視線方向がベクトル形式で表されているデータなど、表示領域に対するユーザの視線方向を特定することが可能な、任意のデータであってもよい。また、表示領域に対するユーザの視線方向を示す情報には、例えば、ユーザの視点位置を示すデータが含まれていてもよい。
【００２７】
また、本実施形態に係る表示領域に対するユーザの姿勢を示す情報としては、例えば、表示領域の法線方向と、ユーザの顔や胸などのユーザの所定の部位が向いている方向とがなす角度を示すデータが挙げられる。なお、本実施形態に係る表示領域に対するユーザの姿勢を示す情報は、上記に限られず、例えば空間の所定の座標系においてユーザの所定の部位が向いている方向がベクトル形式で表されているデータなど、表示領域に対するユーザの所定の部位が向いている方向を特定することが可能な、任意のデータであってもよい。なお、本実施形態に係る姿勢を示す情報には、表示環境の空間が撮像された撮像画像や、加速度センサなどのユーザの動きをセンシングすることが可能なセンサのセンシング結果などに基づき推定されたユーザの姿勢（例えば、立っている、座っている、寝ているなど）を示すデータが含まれていてもよい。
【００２８】
なお、本実施形態に係る方向情報は、表示領域に対するユーザの視線方向を示す情報や、表示領域に対するユーザの姿勢を示す情報に限られず、表示領域に対する、表示領域を見るユーザの方向を特定する（または推定する）ことが可能な、任意のデータであってもよい。
【００２９】
以下では、本実施形態に係る方向情報が示す、表示領域に対する表示領域を見る対象となるユーザの方向が、ユーザの視線方向である場合を主に例に挙げる。また、以下では、本実施形態に係る方向情報が示す、表示領域に対する表示領域を見る対象となるユーザの方向を、「方向情報が示すユーザの方向」または「ユーザの方向」と示す場合がある。
【００３０】
本実施形態に係る情報処理装置は、例えば、各種センサから取得されるセンシング結果を示すデータに基づき、画像処理を利用した方法などの任意の技術を利用することによって、方向情報を生成する。また、本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置の外部装置において生成された方向情報を、当該外部装置とのネットワークを介した（または直接的な）通信により取得することも可能である。
【００３１】
また、本実施形態に係る幾何補正としては、例えば、対象画像を所定の軸周りに回転させる処理が挙げられる。本実施形態に係る回転としては、例えば、１段階の対象画像の回転、または、２段階以上の対象画像の回転の組み合わせが挙げられる。ここで、本実施形態に係る幾何補正（より具体的には、後述する段階３の幾何補正や段階４の幾何補正）により対象画像が回転することによって、例えば、１６：９や４：３などの所定のアスペクト比の正方の画像を歪ませ、画像が表示される表示領域の形状が変化することが実現される。また、本実施形態に係る幾何補正には、画像を平行移動させる処理が含まれていてもよい。本実施形態に係る所定の軸の一例については、後述する。
【００３２】
また、本実施形態に係る幾何補正には、対象画像に対して幾何補正を行わないことが含まれていてもよい。対象画像に対して幾何補正が行われない場合には、表示領域には、対象画像がそのまま表示されることとなる。
【００３３】
本実施形態に係る幾何補正について他の観点から示すと、本実施形態に係る幾何補正としては、例えば、表示領域に表示された画像が方向情報が示すユーザの方向に傾くように対象画像を回転させる幾何補正を行う第１のモードによる幾何補正と、第１の幾何補正を行わない第２のモードによる幾何補正とが挙げられる。第１のモードによる幾何補正は、例えば、後述する段階４の幾何補正に該当する。また、第２のモードによる幾何補正は、例えば、後述する段階１の幾何補正〜段階３の幾何補正のうちの、１または２以上の幾何補正に該当する。
【００３４】
本実施形態に係る情報処理装置は、例えば、“対象画像”と“表示領域を見るユーザの状態”との一方または双方に基づいて、第１のモードと第２のモードとを切り替える。
【００３５】
ここで、対象画像に基づく第１のモードと第２のモードとの切り替えとしては、例えば、対象画像の内容や種別に基づく各モードの切り替えが挙げられる。
【００３６】
また、ユーザの状態に基づく第１のモードと第２のモードとの切り替えとしては、例えば、表示領域を見るユーザの人数に基づく各モードの切り替えと、方向情報が示すユーザの方向と表示領域との関係に基づく各モードの切り替えとが挙げられる。表示領域を見るユーザの人数に基づく各モードの切り替えとは、例えば、表示領域を見るユーザの数が単数である場合における各モードの切り替え、および表示領域を見るユーザの数が複数である場合における各モードの切り替えである。
【００３７】
本実施形態に係る幾何補正の一例については、後述する。
【００３８】
図１は、本実施形態に係る情報処理方法の概要を説明するための説明図である。図１に示すＡは、本実施形態に係る幾何補正が行われた対象画像の表示領域への表示の一例を示しており、図１に示すＢとは、本実施形態に係る幾何補正が行われた対象画像の表示領域への表示の他の例を示している。
【００３９】
例えば図１のＡに示すように、表示領域を見る対象となるユーザが表示領域に正対している場合には、重力方向と画像の垂直方向が一致するように対象画像を幾何補正することによって、ユーザにとって視認性のよい画像を、表示領域に表示させることが可能である。ここで、表示領域を見る対象となるユーザが表示領域に正対している場合とは、例えば、方向情報が示すユーザの方向（図１に示す視線方向に対応）が、表示領域の法線方向と一致（または略一致）している場合に該当する。
【００４０】
また、例えば図１のＢに示すように、表示領域を見る対象となるユーザが表示領域に正対していない場合には、方向情報が示すユーザの方向（図１に示す視線方向に対応）に対象画像が傾くように対象画像を幾何補正することによって、ユーザにとって視認性のよい画像を、表示領域に表示させることが可能である。
【００４１】
例えば図１に示すように、本実施形態に係る方向情報が用いられることによって、ユーザがどのように表示領域を見るのかを特定する（または推定する）ことが可能であり、本実施形態に係る情報処理装置は、方向情報が示すユーザの方向に基づいて、対象画像に対する幾何補正の内容を変える。
【００４２】
また、図１では、部屋の壁部分など表示環境の空間の側面に表示領域が設定されて画像が表示される場合における、幾何補正がされた対象画像の表示の例を示しているが、上述したように、表示領域は、部屋の天井部分のような空間の上面など、側面以外の面に表示領域が設定されてもよい。ここで、例えば空間の上面に表示領域が設定される場合には、天地問題（画像の上下左右方向をどちらにして表示すればよいかに係る問題）が生じうる。しかしながら、本実施形態に係る情報処理装置は、方向情報が示すユーザの方向に基づいて対象画像を回転（幾何補正の一例）することが可能であるので、天地問題の発生を防止することが可能である。
【００４３】
よって、本実施形態に係る情報処理装置は、上記のような本実施形態に係る画像処理を行うことにより、表示領域に対するユーザの状態によって、表示領域に表示される画像を補正することができる。
【００４４】
なお、本実施形態に係る情報処理方法に係る処理は、上記本実施形態に係る画像処理に限られない。
【００４５】
例えば、上述したように、本実施形態に係る情報処理装置は、表示領域の設定に係る表示領域設定処理を、さらに行うことが可能である。
【００４６】
また、本実施形態に係る情報処理装置は、本実施形態に係る画像処理により幾何補正された対象画像を、表示領域に表示させる表示制御処理を、さらに行ってもよい。
【００４７】
例えば、表示領域への画像の表示が画像投射デバイスによる画像の投射により行われる場合には、本実施形態に係る情報処理装置は、画像投射デバイスにおける画像の投射を制御する。本実施形態に係る情報処理装置は、例えば、通信部（後述する）や接続されている外部の通信デバイスを介して、画像投射デバイスに対して制御命令を含む制御データと幾何補正された対象画像を示す画像データとを送信させることによって、画像投射デバイスにおける画像の投射を制御する。
【００４８】
また、本実施形態に係る情報処理装置は、例えば、画像投射デバイスが乗っている雲台など、パンチルト機構を有するデバイスに対して制御命令を含む制御データを送信させて、パンチルト機構を有するデバイスが有するパンチルト機構の動作を制御する。
【００４９】
表示領域への画像の表示が、画像投射デバイスによる画像の投射により行われる場合には、例えば上記のように画像投射デバイスとパンチルト機構を有するデバイスとが制御されることによって、本実施形態に係る情報処理装置は、幾何補正された対象画像を表示領域に表示させる。
【００５０】
また、例えば、表示領域への画像の表示が表示デバイスによる画像の表示により行われる場合には、本実施形態に係る情報処理装置は、表示デバイスにおける画像の表示を制御する。本実施形態に係る情報処理装置は、例えば、通信部（後述する）や接続されている外部の通信デバイスを介して、表示デバイスに対して制御命令を含む制御データと幾何補正された対象画像を示す画像データとを送信させることによって、表示デバイスにおける画像の表示を制御する。
【００５１】
表示領域への画像の表示が表示デバイスによる画像の表示により行われる場合には、本実施形態に係る情報処理装置は、例えば、表示デバイスにおける画像の表示が制御されることによって、本実施形態に係る情報処理装置は、幾何補正された対象画像を表示領域に表示させる。
【００５２】
以下、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
【００５３】
［２］本実施形態に係る情報処理方法に係る処理
［２−１］本実施形態に係る表示環境の一例
図２は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る表示環境の一例として部屋を示している。
【００５４】
本実施形態に係る表示環境としては、例えば図２に示すように、室内の天井部分の四隅に撮像デバイスが設けられ、室内の床に、パン方向とチルト方向とに駆動することが可能なパンチルト機構を有する雲台上に、画像投射デバイスが設置されている環境が挙げられる。また、図２では示していないが、雲台上には、画像投射デバイスの投射方向を検出方向として、検出結果に応じた室内の３次元情報を得ることが可能なデプスセンサが設けられる。
【００５５】
例えば図２に示す表示環境では、本実施形態に係る情報処理装置は、例えば撮像デバイスそれぞれから取得される撮像画像に基づき推定される、ユーザの視線方向とユーザの位置・姿勢を、処理に用いる。ここで、撮像画像に基づくユーザの視線方向の推定に係る処理と、撮像画像に基づくユーザの位置・姿勢の推定に係る処理との一方または双方は、本実施形態に係る情報処理装置において行われてもよいし、サーバなどの本実施形態に係る情報処理装置の外部装置において行われてもよい。上記サーバなどの外部装置は、例えば、インターネットなどの任意のネットワークを介した通信（または任意の通信方式による直接的な通信）によって、本実施形態に係る情報処理装置と接続される。本実施形態に係る情報処理装置の外部装置において、上記に示す各種推定に係る処理が行われる場合には、本実施形態に係る情報処理装置は、推定結果を示す情報を処理に用いる。
【００５６】
なお、撮像画像に基づくユーザの視線方向の推定は、例えば撮像画像からユーザの顔や目を検出する方法など、撮像画像からユーザの視線方向を推定することが可能な、任意の技術を用いて行うことが可能である。一例を挙げると、ユーザの顔や眼球が撮像された撮像画像を分析して、顔の方向または瞳孔の方向を推定することによって、ユーザの視線方向は、推定される。また、ユーザの視線方向は、角膜反射法を利用して推定されてもよい。
【００５７】
また、撮像画像に基づくユーザの位置・姿勢の推定は、例えば撮像画像からユーザの部位を検出する方法や、撮像デバイスの設置位置や画角などのデータを利用する方法など、撮像画像からユーザの位置・姿勢を推定することが可能な、任意の技術を用いて行うことが可能である。
【００５８】
また、ユーザの視線方向は、撮像画像に基づき推定されることに限られない。例えば、表示領域の位置を示す情報と、ユーザの位置を示す情報とに基づいて、表示領域の位置とユーザの位置とを結ぶ方向が、ユーザの視線方向として推定されてもよい。表示領域の位置を示す情報としては、例えば、スクリーンの位置または画像が表示（プロジェクション）される位置を示す情報が挙げられる。また、ユーザの位置を示す情報としては、例えば、撮像画像に基づき推定されたユーザの位置を示す情報が挙げられる。
【００５９】
また、例えば図２に示す表示環境では、本実施形態に係る情報処理装置は、例えばデプスセンサから取得される３次元情報（例えば、３次元点群を示すデータ）を、処理に用いることが可能である。ここで、３次元情報は、例えば、表示領域に対応する平面方程式の算出に用いられる。
【００６０】
図２に示す表示環境において、本実施形態に係る情報処理装置は、室内に設けられていてもよいし、室外に設けられていてもよい。本実施形態に係る情報処理装置が室内に設けられる場合、本実施形態に係る情報処理装置は、例えば雲台上に設けられるなど、任意の場所に設けることが可能である。
【００６１】
なお、本実施形態に係る表示環境は、図２に示す例に限られない。
【００６２】
例えば図２では、ユーザの視線方向とユーザの位置・姿勢とが、室内の天井部分の四隅に設けられている撮像デバイスの撮像画像により検出される例を示しているが、ジャイロセンサや加速度センサなどのセンサを組み合わせてユーザの位置・姿勢が検出されてもよい。また、ユーザの視線方向は、例えば、ユーザが装着して用いることが可能なウェアラブルデバイス（例えば、ヘッドマウントディスプレイやアイウェアなど）に取り付けられている撮像デバイスなどにより撮像された撮像画像に基づき検出されてもよい。
【００６３】
また、例えば図２では、デプスセンサを用いて３次元情報が得られる例を示しているが、デプス情報が取得可能な任意の方式を用いて３次元情報が得られてもよい。デプス情報が取得可能な方式としては、例えば、ステレオデプスカメラを用いる方式や、ＴＯＦ（Time  Of  Flight）方式、レーザレンジファインダを用いる方式、超音波による距離測定を利用した方式、ＩＲ（infrared）レーザ・パターンを投影する方式などが挙げられる。
【００６４】
また、例えば室内の天井部分の四隅にデプスセンサが設けられていてもよい。
【００６５】
また、室内の天井部分の四隅に設けられている撮像デバイスから得られる撮像画像を利用して３次元環境を作成するＳＬＡＭ（Simultaneous  Localization  and  Mapping）と呼ばれる技術を用いて、３次元情報を得ることも可能である。
【００６６】
［２−２］本実施形態に係る情報処理方法に係る処理
以下、図２に示す表示環境を主に例に挙げて、本実施形態に係る情報処理方法に係る処理について説明する。
【００６７】
（１）画像処理
本実施形態に係る情報処理装置は、方向情報に基づいて対象画像に対して幾何補正を行う。
【００６８】
（１−１）本実施形態に係る幾何補正の一例
本実施形態に係る幾何補正としては、例えば、下記の（Ａ）〜（Ｄ）に示す４段階の幾何補正が挙げられる。なお、各段階における具体的な処理については、後述する。
【００６９】
（Ａ）段階１：対象画像をそのまま表示させる幾何補正
図３は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、段階１の幾何補正に係る対象画像が表示領域に表示される場合の一例を示している。
【００７０】
段階１の幾何補正では、本実施形態に係る情報処理装置は、対象画像に対して幾何補正を行わない。
【００７１】
段階１の幾何補正が行われた場合、表示領域には、対象画像がそのまま表示されることとなる。
【００７２】
ここで、段階１の幾何補正が行われるときには対象画像がそのまま表示領域に表示されるので、段階１の幾何補正が適用されるケースとしては、例えば、対象画像が天地を考慮せずとも破綻しないコンテンツを示す画像である場合が挙げられる。
【００７３】
図４は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、図４のＡ、図４のＢそれぞれは、天地を考慮せずとも破綻しないコンテンツを示す画像の一例を示している。
【００７４】
天地を考慮せずとも破綻しないコンテンツを示す画像としては、例えば、星空のような画像（図４のＡ）や、オーロラや小さな粒（パーティクル）を用いたアニメーションを示す画像（図４のＢ）が挙げられる。
【００７５】
よって、本実施形態に係る情報処理装置は、例えば、対象画像に基づいて、対象画像に対して幾何補正を行わない段階１の幾何補正を自動的に行ってもよい。
【００７６】
（Ｂ）段階２：対象画像をユーザの視線方向に回転させて表示させる幾何補正
図５は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、段階２の幾何補正に係る対象画像が表示領域に表示される場合の一例を示している。
【００７７】
段階２の幾何補正では、本実施形態に係る情報処理装置は、ユーザの視点位置と視線方向から視線方向に画像を回転する処理（１段階の回転処理）を行う。
【００７８】
段階２の幾何補正が行われた場合、表示領域には、例えば、段階１の対象画像が表示領域の面上で回転された画像が表示されることとなる。よって、段階２の幾何補正が行われる場合には、例えば天地問題が生じることが防止される。
【００７９】
ここで、段階２の幾何補正は、後述する段階３の幾何補正、段階４の幾何補正が行われる場合に比べ、表示領域に表示される画像のサイズが大きいことが多い（後述する段階３の幾何補正、段階４の幾何補正が行われる場合には、表示領域に表示される画像のサイズが、表示領域よりも小さくなりうるため）。
【００８０】
よって、本実施形態に係る情報処理装置は、例えば、画像投影デバイスの設置位置と表示領域との位置関係に基づいて、当該位置関係から後述する段階３の幾何補正、段階４の幾何補正が行われなくても視認性が確保される場合は、段階２の幾何補正を自動的に行ってもよい。
【００８１】
（Ｃ）段階３：対象画像を表示領域の法線方向に合わせる幾何補正
図６、図７は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、段階３の幾何補正に係る対象画像が表示領域に表示される場合の一例をそれぞれ示している。
【００８２】
段階３の幾何補正では、本実施形態に係る情報処理装置は、ユーザの視点位置および顔の向きを考慮して画像を補正する。本実施形態に係る情報処理装置は、例えば、３次元情報に基づいて表示領域に対応する平面方程式を算出して表示領域に対応する平面を推定する。本実施形態に係る情報処理装置は、推定した平面に沿うように対象画像を回転させることによって、推定された平面の法線方向に合わせて対象画像を回転させ（以下、「正対補正」と示す場合がある。）、さらに、ユーザの頭の向きに合わせて対象画像を回転させる処理を行う（２段階の回転処理）。なお、段階３の幾何補正の処理の順番は、上記に限られず、本実施形態に係る情報処理装置は、任意の処理順で段階３の幾何補正を行うことが可能である。
【００８３】
段階３の幾何補正が行われた場合、図７に示すように、表示領域には、例えば平面にポスターを貼り付けたように対象画像が表示される。図６、図７に示すように天井部分に表示領域が設定され、ユーザが床に横なっている場合には、真上を向いて画像を見るスタイルで、ユーザは、対象画像を見ることとなる。
【００８４】
（Ｄ）段階４：対象画像をユーザの視線方向に傾けて表示させる幾何補正
図８、図９は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、段階４の幾何補正に係る対象画像が表示領域に表示される場合の一例をそれぞれ示している。
【００８５】
段階４の幾何補正とは、例えば、表示領域に表示された画像が方向情報が示すユーザの方向に傾くように対象画像を回転させる幾何補正である。
【００８６】
段階４の幾何補正では、本実施形態に係る情報処理装置は、段階３の幾何補正と同様の幾何補正に加えて、ユーザの視線方向へ回転させる処理（以下、「視聴方向補正」と示す場合がある。）をさらに行う（３段階の回転処理）。本実施形態に係る情報処理装置は、例えば、段階４の幾何補正として、段階３の幾何補正が行われた対象画像を、ユーザの視線方向へさらに回転させる処理を行う。なお、段階４の幾何補正の処理の順番は、上記に限られず、本実施形態に係る情報処理装置は、例えば、任意の処理順で段階４の幾何補正を行うことが可能である。以下では、本実施形態に係る情報処理装置が、段階４の幾何補正として、段階３の幾何補正が行われた対象画像を、ユーザの視線方向へさらに回転させる処理を行う場合を例に挙げる。
【００８７】
段階４の幾何補正が行われた場合、図９に示すように、表示領域には、例えばユーザの視線方向と垂直となるように傾けられた対象画像を表示される。ここで、段階４の幾何補正は、例えば、あたかもユーザに正対している仮想的な面に対象画像が表示されているように、対象画像をユーザに見せるための幾何補正に相当する。図８、図９に示すように天井部分に表示領域が設定され、ユーザが床に横なっている場合には、斜め上方向に視線を向けて画像を見るスタイルで、ユーザは、対象画像を見ることとなる。
【００８８】
本実施形態に係る幾何補正としては、例えば、上記（Ａ）〜（Ｄ）に示す４段階の幾何補正が挙げられる。なお、図３〜図９では、天井に表示領域が設定されている例を示したが、表示領域が、壁などの側面や床に設定されている場合においても、同様の処理を適用することが可能である。
【００８９】
なお、本実施形態に係る幾何補正は、上記（Ａ）〜（Ｄ）に示す４段階の幾何補正に限られない。
【００９０】
例えば、上述したように、本実施形態に係る幾何補正は、段階４の幾何補正に該当する第１のモードによる幾何補正と、第１の幾何補正を行わない第２のモードによる幾何補正（例えば、段階１の幾何補正〜段階３の幾何補正のうちの、１または２以上の幾何補正）であってもよい。
【００９１】
本実施形態に係る情報処理装置は、例えば、幾何補正の内容を指定するユーザ操作が検出された場合には、対象画像に対して、ユーザ操作に対応する幾何補正を行う。
【００９２】
ここで、本実施形態に係るユーザ操作としては、例えば、幾何補正の段階を選択するボタンの押下などの手動操作や、幾何補正の段階を選択する音声の発話、幾何補正の段階を選択するジェスチャを行うことなどが挙げられる。幾何補正の段階を選択する手動操作は、例えば、リモート・コントローラや、スマートフォン、タブレットなどの任意の装置に対して行われる。
【００９３】
幾何補正の段階を選択するボタンの押下がユーザ操作として行われる場合には、本実施形態に係る情報処理装置は、例えば、幾何補正の段階を示す段階識別情報（例えば、幾何補正の段階を示すＩＤ）を含む操作信号が取得された場合に、当該段階識別情報が示す段階の幾何補正を行う。
【００９４】
また、幾何補正の段階を選択する音声の発話がユーザ操作として行われる場合には、本実施形態に係る情報処理装置は、例えば、音声認識の結果に対応する段階の幾何補正を行う。音声認識は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。
【００９５】
また、幾何補正の段階を選択するジェスチャがユーザ操作として行われる場合には、本実施形態に係る情報処理装置は、例えば、ジェスチャの認識結果に対応する段階の幾何補正を行う。ジェスチャの認識は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。
【００９６】
本実施形態に係る情報処理装置がユーザ操作に対応する幾何補正を行う場合には、ユーザは、幾何補正の段階を選択する操作を行うことによって、所望の幾何補正が行われた画像を見ることが可能となる。
【００９７】
また、本実施形態に係る情報処理装置は、例えば、自動的に対象画像に対する幾何補正の内容を変えることによって、幾何補正を切り替えることも可能である。本実施形態に係る情報処理装置は、例えば、上記（Ａ）〜（Ｄ）に示す４段階の幾何補正を切り替える。また、本実施形態に係る情報処理装置は、例えば、上記第１のモードによる幾何補正と、上記第２のモードによる幾何補正とを切り替えてもよい。
【００９８】
図１０、図１１は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る情報処理装置における上記（Ａ）〜（Ｄ）に示す４段階の幾何補正の切り替え条件の一例を示している。図１０、図１１では、図２に示すような画像投影デバイスによる投影により表示領域に画像が表示される表示環境における、幾何補正の切り替え条件の一例を示している。
【００９９】
本実施形態に係る情報処理装置は、例えば下記の（Ｉ）〜（ＩＶ）に示すように対象画像に対する幾何補正の内容を変えることによって、幾何補正を切り替える。
【０１００】
なお、以下では、本実施形態に係る情報処理装置が、上記（Ａ）〜（Ｄ）に示す４段階の幾何補正を切り替える場合を例に挙げるが、上記第１のモードによる幾何補正と上記第２のモードによる幾何補正とを切り替えについても、同様に実現することが可能である。
【０１０１】
具体的には、例えば、上記（Ｄ）に示す段階４の幾何補正が行われる場合が、上記第１のモードによる幾何補正が行われる場合に該当する。また、例えば、上記（Ａ）〜上記（Ｃ）に示す段階１〜段階３のいずれかの幾何補正が行われる場合が、上記第２のモードによる幾何補正が行われる場合に該当する。
【０１０２】
（Ｉ）幾何補正の切り替えに係る処理の第１の例
本実施形態に係る情報処理装置は、例えば、方向情報が示すユーザの方向と表示領域との関係に応じて、対象画像に対する幾何補正の内容を変える。
【０１０３】
より具体的には、本実施形態に係る情報処理装置は、ユーザの方向と表示領域との関係がユーザの方向と表示領域とが直交していると判定される第１の関係である場合と、ユーザの方向と表示領域との関係が第１の関係に該当しない第２の関係である場合とで、対象画像に対する幾何補正の内容を変える。
【０１０４】
ここで、本実施形態に係る情報処理装置は、例えば、３次元情報に基づいて推定された表示領域に対応する平面の法線方向と、方向情報が示すユーザの方向とがなす角度が、設定されている所定の角度より小さい場合（または、当該なす角度が当該所定の角度以下の場合）に、ユーザの方向と表示領域とが直交していると判定する。上記所定の角度は、予め設定されている固定の角度であってもよいし、ユーザ操作などに基づいて変更可能な可変値であってもよい。上記所定の角度が小さくなればなる程、ユーザの方向と表示領域とが直交していると判定される基準が厳しくなる。
【０１０５】
例えば図１０に示すように、ユーザの方向と表示領域との関係が第１の関係である場合には、本実施形態に係る情報処理装置は、上記（Ａ）に示す段階１〜上記（Ｃ）に示す段階３の幾何補正のいずれかの幾何補正を行う。
【０１０６】
また、上述したように、本実施形態に係る情報処理装置は、対象画像に基づいて上記（Ａ）に示す段階１の幾何補正を自動的に行うことが可能である。つまり、本実施形態に係る情報処理装置は、ユーザの方向と表示領域との関係が第１の関係である場合には、さらに対象画像に基づいて、上記（Ａ）に示す段階１の幾何補正を行うことによって、対象画像に対して幾何補正を行わなくてもよい。
【０１０７】
また、例えば図１０に示すように、ユーザの方向と表示領域との関係が第２の関係である場合には、本実施形態に係る情報処理装置は、上記（Ｄ）に示す段階４の幾何補正を行う。ユーザの方向と表示領域との関係が第２の関係である場合に上記（Ｄ）に示す段階４の幾何補正を行う理由は、段階４の幾何補正が行われるときには、例えば図９に示すように、表示領域にはユーザの視線方向と垂直となるように傾けられた対象画像を表示されるためである。
【０１０８】
（ＩＩ）幾何補正の切り替えに係る処理の第２の例
表示領域に対する画像の表示が、図２に示すように画像投影デバイスから表示領域への画像の投射により行われる場合、本実施形態に係る情報処理装置は、例えば、方向情報が示すユーザの方向と、表示領域に対する画像投影デバイスからの画像の投射方向とに基づいて、対象画像に対する幾何補正の内容を変える。
【０１０９】
より具体的には、本実施形態に係る情報処理装置は、例えば、ユーザの方向と投射方向との関係がユーザの方向と投射方向とが平行であると判定される第３の関係である場合と、ユーザの方向と投射方向との関係が第３の関係に該当しない第４の関係である場合とで、対象画像に対する幾何補正の内容を変える。
【０１１０】
ここで、本実施形態に係る情報処理装置は、例えば、ユーザの方向と投射方向とがなす角度が所定の角度より小さい場合（または、当該なす角度が当該所定の角度以下の場合）に、ユーザの方向と投射方向とが平行であると判定する。上記所定の角度は、予め設定されている固定の角度であってもよいし、ユーザ操作などに基づいて変更可能な可変値であってもよい。上記所定の角度が小さくなればなる程、ユーザの方向と投射方向とが平行であると判定される基準が厳しくなる。
【０１１１】
例えば図１１に示すように、ユーザの方向と投射方向との関係が第３の関係である場合には、本実施形態に係る情報処理装置は、上記（Ａ）に示す段階１または上記（Ｂ）に示す段階２の幾何補正を行う。
【０１１２】
また、例えば図１１に示すように、本実施形態に係る情報処理装置は、さらに、ユーザと画像投影デバイスとの、表示領域に対応する平面と平行な方向における距離が小さいか否かを判定し、当該距離が小さいと判定された場合に、上記（Ａ）に示す段階１または上記（Ｂ）に示す段階２の幾何補正を行ってもよい。ここで、本実施形態に係る情報処理装置は、例えば、方向情報などに基づいてユーザの視線が表示領域上にあると判定される場合に、表示領域に対応する平面と平行な方向における距離が小さいと判定する。
【０１１３】
また、例えば図１１に示すように、ユーザの方向と投射方向との関係が第４の関係である場合には、本実施形態に係る情報処理装置は、上記（Ｃ）に示す段階３または上記（Ｄ）に示す段階４の幾何補正を行う。
【０１１４】
（ＩＩＩ）幾何補正の切り替えに係る処理の第３の例
本実施形態に係る情報処理装置は、上記（Ｉ）に示す第１の例に係る処理と、上記（ＩＩ）に示す第２の例に係る処理とを組み合わせた処理を行う。
【０１１５】
上記（Ｉ）に示す第１の例に係る処理と、上記（ＩＩ）に示す第２の例に係る処理とを組み合わせた処理を行うことによって、例えば下記のように上記（Ａ）に示す段階１〜上記（Ｄ）に示す段階４の幾何補正が切り替えられる。なお、第３の例に係る幾何補正の切り替えに係る処理における幾何補正の切り替え例が、下記に示す例に限られないことは、言うまでもない。
・ユーザの方向と表示領域との関係が第１の関係であり、かつ、対象画像が天地を考慮せずとも破綻しないコンテンツを示す画像である場合：上記（Ａ）に示す段階１の幾何補正が行われる。
・ユーザの方向と表示領域との関係が第１の関係であり、かつ、ユーザの方向と投射方向との関係が第３の関係である場合：上記（Ｂ）に示す段階２の幾何補正が行われる。
・ユーザの方向と表示領域との関係が第１の関係であり、かつ、ユーザの方向と投射方向との関係が第４の関係である場合：上記（Ｃ）に示す段階３の幾何補正が行われる。
・ユーザの方向と表示領域との関係が第２の関係である場合：上記（Ｄ）に示す段階４の幾何補正が行われる。
【０１１６】
（ＩＶ）幾何補正の切り替えに係る処理の他の例
なお、本実施形態に係る幾何補正の切り替えに係る処理は、上記（Ｉ）に示す第１の例に係る処理〜上記（ＩＩＩ）に示す第３の例に係る処理に限られない。
【０１１７】
例えば、本実施形態に係る情報処理装置は、対象画像によって幾何補正を切り替えることも可能である。一例としては、対象画像が星空を示す画像である場合には、段階１や段階２の幾何補正が行われ、また、対象画像が動画像である場合には、段階３や段階４の幾何補正が行われることが挙げられる。
【０１１８】
本実施形態に係る情報処理装置は、例えば、対象画像を解析することによって、対象画像の内容や種別を判断して、行う幾何補正を決定する。また、本実施形態に係る情報処理装置は、例えば、どの段階の幾何補正を行うかを示す対象画像に対応付けられているデータ（例えばメタデータなど）を参照することによって、行う幾何補正を決定することも可能である。
【０１１９】
（１−２）本実施形態に係る幾何補正の具体例
次に、上記（Ａ）に示す段階１〜上記（Ｄ）に示す段階４の幾何補正について、より具体的に説明する。
【０１２０】
（Ａ）段階１：対象画像をそのまま表示させる幾何補正
上述したように、段階１の幾何補正では、本実施形態に係る情報処理装置は、対象画像に対して幾何補正を行わない。
【０１２１】
（Ｂ）段階２：対象画像をユーザの視線方向に回転させて表示させる幾何補正
図１２は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、段階２の幾何補正の概要を示している。図１２では、対象画像を「元画像」と示している。
【０１２２】
本実施形態に係る情報処理装置は、例えば、幾何補正の対象となる対象画像における上方向と投影位置から、ユーザの視線方向（ユーザの方向の一例。以下、同様とする。）との角度αを算出する。本実施形態に係る情報処理装置は、図１２のＡ、Ｂに示すように、対象画像を算出された角度α分回転させる。
【０１２３】
よって、段階２の幾何補正が行われた場合、表示領域には、例えば図１２のＣ、Ｄに示すように、段階１の対象画像が表示領域の面上で回転された画像が表示されることとなる。
【０１２４】
（Ｃ）段階３：対象画像を表示領域の法線方向に合わせる幾何補正
図１３は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、段階３の幾何補正の概要を示している。図１３では、対象画像を「元画像」と示している。
【０１２５】
本実施形態に係る情報処理装置は、例えば、３次元情報に基づいて、表示領域に対応する平面方程式と、３次元情報が示す３次元点群の重心位置とを算出する（図１３のＡ）。
【０１２６】
本実施形態に係る情報処理装置は、投影される画像を算出された重心位置まで平行移動させる（図１３のＢ）。そして、本実施形態に係る情報処理装置は、例えば、算出された平面方程式により推定される表示領域に対応する平面に沿うように対象画像を回転させる（図１３のＣ）。図１３のＣの場合では、本実施形態に係る情報処理装置は、Ｚ軸が推定した平面の法線方向と一致するように対象画像を回転させる。
【０１２７】
本実施形態に係る情報処理装置は、例えば、投影位置からユーザの視線方向へ対象画像を回転させる（図１３のＤ）。図１３のＤの場合では、本実施形態に係る情報処理装置は、視線方向とＹ軸が一致するように対象画像を回転させる。
【０１２８】
（Ｄ）段階４：対象画像をユーザの視線方向に傾けて表示させる幾何補正
図１４は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、段階４の幾何補正の概要を示している。図１４のＡは、対象画像に対して図１３を参照して示した段階３に係る処理が行われた状態を示している。
【０１２９】
本実施形態に係る情報処理装置は、例えば図１３を参照して示した段階３に係る処理を行った後に、さらにユーザの視線方向へ対象画像を回転させる（図１４のＢ）。図１４のＢでは、本実施形態に係る情報処理装置は、Ｚ軸がユーザの視線方向と一致するように対象画像を回転させる。
【０１３０】
本実施形態に係る情報処理装置は、上記（Ａ）に示す段階１〜上記（Ｄ）に示す段階４の幾何補正において、上記のような処理を行う。
【０１３１】
（１−３）本実施形態に係る幾何補正を行って画像を投影する場合における理論的な処理の流れ
次に、本実施形態に係る幾何補正を行って、壁や天井などに画像を投影する場合における理論的な処理の流れについて説明する。下記に示す理論的な処理の流れは、上記（Ｃ）に示す段階３の幾何補正、または上記（Ｄ）に示す段階４の幾何補正が行われる場合の処理の流れである。
【０１３２】
ある平面へ対象画像を幾何変換して投影する場合における基本的な処理としては、下記の（ｉ）、（ｉｉ）に示す２つの処理が挙げられる。
（ｉ）投影される画像を、３次元情報に基づき推定された重心位置に平行移動し、座標軸が一致するように回転して配置する。
（ｉｉ）配置された画像を画像投影デバイスにおける画像座標系（以下「画像投影デバイス画像座標系」と示す。）に射影し、幾何変換後の画像を得る。
【０１３３】
まず、上記（ｉ）の処理について説明する。
【０１３４】
画像投影デバイスの位置を原点とする撮像デバイスの座標系（以下、「撮像デバイス座標系」と示す。）、３次元情報に基づき推定された平面の重心位置Ｐ、および重心位置Ｐを原点とする座標系（以下、「平面の世界座標系」と示す。）を考える。
【０１３５】
図１５は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、撮像デバイス座標系、平面の世界座標系、および平面の重心位置Ｐの座標の一例を示している。
【０１３６】
図１５に示すように、撮像デバイス座標系を「（ＸＣ，ＹＣ、ＺＣ）」で表し、平面の世界座標系を「（Ｘｗ，Ｙｗ、Ｚｗ）」で表す。また、平面の重心位置Ｐの座標を、「Ｐ＝（ｐｘ，ｐｙ，ｐｚ）」で表す。ここで、平面の世界座標系のＺｗは、３次元情報に基づき推定された平面の法線方向と一致するものとする。
【０１３７】
図１６は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、上記（ｉ）の処理の概要を示している。
【０１３８】
図１６に示すように、撮像デバイス座標系の軸（ＸＣ，ＹＣ、ＺＣ）を平面の重心位置Ｐまで平行移動させ、さらに、撮像デバイス座標系の軸（ＸＣ，ＹＣ、ＺＣ）を平面の世界座標系の軸（Ｘｗ，Ｙｗ、Ｚｗ）と一致するように回転させることによって、撮像デバイス座標系（ＸＣ，ＹＣ、ＺＣ）を、平面の世界座標系（Ｘｗ，Ｙｗ、Ｚｗ）に変換することができる。
【０１３９】
このとき、撮像デバイス座標系（ＸＣ，ＹＣ、ＺＣ）を平面の世界座標系（Ｘｗ，Ｙｗ、Ｚｗ）に変換する変換行列は、例えば下記の数式１で表される。ここで、数式１に示す“ｒ”は、回転行列の要素であり、“ｔ”は、平行移動の要素にあたる。
【０１４０】
【数１】
2017055178.tif 000003
【０１４１】
上記数式１に示す回転行列を用いることによって、画像を任意の位置に変換することができる。一例を挙げると、図１６に示すように、撮像デバイス座標系で表現された画像中のある点Ｉ＝（Ｉｘ，Ｉｙ，Ｉｚ）は、上記数式１に示す回転行列を用いて下記の数式２に示す演算が行われることによって、点Ｉ’＝（Ｉ’ｘ，Ｉ’ｙ，Ｉ’ｚ）に変換される。
【０１４２】
【数２】
2017055178.tif 000004
【０１４３】
例えば上記のような処理が行われることによって、任意の平面へ画像を配置することができる。
【０１４４】
次に、上記（ｉｉ）の処理について説明する。
【０１４５】
図１７は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、上記（ｉｉ）の処理の概要を示している。
【０１４６】
上記（ｉｉ）の処理では、３次元に幾何変換された画像を撮像デバイス座標系の座標へ変換することによって、投影される画像が得られる。
【０１４７】
具体的には、例えば、上記数式２により変換された座標Ｉ’に対して、画像投影デバイスの内部パラメータを用いた下記に示す数式３、数式４の演算を行うことによって、対応する点の画像座標ｘ（ｕ，ｖ）が得られる。画像投影デバイスの内部パラメータとしては、例えば、ピクセル単位で表された焦点距離ｆｘ, ｆｙおよび、画像中心Ｃｘ, Ｃｙの４つが挙げられる。
【０１４８】
【数３】
2017055178.tif 000005
【０１４９】
【数４】
2017055178.tif 000006
【０１５０】
上記数式２により変換された座標Ｉ’それぞれに対して、上記数式３および上記数式４の演算を行うことによって、投影される画像が得られる。
【０１５１】
次に、上記（ｉ）の処理、および上記（ｉｉ）の処理を元に、上記（Ｃ）に示す段階３の幾何補正と、上記（Ｄ）に示す段階４の幾何補正とについて説明する。
【０１５２】
図１８は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、上記（Ｃ）に示す段階３の幾何補正の概要を示している。また、図１９は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、上記（Ｄ）に示す段階４の幾何補正の概要を示している。図１８のＡ、図１９のＡは、画像投影デバイスによって投影される画像（表示領域に表示される画像の一例）の一例を示している。図１８のＡ、図１９のＡに示すように、上記（Ｃ）に示す段階３の幾何補正または上記（Ｄ）に示す段階４の幾何補正が行われることによって、１６：９や４：３などの所定のアスペクト比の正方の画像は歪むこととなる。
【０１５３】
上記（Ｃ）に示す段階３の幾何補正が行われる場合には、本実施形態に係る情報処理装置は、表示位置に対して、表示領域に対応する平面上で回転を行い、ユーザの方向へ対象画像を向ける。具体的には、本実施形態に係る情報処理装置は、図１８に示すように、上記（ｉ）の処理を行う際に、さらにＺ軸（表示領域に対応する平面の法線方向）に対して回転させる処理を行う。
【０１５４】
ここで、Ｚ軸（所定の軸の一例）に沿って回転角度α分回転させる行列をＲ’とすると、行列Ｒ’は、下記の数式５で表される。ここで、数式５に示す行列Ｒ’は、画像の側面方向に対して回転を行う場合の行列の一例であり、天地問題が発生する場合にこのような回転は有効である。
【０１５５】
【数５】
2017055178.tif 000007
【０１５６】
撮像デバイス座標系で表現された画像中のある点Ｉ＝（Ｉｘ，Ｉｙ，Ｉｚ）は、上記数式１に示す回転行列、および上記数式５に示す行列Ｒ’を用いて下記の数式６に示す演算が行われることによって、点Ｉ’’＝（Ｉ’’ｘ，Ｉ’’ｙ，Ｉ’’ｚ）に変換される。
【０１５７】
【数６】
2017055178.tif 000008
【０１５８】
本実施形態に係る情報処理装置は、上記数式６の演算を行った後に、上記（ｉｉ）の処理を行うことによって、上記（Ｃ）に示す段階３の幾何補正が行われた対象画像を得る。
【０１５９】
また、上記（Ｄ）に示す段階４の幾何補正が行われる場合には、本実施形態に係る情報処理装置は、表示位置に対して、３次元の回転を行い、対象画像をユーザの方向へ傾けた画像を生成する。具体的には、本実施形態に係る情報処理装置は、図１９に示すように、上記（ｉ）の処理を行う際に、Ｚ軸（表示領域に対応する平面の法線方向）と方向情報が示すユーザの方向とが一致するように回転させる処理を行う。
【０１６０】
ここで、Ｚ軸（所定の軸の一例）と方向情報が示すユーザの方向とが一致するように回転させる行列をＲ’’とすると、行列Ｒ’’は、下記の数式７で表される。
【０１６１】
【数７】
2017055178.tif 000009
【０１６２】
撮像デバイス座標系で表現された画像中のある点Ｉ＝（Ｉｘ，Ｉｙ，Ｉｚ）は、上記数式１に示す回転行列、および上記数式７に示す行列Ｒ’’を用いて下記の数式８に示す演算が行われることによって、点Ｉ’’’＝（Ｉ’’’ｘ，Ｉ’’’ｙ，Ｉ’’’ｚ）に変換される。
【０１６３】
【数８】
2017055178.tif 000010
【０１６４】
本実施形態に係る情報処理装置は、上記数式８の演算を行った後に、上記（ｉｉ）の処理を行うことによって、上記（Ｄ）に示す段階４の幾何補正が行われた対象画像を得る。
【０１６５】
（１−４）本実施形態に係る画像処理の他の例
本実施形態に係る情報処理装置は、例えば上述したように、対象画像に対して幾何補正を行う。なお、本実施形態に係る画像処理の例は、上述した処理に限られない。
【０１６６】
本実施形態に係る情報処理装置は、本実施形態に係る画像処理として、下記の（１−４−１）に示す処理〜（１−４−３）に示す処理のうちの１または２以上の処理を行うことが可能である。
【０１６７】
（１−４−１）方向情報に基づく追従に係る制御
方向情報が示すユーザの方向に基づいて処理を行うとき、仮に厳密に処理が行われる場合には、ユーザの視線や体の動きなどによって、対象画像に対して行われる幾何補正の内容が、頻繁に変化してしまうことが起こりうる。また、幾何補正の内容が頻繁に変化してした場合には、表示領域に表示される画像が頻繁に変化することとなる。また、設定される表示領域についても、同様に頻繁に変化する恐れがあり、設定される表示領域が頻繁に変化した場合には、画像が表示される位置が頻繁に変化することとなる。
【０１６８】
そこで、本実施形態に係る情報処理装置は、例えば下記の（ａ）〜（ｃ）に示すような制御を行うことによって、上記のような表示領域に表示される画像や、画像が表示される位置が頻繁に変化することを抑止する。
【０１６９】
（ａ）制御方法１：トリガによる処理の実行
本実施形態に係る情報処理装置は、取得される方向情報に追従する状態と、取得される方向情報に追従する状態とを保持し、トリガによってこれらの状態を切り替える。トリガによってこれらの状態を切り替えることによって、例えば、一時的にユーザが表示環境の空間を離れる場合などに適応したシステムが実現される。
【０１７０】
ここで、本実施形態に係るトリガとしては、例えば、状態を切り替えるボタンの押下などの手動操作や、状態を切り替える音声の発話、状態を切り替えるジェスチャを行うことなどが挙げられる。状態を切り替える手動操作は、例えば、リモート・コントローラや、スマートフォン、タブレットなどの任意の装置に対して行われる。
【０１７１】
（ｂ）制御方法２：ヒステリシスを持たせた処理の実行
本実施形態に係る情報処理装置は、例えば、表示領域に対してヒステリシスを持たせ、方向情報が示すユーザの方向が表示領域から外れた場合に、方向情報に基づく処理を実行する。また、本実施形態に係る情報処理装置は、方向情報に基づいて、ユーザの方向の滞留が検出された場合（例えば、ユーザが一定時間同じところを見ている状態である場合など）に、表示領域が方向情報に基づいて再設定される。
【０１７２】
（ｃ）制御方法３：平面の変更に基づく処理の実行
本実施形態に係る情報処理装置は、例えば、方向情報が示すユーザの方向が、表示領域に対応する平面から異なる平面に変わった場合に、方向情報に基づく処理を実行する。また、本実施形態に係る情報処理装置は、方向情報に基づいて、ユーザの方向の滞留が検出された場合に、表示領域が方向情報に基づいて再設定される。
【０１７３】
（１−４−２）複数のユーザが存在する場合の処理
例えば図２に示すような表示環境の空間内に、複数のユーザが存在することもありうる。そこで、次に、表示環境の空間内に複数のユーザが存在する場合の処理の一例を説明する。
【０１７４】
複数のユーザそれぞれの方向情報が取得された場合、本実施形態に係る情報処理装置は、複数の方向情報がそれぞれ示す複数のユーザの方向に基づいて、１つのユーザの方向を決定する。
【０１７５】
本実施形態に係る情報処理装置は、例えば、取得された複数のユーザそれぞれの方向情報に基づいて、ユーザの方向それぞれに対応するベクトルを設定し、設定されたベクトル
の平均ベクトルを算出する。ここで、設定されるベクトルとしては、例えば、方向情報が示す方向と、設定されている所定の大きさとを有するベクトルが挙げられる。
【０１７６】
そして、本実施形態に係る情報処理装置は、平均ベクトルの向きを、上記１つのユーザの方向としてを決定する。
【０１７７】
ここで、本実施形態に係る情報処理装置は、例えば、取得された全ての方向情報を用いて上記１つのユーザの方向を決定する。
【０１７８】
なお、複数のユーザが存在する場合における処理は、取得された全ての方向情報を用いる処理に限られない。例えば、本実施形態に係る情報処理装置は、表示領域の設定に利用された方向情報（後述する）を用いて上記１つのユーザの方向を決定してもよいし、撮像画像を用いた顔認証など任意の方式によって認証されたユーザに対応する方向情報を用いて上記１つのユーザの方向を決定することも可能である。
【０１７９】
図２０は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、複数のユーザが存在する場合の処理の概要を示している。
【０１８０】
図２０は、ユーザＡ〜ユーザＤの４人のユーザのうち、ユーザＡ〜ユーザＣの３人のユーザに対応する方向情報が示すユーザの方向に基づいて、１つのユーザの方向（図２０においてＤｉで示される方向）が決定された例を示している。
【０１８１】
上記のように１つのユーザの方向が決定されると、本実施形態に係る情報処理装置は、決定されたユーザの方向に基づいて、上述した一人のユーザの方向情報に基づく場合と同様に、表示領域上に表示が指示される対象画像に対して幾何補正を行う。
【０１８２】
（１−４−３）複数平面境界に画像が表示される際の幾何変換
上述した幾何変換の例では、表示領域が１つの平面である場合を例に挙げたが、本実施形態に係る画像処理は、表示領域が複数の平面に跨る場合においても適用することが可能である。ここで、表示領域が複数の平面に跨る場合とは、例えば、３次元情報に基づき複数の平面が推定される場合が該当する。
【０１８３】
表示領域が複数の平面に跨る場合、すなわち表示領域が複数の平面である場合、本実施形態に係る情報処理装置は、表示領域に含まれる平面それぞれに表示される対象画像の部分ごとに幾何補正を行う。具体的には、表示領域が複数の平面に跨る場合には、本実施形態に係る情報処理装置は、表示領域上に表示が指示される対象画像を複数の領域に分割し、分割された領域（以下「分割領域」と示す。）を、分割領域が表示される平面に合せて幾何変換を行う。
【０１８４】
図２１は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、表示領域が複数の平面に跨るときにおいて上記（Ｃ）に示す段階３の幾何補正が行われる場合の概要を示している。また、図２２は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、表示領域が複数の平面に跨るときにおいて上記（Ｄ）に示す段階４の幾何補正が行われる場合の概要を示している。
【０１８５】
まず、上記（Ｃ）に示す段階３の幾何補正が行われる場合における処理の一例を示す。
【０１８６】
分割領域が図１４に示す投影平面Ａに対応する場合、本実施形態に係る情報処理装置は、投影平面Ａの世界座標系に合わせて幾何変換を行う。また、分割領域が図１４に示す投影平面Ｂ、投影平面Ｃに対応する場合についても、同様に各平面の世界座標系に合わせて幾何変換を行う。ここで、天地問題が生じうる投影平面Ｃでは、本実施形態に係る情報処理装置は、例えば、ユーザの方向へ平面の法線方向を軸とした回転を行うことによって、天地問題の発生を防止する。
【０１８７】
そして、本実施形態に係る情報処理装置は、上記（ｉｉ）の処理を行うことによって、幾何変換後の画像を得る。
【０１８８】
次に、上記（Ｄ）に示す段階４の幾何補正が行われる場合における処理の一例を示す。
【０１８９】
上記（Ｄ）に示す段階４の幾何補正が行われる場合には、本実施形態に係る情報処理装置は、各分割領域が表示される投影平面へ変換した後、ユーザの方向（図２２における視線方向が該当する。）と投射平面の法線方向が一致するように、３次元の回転を行う。そして、本実施形態に係る情報処理装置は、上記（ｉｉ）の処理を行うことによって、幾何変換後の画像を得る。
【０１９０】
（１−５）本実施形態に係る幾何補正の手法の他の例
本実施形態に係る幾何補正の例として、方向情報に基づき行われる上記（Ａ）に示す段階１の幾何補正〜上記（Ｄ）に示す段階４の幾何補正を示したが、本実施形態に係る表示環境において適用することが可能な幾何補正の例は、上述した例に限られない。例えば、本実施形態に係る表示環境では、下記に示すような幾何補正が行われてもよい。
・プロジェクタなどの画像投影デバイスによって行われる台形補正（例えば、ユーザの手動操作により行われる。）
・デプスセンサなどの観測により取得される３次元情報に基づき平面推定を行い、プロジェクタなどの画像投影デバイスと推定された平面の幾何関係から補正を行う。
・プロジェクタなどの画像投影デバイス側がマーカ（例えば、サイバーコードや２次元バーコードなど）となる画像を表示し、ユーザ側が当該マーカを撮像デバイスで撮像することなどによって当該マーカを観測、認識することによって、画像投影デバイスの投影方向と投影面からユーザの方向を求める。そして、本実施形態に係る情報処理装置は、求められたユーザの方向を示す方向情報に基づいて幾何補正を行う。
・ユーザ側がマーカ（例えば、サイバーコードや２次元バーコード、ユーザが検出可能な輝点により壁面をなぞるなど）を照射する装置を保持し、当該マーカをプロジェクタなどの画像投影デバイス側が観測することによって、画像投影デバイスの投影方向と投影面からユーザの方向を求める。そして、本実施形態に係る情報処理装置は、求められたユーザの方向を示す方向情報に基づいて幾何補正を行う。
・予め、平面にマーカ（例えば、サイバーコードや、２次元バーコードなど）を空間内に設置し、当該マーカをプロジェクタなどの画像投影デバイス側が認識して幾何補正を行う。
【０１９１】
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば上記のような画像処理を行う。
【０１９２】
なお、上述したように、本実施形態に係る情報処理方法に係る処理は、上記（１）の処理（画像処理）に限られない。例えば、本実施形態に係る情報処理装置は、さらに下記に示す（２）表示領域設定処理と（３）表示制御処理との一方または双方を、本実施形態に係る情報処理方法に係る処理として行うことも可能である。
【０１９３】
（２）表示領域設定処理
本実施形態に係る情報処理装置は、例えば、表示領域を設定する。
【０１９４】
（２−１）表示領域設定処理の第１の例
本実施形態に係る情報処理装置は、図２に示すような空間に配置されている撮像デバイスにより撮像された撮像画像など、表示環境の空間内をセンシング対象とするセンサの検出結果を利用して、表示領域を設定する。
【０１９５】
本実施形態に係る情報処理装置は、センサの検出結果に基づき特定された、空間においてユーザが位置している場所に対応付けられている位置に、表示領域を設定する。本実施形態に係る情報処理装置は、例えば、場所と表示位置とが対応付けられているテーブル（またはデータベース）を用いて、ユーザが位置している場所に対応付られている表示領域を特定する。
【０１９６】
第１の例に係る表示領域設定処理により設定される表示領域の一例としては、ユーザがソファに座っている場合には、ソファの正面の壁の所定の位置に表示領域を設定し、ユーザがベットに寝ている場合には、天井の所定の位置に表示領域を設定することが挙げられる。
【０１９７】
（２−２）表示領域設定処理の第２の例
本実施形態に係る情報処理装置は、方向情報に基づいて、表示領域を設定する。
【０１９８】
本実施形態に係る情報処理装置は、例えば、方向情報が示すユーザの方向を用いて、設定基準位置を特定する。そして、上述したように、本実施形態に係る情報処理装置は、設定基準位置に基づき表示領域を設定する。
【０１９９】
なお、上記（１−４−１）において示したように、方向情報が示すユーザの方向に基づいて処理を行うとき、仮に厳密に処理が行われる場合には、ユーザの視線や体の動きなどによって、表示領域についても、同様に頻繁に変化する恐れがある。そして、設定される表示領域が頻繁に変化した場合には、画像が表示される位置が頻繁に変化することとなる。
【０２００】
そこで、本実施形態に係る情報処理装置は、上記（１−４−１）において示した上記（ａ）〜（ｃ）に示す制御を行ってもよい。上記（ａ）〜（ｃ）に示す制御が行われることによって、画像が表示される位置が頻繁に変化することを抑止することが可能となる。
【０２０１】
（２−３）表示領域設定処理の第３の例
上述したように、例えば図２に示すような表示環境の空間内に、複数のユーザが存在することもありうる。第３の例に係る表示領域設定処理として、表示環境の空間内に複数のユーザが存在する場合の処理の一例を説明する。
【０２０２】
本実施形態に係る情報処理装置は、ユーザごとに取得される方向情報に基づいて、空間に存在するユーザ数や、各ユーザの視点位置、視線方向などのユーザの方向を推定する。
【０２０３】
また、本実施形態に係る情報処理装置は、得られたユーザの方向を利用して、下記のように、表示領域を設定する。
・本実施形態に係る情報処理装置は、視線に対する視野角を実空間にマッピングし、マッピングされた領域の積領域の重心を決定する。そして、本実施形態に係る情報処理装置は、例えば、決定された重心位置を表示領域の重心位置とするなど、決定された重心位置に基づき表示領域を設定する。ここで、全員が同じ方向を向いていない場合は、本実施形態に係る情報処理装置は、例えば、投票制や、認証されたユーザなどの特定のユーザの方向を用いて、積領域の重心を決定する。
・本実施形態に係る情報処理装置は、各ユーザの方向それぞれに対応するベクトルの平均ベクトルを、１つのユーザの方向として決定する。そして、本実施形態に係る情報処理装置は、決定された１つのユーザの方向を用いて、上記（２−２）に示す第２の例に係る表示領域設定処理と同様の処理を行うことによって、表示領域を設定する。
【０２０４】
ここで、表示領域の設定は、特定のユーザの方向情報に基づき行われてもよい。特定のユーザとしては、例えば、“ユーザ操作により指定された画像をみる対象のユーザ”や、“ユーザ操作により指定された画像をみる対象ではないユーザが除外されたユーザ”が挙げられる。また、特定のユーザは、例えば、任意の方式により認証されたユーザであってもよい。
【０２０５】
ユーザの指定に係るユーザ操作としては、例えば、撮像画像に対して行われる操作や、画像をみる対象となっているユーザや認証されたユーザなどの特定のユーザが、他のユーザを指さすなどのジェスチャ操作などが挙げられる。
【０２０６】
図２３は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、第３の例に係る表示領域設定処理の一例を示している。
【０２０７】
例えば、複数のユーザの視線方向に基づき天井に表示領域が設定される場合には、図２３に示すように、各ユーザの視線方向に対応する視野角を実空間にマッピングし、マッピングされた領域の積領域の重心を決定する。そして、本実施形態に係る情報処理装置は、例えば、決定された重心位置に基づき表示領域を設定する。
【０２０８】
具体的には、人間の視野角は、水平約２００［度］、垂直約１２５［度］（下７５［度］、上５０［度］）程度であり、視線方向から視野角領域をマッピングして適切な位置を探索して、表示領域を設定する。また、例えば図２３に示すように複数のユーザの視線方向に基づき表示領域が設定された場合には、上述したように、例えば、平均ベクトルなどを利用して決定された１つのユーザの方向に対応するように幾何補正が行われる。
【０２０９】
また、例えば、ユーザ操作により画像をみる対象ではないユーザ（以下、「対象外ユーザ」と示す。）が指定された場合には、本実施形態に係る情報処理装置は、空間における当該対象外ユーザの人の視野に含まれない領域に、表示領域を設定することも可能である。
【０２１０】
図２４は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、第３の例に係る表示領域設定処理の他の例を示している。図２４は、ユーザＡが対象外ユーザに該当する例を示している。
【０２１１】
本実施形態に係る情報処理装置は、対象外ユーザであるユーザＡの方向情報に基づいてユーザＡの視野を推定する。そして、ユーザＡの視野に含まれない位置に表示領域を設定する。なお、ユーザＡの視野に含まれない位置に表示領域を設定することができない場合には、本実施形態に係る情報処理装置は、表示領域を設定せず、ユーザＡの視野に含まれない位置に表示領域を設定することが可能となったときに表示領域を設定することも可能である。
【０２１２】
上記のように対象外ユーザであるユーザＡの視野に含まれない位置に表示領域が設定されることによって、図２４に示すようにユーザＡに表示領域に表示される画像を見せないことが実現される。
【０２１３】
また、図２４に示すユースケースにおいて、対象外ユーザであるユーザＡの方向が変化した場合には、本実施形態に係る情報処理装置は、ユーザＡの方向情報に基づいて表示領域を再設定する。ここで、対象外ユーザであるユーザＡの方向情報に基づく表示領域の再設定には、例えば、“ユーザＡの視野に含まれない位置に表示領域を再設定すること”と、“表示領域をしないこと（例えば、ユーザＡの視野に含まれない位置に表示領域を設定することができない場合）”とが含まれる。
【０２１４】
（３）表示制御処理
本実施形態に係る情報処理装置は、上記（１）の処理（画像処理）により幾何補正された対象画像を、表示領域に表示させる。
【０２１５】
例えば、表示領域への画像の表示が画像投射デバイスによる画像の投射により行われる場合には、本実施形態に係る情報処理装置は、上述したように、画像投射デバイスにおける画像の投射を制御することによって、幾何補正された対象画像を表示領域に表示させる。また、例えば、画像投射デバイスが雲台などのパンチルト機構を有するデバイスに乗っている場合には、本実施形態に係る情報処理装置は、上述したように、パンチルト機構を有するデバイスの動きを制御することによって、幾何補正された対象画像を表示領域に表示させてもよい。
【０２１６】
また、例えば、表示領域への画像の表示が表示デバイスによる画像の表示により行われる場合には、本実施形態に係る情報処理装置は、上述したように、表示デバイスにおける画像の表示を制御することによって、幾何補正された対象画像を表示領域に表示させる。
【０２１７】
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、“上記（１）の処理（画像処理）”、“上記（１）の処理（画像処理）および上記（２）の処理（表示領域設定処理）”、“上記（１）の処理（画像処理）および上記（３）の処理（表示制御処理）”、“上記（１）の処理（画像処理）、上記（２）の処理（表示領域設定処理）、および上記（３）の処理（表示制御処理）”を行う。
【０２１８】
なお、“上記（１）の処理（画像処理）”、“上記（１）の処理（画像処理）および上記（２）の処理（表示領域設定処理）”、“上記（１）の処理（画像処理）および上記（３）の処理（表示制御処理）”、および“上記（１）の処理（画像処理）、上記（２）の処理（表示領域設定処理）、および上記（３）の処理（表示制御処理）”それぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、“上記（１）の処理（画像処理）および上記（２）の処理（表示領域設定処理）”、“上記（１）の処理（画像処理）および上記（３）の処理（表示制御処理）”、および“上記（１）の処理（画像処理）、上記（２）の処理（表示領域設定処理）、および上記（３）の処理（表示制御処理）”それぞれを、１つの処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る処理は、例えば、“上記（１）の処理（画像処理）”、“上記（１）の処理（画像処理）および上記（２）の処理（表示領域設定処理）”、“上記（１）の処理（画像処理）および上記（３）の処理（表示制御処理）”、および“上記（１）の処理（画像処理）、上記（２）の処理（表示領域設定処理）、および上記（３）の処理（表示制御処理）”それぞれを、（任意の切り分け方によって）２以上の処理と捉えることも可能である。
【０２１９】
［３］本実施形態に係る情報処理方法に係る処理の具体例
次に、上述した本実施形態に係る情報処理方法に係る処理の具体例を示す。
【０２２０】
［３−１］本実施形態に係る情報処理方法に係る処理の第１の例
図２５は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。図２５は、表示環境の空間内の１人のユーザに対して行われる情報処理方法に係る処理の一例を示している。ここで、図２５では、例えば、ステップＳＳ１０２の処理が、上記（１）の処理（画像処理）の一例に該当し、ステップＳ１０４の処理が、上記（３）の処理（表示制御処理）の一例に該当する。また、図２５では、例えば、ステップＳ１０６の処理が、上記（２）の処理（表示領域設定処理）の一例に該当する。
【０２２１】
本実施形態に係る情報処理装置は、方向情報に基づいて、ユーザの視線方向と姿勢とを検出する（Ｓ１００）。
【０２２２】
本実施形態に係る情報処理装置は、方向情報に基づき検出された視線方向、設定されている表示領域の位置（表示位置）、表示環境の空間の画像投影デバイス位置に基づいて表示段階（例えば図１１に示す表示段階）を決定し、対象画像に対して幾何補正を行う（Ｓ１０２）。本実施形態に係る情報処理装置は、例えば、上記（Ａ）に示す段階１の幾何補正〜上記（Ｄ）に示す段階４の幾何補正のいずれかの幾何補正を行う。
【０２２３】
本実施形態に係る情報処理装置は、幾何補正が行われた対象画像を表示領域に表示させる（Ｓ１０４）。
【０２２４】
本実施形態に係る情報処理装置は、表示領域の位置の変更を行うか否かを判定する（Ｓ１０６）。ここで、本実施形態に係る情報処理装置は、例えば、方向情報に基づいて表示領域を設定し、設定された表示領域が現在の表示領域と異なる場合に、表示領域の位置の変更を行うと判定する（上記（２−２）に示す第２の例に係る表示領域設定処理を行う場合の例）。なお、本実施形態に係る情報処理装置は、例えば、上記（ａ）〜（ｃ）に示す制御を行った上で、表示領域の位置の変更を行うか否かを判定してもよい。
【０２２５】
ステップＳ１０６において表示領域の位置の変更を行うと判定された場合には、本実施形態に係る情報処理装置は、ステップＳ１００からの処理を繰り返す。
【０２２６】
また、ステップＳ１０６において表示領域の位置の変更を行うと判定されない場合には、本実施形態に係る情報処理装置は、図２５に示す処理を終了する。
【０２２７】
本実施形態に係る情報処理装置は、表示環境の空間内の１人のユーザに対する本実施形態に係る情報処理方法に係る処理として、例えば図２５に示す処理を行う。
【０２２８】
なお、表示環境の空間内の１人のユーザに対する本実施形態に係る情報処理方法に係る処理は、図２５に示す例に限られない。
【０２２９】
例えば、本実施形態に係る情報処理装置は、幾何補正の内容を指定するユーザ操作が検出された場合には、対象画像に対して当該ユーザ操作に対応する幾何補正を行い、ユーザ操作に対応する幾何補正が行われた画像を、表示領域に表示させることが可能である。
【０２３０】
また、例えば、図２５に示すステップＳ１０４の処理とステップＳ１０６の処理との一方または双方の処理は、本実施形態に係る情報処理装置の外部装置において行われてもよい。
【０２３１】
［３−２］本実施形態に係る情報処理方法に係る処理の第２の例
図２６は、本実施形態に係る情報処理方法に係る処理の他の例を示す流れ図である。図２６は、表示環境の空間内の複数のユーザに対して行われる情報処理方法に係る処理の一例を示している。ここで、図２６では、例えば、ステップＳ２０２、Ｓ２１０の処理が、上記（２）の処理（表示領域設定処理）の一例に該当する。また、図２６では、例えば、ステップＳ２０４の処理が、上記（１）の処理（画像処理）の一例に該当し、ステップＳ２０６の処理が、上記（３）の処理（表示制御処理）の一例に該当する。
【０２３２】
本実施形態に係る情報処理装置は、ユーザそれぞれに対応する方向情報に基づいて、ユーザの視線方向、視点位置、人数を検出する（Ｓ２００）。
【０２３３】
本実施形態に係る情報処理装置は、表示領域と１つの視線方向とを決定する（Ｓ２０２）。本実施形態に係る情報処理装置は、例えば、上記（２−３）に示す第３の例に係る表示領域設定処理を行って表示領域を設定することにより、表示領域を決定する。また、本実施形態に係る情報処理装置は、例えば、各ユーザの視線方向それぞれに対応するベクトルの平均ベクトルを、１つの視線方向として決定する。
【０２３４】
本実施形態に係る情報処理装置は、決定された１つの視線方向、表示領域の位置（表示位置）、表示環境の空間の画像投影デバイス位置に基づいて表示段階（例えば図１１に示す表示段階）を決定し、対象画像に対して幾何補正を行う（Ｓ２０４）。
【０２３５】
本実施形態に係る情報処理装置は、幾何補正が行われた対象画像を表示領域に表示させる（Ｓ２０６）。
【０２３６】
本実施形態に係る情報処理装置は、ユーザが指定されたか否かを判定する（Ｓ２０８）。本実施形態に係る情報処理装置は、例えば、撮像画像に対して行われる操作や特定のユーザが他のユーザを指さすなどのジェスチャ操作など、ユーザの指定に係るユーザ操作が検出された場合に、ユーザが指定されたと判定する。
【０２３７】
ステップＳ２０６においてユーザが指定されたと判定された場合には、ユーザの指定結果に応じたユーザの方向情報に基づきステップＳ２０２から処理を行う。
【０２３８】
また、ステップＳ２０６においてユーザが指定されたと判定されない場合には、本実施形態に係る情報処理装置は、図２５のステップＳ１０６と同様に、表示領域の位置の変更を行うか否かを判定する（Ｓ２１０）。
【０２３９】
ステップＳ２１０において表示領域の位置の変更を行うと判定された場合には、本実施形態に係る情報処理装置は、ステップＳ２０２からの処理を繰り返す。
【０２４０】
また、ステップＳ２１０において表示領域の位置の変更を行うと判定されない場合には、本実施形態に係る情報処理装置は、図２６に示す処理を終了する。
【０２４１】
本実施形態に係る情報処理装置は、表示環境の空間内の複数のユーザに対する本実施形態に係る情報処理方法に係る処理として、例えば図２６に示す処理を行う。
【０２４２】
なお、表示環境の空間内の複数のユーザに対する本実施形態に係る情報処理方法に係る処理は、図２６に示す例に限られない。
【０２４３】
例えば、本実施形態に係る情報処理装置は、幾何補正の内容を指定するユーザ操作が検出された場合には、対象画像に対して当該ユーザ操作に対応する幾何補正を行い、ユーザ操作に対応する幾何補正が行われた画像を、表示領域に表示させることが可能である。
【０２４４】
また、例えば、図２６に示すステップＳ２００の処理、ステップＳ２０２の処理、ステップＳ２０６の処理、ステップＳ２０８の処理、およびステップＳ２１０の処理の１または２以上の処理は、本実施形態に係る情報処理装置の外部装置において行われてもよい。
【０２４５】
［４］本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果の一例
本実施形態に係る情報処理方法に係る処理が行われることによって、例えば下記のような効果が奏される。なお、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・ユーザは表示領域や幾何補正の手法を段階的に選択することが可能であるので、ユーザは、画像を見る際に、好みの姿勢で画像を見ることができる。
・ユーザが寝返りなどを行うことによってユーザの方向が変わった場合でも、ユーザの方向に対応する表示領域に画像を表示することが可能なシステムが実現される。よって、ユーザは、常に同じ姿勢で画像を見る必要はなく、ユーザの視線方向などのユーザの方向に応じて画像を見ることができる。
・ユーザの方向、設定される表示領域の位置に対応する幾何補正を自動的に行うことが可能であるので、ユーザは、表示領域に対するユーザの状態に合った画像を見ることができる。
・表示環境の空間内に複数のユーザが存在する場合においても、各ユーザの視野角を考慮して表示領域を設定することが可能であるので、例えばユーザ全員にとって視認性のよい画像を、各ユーザに見せることができる。また、特定のユーザのみを対象として画像を表示領域に表示することや、特定のユーザに画像を見せないように画像を表示領域に表示することが可能なシステムを実現することができる。
【０２４６】
（本実施形態に係る情報処理装置）
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について、説明する。
【０２４７】
図２７は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
【０２４８】
また、情報処理装置１００は、例えば、ＲＯＭ（Read  Only  Memory。図示せず）や、ＲＡＭ（Random  Access  Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【０２４９】
ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
【０２５０】
記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、場所と表示位置とが対応付けられているテーブルなどの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
【０２５１】
操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
【０２５２】
［情報処理装置１００のハードウェア構成例］
図２８は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。
【０２５３】
ＭＰＵ１５０は、例えば、ＭＰＵなどの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する表示領域設定部１１０、画像処理部１１２、および表示制御部１１４の役目を果たす。なお、表示領域設定部１１０、画像処理部１１２、および表示制御部１１４のうちの１または２以上は、各部の処理を実現可能な専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。
【０２５４】
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【０２５５】
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、場所と表示位置とが対応付けられているテーブルなどの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
【０２５６】
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal  Serial  Bus）端子や、ＤＶＩ（Digital  Visual  Interface）端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）（登録商標）端子、各種処理回路などが挙げられる。
【０２５７】
また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
【０２５８】
また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid  Crystal  Display）や有機ＥＬディスプレイ（Organic  Electro-Luminescence  Display。または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  Display）ともよばれる。）などが挙げられる。
【０２５９】
なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
【０２６０】
通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、例えば、撮像デバイスやデプスセンサなどの表示環境の空間をセンシングするセンサや、画像投影デバイスなどの外部デバイスや、サーバなどの外部装置と、無線または有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio  Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local  Area  Network）端子および送受信回路（有線通信）などが挙げられる。
【０２６１】
情報処理装置１００は、例えば図２８に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図２８に示す構成に限られない。
【０２６２】
例えば、情報処理装置１００は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合や、スタンドアロンで処理を行う構成である場合には、通信インタフェース１６４を備えていなくてもよい。また、通信インタフェース１６４は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
【０２６３】
また、情報処理装置１００は、例えば、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２を備えない構成をとることが可能である。
【０２６４】
また、情報処理装置１００は、例えば、撮像デバイスやデプスセンサなどの表示環境の空間をセンシングすることが可能なセンサを備えていてもよい。また、情報処理装置１００は、例えば、画像投影デバイスを備えていてもよい。
【０２６５】
また、例えば、図２８に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣで実現されてもよい。
【０２６６】
再度図２７を参照して、情報処理装置１００の構成の一例について説明する。通信部１０２は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像デバイスやデプスセンサなどの表示環境の空間をセンシングするセンサや、画像投影デバイスなどの外部デバイスや、サーバなどの外部装置と、無線または有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。
【０２６７】
ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。また、通信部１０２は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
【０２６８】
制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、表示領域設定部１１０と、画像処理部１１２と、表示制御部１１４とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。また、制御部１０４は、例えば、方向情報を生成することにより方向情報を取得する、または、通信部１０２などを制御して外部装置から方向情報を取得する、取得部（図示せず）の役目を果たすことも可能である。
【０２６９】
表示領域設定部１１０は、上記（２）の処理（表示領域設定処理）を主導的に行う役目を果たし、表示領域を設定する。表示領域設定部１１０は、例えば、上記（２−１）に示す第１の例に係る表示領域設定処理〜上記（２−３）に示す第３の例に係る表示領域設定処理のいずれかの処理を行うことによって、表示領域を設定する。
【０２７０】
画像処理部１１２は、上記（１）の処理（画像処理）を主導的に行う役目を果たす。
【０２７１】
画像処理部１１２は、例えば、方向情報に基づいて、表示領域上に表示が指示される対象画像に対して幾何補正を行う。画像処理部１１２は、例えば、上記（Ｉ）〜上記（ＩＩＩ）に示すように対象画像に対する幾何補正の内容を変えることによって、方向情報が示すユーザの方向に対応した幾何補正を行うことが可能である。
【０２７２】
また、画像処理部１１２は、例えば、上記（ＩＶ）に示すように対象画像に対する幾何補正の内容を変えることによって、対象画像に対応した幾何補正を行うことも可能である。
【０２７３】
また、画像処理部１１２は、例えば、幾何補正の内容を指定するユーザ操作が検出された場合には、表示領域上に表示が指示される対象画像に対して、ユーザ操作に対応する幾何補正を行うことも可能である。
【０２７４】
また、画像処理部１１２は、例えば、上記（１−４−１）に示す処理〜上記（１−４−３）に示す処理のうちの１または２以上の処理を行ってもよい。
【０２７５】
表示制御部１１４は、上記（３）の処理（表示制御処理）を主導的に行う役目を果たし、幾何補正が行われた対象画像を表示領域に表示させる。
【０２７６】
表示制御部１１４は、例えば、画像投射デバイスや表示デバイスなどの表示領域への画像の表示に係るデバイスに対して、制御命令を含む制御データと幾何補正された対象画像を示す画像データとを、通信部１０２や情報処理装置１００に接続されている外部の通信デバイスに送信させることによって、幾何補正が行われた対象画像を表示領域に表示させる。また、画像投射デバイスが雲台などのパンチルト機構を有するデバイスに乗っている場合には、表示制御部１１４は、さらにパンチルト機構を有するデバイスに対して、制御命令を含む制御データを送信させてもよい。
【０２７７】
制御部１０４は、例えば、表示領域設定部１１０と、画像処理部１１２と、表示制御部１１４とを備えることによって、本実施形態に係る情報処理方法に係る処理（例えば、上記（１）の処理（画像処理）、上記（２）の処理（表示領域設定処理）、および上記（３）の処理（表示制御処理））を主導的に行う。
【０２７８】
情報処理装置１００は、例えば図２７に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、上記（１）の処理（画像処理）、上記（２）の処理（表示領域設定処理）、および上記（３）の処理（表示制御処理））を行う。
【０２７９】
したがって、情報処理装置１００は、例えば図２７に示す構成によって、表示領域に対するユーザの状態によって、表示領域に表示される画像を補正することができる。
【０２８０】
また、例えば図２７に示す構成によって、情報処理装置１００は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
【０２８１】
なお、本実施形態に係る情報処理装置の構成は、図２７に示す構成に限られない。
【０２８２】
例えば、本実施形態に係る情報処理装置は、図２７に示す表示領域設定部１１０と表示制御部１１４との一方または双方を備えない構成であってもよい。
【０２８３】
図２７に示す表示領域設定部１１０と表示制御部１１４との一方または双方を備えない構成をとる場合であっても、本実施形態に係る情報処理装置は、上記（１）の処理（画像処理）を行うことが可能である。よって、図２７に示す表示領域設定部１１０と表示制御部１１４との一方または双方を備えない構成をとる場合であっても、本実施形態に係る情報処理装置は、表示領域に対するユーザの状態によって、表示領域に表示される画像を補正することができる。
【０２８４】
また、本実施形態に係る情報処理装置は、図２７に示す表示領域設定部１１０、画像処理部１１２、および表示制御部１１４のうちの１または２以上を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
【０２８５】
また、上述したように、“上記（１）の処理（画像処理）”、“上記（１）の処理（画像処理）および上記（２）の処理（表示領域設定処理）”、“上記（１）の処理（画像処理）および上記（３）の処理（表示制御処理）”、および“上記（１）の処理（画像処理）、上記（２）の処理（表示領域設定処理）、および上記（３）の処理（表示制御処理）”それぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図２７に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
【０２８６】
また、例えば、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合や、スタンドアロンで処理を行う場合には、本実施形態に係る情報処理装置は、通信部１０２を備えていなくてもよい。
【０２８７】
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、ＰＣ（Personal  Computer）やサーバなどのコンピュータや、プロジェクタなどの画像投影デバイス、表示環境の空間の任意の場所（例えば壁部分や床部分、天井部分など）に設けられている表示デバイスなどの表示装置、携帯電話やスマートフォンなどの通信装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
【０２８８】
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムの一例としては、例えば、当該情報処理システムを構成する複数の装置において、上記（１）の処理（画像処理）、上記（２）の処理（表示領域設定処理）、および上記（３）の処理（表示制御処理）が連携して行われるシステムが、挙げられる。
【０２８９】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“上記（１）の処理（画像処理）”、“上記（１）の処理（画像処理）および上記（２）の処理（表示領域設定処理）”、“上記（１）の処理（画像処理）および上記（３）の処理（表示制御処理）”、および“上記（１）の処理（画像処理）、上記（２）の処理（表示領域設定処理）、および上記（３）の処理（表示制御処理）”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、表示領域に対するユーザの状態によって、表示領域に表示される画像を補正することができる。
【０２９０】
また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
【０２９１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２９２】
例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０２９３】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０２９４】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０２９５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画像が表示されうる表示領域に対する、前記表示領域を見るユーザの方向を示す方向情報に基づいて、前記表示領域上に表示が指示される対象画像に対して幾何補正を行う画像処理部を備える、情報処理装置。
（２）
前記画像処理部は、前記対象画像に対する幾何補正として、前記対象画像を所定の軸周りに回転させ、
前記対象画像が回転されることにより、前記表示領域の形状は変化する、（１）に記載の情報処理装置。
（３）
前記画像処理部は、前記表示領域に表示された画像が前記方向情報が示す前記ユーザの方向に傾くように前記対象画像を回転させる幾何補正を行う第１のモードによる幾何補正、または、前記第１のモードによる幾何補正を行わない第２のモードによる幾何補正を行う、（１）に記載の情報処理装置。
（４）
前記画像処理部は、前記対象画像に基づいて、前記第１のモードと前記第２のモードとを切り替える、（３）に記載の情報処理装置。
（５）
前記画像処理部は、前記表示領域を見るユーザの状態に基づいて、前記第１のモードと前記第２のモードとを切り替える、（３）、または（４）に記載の情報処理装置。
（６）
前記ユーザの状態は、前記表示領域を見るユーザの人数である、（５）に記載の情報処理装置。
（７）
前記ユーザの状態は、前記方向情報が示す前記ユーザの方向と前記表示領域との関係である、（５）に記載の情報処理装置。
（８）
前記画像処理部は、前記方向情報が示す前記ユーザの方向と前記表示領域との関係に応じて、前記対象画像に対する幾何補正の内容を変える、（１）に記載の情報処理装置。
（９）
前記画像処理部は、前記ユーザの方向と前記表示領域との関係が前記ユーザの方向と前記表示領域とが直交していると判定される第１の関係である場合と、前記ユーザの方向と前記表示領域との関係が前記第１の関係に該当しない第２の関係である場合とで、前記対象画像に対する幾何補正の内容を変える、（８）に記載の情報処理装置。
（１０）
前記画像処理部は、前記ユーザの方向と前記表示領域との関係が前記第１の関係である場合には、さらに前記対象画像に基づいて、前記対象画像に対して幾何補正を行わない、（９）に記載の情報処理装置。
（１１）
前記表示領域に対する画像の表示が、画像投影デバイスから前記表示領域への画像の投射により行われる場合、
前記画像処理部は、前記方向情報が示す前記ユーザの方向と、前記表示領域に対する前記画像投影デバイスからの画像の投射方向とに基づいて、前記対象画像に対する幾何補正の内容を変える、（１）、（８）〜（１０）のいずれか１つに記載の情報処理装置。
（１２）
前記画像処理部は、前記ユーザの方向と前記投射方向との関係が前記ユーザの方向と前記投射方向とが平行であると判定される第３の関係である場合と、前記ユーザの方向と前記投射方向との関係が前記第３の関係に該当しない第４の関係である場合とで、前記対象画像に対する幾何補正の内容を変える、（１１）に記載の情報処理装置。
（１３）
前記表示領域が複数の平面である場合、前記画像処理部は、前記表示領域に含まれる平面それぞれに表示される対象画像の部分ごとに幾何補正を行う、（１）〜（１２）のいずれか１つに記載の情報処理装置。
（１４）
前記画像処理部は、幾何補正の内容を指定するユーザ操作が検出された場合には、前記表示領域上に表示が指示される対象画像に対して、前記ユーザ操作に対応する幾何補正を行う、（１）〜（１３）のいずれか１つに記載の情報処理装置。
（１５）
前記対象画像に対する幾何補正には、前記対象画像に対して幾何補正を行わないことが含まれる、（１）〜（１４）のいずれか１つに記載の情報処理装置。
（１６）
複数のユーザそれぞれの前記方向情報が取得された場合、
前記画像処理部は、複数の前記方向情報がそれぞれ示す複数の前記ユーザの方向に基づいて、１つの前記ユーザの方向を決定し、決定された前記ユーザの方向に基づいて、前記表示領域上に表示が指示される対象画像に対して幾何補正を行う、（１）〜（１５）のいずれか１つに記載の情報処理装置。
（１７）
前記方向情報は、ユーザの視線方向を示す、（１）〜（１６）のいずれか１つに記載の情報処理装置。
（１８）
幾何補正が行われた前記対象画像を前記表示領域に表示させる表示制御部をさらに備える、（１）〜（１７）のいずれか１つに記載の情報処理装置。
（１９）
画像が表示されうる表示領域に対する、前記表示領域を見るユーザの方向を示す方向情報に基づいて、前記表示領域上に表示が指示される対象画像に対して幾何補正を行うステップを有する、情報処理装置により実行される情報処理方法。
（２０）
画像が表示されうる表示領域に対する、前記表示領域を見るユーザの方向を示す方向情報に基づいて、前記表示領域上に表示が指示される対象画像に対して幾何補正を行うステップをコンピュータに実行させるためのプログラム。
【符号の説明】
【０２９６】
１００    情報処理装置
１０２    通信部
１０４    制御部
１１０    表示領域設定部
１１２    画像処理部
１１４    表示制御部
【図１】
2017055178.tif 000011
【図２】
2017055178.tif 000012
【図３】
2017055178.tif 000013
【図５】
2017055178.tif 000014
【図６】
2017055178.tif 000015
【図７】
2017055178.tif 000016
【図８】
2017055178.tif 000017
【図９】
2017055178.tif 000018
【図１０】
2017055178.tif 000019
【図１１】
2017055178.tif 000020
【図１２】
2017055178.tif 000021
【図１３】
2017055178.tif 000022
【図１４】
2017055178.tif 000023
【図１５】
2017055178.tif 000024
【図１６】
2017055178.tif 000025
【図１７】
2017055178.tif 000026
【図１８】
2017055178.tif 000027
【図１９】
2017055178.tif 000028
【図２０】
2017055178.tif 000029
【図２１】
2017055178.tif 000030
【図２２】
2017055178.tif 000031
【図２３】
2017055178.tif 000032
【図２４】
2017055178.tif 000033
【図２５】
2017055178.tif 000034
【図２６】
2017055178.tif 000035
【図２７】
2017055178.tif 000036
【図２８】
2017055178.tif 000037
【図４】
2017055178.tif 000038