(57)【特許請求の範囲】
【請求項１】
表示装置が画像を表示する表示面の位置及び姿勢を検出する検出部と、
前記検出部により位置及び姿勢が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部と、
前記ユーザの位置を検出する他の検出部とを備え、
前記検出部は、
前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、
前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を、前記表示面の姿勢として検出し、
前記他の検出部は、
前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、
前記制御部は、
前記検出部により検出された前記表示面の位置及び姿勢、並びに、前記他の検出部により検出された前記ユーザの位置を用いて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色を再現した画像であって、前記画像内のオブジェクトのうちの、奥行き方向の位置が異なるオブジェクトの運動視差の差異を拡大した前記画像を生成し、前記検出部により位置及び姿勢が検出された前記表示面の画素と、前記他の検出部により検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを前記表示面上に射影した射影画像として、前記表示面に表示するように、前記表示装置を制御する
表示制御装置。
【請求項２】
前記画像モデルは、2D(Dimensional)画像、又は、3D画像のモデルである
請求項１に記載の表示制御装置。
【請求項３】
前記画像モデルは、色と位置の情報を有するボクセルを構成要素として、前記ボクセルで構成される
請求項１または２に記載の表示制御装置。
【請求項４】
前記制御部は、前記表示面の画素と、前記ユーザの位置とを通る直線と交差する前記ボクセルの色を、前記表示面の画素の色として射影した前記射影画像を生成する
請求項３に記載の表示制御装置。
【請求項５】
前記ボクセルは、前記ボクセルの水平方向、垂直方向、及び、奥行き方向の位置を有する
請求項４に記載の表示制御装置。
【請求項６】
前記制御部は、前記表示面の動きに基づいて、運動視差を与えた前記射影画像を生成する
請求項１乃至５のいずれかに記載の表示制御装置。
【請求項７】
前記表示面は、所定の形状の面である
請求項１乃至６のいずれかに記載の表示制御装置。
【請求項８】
前記表示面は、固定の形状の面、又は、可変の形状の面である
請求項１乃至７のいずれかに記載の表示制御装置。
【請求項９】
前記検出部は、前記表示装置の位置を、さらに検出し、
前記表示装置と前記表示面との位置関係が変化する場合、前記制御部は、前記表示面の位置及び姿勢、前記ユーザの位置、及び、前記表示装置の位置を用いて、前記射影画像を生成する
請求項１乃至８のいずれかに記載の表示制御装置。
【請求項１０】
前記制御部は、撮影装置において前記画像モデルとなるコンテンツを撮影したときの、前記撮影装置の位置及び姿勢に基づいて、前記画像モデルを配置して、前記射影画像を生成する
請求項１乃至９のいずれかに記載の表示制御装置。
【請求項１１】
前記制御部は、複数の前記射影画像を生成する
請求項１乃至１０のいずれかに記載の表示制御装置。
【請求項１２】
前記制御部は、左眼用の射影画像と、右眼用の射影画像とを生成する
請求項１１に記載の表示制御装置。
【請求項１３】
前記左眼用の射影画像と、前記右眼用の射影画像とは、１つの表示面に表示される
請求項１２に記載の表示制御装置。
【請求項１４】
双眼鏡として構成される
請求項１乃至１３のいずれかに記載の表示制御装置。
【請求項１５】
表示装置が画像を表示する表示面の位置及び姿勢を検出し、
位置及び姿勢が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御し、
前記ユーザの位置及び姿勢を検出するステップを含み、
前記表示装置が画像を表示する表示面の位置を検出するステップの処理は、
前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、
前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を、前記表示面の姿勢として検出し、
前記ユーザの位置を検出するステップの処理は、
前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、
前記表示装置を制御するステップの処理は、
検出された前記表示面の位置及び姿勢、並びに、検出された前記ユーザの位置を用いて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色を再現した画像であって、前記画像内のオブジェクトのうちの、奥行き方向の位置が異なるオブジェクトの運動視差の差異を拡大した前記画像を生成し、前記位置及び姿勢が検出された前記表示面の画素と、前記ユーザの位置とを通る直線に沿って、前記画像モデルを前記表示面上に射影した射影画像として、前記表示面に表示するように、前記表示装置を制御する
表示制御方法。
【請求項１６】
表示装置が画像を表示する表示面の位置及び姿勢を検出する検出部と、
前記検出部により位置及び姿勢が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部と、
前記ユーザの位置を検出する他の検出部として、コンピュータを機能させ、
前記検出部は、
前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、
前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を、前記表示面の姿勢として検出し、
前記他の検出部は、
前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、
前記制御部は、
前記検出部により検出された前記表示面の位置及び姿勢、並びに、前記他の検出部により検出された前記ユーザの位置を用いて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色を再現した画像であって、前記画像内のオブジェクトのうちの、奥行き方向の位置が異なるオブジェクトの運動視差の差異を拡大した前記画像を生成し、前記検出部により位置及び姿勢が検出された前記表示面の画素と、前記他の検出部により検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを前記表示面上に射影した射影画像として、前記表示面に表示するように、前記表示装置を制御する
ように機能させるためのプログラム。
【請求項１７】
表示装置が画像を表示する表示面の位置及び姿勢を検出する検出部と、
前記検出部により位置及び姿勢が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部と、
前記ユーザの位置を検出する他の検出部とを備え、
前記検出部は、
前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、
前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を、前記表示面の姿勢として検出し、
前記他の検出部は、
前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、
前記制御部は、
前記検出部により検出された前記表示面の位置及び姿勢、並びに、前記他の検出部により検出された前記ユーザの位置を用いて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色を再現した画像であって、前記表示面の動きに基づいて、運動視差を与えた前記画像を生成し、前記検出部により位置及び姿勢が検出された前記表示面の画素と、前記他の検出部により検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを前記表示面上に射影した射影画像として、前記表示面に表示するように、前記表示装置を制御する
表示制御装置。
【請求項１８】
表示装置が画像を表示する表示面の位置及び姿勢を検出する検出部と、
前記検出部により位置及び姿勢が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部と、
前記ユーザの位置を検出する他の検出部とを備え、
前記検出部は、
前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、
前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を、前記表示面の姿勢として検出し、
前記表示装置の位置を検出し、
前記他の検出部は、
前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、
前記制御部は、
前記検出部により検出された前記表示面の位置及び姿勢、並びに、前記他の検出部により検出された前記ユーザの位置を用いて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色を再現した画像であって、前記表示装置と前記表示面との位置関係が変化するとき、前記表示面の位置及び姿勢、前記ユーザの位置、及び、前記表示装置の位置を用いて、前記画像を生成し、前記検出部により位置及び姿勢が検出された前記表示面の画素と、前記他の検出部により検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを前記表示面上に射影した射影画像として、前記表示面に表示するように、前記表示装置を制御する
表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、表示制御装置、表示制御方法、及び、プログラムに関し、特に、例えば、ユーザが、画像の中で、見たい領域を、直感的に選択することができるUI(User Interface)を実現することができるようにする表示制御装置、表示制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、タブレット等の画像を表示する機能を有する画像表示装置において、カメラで撮影された静止画等の画像を、タッチパネルに表示する場合には、例えば、静止画が表示されたタッチパネルを操作することにより、タッチパネルの表示面に表示された静止画を拡大することや、縮小することができる。【０００３】
なお、特許文献１には、ユーザＡとＢとがコミュニケーションを図る映像コミュニケーションシステムにおいて、ユーザＢの２次元画像、及び、ディスプレイ面とユーザＢとの距離に基づいて、ユーザＢの２次元画像を、奥行き情報を有する３次元画像情報に変換する一方で、ユーザＡの視点位置と、ユーザＢの３次元画像情報とから、ユーザＢの２次元画像を生成し、ユーザＡのディスプレイ面に表示することで、ユーザに対話相手との距離感、現実感を与える技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2011-077710号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、例えば、上述のようなタブレットでの静止画等の画像の表示では、その静止画を見るユーザ（タブレットを持っているユーザ）の位置や、表示面の位置は考慮されない。【０００６】
したがって、タブレットでの静止画の表示は、静止画が、表示面に、いわば貼り付いた貼り付き表示になる。そのため、ユーザや表示面が（平行）移動しても、タブレットの表示面に表示される静止画は、ユーザや表示面の移動に応じて変化しない。【０００７】
以上のような貼り付き表示では、ユーザが、例えば、タブレットを動かして、表示面を移動させると、その表示面に表示された静止画は、表示面の移動に追従して、その表示面に貼り付いて移動するが、静止画の内容（表示面に表示されている静止画の各画素の画素値）は、変化しない。【０００８】
したがって、貼り付き表示では、例えば、ユーザが、タブレットの表示面を窓として、その窓の向こう側にある画像を、窓からのぞき見るような感覚を享受することができるUI(User Interface)、ひいては、ユーザが、（窓の向こう側にある）画像の中で、見たい領域を、直感的に選択することができるUIを実現することは、困難である。【０００９】
本技術は、このような状況に鑑みてなされたものであり、ユーザが、画像の中で、見たい領域を、直感的に選択することができるUIを実現することができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の第１の側面の表示制御装置、又は、プログラムは、表示装置が画像を表示する表示面の位置及び姿勢を検出する検出部と、前記検出部により位置及び姿勢が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部と、前記ユーザの位置を検出する他の検出部とを備え、前記検出部は、前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を、前記表示面の姿勢として検出し、前記他の検出部は、前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、前記制御部は、前記検出部により検出された前記表示面の位置及び姿勢、並びに、前記他の検出部により検出された前記ユーザの位置を用いて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色を再現した画像であって、前記画像内のオブジェクトのうちの、奥行き方向の位置が異なるオブジェクトの運動視差の差異を拡大した前記画像を生成し、前記検出部により位置及び姿勢が検出された前記表示面の画素と、前記他の検出部により検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを前記表示面上に射影した射影画像として、前記表示面に表示するように、前記表示装置を制御する表示制御装置、又は、そのような表示制御装置として、コンピュータを機能させるためのプログラムである。
【００１１】
本技術の第１の側面の表示制御方法は、表示装置が画像を表示する表示面の位置及び姿勢を検出し、位置及び姿勢が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御し、前記ユーザの位置及び姿勢を検出するステップを含み、前記表示装置が画像を表示する表示面の位置を検出するステップの処理は、前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を、前記表示面の姿勢として検出し、前記ユーザの位置を検出するステップの処理は、前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、前記表示装置を制御するステップの処理は、検出された前記表示面の位置及び姿勢、並びに、検出された前記ユーザの位置を用いて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色を再現した画像であって、前記画像内のオブジェクトのうちの、奥行き方向の位置が異なるオブジェクトの運動視差の差異を拡大した前記画像を生成し、前記位置及び姿勢が検出された前記表示面の画素と、前記ユーザの位置とを通る直線に沿って、前記画像モデルを前記表示面上に射影した射影画像として、前記表示面に表示するように、前記表示装置を制御する表示制御方法である。
【００１２】
以上のような本技術の第１の側面の表示制御装置、表示制御方法、及び、プログラムにおいては、表示装置が画像を表示する表示面の位置及び姿勢が検出され、位置及び姿勢が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置が制御され、前記ユーザの位置が検出され、前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置が検出され、前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度が、前記表示面の姿勢として検出され、前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置が検出され、検出された前記表示面の位置及び姿勢、並びに、検出された前記ユーザの位置が用いられて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色を再現した画像であって、前記画像内のオブジェクトのうちの、奥行き方向の位置が異なるオブジェクトの運動視差の差異を拡大した前記画像が生成され、位置及び姿勢が検出された前記表示面の画素と、検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを前記表示面上に射影した射影画像として、前記表示面に表示される。
本開示の第２の側面の表示制御装置は、表示装置が画像を表示する表示面の位置及び姿勢を検出する検出部と、前記検出部により位置及び姿勢が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部と、前記ユーザの位置を検出する他の検出部とを備え、前記検出部は、前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を、前記表示面の姿勢として検出し、前記他の検出部は、前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、前記制御部は、前記検出部により検出された前記表示面の位置及び姿勢、並びに、前記他の検出部により検出された前記ユーザの位置を用いて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色を再現した画像であって、前記表示面の動きに基づいて、運動視差を与えた前記画像を生成し、前記検出部により位置及び姿勢が検出された前記表示面の画素と、前記他の検出部により検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを前記表示面上に射影した射影画像として、前記表示面に表示するように、前記表示装置を制御する表示制御装置である。
本開示の第２の側面においては、表示装置が画像を表示する表示面の位置及び姿勢が検出され、位置及び姿勢が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像が、前記表示面に表示されるように、前記表示装置が制御され、前記ユーザの位置が検出され、前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置が検出され、前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を、前記表示面の姿勢として検出され、前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置が検出され、検出された前記表示面の位置及び姿勢、並びに、検出された前記ユーザの位置が用いられて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色が再現された画像であって、前記表示面の動きに基づいて、運動視差を与えた前記画像が生成され、位置及び姿勢が検出された前記表示面の画素と、検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルが前記表示面上に射影された射影画像として、前記表示面に表示されるように、前記表示装置が制御される。
本開示の第３の側面の表示制御装置は、表示装置が画像を表示する表示面の位置及び姿勢を検出する検出部と、前記検出部により位置及び姿勢が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部と、前記ユーザの位置を検出する他の検出部とを備え、前記検出部は、前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を、前記表示面の姿勢として検出し、前記表示装置の位置を検出し、前記他の検出部は、前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出し、前記制御部は、前記検出部により検出された前記表示面の位置及び姿勢、並びに、前記他の検出部により検出された前記ユーザの位置を用いて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色を再現した画像であって、前記表示装置と前記表示面との位置関係が変化するとき、前記表示面の位置及び姿勢、前記ユーザの位置、及び、前記表示装置の位置を用いて、前記画像を生成し、前記検出部により位置及び姿勢が検出された前記表示面の画素と、前記他の検出部により検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを前記表示面上に射影した射影画像として、前記表示面に表示するように、前記表示装置を制御する表示制御装置である。
本開示の第３の側面においては、表示装置が画像を表示する表示面の位置及び姿勢が検出され、位置及び姿勢が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置が制御され、前記ユーザの位置が検出され、前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置が検出され、前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度が、前記表示面の姿勢として検出され、前記表示装置の位置が検出され、前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置が検出され、検出された前記表示面の位置及び姿勢、並びに、検出された前記ユーザの位置が用いられて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色が再現された画像であって、前記表示装置と前記表示面との位置関係が変化するとき、前記表示面の位置及び姿勢、前記ユーザの位置、及び、前記表示装置の位置が用いられて、前記画像が生成され、位置及び姿勢が検出された前記表示面の画素と、検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルが前記表示面上に射影された射影画像として、前記表示面に表示されるように、前記表示装置が制御される。
【００１３】
なお、表示制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１４】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１５】
本技術によれば、ユーザが、画像の中で、見たい領域を、直感的に選択することができるUIを実現することができる。【００１６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】本技術を適用した画像表示装置の一実施の形態の構成例を示す斜視図である。
【図２】画像表示装置の機能的な構成例を示すブロック図である。
【図３】制御部２４の構成例を示すブロック図である。
【図４】制御部２４の処理の例を説明するフローチャートである。
【図５】画像生成部３８による射影画像の生成の原理を説明する図である。
【図６】画像モデルの第１の例を示す図である。
【図７】画像モデルの第２の例を示す図である。
【図８】画像モデルの第３の例を示す図である。
【図９】表示面１１が水平方向に移動する場合の射影画像の生成の例を説明する図である。
【図１０】表示面１１が水平方向に移動する場合の射影画像の生成の例を、さらに説明する図である。
【図１１】ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【図１２】表示面１１が垂直方向に移動する場合の射影画像の生成の例を説明する図である。
【図１３】表示面１１が垂直方向に移動する場合の射影画像の生成の例を、さらに説明する図である。
【図１４】ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【図１５】表示面１１が奥行き方向に移動する場合の射影画像の生成の例を説明する図である。
【図１６】表示面１１が奥行き方向に移動する場合の射影画像の生成の例を、さらに説明する図である。
【図１７】ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【図１８】表示面１１がピッチ方向に回転されて傾けられる場合の射影画像の生成の例を説明する図である。
【図１９】表示面１１がピッチ方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。
【図２０】ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【図２１】ピッチ方向に傾けられた表示面１１を、その表示面１１に直交する方向から見た場合の、表示面１１に表示された射影画像の例を示す図である。
【図２２】表示面１１がヨー方向に回転されて傾けられる場合の射影画像の生成の例を説明する図である。
【図２３】表示面１１がヨー方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。
【図２４】ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【図２５】ヨー方向に傾けられた表示面１１を、その表示面１１に直交する方向から見た場合の、表示面１１に表示された射影画像の例を示す図である。
【図２６】表示面１１がロール方向に回転されて傾けられる場合の射影画像の生成の例を説明する図である。
【図２７】表示面１１がロール方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。
【図２８】表示面１１がロール方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。
【図２９】ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【図３０】ロール方向に傾けられた表示面１１を、同様にロール方向に傾いて見た場合の、表示面１１に表示された射影画像の例を示す図である。
【図３１】ユーザが水平方向に移動する場合の射影画像の生成の例を説明する図である。
【図３２】ユーザが水平方向に移動する場合の射影画像の生成の例を、さらに説明する図である。
【図３３】ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【図３４】ユーザが垂直方向に移動する場合の射影画像の生成の例を説明する図である。
【図３５】ユーザが垂直方向に移動する場合の射影画像の生成の例を、さらに説明する図である。
【図３６】ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【図３７】ユーザが奥行き方向に移動する場合の射影画像の生成の例を説明する図である。
【図３８】ユーザが奥行き方向に移動する場合の射影画像の生成の例を、さらに説明する図である。
【図３９】ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【図４０】3D画像の画像モデルを用いる場合の射影画像の生成を説明する図である。
【図４１】ユーザが水平方向に移動する場合の、3D画像モデルを用いた射影画像の生成の例を説明する図である。
【図４２】ユーザが垂直方向に移動する場合の、3D画像モデルを用いた射影画像の生成の例を説明する図である。
【図４３】ユーザが奥行き方向に移動する場合の、3D画像モデルを用いた射影画像の生成の例を説明する図である。
【図４４】手ぶれによって、表示面１１が動く場合に、その表示面１１の動きに基づいて、射影画像に与える運動視差を説明する図である。
【図４５】表示面１１の動きに基づいて、運動視差がある射影画像を生成する方法の例を説明する図である。
【図４６】運動視差の差異の拡大を説明する図である。
【図４７】表示面１１の他の構成例を説明する図である。
【図４８】表示面１１が湾曲面である場合の射影画像の生成の例を説明する図である。
【図４９】表示面１１の、さらに他の構成例を説明する図である。
【図５０】左眼用の射影画像、及び、右眼用の射影画像の生成の例を説明する図である。
【図５１】本技術を適用した画像表示装置の第２実施の形態の構成例を示す斜視図である。
【図５２】本技術を適用した画像表示装置の第３実施の形態の構成例を示す斜視図である。
【図５３】虫眼鏡モードを説明する図である。
【図５４】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
＜本技術を適用した画像表示装置の第１実施の形態＞
【００１９】
図１は、本技術を適用した画像表示装置の一実施の形態の構成例を示す斜視図である。
【００２０】
図１において、画像表示装置は、例えば、スマートフォン（又はタブレット）であり、正面側に、画像を表示する長方形状の表示面１１と、画像を撮影するカメラ１２とが設けられている。
【００２１】
なお、表示面１１は、例えば、画像を表示するとともに、ユーザの入力（接触や近接）を受け付けるタッチパネルで構成される。
【００２２】
図２は、図１の画像表示装置としてのスマートフォンの機能的な構成例を示すブロック図である。
【００２３】
図２において、スマートフォンは、データ取得部２１、表示面検出部２２、ユーザ検出部２３、制御部２４、及び、表示部２５を有する。
【００２４】
データ取得部２１は、画像のコンテンツのデータを取得し、制御部２４に供給する。
【００２５】
すなわち、データ取得部２１は、例えば、記録（記憶）媒体を内蔵しており、その記録媒体に記録されているコンテンツのデータを読み出すことにより取得する。記録媒体には、例えば、コンピュータグラフィクスのデータや、アニメーションのデータ、ディジタル（スチル／ビデオ）カメラで撮影されたデータ等を記録しておくことができる。
【００２６】
また、データ取得部２１は、例えば、ネットワークインターフェースであり、インターネット等のネットワーク上のサーバから、コンテンツのデータをダウンロードすることにより取得する。
【００２７】
なお、データ取得部２１が取得するコンテンツのデータは、静止画のデータであっても良いし、動画のデータであっても良い。
【００２８】
また、データ取得部２１が取得するコンテンツのデータは、2D(Dimensional)画像のデータであっても良いし、3D画像のデータであっても良い。
【００２９】
さらに、データ取得部２１では、画像と、その画像に付随する音声（音響）とを含むコンテンツのデータを取得することができる。
【００３０】
また、データ取得部２１では、スマートフォンの背面側に設けられた図示せぬカメラや、スマートフォンとの間で通信が可能な図示せぬカメラ等で、リアルタイムで撮影されている画像のデータを、制御部２４に供給するコンテンツのデータとして取得することができる。
【００３１】
表示面検出部２２は、スマートフォンの表示部２５の表示面１１の位置や姿勢（傾き）を検出し、表示面情報として、制御部２４に供給する。表示面１１の位置や姿勢としては、例えば、スマートフォンの位置や姿勢を採用することができる。
【００３２】
表示面検出部２２としては、スマートフォンが内蔵する、例えば、加速度センサやジャイロ等の動きを検出するセンサ、磁界を検出する磁気センサ等を採用することができる。また、表示面検出部２２としては、例えば、GPS(Global Positioning System)を採用することができる。
【００３３】
ここで、表示面検出部２２が検出する表示面１１の位置は、例えば、GPSから得られる緯度と経度のような絶対的な位置であっても良いし、あるタイミングの表示面１１の位置を基準とする相対的な位置であっても良い。
【００３４】
さらに、表示面検出部２２が検出する表示面１１の姿勢としては、例えば、表示面１１のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を採用することができる。
【００３５】
また、表示面検出部２２では、表示面１１の位置及び姿勢の両方の他、表示面１１の位置だけを検出することができる。
【００３６】
さらに、表示面検出部２２では、表示面１１の位置として、3次元空間における表示面１１の水平方向、垂直方向、及び、奥行き方向のすべての位置を検出することもできるし、表示面１１の水平方向、垂直方向、及び、奥行き方向のうちの１つ又は２つの位置を検出することもできる。
【００３７】
同様に、表示面検出部２２では、表示面１１の姿勢として、表示面１１のピッチ方向、ヨー方向、及び、ロール方向のすべての回転角度を検出することもできるし、表示面１１のピッチ方向、ヨー方向、及び、ロール方向のうちの１つ又は２つの回転角度を検出することもできる。
【００３８】
また、表示面検出部２２での表示面１１の位置や姿勢の検出精度は、特に限定されるものではない。
【００３９】
但し、スマートフォンでは、表示面１１の位置や姿勢に基づいて、ユーザが、表示面１１を窓として、コンテンツのデータから生成される画像モデルを見た場合に見える景色を再現した画像が提供される。そのため、表示面１１の位置及び姿勢の両方を検出するか、又は、表示面１１の位置だけを検出するかというファクタは、スマートフォンが提供する画像の再現性（いわば、表示面１１の窓らしさ）に影響する。
【００４０】
表示面１１の位置として、表示面１１の水平方向、垂直方向、及び、奥行き方向のうちのいずれの位置を検出するかや、表示面１１の姿勢として、表示面１１のピッチ方向、ヨー方向、及び、ロール方向のうちのいずれの回転角度を検出するか、表示面１１の位置及び姿勢の検出精度といったファクタも、同様に、スマートフォンが提供する画像の再現性に影響する。
【００４１】
ユーザ検出部２３は、ユーザの位置を検出し、ユーザ位置情報として、制御部２４に供給する。
【００４２】
ユーザ位置検出部２３としては、例えば、スマートフォンの正面に設けられているカメラ１２（図１）を採用することができる。この場合、ユーザ位置検出部２３では、カメラ１２で撮影されるユーザの画像に基づき、スマートフォンの位置を基準とするユーザの位置を検出することができる。
【００４３】
制御部２４は、例えば、スマートフォンのCPU(Central Processing Unit)又はGPU(Graphics Processing Unit)で構成される、画像の表示を制御する表示制御装置であり、データ取得部２１から供給される画像のコンテンツのデータから、画像モデルを生成する。
【００４４】
ここで、画像モデルは、ボクセルを構成要素として、そのボクセル（の集合）で構成される。ボクセルは、色と位置の情報を有し、ボクセルが有する位置に、そのボクセルが有する色を配置することで、画像のコンテンツが構成される。
【００４５】
制御部２４は、画像モデルを生成し、その画像モデル、表示面検出部２２から供給される表示面情報が表す表示面１１の位置や姿勢、及び、ユーザ検出部２３から供給されるユーザ位置情報が表すユーザの位置等に基づいて、表示部２５の表示面１１に表示する射影画像を生成し、その射影画像を表示するように、表示部２５を制御する。
【００４６】
すなわち、制御部２４は、所定の基準座標系における、表示面情報が表す位置（に対応する位置）に、表示面情報が表す姿勢で、表示面１１を（仮想的に）配置するとともに、基準座標系における、ユーザ位置情報が表す位置（に対応する位置）に、ユーザ（の視点）を（仮想的に）配置する。
【００４７】
さらに、制御部２４は、基準座標系における所定の位置（例えば、基準座標系におけるユーザから見て、表示面１１の奥側の位置や、ユーザ及び表示面１１を囲む位置等）に、画像モデルを配置する。
【００４８】
そして、制御部２４は、基準座標系における表示面１１の各画素と、ユーザの位置（視点）とを通る直線に沿って、画像モデルを表示面１１（の各画素）上に射影した射影画像を生成し、表示部２５に供給して、表示面１１に表示させる。
【００４９】
表示部２５は、例えば、スマートフォンのタッチパネル等の、画像を表示する表示装置であり、制御部２４の制御に従い、射影画像を表示する。
【００５０】
ここで、表示部２５において、射影画像が表示される面が、表示面１１である。表示部２５が、例えば、上述のように、タッチパネルである場合には、タッチパネルと表示面１１とは、一体的であるため、表示面検出部２２での、表示面１１の位置及び姿勢の検出は、表示部２５であるタッチパネル、ひいては、タッチパネルと一体的なスマートフォンの位置及び姿勢を検出することで行うことができる。
【００５１】
なお、制御部２４は、ユーザ位置検出部２３から供給されるユーザ位置情報を用いずに、射影画像を生成することができる。
【００５２】
ユーザ位置検出部２３から供給されるユーザ位置情報を用いずに、射影画像を生成する場合、制御部２４は、例えば、基準座標系において、表示面１１に対向する所定の位置（例えば、表示面１１の中心（重心）を通り、表示面１１に直交する直線上の、表示面の中心から所定の距離の位置等）に、ユーザを配置して、射影画像を生成することができる。
【００５３】
制御部２４において、ユーザ位置検出部２３から供給されるユーザ位置情報を用いずに、射影画像を生成する場合、スマートフォンは、ユーザ位置検出部２３を設けずに構成することができる。
【００５４】
また、表示面検出部２２において、表示面１１の位置だけ検出され、姿勢が検出されない場合には、制御部２４では、表示面１１の姿勢として、例えば、あらかじめ決められたデフォルトの姿勢を用いて、表示面１１を、基準座標系に配置することができる。
【００５５】
さらに、表示面検出部２２において、表示面１１の位置として、水平方向、垂直方向、及び、奥行き方向のうちの、１つ又は２つが検出されない場合には、制御部２４では、その検出されない方向の位置として、あらかじめ決められたデフォルトの位置を用いて、表示面１１を、基準座標系に配置することができる。
【００５６】
ユーザ位置検出部２３において、ユーザの位置として、水平方向、垂直方向、及び、奥行き方向のうちの、１つ又は２つが検出されない場合も、同様である。
【００５７】
＜制御部２４の構成例＞
【００５８】
図３は、図２の制御部２４の構成例を示すブロック図である。
【００５９】
図３において、制御部２４は、基準座標系生成部３１、表示面情報取得部３２、画像モデル生成部３３、ユーザ位置情報取得部３４、表示面配置部３５、画像モデル配置部３６、ユーザ配置部３７、及び、画像生成部３８を有する。
【００６０】
基準座標系生成部３１は、所定の3次元の座標系を、基準座標系として生成し、表示面配置部３５、画像モデル配置部３６、及び、ユーザ配置部３７に供給する。
【００６１】
基準座標系生成部３１は、例えば、ユーザによって、スマートフォンが、射影画像を表示するように操作されたとき等の所定のタイミング（以下、初期設定タイミングともいう）における表示面１１に対して、xy平面が平行になる3次元の座標系等を、基準座標系として生成する。
【００６２】
表示面情報取得部３２は、表示面検出部２２から、表示面情報を取得し、表示面配置部３５に供給する。ここで、表示面情報には、表示面１１の位置や姿勢の他、表示面１１の形状を、必要に応じて含めることができる。
【００６３】
画像モデル生成部３３には、データ取得部２１からコンテンツのデータが供給される。画像モデル生成部３３は、データ取得部２１からのコンテンツのデータを解析し、そのコンテンツのデータが、2D画像又は3D画像であること等を識別した上で、そのコンテンツのデータに対応する画像モデルを生成する。
【００６４】
そして、画像モデル生成部３３は、画像モデルを、画像モデル配置部３６に供給する。
【００６５】
ユーザ位置情報取得部３４は、ユーザ検出部２３から、ユーザ位置情報を取得し、ユーザ配置部３７に供給する。
【００６６】
表示面配置部３５は、表示面情報取得部３２からの表示面情報に基づき、基準座標系生成部３１からの基準座標系上に、表示面１１を（仮想的に）配置し、その配置結果を、画像生成部３８に供給する。
【００６７】
すなわち、表示面配置部３５は、基準座標系における、表示面情報が表す位置（に対応する位置）に、表示面情報が表す姿勢で、表示面１１を配置する。
【００６８】
なお、本実施の形態では、初期設定タイミングにおいて、表示面１１は、基準座標系のxy平面と平行になるように、基準座標系に配置される。
【００６９】
また、ここでは、説明を簡単にするため、表示面１１が、例えば、長方形状の面であり、初期設定タイミングにおいて、ユーザは、その長方形状の表示面１１の長辺、及び、短辺のうちの一方である、例えば、長辺を水平方向に向けて持っていることとする。そして、表示面１１は、例えば、その長辺がx軸と平行になり、他方である短編がy軸と平行になるように、基準座標系に配置されることとする。
【００７０】
画像モデル配置部３６は、初期設定タイミングにおいて、基準座標系生成部３１からの基準座標系上に、画像モデル生成部３３から供給される画像モデルを（仮想的に）配置し、その配置結果を、画像生成部３８に供給する。
【００７１】
すなわち、画像モデル配置部３６は、初期設定タイミングにおいて、例えば、基準座標系におけるユーザから見て、表示面１１の奥側の位置や、ユーザ及び表示面１１を囲む位置等の所定の位置に、画像モデルを配置する。
【００７２】
ユーザ配置部３７は、ユーザ位置情報取得部３４からのユーザ位置情報に基づき、基準座標系生成部３１からの基準座標系上に、ユーザ（の視点）を（仮想的に）配置し、その配置結果を、画像生成部３８に供給する。
【００７３】
すなわち、ユーザ配置部３７は、基準座標系における、ユーザ位置情報が表す位置（に対応する位置）に、ユーザを配置する。
【００７４】
画像生成部３８は、表示面配置部３５からの、表示面１１の基準座標系への配置結果、画像モデル配置部３６からの、画像モデルの基準座標系への配置結果、及び、ユーザ配置部３７からの、ユーザの基準座標系への配置結果に基づき、ユーザが、表示面１１を窓として、画像モデルを見た場合に見える景色を再現した画像を、表示面１１に表示する射影画像として生成し、表示部２５に供給する。
【００７５】
すなわち、画像生成部３８は、基準座標系における表示面１１の各画素と、ユーザの位置（視点）とを通る直線に沿って、画像モデルを表示面１１（の各画素）上に射影した射影画像を生成する。
【００７６】
より具体的には、いま、基準座標系における表示面１１のある画素を、注目する注目画素とすると、画像生成部３８は、基準座標系における注目画素とユーザとを通る直線と交差する画像モデルの位置のボクセルを、交差ボクセルとして検出する。
【００７７】
さらに、画像生成部３８は、交差ボクセルが有する色を、注目画素の画素値として採用し、以上の処理を、基準座標系における表示面１１のすべての画素を、注目画素として行うことで、基準座標系における画像モデルの一部又は全部を、表示面１１上に射影した射影画像を生成する。
【００７８】
図４は、図３の制御部２４の処理の例を説明するフローチャートである。
【００７９】
ステップＳ１１において、基準座標系生成部３１は、基準座標系を生成し、表示面配置部３５、画像モデル配置部３６、及び、ユーザ配置部３７に供給して、処理は、ステップＳ１２に進む。
【００８０】
ステップＳ１２では、画像モデル生成部３３は、データ取得部２１から供給されるコンテンツのデータから、そのコンテンツのデータに対応する画像モデルを生成し、画像モデル配置部３６に供給して、処理は、ステップＳ１３に進む。
【００８１】
ステップＳ１３では、表示面情報取得部３２が、表示面検出部２２から、表示面情報を取得し、表示面配置部３５に供給するとともに、ユーザ位置情報取得部３４が、ユーザ検出部２３から、ユーザ位置情報を取得し、ユーザ配置部３７に供給して、処理は、ステップＳ１４に進む。
【００８２】
ステップＳ１４では、表示面配置部３５が、表示面情報取得部３２からの表示面情報に基づき、基準座標系生成部３１からの基準座標系上に、表示面１１を配置し、その配置結果を、画像生成部３８に供給する。
【００８３】
さらに、ステップＳ１４では、ユーザ配置部３７が、ユーザ位置情報取得部３４からのユーザ位置情報に基づき、基準座標系生成部３１からの基準座標系上に、ユーザを配置し、その配置結果を、画像生成部３８に供給する。
【００８４】
また、ステップＳ１４では、画像モデル配置部３６が、例えば、基準座標系におけるユーザから見て、表示面１１の奥側の位置等の所定の位置に、画像モデルを配置し、処理は、ステップＳ１５に進む。
【００８５】
ステップＳ１５では、画像生成部３８が、表示面配置部３５からの、表示面１１の基準座標系への配置結果、画像モデル配置部３６からの、画像モデルの基準座標系への配置結果、及び、ユーザ配置部３７からの、ユーザの基準座標系への配置結果に基づき、基準座標系における表示面１１の各画素と、ユーザの位置（視点）とを通る直線に沿って、画像モデルを表示面１１の各画素上に射影した射影画像を生成し、処理は、ステップＳ１６に進む。
【００８６】
ステップＳ１６では、画像生成部３８は、射影画像を、表示部２５に供給することで、表示面１１に表示させ、処理は、ステップＳ１７に進む。
【００８７】
ステップＳ１７では、ステップＳ１３と同様に、表示面情報取得部３２が、表示面検出部２２から、表示面情報を取得し、表示面配置部３５に供給するとともに、ユーザ位置情報取得部３４が、ユーザ検出部２３から、ユーザ位置情報を取得し、ユーザ配置部３７に供給して、処理は、ステップＳ１８に進む。
【００８８】
ステップＳ１８では、表示面配置部３５が、表示面情報取得部３２からの表示面情報に基づき、基準座標系生成部３１からの基準座標系上に、表示面１１を配置し、その配置結果を、画像生成部３８に供給するとともに、ユーザ配置部３７が、ユーザ位置情報取得部３４からのユーザ位置情報に基づき、基準座標系生成部３１からの基準座標系上に、ユーザを配置し、その配置結果を、画像生成部３８に供給する。
【００８９】
そして、処理は、ステップＳ１５に戻り、以下、同様の処理が繰り返される。
【００９０】
＜射影画像の生成の原理＞
【００９１】
図５は、図３の画像生成部３８による射影画像の生成の原理を説明する図である。
【００９２】
図５では、表示面情報、及び、ユーザ位置情報に基づいて、基準座標系上に、ユーザ、表示面１１、及び、画像モデルが配置されている。
【００９３】
いま、基準座標系における表示面１１のある画素Pを、注目する注目画素Pとすると、画像生成部３８は、基準座標系における注目画素Pとユーザとを通る直線（図５において、点線の矢印で示す）と交差する画像モデルの位置のボクセルVを、交差ボクセルVとして検出する。
【００９４】
さらに、画像生成部３８は、交差ボクセルVが有する色を、注目画素Pの画素値として採用することで、交差ボクセルVを、注目画素Pに射影する。
【００９５】
そして、画像生成部３８は、同様の処理を、基準座標系における表示面１１のすべての画素を、注目画素として行うことで、表示面１１に表示される射影画像を生成する。
【００９６】
なお、注目画素Pとユーザとを通る直線と交差する交差ボクセルとして、複数のボクセルが存在する場合、その複数の交差ボクセルのうちの、（ユーザから見て）最も手前側の交差ボクセルの色が、注目画素Pの画素値として採用される。
【００９７】
但し、交差ボクセルとして、複数のボクセルが存在する場合であっても、最も手前側の交差ボクセルの色が、透明性を有する色であるときには、その透明性に応じて、最も手前側の交差ボクセルの色と、手前から2番目（奥側）の交差ボクセルの色とを重畳した色が、注目画素Pの画素値として採用される。手前から2番目以降の交差ボクセルの色が透明性を有する場合も同様である。
【００９８】
また、基準座標系における注目画素Pとユーザとを通る直線と交差する画像モデルの位置（以下、モデル交差位置ともいう）に、ボクセルがないこと、すなわち、モデル交差位置と、ボクセルの位置とがずれていることがある。
【００９９】
この場合、画像生成部３８は、例えば、モデル交差位置に最も近いボクセルを、交差ボクセルとして検出し、交差ボクセルが有する色を、注目画素Pの画素値として採用することができる。
【０１００】
又は、画像生成部３８は、例えば、モデル交差位置に近接又は隣接する、最も手前側の複数のボクセルを、交差ボクセルの候補となる候補ボクセルとして検出し、その複数の候補ボクセルを用いた補間（内挿又は外挿）によって、モデル交差位置に、交差ボクセルを生成することができる。この場合、交差ボクセルが有する色として、複数の候補ボクセルのそれぞれが有する色を、各候補ボクセルとモデル交差位置との距離に応じて合成した合成色が生成される。その結果、そのような合成色が、注目画素Pの画素値として採用される。
【０１０１】
以上のように、表示面情報、及び、ユーザ位置情報に基づいて、基準座標系上に、ユーザ、表示面１１、及び、画像モデルを配置し、基準座標系における表示面１１の画素Pと、ユーザとを通る直線に沿って、画像モデルを、表示面１１の画素Pに射影することで、射影画像を生成することにより、ユーザが、表示面１１を窓として、画像モデルを見た場合に見える景色を再現した画像を、射影画像として得ることができる。
【０１０２】
したがって、ユーザが、表示面１１に表示された射影画像を見た場合に、ユーザの網膜に射影される画像は、ユーザが、表示面１１を窓として、その窓を通して画像モデルを見た場合に、ユーザの網膜に射影される画像と同様（同一又は類似）の画像となり、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓を通して、画像モデルを見ているかのような感覚を享受することができる。
【０１０３】
ここで、上述のように、表示面１１に表示される射影画像は、ユーザが、表示面１１を窓として、画像モデルを見た場合に見える景色を再現した画像になるので、例えば、画像を撮影する撮影装置で撮影されたある場所Aの景色の画像（のコンテンツ）から得られる画像モデル（以下、場所Aの画像モデルともいう）を用いて、射影画像を生成することにより、ユーザは、実際に、場所Aに行かなくても、その場所Aにいるかのような感覚を享受することができる。
【０１０４】
また、射影画像は、撮影装置による場所Aの撮影時の撮影装置の位置（絶対的な位置）及び姿勢にも基づいて生成することができる。
【０１０５】
すなわち、場所Aの画像モデルを用いた射影画像は、スマートフォンを所持しているユーザが、実際に、場所Aにいるときに生成することができる。
【０１０６】
そして、場所Aの画像モデルを用いた射影画像の生成は、場所Aの撮影時の撮影装置の位置及び姿勢に基づいて、場所Aの撮影時の景色を再現するように、場所Aの画像モデルを基準座標系に配置して行うことができる。
【０１０７】
この場合、ユーザは、場所Aにおいて、窓としての表示面１１から、場所Aの過去の景色を見る、いわば、時間窓(window of time)、あるいは、タイムマシンを体験することができる。
【０１０８】
すなわち、実際に、場所Aにいるユーザは、場所Aの現在の景色を見ることができる。
【０１０９】
さらに、ユーザが場所Aにいる場合には、場所Aの画像モデルを用いた射影画像の生成が、場所Aの撮影時の過去の景色を再現するように、場所Aの画像モデルを基準座標系に配置して行われるので、例えば、ユーザが、場所Aにおいて、ある方向Bに、スマートフォンを向けると、スマートフォンの表示面１１には、撮影装置で場所Aを撮影したときの方向Bの過去の景色が、射影画像として表示される。
【０１１０】
これにより、ユーザは、撮影装置での場所Aの撮影時に、その場所Aにいたならば見ることができた方向Bの過去の景色を、窓としての表示面１１に表示された射影画像として見ることができる。
【０１１１】
したがって、ユーザは、実際の景色として、場所Aの方向Bの現在の景色を見ることができるとともに、表示面１１を窓として、その窓を通して、場所Aの方向Bの過去の景色を見ているかのような感覚を享受することができる。
【０１１２】
＜画像モデルの例＞
【０１１３】
図６は、画像モデルの第１の例を示す図である。
【０１１４】
画像モデルは、位置と色の情報を有するボクセルで構成され、任意の形状の構造の画像を表現することができる。
【０１１５】
図６は、2D画像の画像モデルの例を示している。2D画像の画像モデルは、例えば、長方形状の（平面の）構造を有する。2D画像の画像モデルのボクセルは、位置の情報として、水平方向、及び、垂直方向の位置の情報を有する。
【０１１６】
図７は、画像モデルの第２の例を示す図である。
【０１１７】
図７は、3D画像の画像モデルの例を示している。3D画像の画像モデルは、水平方向、垂直方向、及び、奥行き方向に広がる複雑な構造を有し、したがって、3D画像の画像モデルのボクセルは、位置の情報として、水平方向、垂直方向、及び、奥行き方向の位置の情報を有する。
【０１１８】
図８は、画像モデルの第３の例を示す図である。
【０１１９】
図８の画像モデルは、長方形を湾曲させた曲面の構造を有する。
【０１２０】
画像モデルの構造としては、図６ないし図８に示した構造の他、例えば、球体等の任意の構造を採用することができる。
【０１２１】
＜射影画像の具体例＞
【０１２２】
以下、表示面１１が、水平方向、垂直方向、及び、奥行き方向のそれぞれに（平行）移動（並進）する場合、表示面１１が、ピッチ方向、ヨー方向、及び、ロール方向のそれぞれに回転する場合、並びに、ユーザが、水平方向、垂直方向、及び、奥行き方向のそれぞれに移動する場合のそれぞれにおいて生成される射影画像の具体例について説明する。
【０１２３】
なお、ここでは、説明を分かりやすくするために、表示面１１が、水平方向、垂直方向、及び、奥行き方向のそれぞれに移動する場合、表示面１１が、ピッチ方向、ヨー方向、及び、ロール方向のそれぞれに回転する場合、並びに、ユーザが、水平方向、垂直方向、及び、奥行き方向のそれぞれに移動する場合のそれぞれに分けて、射影画像の生成の具体例について説明するが、射影画像は、これらの移動や回転の任意の組み合わせに対して生成することができる。
【０１２４】
図９は、表示面１１が水平方向に移動する場合の射影画像の生成の例を説明する図である。
【０１２５】
なお、以下では、表示面１１やユーザは、例えば、初期設定タイミングの状態から動くこととする。
【０１２６】
また、基準座標系は、例えば、初期設定タイミングの表示面１１の長辺方向の左から右方向を、x軸と、表示面１１の短辺方向の下から上方向を、y軸と、表示面１１と直交する、表示面１１と対向する方向を、z軸とする3次元の座標系であることとする。
【０１２７】
さらに、初期タイミングでは、基準座標系において、ユーザは、例えば、表示面１１の中心を通る直線上の、表示面１１と対向する側に配置されることとし、ユーザ及び表示面１１の水平方向、垂直方向、及び、奥行き方向は、それぞれ、基準座標系のx軸、y軸、及び、z軸と平行な方向になっていることとする。
【０１２８】
また、画像モデルとしては、例えば、2D画像の静止画の画像モデルを採用することとする。
【０１２９】
図９のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０１３０】
表示面１１の水平方向の移動では、表示面１１は、ユーザによって、姿勢を変化させずに、初期設定タイミングにおける表示面１１を含む平面（xy平面に平行な平面）内を、図９のＡに実線の太い矢印で示すように、左方向に移動されるか、又は、図９のＡに点線の太い矢印で示すように、右方向に移動される。
【０１３１】
図９のＢは、表示面１１が、左方向に移動される場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。
【０１３２】
図９のＢにおいて、表示面１１の移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。
【０１３３】
そして、表示面１１が左方向に移動された後では、図５で説明した原理に従って、ユーザの正面の左側に、窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。
【０１３４】
すなわち、表示面１１が左方向に移動されても、窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、窓が移動することによって、画像モデルの見える範囲が、移動前よりも左側の範囲に変わったような射影画像が生成される。
【０１３５】
図９のＣは、表示面１１が、右方向に移動される場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。
【０１３６】
表示面１１が右方向に移動される場合も、窓としての表示面１１の向こう側に存在する静止画の画像モデルが、その場に留まっており、窓が移動することによって、画像モデルの見える範囲が、移動前よりも右側の範囲に変わったような射影画像が生成される。
【０１３７】
図１０は、表示面１１が水平方向に移動する場合の射影画像の生成の例を、さらに説明する図である。
【０１３８】
図１０は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。
【０１３９】
図１０では、時刻Tにおいて、ユーザの真正面に位置していた表示面１１が、時刻T+1において、ユーザの正面の左に移動されている。
【０１４０】
なお、図１０では、表示面１１の移動前、及び、移動後のいずれにおいても、表示面１１、及び、（2D画像の静止画の）画像モデルは、xy平面に平行になっている。
【０１４１】
画像モデルのあるボクセルV#1は、表示面１１の移動前の時刻Tでは、表示面１１の左側の画素P#1に射影されるが、表示面１１の左への移動後の時刻T+1では、表示面１１の右側の画素P#2に射影される。
【０１４２】
図１１は、図１０のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【０１４３】
画像モデルのボクセルV#1は、表示面１１の移動前の時刻Tでは、窓としての表示面１１の左に画素P#1として見え、表示面１１の左への移動後の時刻T+1では、窓としての表示面１１の右に画素P#2として見える。
【０１４４】
その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓を左に移動することにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。
【０１４５】
図１２は、表示面１１が垂直方向に移動する場合の射影画像の生成の例を説明する図である。
【０１４６】
図１２のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０１４７】
表示面１１の垂直方向の移動では、表示面１１は、ユーザによって、姿勢を変化させずに、初期設定タイミングにおける表示面１１を含む平面（xy平面に平行な平面）内を、図１２のＡに実線の太い矢印で示すように、下方向に移動されるか、又は、図１２のＡに点線の太い矢印で示すように、上方向に移動される。
【０１４８】
図１２のＢは、表示面１１が、下方向に移動される場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。
【０１４９】
図１２のＢにおいて、表示面１１の移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。
【０１５０】
そして、表示面１１が下方向に移動された後では、図５で説明した原理に従って、ユーザの正面の下側に、窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。
【０１５１】
すなわち、表示面１１が下方向に移動されても、窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、窓が移動することによって、画像モデルの見える範囲が、移動前よりも下側の範囲に変わったような射影画像が生成される。
【０１５２】
図１２のＣは、表示面１１が、上方向に移動される場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。
【０１５３】
表示面１１が上方向に移動される場合も、窓としての表示面１１の向こう側に存在する静止画の画像モデルが、その場に留まっており、窓が移動することによって、画像モデルの見える範囲が、移動前よりも上側の範囲に変わったような射影画像が生成される。
【０１５４】
図１３は、表示面１１が垂直方向に移動する場合の射影画像の生成の例を、さらに説明する図である。
【０１５５】
図１３は、基準座標系を、x軸の正方向から見た図であり、図に垂直な方向、右から左方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。
【０１５６】
図１３では、時刻Tにおいて、ユーザの真正面に位置していた表示面１１が、時刻T+1において、ユーザの正面の下に移動されている。
【０１５７】
なお、図１３では、表示面１１の移動前、及び、移動後のいずれにおいても、表示面１１、及び、（2D画像の静止画の）画像モデルは、xy平面に平行になっている。
【０１５８】
画像モデルのあるボクセルV#1は、表示面１１の移動前の時刻Tでは、表示面１１の上下の中央付近の画素P#1に射影されるが、表示面１１の下への移動後の時刻T+1では、表示面１１の上側の画素P#2に射影される。
【０１５９】
図１４は、図１３のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【０１６０】
画像モデルのボクセルV#1は、表示面１１の移動前の時刻Tでは、窓としての表示面１１の上下の中央付近に画素P#1として見え、表示面１１の下への移動後の時刻T+1では、窓としての表示面１１の上に画素P#2として見える。
【０１６１】
その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓を下に移動することにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。
【０１６２】
図１５は、表示面１１が奥行き方向に移動する場合の射影画像の生成の例を説明する図である。
【０１６３】
図１５のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０１６４】
表示面１１の奥行き方向の移動では、表示面１１は、ユーザによって、姿勢を変化させずに、初期設定タイミングにおける表示面１１に直交する方向に（z軸の方向に）、図１５のＡに実線の太い矢印で示すように、手前方向（ユーザから見て手前側）に移動されるか、又は、図１５のＡに点線の太い矢印で示すように、奥方向（ユーザから見て奥側）に移動される。
【０１６５】
図１５のＢは、表示面１１が、手前方向に移動される場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。
【０１６６】
図１５のＢにおいて、表示面１１の移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。
【０１６７】
そして、表示面１１が手前方向に移動された後では、図５で説明した原理に従って、ユーザの真正面のより手前側に、窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。
【０１６８】
すなわち、表示面１１が手前方向に移動されても、窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、窓が移動することによって、画像モデルの見える範囲が、移動前よりも広い範囲に変わったような射影画像が生成される。
【０１６９】
図１５のＣは、表示面１１が、奥方向に移動される場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。
【０１７０】
表示面１１が奥方向に移動される場合も、窓としての表示面１１の向こう側に存在する静止画の画像モデルが、その場に留まっており、窓が移動することによって、画像モデルの見える範囲が、移動前よりも狭い範囲に変わったような射影画像が生成される。
【０１７１】
図１６は、表示面１１が奥行き方向に移動する場合の射影画像の生成の例を、さらに説明する図である。
【０１７２】
図１６は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。
【０１７３】
図１６では、時刻Tにおいて、ユーザの真正面のある位置にあった表示面１１が、時刻T+1において、ユーザの真正面のより手前に移動されている。
【０１７４】
なお、図１６では、表示面１１の移動前、及び、移動後のいずれにおいても、表示面１１、及び、（2D画像の静止画の）画像モデルは、xy平面に平行になっている。
【０１７５】
画像モデルのあるボクセルV#1は、表示面１１の移動前の時刻Tでは、表示面１１の中心から遠い左側の画素P#1に射影されるが、表示面１１の手前への移動後の時刻T+1では、表示面１１の中心から近い左側の画素P#2に射影される。
【０１７６】
図１７は、図１６のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【０１７７】
画像モデルのボクセルV#1は、表示面１１の移動前の時刻Tでは、窓としての表示面１１の中心から遠い左側に画素P#1として見え、表示面１１の手前への移動後の時刻T+1では、窓としての表示面１１の中心に近い左側に画素P#2として見える。
【０１７８】
その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓を手前に移動することにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。
【０１７９】
図１８は、表示面１１がピッチ方向に回転されて傾けられる場合の射影画像の生成の例を説明する図である。
【０１８０】
図１８のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０１８１】
表示面１１のピッチ方向の回転（x軸回りの回転）では、表示面１１は、ユーザによって、位置を変化させずに、例えば、初期設定タイミングにおける表示面１１の中心を通るx軸に平行な直線を回転軸として、図１８のＡに実線の太い矢印で示すように、又は、その矢印の反対向きに回転されて傾けられる。
【０１８２】
図１８のＢは、表示面１１が、図１８のＡに実線の太い矢印で示すように、ピッチ方向に回転されて傾けられる場合に、表示面１１が傾けられる前（初期設定タイミング）に生成される射影画像と、表示面１１が傾けられた後に生成される射影画像とを示している。
【０１８３】
図１８のＢにおいて、表示面１１が傾けられる前では、図５で説明した原理に従って、ユーザの真正面に、ユーザに正対した状態の窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。
【０１８４】
そして、表示面１１が回転されてピッチ方向に傾けられた後では、図５で説明した原理に従って、ユーザの真正面に、ピッチ方向に傾いた状態の窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。
【０１８５】
すなわち、表示面１１がピッチ方向に傾けられても、その傾いた窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、窓がピッチ方向に傾くことによって、画像モデルの見える範囲が、窓が傾く前よりも狭い範囲に変わったような射影画像が生成される。
【０１８６】
図１９は、表示面１１がピッチ方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。
【０１８７】
図１９は、基準座標系を、x軸の負方向から見た図であり、図に垂直な方向、下から上方向、及び、左から右方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。
【０１８８】
図１９では、時刻Tにおいて、ユーザの真正面に正対する状態になっていた表示面１１が、時刻T+1において、ピッチ方向に傾けられている。
【０１８９】
なお、図１９では、（2D画像の静止画の）画像モデルは、表示面１１が傾けられる前後のいずれにおいても、xy平面に平行になっている。
【０１９０】
また、表示面１１は、ピッチ方向に傾けられる前の時刻Tにおいては、xy平面に平行になっているが、ピッチ方向に傾けられた後の時刻T+1においては、xy平面と平行にはなっていない。
【０１９１】
画像モデルのあるボクセルV#1は、表示面１１がピッチ方向に傾けられる前の時刻Tでは、表示面１１の中心から近い上側の画素P#1に射影されるが、表示面１１が傾けられた後の時刻T+1では、表示面１１の中心から遠い上側の画素P#2に射影される。
【０１９２】
図２０は、図１９のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【０１９３】
画像モデルのボクセルV#1は、表示面１１が傾けられる前の時刻Tでは、窓としての表示面１１の中心から近い上側に画素P#1として見え、表示面１１が傾けられた後の時刻T+1では、窓としての表示面１１の中心から遠い上側（表示面１１によって擬製される窓の窓枠内の上側）に画素P#2として見える。
【０１９４】
その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓をピッチ方向に傾けることにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。
【０１９５】
図２１は、図２０のピッチ方向に傾けられた表示面１１を、その表示面１１に直交する方向から見た場合の、表示面１１に表示された射影画像の例を示す図である。
【０１９６】
ピッチ方向に傾けられた状態の表示面１１に表示される射影画像は、そのようにピッチ方向に傾けられた状態の表示面１１を見た場合に、その傾けられた表示面１１を窓として、その窓から画像モデルを見たときに見える景色の画像となるように、いわば、垂直方向に間延びした画像になっている。
【０１９７】
図２２は、表示面１１がヨー方向に回転されて傾けられる場合の射影画像の生成の例を説明する図である。
【０１９８】
図２２のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０１９９】
表示面１１のヨー方向の回転（y軸回りの回転）では、表示面１１は、ユーザによって、位置を変化させずに、初期設定タイミングにおける表示面１１の中心を通るy軸に平行な直線を回転軸として、図２２のＡに実線の太い矢印で示すように、又は、その矢印の反対向きに回転されて傾けられる。
【０２００】
図２２のＢは、表示面１１が、図２２のＡに実線の太い矢印で示すように、ヨー方向に回転されて傾けられる場合に、表示面１１が傾けられる前（初期設定タイミング）に生成される射影画像と、表示面１１が傾けられた後に生成される射影画像とを示している。
【０２０１】
図２２のＢにおいて、表示面１１が傾けられる前では、図５で説明した原理に従って、ユーザの真正面に、ユーザに正対した状態の窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。
【０２０２】
そして、表示面１１が回転されてヨー方向に傾けられた後では、図５で説明した原理に従って、ユーザの真正面に、ヨー方向に傾いた状態の窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。
【０２０３】
すなわち、表示面１１がヨー方向に傾けられても、その傾いた窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、窓がヨー方向に傾くことによって、画像モデルの見える範囲が、窓が傾く前よりも狭い範囲に変わったような射影画像が生成される。
【０２０４】
図２３は、表示面１１がヨー方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。
【０２０５】
図２３は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。
【０２０６】
図２３では、時刻Tにおいて、ユーザの真正面に正対する状態になっていた表示面１１が、時刻T+1において、ヨー方向に傾けられている。
【０２０７】
なお、図２３では、（2D画像の静止画の）画像モデルは、表示面１１が傾けられる前後のいずれにおいても、xy平面に平行になっている。
【０２０８】
また、表示面１１は、ヨー方向に傾けられる前の時刻Tにおいては、xy平面に平行になっているが、ヨー方向に傾けられた後の時刻T+1においては、xy平面と平行にはなっていない。
【０２０９】
画像モデルのあるボクセルV#1は、表示面１１がヨー方向に傾けられる前の時刻Tでは、表示面１１の中心から近い左側の画素P#1に射影されるが、表示面１１が傾けられた後の時刻T+1では、表示面１１の中心から遠い左側の画素P#2に射影される。
【０２１０】
図２４は、図２３のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【０２１１】
画像モデルのボクセルV#1は、表示面１１が傾けられる前の時刻Tでは、窓としての表示面１１の中心から近い左側に画素P#1として見え、表示面１１が傾けられた後の時刻T+1では、窓としての表示面１１の中心から遠い左側（表示面１１によって擬製される窓の窓枠内の左側）に画素P#2として見える。
【０２１２】
その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓をヨー方向に傾けることにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。
【０２１３】
図２５は、図２４のヨー方向に傾けられた表示面１１を、その表示面１１に直交する方向から見た場合の、表示面１１に表示された射影画像の例を示す図である。
【０２１４】
ヨー方向に傾けられた状態の表示面１１に表示される射影画像は、そのようにヨー方向に傾けられた状態の表示面１１を見た場合に、その傾けられた表示面１１を窓として、その窓から画像モデルを見たときに見える景色の画像となるように、いわば、水平方向に間延びした画像になっている。
【０２１５】
図２６は、表示面１１がロール方向に回転されて傾けられる場合の射影画像の生成の例を説明する図である。
【０２１６】
図２６のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０２１７】
表示面１１のロール方向の回転（z軸回りの回転）では、表示面１１は、ユーザによって、位置を変化させずに、初期設定タイミングにおける表示面１１の中心を通るz軸に平行な直線を回転軸として、図２６のＡに実線の太い矢印で示すように、又は、その矢印の反対向きに回転されて傾けられる。
【０２１８】
図２６のＢは、表示面１１が、図２６のＡに実線の太い矢印で示すように、ロール方向に回転されて傾けられる場合に、表示面１１が傾けられる前（初期設定タイミング）に生成される射影画像と、表示面１１が傾けられた後に生成される射影画像とを示している。
【０２１９】
図２６のＢにおいて、表示面１１が傾けられる前では、図５で説明した原理に従って、ユーザの真正面に、長辺及び短辺がユーザの左右方向及び上下方向をそれぞれ向いた状態の窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。
【０２２０】
そして、表示面１１が回転されてロール方向に傾けられた後では、図５で説明した原理に従って、ユーザの真正面に、ロール方向に傾いた状態の窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。
【０２２１】
すなわち、表示面１１がロール方向に傾けられても、その傾いた窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、窓がロール方向に傾くことによって、画像モデルの見える範囲が、窓が傾く前とは異なる範囲に変わったような射影画像が生成される。
【０２２２】
図２７及び図２８は、表示面１１がロール方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。
【０２２３】
図２７は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。
【０２２４】
図２８は、基準座標系を、z軸の正方向から見た図であり、左から右方向、下から上方向、及び、図に垂直な方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。
【０２２５】
図２７及び図２８では、時刻Tにおいて、ユーザの真正面に正対する状態（ロール方向に傾いていない状態）になっていた表示面１１が、時刻T+1において、ロール方向に傾けられている。
【０２２６】
なお、図２７及び図２８では、表示面１１、及び、（2D画像の静止画の）画像モデルは、表示面１１が傾けられる前後のいずれにおいても、xy平面に平行になっている。
【０２２７】
画像モデルのあるボクセルV#1は、表示面１１がロール方向に傾けられる前の時刻Tでは、表示面１１の中心を通る、x軸に平行な直線上の画素P#1に射影されるが、表示面１１が傾けられた後の時刻T+1では、（ロール方向に傾けられていない状態の）表示面１１の中心から左下側の画素P#2に射影される。
【０２２８】
図２９は、図２７及び図２８のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【０２２９】
画像モデルのボクセルV#1は、表示面１１が傾けられる前の時刻Tでは、窓としての表示面１１の中心を通る、x軸に平行な直線上に画素P#1として見え、表示面１１が傾けられた後の時刻T+1では、窓としての表示面１１の中心から左下側（表示面１１によって擬製される窓枠内の左下側）に画素P#2として見える。
【０２３０】
その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓をロール方向に傾けることにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。
【０２３１】
図３０は、図２９のロール方向に傾けられた表示面１１を、同様にロール方向に傾いて見た場合の、表示面１１に表示された射影画像の例を示す図である。
【０２３２】
ロール方向に傾けられた状態の表示面１１に表示される射影画像は、そのようにロール方向に傾けられた状態の表示面１１を見た場合に、その傾けられた表示面１１を窓として、その窓から画像モデルを見たときに見える景色の画像となるように、表示面１１を傾けたロール方向とは逆のロール方向に傾いた画像になっている。
【０２３３】
図３１は、ユーザが水平方向に移動する場合の射影画像の生成の例を説明する図である。
【０２３４】
図３１のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０２３５】
ユーザの水平方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に平行な平面（xy平面に平行な平面）内を、図３１のＡに実線の太い矢印で示すように、左方向に移動するか、又は、図３１のＡに点線の太い矢印で示すように、右方向に移動する。
【０２３６】
図３１のＢは、ユーザが、左方向に移動する場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。
【０２３７】
図３１のＢにおいて、ユーザの移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。
【０２３８】
そして、ユーザが左方向に移動した後では、図５で説明した原理に従って、ユーザの正面の右側に、窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。
【０２３９】
すなわち、ユーザが左方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも右側の範囲に変わったような射影画像が生成される。
【０２４０】
図３１のＣは、ユーザが、右方向に移動する場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。
【０２４１】
ユーザが右方向に移動する場合も、窓としての表示面１１の向こう側に存在する静止画の画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも左側の範囲に変わったような射影画像が生成される。
【０２４２】
図３２は、ユーザが水平方向に移動する場合の射影画像の生成の例を、さらに説明する図である。
【０２４３】
図３２は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。
【０２４４】
図３２では、時刻Tにおいて、表示面１１の真正面に位置していたユーザが、時刻T+1において、表示面１１の正面の左に移動している。
【０２４５】
なお、図３２では、ユーザの移動前、及び、移動後のいずれにおいても、表示面１１、及び、（2D画像の静止画の）画像モデルは、xy平面に平行になっている。
【０２４６】
画像モデルのあるボクセルV#1は、ユーザの移動前の時刻Tでは、表示面１１の中心の画素P#1に射影されるが、ユーザの左への移動後の時刻T+1では、表示面１１の左側の画素P#2に射影される。
【０２４７】
図３３は、図３２のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【０２４８】
画像モデルのボクセルV#1は、ユーザの移動前の時刻Tでは、窓としての表示面１１の中心に画素P#1として見え、ユーザの左への移動後の時刻T+1では、窓としての表示面１１の左に画素P#2として見える。
【０２４９】
その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、ユーザが左に移動することにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。
【０２５０】
図３４は、ユーザが垂直方向に移動する場合の射影画像の生成の例を説明する図である。
【０２５１】
図３４のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０２５２】
ユーザの垂直方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に平行な平面（xy平面に平行な平面）内を、図３４のＡに実線の太い矢印で示すように、上方向に移動するか、又は、図３４のＡに点線の太い矢印で示すように、下方向に移動する。
【０２５３】
図３４のＢは、ユーザが、上方向に移動する場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。
【０２５４】
図３４のＢにおいて、ユーザの移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。
【０２５５】
そして、ユーザが上方向に移動した後では、図５で説明した原理に従って、ユーザの正面の下側に、窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。
【０２５６】
すなわち、ユーザが上方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも下側の範囲に変わったような射影画像が生成される。
【０２５７】
図３４のＣは、ユーザが、下方向に移動する場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。
【０２５８】
ユーザが下方向に移動する場合も、窓としての表示面１１の向こう側に存在する静止画の画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも上側の範囲に変わったような射影画像が生成される。
【０２５９】
図３５は、ユーザが垂直方向に移動する場合の射影画像の生成の例を、さらに説明する図である。
【０２６０】
図３５は、基準座標系を、x軸の正方向から見た図であり、図に垂直な方向、右から左方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。
【０２６１】
図３５では、時刻Tにおいて、表示面１１の真正面に位置していたユーザが、時刻T+1において、表示面１１の正面の上に移動している。
【０２６２】
なお、図３５では、ユーザの移動前、及び、移動後のいずれにおいても、表示面１１、及び、（2D画像の静止画の）画像モデルは、xy平面に平行になっている。
【０２６３】
画像モデルのあるボクセルV#1は、ユーザの移動前の時刻Tでは、表示面１１の中心の画素P#1に射影されるが、ユーザの上への移動後の時刻T+1では、表示面１１の上側の画素P#2に射影される。
【０２６４】
図３６は、図３５のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【０２６５】
画像モデルのボクセルV#1は、ユーザの移動前の時刻Tでは、窓としての表示面１１の中心に画素P#1として見え、ユーザの上への移動後の時刻T+1では、窓としての表示面１１の上に画素P#2として見える。
【０２６６】
その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、ユーザが上に移動することにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。
【０２６７】
図３７は、ユーザが奥行き方向に移動する場合の射影画像の生成の例を説明する図である。
【０２６８】
図３７のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０２６９】
ユーザの奥行き方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に直交する方向に移動する。すなわち、ユーザは、図３７のＡに実線の太い矢印で示すように、奥方向（ユーザから表示面１１に向かう方向）に移動するか、又は、図３７のＡに点線の太い矢印で示すように、手前方向（表示面１１からユーザに向かう方向）に移動する。
【０２７０】
図３７のＢは、ユーザが、奥方向に移動する場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。
【０２７１】
図３７のＢにおいて、ユーザの移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。
【０２７２】
そして、ユーザが奥方向に移動した後では、図５で説明した原理に従って、ユーザの正面の近くに、窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。
【０２７３】
すなわち、ユーザが奥方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも広い範囲に変わったような射影画像が生成される。
【０２７４】
図３７のＣは、ユーザが、手前方向に移動する場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。
【０２７５】
ユーザが手前方向に移動する場合も、窓としての表示面１１の向こう側に存在する静止画の画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも狭い範囲に変わったような射影画像が生成される。
【０２７６】
図３８は、ユーザが奥行き方向に移動する場合の射影画像の生成の例を、さらに説明する図である。
【０２７７】
図３８は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。
【０２７８】
図３８では、時刻Tにおいて、表示面１１の真正面に位置していたユーザが、時刻T+1において、表示面１１の正面のより近い位置に移動している。
【０２７９】
なお、図３８では、ユーザの移動前、及び、移動後のいずれにおいても、表示面１１、及び、（2D画像の静止画の）画像モデルは、xy平面に平行になっている。
【０２８０】
画像モデルのあるボクセルV#1は、ユーザの移動前の時刻Tでは、表示面１１の中心から離れた左の画素P#1に射影されるが、ユーザの奥への移動後の時刻T+1では、表示面１１の中心に近い画素P#2に射影される。
【０２８１】
ここで、ユーザが、奥方向に移動する場合には、ユーザと表示面１１とが近くなり、窓としての表示面１１から見える景色の視野角が大きくなる。
【０２８２】
一方、図１５ないし図１７で説明した、表示面１１が、手前方向に移動される場合も、ユーザと表示面１１とが近くなるので、窓としての表示面１１から見える景色の視野角が大きくなる。
【０２８３】
したがって、ユーザが、奥方向に移動する場合と、表示面１１が、手前方向に移動される場合とは、いずれも、窓としての表示面１１から見える景色の視野角が大きくなる点で共通する。
【０２８４】
但し、ユーザが、奥方向に移動する場合には、ユーザと画像モデルとが近くなるので、窓としての表示面１１から見える景色を構成するオブジェクトのサイズは、ユーザの移動前よりも大きくなる。
【０２８５】
一方、図１５ないし図１７で説明した、表示面１１が、手前方向に移動される場合には、ユーザと画像モデルとの距離は変化しないため、窓としての表示面１１から見える景色を構成するオブジェクトのサイズは、表示面１１の移動前後で変化しない。
【０２８６】
図３９は、図３８のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。
【０２８７】
画像モデルのボクセルV#1は、ユーザの移動前の時刻Tでは、窓としての表示面１１の中心から離れた左に画素P#1として見え、ユーザの奥への移動後の時刻T+1では、窓としての表示面１１の中心に近い位置に画素P#2として見える。
【０２８８】
その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、ユーザが奥に移動することにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。
【０２８９】
＜3D画像の画像モデルを用いる場合の射影画像の生成＞
【０２９０】
図４０は、3D画像の画像モデルを用いる場合の射影画像の生成を説明する図である。
【０２９１】
すなわち、図４０は、ユーザ、表示面１１、及び、3D画像の画像モデルが配置された基準座標系の例を示している。
【０２９２】
ここで、図４０において、3D画像の画像モデルは、奥行きの位置（デプス）が異なる4個のオブジェクトobj#1,obj#2,obj#3,obj#4から構成されている。
【０２９３】
3D画像の画像モデルを用いる場合にも、図５で説明した原理に従って、射影画像が生成される。
【０２９４】
ところで、2D画像の画像モデルを構成するボクセルは、位置の情報として、水平方向、及び、垂直方向の位置の情報を有し、奥行き方向の位置の情報を有していないか、又は、奥行き方向の位置の情報を有していても、その奥行き方向の位置の情報は、すべてのボクセルで、同一の情報になっている。
【０２９５】
一方、3D画像の画像モデル（以下、3D画像モデルともいう）を構成するボクセルは、位置の情報として、水平方向、垂直方向、及び、奥行き方向の位置の情報を有し、奥行き方向の位置の情報は、同一の情報であるとは限らず、異なる情報であることがある。
【０２９６】
そのため、ユーザが移動した場合には、窓としての表示面１１には、実世界で奥行きのある物を見ている場合と同様の運動視差が生じた射影画像が表示される。
【０２９７】
図４１は、ユーザが水平方向に移動する場合の、3D画像モデルを用いた射影画像の生成の例を説明する図である。
【０２９８】
図４１のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０２９９】
ユーザの水平方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に平行な平面（xy平面に平行な平面）内を、図４１のＡに実線の太い矢印で示すように、左方向に移動するか、又は、図４１のＡに点線の太い矢印で示すように、右方向に移動する。
【０３００】
図４１のＢは、ユーザが、水平方向に移動する場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。
【０３０１】
図４１のＢにおいて、ユーザの移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが3D画像モデルを見ているかのような射影画像が生成される。
【０３０２】
ユーザの移動前においては、例えば、オブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2のほぼ全体が、オブジェクトobj#1の後ろに隠れている射影画像が生成されている。
【０３０３】
そして、ユーザが、水平方向のうちの左方向に移動した後では、図５で説明した原理に従って、ユーザの正面の右側に、窓としての表示面１１があり、その窓から、3D画像モデルを見ているかのような射影画像が生成される。
【０３０４】
すなわち、ユーザが左方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも右側の範囲に変わったような射影画像が生成される。
【０３０５】
さらに、ユーザが左方向に移動した場合には、実世界で奥行きのある物を見ながら、左に移動した場合と同様の運動視差が生じた射影画像が生成される。
【０３０６】
そのため、ユーザが左方向に移動した後は、図４１のＢに示すように、オブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2が、オブジェクトobj#1の左側から見える射影画像が生成される。
【０３０７】
同様に、ユーザが、水平方向のうちの右方向に移動する場合も、窓としての表示面１１の向こう側に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも左側の範囲に変わったような射影画像が生成される。
【０３０８】
さらに、ユーザが右方向に移動した場合には、実世界で奥行きのある物を見ながら、右に移動した場合と同様の運動視差が生じた射影画像が生成される。
【０３０９】
そのため、ユーザが右方向に移動した後は、図４１のＢに示すように、オブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2が、オブジェクトobj#1の右側から見える射影画像が生成される。
【０３１０】
図４２は、ユーザが垂直方向に移動する場合の、3D画像モデルを用いた射影画像の生成の例を説明する図である。
【０３１１】
図４２のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０３１２】
ユーザの垂直方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に平行な平面（xy平面に平行な平面）内を、図４２のＡに実線の太い矢印で示すように、上方向に移動するか、又は、図４２のＡに点線の太い矢印で示すように、下方向に移動する。
【０３１３】
図４２のＢは、ユーザが、垂直方向に移動する場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。
【０３１４】
図４２のＢにおいて、ユーザの移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが3D画像モデルを見ているかのような射影画像が生成される。
【０３１５】
ユーザの移動前においては、例えば、オブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2のほぼ全体が、オブジェクトobj#1の後ろに隠れている射影画像が生成されている。
【０３１６】
そして、ユーザが、垂直方向のうちの上方向に移動した後では、図５で説明した原理に従って、ユーザの正面の下側に、窓としての表示面１１があり、その窓から、3D画像モデルを見ているかのような射影画像が生成される。
【０３１７】
すなわち、ユーザが上方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも下側の範囲に変わったような射影画像が生成される。
【０３１８】
さらに、ユーザが上方向に移動した場合には、実世界で奥行きのある物を見ながら、上に移動した場合と同様の運動視差が生じた射影画像が生成される。
【０３１９】
そのため、ユーザが上方向に移動した後は、図４２のＢに示すように、オブジェクトobj#1と、そのオブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2との高さの差が、移動前よりも小さくなったように見える射影画像が生成される。
【０３２０】
同様に、ユーザが、垂直方向のうちの下方向に移動する場合も、窓としての表示面１１の向こう側に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも上側の範囲に変わったような射影画像が生成される。
【０３２１】
さらに、ユーザが下方向に移動した場合には、実世界で奥行きのある物を見ながら、下に移動した場合と同様の運動視差が生じた射影画像が生成される。
【０３２２】
そのため、ユーザが下方向に移動した後は、図４２のＢに示すように、オブジェクトobj#1と、そのオブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2との高さの差が、移動前よりも大きくなったように見える射影画像が生成される。
【０３２３】
図４３は、ユーザが奥行き方向に移動する場合の、3D画像モデルを用いた射影画像の生成の例を説明する図である。
【０３２４】
図４３のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０３２５】
ユーザの奥行き方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に直交する方向に移動する。すなわち、ユーザは、図４３のＡに実線の太い矢印で示すように、奥方向（ユーザから表示面１１に向かう方向）に移動するか、又は、図４３のＡに点線の太い矢印で示すように、手前方向（表示面１１からユーザに向かう方向）に移動する。
【０３２６】
図４３のＢは、ユーザが、奥行き方向に移動する場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。
【０３２７】
図４３のＢにおいて、ユーザの移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが3D画像モデルを見ているかのような射影画像が生成される。
【０３２８】
ユーザの移動前においては、例えば、オブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2のほぼ全体が、オブジェクトobj#1の後ろに隠れている射影画像が生成されている。
【０３２９】
そして、ユーザが、奥行き方向のうちの奥方向に移動した後では、図５で説明した原理に従って、ユーザの正面の近くに、窓としての表示面１１があり、その窓から、3D画像モデルを見ているかのような射影画像が生成される。
【０３３０】
すなわち、ユーザが奥方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、窓から見える画像モデルが、移動前よりも大きくなったような射影画像が生成される。
【０３３１】
さらに、ユーザが奥方向に移動した場合には、実世界で奥行きのある物を見ながら、奥に移動した場合と同様の運動視差が生じた射影画像が生成される。
【０３３２】
そのため、ユーザが奥方向に移動した後は、図４３のＢに示すように、オブジェクトobj#1と、そのオブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2とのサイズの差が、移動前よりも大きくなったように見える射影画像が生成される。
【０３３３】
同様に、ユーザが、奥行き方向のうちの手前方向に移動する場合も、窓としての表示面１１の向こう側に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、窓から見える画像モデルが、移動前よりも小さくなったような射影画像が生成される。
【０３３４】
さらに、ユーザが手前方向に移動した場合には、実世界で奥行きのある物を見ながら、手前に移動した場合と同様の運動視差が生じた射影画像が生成される。
【０３３５】
そのため、ユーザが手前方向に移動した後は、図４３のＢに示すように、オブジェクトobj#1と、そのオブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2とのサイズの差が、移動前よりも小さくなったように見える射影画像が生成される。
【０３３６】
以上のように、3D画像モデルを用いる場合には、ユーザの移動によって生じる運動視差がある射影画像が生成される。
【０３３７】
運動視差は、3D画像モデルを構成するオブジェクトの奥行きの位置（デプス）によって異なるが、このような運動視差は、ユーザが移動する場合の他、表示面１１が動く場合にも与えることができる。
【０３３８】
すなわち、ユーザが、スマートフォンを持って、射影画像を見る場合には、手ぶれによって、表示面１１が動く（振動する）が、運動視差は、そのような表示面１１の動きに基づいて、射影画像に与えることができる。
【０３３９】
図４４は、手ぶれによって、表示面１１が動く場合に、その表示面１１の動きに基づいて、射影画像に与える運動視差を説明する図である。
【０３４０】
図４４のＡは、例えば、スマートフォンが、テーブル等の上に置かれており、表示面１１が動いていない場合の射影画像の例を示している。
【０３４１】
表示面１１が動いていない場合には、運動視差がない射影画像が生成される。
【０３４２】
図４４のＢは、例えば、ユーザが、スマートフォンを手に持っており、手ぶれによって、表示面１１が動く場合の射影画像の例を示している。
【０３４３】
表示面１１が、手ぶれによって、振動するような動きをしている場合、その動きに基づいて、運動視差がある射影画像が生成される。
【０３４４】
図４４のＢでは、ユーザ（の視点）が左右に振動しているかのような運動視差がある射影画像が生成されている。
【０３４５】
以上のように、表示面１１が、手ぶれによって、振動するような動きをしている場合に、その表示面１１の動きに基づいて、運動視差がある射影画像を生成することで、表示面１１に表示される射影画像の立体感を強調することができる。
【０３４６】
図４５は、表示面１１の動きに基づいて、運動視差がある射影画像を生成する方法の例を説明する図である。
【０３４７】
すなわち、図４５は、ユーザ、表示面１１、及び、3D画像モデルが配置された基準座標系を示している。
【０３４８】
例えば、ユーザが、表示面１１の真正面から、水平方向に、表示面１１の動きに対応する大きさで振動するようなわずかな移動、すなわち、図４５において太い矢印で示すような、左方向への移動と右方向への移動とを繰り返す移動を行っていると仮定して、図３１ないし図３３で説明したように、射影画像を生成することで、表示面１１の動きに基づく運動視差がある射影画像を生成することができる。
【０３４９】
＜運動視差の差異の拡大＞
【０３５０】
図４６は、運動視差の差異の拡大を説明する図である。
【０３５１】
上述したように、3D画像モデルを用いる場合には、ユーザが移動すると、運動視差がある射影画像が生成される。
【０３５２】
運動視差は、3D画像モデルを構成するオブジェクトの奥行き方向の位置によって異なり、手前にあるオブジェクトほど、運動視差は大きい。
【０３５３】
ユーザが移動する場合に、運動視差がある射影画像を生成するにあたっては、例えば、3D画像モデルを構成するオブジェクトごとに、運動視差を調整することができる。
【０３５４】
図４６は、ユーザが奥行き方向に移動する場合の、3D画像モデルを用いた射影画像の運動視差の調整の例を説明する図である。
【０３５５】
図４６のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０３５６】
ユーザの奥行き方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に直交する方向に移動する。すなわち、ユーザは、図４６のＡに実線の太い矢印で示すように、奥方向（ユーザから表示面１１に向かう方向）に移動するか、又は、図４６のＡに点線の太い矢印で示すように、手前方向（表示面１１からユーザに向かう方向）に移動する。
【０３５７】
図４６のＢは、ユーザが、奥方向に移動する場合に、運動視差の調整なしで、移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。
【０３５８】
運動視差の調整なしの場合には、図４３で説明した射影画像が生成される。
【０３５９】
すなわち、ユーザの移動前の時刻Tでは、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが3D画像モデルを見ているかのような射影画像が生成される。
【０３６０】
図４６では、ユーザの移動前については、オブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2のほぼ全体が、オブジェクトobj#1の後ろに隠れている射影画像が生成されている。
【０３６１】
そして、ユーザが、奥方向に移動した後の時刻T+1では、図５で説明した原理に従って、ユーザの正面の近くに、窓としての表示面１１があり、その窓から、3D画像モデルを見ているかのような射影画像が生成される。
【０３６２】
すなわち、ユーザが奥方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、窓から見える画像モデルが、移動前よりも大きくなったような射影画像が生成される。
【０３６３】
さらに、ユーザが奥方向に移動した場合には、実世界で奥行きのある物を見ながら、奥に移動した場合と同様の運動視差が生じた射影画像が生成される。
【０３６４】
そのため、ユーザが奥方向に移動した後は、図４６のＢに示すように、オブジェクトobj#1と、そのオブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2とのサイズの差が、移動前よりも大きくなったように見える射影画像が生成される。
【０３６５】
図４６のＣは、ユーザが、奥方向に移動する場合に、運動視差の調整ありで、移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。
【０３６６】
ユーザの移動前の時刻Tでは、図５で説明した原理に従って、図４６のＢと同一の射影画像が生成される。
【０３６７】
そして、ユーザが、奥方向に移動した後の時刻T+1では、図５で説明した原理に従って、ユーザの正面の近くに、窓としての表示面１１があり、その窓から、3D画像モデルを見ているかのような射影画像が生成される。
【０３６８】
すなわち、ユーザが奥方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、窓から見える画像モデルが、移動前よりも大きくなったような射影画像が生成される。
【０３６９】
但し、運動視差の調整ありの場合には、3D画像モデルを構成するオブジェクトのうちの、より手前にあるオブジェクトほど、運動視差の調整なしの場合よりも大きくなった射影画像が生成される。
【０３７０】
なお、運動視差の調整ありの場合には、処理の簡素化のために、3D画像モデルを構成するオブジェクトobj#1ないしobj#4のうちの、例えば、最も手前にあるオブジェクトobj#1等の一部のオブジェクトだけ、運動視差の調整なしの場合よりも大きくした射影画像を生成することができる。
【０３７１】
以上のように、運動視差の調整ありの場合には、3D画像モデルを構成するオブジェクトのうちの、手前にあるオブジェクトほど、運動視差の調整なしの場合よりも大きくなった射影画像が生成されるため、射影画像において、手前にあるオブジェクトと、奥側にあるオブジェクトとの運動視差の差が拡大する。
【０３７２】
その結果、射影画像を見るユーザは、手前にあるオブジェクトと、奥側にあるオブジェクトとの奥行き方向の位置が大きく異なるように感じるので、射影画像の立体感を強調することができる。
【０３７３】
＜表示面１１のバリエーション＞
【０３７４】
図４７は、表示面１１の他の構成例を説明する図である。
【０３７５】
上述の場合には、表示面１１が長方形状の面であることとしたが、表示面１１としては、長方形状の面以外の所定の形状の面を採用することができる。
【０３７６】
図４７では、表示面１１として、長方形を湾曲させた形状の面（以下、湾曲面ともいう）が採用され、ユーザ、及び、画像モデルとともに、基準座標系に配置されている。
【０３７７】
本技術を、例えば、湾曲したタッチパネル等のディスプレイを有するタブレットやスマートフォン等に適用した場合に、表示面１１は、図４７に示したような湾曲面になる。
【０３７８】
表示面１１が湾曲面である場合も、図５で説明した原理に従って、射影画像が生成される。
【０３７９】
図４８は、表示面１１が湾曲面である場合の射影画像の生成の例を説明する図である。
【０３８０】
図４８は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。
【０３８１】
湾曲面である表示面１１に表示される射影画像は、ユーザと、湾曲面である表示面１１の画素P#1とを通る直線と交差する画像モデルの位置のボクセルV#1が有する色を、画素P#1の画素値として、ボクセルV#1を、画素P#1に射影することで生成される。
【０３８２】
なお、表示面１１としては、固定の形状の面の他、可変の形状の面を採用することができる。
【０３８３】
表示面１１が可変の形状の面である場合も、図５で説明した原理に従って、射影画像を生成することができる。
【０３８４】
可変の形状の表示面１１を有する表示部２５（図３）としては、例えば、ある程度歪曲させることができる薄膜の有機EL(Electro Luminescence)ディスプレイ等がある。
【０３８５】
なお、表示面１１が可変の形状である場合に、図５で説明した原理に従って、射影画像を生成するには、表示面１１の形状が必要となるが、表示面１１の形状は、例えば、表示面検出部２２（図２）で検出することができる。
【０３８６】
図４９は、表示面１１の、さらに他の構成例を説明する図である。
【０３８７】
上述の場合には、表示面１１として、１つの面を採用することとしたが、表示面１１としては、複数の面を採用することができる。表示面１１として、複数の面を採用する場合、その複数の面と同一の複数の数の射影画像が生成される。
【０３８８】
図４９では、表示面１１として、水平方向に並んだ２つの表示面１１Ｌ及び１１Ｒが採用されている。
【０３８９】
図４９は、ユーザ、２つの表示面１１Ｌ及び１１Ｒ、及び、画像モデルが配置された基準座標系を示している。
【０３９０】
表示面１１として、２つの表示面１１Ｌ及び１１Ｒを採用する場合には、例えば、ユーザの左眼で観察される左眼用の射影画像と、ユーザの右眼で観察される右眼用の射影画像とを生成し、２つの表示面１１Ｌ及び１１Ｒのうちの左側の表示面１１Ｌに、左眼用の射影画像を表示するとともに、右側の表示面１１Ｒに、右眼用の射影画像を表示することができる。
【０３９１】
この場合、ユーザは、表示面１１Ｌに表示される左眼用の射影画像を、左眼で観察し、表示面１１Ｒに表示される右眼用の射影画像を、右眼で観察する。
【０３９２】
左眼用の射影画像は、ユーザが、表示面１１Ｌに表示された左眼用の射影画像を見た場合にユーザの左眼の網膜に射影される画像が、表示面１１Ｌを窓として、その窓を通して画像モデルを見た場合にユーザの左眼の網膜に射影される画像と同様の画像となるように、図５で説明した原理に従って生成される。
【０３９３】
右眼用の射影画像も、ユーザが、表示面１１Ｒに表示された右眼用の射影画像を見た場合にユーザの右眼の網膜に射影される画像が、表示面１１Ｒを窓として、その窓を通して画像モデルを見た場合にユーザの右眼の網膜に射影される画像と同様の画像となるように、図５で説明した原理に従って生成される。
【０３９４】
図５０は、左眼用の射影画像、及び、右眼用の射影画像の生成の例を説明する図である。
【０３９５】
図５０は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。
【０３９６】
あるボクセルV#1について、左眼用の射影画像は、ユーザの左眼とボクセルV#1とを通る直線と交差する表示面１１の画素PL#1に射影することで生成され、右眼用の射影画像は、ユーザの右眼とボクセルV#1とを通る直線と交差する表示面１１Ｒの画素PR#1に射影することで生成される。
【０３９７】
なお、左眼用の射影画像、及び、右眼用の射影画像は、上述のように、２つの表示面１１Ｌ及び１１Ｒにそれぞれ表示する他、１つの表示面１１に表示することができる。
【０３９８】
すなわち、左眼用の射影画像、及び、右眼用の射影画像は、例えば、１つの表示面１１の左側の領域、及び、右側の領域に、それぞれ表示することができる。
【０３９９】
また、左眼用の射影画像、及び、右眼用の射影画像は、例えば、3Dディスプレイと同様の原理で、１つの表示面１１に表示することができる。
【０４００】
＜本技術を適用した画像表示装置の第２実施の形態＞
【０４０１】
図５１は、本技術を適用した画像表示装置の第２実施の形態の構成例を示す斜視図である。
【０４０２】
図５１において、画像表示装置は、双眼鏡として構成されており、双眼鏡内において、上述した第１実施の形態と同様の射影画像を表示する。
【０４０３】
したがって、双眼鏡として構成される画像表示装置によれば、双眼鏡を覗くユーザに、双眼鏡で、画像モデルを、実際に観察しているかのような感覚を享受させることができる。
【０４０４】
＜本技術を適用した画像表示装置の第３実施の形態＞
【０４０５】
図５２は、本技術を適用した画像表示装置の第３実施の形態の構成例を示す斜視図である。
【０４０６】
図５２において、画像表示装置は、プロジェクタとスクリーンとを有するプロジェクタシステムとして構成されており、スクリーンに、プロジェクタが発する射影画像の光に応じて、対応する画像を表示する。
【０４０７】
プロジェクタシステムとして構成される画像表示装置では、表示面１１は、スクリーン（スクリーンとして機能する壁等を含む）であり、表示面１１であるスクリーンにおいて、プロジェクタが発する光に応じて表示される画像は、プロジェクタとスクリーンとの位置関係によって異なる。
【０４０８】
すなわち、プロジェクタと、表示面１１であるスクリーンとは、それぞれ独立して配置することができるため、プロジェクタとスクリーンとの位置関係は、プロジェクタとスクリーンとを、どのように配置するかによって変化する。そして、プロジェクタとスクリーンとの位置関係が変化する場合には、スクリーンにおいて、プロジェクタが発する射影画像の光に応じて表示される画像も変化する。
【０４０９】
例えば、単純には、プロジェクタが、ある射影画像の光を発している場合に、プロジェクタとスクリーンとの距離を離すと、スクリーンに表示される画像のサイズは大になる。
【０４１０】
したがって、ユーザが、表示面１１であるスクリーンに表示された画像を見た場合に、スクリーンを窓として、その窓を通して画像モデルを見ているかのような感覚をユーザに享受させるには、プロジェクタシステムにおいて、プロジェクタとスクリーンとの位置関係を考慮して、射影画像を生成する必要がある。
【０４１１】
そこで、プロジェクタシステムでは、表示面情報、及び、ユーザ位置情報の他、（スクリーンに）画像を表示する表示装置であるプロジェクタの位置を検出し、表示面情報、及び、ユーザ位置情報の他、プロジェクタの位置に基づき、プロジェクタとスクリーンとの位置関係をも考慮して、射影画像を生成する。
【０４１２】
なお、プロジェクタシステムにおいて、プロジェクタの位置は、例えば、表示面検出部２２（図２）に検出させることができる。
【０４１３】
＜虫眼鏡モード＞
【０４１４】
図５３は、虫眼鏡モードを説明する図である。
【０４１５】
ここで、例えば、第１実施の形態のスマートフォンには、動作モードとして、窓モードと虫眼鏡モードとを搭載することができる。
【０４１６】
窓モードでは、上述したように、ユーザが、表示面１１を窓として、その窓を通して画像モデルを見た場合に見える景色を再現した画像が、射影画像として生成され、表示面１１に表示される。
【０４１７】
一方、虫眼鏡モードでは、例えば、表示面１１を虫眼鏡（のレンズ）として、その虫眼鏡を通して画像モデルを見た場合に見える虚像を再現した画像が、射影画像として生成され、表示面１１に表示される。
【０４１８】
図５３は、動作モードが虫眼鏡モードである場合の射影画像の生成の例を示している。
【０４１９】
図５３のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。
【０４２０】
虫眼鏡モードでは、ユーザは、例えば、表示面１１（を有するスマートフォン）を、その姿勢を変化させずに、初期設定タイミングにおける表示面１１と直交する方向に（z軸の方向に）、図５３のＡに実線の太い矢印で示すように、手前方向（ユーザから見て手前側）に移動するか、又は、図５３のＡに点線の太い矢印で示すように、奥方向（ユーザから見て奥側）に移動する。
【０４２１】
図５３のＢは、表示面１１が、手前方向に移動される場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。
【０４２２】
図５３のＢにおいて、表示面１１の移動前では、ユーザの真正面に、虫眼鏡としての表示面１１があり、その虫眼鏡を通して、虫眼鏡で観察する対象の画像モデルを見ているかのような射影画像が生成される。
【０４２３】
そして、表示面１１が手前方向に移動された後では、ユーザの真正面の手前側に、虫眼鏡としての表示面１１があり、その虫眼鏡を通して、ユーザが画像モデルを見ているかのような射影画像が生成される。
【０４２４】
すなわち、表示面１１が手前方向に移動されても、虫眼鏡としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、虫眼鏡が移動することによって、画像モデルの見える範囲、つまり、視野角が、移動前よりも狭い範囲に変わって、結果として、移動前よりも画像モデルが拡大された射影画像が生成される。
【０４２５】
図５３のＣは、表示面１１が、奥方向に移動される場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。
【０４２６】
表示面１１が奥方向に移動される場合も、虫眼鏡としての表示面１１の向こう側に存在する画像モデルが、その場に留まっており、虫眼鏡が移動することによって、画像モデルの見える範囲、つまり、視野角が、移動前よりも広い範囲に変わって、結果として、移動前よりも画像モデルが縮小した射影画像が生成される。
【０４２７】
以上のように、虫眼鏡モードでは、表示面１１を奥行き方向に移動したときに表示面１１に表示される射影画像が、窓モードにおいて、表示面１１を奥行き方向に移動するときと逆になる。
【０４２８】
すなわち、表示面１１を、手前方向に移動した場合、窓モードでは、窓としての表示面１１から見える画像モデルの範囲が広い範囲になるのに対して、虫眼鏡モードでは、虫眼鏡としての表示面１１から見える画像モデルの範囲が狭くなる。
【０４２９】
また、表示面１１を、奥方向に移動した場合、窓モードでは、窓としての表示面１１から見える画像モデルの範囲が狭い範囲になるのに対して、虫眼鏡モードでは、虫眼鏡としての表示面１１から見える画像モデルの範囲が広くなる。
【０４３０】
したがって、虫眼鏡モードでは、ユーザが表示面１１を手前方向に移動したときには、基準座標系の表示面１１を奥方向に移動し、ユーザが表示面１１が奥方向に移動したときには、基準座標系の表示面１１を手前方向に移動して、図５で説明した原理に従って、射影画像を生成することで、表示面１１が手前方向に移動されたときに虫眼鏡としての表示面１１から見える画像モデルの範囲が狭くなり、表示面１１が奥方向に移動されたときに虫眼鏡としての表示面１１から見える画像モデルの範囲が広くなった射影画像を生成することができる。
【０４３１】
以上のように、本技術を適用した画像表示装置では、表示面１１の少なくとも位置を検出し、位置が検出された表示面１１の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを表示面１１上に射影した射影画像を生成して、表示面１１に表示するので、例えば、表示面１１を動かすことで、ユーザが、所定の画像の中で、見たい領域を、直感的に選択することができるUIを実現することができる。
【０４３２】
すなわち、ユーザは、例えば、表示面１１を奥方向に移動することで、窓としての表示面１１の向こう側に定位しているかのような静止画や動画の画像モデルの中の見たい部分を、容易に選択して見ることができる。また、ユーザは、例えば、表示面１１を手前方向に移動することで、窓としての表示面１１の向こう側に定位しているかのような静止画や動画の画像モデルの全体を、容易に眺めることができる。
【０４３３】
さらに、ユーザは、窓としての表示面１１の向こう側に、画像モデル（として表される構造）が留まって存在するかのような感覚や、窓としての表示面１１を通して、その向こう側にある画像モデルを見ているかのような感覚を享受することができ、その結果、窓から画像モデルを実際に見ているかのような臨場感を感じることができる。
【０４３４】
また、本技術を適用した画像表示装置では、画像モデルが3D画像モデルである場合に、表示面１１の動きに基づいて、運動視差がある射影画像を生成することや、3D画像モデルの手前にあるオブジェクトと奥側にあるオブジェクトとの運動視差の差を拡大することができるので、表示面１１に表示される射影画像の立体感を強調することができる。
【０４３５】
さらに、本技術を適用した画像表示装置では、例えば、その画像表示装置としてのスマートフォンを所持しているユーザが、実際に、場所Aにいるときに、場所Aの過去の撮影時の撮影装置の位置及び姿勢を考慮して、場所Aの画像モデルを用いた射影画像を生成して表示面１１に表示することができるので、ユーザは、表示面１１を窓として、その窓を通して、場所Aの過去の景色を見ているかのような感覚を享受することができる。
【０４３６】
なお、場所Aの撮影時に、場所Aの景色の画像の撮影とともに、音声（音響）の録音が行われている場合には、画像表示装置では、場所Aの景色の画像から得られる画像モデルを用いた射影画像を表示面１１に表示するとともに、場所Aの撮影時に録音された音声を図示せぬスピーカから出力することができる。この場合、画像（射影画像）と音声との両方によって、場所Aの撮影時の状況を再現することができる。
【０４３７】
＜本技術を適用したコンピュータの説明＞
【０４３８】
次に、上述した制御部２４の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０４３９】
そこで、図５４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０４４０】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０４４１】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０４４２】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０４４３】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０４４４】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０４４５】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０４４６】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０４４７】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０４４８】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０４４９】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０４５０】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４５１】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０４５２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４５３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４５４】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０４５５】
なお、本技術は、以下のような構成をとることができる。
【０４５６】
＜１＞
表示装置が画像を表示する表示面の位置を検出する検出部と、
前記検出部により位置が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部と
を備える表示制御装置。
＜２＞
前記検出部は、前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出する
＜１＞に記載の表示制御装置。
＜３＞
前記ユーザの位置を検出する他の検出部をさらに備え、
前記制御部は、前記検出部により位置が検出された前記表示面の画素と、前記他の検出部により検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する
＜２＞に記載の表示制御装置。
＜４＞
前記他の検出部は、前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出する
＜３＞に記載の表示制御装置。
＜５＞
前記検出部は、前記表示面の位置及び姿勢を検出し、
前記制御部は、前記検出部により位置及び姿勢が検出された前記表示面の画素と、前記他の検出部により検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを、前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する
＜３＞又は＜４＞に記載の表示制御装置。
＜６＞
前記検出部は、前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を、前記表示面の姿勢として検出する
＜５＞に記載の表示制御装置。
＜７＞
前記制御部は、前記表示面の位置及び姿勢、並びに、前記ユーザの位置を用いて、前記射影画像を生成する
＜５＞又は＜６＞のいずれかに記載の表示制御装置。
＜８＞
前記制御部は、前記表示面の位置及び姿勢、並びに、前記ユーザの位置を用いて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色を再現した画像を、前記射影画像として生成する
＜７＞に記載の表示制御装置。
＜９＞
前記画像モデルは、2D(Dimensional)画像、又は、3D画像のモデルである
＜１＞ないし＜８＞のいずれかに記載の表示制御装置。
＜１０＞
前記画像モデルは、色と位置の情報を有するボクセルを構成要素として、前記ボクセルで構成される
＜１＞ないし＜９＞のいずれかに記載の表示制御装置。
＜１１＞
前記制御部は、前記表示面の画素と、前記ユーザの位置とを通る直線と交差する前記ボクセルの色を、前記表示面の画素の色として射影した前記射影画像を生成する
＜１０＞に記載の表示制御装置。
＜１２＞
前記ボクセルは、前記ボクセルの水平方向、垂直方向、及び、奥行き方向の位置を有する
＜１０＞又は＜１１＞に記載の表示制御装置。
＜１３＞
前記制御部は、前記射影画像内のオブジェクトのうちの、奥行き方向の位置が異なるオブジェクトの運動視差の差異を拡大した前記射影画像を生成する
＜８＞に記載の表示制御装置。
＜１４＞
前記制御部は、前記表示面の動きに基づいて、運動視差を与えた前記射影画像を生成する
＜８＞に記載の表示制御装置。
＜１５＞
前記表示面は、所定の形状の面である
＜１＞ないし＜１４＞のいずれかに記載の表示制御装置。
＜１６＞
前記表示面は、固定の形状の面、又は、可変の形状の面である
＜１＞ないし＜１５＞のいずれかに記載の表示制御装置。
＜１７＞
前記検出部は、前記表示装置の位置を、さらに検出し、
前記表示装置と前記表示面との位置関係が変化する場合、前記制御部は、前記表示面の位置及び姿勢、前記ユーザの位置、及び、前記表示装置の位置を用いて、前記射影画像を生成する
＜８＞に記載の表示制御装置。
＜１８＞
前記制御部は、撮影装置において前記画像モデルとなるコンテンツを撮影したときの、前記撮影装置の位置及び姿勢に基づいて、前記画像モデルを配置して、前記射影画像を生成する
＜８＞に記載の表示制御装置。
＜１９＞
前記制御部は、複数の前記射影画像を生成する
＜８＞に記載の表示制御装置。
＜２０＞
前記制御部は、左眼用の射影画像と、右眼用の射影画像とを生成する
＜１９＞に記載の表示制御装置。
＜２１＞
前記左眼用の射影画像と、前記右眼用の射影画像とは、１つの表示面に表示される
＜２０＞に記載の表示制御装置。
＜２２＞
双眼鏡として構成される
＜１＞ないし＜８＞のいずれかに記載の表示制御装置。
＜２３＞
表示装置が画像を表示する表示面の位置を検出し、
位置が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する
ステップを含む表示制御方法。
＜２４＞
表示装置が画像を表示する表示面の位置を検出する検出部と、
前記検出部により位置が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部と
して、コンピュータを機能させるためのプログラム。
【符号の説明】
【０４５７】
１１  表示面，  １２  カメラ，  ２１  データ取得部，  ２２  表示面検出部，  ２３  ユーザ検出部，  ２４  制御部，  ２５  表示部，  ３１  基準座標系生成部，  ３２  表示面情報取得部，  ３３  画像モデル生成部，  ３４  ユーザ位置情報取得部，  ３５  表示面配置部，  ３６  画像モデル配置部，  ３７  ユーザ配置部，  ３８  画像生成部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
0006601392.tif 000002
【図２】
0006601392.tif 000003
【図３】
0006601392.tif 000004
【図４】
0006601392.tif 000005
【図５】
0006601392.tif 000006
【図６】
0006601392.tif 000007
【図７】
0006601392.tif 000008
【図８】
0006601392.tif 000009
【図９】
0006601392.tif 000010
【図１０】
0006601392.tif 000011
【図１１】
0006601392.tif 000012
【図１２】
0006601392.tif 000013
【図１３】
0006601392.tif 000014
【図１４】
0006601392.tif 000015
【図１５】
0006601392.tif 000016
【図１６】
0006601392.tif 000017
【図１７】
0006601392.tif 000018
【図１８】
0006601392.tif 000019
【図１９】
0006601392.tif 000020
【図２０】
0006601392.tif 000021
【図２１】
0006601392.tif 000022
【図２２】
0006601392.tif 000023
【図２３】
0006601392.tif 000024
【図２４】
0006601392.tif 000025
【図２５】
0006601392.tif 000026
【図２６】
0006601392.tif 000027
【図２７】
0006601392.tif 000028
【図２８】
0006601392.tif 000029
【図２９】
0006601392.tif 000030
【図３０】
0006601392.tif 000031
【図３１】
0006601392.tif 000032
【図３２】
0006601392.tif 000033
【図３３】
0006601392.tif 000034
【図３４】
0006601392.tif 000035
【図３５】
0006601392.tif 000036
【図３６】
0006601392.tif 000037
【図３７】
0006601392.tif 000038
【図３８】
0006601392.tif 000039
【図３９】
0006601392.tif 000040
【図４０】
0006601392.tif 000041
【図４１】
0006601392.tif 000042
【図４２】
0006601392.tif 000043
【図４３】
0006601392.tif 000044
【図４４】
0006601392.tif 000045
【図４５】
0006601392.tif 000046
【図４６】
0006601392.tif 000047
【図４７】
0006601392.tif 000048
【図４８】
0006601392.tif 000049
【図４９】
0006601392.tif 000050
【図５０】
0006601392.tif 000051
【図５１】
0006601392.tif 000052
【図５２】
0006601392.tif 000053
【図５３】
0006601392.tif 000054
【図５４】
0006601392.tif 000055