(57)【要約】【課題】  広視野な表示部に画像を表示する表示システムに対して、違和感の少ない表示画像を生成する。【解決手段】  入力画像を撮影した時の撮影画角を取得する第１の取得手段と、表示部を含む表示システムにおいて、視点位置から前記表示部を鑑賞した時の見込み角である表示角を示す表示システム情報を取得する第２の取得手段と、仮想空間に投影面を設定する設定手段と、前記入力画像と前記投影面との対応関係に基づいて、前記投影面をレンダリングすることで、前記表示部に表示するための表示画像を生成する生成手段とを有し、前記生成手段は、前記撮影画角に基づいて前記仮想空間に仮想的な視点位置を設定し、前記仮想的な視点位置から前記投影面をレンダリングすることを特徴とする。【選択図】  図２
2019146010.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を撮影した時の撮影画角を取得する第１の取得手段と、
表示部を含む表示システムにおいて、視点位置から前記表示部を鑑賞した時の見込み角である表示角を示す表示システム情報を取得する第２の取得手段と、
仮想空間に投影面を設定する設定手段と、
前記入力画像と前記投影面との対応関係に基づいて、前記投影面をレンダリングすることで、前記表示部に表示するための表示画像を生成する生成手段とを有し、
前記生成手段は、前記撮影画角に基づいて前記仮想空間に仮想的な視点位置を設定し、前記仮想的な視点位置から前記投影面をレンダリングすることを特徴とする画像処理装置。
【請求項２】
さらに、前記表示部を鑑賞する視点位置を示す視点情報を取得する第３の取得手段と、
前記視点情報が示す前記視点位置から前記表示部を鑑賞した時の見込み角である表示角と前記撮影画角とを比較する比較手段を有し、
前記生成手段は、前記比較手段により前記撮影画角より前記表示角の方が大きいと判定された場合に、前記視点情報が示す前記視点位置とは異なる位置に前記仮想的な視点位置を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記比較手段により前記撮影画角より前記表示角の方が小さいと判定された場合に、前記視点情報が示す前記視点位置に前記仮想的な視点位置を設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記生成手段は、前記比較手段により前記撮影画角より前記表示角の方が大きいと判定された場合に、前記視点情報が示す前記視点位置から前記投影面から離れる方向に前記仮想視点位置を移動させることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記設定手段は、前記入力画像に基づいて、前記投影面を設定することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記表示部は、画像を表示可能な表示画面を複数、配置された構成であることを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
【請求項７】
コンピュータを請求項１乃至６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【請求項８】
入力画像を撮影した時の撮影画角を取得し、
表示部を含む表示システムにおいて、視点位置から前記表示部を鑑賞した時の見込み角である表示角を示す表示システム情報を取得し、
仮想空間に投影面を設定し、
前記撮影画角に基づいて前記仮想空間に仮想的な視点位置を設定し、前記入力画像と前記投影面との対応関係に基づいて、前記仮想的な視点位置から前記投影面をレンダリングすることで、前記表示部に表示するための表示画像を生成することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広視野な画像を表示する表示システムのための画像を生成する技術に関する。
【背景技術】
【０００２】
従来、画像を表示する表示システムの一つとして、鑑賞者の視野を覆うように配置された表示画面に画像を表示することで、鑑賞者に高い臨場感を与えるシステムが知られている。
【０００３】
特許文献１は、鑑賞者に凹面を向けた球面状の広視野角のスクリーンに画像を表示する方法について記載している。特許文献１に記載された方法によれば、平面状の画像を球面形状に貼り付けるマッピング処理を行うことで、スクリーンに表示する画像を生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３１８７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
広視野な画像を生成するためには、広い撮影画角で撮像された画像であることが望ましい。しかしながら、鑑賞者が表示部を見込む角度（以降、表示角と記述する）に対して撮影画角が足らない場合もある。このような場合に、表示角を満たすように画像の画角を広げる画像処理を画像に対して実行すると、従来技術においては、鑑賞者の視点位置などを考慮していないため、表示された画像に不自然な歪みが発生し、鑑賞者に違和感を与えてしまう。
【０００６】
そこで本発明は、広視野な表示部に画像を表示する表示システムに対して、違和感の少ない表示画像を生成することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため本願発明は、入力画像を撮影した時の撮影画角を取得する第１の取得手段と、表示部を含む表示システムにおいて、視点位置から前記表示部を鑑賞した時の見込み角である表示角を示す表示システム情報を取得する第２の取得手段と、仮想空間に投影面を設定する設定手段と、前記入力画像と前記投影面との対応関係に基づいて、前記投影面をレンダリングすることで、前記表示部に表示するための表示画像を生成する生成手段とを有し、前記生成手段は、前記撮影画角に基づいて前記仮想空間に仮想的な視点位置を設定し、前記仮想的な視点位置から前記投影面をレンダリングすることを特徴とする。
【発明の効果】
【０００８】
広視野な表示部に画像を表示する表示システムに対して、違和感の少ない表示画像を生成することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置のハードウェア構成を示す図
【図２】画像処理装置の機能構成を示すブロック図
【図３】画像処理装置において実行される処理の流れを示すフローチャート
【図４】表示システムの構成例を示す図
【図５】表示画像生成処理の流れを示すフローチャート
【図６】表示部と投影面との関係を示す図
【図７】平面投影面と入力画像との対応関係を示す図
【図８】表示部と投影面との関係をＸＺ平面で見た図
【図９】仮想視点位置の設定方法を示す図
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を必ずしも限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１１】
＜第１実施形態＞
本実施形態では、画像を表示可能な平面状のディスプレイを３つ、鑑賞者の視野を覆うように配置することで、広視野な画像を表示する表示システムのための画像処理装置を例に説明する。図４は、本実施形態が想定する表示システムの例を示す。本実施形態における表示システムにおいては、センターディスプレイ４０１、左ディスプレイ４０２、右ディスプレイ４０３の３つのディスプレイにより、画像を表示する表示部が構成される。センターディスプレイ４０１、左ディスプレイ４０２、右ディスプレイ４０３は、上方から見たときに等脚台形を描くように配置されている。各ディスプレイは例えば、液晶ディスプレイなどの自発光デバイスを用いる。センターディスプレイ４０１は、鑑賞者の正面に配置されている。左ディスプレイ４０２は、センターディスプレイ４０１の鑑賞者から見て左側の端と接し、かつセンターディスプレイ４０１とのなす角が角度θｓｃを有するように配置されている。同様に右ディスプレイ４０３は、センターディスプレイ４０１の鑑賞者から見て右側の端と接し、かつセンターディスプレイ４０１とのなす角が角度θｓｃを有するように配置されている。従って３つのディスプレイは、各ディスプレイ面からの法線が交点をもつように、配置される。そして各ディスプレイ面の交点側に、それぞれに対応する表示画像を表示する。このように３つの平面状の表示画面（ディスプレイ）を配置することで、表示部が鑑賞者の視野を覆う。この表示システムに画像を表示すると、鑑賞者に対して、表示されている画像を撮像した場にいるかのような臨場感を与えることができる。本実施形態では、図４に示す表示システムに表示する表示画像を生成する画像処理装置について、説明する。
【００１２】
なお、本実施形態において、鑑賞者が表示システムにおける表示部（３つのディスプレイ）に表示された画像を見込む角度を、表示角と呼ぶ。また、各ディスプレイに表示する表示画像は、いずれも共通の入力画像から生成される。つまり本実施形態では、１台の撮像装置（例えば、デジタルカメラ）を用いて撮影した入力画像に基づいて、３つの表示画像が生成されることになる。
【００１３】
図１は、本実施形態における画像処理装置のハードウェア構成を示す。ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１００を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。ＨＤＤＩ／Ｆ１０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置を接続する。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開し、同様に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスであり、キーボードやマウスなどの入力デバイス１０７を接続する。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことが可能である。出力Ｉ／Ｆ１０８は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスであり、液晶ディスプレイやプロジェクタなどの出力デバイス１０９を接続する。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９にデータを送り、表示を実行させることができる。本実施形態において出力デバイス１０９は、図４に示す表示部を有する表示システムである。
【００１４】
図２は、本実施形態における画像処理装置の機能構成を示すブロック図である。図２（ａ）において画像処理装置は、投影面設定部２０１、画像取得部２０２、表示装置情報取得部２０３、視点位置情報取得部２０４、撮像パラメータ取得部２０５、表示画像生成部２０６、画像出力部２０７を有する。投影面設定部２０１は、入力画像から表示システムにおける各ディスプレイに表示する表示画像を生成するための投影面を設定する。本実施形態では、入力画像に対応した平面状の仮想的な投影面（以降、平面投影面と呼ぶ）を用いて、入力画像から３つの表示画像を生成する。平面投影面は、入力画像のアスペクト比と撮像によって得られた入力画像を撮像した際の撮像画角に応じて設定される。そこで投影面設定部２０１は、視点位置と入力画像に基づいて平面投影面を設定する。
【００１５】
画像取得部２０２は、撮像することで得られた画像を取得し、入力画像として表示画像生成部２０６に出力する。
【００１６】
表示システム情報取得部２０３は、表示システムにおける表示部（ここではディスプレイ）に関する情報を取得する。本実施形態では、ディスプレイの数、各ディスプレイ面の形状、大きさ、複数のディスプレイの位置関係を示す情報を取得するものとする。
【００１７】
視点情報取得部２０４は、実空間における鑑賞者の視点位置を示す視点情報を取得する。視点情報とは、表示システムにおける画像表示部を鑑賞する際の、鑑賞者の視点の３次元的な位置を示す情報である。本実施形態においては、鑑賞者が鑑賞する前に、事前に表示システムに表示する表示画像を生成するものとする。ただし図４に示す表示システムにおいては、表示角が変わると、各ディスプレイに表示する表示画像も変わる。表示角は、鑑賞者がどの程度ディスプレイから離れた位置からディスプレイを鑑賞するかに応じて異なる。そこで本実施形態では、事前に表示画像を生成するために、どの位置から鑑賞者が鑑賞するかを想定しておく必要がある。本実施形態では、鑑賞者がディスプレイを鑑賞するのに望ましい視点位置を視点情報として取得することで、視点位置を特定しておくものとする。
【００１８】
撮像パラメータ取得部２０５は、撮像により入力画像を取得した際に設定されていた、撮像装置の撮像パラメータを取得する。撮像パラメータ取得部２０５は、入力画像に付帯されたメタデータに基づいて、撮像パラメータを取得することができる。あるいは、入力デバイス１０７からユーザが入力した情報に基づいて、撮像パラメータを取得する形態としてもよい。
【００１９】
表示画像生成部２０６は、視点位置と各ディスプレイとの位置関係に基づいて、１つの入力画像から、各ディスプレイに表示する表示画像を生成する。表示画像生成部２０６は、入力画像を撮影した際の撮影画角と表示部における表示角とに基づいて、仮想的な視点位置を制御することにより、広視野な表示画像を生成する。表示画像生成部２０６の詳細については、後述する。画像出力部２０７は、生成された３つの表示画像を、各ディスプレイに出力する。
【００２０】
以下、本実施形態の画像処理装置が実行する処理の流れについて説明する。
【００２１】
図３は本実施形態の画像処理装置で行われる処理の流れを示すフローチャートである。ＣＰＵ１０１は、ＲＯＭ１０３又はＨＤＤ１０４に格納された図３に示すフローチャートを実現するプログラムを読み出して、ＲＡＭ１０２をワークエリアとして実行する。これによりＣＵ１０１は、図２に示す各機能構成としての役割を果たす。なお、以降のフローチャートにおいては各工程（ステップ）を「Ｓ」と表記することとする。
【００２２】
Ｓ３０１において画像取得部２０２は、ＨＤＤ１０５に記憶された撮像画像を表す撮像画像データを入力画像として取得し、ＲＡＭ１０２に格納する。
【００２３】
Ｓ３０２において撮像パラメータ取得部２０５は、撮像画像データに付帯されたメタデータから、撮像パラメータを取得する。本実施形態において撮像パラメータ取得部２０５は、入力画像を撮影した時の撮影画角やレンズの射影方法を特定する情報を撮像パラメータとして取得する。本実施形態では、一般的なレンズで使用される中心射影方式のレンズを介して入力画像が撮像されたものとする。
【００２４】
Ｓ３０３において表示システム情報取得部２０３は、表示システムにおける表示部に関する表示システム情報を取得する。本実施形態において、表示システム情報取得部２０３は、画像を表示するディスプレイの数、各ディスプレイ面の形状、大きさ、各ディスプレイの配置を示す情報を取得する。本実施形態においては、図４に示すように、ディスプレイの数は３台である。各ディスプレイの形状は、平面で、幅Ｗｓｃ、高さＨｓｃの矩形である。３つのディスプレイの配置は、センターディスプレイと右ディスプレイとの間の開き角、およびセンターディスプレイと左ディスプレイとの間の開き角がいずれも角度θｓｃである。また、視点位置から３つのディスプレイにより構成される表示部を鑑賞した時の見込み角（表示角）は２φとする。これらの表示システム情報は、ユーザの指示に基づいて入力デバイス１０７からＲＡＭ１０２へ取得する。あるいは、これらの情報をあらかじめ表示システム情報のパッケージとしてＨＤＤ１０５に保持しておき、ＨＤＤ１０５から必要に応じて選択するようにしても良い。
【００２５】
Ｓ３０４において視点情報取得部２０４は、ユーザの指示に基づいて入力デバイス１０７から視点情報を取得する。本実施形態では視点情報取得部２０４は、センターディスプレイ４０１の画面における中心位置からの距離Ｄｖｉｅｗを視点情報として取得する。
【００２６】
Ｓ３０５において投影面設定部２０１は、表示画像を生成する際に使用する平面投影面を設定する。投影面の設定処理の詳細は後述する。
【００２７】
Ｓ３０６において表示画像生成部２０６は、各ディスプレイに表示する表示画像を示す表示画像データを生成する。表示画像生成処理の詳細は後述する。
【００２８】
Ｓ３０７において画像出力部２０７が生成された各ディスプレイに対応する表示画像をＲＡＭ１０２から出力Ｉ／Ｆ１０８を介して出力デバイス１０９に出力する。あるいは、生成された表示画像をＨＤＤ１０５に記憶するようにしてもよい。
【００２９】
＜投影面設定処理＞
次に、投影面設定処理について詳細に説明する。本実施形態における投影面設定処理では、入力画像に対応する平面状の投影面（以下、平面投影面とする）を設定する。平面投影面は、入力画像のアスペクト比と同じアスペクト比を持つ平面で構成される。投影面設定処理部２０１は、仮想空間において視点位置から見た際の平面投影面の見込み角が、撮影画角と一致するようにサイズと位置を算出し、仮想空間上に平面投影面を配置される。ここで、水平方向の撮影画角の半画角をθとする。本実施形態では、仮想空間において、視点位置を原点とするＸＹＺ３次元座標を定義する。図８は、仮想空間において表示部、平面投影面を上方から見たＸＺ平面を示す図である。図８に示すように平面投影面はＸＹ平面に平行で、かつＺ軸が平面投影面の中心を通るような位置に配置される。なお表示部を表す平面を仮想空間上に配置すると、原点（視点位置）とセンターディスプレイの中心位置との距離がＤｖｉｅｗとなるように、表示部の各ディスプレイは配置されることになる。つまりセンターディスプレイの中心座標は（０，０，Ｄｖｉｅｗ）である。３つのディスプレイは、Ｚ軸を中心に左右対称になるように配置されている。
【００３０】
＜表示画像生成処理＞
ここで表示画像生成処理について詳細に説明する。表示画像生成部２０６は、仮想空間において視点位置に配置された仮想カメラにより平面投影面をレンダリングすることで、各ディスプレイに対応する表示画像を生成する。
【００３１】
図２（ｂ）は、表示画像生成部２０６の詳細な構成を示すブロック図である。第１算出部２０６１は、入力画像と平面投影面との対応関係を算出する。レンダリング処理部２０６２は、入力画像と平面投影面との対応関係を用いて、平面投影面をレンダリングする。
【００３２】
図５は、本実施例における表示画像生成処理の詳細を示すフローチャートである。以下フローチャートの各ステップについて説明する。
【００３３】
Ｓ５０１において第１算出部２０６１は、平面仮想投影面の各頂点の３次元座標と撮影画像の画素位置を示す２次元座標の間の対応付けを行う。これは、一般的なＣＧレンダリングにおけるＵＶマッピングと同様の処理である。仮想空間における平面投影面の各頂点の３次元座標と入力画像の画素位置を示す２次元座標の間の対応付けを行う。これは、一般的なＣＧレンダリングにおけるＵＶマッピングと同様の処理である。中心射影のレンズを介して撮像された入力画像を用いる場合、図７に示すように、平面投影面の四隅の座標それぞれを、入力画像の四隅の画素位置を示す座標と対応付ける。ここでは、入力画像において、左上の画素を原点（０，０）とするＵＶ座標系により各画素の画素位置を示すものとする。第１算出部２０６１は、入力画像における各頂点のＵＶ座標を取得し、平面投影面の各頂点の３次元座標と対応づける。四隅以外の各画素のＵＶ座標については、線形補間により算出する。なお、魚眼レンズのようにレンズの射影方式が等距離射影や等立体角射影の場合は、中心射影で再投影を行ってから同様の処理を行えばよい。
【００３４】
Ｓ５０２においてレンダリング処理部２０６２は、表示角と水平方向の撮影画角とを比較する。表示角の方が撮影画角よりも大きい場合はＳ５０３へと進み、そうでなければＳ５０４へと進む。
【００３５】
Ｓ５０３においてレンダリング処理部２０６２は、レンダリング処理の基準となる仮想的な視点の位置（以降、仮想視点位置）を設定する。具体的には、仮想視点位置から表示部を見た際の見込み角を仮想表示角とし、仮想表示角と撮影画角とが一致するように仮想視点位置を設定する。図８は、仮想視点位置と視点情報が示す視点位置とが一致している場合の平面投影面と表示部との関係を示した図である。もし、図８のように撮影画角よりも表示部の表示角の方が大きい場合、このまま表示部を構成する各ディスプレイ面に平面投影面を射影すると、表示部における左右に、画像が表示されない領域が発生してしまう。そこで本実施形態においてレンダリング処理部２０６２は、撮影画角と表示角に応じてレンダリング用の仮想視点位置を視点位置とは異なる位置に設定する。図９は、仮想視点位置を説明するための図である。レンダリング処理部２０６２は仮想表示角φ’が撮影画角θに一致する位置まで、仮想視点位置をＺ軸負の方向へと移動させる。
【００３６】
Ｓ５０４においてレンダリング処理部２０６２は、表示部における点Ｍ（ｘ，ｙ，ｚ）に対応する平面投影面における点Ｍ’のＸ座標ｘｍ’を式（１）により算出する。
【００３７】
【数１】
2019146010.tif 000003
【００３８】
ここで、φｍは、点ＭからＸＺ平面におろした垂線の足を点Ｍｘｚとしたときに、ベクトルＯＭｘｚとＺ軸とのなす角である。また、Ｗｆｌａｔは、平面投影面の幅である。
【００３９】
Ｓ５０５においてレンダリング処理部２０６２は、表示部における点Ｍ（ｘ，ｙ，ｚ）に対応する平面投影面における点Ｍ’のＹ座標ｙｍ’をＳ５０４で用いた式（１）を用いて算出する。この際、水平方向の撮影画角θの代わりに垂直方向の撮影画角を用いる。また、角度φｍの代わりに、点ＭからＹＺ平面におろした垂線の足を点ＭｙｚとしたときのベクトルＯＭｙｚとＺ軸とのなす角を用いる。さらにＷｆｌａｔの代わりに平面投影面の高さを用いて計算する。なお、Ｚ座標については、平面投影面が平面であるため、平面投影面上のどの点においてもＺ座標は変わらない。よって、常に投影面設定処理において設定された平面投影面のＺ座標と一致させる。
【００４０】
Ｓ５０６においてレンダリング処理部２０６２は、平面投影面を示す３次元座標と入力画像を示す２次元座標との対応関係を用いて、平面投影面上の点Ｍ’の３次元座標から入力画像における位置Ｉ（ｕ，ｖ）を算出しサンプリングする。具体的には、位置Ｉ（ｕ，ｖ）近傍の４画素の画素値を取得し、各４画素とＩ（ｕ，ｖ）との距離に応じた補間演算を行うことで、点Ｍに表示すべき画素値を決定する。
【００４１】
Ｓ５０７においてレンダリング処理部２０６２は、表示部における全ての点に対して表示すべき表示画像における画素の画素値を算出したか否かを判定する。もし、全ての画素に対して画素値を算出していれば処理を終了し、終わっていなければまだ処理の未処理の画素へと点Ｍを更新し、Ｓ５０４に戻って処理を継続する。
【００４２】
以上の処理により、撮影画角に対して表示部を鑑賞する際の表示角が大きい場合に、撮影画角と仮想視点位置での表示角が一致するように仮想視点位置を設定し、表示画像を生成する。これにより、表示角を満たした違和感の少ない表示画像を生成することができる。
【００４３】
なお本実施形態では、なお、図２に示す構成をＣＰＵ１０１がプログラムを実行させることにより実現する場合を例に説明した。しかしながら、図２に示す各構成の一部またはその全てを、専用の処理回路により実現してもよい。
【００４４】
＜その他の実施形態＞
なお上述の実施形態において、表示画像を表示する表示システムにおいて、３つのディスプレイにより表示部を構成する場合を例に説明した。表示部は、自発光型ディスプレイ以外にも、プロジェクタにより画像を投影するスクリーンを用いてもよい。この場合表示システムとしては、複数のスクリーンそれぞれに対応する複数のプロジェクタを、各スクリーンに表示画像を投影できるように設置する。あるいは、複数のプロジェクタが白い壁に投影する表示システムにも上記の実施形態を適用することができる。画像を投影する壁を上方から見たときに、図４に示すディスプレイと同様の形状になっている場合、撮影画角と仮想視点位置での表示角が一致するように仮想視点位置を設定し、表示画像を生成することで同様の効果を得ることができる。なおこの場合白い壁に対して画像が投影される領域を、表示部とみなして表示システム情報を取得する。
【００４５】
また表示部として、平面を水平方向に湾曲させたような湾曲表示画面を用いることもできる。
【００４６】
また上述の実施形態では、図４に示すように鑑賞者に対して大型のディスプレイを用いた表示部を例に説明した。しかしながら、例えば複数の平面上の表示画面を用いて、頭部のみを覆う程度の大きさの表示部であっても、同様の表示システムを構成できる。例えば、ヘッドマウントディスプレイなどである。この場合も、表示部を構成する表示画面が平面であり、画像を表示する側に各表示画面の法線が交点を持つように配置することで、臨場感のある広視野な画像を表示することができる。このような表示システムに対しても、上述の実施形態と同様に、共通の入力画像をレンダリングすることで、違和感のない広視野な表示画像を生成できる。
【００４７】
また前述の実施形態において視点情報は、望ましい鑑賞者の位置を指定することにより、特定された。しかしながら例えば、実際に鑑賞者の位置を検出し、実際に表示システムを鑑賞している鑑賞者に応じて視点情報を設定してもよい。
【００４８】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４９】
２０１  投影面設定部
２０２  画像取得部
２０３  表示システム情報取得部
２０４  視点情報取得部
２０５  撮像パラメータ取得部
２０６  表示画像生成部
２０７  画像出力部
【図１】
2019146010.tif 000004
【図２】
2019146010.tif 000005
【図３】
2019146010.tif 000006
【図４】
2019146010.tif 000007
【図５】
2019146010.tif 000008
【図６】
2019146010.tif 000009
【図７】
2019146010.tif 000010
【図８】
2019146010.tif 000011
【図９】
2019146010.tif 000012