(57)【要約】【課題】従来技術では、画面から飛び出して見える立体像によって生じるべき影を、現実空間における床や壁などに作成することは不可能であった。【解決手段】画像処理装置であって、視差画像を表示することにより仮想物体の立体像を観察者に知覚させる場合における、当該立体像の擬似的な影を現実空間に作成するための陰影画像を、前記仮想物体の位置及び形状を特定可能なデータと、前記陰影画像を現実空間に投影する画像投影手段における投影領域の位置と大きさを示す情報とに基づいて生成する、ことを特徴とする。【選択図】図１
2014103599.tif 000002
【特許請求の範囲】
【請求項１】
視差画像を表示することにより仮想物体の立体像を観察者に知覚させる場合における、当該立体像の擬似的な影を現実空間に作成するための陰影画像を、前記仮想物体の位置及び形状を特定可能なデータと、前記陰影画像を現実空間に投影する画像投影手段における投影領域の位置と大きさを示す情報とに基づいて生成する、ことを特徴とする画像処理装置。
【請求項２】
前記仮想物体の位置及び形状を特定可能なデータはメッシュデータであり、
前記画像投影手段の位置を示す点と前記画像投影手段の光軸と直交する仮想的な平面上の任意の点とを結ぶ直線が前記メッシュデータで特定される仮想物体の表面形状を示す板状の要素と交差するかどうかを判定し、交差すると判定された場合に、当該交差する点に対応する画素を、影部分を示す画素とすることで前記陰影画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像投影手段と前記立体像との間に実物体が存在する場合には、当該実物体よりも前記画像投影手段に近い位置に存在する前記板状の要素に対してのみ前記交差判定を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記観察者の視点位置を示す情報、前記仮想物体の位置及び形状を特定可能なデータ及び前記視差画像を表示する立体像表示手段における表示領域のサイズを示す情報に基づいて、前記視差画像を生成する手段をさらに備えたことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記視差画像のデータを取得する手段と、
取得した前記視差画像のデータ、前記立体像表示手段における表示領域のサイズを示す情報及び前記観察者の視点位置を示す情報に基づいて、前記メッシュデータを生成する手段と、
をさらに備えたことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項６】
前記視差画像は、左眼用画像と右眼用画像とからなり、
前記メッシュデータを生成する手段は、前記左眼用画像と前記右眼用画像とを対応付け、対応付けられた画素のペアについて前記立体像表示手段の表示画面上の画素位置を導出し、導出された画素位置及び前記観察者の視点位置を示す情報から前記立体像を構成する頂点座標群を得て、得られた頂点座標群を用いて前記立体像の表面形状を推定することにより、前記メッシュデータを生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
視差画像を表示することにより仮想物体の立体像を観察者に知覚させる場合における、当該立体像により生じる擬似的な集光模様を現実空間に作成するための集光模様画像を、前記仮想物体の位置、形状及び光学特性を特定可能なデータと、前記集光模様画像を現実空間に投影する画像投影手段における投影領域の位置と大きさを示す情報とに基づいて生成する、ことを特徴とする画像処理装置。
【請求項８】
視差画像を表示することにより仮想物体の立体像を観察者に知覚させる場合における、当該立体像の擬似的な影を現実空間に作成するための陰影画像を、前記仮想物体の位置及び形状を特定可能なデータと、前記陰影画像を現実空間に投影する画像投影手段における投影領域の位置と大きさを示す情報とに基づいて生成する、ことを特徴とする画像処理方法。
【請求項９】
視差画像を表示することにより仮想物体の立体像を観察者に知覚させる場合における、当該立体像により生じる擬似的な集光模様を現実空間に作成するための集光模様画像を、前記仮想物体の位置、形状及び光学特性を特定可能なデータと、前記集光模様画像を現実空間に投影する画像投影手段における投影領域の位置と大きさを示す情報とに基づいて生成する、ことを特徴とする画像処理方法。
【請求項１０】
コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【請求項１１】
請求項１〜６のいずれか１項に記載の画像処理装置と、
前記視差画像を表示する立体像表示手段と、
前記陰影画像を現実空間に投影する画像投影手段と、
を含むことを特徴とする立体像表示システム。
【請求項１２】
請求項７に記載の画像処理装置と、
前記視差画像を表示する立体像表示手段と、
前記集光模様画像を現実空間に投影する画像投影手段と、
を含むことを特徴とする立体像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体像表示技術における画像処理に関する。
【背景技術】
【０００２】
従来、コンピュータグラフィックスによって表現された仮想物体の影を作成する方法としては、現実空間を撮像した画像上に、その撮像シーンの光源環境を用いて仮想物体とその影を合成する画像合成技術が知られている（例えば、特許文献１）。この画像合成技術は、現実空間の複数の位置について設定された光のパラメータの中から、仮想物体が置かれた位置に対応するものを参照することで、現実空間における光源環境を適正に反映した影を画像内に作成するものであった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−６０１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術は、あくまで画像内に仮想物体の影を作成するものである。現在、両眼視差を利用して観察者に立体像を知覚させる３Ｄ画像表示技術が普及している。この技術は、同一の仮想物体に関して両眼の視差の分だけ見え方の異なる画像（視差画像）を左右それぞれの眼に別個に提示することにより立体像を知覚させる技術である。このような画面から飛び出して見える立体像によって生じるべき影を、現実空間における床や壁などに作成することは、上記従来技術では不可能である。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、視差画像を表示することにより仮想物体の立体像を観察者に知覚させる場合における、当該立体像の擬似的な影を現実空間に作成するための陰影画像を、前記仮想物体の位置及び形状を特定可能なデータと、前記陰影画像を現実空間に投影する画像投影手段における投影領域の位置と大きさを示す情報とに基づいて生成する、ことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、視差画像によって生み出される立体像の擬似的な影等を現実空間に作成することができる。これにより、映像の臨場感が向上する。
【図面の簡単な説明】
【０００７】
【図１】実施例１に係る立体像表示システム１００のシステム構成例を示す図である。
【図２】画像処理装置の内部構成を示す図である。
【図３】実施例１に係る画像処理装置の機能ブロック図である。
【図４】実施例１に係る画像処理装置における一連の処理の流れを示すフローチャートである。
【図５】観察者の視点位置と立体表示領域との関係を示す図である。
【図６】仮想物体が配置された視差画像の一例を示す図である。
【図７】陰影画像の生成過程を説明する図である。
【図８】陰影画像の一例を示す図である。
【図９】実施例２に係る画像処理装置の機能ブロック図である。
【図１０】実施例２に係る画像処理装置における一連の処理の流れを示すフローチャートである。
【図１１】実施例２に係る、立体像の位置を導出する処理の流れを示すフローチャートである。
【図１２】立体像の位置が導出される過程を説明する図である。
【発明を実施するための形態】
【０００８】
［実施例１］
実施例１では、仮想物体の位置および形状を表すモデルデータを立体像の位置情報として取得し、この位置情報に応じた陰影画像を生成して、生成された陰影画像を現実空間に投影することで、立体像の擬似的な影を現実空間に作成する態様について説明する。
【０００９】
図１は、本実施例に係る立体像表示システム１００のシステム構成例を示す図である。立体像表示システム１００は、陰影画像の生成処理などを行う画像処理装置１０１、立体像表示装置としての液晶３Ｄディスプレイ１０２、画像投影装置としての液晶プロジェクタ１０３で構成される。
【００１０】
本実施例の画像処理装置１０１は、モデルデータを用いて、左眼用画像と右眼用画像とからなる視差画像を生成する。生成された視差画像のデータは液晶３Ｄディスプレイ１０２によって表示され、これにより仮想物体の立体像１０４が表示される。また、画像処理装置１０１は、モデルデータに応じた陰影画像１０５を生成する。生成された陰影画像のデータは液晶プロジェクタ１０３によって現実空間の床に投影され、これにより立体像の擬似的な影が作成される。
【００１１】
なお、以下では、本実施例中で用いる３次元座標の原点を液晶３Ｄディスプレイ１０２の画面中心Ｏとし、x軸、y軸、z軸をそれぞれ液晶３Ｄディスプレイ１０２の水平方向、鉛直方向、法線方向として説明する。
【００１２】
図２は、画像処理装置１０１の内部構成を示す図である。
【００１３】
画像処理装置１０１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ハードディスクドライブ（ＨＤＤ）２０４、ＨＤＤＩ／Ｆ２０５、入力Ｉ／Ｆ２０６、出力Ｉ／Ｆ２０７、システムバス２０８で構成される。
【００１４】
ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして、ＲＯＭ２０３及びＨＤＤ２０４に格納されたプログラムを実行し、システムバス２０８を介して後述する各構成を統括的に制御する。これにより、後述する様々な処理が実行される。
【００１５】
ＨＤＤＩ／Ｆ２０５は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、二次記憶装置としてのＨＤＤ２０４を接続する。ＣＰＵ２０１は、ＨＤＤＩ／Ｆ２０５を介してＨＤＤ２０４からのデータ読み出し、およびＨＤＤ２０４へのデータ書き込みが可能である。さらにＣＰＵ２０１は、ＨＤＤ２０４に格納されたデータをＲＡＭ２０２に展開し、同様に、ＲＡＭ２０２に展開されたデータをＨＤＤ２０４に保存することが可能である。そしてＣＰＵ２０１は、ＲＡＭ２０２に展開したデータをプログラムとみなし、実行することができる。なお、二次記憶装置はＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。
【００１６】
入力Ｉ／Ｆ２０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。入力Ｉ／Ｆ２０６は、キーボード・マウス２０９などの各種入力デバイスや、赤外線や電磁波などを用いた位置センサ２１０を接続する。ＣＰＵ２０１は、入力Ｉ／Ｆ２０６を介してキーボード・マウス２０９や位置センサ２１０から様々なデータを取得することが可能である。
【００１７】
出力Ｉ／Ｆ２０７は、例えばＤＶＩやＨＤＭＩ等の映像出力インタフェイスであり、液晶３Ｄディスプレイ１０２およびプロジェクタ１０３を接続する。この出力Ｉ／Ｆ２０７を介して、液晶３Ｄディスプレイ１０２に視差画像データが送られ、液晶プロジェクタ１０３に陰影画像データが送られる。視差画像データを受け取った液晶３Ｄディスプレイ１０２は、その画面上に視差画像を表示する。（以後、立体像表示装置における視差画像が表示される画面領域を「立体像表示領域」と呼ぶ。）また、陰影画像データを受け取った液晶プロジェクタ１０３は、現実空間の床などに陰影画像を投影する。
【００１８】
なお、図１に示すシステムでは立体像表示装置として液晶３Ｄディスプレイ１０２を用いているが、これに限られない。例えば、液晶３Ｄディスプレイに代えてプラズマ３Ｄディスプレイや有機ＥＬ３Ｄディスプレイを用いてもよい。また、画像投影装置として液晶プロジェクタ１０３を用いているが、ＤＬＰプロジェクタやＬＣＯＳプロジェクタであっても構わない。
【００１９】
図３は、本実施例に係る画像処理装置１０１の機能ブロック図である。画像処理装置１０１は、視点位置情報取得部３０１、表示領域情報取得部３０２、モデルデータ取得部３０３、投影特性情報取得部３０４、視差画像生成部３０５、投影画像生成部３０６で構成される。
【００２０】
視点位置情報取得部３０１は、観察者の左右の眼の位置を示す情報（以下、「視点位置情報」と呼ぶ。）を取得する。本実施例では、観察者の左右の眼の位置を示す３次元座標EL(xL0,yL0,zL0)、ER(xR0,yR0,zR0)が、例えば位置センサ２１０を介して取得される。或いは、観察者の顔を撮像する複数のカメラを別途用意し、得られた複数の顔画像に対し顔認識技術を用いて画像上における眼の位置を求め、得られた画像上の眼の位置と撮像したカメラの姿勢情報とに基づいて、左右の眼の３次元座標を導出してもよい。取得した視点位置情報は、視差画像生成部３０５に送られる。
【００２１】
表示領域情報取得部３０２は、立体像表示装置（ここでは、液晶３Ｄディスプレイ１０２）における立体像表示領域のサイズ（W×Ｈ）の情報（以下、「表示領域情報」と呼ぶ。）を取得する。立体像表示領域のサイズは、例えば、１６：９の５０インチのディスプレイの場合であれば、Ｗ：１１０ｃｍ、Ｈ：６２ｃｍ、のような値となる。この表示領域情報の取得は、例えばキーボード・マウス２０９等を介したユーザ入力によって行ってもよいし或いは予めＨＤＤ２０４などに記憶しておきそれを読み込むことで取得してもよい。取得した表示領域情報は、視差画像生成部３０５に送られる。
【００２２】
モデルデータ取得部３０３は、立体像として表示される仮想物体の位置および形状を特定するモデルデータを、ＨＤＤＩ／Ｆ２０５を介してＨＤＤ２０４などの二次記憶装置から取得する。本実施例におけるモデルデータはメッシュデータとする。ここで、メッシュデータとは、複数の辺を有する板状の要素の集合で物体の形状を表現するメッシュモデルの表示に必要なデータ（例えば四辺形の各頂点の座標データ等）のことである。モデルデータのデータ形式は、仮想物体の位置と形状を特定できるものであればよく、例えば、ＮＵＲＢＳ曲面などで表現されるパラメトリックモデルでもよい。さらに、モデルデータは、仮想物体の反射率、透過率、屈折率など、仮想物体の色や質感を表す情報を含んでいてもよい。本実施例では、モデルデータは立体像の位置情報として用いられる。取得したモデルデータは、視差画像生成部３０５及び投影画像生成部３０６へ送られる。
【００２３】
投影特性情報取得部３０４は、陰影画像を投影する画像投影装置（ここでは液晶プロジェクタ１０３）の投影領域の位置と大きさを示す投影特性の情報を取得する。本実施例では、液晶プロジェクタ１０３の位置を示す３次元座標P0(x0,y0,z0)、液晶プロジェクタ１０３の光軸が通過する点P1(x1,y1,z1)、水平画角θ、垂直画角ψ、水平解像度Wp、垂直解像度Hpを投影特性として用いている。この投影特性情報は、予め測定して得られたデータをＨＤＤ２０４等に記憶しておき、処理実行時にＨＤＤＩ／Ｆ２０５を介して読み込んで取得する。或いは、液晶プロジェクタ１０３に別途位置センサや傾きセンサを取り付け、入力Ｉ／Ｆ２０６を介して位置や向きを取得してもよいし、液晶プロジェクタ１０３から双方向通信可能な出力Ｉ／Ｆ２０７を介して画角を取得してもよい。取得した投影特性情報は、投影画像生成部３０６へ送られる。
【００２４】
視差画像生成部３０５は、受け取った視点位置情報、表示領域情報及びモデルデータを用いて、互いに視差のある左眼用画像と右眼用画像とからなる視差画像を生成する。生成された視差画像のデータは液晶３Dディスプレイ１０２に送られる。
【００２５】
投影画像生成部３０５は、受け取ったモデルデータ及び投影特性情報を用いて、投影の対象となる画像（ここでは陰影画像）を生成する。生成された陰影画像のデータは液晶プロジェクタ１０３に送られる。
【００２６】
図４は、本実施例に係る画像処理装置１０１における一連の処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムを、ＲＯＭ２０３あるいはＨＤＤ２０４からＲＡＭ２０２上に読み込んだ後、該プログラムがＣＰＵ２０１で実行されることによって実現される。
【００２７】
ステップ４０１において、各取得部３０１〜３０４は、上述した視点位置情報、表示領域情報、モデルデータ、投影特性情報を、それぞれＨＤＤ２０４等から取得する。取得された各情報は、上述のとおり視差画像生成部３０５及び／又は投影画像生成部３０６に送られる。
【００２８】
ステップ４０２において、視差画像生成部３０５は、受け取った視点位置情報、表示領域情報及びモデルデータを用いて視差画像を生成する。具体的には、視点位置情報によって示される左右それぞれの眼の位置から、表示領域情報によって示される立体像表示領域越しに見える仮想空間のシーンをレンダリングして、視差画像を生成する。本実施例においては、レンダリングに用いる仮想カメラの位置を観察者の視点位置とする。また、仮想カメラの光軸方向は、観察者の視点位置を通り立体像表示領域に垂直なベクトルと一致するものとする。図５の（ａ）は現実空間における観察者の視点位置と立体表示領域（液晶３Ｄプロジェクタ１０２）との関係を示しており、同（ｂ）は仮想空間における観察者の視点位置と立体表示領域との関係を示している。モデルデータにより示される仮想物体５０１が配置された仮想空間中において、観察者の視点位置（左眼：ＥＬ、右眼：ＥＲ）から立体像表示領域の四隅（ｒ０〜ｒ３）へ向かう４つのベクトルで囲まれる範囲をレンダリングする。このように、観察者の右眼と左眼それぞれの位置を視点位置としてレンダリング処理を行うことで、互いに視差のある左眼用画像と右眼用画像とからなる視差画像が生成される。図６は、仮想物体５０１が配置された視差画像の一例を示す図であり、（ａ）は左眼用画像、（ｂ）は右眼用画像を示している。生成された視差画像のデータは液晶３Ｄディスプレイ１０２に送られる。上記のようにして得られた視差画像を所定の３D画像表示方式に従って液晶３Dディスプレイで表示することで、現実空間において、モデルデータで示された所定の位置に仮想物体の立体像が存在するように観察者に知覚させることができる。
【００２９】
ステップ４０３において、投影画像生成部３０６は、受け取ったモデルデータ内のメッシュデータ及び投影特性情報を用いて陰影画像を生成する。以下、液晶プロジェクタ１０３の解像度と同じ解像度（Wp×Hp：例えば、１９２０×１０８０）の陰影画像ｆを、２５６階調のグレイスケール画像として生成する場合を例に詳しく説明する。図７は陰影画像の生成過程を説明する図であり、（ａ）は斜め上方から見た場合、（ｂ）は−ｘ方向から見た場合（ｘ0＝ｘ1）をそれぞれ示している。
【００３０】
まず、Wp×Hp画素の陰影画像fについて、画素値をすべて２５５に初期化する。そして、液晶プロジェクタ１０３の位置を示す点P0(x0,y0,z0)から陰影画像平面７０１上の任意の点Qを通って延びる直線Lが、仮想物体の表面形状を表す板状の要素（以下、単に「メッシュ」と呼ぶ）７０２と交差するか否かを判定する。直線Ｌがメッシュ７０２と交差すると判定された場合には当該点Qに対応する陰影画像f上の画素の画素値を０等に設定し、影部分を示す黒画素等とする。一方、交差しないと判定された場合には当該点Qに対応する陰影画像f上の画素値は初期値（すなわち、２５５）のままとする。交差しないと判定された場合において、当該点Qに対応する陰影画像f上の画素値を、０以外の所定の値（例えば、メッシュが存在する仮想空間や陰影画像が投影される現実空間における照度等の照明条件に応じて決定）としてもよい。ここで、陰影画像平面とは、その中心において液晶プロジェクタ１０３の光軸（すなわち、直線P0-P1）と直交する仮想的な平面である。液晶プロジェクタ１０３の光軸と陰影画像平面７０１との交点を原点、液晶プロジェクタの水平方向を横軸s、鉛直方向を縦軸tとすると、陰影画像fの画素(u,v)に対応する陰影画像平面上の点Qの座標(s,t)は次の式（１）及び式（２）で求められる。
【００３１】
【数１】
2014103599.tif 000003
【００３２】
【数２】
2014103599.tif 000004
【００３３】
ここで、Dは点P0(x0,y0,z0)から陰影画像平面７０１までの距離である。また、θは点P0(x0,y0,z0)と横軸ｓ上の陰影画像平面の端点７０１ａ／７０１ｃとをそれぞれ結ぶ線分間のなす角度、ψは点P0(x0,y0,z0)と横軸ｓ上の陰影画像平面の端点７０１ｂ／７０１ｄとをそれぞれ結ぶ線分間のなす角度である。
【００３４】
陰影画像fの全画素について、上記式（１）および（２）を用いて対応する点Qを求め、仮想物体の表面形状を表すメッシュ７０２との交差判定を行って画素値を設定することで、陰影画像ｆが得られる。図８は、上述した処理によって得られる陰影画像ｆの一例であり、立体像の対応する領域８０１（画素値が０等の領域）が陰影となる部分として存在している。このようにして生成された陰影画像のデータは液晶プロジェクタ１０３に出力され、現実空間の床などに立体像の影として投影される。
【００３５】
この場合において、液晶プロジェクタ１０３と立体像との間に実物体（例えば、観察者の体の一部など）が存在する場合には、実物体の影になるメッシュに対しては影を生成しないことが望ましい。例えば、液晶プロジェクタ１０３の光軸に沿った距離センサを別途用意して実物体までの距離を取得し、実物体の手前（実物体よりも液晶プロジェクタ１０３に近い位置）に存在するメッシュに対してのみ上述の交差判定を行って陰影画像を生成すればよい。これにより実物体上に不要な影が生じるのを防止できる。
【００３６】
なお、本実施例では仮想物体によって生み出される影を現実空間に投影する例を説明したが、例えば仮想物体により生じる擬似的な集光模様の画像を生成し、これを現実空間に投影してもよい。この場合には、投影画像生成部３０６は、モデルデータに含まれる仮想物体の反射率、透過率、屈折率など、仮想物体の色や質感を表す光学特性を示す情報を利用して、集光模様画像を生成することになる。具体的には、上述のステップ４０３において、直線Lが仮想物体内を通過する区間を求め、その距離や仮想物体の屈折率等に基づいて透過光の強度を導出し、得られる強度に応じた値で画素値を置き換えた集光模様画像（上述の陰影画像fに相当）を求めればよい。また、集光模様画像をカラー画像で生成し、透過光の強度の導出を光の波長毎に行って画素値を決定することで、より精巧な集光模様とすることができる。
【００３７】
以上のとおり、本実施例によれば、画面から飛び出して見える仮想物体の影等を現実空間に生じさせすることが可能となる。
【００３８】
［実施例２］
実施例１では、立体像として表示される仮想物体の位置および形状を特定するモデルデータを取得し、モデルデータで特定された立体像の位置に応じた影等を現実空間に生じさせるための陰影画像等を生成した。次に、視差画像データと観察者の視点位置情報から立体像の位置を導出して、陰影画像等を生成する態様について、実施例２として説明する。なお、実施例１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
【００３９】
図９は、本実施例に係る画像処理装置１０１の機能ブロック図である。なお、立体像表示システムのシステム構成は実施例１と共通であるものとする。
【００４０】
視差画像データ取得部９０１は、視差画像のデータを、ＨＤＤＩ／Ｆ２０５を介してＨＤＤ２０４などの二次記憶装置から取得する。この場合の視差画像データは、例えば多眼カメラ等で撮像して得たものでもよいし、或いは市販されている３D画像生成ソフトウェアを使って生成したものでもよい。取得した視差画像データは、立体像位置導出部９０５及び立体像表示装置としての液晶３Dディスプレイ１０２に送られる。
【００４１】
表示領域情報取得部９０２は、立体像表示装置の表示領域情報を取得する。これについては実施例１に係る表示領域情報取得部３０２と同じである。取得した表示領域情報は、立体像位置導出部９０５に送られる。
【００４２】
視点位置情報取得部９０３は、観察者の視点位置情報を取得する。これについては実施例１に係る視点位置情報取得部３０１と同じである。取得した視点位置情報は、立体像位置導出部９０５に送られる。
【００４３】
投影特性情報取得部９０４は、画像投影装置の投影特性情報を取得する。これについては実施例１に係る投影特性情報取得部３０４と同じである。取得した投影特性情報は、投影画像生成部９０６に送られる。
【００４４】
立体像位置導出部９０５は、受け取った視差画像データ、表示領域情報及び視点位置情報に基づき、立体像として表示される仮想物体の位置及び形状を特定可能なデータ（ここでは、前述のメッシュデータ）を生成する。
【００４５】
投影画像生成部９０６は、立体像位置導出部９０５から受け取ったメッシュデータおよび投影特性取得部９０４から受け取った画像投影装置の投影特性情報を用いて、陰影画像を生成する。生成された陰影画像データは、液晶プロジェクタ１０３に送られる。
【００４６】
図１０は、本実施例に係る画像処理装置１０１における一連の処理の流れを示すフローチャートである。
【００４７】
ステップ１００１において、各取得部９０１〜９０４は、上述した視差画像データ、表示領域情報、視点位置情報、投影特性情報を、それぞれＨＤＤ２０４等から取得する。取得された視差画像データ及び各情報は、上述のとおり立体像位置導出部９０５又は投影画像生成部９０６に送られる。
【００４８】
ステップ１００２において、立体像位置導出部９０５は、受け取った視差画像データ、表示領域情報及び視点位置情報に基づいて、立体像として表示される仮想物体の位置を導出する。ここで、別フローチャートを用いて詳しく説明する。図１１は、この立体像の位置を導出する処理の流れを示すフローチャートである。また、図１２は、立体像の位置が導出される過程を説明する図である。
【００４９】
ステップ１１０１において、立体像位置導出部９０５は、視差画像データに含まれる左眼用画像と右眼用画像との間で各画素の対応付けを行う。具体的には、以下のとおりである。まず、左眼用画像gL上の注目画素(uL,vL)とその近傍画素とからなる領域画像をテンプレートとする。そして、このテンプレートを用いたパターンマッチングを右眼用画像gRに対して行い、注目画素(uL,vL)に対する右眼用画像gR上の対応画素(uR,vR)を求める。この処理を左眼用画像gL上の各画素に対して行い、全ての画素について右眼用画像gR上の画素との対応付けを行う。
【００５０】
ステップ１１０２において、立体像位置導出部９０５は、左眼用画像と右眼用画像との間で対応付けた画素のペア(uL,vL)と(uR,vR)について、液晶３Ｄディスプレイ１０２で表示する場合の表示画面上の画素位置を導出する。具体的には、画素位置を示す３次元座標PL(xL1,yL1,zL1)およびPR(xR1,yR1,zR1)を、次の式（３）及び式（４）に従って求める。
【００５１】
【数３】
2014103599.tif 000005
【００５２】
【数４】
2014103599.tif 000006
【００５３】
ここで、Ｗ及びＨは表示領域情報で示される液晶３Ｄディスプレイ１０２における横及び縦のサイズ（ｃｍ）であり、Wg及びHgは視差画像における横方向と縦方向の画素数である。
【００５４】
ステップ１１０３において、立体像位置導出部９０５は、ステップ１１０２で得られた立体表示装置の画面上の画素位置の情報とステップ１００３で取得された観察者の視点位置情報とを用いて、立体像の位置を求める。具体的には、立体表示装置の画面上の画素位置を示す３次元座標PL(xL1,yL1,zL1)／PR(xR1,yR1,zR1)と、観察者の左右の眼の位置を示す３次元座標EL(xL0,yL0,zL0)／ER(xR0,yR0,zR0)とから、ELとPLとを結ぶ直線（直線EL-PL）とERとPRとを結ぶ直線（直線ER-PR）との交点P(x,y,z)を求める。この交点P(x,y,z)の座標が、視差画像間で対応付けた画素のペア(uL,vL)と(uR,vR)により形成される立体像の位置を示す頂点座標に相当する。
【００５５】
この場合において、直線EL-PLと直線ER-PRとが互いに平行である場合には、奥行きが無限遠の位置に像が形成されると見做し、後述の陰影画像生成処理の対象外とする。また、直線EL-PLと直線ER-PRとが同一平面上に存在しない場合には、２点間の距離が最小となる直線EL-PL上の点P'Lと直線ER-PR上の点P'Rを求め、これら２点の中点を２直線の交点と見做せばよい。
【００５６】
以上の処理を全ての画素のペアについて行い、立体像を構成する頂点座標群を得る。
【００５７】
ステップ１１０４において、立体像位置導出部９０５は、得られた頂点座標群に公知の表面形状復元技術やテセレーション技術を適用して立体像の表面形状を推定し、立体像として表示される仮想物体の位置を特定可能なメッシュデータを生成する。
【００５８】
本実施例では、以上のようにして得られたメッシュデータを立体像の位置情報として用いて、陰影画像の生成がなされる。
【００５９】
図１０のフローチャートの説明に戻る。
【００６０】
ステップ１００３において、視差画像データ取得部９０１は、取得した視差画像のデータを液晶３Ｄディスプレイ１０２に出力する。そして、液晶３Ｄディスプレイ１０２によって、視差画像データに従った立体像が表示される。
【００６１】
ステップ１００４において、投影画像生成部９０６は、ステップ１００１で取得された画像投影装置の投影特性情報及びステップ１００２で生成されたメッシュデータを用いて陰影画像を生成する。陰影画像生成の詳細については、実施例１に係る図４のフローチャートのステップ４０３で述べたとおりである。
【００６２】
このようにして生成された陰影画像のデータは、実施例１と同様に液晶プロジェクタ１０３に出力され、陰影画像データに従った仮想物体の影が現実空間の床などに投影されることになる。
【００６３】
（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【図１】
2014103599.tif 000007
【図２】
2014103599.tif 000008
【図３】
2014103599.tif 000009
【図４】
2014103599.tif 000010
【図５】
2014103599.tif 000011
【図６】
2014103599.tif 000012
【図７】
2014103599.tif 000013
【図８】
2014103599.tif 000014
【図９】
2014103599.tif 000015
【図１０】
2014103599.tif 000016
【図１１】
2014103599.tif 000017
【図１２】
2014103599.tif 000018