(57)【要約】【課題】  プロジェクタから任意曲率の投射面に映像を投射するにあたって、歪みの無い映像を映し出すことができるようにする。【解決手段】  映像信号処理装置１は、球面の一部、円筒面の一部、または複数平面の組合わせなどの規定の形状の投射面（スクリーン２）のメッシュモデルを格納しており、設定手段６から、径や切断面の中心からの距離などの変数パラメータを入力することで実際の投射面のメッシュモデルを作成し、設定手段６から入力された観察者およびプロジェクタ３の投射面に対する位置関係に基づいて、平面の表示面と投射面のメッシュモデルとの対応マップを作成し、記録媒体４の再生装置やコンピュータグラッフィックスの作成装置５などから入力される平面の入力映像を、対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、投射面の歪みに対する補正を行う。【選択図】      図１
2006094458.tif 000002
【特許請求の範囲】
【請求項１】
投影手段から任意曲率の投射面に映像を投射するにあたって、平面の表示面に対する入力映像信号に予め前記投射面に対する歪み補正を施して前記投影手段へ与える映像信号処理装置であって、
複数種類に亘る規定の投射面形状に関する関数式を予め有し、前記規定の投射面形状のいずれかまたはその組合わせを選択し、変数パラメータを入力することで前記関数式に基づいて投射面のメッシュモデルを作成するモデル作成手段と、
観察者および投影手段の前記投射面に対する位置関係に基づいて、前記平面の表示面と投射面のメッシュモデルとの対応マップを作成し、平面の入力映像を前記対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、前記歪み補正を実現する歪補正手段とを含むことを特徴とする映像信号処理装置。
【請求項２】
前記規定の投射面形状は、球面の一部、円筒面の一部、または複数平面の組合わせのいずれかであることを特徴とする請求項１記載の映像信号処理装置。
【請求項３】
観察者に凹面を向けた球面状で鏡面反射可能な広視野角のスクリーンと、
左右各チャネルにそれぞれ設けられ、前記左右各チャネルの圧縮動画映像ファイルをそれぞれ順次デコードして、動画の映像信号に変換するデコード手段を少なくとも有する映像作成手段と、
前記各映像作成手段を制御し、前記左右各チャネルの映像信号間の同期を確立する同期手段と、
前記左右各チャネルの映像信号に逐次前記スクリーンに対する歪み補正を施してゆく前記請求項１または２記載の映像信号処理装置と、
前記各映像信号処理装置からの映像信号を相互に直交する偏光の映像としてそれぞれスクリーンへ投影する投影手段と、
前記観察者が装着し、左右各眼にそれぞれ対応した偏光の映像を透過させて観察者に合成して認識させることで立体動画映像を表示する映像選択手段とを含むことを特徴とする仮想現実感生成装置。
【請求項４】
前記同期手段は、時間管理ループプロセスおよび同期管理プロセスを実行する同期管理部を有し、
前記各映像作成手段は、前記投影手段への出力用とデコードした映像信号の書込み用とに順次切換えて使用可能な２つのフレームメモリを有し、
前記デコード手段は、同期管理プロセスを実行する同期管理部、ムービーファイル解凍プロセスを実行する解凍部および映像表示プロセスを実行する再生表示部を有し、前記左右各チャネルの映像信号を順次デコードして前記動画の映像信号に変換し、前記同期手段の時間管理ループプロセスおよび同期管理プロセスにて制御されて前記左右各チャネルの映像信号間の同期を確立することを特徴とする請求項３記載の仮想現実感生成装置。
【請求項５】
前記請求項４における同期手段を構成するコンピュータに、現在時刻を取得する前記同期管理プロセスと、規定時間が経過した場合、各デコード手段に向けて現在時刻を配信する前記時間管理ループプロセスとを実行させ、
前記請求項４における映像作成手段を構成するコンピュータに、前記現在時刻を受信し、受信したことを表すレシートを同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信する前記映像表示プロセスと、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が２フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを映像表示プロセスへ通知するとともに、フレームデータを更新したことを映像表示プロセスへ通知する前記ムービーファイル解凍プロセスと、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像信号として取得し、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像信号を映像作成手段内に設けられている２つのフレームメモリの内、出力側に選択されていない方に描画する前記映像表示プロセスと、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得する前記ムービーファイル解凍プロセスとを実行させ、
さらに前記請求項４における同期手段を構成するコンピュータに、前記レシートを受取ると、スワップ同期メッセージを映像表示プロセスへ送信する前記同期管理プロセスを実行させ、
前記請求項４における映像作成手段を構成するコンピュータに、前記スワップ同期メッセージに応答して前記２つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受ける映像表示プロセスを実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、平面の表示面に対する通常の入力映像信号を、プロジェクタから壁面などの任意曲率の曲面に投射しても歪み無く映し出すことができるように、前記入力映像信号に予め前記曲面に対する歪み補正を施す映像信号処理装置およびそれを用いて構成される仮想現実感生成装置ならびにその仮想現実感生成装置を実現するためのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
前記曲面への投射技術は、仮想現実感（バーチャルリアリティ）生成装置で既に実用化されている。たとえば、その先行技術としては、特許文献１などが挙げられる。前記仮想現実感生成装置は、半球状のスクリーンに映像を投射することで、観察者の視野角を超える映像を映し出し、前記仮想現実感を生成するようになっている。
【０００３】
しかしながら、ドーム状のスクリーンが高価であり、かつ大掛かりで設置が困難であり、常設の用途にしか使用できないのが現状である。
【０００４】
一方、特許文献２には、コンパクトで机上に設置可能な投射型表示装置が開示されている。同公報の図１には略半球面のスクリーンへの投射が、図３には屏風状の３面のスクリーンへの投射が示されている。
【特許文献１】特許第３３８７４８７号公報
【特許文献２】米国特許第５５０２４８１号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、いずれも予め定められたスクリーンへの投射が前提となっている。したがって、予め定められた歪み補正のアルゴリズムを用いて、平面の表示面に対する通常の入力映像信号を、曲面に投射しても歪み無く映し出すことができるように、その入力映像信号に歪み補正を加えるようになっている。したがって、広告やプレゼンテーションなどで、壁面などの任意曲率の投射面に、歪みの無い映像を映し出すことができない。
【０００６】
本発明の目的は、任意曲率の投射面に、歪みの無い映像を映し出すことができる映像信号処理装置および仮想現実感生成装置ならびに記録媒体を提供することである。
【課題を解決するための手段】
【０００７】
本発明の第１の手段に係る映像信号処理装置は、投影手段から任意曲率の投射面に映像を投射するにあたって、平面の表示面に対する入力映像信号に予め前記投射面に対する歪み補正を施して前記投影手段へ与える映像信号処理装置であって、複数種類に亘る規定の投射面形状に関する関数式を予め有し、前記規定の投射面形状のいずれかまたはその組合わせを選択し、変数パラメータを入力することで前記関数式に基づいて投射面のメッシュモデルを作成するモデル作成手段と、観察者および投影手段の前記投射面に対する位置関係に基づいて、前記平面の表示面と投射面のメッシュモデルとの対応マップを作成し、平面の入力映像を前記対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、前記歪み補正を実現する歪補正手段とを含むことを特徴とする。
【０００８】
また、本発明の第２の手段に係る映像信号処理装置では、前記規定の投射面形状は、球面の一部、円筒面の一部、または複数平面の組合わせのいずれかであることを特徴とする。
【０００９】
さらにまた、本発明の第３の手段に係る仮想現実感生成装置は、観察者に凹面を向けた球面状で鏡面反射可能な広視野角のスクリーンと、左右各チャネルにそれぞれ設けられ、前記左右各チャネルの圧縮動画映像ファイルをそれぞれ順次デコードして、動画の映像信号に変換するデコード手段を少なくとも有する映像作成手段と、前記各映像作成手段を制御し、前記左右各チャネルの映像信号間の同期を確立する同期手段と、前記左右各チャネルの映像信号に逐次前記スクリーンに対する歪み補正を施してゆく前記の映像信号処理装置と、前記各映像信号処理装置からの映像信号を相互に直交する偏光の映像としてそれぞれスクリーンへ投影する投影手段と、前記観察者が装着し、左右各眼にそれぞれ対応した偏光の映像を透過させて観察者に合成して認識させることで立体動画映像を表示する映像選択手段とを含むことを特徴とする。
【００１０】
また、本発明の第４の手段に係る仮想現実感生成装置では、前記同期手段は、時間管理ループプロセスおよび同期管理プロセスを実行する同期管理部を有し、前記各映像作成手段は、前記投影手段への出力用とデコードした映像信号の書込み用とに順次切換えて使用可能な２つのフレームメモリを有し、前記デコード手段は、同期管理プロセスを実行する同期管理部、ムービーファイル解凍プロセスを実行する解凍部および映像表示プロセスを実行する再生表示部を有し、前記左右各チャネルの映像信号を順次デコードして前記動画の映像信号に変換し、前記同期手段の時間管理ループプロセスおよび同期管理プロセスにて制御されて前記左右各チャネルの映像信号間の同期を確立することを特徴とする。
【００１１】
さらにまた、本発明の第５の手段に係る記録媒体は、前記の第４の手段における同期手段を構成するコンピュータに、現在時刻を取得する前記同期管理プロセスと、規定時間が経過した場合、各デコード手段に向けて現在時刻を配信する前記時間管理ループプロセスとを実行させ、前記の第４の手段における映像作成手段を構成するコンピュータに、前記現在時刻を受信し、受信したことを表すレシートを同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信する前記映像表示プロセスと、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が２フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを映像表示プロセスへ通知するとともに、フレームデータを更新したことを映像表示プロセスへ通知する前記ムービーファイル解凍プロセスと、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像信号として取得し、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像信号を映像作成手段内に設けられている２つのフレームメモリの内、出力側に選択されていない方に描画する前記映像表示プロセスと、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得する前記ムービーファイル解凍プロセスとを実行させ、さらに前記の第４の手段における同期手段を構成するコンピュータに、前記レシートを受取ると、スワップ同期メッセージを映像表示プロセスへ送信する前記同期管理プロセスを実行させ、前記の第４の手段における映像作成手段を構成するコンピュータに、前記スワップ同期メッセージに応答して前記２つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受ける映像表示プロセスを実行させるためのプログラムを記録したことを特徴とする。
【発明の効果】
【００１２】
このような構成の映像信号処理装置は、予め記憶されている複数種類の規定の投射面形状のいずれかまたはその組合わせを選択し、変数パラメータを入力することで前記投射面のメッシュモデルを作成し、そのメッシュモデルに観察者および投影手段の投射面に対する位置関係に基づいて、入力映像をテクスチャマッピングして映像生成を行うことで、歪み補正を実現する。
【００１３】
それゆえ、壁面などの任意曲率の投射面に、歪みの無い映像を映し出すことができる。
【００１４】
このような構成の仮想現実感生成装置は、球面スクリーンに左右各チャネルの動画映像をそれぞれ投影して立体動画映像を表示することで、いわゆるバーチャルリアリティを生成する表示装置において、前記左右各チャネルの圧縮動画映像ファイルをそれぞれ順次デコードして、前記動画映像の信号に変換してゆき、前記投影手段に与えるデコード処理は、時間を要するとともに、映像によって所要時間がばらつくので、処理のばらつきを補正するために、同期手段を設け、前記各映像作成手段を制御し、動画映像の各信号間の同期を確立する。
【００１５】
それゆえ、実写映像などの動画映像を、ずれなく正確に合成して立体映像を再現することができる。
【００１６】
このような構成の記録媒体は、実写映像などの動画映像を、ずれなく正確に合成して立体映像を再現することができる前記の同期手段および映像作成手段を、コンピュータに実現させることができる。
【発明を実施するための最良の形態】
【００１７】
［実施の形態１］
図１は、本発明の実施の一形態に係る映像信号処理装置１を含む映像再生装置の全体構成を示す図である。この映像再生装置は、映像信号処理装置１に、任意曲面や複数の平面が組合わせられて成るスクリーン２と、スクリーン２に映像をそれぞれ投射するプロジェクタ３と、記録媒体４の再生装置やコンピュータグラッフィックスの作成装置５などの映像信号源と、映像信号処理装置１にスクリーン２の曲面形状やプロジェクタ３の投射位置などの設定データを与える設定手段６とを備えて構成される。そして、映像信号処理装置１は、設定手段６で設定されたデータに基づいて、映像信号源から入力される平面の表示面に対する映像信号を補正してプロジェクタ３へ出力することで、スクリーン２に歪みのない映像を表示させる。
【００１８】
映像信号処理装置１は、ハードウェア部１１と、それを動作させるソフトウェア部１２とを備えて構成される。ハードウェア部１１は、映像信号を処理する映像信号処理回路１３と、演算データなどを記憶するメモリ１５と、プログラムや入出力の映像信号などを記憶するメモリ１６と、中央処理装置（ＣＰＵ）を含み、各部を制御するデジタルシグナルプロセッサ（ＤＳＰ）１４とを備えて構成される。映像信号は、ＪＰＥＧファイルやＭＰＥＧファイルなどによるＶＧＡやＸＧＡなどのデジタル信号や、アナログコンポジット信号などである。設定手段６からの設定データは、ＵＳＢケーブルなどで入力される。
【００１９】
ソフトウェア部１２は、後に詳述するように、スクリーン２のモデルを創造するスクリーンモデル創造部２１と、プロジェクタ３のスクリーン２に対する配置位置の設定およびプロジェクタ３の画角の設定を行うプロジェクタ配置・セットアップ部２２と、観察者のスクリーン２に対する位置の設定を行うユーザ位置設定部２３と、歪補正部２５と、入力映像処理部２６とを備えて構成される。歪補正部２５は、入力映像処理部２６にて平面の入力映像が画素に分解されたデータに、各部２１〜２３での処理結果に対応した歪み補正、具体的にはテクスチャマッピングを施し、歪処理映像を作成する。これらのソフトウェア部１２による以下の処理は、デジタルシグナルプロセッサ（ＤＳＰ）１４によって制御される映像信号処理回路１３を使用して行われる。
【００２０】
図２は、モデル作成手段であるスクリーンモデル創造部２１の機能ブロック図である。このスクリーンモデル創造部２１は、前述のようにスクリーン２のメッシュモデルを創造するものであり、先ずスクリーンモデル創造部２１には、基本的な３つのモデルが記憶されている。すなわち球形のみのモデル３１と、円筒のみのモデル３２と、混合モデル３３とである。混合モデル３３は、球形を主として他の平面または曲面を混合した球形混合モデル３４と、円筒を主として他の平面または曲面を混合した円筒混合モデル３５と、平面を主として他の平面または曲面を混合した平面混合モデル３６とから構成されている。そして、各モデル３１，３２，３４〜３６の内容は、設定手段６に呼出すことができ、いずれか１つを設定手段６で設定し、さらに設定手段６から入力パラメータ３１ａ，３２ａ，３４ａ〜３６ａを入力することで、実際のスクリーン２に適応したメッシュモデル３１ｂ，３２ｂ，３４ｂ〜３６ｂを作成することができる。
【００２１】
基本モデルと入力パラメータとしては、以下のとおりである。
【００２２】
図３で示すように球面（真球の一部）の場合、入力パラメータとしては、球の半径Ｒと、球の中心から切断面までの距離Ａとである。
【００２３】
ここで、球の式は、
ｘ2＋ｙ2＋ｚ2＝Ｒ2・・・（１）
であり、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−ｚ１≦ｚ≦ｚ１である。ｙ１は、式１において、ｘ＝Ａ、ｚ＝０を代入して求められ、ｚ１は、式１において、ｘ＝Ａ、ｙ＝０を代入して求められ、ｙ１＝ｚ１となる。したがって、上述のように球面の場合、入力パラメータとしては、球の半径Ｒと、球の中心から切断面までの距離Ａとを入力すればよい。
【００２４】
また、図４で示すように、原点（ｘ軸線）からｙ方向にＢの位置で球面の一部を切り欠いた場合、スクリーン面は図５（ａ）のようになり、Ｂが負の位置（図４のように下（−ｙ方向））の場合、Ａ≦ｘ≦Ｒ、−Ｂ≦ｙ≦ｙ１、−ｚ１≦ｚ≦ｚ１であり、ｙ１は、式１において、ｘ＝Ａ、ｚ＝０を代入して求められ、ｚ１は、式１において、ｘ＝Ａ、ｙ＝０を代入して求められ、ｘ１は、式１において、ｙ＝−Ｂ、ｚ＝０を代入して求められる。したがって、入力パラメータとしては、球の半径Ｒと、球の中心から切断面までの距離Ａと、原点から切り欠く位置までの距離Ｂとを入力すればよい。
【００２５】
同様に、上、右、左で切断した場合は、それぞれ図５（ｂ）、図５（ｃ）、図５（ｄ）のようなスクリーンになり、式は以下のようになる。図５（ｂ）で示すように上にＢの高さで切断した場合、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦Ｂ、−ｚ１≦ｚ≦ｚ１である。図５（ｃ）で示すように右にＢの距離で切断した場合、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−ｚ１≦ｚ≦Ｂである。図５（ｄ）で示すように左にＢの距離で切断した場合、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−Ｂ≦ｚ≦ｚ１である。入力パラメータを増やせば、２箇所以上の切断位置の組合せも可能である。
【００２６】
一方、図６は円筒を切断したアーチ面を示し、この場合、入力パラメータとしては、アーチの半径Ｒと、円の中心から切断面までの距離Ａと、アーチの高さＨとである。
【００２７】
ここで、円の式は、
ｘ2＋ｚ2＝Ｒ2・・・（２）
であり、Ａ≦ｘ≦Ｒ、０＜ｙ≦Ｈ、−ｚ１≦ｚ≦ｚ１の制限を加えることで、アーチの表面の式となる。ｚ１は、式１において、ｘ＝Ａを代入して求められる。
【００２８】
さらにまた、図７（ａ）は、複数平面（長方形の面が複数存在）から成る場合を示し、この場合、入力パラメータとしては、図７（ｂ）で示すような上面から見たときの面の配置と、面の高さＨとである。図７（ｂ）の場合、
ｚ＝−ｘ＋１（０≦ｘ＜１）・・・（３）
ｚ＝０（１≦ｘ＜３）・・・（４）
ｚ＝ｘ−３（３≦ｘ≦４）・・・（５）
０＜ｙ≦Ｈ・・・（６）
である。
【００２９】
また、複数同じ大きさの球面を真横に並べたスクリーンの場合には、入力パラメータとしては、図３または図４，５で示す例と同様に、半径Ｒと、切断面までの距離Ａと、切り欠く位置までの距離Ｂと、個数とを入力すればよい。すなわち、たとえば上下に２つの球面スクリーンを並べる場合、図５（ａ）と図５（ｂ）とを組合わせることで実現することができ、同様に左右に２つの球面スクリーンを並べる場合、図５（ｃ）と図５（ｄ）とを組合わせることで実現することができ、入力パラメータとしては、前述のように、半径Ｒと、切断面までの距離Ａと、切り欠く位置までの距離Ｂと、個数とを入力すればよいことが理解される。
【００３０】
複数の円筒面のスクリーンの場合には、上面から見た配置図に、面の高さＨと、各スクリーンの半径Ｒおよび距離Ａと、個数とを入力すればよい。このようにして、スクリーン面の関数式が求まるので、ｘ，ｙ，ｚに適当な値を代入することで、或る一定個数以上のスクリーン上の点をサンプリング点として記録することで、スクリーン形状を特定することができる。各スクリーン面の関数式は、スクリーンモデル創造部２１において、予め各モデル３１，３２，３４〜３６内に格納されており、設定手段６によって呼出すことができる。そして、入力パラメータ３１ａ，３２ａ，３４ａ〜３６ａとして上記のパラメータを入力するだけで、実際のスクリーン２に適応したメッシュモデル３１ｂ，３２ｂ，３４ｂ〜３６ｂを作成することができる。
【００３１】
なお、上記のようなスクリーン面上のサンプリング点は，ｘ軸周り、ｙ軸周り、ｚ軸周りに回転可能（傾いたスクリーンを定義可能）である。
【００３２】
すなわち、ｘ軸周りのα度の回転は、下式で表すことができる。
【００３３】
【数１】
2006094458.tif 000003
【００３４】
また、ｙ軸周りのβ度の回転は、下式で表すことができる。
【００３５】
【数２】
2006094458.tif 000004
【００３６】
さらにまた、ｚ軸周りのγ度の回転は、下式で表すことができる。
【００３７】
【数３】
2006094458.tif 000005
【００３８】
このようにして得たスクリーン面上のサンプリング点に、入力映像処理部２６からの平面入力映像の各サンプリング点を、歪補正手段である歪補正手段部２５においてメッシュファイルを用いてマッピングすることで歪補正を行うことができ、入力映像信号の各画素データを、メッシュファイル上の対応する画素に割り付けてゆくことで、歪み補正された映像信号を作成することができる。メッシュファイルは、使用するスクリーン２が決定し、各パラメータを入力し、一旦作成してしまえば、パラメータなどの変更がない限り変化はなく、ハードウェア部１１のメモリ１５に格納され、映像再生中は入力映像信号と出力映像信号との対応画素の読替えに使用されるだけであり、大きな負担にはならない。
【００３９】
以上図３〜図７を用いた説明は、図８で示すようなスクリーン２の形状に対する補正方法を説明するものである。すなわち、平面の表示装置に対する映像信号を、そのまま球形のスクリーン２に投射すると、図８（ａ）に示すように歪んだ映像になり、このため球形のスクリーン２に表示したときに歪みが無くなるように、図８（ｂ）に示すように予め映像を歪ませるものである。しかしながら、プロジェクタ３のスクリーン２に対する配置位置の違いおよび観察者のスクリーン２に対する位置の違いなどから、さらなる補正が必要になる。したがって、上述のようにして求めたメッシュファイルには、さらにそのような補正が施され、実際の映像信号の読替えに使用される。以下に、球面スクリーンに対するプロジェクタおよび観察者の位置の違いに対する補正方法について詳しく説明する。この処理は、プロジェクタ配置・セットアップ部２２およびユーザ位置設定部２３からの入力に応答して、歪補正部２５によって行われる。
【００４０】
図９は、上述のような球面補正に、プロジェクタ３および観察者の位置補正を含めた歪み補正の手法を説明するための図である。これらの補正は、プロジェクタ配置・セットアップ部２２および位置設定部２３からの入力に応答して、歪補正部２５によって行われる。
【００４１】
先ず、補正にあたって、図９に示すように、観察者５１の視点位置よりビューフラスタムおよびプロジェクタ３の投影位置より映像投影フラスタムを定義する。ビューフラスタムは、視点位置としての頂点をＰ0、底面をＰ0,0，Ｐm,0，Ｐm,n，Ｐ0,nとする四角錐で表現され、投影フラスタムは、プロジェクタバックフォーカス位置としての頂点をＱ0、底面をＱ0,0，Ｑm,0，Ｑm,n，Ｑ0,nとして表現される。ここで、ｍ，ｎは映像解像度を表すものとし、映像信号が、たとえばＳＸＧＡの場合は、ｍ＝１２７９、ｎ＝１０２３である。底面は、仮想スクリーン面とも呼ばれる。
【００４２】
ここで、簡易表現のため、ｍ＝ｉにおけるｙ−ｚ二次元断面から見たイメージを図１０に示す。先ず、仮想スクリーン面２ａ内に点Ｐi,jを想定し、ベクトルＰ0Ｐi,jとドームスクリーン２（メッシュモデル３１ｂ，３２ｂ，３４ｂ〜３６ｂ）との交点Ｒi,jを求める。次に、ベクトルＱ0Ｒi,jと投影フラスタムの仮想スクリーン面２ｂとの交点Ｑi,jを求める。ｉ，ｊを、０≦ｉ≦ｍ，０≦ｊ≦ｎで変化してゆくと、Ｐi,j→Ｑi,j対応マップを作成することができ、この対応マップが映像の歪みに対する逆補正となる。
【００４３】
すなわち、先ずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取出し、このイメージにＰi,j→Ｑi,j対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、映像歪み補正を実現している。グリッド映像にＰi,j→Ｑi,j対応マップを適用したイメージを図１１に示す（すなわち図８（ｂ）とは逆になる）。本歪み補正手法は、スクリーン２の形状を制限しない。したがって、上述のようにして求めた球面のメッシュモデル３１ｂだけでなく、他のメッシュモデル３２ｂ，３４ｂ〜３６ｂなどへも適用可能である。
【００４４】
映像信号処理装置１の歪補正部２５において、このような補正を行うことで、平面の表示面に対する入力映像信号を逐次歪み処理してプロジェクタ３に与えることができ、任意曲率のスクリーン２には歪みのない映像を表示することができる。
【００４５】
［実施の形態２］
図１２は、本発明の実施の他の形態に係る仮想現実感生成装置の電気的構成を示すブロック図である。この仮想現実感生成装置は、ビデオムービーなどの汎用の撮影手段を使用して作成された左右両チャネルの圧縮動画映像ファイルを解凍し、上述のように本発明に係るスクリーン面に対する歪み補正を施し、同期を取って左右各チャネルのプロジェクタ１０２，１０３から相互に直交する偏光面の映像で投影することで、仮想現実感映像を生成することである。観察者は、左右各チャネルの映像を左右の目でそれぞれ認識するように、左右それぞれの偏光面に対応した映像のみを透過させる専用の眼鏡をかけてスクリーンを見る。また、スクリーンには、偏光をそのまま反射可能な、シルバースクリーンなどの鏡面反射スクリーンが用いられる。
【００４６】
圧縮動画映像ファイルは、ＤＶＤ（デジタルビデオディスク）などの媒体に圧縮記録されている。図１２では、媒体としては、左右それぞれのＤＶＤ１１１，１２１で示しているけれども、動画映像が圧縮記録されている他の媒体であってもよい。また、人間の両眼視差に対応した間隔だけ水平方向に離間して配置された左右それぞれの撮影手段で撮影された動画映像は、それらの撮影手段で個別のＤＶＤ１１１，１２１に圧縮して記録されるが、左右の撮影手段が一体化されていて、同じ媒体に記録されていてもよい。
【００４７】
ＭＰＥＧ２やＭＰＥＧ４などで圧縮されたＤＶＤ１１１，１２１の記録映像は、映像作成手段１０７，１０８において、それぞれハードディスク１１２，１２２に取込まれる。ハードディスク１１２，１２２に取込まれた記録映像は、解凍部１１３，１２３において解凍（伸長）され、さらに再生表示部１１４，１２４において、映像信号に変換される。解凍部１１３，１２３および再生表示部１１４，１２４は、デコード手段を構成する。こうして得られた映像信号は、上述の映像信号処理装置１と同様に構成される歪補正部１１５，１２５において、スクリーン２の球面形状によって生じる歪に対する歪補正およびプロジェクタ１０２，１０３の球の中心軸上からのオフセットによって生じる歪に対する設置位置補正が行われる。
【００４８】
歪補正部１１５，１２５から出力された映像信号は、切換えスイッチ１１７，１２７を介して、それぞれ２つずつ設けられるフレームメモリ１１８，１１９；１２８，１２９の一方に書込まれ、そのフレームメモリ１１８，１１９；１２８，１２９の他方からは、切換えスイッチ１２０，１３０を介して映像信号が読出され、プロジェクタ１０２，１０３に与えられ、投射が行われる。このように構成される映像作成手段１０７，１０８において、ＣＧによって作成された映像信号は、解凍部１１３，１２３における伸長処理および再生表示部１１４，１２４における映像信号への変換処理は不要であり、直接歪補正部１１５，１２５から入力される。
【００４９】
映像作成手段１０７，１０８は、パーソナルコンピュータから成り、解凍部１１３，１２３、再生表示部１１４，１２４、歪補正部１１５，１２５および同期管理部１１６，１２６は、そのパーソナルコンピュータに格納されたソフトウェアおよびそれを実行するハードウェアによって構成される。すなわち、映像信号処理用のソフトウェアとして、解凍部１１３，１２３にはムービーファイル解凍プロセスを有し、再生表示部１１４，１２４には映像表示プロセスを有し、歪補正部１１５，１２５には映像歪補正プロセスを有する。また、解凍部１１３，１２３、再生表示部１１４，１２４および切換えスイッチ１１７，１２７；１２０，１３０の同期を管理する同期管理部１１６，１２６は、同期管理プロセスを有する。
【００５０】
ここで、映像作成手段１０７，１０８はスレーブとなり、マスターとなる同期手段１０９が設けられる。この同期手段１０９もパーソナルコンピュータから成り、映像作成手段１０７，１０８とは、ネットワークによって相互に接続されている。同期手段１０９でも、ＤＶＤ１１１または１１２（図１２では１１１）からの記録映像がハードディスク１３２に取込まれ、解凍部１３３において伸長され、さらに再生表示部１３４において映像信号に変換される。この映像信号におけるタイムコードを利用して、同期管理部１３６は、同期管理部１１６，１２６を介して、後述するように切換えスイッチ１１７，１２７；１２０，１３０のスイッチングなどを制御し、映像作成手段１０７，１０８からの映像信号間の同期を確立する。解凍部１３３にはムービーファイル解凍プロセスを有し、再生表示部１３４には映像表示プロセスを有し、同期管理部１３６には同期管理プロセスおよび時間管理ループプロセスを有する。映像作成手段１０７，１０８が実行する同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像補正プロセスについては、以下に詳細に説明する。また、同期手段１０９が実行する時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスについても、以下に詳細に説明する。
【００５１】
映像作成手段１０７における解凍部１１３、再生表示部１１４、歪補正部１１５、同期管理部１１６、切換えスイッチ１１７，１２０およびフレームメモリ１１８，１１９は、たとえばパーソナルコンピュータのＰＣＩスロットに装着されるボードなどの形態で実現することができる。同様に、映像作成手段１０８における解凍部１２３、再生表示部１２４、歪補正部１２５、同期管理部１２６、切換えスイッチ１２７，１３０およびフレームメモリ１２８，１２９、ならびに同期手段１０９における解凍部１３３、再生表示部１３４および同期管理部１３６も、ＰＣＩスロットに装着されるボードなどの形態で実現することができる。または、映像作成手段１０７，１０８は、上述のような機能を実現する映像歪み補正用の専用ユニットとして構成され、ＤＶＤ１１１，１２１等の圧縮動画映像ファイルを再生するデッキやパーソナルコンピュータなどと、プロジェクタ１０２，１０３との間に挿入され、さらにそれらに合わせて、同期手段１０９となる同期ユニットが設けられてもよい。
【００５２】
図１３は、上述のように構成される仮想現実感生成装置における左右の映像信号間の同期確立動作を説明するためのフローチャートである。本仮想現実感生成装置を実現する主要なソフトウェアは、前述のような時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像歪み補正プロセスの５つから構成される。同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスは、映像作成手段１０７，１０８において、それぞれ一連のプロセスで連携しながら動作する。スレーブパソコンであるこれらの映像作成手段１０７，１０８は、２つにとどまらず、マルチスクリーン対応などでさらに拡張することが可能である。時間管理ループプロセスは、唯一のプロセスであり、複数のパーソナルコンピュータのどこか一箇所で実行されればよいが、本実施の形態では、上述のように独立したマスターパソコンである同期手段１０９上で実行する。そして各プロセスは、ネットワークを利用して通信を行う。図１２では、同期管理プロセスによる動作を、破線で示す。
【００５３】
マスターパソコンでは、時間管理ループプロセスおよび同期管理プロセスを実行する。これによって、先ず、時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、同期管理プロセスからスレーブパソコンに向けて現在時刻を配信する（Ｓ１０１，Ｓ１０２）。すなわち、同期管理プロセスは、一定時間毎に、時刻と、後述するように２つのフレームメモリ１１８，１１９；１２８，１２９の切換えを行う切換えスイッチ１１７，１２７；１２０，１３０の切換え指令であるスワップ同期メッセージを送信することになる。
【００５４】
一方、スレーブパソコンでは、ムービーファイル解凍プロセス・映像表示プロセス・映像歪み補正プロセスを実行する。これによって、先ず、映像表示プロセスが現在時刻を受信し、受信後確かに受取ったことをレシートとしてマスターパソコンに返信する（Ｓ２０１，Ｓ２０２）。さらに映像表示プロセスは、リファレンス時刻を更新し、さらにムービーファイル解凍プロセスへリファレンス時刻を配信し（Ｓ２０３）、フレームデータ更新通知を待受ける（Ｓ２０４）。
【００５５】
これに応答して、ムービーファイル解凍プロセスは、リファレンス時刻を取得し（Ｓ３０１）、現在取得しているフレームの表示されるべき時刻と比較する（Ｓ３０２）。比較の結果、遅延が２フレーム以内ならばフレームデータを更新、すなわち解凍し、フレームバッファ内のアドレスを映像表示プロセスへ通知する（Ｓ３０３）。さらにムービーファイル解凍プロセスは、フレームデータを更新したことを映像表示プロセスへ通知する（Ｓ３０４）。
【００５６】
映像表示プロセスは、フレームデータ更新通知を受けると（Ｓ２０４，Ｓ２０５）、すでにＳ３０３で通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し（Ｓ２０６）、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し（Ｓ２０７）、映像をバックバッファ（２つのフレームメモリ１１８，１１９；１２８，１２９の内、出力側に選択されていない方（図１２ではフレームメモリ１１８，１２８））に描画、すなわち映像信号に再生する（Ｓ２０８）。
【００５７】
一方、マスターパソコンでは、同期管理プロセスは、Ｓ１０３でレシートを受取ると、スワップ同期メッセージをスレーブパソコンの映像表示プロセスへ送信する（Ｓ１０４）。これに応答して、映像表示プロセスは、映像歪み補正プロセスを呼び出して処理を実行させ（Ｓ２０９）、続いてバッファスワップを実行し、マスターパソコンの同期管理プロセスへ確かに受取ったことを表すレシートを返信する（Ｓ２１０，Ｓ２１１，Ｓ２１２）。その後、映像表示プロセスは、Ｓ２０１で現在時刻の受信を待受ける。映像歪み補正は、図１０で示すように対応マップの読替えによる一定時間の遅延で実現することができ、これによって左右のプロジェクタ１０２，１０３からは、相互に同期の取れた動画映像が投射されることになる。
【００５８】
ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると（Ｓ３０５）、圧縮ムービーファイルより１フレームを新たに取得する（Ｓ３０６）。また、Ｓ３０２での比較の結果、遅延が２フレームを超えていても、Ｓ３０６で１フレームを新たに取得する。
【００５９】
マスターパソコンの同期管理プロセスでは、映像表示プロセスよりスワップ同期メッセージのレシートを受取るまでプロセスを停止、受取ると現在時刻の取得より開始する（Ｓ１０５）。
【００６０】
このように構成することによって、特殊なハードウェアを用いることなく、実写映像などのムービーファイルの解凍・再生・歪み補正の各処理をリアルタイムで行いつつ、インタラクティブな複数のムービーファイルを、複数のパソコン上で同期して再生することが可能となる。特に、ＭＰＥＧ２やＭＰＥＧ４というムービーファイルフォーマットには、１つ１つのフレームという概念がなく、映像信号の差分のみ管理することでファイル容量を圧縮しているので、差分情報よりフレームを再構築する処理（解凍処理）が必要であり、本実施の形態では、この重い処理プロセスを実行しながら、さらに再生・同期・歪み補正という処理を同時に行い、リアルタイム処理（３０フレーム／秒）を実現することができる。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施の一形態に係る映像信号処理装置を含む映像再生装置の全体構成を示す図である。
【図２】図１で示す映像信号処理装置のソフトウェア部におけるスクリーンモデル創造部の機能ブロック図である。
【図３】球面モデルの入力パラメータを示す図である。
【図４】球面の一部を切り欠いたモデルの入力パラメータを示す図である。
【図５】球面スクリーンの一部を切り欠いた正面形状を示す図である。
【図６】円筒モデルの入力パラメータを示す図である。
【図７】複数平面の入力パラメータを示す図である。
【図８】スクリーンの球面形状に対する歪補正処理を説明するための図である。
【図９】歪み補正の手法を説明するための図である。
【図１０】半球状のスクリーンの中央部で切断した図９の二次元断面図である。
【図１１】グリッド映像の歪補正のイメージ図である。
【図１２】本発明の実施の他の形態に係る仮想現実感生成装置の電気的構成を示すブロック図である。
【図１３】図１２で示す仮想現実感生成装置における同期確立動作を説明するためのフローチャートである。
【符号の説明】
【００６２】
１    映像信号処理装置
２    スクリーン
３；１０２，１０３    プロジェクタ
４    記録媒体
５    コンピュータグラッフィックスの作成装置
６    設定手段
１１    ハードウェア部
１２    ソフトウェア部
１３    映像信号処理回路
１４    デジタルシグナルプロセッサ
１５    メモリ
１６    メモリ
２１    スクリーンモデル創造部
２２    プロジェクタ配置・セットアップ部
２３    ユーザ位置設定部
２５    歪補正部
２６    入力映像処理部
３１    球形モデル
３２    円筒モデル
３３    混合モデル
３４    球形混合モデル
３５    円筒混合モデル
３６    平面混合モデル
３１ａ，３２ａ，３４ａ〜３６ａ    入力パラメータ
３１ｂ，３２ｂ，３４ｂ〜３６ｂ    メッシュモデル
５１    観察者
１０７，１０８  映像作成手段
１０９    同期手段
１１１，１１２    ＤＶＤ
１１２，１２２，１３２    ハードディスク
１１３，１２３，１３３    解凍部
１１４，１２４，１３４    再生表示部
１１５，１２５    歪補正部
１１６，１２６，１３６    同期管理部
１１７，１２７；１２０，１３０    切換えスイッチ
１１８，１１９；１２８，１２９    フレームメモリ
【図１】
2006094458.tif 000006
【図２】
2006094458.tif 000007
【図３】
2006094458.tif 000008
【図４】
2006094458.tif 000009
【図５】
2006094458.tif 000010
【図６】
2006094458.tif 000011
【図７】
2006094458.tif 000012
【図８】
2006094458.tif 000013
【図９】
2006094458.tif 000014
【図１０】
2006094458.tif 000015
【図１１】
2006094458.tif 000016
【図１２】
2006094458.tif 000017
【図１３】
2006094458.tif 000018