(57)【要約】【課題】プロジェクタの姿勢や位置のずれに起因する映像の歪みを簡単に補正して鮮明な映像を表示することができる映像補正方法等を提供する。【解決手段】複数のプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬのそれぞれから映像光を曲面スクリーン１に投影する時に、マップ更新部５は、各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬにより表示される曲面スクリーン１上の映像間のずれを求め、曲面スクリーン１上に表示させる複数の映像のうち何れかの元映像座標と歪み補正後映像座標との対応関係を表す対応関係テーブルのうち、歪み補正後映像の座標を、求めた映像間のずれに相当する方向及び距離だけずらす。そして映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬは、更新されたパラメータを用いて各投影手段から映像光を投影するための映像データに対して歪み補正を行って、各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬから映像光を投影させる。【選択図】図１
2009265826.tif 000002
【特許請求の範囲】
【請求項１】
複数の投影手段のそれぞれから映像を任意形状の表示手段に対して投影するに際して、各投影手段から投影した映像によって表示される表示手段上の映像間のずれを求め、前記表示手段上に表示させる複数の映像のうち何れかの元映像の座標と歪み補正後映像の座標との対応関係を表す対応関係テーブルのうち、歪み補正後映像の座標を、前記求めた映像間のずれに相当する方向及び距離だけずらすテーブル更新処理を行うことを特徴とする映像補正方法。
【請求項２】
前記複数の投影手段が、左眼映像を表示させる左眼用投影部と右眼映像を表示させる右眼用投影部とを含み、
ずれを求める処理は、前記表示手段上の左眼映像及び前記表示手段上の右眼映像とを撮像して、双方の映像の差をずれとし、
前記テーブル更新処理は、前記ずれに相当する方向及び距離だけ歪み補正後映像の座標をずらすこと
を特徴とする請求項１に記載の映像補正方法。
【請求項３】
前記テーブル更新処理の前に、各投影手段から投影した映像によって表示される表示手段上の映像間のずれ量を求め、当該ずれ量が小さくなるように各投影手段によって表示手段に表示させる映像の歪みを補正するパラメータを更新する処理を反復した後に、前記表示手段上の映像間のずれを求め、前記求めた映像間のずれに相当する方向及び距離だけずらすテーブル更新処理を行うことを特徴とする請求項１又は請求項２に記載の映像補正方法。
【請求項４】
複数の投影手段のそれぞれから映像を任意形状の表示手段に対して投影した時の映像を補正するコンピュータが実行するプログラムであって、
各投影手段から投影した映像によって表示される表示手段上の映像間のずれを求める処理と、
前記表示手段上に表示させる複数の映像のうち何れかの元映像の座標と歪み補正後映像の座標との対応関係を表す対応関係テーブルのうち、歪み補正後映像の座標を、前記求めた映像間のずれに相当する方向及び距離だけずらすテーブル更新処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項５】
立体視映像を表示する任意形状の表示手段と、
前記表示手段に対して右眼映像と左眼映像とをそれぞれ投影する複数の投影手段と、
前記各投影手段ごとに、元映像の座標と歪み補正後映像の座標との対応関係を表す歪み補正テーブルを記憶するテーブル記憶手段と、
各投影手段から投影した映像によって表示される表示手段上の映像間のずれを求め、前記表示手段上に表示させる複数の映像のうち何れかの対応関係テーブルのうち、歪み補正後映像の座標を、前記求めた映像間のずれに相当する方向及び距離だけずらすテーブル更新手段と、
前記テーブル更新手段により更新された歪み補正テーブルを用いて各投影手段から映像を投影するための映像データに対して歪み補正を行って、各投影手段から映像を投影させる歪み補正手段と
を備えることを特徴とする立体視映像生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意形状のスクリーンに歪み無く映像を表示する映像補正方法、プログラム及び立体視映像生成システムに関する。
【背景技術】
【０００２】
従来より、複数のプロジェクタから出た分割映像を、隣接する分割映像の一部を重ねながら曲面スクリーンに投影する投影システムが、下記の特許文献１などにて知られている。この特許文献１に記載された投影システムは、当該システムの設置時には、スクリーンに映像を表示させた時に歪み無く鮮明な映像が見られるように、複数台のプロジェクタの姿勢や位置決めを正確に行うことが要求される。
【特許文献１】特開２００５−５１６３３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の投影システムは、例えば設置時からの経時的にプロジェクタの姿勢や位置がずれてしまうことが経験的に認められ、所定期間毎に当該プロジェクタの姿勢、位置を補正するメンテナンス作業が必要となっている。また、従来の投影システムにおいては、地震などによってもプロジェクタの姿勢、位置がずれてしまい、この場合にもメンテナンス作業が必要となる。このメンテナンス作業は、大規模な投影システムであって複数台のプロジェクタを備えているシステムであるほど頻繁に行う必要があり且つ正確性が要求される。
【０００４】
このようにプロジェクタの姿勢、位置のずれがあると、例えば半球型スクリーンに立体視映像を表示する場合に、図１０に示すように、左右眼に対応した元映像から所定のパラメータを使用して補正映像を生成して、半球型スクリーンに表示させても、左右の映像間にずれが発生してしまう。
【０００５】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、プロジェクタの姿勢や位置のずれに起因する映像の歪みを簡単に補正して鮮明な映像を表示することができる映像補正方法、プログラム及び立体視映像生成システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、複数の投影手段のそれぞれから映像を任意形状の表示手段に対して投影するに際して、上述の課題を解決するために、各投影手段から投影した映像によって表示される表示手段上の映像間のずれを求め、表示手段上に表示させる複数の映像のうち何れかの元映像の座標と歪み補正後映像の座標との対応関係を表す対応関係テーブルのうち、歪み補正後映像の座標を、求めた映像間のずれに相当する方向及び距離だけずらすテーブル更新処理を行う。そして、更新されたパラメータを用いて各投影手段から映像を投影するための映像データに対して歪み補正を行って、各投影手段から映像を投影させる。
【発明の効果】
【０００７】
本発明によれば、複数の投影手段によって映像を表示させる時に、表示手段上の映像間のずれを求め、当該ずれに相当する方向及び距離だけ歪み補正後映像の座標をずらすように歪み補正テーブルを更新するので、各投影手段の姿勢や位置のずれに起因する映像の歪みを簡単に補正して鮮明な映像を表示することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について図面を参照して説明する。
【０００９】
本発明の実施形態として示す立体視映像生成システムは、図１に示すように、複数の観察者に対して立体視映像を提供するものである。この立体視映像生成システムは、広視野にわたって映像を大型の曲面スクリーン（任意形状の表示手段）に投影することで、自分が仮想空間にいるような没入感を、多数の観察者に同時に与えることができるものである。この立体視映像生成システムは、例えば、多くの建築家や都市計画者が大型曲面スクリーンに投影されたコンピュータグラフィックをみながら、建築予定の建物や橋などについて議論する都市計画や、宇宙や海底などの映像を投影して観察者が楽しむアミューズメント、火事の避難訓練、内視鏡を用いた手術など、様々な目的に用いられる。
【００１０】
この立体視映像生成システムは、図１及び図２に示すように、広視野を提供する大型の曲面スクリーン１と、１８台のプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬと、１８台の映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬと、曲面スクリーン１に表示された立体視映像を撮像するカメラ４と、映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬによる歪み補正処理のための対応マップである歪み補正テーブルを更新するマップ更新部５とを備える。複数の映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬは、これら全体で、映像生成モジュール３を構成する。
【００１１】
マップ更新部５は、パーソナルコンピュータからなり、後述するように映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬにおける歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬが歪み補正を行うための歪み補正パラメータを更新する処理を行う。このマップ更新部５は、内部に歪み補正パラメータを更新するためのプログラムを記憶し、内部コンピュータが当該プログラムを実行することによって、後述するように歪みを小さくするように歪み補正パラメータを更新する。
【００１２】
なお、図１には、曲面スクリーン１の前面側にプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬを設けた構成例を示している。しかし、これに限らず、曲面スクリーン１の背面にプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬを設けて曲面スクリーン１上に映像を表示させる構成であっても、後述の構成を採用し、本発明が発揮する特有の効果を発揮できることは勿論である。
【００１３】
プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬと映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬは、立体視映像を表示するために、右眼用のグループ（プロジェクタ２ＡＲ〜２ＩＲ，映像生成装置３ＡＲ〜３ＩＲ）と左眼用のグループ（プロジェクタ２ＡＬ〜２ＩＬ，映像生成装置３ＡＬ〜３ＩＬ）とに分類される。
【００１４】
曲面スクリーン１は、下側が水平にカットされた凹面形状の半球型スクリーンである。この曲面スクリーン１は、例えば、内径が８．５ｍ、水平視野角が１８０度、垂直視野角が１５０度で、広視野にわたって映像を表示できるように設計されている。プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬ及び映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬにおいては、図３に示すように、曲面スクリーン１を、３×３の投影領域１ａ〜１ｉに分割させる。１８台のプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬによって、それぞれの投影領域１ａ〜１ｉに、左眼映像光及び右眼映像光からなる分割映像光２０ａ〜２０ｉが投影され、一つの結合された立体視映像を作り出す。なお、この実施の形態では、内径が８．５ｍという曲面スクリーン１を用いているために多数の１８台のプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬを用いているが、これに限らず、個人用の映像提示装置のように観察者の右眼と左眼に対応した２台のプロジェクタで構成されているものであっても良い。
【００１５】
映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬは、一つのつなぎ目のない立体視映像データを蓄積している。そして映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬは、立体視映像データに対して所定の処理を施すことにより、単一の映像を曲面スクリーン１に投影される９つの分割映像データに分割すると共に、各分割映像データに対して後述する歪み補正処理を行う。この分割映像データは、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬに出力されて、当該プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬによって分割映像光２０ａ〜２０ｉを投影させる。
【００１６】
各映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬは、各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬと接続されている。各映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬは、それぞれ、分割映像生成部３０ＡＲ〜３０ＩＲ，３０ＡＬ〜３０ＩＬと、歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬとを有する。なお、映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬは、投影領域１ａ〜１ｉ間の重複領域における輝度を調整するために、歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬによって歪み補正が施された分割映像データの輝度を補正する輝度フィルターを備えていても良い。これにより分割映像生成部３０ＡＲ〜３０ＩＲ，３０ＡＬ〜３０ＩＬは、それぞれ、分割映像光２０ａ〜２０ｉをプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬにて発生させるための分割映像データを作成する。
【００１７】
各歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬは、所定の視点位置から見た時に、立体視映像の歪みが最小になるように、各分割映像データを補正する。各歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬは、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬに対応して設けられることによって、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬごとに、元映像の座標と歪み補正後映像の座標との対応関係を表す歪み補正テーブル（＝対応関係テーブル）を記憶している（テーブル記憶手段）。この歪み補正テーブルは、各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬから投影した映像光によって表示される曲面スクリーン１上の映像間のずれに応じて、マップ更新部５によって更新される。そして、歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬは、マップ更新部５により更新された歪み補正テーブルを用いて各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬから分割映像光２０ａ〜２０ｉを投影するための分割映像データに対して歪み補正を行って、各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬから分割映像光２０ａ〜２０ｉを投影させる。
【００１８】
この歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬによる歪み補正処理は、図４に示すように、元映像である分割映像元データ１００Ｌ，１００Ｒに対して、歪み補正テーブルを用いた座標変換を行うことによって、歪み補正処理を施す。ここで、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬごとに曲面スクリーン１に対する姿勢及び位置が異なるので、それぞれの映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬには異なる歪み補正テーブルによる歪み補正処理を行う必要がある。
【００１９】
そして、分割映像元データ１００Ｌ，１００Ｒに対して歪み補正処理を施すことによって、当該分割映像元データ１００Ｌ，１００Ｒは、曲面スクリーン１に分割映像光２０ａ〜２０ｉを投影したときに所定の視点位置から歪み無く見えるように変換された補正分割映像データ１０１Ｌ，１０１Ｒとされる。そして、この補正分割映像データ１０１Ｌ，１０１Ｒは、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬに供給されて、分割映像光２０ａ〜２０ｉ（観察映像１０２Ｌ，１０２Ｒ）として曲面スクリーン１の投影領域１ａ〜１ｉに向けてそれぞれ投影されて、曲面スクリーン１上には、立体視映像１０３が表示される。
【００２０】
このような歪み補正処理を行ったにも拘わらず、立体視映像生成システムにおいては、システム設置時での微小な取り付け誤差によるプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの姿勢ずれ及び位置ずれ、経時的なプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの姿勢ずれ及び位置ずれ、地震などの外乱的なプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの姿勢ずれ及び位置ずれがあると、立体視映像１０３中に歪みが発生してしまう。このような立体視映像１０３中の歪みを補正するためには、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬのずれを修正する必要があるが、この立体視映像生成システムのように多数のプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬがあるシステムほど、このメンテナンス作業が大掛かりなものとなる。そこで、本発明の実施形態として示す立体視映像生成システムは、当該歪みを簡単に補正して鮮明な映像を表示する。
【００２１】
すなわち、立体視映像生成システムは、複数のプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬのそれぞれから分割映像光２０ａ〜２０ｉを曲面スクリーン１に対して投影するに際して、各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬから投影した分割映像光２０ａ〜２０ｉによって表示される曲面スクリーン１上の映像間のずれを求め、曲面スクリーン１上に表示させる複数の映像のうち何れかの分割映像元データ１００Ｌ，１００Ｒの座標と補正分割映像データ１０１Ｌ，１０１Ｒの座標との対応関係を表す歪み補正テーブルのうち、補正分割映像データ１０１Ｌ，１０１Ｒの座標を、求めた映像間のずれに相当する方向及び距離だけずらすテーブル更新処理を行う。
【００２２】
そして、このテーブル更新処理の後、分割映像元データ１００Ｌ，１００Ｒは、新たな歪み補正テーブルによって補正分割映像データ１０１Ｌ’，１０１Ｒ’を作成することができ、分割映像光２０ａ〜２０ｉ（観察映像１０２Ｌ’，１０２Ｒ’）として曲面スクリーン１の投影領域１ａ〜１ｉに向けてそれぞれ投影される。これにより、曲面スクリーン１上には、補正分割映像データ１０１Ｌ，１０１Ｒを直接的に変形した結果として、双方の映像に歪みの無い立体視映像１０３’が表示される。
【００２３】
このように構成された立体視映像生成システムは、複数のプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬのそれぞれから分割映像光２０ａ〜２０ｉを曲面スクリーン１に対して投影するに際して、図５に示す処理手順で動作することにより、ステップＳ１〜ステップＳ５にて各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬ間で表示する映像のずれを検出し、ステップＳ６にて当該ずれを修正するように歪み補正テーブルを更新する。
【００２４】
先ずステップＳ１においては、マップ更新部５によって、初期設定されている歪み補正テーブルを用いて、分割映像生成部３０ＡＬ〜３０ＩＬにて生成された格子模様の分割映像データに対して歪み補正部３１ＡＬ〜３１ＩＬによって歪み補正処理を行わせ、プロジェクタ２ＡＬ〜２ＩＬから格子映像を曲面スクリーン１に投射させる。そして、マップ更新部５は、ステップＳ２において、ステップＳ１にて曲面スクリーン１上に表示された左眼用に表示された映像をカメラ４によって撮像させて、当該撮像データを取得する。
【００２５】
ステップＳ３においては、マップ更新部５によって、初期設定されている歪み補正テーブルを用いて、分割映像生成部３０ＡＲ〜３０ＩＲにて生成された格子模様の分割映像データに対して歪み補正部３１ＡＲ〜３１ＩＲによって歪み補正処理を行わせ、プロジェクタ２ＡＲ〜２ＩＲから格子映像を曲面スクリーン１に投射させる。そして、マップ更新部５は、ステップＳ４において、ステップＳ３にて曲面スクリーン１上に表示された右眼用に表示された映像をカメラ４によって撮像させて、当該撮像データを取得する。
【００２６】
ここで、ステップＳ１〜ステップＳ４の処理は、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬにおいて、例えば、右眼用のプロジェクタが２ＡＲであり、左眼用のプロジェクタが２ＡＬということである。
【００２７】
次のステップＳ５においては、マップ更新部５によって、ステップＳ２にて取得した左眼用に表示された格子映像とステップＳ４にて取得した右眼用に表示された格子映像間の差（ずれ）を計算する。
【００２８】
このとき、マップ更新部５は、格子映像に含まれる各格子点ごとに、右眼映像に対する左眼映像のずれ量（ベクトル）を求めて、左眼映像の格子点に対応した右眼映像の近傍点を求める。例えば、図６（ａ）、図６（ｂ）に示すように、左眼映像の格子点ｕｉ，ｊに対する近傍点としては、当該左眼映像の格子点ｕｉ，ｊに最も近い右眼映像の格子点ｕｉ，ｊを選択することができる。
【００２９】
次にマップ更新部５は、図６に示したように求めた右眼映像の近傍点に対する左眼映像の格子点の内分比（図６中のｓ，ｔ）を求める。そして、マップ更新部５は、下記の式１にて示すような演算式によって、内分比に基づいて右眼映像の格子点の座標値を更新する。
【数１】
2009265826.tif 000003
【００３０】
これにより、マップ更新部５は、左眼映像と右眼映像とが合致しなく歪みがある状態であっても、左眼映像と右眼映像とのうち、右眼映像の歪み補正テーブルの補正後の座標を内分比だけ、すなわち、ずれに相当する方向及び距離だけずらすように補正することができる。
【００３１】
したがって、この立体視映像生成システムによれば、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの姿勢や位置のずれに起因する映像の歪みを簡単に補正して鮮明な映像を表示することができる。
【００３２】
つぎに、本発明の他の実施形態として示す立体視映像生成システムについて説明する。なお、上述した説明と同一の部分については同一符号を付することによってその詳細な説明を省略する。
【００３３】
この立体視映像生成システムは、映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬの歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬが歪み補正パラメータを更新して歪み補正処理を行い、その後に、上述したように歪み補正テーブルを更新して歪み補正処理を行う機能を有している。このため、立体視映像生成システムにおいては、図２に示すマップ更新部５の機能に加えて、映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬによる歪み補正処理のためのパラメータを更新する機能を備えたマップ・パラメータ更新部５’を備える。
【００３４】
先ず、マップ・パラメータ更新部５’における歪み補正パラメータを更新する処理について説明し、その次に、歪み補正パラメータを更新して歪み補正処理を行った後に歪み補正テーブルを用いた歪み補正テーブルを行う動作手順について説明する。
【００３５】
マップ・パラメータ更新部５’は、パーソナルコンピュータからなり、映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬにおける歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬが歪み補正を行うための歪み補正テーブルの更新処理及び歪み補正パラメータの更新処理を行う。このマップ・パラメータ更新部５’は、内部に歪み補正パラメータ及び歪み補正テーブルを更新するためのプログラムを記憶し、内部コンピュータが当該プログラムを実行することによって、後述するように歪みを小さくするように歪み補正パラメータ及び歪み補正テーブルを更新する。
【００３６】
各歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬは、所定の視点位置から見た時に、立体視映像の歪みが最小になるように、歪み補正パラメータを用いて各分割映像データを補正する。この歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬによる歪み補正パラメータを用いた歪み補正処理は、図８に示すように、元映像である分割映像元データ１００Ｌ，１００Ｒに対して、歪み補正パラメータである各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの曲面スクリーン１に対する姿勢、位置、光学的仕様を用いて、歪み補正処理を施す。したがって、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬごとに曲面スクリーン１に対する姿勢及び位置が異なるので、それぞれの映像生成装置３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬによって異なる歪み補正パラメータによる歪み補正処理を行う必要がある。
【００３７】
そして、分割映像元データ１００Ｌ，１００Ｒに対して歪み補正パラメータを用いた歪み補正処理を施すことによって、当該分割映像元データ１００Ｌ，１００Ｒは、曲面スクリーン１に分割映像光２０ａ〜２０ｉを投影したときに所定の視点位置から歪み無く見えるように変換された補正分割映像データ１０１Ｌ，１０１Ｒとされる。そして、この補正分割映像データ１０１Ｌ，１０１Ｒは、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬに供給されて、分割映像光２０ａ〜２０ｉ（観察映像１０２Ｌ，１０２Ｒ）として曲面スクリーン１の投影領域１ａ〜１ｉに向けてそれぞれ投影されて、曲面スクリーン１上には、立体視映像１０３が表示される。
【００３８】
このような歪み補正パラメータを用いた歪み補正処理を行ったにも拘わらず、立体視映像生成システムにおいては、システム設置時での微小な取り付け誤差によるプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの姿勢ずれ及び位置ずれ、経時的なプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの姿勢ずれ及び位置ずれ、地震などの外乱的なプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの姿勢ずれ及び位置ずれがあると、立体視映像１０３中に歪みが発生してしまう。これに対し、本発明の実施形態として示す立体視映像生成システムは、当該歪みを簡単に補正して鮮明な映像を表示する。
【００３９】
すなわち、立体視映像生成システムは、複数のプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬのそれぞれから分割映像光２０ａ〜２０ｉを曲面スクリーン１に対して投影するに際して、各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬから投影した分割映像光２０ａ〜２０ｉによって表示される曲面スクリーン１上の映像間のずれ量を求め、当該ずれ量が小さくなるように各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬによって曲面スクリーン１に表示させる映像の歪みを補正するパラメータを更新する。そして、更新したパラメータを用いて、分割映像元データ１００Ｌ，１００Ｒに対して再度歪み補正処理を行って補正分割映像データ１０１Ｌ，１０１Ｒを作成し、曲面スクリーン１に立体視映像１０３を表示させる処理を繰り返す。このように、観察映像１０２Ｌ，１０２Ｒのずれを許容値（閾値）以下とするまで、パラメータの更新処理及び更新したパラメータを用いた歪み補正処理を反復する。
【００４０】
このような歪み補正処理は、当該歪み補正処理に用いるパラメータのうち、各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの曲面スクリーン１に対する姿勢を優先して更新して、観察映像１０２Ｌ，１０２Ｒのずれを小さくすることを試みる。この理由は、曲面スクリーン１に対するプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの姿勢のずれが、曲面スクリーン１上の立体視映像１０３の歪みに大きく影響することによる。
【００４１】
また、この歪み補正処理は、パラメータのうち各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの曲面スクリーン１に対する姿勢を優先して更新して、当該姿勢を更新したことによるずれ量の減少幅を最大とする。その後に、各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの曲面スクリーン１に対する位置又は光学的仕様に含まれる各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬが投影する分割映像光２０ａ〜２０ｉの画角を更新し、最終的に光学的仕様に含まれる各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬが投影する分割映像光２０ａ〜２０ｉのシフト量を更新する。このように、最終的にプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬのシフト量を更新する理由は、パラメータとしてのプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの曲面スクリーン１に対する位置、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの画角と比較して、立体視映像１０３上のずれに与える影響が少ないので、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬのシフト量は微調整として更新することが望ましいことによる。
【００４２】
なお、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの曲面スクリーン１に対する位置と、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの画角とは、経験的に、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの画角を優先して更新することが望ましい。これは、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの位置を変更するよりもプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの画角を変更する方がずれ量の減少幅が大きいことによる。
【００４３】
このように構成された立体視映像生成システムは、複数のプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬのそれぞれから分割映像光２０ａ〜２０ｉを曲面スクリーン１に対して投影するに際して、図９に示す処理手順で動作することにより、上述したステップＳ１〜ステップＳ４と同様のステップＳ１１〜ステップＳ１４の処理を行う。
【００４４】
すなわち、先ずステップＳ１１においては、マップ・パラメータ更新部５’によって、初期設定されているパラメータを用いて、分割映像生成部３０ＡＬ〜３０ＩＬにて生成された格子模様の分割映像データに対して歪み補正部３１ＡＬ〜３１ＩＬによって歪み補正処理を行わせ、プロジェクタ２ＡＬ〜２ＩＬから格子映像を曲面スクリーン１に投射させる。そして、マップ・パラメータ更新部５’は、ステップＳ１２において、ステップＳ１１にて曲面スクリーン１上に表示された左眼用に表示された映像をカメラ４によって撮像させて、当該撮像データを取得する。
【００４５】
ステップＳ１３においては、マップ・パラメータ更新部５’によって、初期設定されているパラメータを用いて、分割映像生成部３０ＡＲ〜３０ＩＲにて生成された格子模様の分割映像データに対して歪み補正部３１ＡＲ〜３１ＩＲによって歪み補正処理を行わせ、プロジェクタ２ＡＲ〜２ＩＲから格子映像を曲面スクリーン１に投射させる。そして、マップ・パラメータ更新部５’は、ステップＳ１４において、ステップＳ１３にて曲面スクリーン１上に表示された右眼用に表示された映像をカメラ４によって撮像させて、当該撮像データを取得する。
【００４６】
次のステップＳ１５においては、マップ・パラメータ更新部５’によって、ステップＳ１２にて取得した左眼用に表示された格子映像とステップＳ１４にて取得した右眼用に表示された格子映像間の差（ずれ量）を計算する。このとき、マップ・パラメータ更新部５’は、下記式２に示すように、右眼用に表示した映像に含まれる格子点ｕｉ，ｊの座標と、当該格子点に対応する左眼用に表示した映像に含まれる格子点ｕｉ，ｊの座標との差の総和Ｅを求める。
【数２】
2009265826.tif 000004
【００４７】
次のステップＳ１６においては、マップ・パラメータ更新部５’により、上記式２にて求めた差の総和Ｅが、予め設定した第１閾値以下か否かを判定する。そして、差の総和Ｅが第１閾値以下である場合には処理を終了し、差の総和Ｅが第１閾値以下ではない場合には、ステップＳ１７に処理を進める。
【００４８】
ステップＳ１７においては、マップ・パラメータ更新部５’によって、歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬでの歪み補正に用いるパラメータを更新する命令を与える。このとき、マップ・パラメータ更新部５’は、最急降下法を用いて、現状での歪み補正パラメータβを、下記の式３に示すように正の重み係数αと、差（ずれ量）の総和Ｅとから式２の演算をして逐次更新する。
【数３】
2009265826.tif 000005
【００４９】
そして、このように更新された歪み補正パラメータは、各歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬに対して供給されて、ステップＳ１１に処理を戻す。なお、式３のβｋは、各プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬごとの位置・姿勢、画角（水平・垂直）、シフト量（水平・垂直）であり、全部でプロジェクタ台数×１０個のパラメータである。
【００５０】
このような動作を行うことにより、立体視映像生成システムは、左眼映像と右眼映像との差が所定の第１閾値以下とするように歪み補正パラメータを更新する処理を反復することができる。また、この歪み補正パラメータを更新する時に、曲面スクリーン１に対するプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの姿勢を優先して更新し、その後に、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの位置、画角、シフト量を更新する。これにより、左眼映像と右眼映像とのずれに大きく影響する歪み補正パラメータを優先して調整し、その後に微調整を行って、確実に左眼映像と右眼映像とのずれ量を閾値以下とすることができる。
【００５１】
また、この立体視映像生成システムにおいては、曲面スクリーン１の形状に基づいて、左眼映像と右眼映像とのずれ量が小さくなるように歪み補正パラメータを更新することが望ましい。この理由としては、曲面スクリーン１の曲率が大きくなるほど、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの姿勢ずれなどに対する映像の歪みが大きくなるためである。これにより、曲面スクリーン１の形状に応じて発生する歪みを補正して、曲面スクリーン１の全面において歪みの小さい立体視映像を表示することができる。
【００５２】
このように歪み補正パラメータを更新して、左眼映像と右眼映像との差の総和Ｅが第１閾値以下となった場合には、処理をステップＳ１８に進める。このとき、各歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬにおける歪み補正テーブルは、当該歪み補正部３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬによって最適な歪み補正パラメータを反映するように更新されている。
【００５３】
ステップＳ１８においては、マップ・パラメータ更新部５’により、左眼映像と右眼映像との差の総和Ｅが所定の第２閾値以下か否かを判定する。この第２閾値は、ステップＳ１６にて判断された第１閾値よりも小さい値であり、上述の図４乃至図６を参照して説明したように歪み補正テーブルの更新を行う必要があるか否かを判断するための値が設定されている。なお、第１閾値は、歪み補正パラメータの反復更新によって経験的に認められる最大限近くまで左眼映像と右眼映像との差の総和Ｅが小さくなるように当該立体視映像生成システムの管理者によって設定され、第２閾値は、当該歪み補正パラメータの反復更新によって小さくされた左眼映像と右眼映像との差の総和Ｅを歪み補正テーブルの一度の更新によって略０とするために第１閾値より小さな値に設定される。
【００５４】
そして、マップ・パラメータ更新部５’は、左眼映像と右眼映像との差の総和Ｅが所定の第２閾値以下であると判定した場合には、上述の図４におけるステップＳ６と同様に、歪み補正テーブルのうち、内分比に基づいて右眼映像の格子点の座標値を更新して、処理を終了する。
【００５５】
このように構成された立体視映像生成システムによれば、一度の歪み補正テーブルの更新のみで左眼映像と右眼映像との差を修正するのではなく、その前に、歪み補正パラメータとしての曲面スクリーン１に対するプロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの姿勢、位置、プロジェクタ２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬの光学的仕様を更新して、左眼映像と右眼映像との差をできるだけ小さくする。
【００５６】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態として示す立体視映像生成システムの構成を示す斜視図である。
【図２】本発明の実施形態として示す立体視映像生成システムの構成を示すブロック図である。
【図３】本発明の実施形態として示す立体視映像生成システムによって分割映像を曲面スクリーンに投影する様子を説明する斜視図である。
【図４】本発明の実施形態として示す立体視映像生成システムによる歪み補正テーブルを更新する原理を示す図である。
【図５】本発明の実施形態として示す立体視映像生成システムによって歪みを補正する動作を示すフローチャートである。
【図６】本発明の実施形態として示す立体視映像生成システムにおいて内分比に基づいて座標を変更することを説明する図である。
【図７】本発明の他の実施形態として示す立体視映像生成システムの構成を示すブロック図である。
【図８】本発明の実施形態として示す立体視映像生成システムによる歪み補正のパラメータを更新する原理を示す図である。
【図９】本発明の他の実施形態として示す立体視映像生成システムによって歪みを補正する動作を示すフローチャートである。
【図１０】従来の技術における問題を説明する図である。
【符号の説明】
【００５８】
１  曲面スクリーン
１ａ〜１ｉ  投影領域
２ＡＲ〜２ＩＲ，２ＡＬ〜２ＩＬ  プロジェクタ
３  映像生成モジュール
３ＡＲ〜３ＩＲ，３ＡＬ〜３ＩＬ  映像生成装置
４  カメラ
５  マップ更新部５
５’  マップ・パラメータ更新部
２０ａ〜２０ｉ  分割映像光
３０ＡＲ〜３０ＩＲ，３０ＡＬ〜３０ＩＬ  分割映像生成部
３１ＡＲ〜３１ＩＲ，３１ＡＬ〜３１ＩＬ  歪み補正部
１００Ｌ，１００Ｒ  分割映像元データ
１０１Ｌ，１０１Ｒ  補正分割映像データ
１０２Ｌ，１０２Ｒ  観察映像
１０３  立体視映像
【図１】
2009265826.tif 000006
【図２】
2009265826.tif 000007
【図３】
2009265826.tif 000008
【図４】
2009265826.tif 000009
【図５】
2009265826.tif 000010
【図６】
2009265826.tif 000011
【図７】
2009265826.tif 000012
【図８】
2009265826.tif 000013
【図９】
2009265826.tif 000014
【図１０】
2009265826.tif 000015
【手続補正書】
【提出日】平成20年5月29日(2008.5.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
従来より、複数のプロジェクタから出た分割映像を、隣接する分割映像の一部を重ねながら曲面スクリーンに投影する投影システムが、下記の特許文献１などにて知られている。この特許文献１に記載された投影システムは、当該システムの設置時には、スクリーンに映像を表示させた時に歪み無く鮮明な映像が見られるように、複数台のプロジェクタの姿勢や位置決めを正確に行うことが要求される。
【特許文献１】特表２００６−５１６３３３号公報