(57)【特許請求の範囲】
【請求項１】
画像を表示部に出力する複数台のプロジェクタと、前記複数台のプロジェクタそれぞれに画像信号を供給する映像信号制御装置と、前記表示部に出力された画像の状態を監視する監視カメラを有する映像表示システムであって、
前記複数台のプロジェクタのうちの第一のプロジェクタと第二のプロジェクタは、各々が出力する画像の表示範囲を重複するように表示し、
前記映像信号制御装置は、
画像信号を入力する入力部と、
第一の補正パラメタを生成する補正パラメタ生成装置と、
前記入力された画像信号を画素毎に補正し、前記複数台のプロジェクタに供給する複数台の画像補正器とを有し、
前記画像補正器は、
前記画像信号を記憶するフレームメモリと、
前記第一の補正パラメタに従って、前記フレームメモリから表示すべき画素値を読み出す幾何形状補正部と、
前記フレームメモリから読み出された画素値を第二の補正パラメタで色変換する色変換部とを有し、
前記補正パラメタ生成装置は、前記重複する表示範囲において、画素毎に、前記第一のプロジェクタの投写範囲内の第一の画素のフレームメモリ座標系での位置座標と前記監視カメラで撮影した前記第一の画素のカメラ座標系での位置座標との第一の対応関係を、前記カメラ座標系での前記第一の画素と前記カメラ座標系での前記第一の画素の近傍にある複数の画素との対応関係及び前記カメラ座標系での前記第一の画素の近傍にある前記複数の画素のそれぞれと対応する前記フレームメモリ座標系での複数の画素のそれぞれから前記カメラ座標系での前記第一の画素に対応する前記フレームメモリ座標系での第一の画素を求めることにより生成し、
更に、画素毎に、前記第二のプロジェクタの投写範囲内の第二の画素のフレームメモリ座標系での位置座標と前記監視カメラで撮影した前記第二の画素のカメラ座標系での位置座標との第二の対応関係を、前記カメラ座標系での前記第二の画素と前記カメラ座標系での前記第二の画素の近傍にある複数の画素との対応関係及び前記カメラ座標系での前記第二の画素の近傍にある前記複数の画素のそれぞれと対応する前記フレームメモリ座標系での複数の画素のそれぞれから前記カメラ座標系での前記第二の画素に対応する前記フレームメモリ座標系での第二の画素を求めることにより生成し、
前記第一及び第二の対応関係に基づいて、前記第一及び第二のプロジェクタが表示する重複する範囲内に含まれる画像中の、前記フレームメモリ座標系での前記複数の第一の画素のそれぞれと前記フレームメモリ座標系での前記複数の第二の画素のそれぞれとの第三の対応関係を生成し、
前記第三の対応関係と本来重複しているべき複数の第一及び第二の画素との第四の対応関係に基づいて第一の補正パラメタを生成し、
前記第二の補正パラメタは、画素毎に、前記重複する表示範囲に含まれるか否かに応じて各成分の強度が設定されている、映像表示システム。
【請求項２】
前記入力部は、前記画像信号を前記プロジェクタの台数に応じて入力する、請求項１記載の映像表示システム。
【請求項３】
前記映像信号制御装置は、更に、前記画像信号を前記プロジェクタの台数に応じて分割する画像分割装置を有し、
前記画像補正器は、前記画像分割装置によって分割された分割画像信号をそれぞれ入力し、入力された分割画像信号を画素毎に補正し、前記複数台のプロジェクタに供給する、請求項１記載の映像表示システム。
【請求項４】
前記幾何形状補正部は、前記プロジェクタから出力される画素の位置に従って、前記画素値を読み出す、請求項１記載の映像表示システム。
【請求項５】
前記フレームメモリに記憶されている画素値は、赤色、青色及び緑色の成分の強度を示し、
前記第二の補正パラメタは、前記成分毎に設定され、
前記色変換部は、前記各成分の強度を前記第二の補正パラメタで変換する、請求項１乃至４記載の映像表示システム。
【請求項６】
前記表示部は、前記複数のプロジェクタのいずれか一つから出力される画像のうち、他の画像と重複する範囲と重複しない範囲で明るさが異なるように表示する、請求項５記載の映像表示システム。
【請求項７】
前記重複する範囲には、前記複数のプロジェクタから出力される複数の画像が含まれ、
前記第二の補正パラメタは、画素毎に他のプロジェクタから出力される画像の数に応じて各成分の強度が設定されている、請求項６記載の映像表示システム。
【請求項８】
前記表示部は、前記複数のプロジェクタのいずれか一つから出力される画像のうち、他の画像と重複する範囲に含まれる画像を、重複する他の画像の数に従って明るさが異なるように表示する、請求項７記載の映像表示システム。
【発明の詳細な説明】
技術分野
本発明は、複数の画像を組み合わせて表示を行う映像表示装置に関する。その中でも特に、複数の投射型表示装置により投写された複数の画像を組み合せて一つの画面を構成するマルチプロジェクション映像表示装置に係り、複数の画像の滑らかな接続を実現する装置および方法に関する。
背景技術
複数の画像を組み合わせる場合、例えば複数のプロジェクタからなるマルチプロジェクタ装置では、隣接するプロジェクタから投写された画像の継目が判らないように、その継目で画像を滑らかに接続して、全体として一つ（または複数）の画面を構成出来ることが理想である。
そのために、従来は特開平８−９４９７４号公報に記載のような手法が取られていた。例えば、各プロジェクタのスクリーン上での画像投写範囲が隣接するプロジェクタの画像投写範囲に侵入しないように、隣接する画像投写範囲の境界位置に、スクリーンに垂直に隣接プロジェクタの光が侵入してくるのを防止する遮光板を設けている。また、隣接する投写範囲毎に異なる向きの偏光特性を持つ透過型スクリーンを用いて、隣接するプロジェクタの投写光が物理的に観賞者に届かないように工夫されている。
しかし、上記光学的手法による隣接する画像の継ぎ合せでは、各プロジェクタの画像投写範囲を事前に物理的に規定しなければならない。このため、規定投写範囲の形状に、投写画像が正確に重なるように、プロジェクタを調整する必要が生じる。この調整は、プロジェクタの姿勢とプロジェクタ内部の光学系の調整と、さらには、ブラウン管式プロジェクション型の場合のみ偏向電圧波形の調整による投写画像の形状変形などにより行なわれてきた。
ただし、液晶プロジェクタの場合には投写画像形状の変形は、ブラウン管式プロジェクタほど容易ではない。光学的な調整のみで、画像の投写位置移動と変形自由度の少ない画像形状変形を行うことになる。
しかし、このような調整は繁雑であるばかりでなく、調整後のプロジェクタ設置環境の温度や磁場の変化で、容易に、最適な調整点が変化してしまい、プロジェクタの再調整を頻繁に行なう必要が生じる。つまり、従来の手法では、複数の画像を自然な形で１つ（または複数の）画面（画像）に見せることは極めて困難であった。
また、スクリーンに遮光板を設けるなどの加工をすると、スクリーン自体の均一性が損なわれ、その影響が投写された画像にも反映し、滑らかに接続された合成画像が得られない。
発明の開示
本発明は、かかる事情に鑑みてなされたものである。本発明では、隣接するプロジェクタからの投写光の侵入防止のためのスクリーンの特別な構造や、プロジェクタの光学的な精密調整を不要とし、その上で画像の継目が判らないように、画像を滑らかに接続する。本発明によれば、プロジェクタの画像投写を、映像信号処理で実現することも可能になる。
上記目的を達成するために、本発明は以下の構成とした。
本発明では、投影面上（例えば、スクリーン）で複数の画像で重複する部分の画像（信号）を調整する。例えば、スクリーンの背面あるいは正面からスクリーン上に画像を投写する複数のプロジェクタに対して、プロジェクタへ供給された映像信号を、各プロジェクタが担当する部分画像領域毎に切り出した映像信号を作成し、その映像信号を加工して投写する画像の形状変形と局所的色補正を行う。これらの処理は、ハードウエアにより行ってもよいし、ソフトウエアにより行ってもよい。
さらに、本発明は、複数の映像出力器を有するマルチプロジェクション映像表示装置での映像表示方法において、前記映像出力器が映像を表示する表示画面上で、前記映像出力器から投写させる映像の表示領域が他の映像出力器から出力される映像の表示領域と重ねて表示し、重ねられて表示される領域に、前記映像出力器および前記他の映像出力器それぞれから、互いに関連する映像を出力することを特徴とする。
この時、形状変形と色補正を行う際に設定する制御パラメタ値を生成してもよい。制御パラメタ値を生成する時には、各プロジェクタに任意画像パターンの映像信号を供給し、スクリーン上に投写されている画像の状態を読み取り、読み取った画像から制御パラメタ値を計算して実施してもよい。
他の画像と隣接する画像投写範囲を受け持つプロジェクタは、そのスクリーン上での最大画像投写範囲が、その境界部で隣接する最大画像投写範囲と数パーセント程度重なる領域を持つように、配置と姿勢と光学系を設定するとよりよい。隣接する最大画像投写範囲が重複する部分は、隣接する最大画像投写範囲を受け持つプロジェクタそれぞれの投写映像が、光学的に加算合成されている部分である。その光学的な映像加算の状態を、スクリーン上に投写されている画像の状態を読み取り、読み取った画像から制御パラメタ値を計算し、光学的映像加算のモデル化と、供給映像信号の幾何変形と局所色補正の制御変数について、光学的な映像加算の結果として隣接する画像が滑らかに接続される解を、前述のモデルから求め、求めた幾何変形と局所色補正に基づいて投写する画像の形状変形と局所的色補正を実行し、加工した映像信号を各プロジェクタへ供給する。
本発明の構成は、またスクリーン上に１以上の画面を構成するマルチプロジェクション映像表示装置において、前記スクリーン上に映像を投写する映像投写器と、前記映像投写器から投写される映像を表示する表示範囲が、他の映像投写器の表示範囲と重複領域を有する場合、前記映像投写器および前記他の映像投写器それぞれから、前記スクリーン上の前記重複領域内には互いに関連する映像を出力させる制御装置を有することを特徴とするマルチプロジェクション映像表示装置である。
また、コンピュータ読み取り可能な記憶媒体であって、映像出力器が映像を表示する表示画面上で、前記映像出力器から投写させる映像の表示領域が他の映像出力器から出力される映像の表示領域と重ねて表示させ、重ねられて表示される領域に、前記映像出力器および前記他の映像出力器それぞれから、互いに関連する映像を出力させるプログラムが格納されたことを特徴とするコンピュータ読み取り可能な記憶媒体でもある。また、本発明の構成は、複数の映像出力器から出力される映像が重ねられて表示される領域に、映像出力器および他の映像出力器それぞれから、互いに関連する映像を出力可能なように、各映像出力器に対応させて映像データを分割して格納している記憶媒体と、前記記憶媒体読み出した映像データに基づく映像信号を各映像出力器に供給する供給器を有することを特徴とする映像信号再生装置でもある。
本発明は、画像の重複部分を調整するのみで実現できるので、スクリーンやプロジェクタ等の構成部品の個々の状態調整が不要になる。特に、スクリーンやプロジェクタ等のさまざまな構成部品の状態に依存した結果の光学的映像加算のモデルを作り、それを解く形態とすれば、結果的に解の存在する光学的映像加算のモデルが得られる範囲で、スクリーンやプロジェクタ等の構成部品の個々の状態調整が不要になる。
【図面の簡単な説明】
第１図は、本発明の一実施例における複数のプロジェクタとスクリーンとスクリーン状態監視カメラの配置を示す図である。第２図は、映像信号制御装置の機能ブロック図である。第３図は、複数のプロジェクタによる最大画像投写範囲と映像信号制御装置で処理された画像の投写範囲とのスクリーン上での位置関係を示す図である。第４図は、一台のプロジェクタによる最大画像投写範囲と映像信号制御装置で処理された画像の投写範囲との位置関係を示す図である。第５図は、画像補正器の機能ブロック図である。第６図は、第５図に示した画像補正器の各機能ブロック内部の機能構成図である。第７図は、ビデオ信号デジタイザの動作手順を示す図である。第８図は、フレームバッファ書き込み・読み出し手順を示す図である。第９図は、画像の幾何形状の補正手順を示す図である。第１０図は、幾何変形ベクトルテーブルのデータ構造を示す図である。第１１図は、色変換の手順を示す図である。第１２図は、色変換パラメタテーブルのデータ構造を示す図である。第１３図は、補正パターン画像の例を示す図である。第１４図は、画像の幾何形状補正前と後の画像投写領域を示す図である。第１５図は、隣接する２つの最大画像投写範囲の４種類の重なり方の例示である。第１６図は、幾何変形制御情報の生成手順を示す図である。第１７図は、幾何変形ベクトルの生成手順を示す図である。第１８図は、画素値変換パラメタの生成手順を示す図である。第１９図は、重複部分を持つ画像の四分割の１例を示す図である。第２０図は、隣接する分割画像の重複部分の関係を示す図である。第２１図は、画像重複部分の明度変調に用いる重み関数を示す図である。第２２図は、画像補正器を内蔵するプロジェクタと映像信号制御装置のブロック図である。第２３図は、曲面スクリーンを用いたマルチプロジェクション映像表示装置の１例を示す図である。第２４図は、分割映像信号を並列に再生する再生装置の組と画像補正装置を持たない映像信号制御装置のブロック図である。第２５図は、画像補正装置と画像一時蓄積装置を内蔵する映像再生装置を示す図である。
発明を実施するための最良の形態
第１図に、本発明によるプロジェクタアレーのシステム構成を示す。４台のプロジェクタ0121、0122、0123、0124を、背面投射用のスクリーン0140上の最大画像投写範囲0151、0152、0153、0154が互いに少しずつ重なるように配置する。４台のプロジェクタ0121、0122、0123、0124には、映像信号制御装置0110より、それぞれ画像信号を供給する。映像信号制御装置0110は、外部映像入力0180より供給された映像信号を加工し、4台のプロジェクタ0121、0122、0123、0124に供給する機能と、映像の加工の仕方を決定する画像補正機能を持つ。映像信号制御装置0110の画像補正の仕方は、スクリーン0140に投写された画像の状態を読み取るスクリーン状態監視カメラ0130からの映像信号を元に決定する。
映像信号制御装置0110の機能構成ブロックダイアグラムを、第２図に示す。映像信号制御装置は、入出力端子として、単一映像入力0210と、分割映像入力0221、0222、0223、0224と、スクリーン状態監視カメラ映像入力0230と、分割映像出力0241、0242、0243、0244とを持つ。
単一映像入力0210より供給される映像信号は、画像分割装置0250により、分割映像出力0241、0242、0243、0244に接続されるプロジェクタの配置に対応した画像に分割された映像信号を生成し、そのそれぞれの映像信号は、映像信号切替器0260に供給される。
映像信号切替器0260は、画像分割装置0250からの入力か、テストパターン画像生成器0270からの入力か、分割映像入力0221、0222、0223、0224かのいずれか一つの組を選択し、選択した組の映像信号のそれぞれを、画像補正器0281、0282、0283、0284に提供する。
画像補正パラメタ生成器0290は、テストパターン画像生成器0270を制御して、幾何パターンの画像信号を、映像信号切替器0260により選択し画像補正器0281、0282、0283、0284を経由して分割映像出力0241、0242、0243、0244に接続されたプロジェクタ0121、0122、0123、0124へ供給し、その幾何パターンがスクリーンに映った様子を撮影しているスクリーン状態監視カメラ0130からの映像信号を、スクリーン状態監視カメラ映像入力0230より読み込む。画像補正パラメタ生成器0290は、スクリーン状態監視カメラ映像入力0230の映像を基に、各プロジェクタ0121、0122、0123、0124の表示する映像がスクリーン上で連続に接続され、輝度分布も滑らかになるような画像補正パラメタを計算する。計算したパラメタ値を、画像補正制御線0295を通して画像補正器0281、0282、0283、0284へセットする。
第１図の最大画像投写範囲0151、0152、0153、0154と、映像信号制御装置0110で加工され投写された画像との関係を、第３図に示す。最大画像投写範囲0301、0302、0303、0304は、プロジェクタ0121、0122、0123、0124がスクリーン0140上にそれぞれ画像を表示できる最大の範囲である。プロジェクタ0121、0122、0123、0124は、最大画像投写範囲0301、0302、0303、0304がそれぞれ隣接する投写範囲と互いに重複領域を持つように配置する。
最適化画像投写範囲0311、0312、0313、0314は、それぞれ最大画像投写範囲0301、0302、0303、0304の内側に位置し、隣接するプロジェクタに投写された画像同士が互いに連続した状態で表示されるための画像表示領域である。
第４図に、第１図の最大画像投写範囲の一つを拡大して示す。最大画像投写範囲境界0401は、プロジェクタが画像を表示可能な範囲の境界を示す。最適化画像投写範囲境界0402は、隣接するプロジェクタに投写された画像同士が互いに連続に接続した状態で表示されるように、プロジェクタへの供給された映像を縮小表示する範囲を示す。最大画像投写範囲境界0401と最適化画像投写範囲境界0402に囲まれた部分0403には、最も暗い輝度を持つ画素値を持つように、映像信号制御装置0110は入力映像信号を加工する。なぜなら、その部分は隣のプロジェクタが画像を投写する範囲を含むので、投写時間が多重に表示されないようにするためである。
第５図に、画像補正器の機能ブロック図を示す。映像信号入力端子0501よりアナログ映像信号を入力し、その映像信号をビデオ信号デジタイザ0510が、画像補正器内部でのデジタル表現に変換する。デジタル表現された映像データの各画像フレームデータは、画像データ転送線0561を通してフレームバッファブロック0520に格納する。
制御パラメタ入力端子0502から画像の幾何補正パラメタと色補正パラメタのデータを入力し、制御パラメタ転送線0567を通してそれぞれ、幾何形状補正ブロック0530と色変換ブロック0540に各パラメタ値を設定する。幾何形状補正ブロック0530は、設定されたパラメタ値に従って出力画像形状を変形するように、映像信号出力端子0503から出力される画素のアドレスを画像データ書込みアドレス転送線0563より読み込み、そのアドレスに出力する入力画像の画素のアドレスを計算し、画像データ読み出しアドレス転送線0565に出力し、フレームバッファブロック0520に格納された入力画像データの画素を読み出す。
読み出された画素は、色変換ブロック0540により、設定されたパラメタ値に従った画素の色変換を施され、ビデオ信号生成器0550に転送され、ビデオ信号生成器0550より、ビデオ信号として出力される。第５図の各機能ブロックの動作アルゴリズムを、第６図に示す第５図の各機能ブロック内部の実現手段構成図と、PAD図を用いて説明する。ビデオ信号デジタイザ0610は、映像信号入力端子0601より入力された信号から映像色信号と同期信号を分離する手段の信号分離器0611と、映像色信号電圧値を量子化する手段のA/D変換器0612と、分離した同期信号を基に、現在量子化した画素の画像内での位置情報を生成する手段のアドレス生成器0613を持つ。
フレームバッファブロック0620は、それぞれ1フレームの画像情報を格納する手段のフレームメモリA 0621とフレームメモリB 0622と、入力された画素値をどちらのフレームメモリに書込むかを選択し、書込む方のフレームメモリに、書込むアドレスと書込みタイミングを供給する手段の書き込みアドレス選択器0625と、現在書込みをしていない方のフレームメモリを読み出し用として選択して、選択したフレームメモリに、読み出す画素のアドレスを供給する手段の読み出しアドレス選択器0626と、読み出し用フレームメモリから出力された画素値を選択し出力する手段の読み出しデータ選択器0627を持つ。幾何形状補正ブロック0630は、画像補正器が出力タイミングにある画素の画像内位置に、読み出し用として選択したフレームバッファのどのアドレスに格納した画素値を出力するかを計算する手段のアドレス生成器0631と、計算に必要なパラメタを出力画素位置毎に全て記憶する手段のアドレス変位メモリ0632を持つ。色変換ブロック0640は、フレームバッファブロック0620から読み出した画素値を基に、画像補正器が出力する画素値を計算する手段の画素値変換器0641と、出力画素位置毎に画素値の変換の仕方を記憶する手段の画素値変換パラメタメモリ0642を持つ。
ビデオ信号生成器0650は、出力する画素値を映像色信号に変換する手段のD/A変換器0651と、画素出力位置情報から同期信号を生成し、映像色信号と合成してビデオ信号に変換するデオ信号合成器0652を持つ。ビデオ信号デジタイザ0610の動作手順を第７図に示す。手順0700で映像信号から画像信号と同期信号を分離する。手順0701で画像信号の色信号を量子化する。手順0702で同期信号を基準に画素アドレス（画素の行と列）を生成する。
この手順で量子化された映像数値データは、フレームバッファブロック0620に一旦格納される。格納された映像数値データに対し、幾何形状補正ブロック0630は幾何形状補正用の読み出しアドレスを発生し、読み出された画素データは、色変換ブロック0640により色補正を施す。
フレームバッファブロック0620の動作手順を第８図に示す。手順0800と0801で、2画面分用意したフレームバッファメモリの一方を書き込み用、他方を読み込み用と設定する。手順0802で、画面の左上隅の書き込み開始位置の書込みデータが、フレームバッファブロック0620へ供給されるのを待つ。手順0805で、書き込み用フレームバッファに画素値を書き込む。手順0806で、幾何形状補正ブロック0630から供給されるアドレスに従って、読み出し用フレームバファから画素値を読み出し、読み出しデータ選択器0627を経由して色変換ブロック0640へ画素値を転送する。手順0805と0806を、画像1フレーム分全ての画素について行うまで繰り返した後、手順0807で、書き込み用フレームバッファメモリと読み出し用フレームバッファメモリの役割を入れ替え、手順0805以降を繰り返す。
幾何形状補正ブロック0630の動作手順を、第９図に示す。手順0901で、第１０図に示す幾何変形ベクトルテーブルを、アドレス変位メモリ0632に読み込みむ。
幾何変形ベクトルテーブルは、1フレーム分の画像の各画素と一対一に対応した2次元ベクトル値の要素から構成される2次元配列形式のデータである。手順0903で、ビデオ信号デジタイザ0610より順次供給されるアドレス（r,c）毎に、アドレス変位メモリ0632に格納した幾何変形ベクトルテーブルのr行c列の要素（x[r,c],y[r,c]）を読み出す。手順0904で、（r,c）+（x[r,c],y[r,c]）を計算し、フレームバッファブロック0620の読み出しアドレスとして出力する。手順0903と手順0904を、アドレス変位メモリ0632の再初期化要求が、制御パラメタ入力端子0602よりない限り繰り返す。再初期化要求があると、手順0901へ戻る。
色変換ブロック0640の動作手順を、第１１図に示す。手順１１０１で、第１２図に示す色変換パラメタテーブルを、画素値変換パラメタメモリ0642に読み込み初期化する。色変換パラメタテーブルは、1フレーム分の画像の各画素の3色(赤、青、緑)の色成分それぞれに対する変換関数を、N区分線型関数で近似したときのパラメタを要素とする、3プレーン分の2次元配列形式のデータである。手順1103で、ビデオ信号デジタイザ0610より順次供給されるアドレス（r,c）毎に、画素値変換パラメタメモリ0642に格納した色変換パラメタテーブルr行c列の赤・青・緑の各色に対応した要素を読み出す。フレームバッファブロック0620から出力された画素の各色成分の強度をzとすると、手順1104で、数1に示す変換式で変換した強度を、変換された画素の各色成分の強度とし、ビデオ信号生成器0650へ出力する。
0003714163.tif 000002
手順1103と手順1104を、画素値変換パラメタメモリ0642の再初期化要求が、制御パラメタ入力端子0602よりない限り繰り返す。再初期化要求があると、手順1101へ戻る。
色変換ブロック0640から出力された画素値は、ビデオ信号生成器0650により、アナログビデオ信号に変換され、映像信号出力端子0603より出力される。幾何形状補正ブロック0630や色変換ブロック0640に設定される第１０図と第１２図のパラメタ情報は、スクリーン状態監視カメラ0130により撮影したスクリーン0140上の映像の状態を基に、画像補正パラメタ生成器0290により作成される。第１０図の幾何変形のパラメタ情報は、つぎの様に計算する。
第１３図に示す補正パターンを、画像補正器0281、0282、0283、0284を経由して各プロジェクタからスクリーンに投写し、その投写画像をスクリーン状態監視カメラ0130により撮影し、頂点1301などを画像パターン中の特徴点として抽出する。このような特徴点の、カメラ座標系での位置座標値qと、その点に対応する画素のフレームメモリ内の座標値pとの対応付けが出来ているとする。このとき、このようなパターンが表示されていない部分でのカメラ座標系の任意の位置qに対応するフレームメモリの座標値系での位置座標pを求める方法は、以下のようにする。qの近傍の3点q_1、q_2、q_3で、フレームメモリの座標値系での座標値p_1、p_2、p_3との対応がついている点を計測する。そして、qがq_1、q_2、q_3と適当な実数aとbにより数2の関係にあるとき、pを数3として表わす。
0003714163.tif 000003
第１４図に示すように4台のプロジェクタの最大画像投写範囲1401、1402、1403、1404が互いに重複部分を持って配置されている場合、プロジェクタAの最大画像投写範囲1401内に存在する隣接プロジェクタBの最大画像投写範囲1402の頂点1421の座標を、上記の座標変換方法により、プロジェクタAに接続されている画像補正器のフレームメモリ座標系での座標値として読み取る。すなわち、スクリーン上の任意の点のプロジェクタBに接続されている画像補正器のフレームメモリ座標系での座標値x_Bを、プロジェクタAに接続されている画像補正器のフレームメモリ座標系での座標値x_Aへ対応付ける同型写像Ψ_{AB}が定義できる。
したがって、以下で扱う投写画像内の任意の位置座標値は、どれか一つのプロジェクタに接続しある画像補正器のフレームメモリ座標系での座標値と仮定する。左右または上下に接して配置されている2台のプロジェクタの最大画像投写範囲をS_AとS_Bとする。この隣接する範囲の本来接しいていなくてはならない部分境界線を、それぞれB_{AB}とB_{BA}とする。
この部分境界線は第１４図においては、例えば、頂点1411と頂点1412を端点とする最大画像投写範囲1401の部分境界線1413と、頂点1421と頂点1422を端点とする最大画像投写範囲1402の部分境界線1423とに対応する。部分境界線B_{AB}とB_{BA}は、それぞれ数4と数5に示す点集合とする。
0003714163.tif 000004
次に、境界線B_{AB}とB_{BA}のうち、隣接する最大画像投写範囲に含まれているか、あるいは接している境界線部分を有効部分境界線という。ここでそれぞれの境界線部分を、数6と数7に示すように定義する。
0003714163.tif 000005
ただし、数6のα_{AB}とβ_{AB}は、表1に示す4通りの場合について、それぞれ、数8に示す定義とする。
0003714163.tif 000006
0003714163.tif 000007
α_{BA}とβ_{BA}も、同様に定義する。
数8の4つの場合は、第１５図に示ように、隣接する2つの最大画像投写範囲の4種類の重なり方に対応する。
ただし、範囲Bの部分境界線B_{BA}に接続する上方の部分境界線をB_{AB-}とし、下方の部分境界線をB_{AB-}とした。
隣接する最大画像投写範囲S_Bが空の場合も含めて、部分境界線の端点
b_{AB}(a)(a∈{0,1})の状態には表2に示す4通りの場合が存在する。
0003714163.tif 000008
この時、境界線の端点b_{AB}(a)の移動先e_{AB}(a)を数9で定義する。
0003714163.tif 000009
ただし、数9において、b_{AB}(1-a)がcase δの場合、Δ_1 b_{AB}(1-a)=0とし、その他の場合には、数10と数11とする
0003714163.tif 000010
b_{AC}(a)がcase δの場合、Δ_2 b_{AB}(a)=0で、その他の場合には、数12とする。
0003714163.tif 000011
有効部分境界線の端点の移動ベクトルを数13、数14で定義する
0003714163.tif 000012
ただし、a=0またはa=1とする。有効部分境界線全体の移動方向ベクトルを数15、数16、数17で定義する。
0003714163.tif 000013
続いて、数18のA(t)とB(1-t)に関するベクトル方程式の解を用いて、部分境界線B_{AB}とB_{BA}に対応する共有境界線G_{AB}とG_{BA}は、数19と数20に示すg_{AB}(t)とg_{BA}(t)で定義する。
0003714163.tif 000014
0003714163.tif 000015
第１４図に示す例では、プロジェクタAとBの最大画像投写範囲の部分境界線1413と部分境界線1423に対する共有境界線は1430になる。この様に計算した共有境界線で囲まれた範囲は、最適化画像投写範囲といい、第１４図の1441、1442、1443、1444である。
最大画像投写範囲S_Aの部分境界線で、S_Aに接する4つの隣接投写範囲S_B、S_C、S_D、S_Eの部分境界線と、本来一致した位置にあるべき部分境界線を、それぞれB_{AB}、B_{AC}、B_{AD}、B_{AE}と記すことにする。
B_{AX}(X∈{B,C,D,E})に対する共有部分境界線をG_{AX}と記し、数21で定義する。
0003714163.tif 000016
境界線$G_{AX}$で囲まれる範囲を、最大画像投写範囲S_Aに対する最適化画像投写範囲とよびQ_Aと記す。
最大画像投写範囲S_Aから最適化画像投写範囲Q_Aの上への画像変換T_A：S_A→Q_Aを以下のように定義する。
まず、S_A=[0,640]×[0,480]からD_2=[0,1]×[0,1]への同型写像をπ_Aとし、数22で定義する。
0003714163.tif 000017
次に、Q_AからD_2へ同型写像ζ_Aの∂ Q_A上での定義を、数23、数24、数25、数26とする。
0003714163.tif 000018
このとき、連続な写像φ：D_2→E_2の∂ D_2上での定義を、数27で定義する。ここに、E_2は2次元ベクトル空間とする。
0003714163.tif 000019
すると、D_2内部でのφ(u,v)を、数28で定義する。
0003714163.tif 000020
ただし、ρ(x)は、x=0とx=1で零となる連続函数で、たとえば数29で定義する。
0003714163.tif 000021
このとき、幾何変形の変換T_A：S_A→Q_Aを数30で定義する。
0003714163.tif 000022
さらに、第１０図の幾何変形ベクテルテーブルの各要素は、数31に定義する変形ベクトル関数U_Aによって生成する。
0003714163.tif 000023
画像補正パラメタ生成器0290の幾何変形制御情報生成手順を、第１６図に示す。
手順1600で、画像補正器0281、0282、0283、0284の幾何変形補正パラメタを零に設定する。各プロジェクタ毎に、以下に説明する手順1602、1603、1604、1605、1606を実行する。手順1602で、第１３図に示す画像パターンを投写できる最大サイズで投写する。手順1603で、スクリーン状態監視カメラ0130により、手順1602の投写画像を撮影する。手順1604で、撮影した画像データから、第１３図の一松模様の各頂点に対応する位置を、カメラの座標系で読み取る。手順1605で、特徴点の位置座標を画像補正器のフレームメモリの座標系に変換する。手順1606で、第１７図に示す幾何変形ベクトル生成手順を実行する。
幾何変形ベクトル生成の手順を、第１７図に示す。手順1700で、数4と数5で定義される最大画像投写範囲の境界線上の点集合を作成する。手順1701と手順1702で有効部分境界線を計算する。手順1703で有効部分境界線の端点移動先を計算する。手順1704で有効部分境界線の端点移動ベクトルを計算する。
手順1705で有効部分境界線の移動方向ベクトルを計算する。手順1706で最適化画像投写範囲の境界線を計算する。手順1707で最大画像投写範囲全体に渡る幾何変形制御パラメタを計算する。
プロジェクタの投写画像の色再現性は、一般にプロジェクタの個体差によるバラツキと、投写画像内の位置によるバラツキとがある。この二種類のバラツキを抑制し、隣接するプロジェクタの投写画像が滑らかに接続するように、色再現性を制御するのが、画像補正器の色変換ブロック0540の機能である。色変換ブロック0540に設定する、第１２図に示す画素値変換パラメタ情報の生成について以下説明する。
隣接する2台のプロジェクタ$A$と$B$の最大画像投写範囲の重なり部分にある、前述の共有境界線上で、本来双方の画像が一致する位置に対応する表示画像データの色成分値zに対するスクリーン状態監視カメラ0130による実測色成分値をf_X(z)とする。ただし、XはAまたはBとする。
このとき、最適化色成分函数$g(z)$を数32、数33で定義する。
0003714163.tif 000024
ただし、y_H、y_L、h(z)は、それぞれ数34、数35、数36で定義する。
0003714163.tif 000025
このとき、境界上での色接合函数ζ_X(z)を数37で定義する。
0003714163.tif 000026
この色接合関数ζ_X(z)を数1で表わされるN区分線型函数として近似する。この場合、N区分線型函数の第i区間のパラメタ値は、数38で与えられる。
0003714163.tif 000027
上記のようにして、共有境界線上の各点での色接合関数を定義する。D_2内の各点(u,v)での色変換関数を、ζ_{X[u,v]}(z)とすると、数38で定義する境界線上での値を用いて、D_2領域全体での根を、数28と同様の方法で、数39により定義する。
0003714163.tif 000028
このとき、最大画像投写範囲内の位置（x,y）での色接合関数η_{X[x,y]}(z)を、数40で定義する。
0003714163.tif 000029
このように定義したη_{X[x,y]}(z)の区分線型近似パラメタを、最大画像投写範囲内の位置（x,y）での画素値変換パラメタとする。
画像補正パラメタ生成器0290の画素値変換パラメタ生成の手順を、第１８図に示す。手順1800で、初期値として恒等変換に対応するパラメタを設定する。以下に説明する手順1802から手順1807までを、各プロジェクタ毎に実行する。手順1802で、最適化画像投写範囲の境界線のサンプル点毎の手順1803、1804、1805、1806の繰り返し実行を制御する。手順1803で、各色成分の輝度を計測する。手順1804で、N区分線型近似の実測色成分関数f_Xを計算する。手順1805で、最適化色成分関数を計算する。手順1806で、境界線上での画素値変換パラメタを生成する。手順1807で、最適化画像投写範囲全域での画素値変換パラメタを生成する。
本実施例によれば、隣接する投写画像を、隙間も重複もなく接して配置できるように、画像の形状を変更出来、隣接する画像の継ぎ目での画像の色の不連続を解消できる効果がある。なおかつ、形状の変更量や画素の色の変換関数を自動的に生成するので、人手によるプロジェクタの配置や色調整などの作業を省力化する効果を持つ。
本発明の第二の実施例として、第一の実施例と同一の手段を備えながら、第２図の画像分割装置0250の機能と、幾何変形制御パラメタの計算方法と、画素値変換パラメタの計算方法が異なる実施例を以下に示す。
画像分割装置0250は、第１９図に示すように、入力された映像信号に含まれる画像1901を、隣接する分割部分画像と一定の重複部分を持つような分割部分画像1911、1912、1913、1914に分割し、それぞれの分割部分画像に対応した映像信号を生成する。
画像の重複幅Lの画像幅Wに対する比率L/Wは、隣接する最大画像投写範囲同士の重複幅と最大画像投写範囲の幅の比率より小さく設定する。逆に、重複比率L/Wを設定すると、最大画像投写範囲0151、0152、0153、0154間の重複比率が、分割部分画像同士の重複比率L/Wより大きくなるようにプロジェクタ0121、0122、0123、0124の配置と姿勢を設定する。
各分割部分画像の内側で、分割中心線1921、1922により囲まれる領域を分割主領域と呼ぶ。第１９図においては、斜線で示した領域1931、1932、1933、1934が分割主領域である。
第一の実施例における幾何変形制御パラメタの計算において、数4や数5で定義する部分境界線を、分割主領域1931、1932、1933、1934の境界線に置き換えて計算する。すると、分割主領域内の点に対する幾何変形の変換Tは、第一の実施例と同様の手順で数30により計算出来るので、幾何変形制御パラメタは、数31で計算する。分割主領域の外側における幾何変形制御パラメタの計算は、次のようにする。
第２０図に示すような隣接する分割部分画像AとBの互いに重複する領域をC_{AB}とC_{BA}とする。互いに重複していない領域をF_{AB}とF_{BA}とする。さらに、C_{AB}とC_{BA}は、分割中心線2001、2002により、それぞれ二つの領域に分けられ数41と数42に表される。
0003714163.tif 000030
ここに、E_{AB}とE_{BA}は、分割中心線2001、2002により分割された重複領域C_{AB}とC_{BA}の部分領域のうち、F_{AB}またはF_{BA}に接している方とする。このとき、分割部分画像AとBの分割主領域はそれぞれ、E_{AB}∪F_{AB}とE_{BA}∪F_{BA}となる。
第一の実施例で述べたように、分割部分画像Bの座標系における座標値を分割部分画像Aの座標系に変換する関数Ψ_{AB}とその逆関数Ψ_{BA}を定義できる。すると、D_{AB}上で定義される合成関数V_{AB}を、E_{BA}∪F_{BA}上で数30により定義される分割部分画像Bの幾何変形関数T_Bを用いて数43で定義する。
0003714163.tif 000031
また、数31に相当する変形ベクトル関数U_Aを、数44で定義する。
0003714163.tif 000032
次に画素値変換パラメタを、次のようして計算する。まず、重複領域C_{AB}の各点では、第一の実施例と同様に数38に示すパラメタで定義される区分線型関数を用いて、画素値変換関数を定義できる。
0003714163.tif 000033
次に、隣接する全ての分割部分画像Xについて数45と表わされる隣接するどの分割部分画像とも重複しない領域F_A内部では、前述のように境界上では定義されている画素値変換関数を用いて、数39による内挿を用いて定義する。したがって、位置（x,y）での画素値変換関数η_{A[x,y]}(z)は、数46で定義出来る。
0003714163.tif 000034
ただし、重み関数κ_{A}(x,y)は数47で定義し、分割部分画像Aに隣接する全ての分割部分画像Xについてのσ_{AX}(x,y)の積とする。
0003714163.tif 000035
ここに、σ_{AB}(x,y)は、C_{AB}上で定義され、第２０図の分割中心線2001に垂直な線2010上の点x(t)で、第２１図に示す値を持ち、分割中心線2001に平行な方向には一定値を持つ関数とする。
第二の実施例は、以上のように、第２図の画像分割装置0250の作用と、幾何変形制御パラメタの計算方法と、画素値変換パラメタの計算方法が第一の実施例とは異なる。
本実施例によれば、分割部分画像の隣接画像との重複部分を内側から外側に向かって滑らかに消えていく画像へ変換し、このような画像特性を持つ隣接画像の重複部分同士をスクリーン上で光学的に重ね合せて分割部分画像同士を貼り合せているので、分割画像の位置合せの誤差の影響は、隣接画像との貼り合わせ部分のボケとして現れる。
一方、第一の実施例では、分割画像の位置合せに誤差の影響は、画像接続部分の不連続な変化として現れる。人間の視覚特性には、画像の不連続な変化に対する認知感度の方が、画像のボケのような連続的な変化に対する認知感度よりも敏感であるという特徴があるため、本発明の第二の実施例によりば、第一の実施例よりも位置誤差による合成画像の劣化が人間に認知されにくくなるという効果がある。
本発明の第三の実施例を以下に示す。第一の実施例における、第２図の映像信号制御装置0110の内部構成と、それに接続するプロジェクタの機能のみが異なり、他の構成が同一の実施例を第２２図を用いて説明する。
第三の実施例においては、映像補正装置内蔵プロジェクタ2201、2202、2203、2204がそれぞれ、第一の実施例で説明した機能を持つ画像補正器を内蔵している。さらに、画像補正器内蔵プロジェクタは、その入力信号線として、映像信号線2241、2242、2243、2244の他に、制御信号線2231、2232、2233、2234の2種類を持つ。
第三に実施例によっても、第一の実施例と同様に、隣接する投写画像を、隙間も重複もなく隣接して配置することが可能となる効果がある。
本発明の第四の実施例を以下に示す。第四の実施例は、スクリーン形状が平面でないシステムである。以下、第２３図を用いて説明する。
曲面スクリーン2300は、投写画像が映像観賞者の視野を効率良く覆うために用いる必要がある場合に用いる。通常、曲面上に平面への投写を考慮して設計されたプロジェクタにより画像を投写すると、最大画像投写範囲2321、2322のように、頂点角の和が360度より大きい四角形の形状となる。そのため通常は、隣接する最大画像投写範囲2321、2322を、隙間も重複もなく配置することは不可能である。
隣接する最大画像投写範囲2321、2322同士を第１９図のように、隣接する辺が相手の投写範囲に含まれるように、プロジェクタ2301、2302を配置し、第一の実施例において説明した機能を持つ映像信号制御装置2310を用いてプロジェクタ2301、2302へ供給する映像信号を制御し、隣接して投写する画像を、最適化画像投写範囲2331、2332上に表示する。第一の実施例の映像信号制御装置0110が、画像補正器0281、0282、0283、0284を持たない場合の実施例である本発明の第五の実施例を以下に示す。本実施例の映像信号制御装置の機能ブロック図を第２４図に示す。映像信号制御装置は、入出力端子として、分割映像入力端子2421、2422、2423、2424と、スクリーン状態監視カメラ映像入力端子2430と、分割映像出力端子2442、2442、2443、2444を持つ。分割映像入力端子からの映像信号かテストパターン画像生成器2470の映像信号のどちらかが、映像信号切替器2460により選択され、分割映像出力端子に供給される。それぞれの分割映像信号は、分割映像入力端子に接続した画像再生装置2451、2452、2453、2454により、それぞれのプロジェクタが担当する映像データを分割格納したDVD-ROMなどの映像メディア2491、2492、2493、2494を再生することで供給される。
第２４図に示す映像信号制御装置では、画像補正器を持たなくてもよい。前記したように、スクリーンの形状やプロジェクタとスクリーンの位置関係やプロジェクタ個々の表示特性などに起因して、スクリーン上で各プロジェクタの画像をシームレスに接続し、均一な画像を生成するには、画像の幾何変形や画像の色の特性変換が必要であった。第一の実施例では、この画像補正を実時間で実行するハードウェアにより実行した。本実施例では、各プロジェクタに対応した分割映像データに対して、画像補正処理を事前に実施した映像データをDVD-ROMなどの映像メディアに格納しておく。そして、画像再生装置2451、2452、2453、2454は、単純に画像補正済の映像データをプロジェクタに供給することで、スクリーン上でシームレスな画像接続を実現する。
本発明の第五の実施例によれば、画像補正処理装置が不要となる。
次に第六の実施例について説明する。第六の実施例は、第五の実施例における画像再生装置2491、2492、2493、2494を、第２５図に示す機能ブロックで構成された画像補正機能を有する画像再生処理装置に置き換えたものである。
第六の実施例においては、第２５図に示すように、映像データ格納メディア2511から映像データを読み取るピックアップ2521と、ピックアップにより検出した信号を映像データに復号する映像再生回路2531と、再生された映像データを画像補正情報入力端子2551より入力した画像補正情報に基づいて画像処理する画像補正回路2532と、画像処理した映像データを蓄積する媒体2541と、画像処理した映像データを一時蓄積媒体2541から読み出し、映像出力端子2552へ出力する映像蓄積再生回路2533とからなる画像再生装置が、第五の実施例と異なるプロジェクタアレーシステムとする。
シームレスな画像接続を実現するための画像補正量が、プロジェクタアレーシステムの個体毎に異なる場合に、第五の実施例では対応できない問題点を解決するために、プロジェクタアレーシステムにとって最適な画像補正処理を、各プロジェクタに対応した分割画像データに対して、プロジェクタ毎の画像補正量に従って、画像補正回路2532により、事前にオフラインでの画像補正を行い、補正後の映像データを一時蓄積媒体2541に一旦蓄積する。プロジェクタアレーによるシームレスな画像接続された映像再生時は、画像補正されたデータを一時蓄積媒体2541から読み出して再生することで、実現する。
第六の実施例によれば、第一の実施例では、シームレスな画像接続を実現するための画像補正処理を実時間で実行する処理装置が必要であったが、本実施例では、実時間処理が間に合わない程に遅い画像補正回路あるいは、ソフトウェアによる画像処理エミュレーションを用いても、正しくスクリーン上での画像合成が可能となる。更に、第五の実施例においては、複数のプロジェクタアレーシステムの間で画像補正量が異る場合には、正しくスクリーン上での画像合成が出来ないという問題点が、プロジェクタアレーシステム毎に最適な補正量で画像処理することで解決する。
以上のそれぞれの実施例によれば、曲面スクリーン上への投写画像を、なめらかに接続し配置することが可能となる効果がある。
また、映像投写器により前記スクリーン上に投写される映像の最大表示範囲が隣接する投写映像の最大表示範囲と一定幅以上の重複領域も持つように配置するために、複数の映像投写器各々への入力画像データに対して適当な幾何形状と色の変換を施した画像を供給するだけで、複数の映像投写器により投写した各画像を、継目なく滑かに接続し全体として一つの画面を構成することができるので、映像投写器の設置位置調整と映像投写器の光学系調整に要求される精度の簡略化がはかられるという効果がある。
また、映像投写器の特性とスクリーンの特性に応じた画像の幾何形状と色の変換を実時間処理可能な画像信号変換手段を有するので、複数の映像投写器による投写した各画像を、継目なく滑かに接続し全体として一つの画面を構成する課題を、画像変換手段の制御のみで解決できる。このように、映像投写器の設置位置と光学系の調整点の変動に対して、信号処理のみで対処できるシステム構成が実現できるので、信号処理回路系の制御に比べて、実現コストが高く制御精度を上げ難い光学系や機械系の制御手段が不要になるので、経済的で信頼性の高いマルチプロジェクション映像表示装置を実現できるという効果がある。
また、複数の映像投写器により投写した各画像を、継目なく滑かに接続し全体として一つの画面を構成する課題を解決するための画像の幾何形状と色の変換量を自動算出し、画像変換手段を自動制御する手段を有するので、画像調整作業を目視と手作業で行っていた従来の方法に比較して、経済的かつ高精度の調整が可能になるという効果がある。
また、複数の映像投写器により投写した各画像を、継目なく滑かに接続し全体として一つの画面を構成する課題を、映像投写器により投写した画像と隣接する画像とを、その周辺部での重複部分が、非重複部分と滑かに接続するように、重複部の画像を両映像投写器からの光線の光学的加算で実現しているので、映像投写器の配置位置誤差や画像幾何変形手段の制御誤差の影響が、画像重複部分では画像のボケとして現われる。このため、画像の不連続な変化に対する認知感度より、画像のボケのような連続的な変化に対する認知感度の方が鈍感であるという人間の視覚特性により、画像接続部分の誤差による画質劣化を、人間に検知されにくくなるという効果がある。
映像投写器が、入力された映像信号をディジタル変換した映像信号データに対して、少くとも幾何形状と色特性を変換する機能を持つデータ変換器と、該データ変換器を制御する演算制御装置を内蔵している場合には、マルチプロジェクション映像表示装置のシステム能力における、効果は前記と同様であるが、該映像投写器単体の使用においても、投写画像を幾何変形したり明度分布の変換が可能となり、該映像投写器の光軸がスクリーンに対して垂直でない場合でも、スクリーン上に正確な画像形状と明度分布を持つ映像を再生できるので、スクリーンと映像投写器との配置関係の制約が減少するという効果がある。
産業上の利用可能性
本発明によれば、より簡易な映像装置で複数の画像データを１つ（または複数）の画像に組み合わせることができる。この際、各画像データ同士の間に発生する継ぎ目をより目立たなくすることが可能である。
以上の通り、本発明は、マルチプロジェクションなど複数の画像データを１つ（または複数の）画像として表示することを可能とするものである。
【図１】
0003714163.tif 000036
【図２】
0003714163.tif 000037
【図３】
0003714163.tif 000038
【図４】
0003714163.tif 000039
【図５】
0003714163.tif 000040
【図６】
0003714163.tif 000041
【図７】
0003714163.tif 000042
【図８】
0003714163.tif 000043
【図９】
0003714163.tif 000044
【図１０】
0003714163.tif 000045
【図１１】
0003714163.tif 000046
【図１２】
0003714163.tif 000047
【図１３】
0003714163.tif 000048
【図１４】
0003714163.tif 000049
【図１５】
0003714163.tif 000050
【図１６】
0003714163.tif 000051
【図１７】
0003714163.tif 000052
【図１８】
0003714163.tif 000053
【図１９】
0003714163.tif 000054
【図２０】
0003714163.tif 000055
【図２１】
0003714163.tif 000056
【図２２】
0003714163.tif 000057
【図２３】
0003714163.tif 000058
【図２４】
0003714163.tif 000059
【図２５】
0003714163.tif 000060