(57)【要約】【課題】画質や画調に応じた最適な画像を表示することができ、表示品質を向上させることが可能なマルチプロジェクションシステムを提供する。【解決手段】複数台のプロジェクタが投影する画像によって入力画像信号に対応する静止画又は動画を観察者に対して表示するマルチプロジェクションシステムであって、複数台のプロジェクタそれぞれが投影する画像の色補正を行うマトリックス補正、複数台のプロジェクタそれぞれが投影する画像のゲインを補正するゲイン補正、複数台のプロジェクタそれぞれが投影する画像の黒レベルの補正を行うオフセット補正、複数台のプロジェクタそれぞれが投影する画像のガンマ特性の補正を行うガンマ補正、のうちの少なくとも一つを入力画像信号に対して行う画像補正手段１６と、静止画又は動画の画像種別又は画像の特徴に応じて画像補正手段１６が用いる補正データを求める画像補正データ算出手段１５とを備える。【選択図】　　図３
2004015204.tif 000002
【特許請求の範囲】
【請求項１】
複数台のプロジェクタが投影する画像によって入力画像信号に対応する静止画又は動画を観察者に対して表示するマルチプロジェクションシステムであって、
前記複数台のプロジェクタそれぞれが投影する画像の色補正を行うマトリックス補正、前記複数台のプロジェクタそれぞれが投影する画像のゲインを補正するゲイン補正、前記複数台のプロジェクタそれぞれが投影する画像の黒レベルの補正を行うオフセット補正、前記複数台のプロジェクタそれぞれが投影する画像のガンマ特性の補正を行うガンマ補正、のうちの少なくとも一つを前記入力画像信号に対して行う画像補正手段と、
前記静止画又は動画の画像種別又は画像の特徴に応じて前記画像補正手段が用いる補正データを求める画像補正データ算出手段と、
を備えたことを特徴とするマルチプロジェクションシステム。
【請求項２】
前記画像補正データ算出手段は、前記入力画像信号に対応する静止画又は動画の画像種別又は画像の特徴を判別する入力画像判別手段を有し、前記入力画像判別手段が判別した画像種別又は画像の特徴に応じて前記補正データを求める
ことを特徴とする請求項１に記載のマルチプロジェクションシステム。
【請求項３】
前記画像補正データ算出手段は、表示する画像の画像種別又は画像の特徴を観察者が設定する入力画像設定手段を有し、前記入力画像設定手段で設定された画像種別又は画像の特徴に応じて前記補正データを求める
ことを特徴とする請求項１に記載のマルチプロジェクションシステム。
【請求項４】
前記補正データを複数種類保存する補正データ保存手段をさらに備え、
前記画像補正データ算出手段は、前記静止画又は動画の画像種別又は画像の特徴に応じて、前記補正データ保存手段が記憶する複数種類の補正データのなかから前記画像補正手段が用いる補正データを選択する
ことを特徴とする請求項１に記載のマルチプロジェクションシステム。
【請求項５】
前記画像補正データ算出手段は、前記複数台のプロジェクタが投影する画像間のコントラスト差低減を優先する補正データと、前記複数台のプロジェクタが投影する画像間の輝度差低減を優先する補正データとを切り替え可能である
ことを特徴とする請求項１に記載のマルチプロジェクションシステム。
【請求項６】
前記画像補正データ算出手段は、前記静止画又は動画の画像種別又は画像の特徴に応じて、前記補正データを求める際に用いるマルチプロジェクションシステム全体のガンマ特性を設定する
ことを特徴とする請求項１に記載のマルチプロジェクションシステム。
【請求項７】
前記画像補正データ算出手段は、前記入力画像信号に対応する画像が明るい場合ほど前記ガンマ特性の係数を１に近づけ、前記入力画像信号に対応する画像が暗い場合ほど前記ガンマ特性の係数を１から遠ざける
ことを特徴とする請求項６に記載のマルチプロジェクションシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数台のプロジェクタが投影する画像によって表示を行うマルチプロジェクションシステムに関する。
【０００２】
【従来の技術】
マルチプロジェクションシステムでは、複数台のプロジェクタからスクリーン上に画像を投影して一つの画像を合成することから、投影された各画像間の繋ぎ目が目立たないようにする等の対策を講じる必要がある。そのため、スクリーン上にキャリブレーション用の画像を投影し、それをデジタルカメラ等の撮影手段で撮影して、得られた画像データに基づいて各種の補正を行っている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の補正方法は、予め決められた一つのアルゴリズムによって補正を行っていたため、例えば、自然画を表示する場合には一定の表示品質が得られるが、コンピュータグラフィクス（ＣＧ）を表示する場合には画像間の繋ぎ目が目立ってしまうといった問題が生じる。したがって、画質や画調に応じた最適な画像を表示することができず、表示品質の劣化を招く原因となっていた。
【０００４】
本発明は上記従来の課題に対してなされたものであり、画質や画調に応じた最適な画像を表示することができ、表示品質を向上させることが可能なマルチプロジェクションシステムを提供することを目的としている。
【０００５】
【課題を解決するための手段】
本発明は、複数台のプロジェクタが投影する画像によって入力画像信号に対応する静止画又は動画を観察者に対して表示するマルチプロジェクションシステムであって、前記複数台のプロジェクタそれぞれが投影する画像の色補正を行うマトリックス補正、前記複数台のプロジェクタそれぞれが投影する画像のゲインを補正するゲイン補正、前記複数台のプロジェクタそれぞれが投影する画像の黒レベルの補正を行うオフセット補正、前記複数台のプロジェクタそれぞれが投影する画像のガンマ特性の補正を行うガンマ補正、のうちの少なくとも一つを前記入力画像信号に対して行う画像補正手段と、前記静止画又は動画の画像種別又は画像の特徴に応じて前記画像補正手段が用いる補正データを求める画像補正データ算出手段と、を備えたことを特徴とする。
【０００６】
前記発明の好ましい態様は、以下の通りである。
【０００７】
・前記画像補正データ算出手段は、前記入力画像信号に対応する静止画又は動画の画像種別又は画像の特徴を判別する入力画像判別手段を有し、前記入力画像判別手段が判別した画像種別又は画像の特徴に応じて前記補正データを求める。
【０００８】
・前記画像補正データ算出手段は、表示する画像の画像種別又は画像の特徴を観察者が設定する入力画像設定手段を有し、前記入力画像設定手段で設定された画像種別又は画像の特徴に応じて前記補正データを求める。
【０００９】
・前記補正データを複数種類保存する補正データ保存手段をさらに備え、前記画像補正データ算出手段は、前記静止画又は動画の画像種別又は画像の特徴に応じて、前記補正データ保存手段が記憶する複数種類の補正データのなかから前記画像補正手段が用いる補正データを選択する。
【００１０】
・前記画像補正データ算出手段は、前記複数台のプロジェクタが投影する画像間のコントラスト差低減を優先する補正データと、前記複数台のプロジェクタが投影する画像間の輝度差低減を優先する補正データとを切り替え可能である。
【００１１】
・前記画像補正データ算出手段は、前記静止画又は動画の画像種別又は画像の特徴に応じて、前記補正データを求める際に用いるマルチプロジェクションシステム全体のガンマ特性を設定する。
【００１２】
・前記画像補正データ算出手段は、前記入力画像信号に対応する画像が明るい場合ほど前記ガンマ特性の係数を１に近づけ、前記入力画像信号に対応する画像が暗い場合ほど前記ガンマ特性の係数を１から遠ざける。
【００１３】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
【００１４】
図１は、本発明の実施形態に係るマルチプロジェクションシステムの機能的な構成を示したブロック図である。
【００１５】
基本的な構成は通常のマルチプロジェクションシステムと同様であり、システム全体の制御を行う制御部１１、スクリーン上に投影する画像を表示する画像表示部１２、キャリブレーションパターン（キャリブレーション用の画像）を生成するキャリブレーションパターン生成部１３、画像表示部１２からスクリーン上に投影されたキャリブレーションパターンを撮影する画像撮影部１４、撮影されたキャリブレーションパターンに基づいて各種画像補正データを算出する画像補正データ算出部１５及び、算出された画像補正データを用いて入力画像データを補正して出力画像データを生成する画像変換部１６を備えている。
【００１６】
図２は、本発明の実施形態に係るマルチプロジェクションシステムの具体的な構成を説明するための説明図である。
【００１７】
パーソナルコンピュータ（ＰＣ）２１は、図１に示した制御部１１、キャリブレーションパターン生成部１３及び画像補正データ算出部１５の機能を備えたものであり、システム全体の制御を行う他、各種キャリブレーションパターンの生成、各種の演算機能を備えている。パーソナルコンピュータ２１には補助装置２２が接続されている。この補助装置２２は、図１に示した画像変換部１６及び画像表示部１２の一部の機能を備えたものである。
【００１８】
プロジェクタ２３ａ、２３ｂ及び２３ｃは、図１に示した画像表示部１２に対応するものであり、プロジェクタ２３ａ、２３ｂ及び２３ｃからアーチ型のスクリーン２４に投影された各画像は、画像間で繋ぎ目を有するようにして（オーバーラップするようにして）、スクリーン２４上で一つの画像として合成される。これらのプロジェクタ２３ａ、２３ｂ及び２３ｃからはスクリーン２４上に、通常の画像の他、キャリブレーション時にはキャリブレーションパターンが投影される。なお、図に示した例では、３台のプロジェクタを横方向に配置しているが、プロジェクタの台数や配置の仕方は種々変更可能である。
【００１９】
カメラ２５は、図１に示した画像撮影部１４に対応するものであり、プロジェクタ２３ａ、２３ｂ及び２３ｃからスクリーン２４上に投影されたキャリブレーションパターンを撮影する。このカメラ２５には、例えばデジタルカメラが用いられ、撮影によって得られた画像データはパーソナルコンピュータ２１に送られ、各種画像補正データが算出される。
【００２０】
図３は、図１に示した画像補正データ算出部１５及び画像変換部１６の詳細について、その一例を示したブロック図である。
【００２１】
画像補正データ算出部１５は、各プロジェクタから投影される画像間の位置関係を補正するためのデータを算出する幾何補正データ算出部３１、各プロジェクタから投影される画像の色補正を行うためのデータを算出するマトリックスデータ算出部３２、各プロジェクタから投影される画像のゲイン（輝度）を補正するためのデータを算出するゲイン補正データ算出部３３、各プロジェクタから投影される画像の黒レベル（オフセットレベル）を補正するためのデータを算出するオフセット補正データ算出部３４及び、各プロジェクタから投影される画像のガンマ特性を補正するためのデータを算出するガンマ補正データ算出部３５を有している。また、画像補正データ算出部１５は、画像種別設定部３６を有しており、静止画又は動画の画像種別や画像の特徴に応じた設定がなされる。例えば、ユーザー（観察者）が画像種別設定部３６に対して所望の画像種別等を設定する。画像補正データ算出部１５では、画像種別設定部３６で設定された画像種別等に応じて、画像撮影部（キャリブレーション用のカメラ）１４で撮影された画像の画像データに基づいて補正データの算出処理が行われる。
【００２２】
画像変換部１６は、幾何補正部４１、マトリックス補正部４２、ゲイン補正部４３、オフセット補正部４４及びガンマ補正部４５を有し、画像補正データ算出部１５で算出された各補正データを用いて入力画像データ（入力画像信号）に対して各補正処理を行い、補正処理がなされた画像データを出力画像データ（出力画像信号）として出力する。
【００２３】
すなわち、幾何補正データ算出部３１、マトリックスデータ算出部３２、ゲイン補正データ算出部３３、オフセット補正データ算出部３４及びガンマ補正データ算出部３５で算出された各補正データはそれぞれ、幾何補正データ保存部４１ａ、マトリックスデータ保存部４２ａ、ゲイン補正データ保存部４３ａ、オフセット補正データ保存部４４ａ及びガンマ補正データ保存部４５ａに送られる。そして、これらの補正データを用いて、幾何補正データ作用部４１ｂ、マトリックスデータ作用部４２ｂ、ゲイン補正データ作用部４３ｂ、オフセット補正データ作用部４４ｂ及びガンマ補正データ作用部４５ｂにより、入力画像データに対して補正処理が行われる。
【００２４】
このように、本実施形態では、画像の種別等に応じて補正データを算出するので、表示する画像の画質や画調等に応じた補正データを用いて補正処理を行うことができる。したがって、画像の種別等に応じた最適な表示を行うことができ、表示品質の向上をはかることが可能となる。
【００２５】
図４は、図１に示した画像補正データ算出部１５及び画像変換部１６の詳細について、他の例を示したブロック図である。基本的な構成は図３と同様であり、図３の構成要素と対応する構成要素については同一の参照番号を付し、それらの詳細な説明は省略する。
【００２６】
本例では、入力画像信号が画像補正データ算出部１５内の画像種別設定部３６にも入力しており、画像種別設定部３６が有する入力画像判別部３６ａにより、入力画像の画像種別や画像の特徴が自動的に判別され、その判別結果に基づいて画像種別等が設定される。なお、本例では、入力画像の種別等に応じて各種補正データをその都度算出することから、各データ保存部にはそれぞれ１組分のメモリ領域が設けられていればよい。
【００２７】
本例によれば、入力画像判別部３６ａを有しているため、表示する画像の画質や画調等に応じた最適な補正データを自動的に求めることができる。
【００２８】
図５は、図１に示した画像変換部１６の詳細について、他の例を示したブロック図である。基本的な構成は図３と同様であり、図３の構成要素と対応する構成要素については同一の参照番号を付し、それらの詳細な説明は省略する。
【００２９】
本例では、マトリックスデータ保存部４２ａ、ゲイン補正データ保存部４３ａ、オフセット補正データ保存部４４ａ及びガンマ補正データ保存部４５ａにはそれぞれ、複数種類（複数組）の画像補正データが予め保存されている。また、画像補正データ算出部１５内には選択部３７が設けられている（実際には、図３等に示した幾何補正データ算出部、マトリックスデータ算出部、ゲイン補正データ算出部、オフセット補正データ算出部及びガンマ補正データ算出部内にそれぞれ選択部が設けられているが、ここではそれらを選択部３７で代表して示している）。選択部３７により、各保存部４２ａ、４３ａ、４４ａ及び４５ａにそれぞれ記憶された複数種類の画像補正データのなかから最適な補正データが選択され、選択された各補正データは、マトリックスデータ選択部４２ｃ、ゲイン補正データ選択部４３ｃ、オフセット補正データ選択部４４ｃ及びガンマ補正データ選択部４５ｃを介して、マトリックスデータ作用部４２ｂ、ゲイン補正データ作用部４３ｂ、オフセット補正データ作用部４４ｂ及びガンマ補正データ作用部４５ｂに送られ、各作用部により入力画像データに対して補正処理が行われる。
【００３０】
このように、本例では、各保存部４２ａ、４３ａ、４４ａ及び４５ａに複数の画像補正データが予め保存されているため、その都度計算によって補正データを求める必要がなく、リアルタイムでの補正データ切り替えと補正処理が可能となる。
【００３１】
図６は、図１に示した画像補正データ算出部１５及び画像変換部１６の詳細について、他の例を示したブロック図である。基本的な構成は図３と同様であり、図３の構成要素と対応する構成要素については同一の参照番号を付し、それらの詳細な説明は省略する。
【００３２】
本例では、画像補正データ算出部１５が画質調整部３８を有し、画質調整部３８に設けられた輝度合わせレベル設定部３８ａがマトリックスデータ算出部３２に接続されている。以下、本例の詳細を説明する。
【００３３】
図７は、例えばユーザー（観察者）が所望の画像種別等を設定し、リアルタイムで処理を行う例である。マトリックスデータ保存部４２ａには、Ｍ組（Ｓｅｔ１〜ＳｅｔＭ）の複数種類のマトリックスデータが保存されており、各組内にはプロジェクタの台数分（本例ではＮ台分）のマトリックスデータが記憶されている。ユーザーの設定操作に基づき、マトリックスデータ算出部３２に設けられた選択部（図示せず）により、Ｍ組のマトリックスデータのなかから所望のマトリックスデータが選択される。選択されたマトリックスデータは、マトリックスデータ選択部４２ｃを介してマトリックスデータ作用部４２ｂに送られ、マトリックスデータ作用部４２ｂにより入力画像信号に補正処理が施され、出力画像信号が得られる。
【００３４】
図８は、自動的にマトリックスデータを切り替える例である。入力画像信号に基づき、画像補正データ算出部１５内の入力画像判別部（図示せず）で画像種別等が判別され、その判別結果に基づいて、マトリックスデータ算出部３２内の選択部（図示せず）により、Ｍ組のマトリックスデータのなかから所望のマトリックスデータが選択される。選択されたマトリックスデータは、マトリックスデータ選択部４２ｃを介してマトリックスデータ作用部４２ｂに送られ、マトリックスデータ作用部４２ｂにより入力画像信号に補正処理が施され、出力画像信号が得られる。
【００３５】
以下、輝度合わせレベルの設定の仕方について数式を用いて説明する。
【００３６】
プロジェクタのＲＧＢの各輝度レベルをＲＹ、ＧＹ及びＢＹ、プロジェクタｐｊの輝度補正係数をＰ（ｐｊ）、プロジェクタｐｊの色変換マトリックスをＭ（ｐｊ）、プロジェクタの入力画像信号の最大値をそれぞれＶｒ、Ｖｇ及びＶｂ、プロジェクタの出力画像信号の最大値をＭａｘＶａｌとすると、
【数１】
2004015204.tif 000003
と表される。
【００３７】
各プロジェクタの輝度補正係数Ｐ（ｐｊ）の最小値をＰｍｉｎ、輝度合わせレベルをａ（ただし、０≦ａ≦１）とすると、各プロジェクタ画像に用いる色変換マトリックスＭ’（ｐｊ）は、
【数２】
2004015204.tif 000004
と表される。
【００３８】
輝度合わせレベルａが１に近づけば、各プロジェクタが投影する画像間のコントラスト差低減が優先され、輝度合わせレベルａが０に近づけば、各プロジェクタが投影する画像間の輝度差低減が優先される。
【００３９】
入力画像の画像種別を判定し、例えば、自然画の場合にはコントラスト差低減を優先するモード、コンピュータグラフィクスの場合には輝度差低減を優先するモード、その他の場合には中間モードといったように、切り替えを行うようにする。画像種別ではなく、ヒストグラム等の画像の特徴量に基づいてモードを切り替えるようにしてもよい。
【００４０】
このように、本例によれば、入力画像の画像種別等に応じてマトリックスデータを切り替えることにより、自然画やコンピュータグラフィクス等に応じて最適な補正を行うことが可能となる。
【００４１】
図９は、図１に示した画像補正データ算出部１５及び画像変換部１６の詳細について、他の例を示したブロック図である。基本的な構成は図３と同様であり、図３の構成要素と対応する構成要素については同一の参照番号を付し、それらの詳細な説明は省略する。
【００４２】
本例では、画像補正データ算出部１５が画質調整部３８を有し、画質調整部３８に設けられたシステムガンマ設定部３８ｂにより、画像種別等に応じてシステム全体のガンマ特性（図９の例では、画像変換部１６全体のガンマ特性）が設定される。以下、本例の詳細を説明する。
【００４３】
プロジェクタのガンマ特性に対し、ガンマ特性補正用のテーブルのビット数が十分でない場合、いわゆる疑似輪郭が目立ってしまう。人間の視覚特性では、画像が暗い場合に疑似輪郭が認識されやすい。従来の補正アルゴリズムでは、システム全体のガンマ特性（システムガンマ）を線型にし、色合わせ精度を高めることを優先していたため、暗い画像を表示する場合に疑似輪郭が目立ってしまうという問題があった。
【００４４】
本実施形態では、システムガンマ設定部３８ｂにより、図１０に示すように、入力画像が明るい場合には、システム全体のガンマ特性の係数γを１に近づけて色合わせ精度を優先し、入力画像が暗い場合には、システム全体のガンマ特性の係数γを１から遠ざけてプロジェクタ自体のガンマ特性に近づけ、疑似輪郭が目立たないようにしている。これにより、画像の明るさ等に応じた高品質の画像を得ることができる。
【００４５】
なお、システム全体のガンマ特性は、入力画像の種別や特徴量に応じて自動的に設定するようにしてもよい。また、予め複数組の補正データを算出して各データ保存部に保存しておき、リアルタイムで補正データを切り替える、すなわちリアルタイムでシステム全体のガンマ特性を切り替えるようにしてもよい。
【００４６】
以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない範囲内において種々変形して実施することが可能である。さらに、上記実施形態には種々の段階の発明が含まれており、開示された構成要件を適宜組み合わせることによって種々の発明が抽出され得る。例えば、開示された構成要件からいくつかの構成要件が削除されても、所定の効果が得られるものであれば発明として抽出され得る。
【００４７】
【発明の効果】
本発明によれば、表示する画像の種別や特徴に応じた補正を行うことで、画像の種別等に応じた最適な表示を行うことができ、表示品質の向上をはかることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るマルチプロジェクションシステムの機能的な構成を示したブロック図である。
【図２】本発明の実施形態に係るマルチプロジェクションシステムの具体的な構成を説明するための説明図である。
【図３】図１に示したマルチプロジェクションシステムの構成の一部について、その詳細の一例を示したブロック図である。
【図４】図１に示したマルチプロジェクションシステムの構成の一部について、その詳細の他の例を示したブロック図である。
【図５】図１に示したマルチプロジェクションシステムの構成の一部について、その詳細の他の例を示したブロック図である。
【図６】図１に示したマルチプロジェクションシステムの構成の一部について、その詳細の他の例を示したブロック図である。
【図７】図６に示した例の具体例を示したブロック図である。
【図８】図６に示した例の具体例を示したブロック図である。
【図９】図１に示したマルチプロジェクションシステムの構成の一部について、その詳細の他の例を示したブロック図である。
【図１０】図９に示した例について、システム全体のガンマ特性の設定例を示した図である。
【符号の説明】
１１…制御部
１２…画像表示部
１３…キャリブレーションパターン生成部
１４…画像撮影部
１５…画像補正データ算出部
１６…画像変換部
２１…パーソナルコンピュータ
２２…補助装置
２３ａ、２３ｂ、２３ｃ…プロジェクタ
２４…スクリーン
２５…カメラ
３１…幾何補正データ算出部
３２…マトリックスデータ算出部
３３…ゲイン補正データ算出部
３４…オフセット補正データ算出部
３５…ガンマ補正データ算出部
３６…画像種別設定部、　３６ａ…入力画像判別部
３７…選択部
３８…画質調整部、　３８ａ…輝度合わせレベル設定部、　３８ｂ…システムガンマ設定部
４１…幾何補正部、　４１ａ…幾何補正データ保存部、　４１ｂ…幾何補正データ作用部
４２…マトリックス補正部、４２ａ…マトリックスデータ保存部、４２ｂ…マトリックスデータ作用部、　４２ｃ…マトリックスデータ選択部
４３…ゲイン補正部、　４３ａ…ゲイン補正データ保存部、　４３ｂ…ゲイン補正データ作用部、　４３ｃ…ゲイン補正データ選択部
４４…オフセット補正部、　４４ａ…オフセット補正データ保存部、　４４ｂ…オフセット補正データ作用部、　４４ｃ…オフセット補正データ選択部
４５…ガンマ補正部、　４５ａ…ガンマ補正データ保存部、　４５ｂ…ガンマ補正データ作用部、　４５ｃ…ガンマ補正データ選択部
【図１】
2004015204.tif 000005
【図２】
2004015204.tif 000006
【図３】
2004015204.tif 000007
【図４】
2004015204.tif 000008
【図５】
2004015204.tif 000009
【図６】
2004015204.tif 000010
【図７】
2004015204.tif 000011
【図８】
2004015204.tif 000012
【図９】
2004015204.tif 000013
【図１０】
2004015204.tif 000014