(57)【要約】【課題】画像表示装置に周期的に更新されて表示される表示画像を、ローリングシャッタ方式により、ハード的な同期信号を用いることなく、自由な位置から縞状ノイズの発生を効果的に抑えて撮像できる表示画像撮像方法および装置を提供する。【解決手段】周期的に画像を連続表示する画像表示装置１１０の表示画像をローリングシャッタ方式で撮像するにあたり、予め画像表示装置１１０に所定画像を表示させて撮像し、その所定画像の撮像画像に基づいて画像表示装置１１０の表示周期に伴う縞状ノイズが発生しない同期露出時間を算出し、その後、算出した同期露出時間に基づいて露出時間を制御して画像表示装置１１０の表示画像を撮像する。【選択図】図３
2006311029.tif 000002
【特許請求の範囲】
【請求項１】
周期的に画像を連続表示する画像表示装置の表示画像をローリングシャッタ方式で撮像するにあたり、
予め上記画像表示装置に所定画像を表示させて撮像し、その所定画像の撮像画像に基づいて上記画像表示装置の表示周期に伴う縞状ノイズが発生しない同期露出時間を算出し、その後、上記算出した同期露出時間に基づいて露出時間を制御して上記画像表示装置の表示画像を撮像することを特徴とする表示画像撮像方法。
【請求項２】
上記同期露出時間は、上記所定画像の撮像画像に発生する縞状ノイズを横切る方向の周波数成分の局所ピーク周波数とその大きさとに基づいて算出される評価値が極小となる露出時間とすることを特徴とする請求項１に記載の表示画像撮像方法。
【請求項３】
上記所定画像は、均一階調単原色画像であることを特徴とする請求項１または２に記載の表示画像撮像方法。
【請求項４】
周期的に画像を連続表示する画像表示装置の表示画像をローリングシャッタ方式で撮像する表示画像撮像装置であって、
上記画像表示装置に表示された所定画像の撮像画像に基づいて上記画像表示装置の表示周期に伴う縞状ノイズが発生しない露出時間を算出する同期露出時間算出手段と、
上記同期露出時間算出手段で算出された同期露出時間に基づいて上記画像表示装置の表示画像を撮像する際の露出時間を制御する露出時間制御手段と、
を有することを特徴とする表示画像撮像装置。
【請求項５】
上記同期露出時間算出手段は、上記所定画像の撮像画像に発生する縞状ノイズを横切る方向の周波数成分の局所ピーク周波数とその大きさとに基づいて算出される評価値が極小となる露出時間を、上記同期露出時間として算出することを特徴とする請求項４に記載の表示画像撮像装置。
【請求項６】
上記同期露出時間算出手段は、均一階調単原色画像からなる所定画像の撮像画像に基づいて上記同期露出時間を算出することを特徴とする請求項４または５に記載の表示画像撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置に表示される表示画像を撮像する撮像方法および装置に関するものである。
【背景技術】
【０００２】
画像表示装置として、複数台のプロジェクタによりスクリーン上に１つの画像を合成して投影表示するマルチプロジェクションシステムが知られている。このようなマルチプロジェクションシステムでは、複数台のプロジェクタから投影された各画像間の色差や輝度差、およびその継ぎ目が目立たないようにする等の対策を講じる必要がある。
【０００３】
そこで、本出願人は、スクリーン上にキャリブレーション用の画像を投影し、それをデジタルカメラ等の撮像手段で撮像して、得られた撮像データに基づいて各種の補正を行うようにした画像表示装置を既に提案している（例えば、特許文献１、特許文献２参照）。
【０００４】
特許文献１、２に開示の画像表示装置によると、撮像したキャリブレーション用の画像から、スクリーンと複数のプロジェクタとの相対位置関係、およびプロジェクタ間の色差や輝度差、プロジェクタ内の色むらや輝度むらを測定し、それらの測定データに基づいて幾何補正パラメータおよび色補正パラメータを算出して、その算出したパラメータを用いて画像補正を行うので、大画面のシームレスで高解像度、高画質な画像を投影することができる。
【０００５】
ところで、このような画像表示装置に使用されるプロジェクタとしては、例えば単板の表示素子を用いた単板式プロジェクタや３板の表示素子を用いた３板式プロジェクタが知られている。
【０００６】
単板式プロジェクタは、例えば、白色光源と単板の表示素子（例えば、デジタル・マイクロミラー・デバイス（ＤＭＤ）や液晶等の光変調素子）との間に、少なくとも３つの原色光（赤、緑、青）をそれぞれ透過するカラーフィルタを備えるカラーホイールを配置し、このカラーホイールを所定周波数（例えば、２４０Ｈｚ）で回転させながら、その回転に同期して表示素子の各画素の変調度合いを制御することにより、各原色画像を面順次で表示するようにしている。ここで、人間の視覚は、網膜上に結像した所定時間の積分画像を認識しているので、その所定時間（積分時間）よりも面順次の表示周期を高速に設定することにより、観察者において３原色画像が合成されたフルカラー表示画像として認識される。
【０００７】
３板式プロジェクタは、３原色光をそれぞれ変調する表示素子を有しており、各表示素子で変調された３つの変調光を例えばクロスプリズム等で合成した後、投影するようにしている。この３板式プロジェクタは、単板式プロジェクタのようなカラーホイールは有していないが、表示素子の変調画像を所定周波数（例えば、６０Ｈｚ）で切り替えることにより、動画像表示が可能となっている。
【０００８】
また、画像表示装置のキャリブレーションの際に、スクリーン上に投影されたキャリブレーション用の画像を撮像するデジタルカメラとして、ＣＣＤ撮像素子を用いたものや、ＣＭＯＳ撮像素子を用いたものが知られている。
【０００９】
ＣＣＤ撮像素子を用いたデジタルカメラは、シャッタ方式として、一般に、撮像エリア内で撮像開始時間が同時となるグローバルシャッタ方式を採用しているので、撮像対象物が移動している場合でも、撮像画像に歪みが生じることがない。
【００１０】
これに対し、ＣＭＯＳ撮像素子を用いたデジタルカメラは、安価ではあるが、シャッタ方式として、一般にローリングシャッタ方式を採用している。このシャッタ方式は、例えば、所定露出時間で撮像した場合に、垂直方向に配置される各撮像ラインが同時に露出を開始するのではなく、露出開始時間が最上部の撮像ラインから最下部の撮像ラインへ所定時間ずれた状態で撮像するため、撮像対象物が静止している場合には問題ないが、移動している場合には、その移動速度に依存した撮像ラインの撮像開始時間のずれによって歪んだ画像が撮像されることになる。
【００１１】
このため、画像表示装置に表示される周期的に切り替わる画像を、ＣＭＯＳ撮像素子を用いたデジタルカメラで撮像すると、上記のローリングシャッタ方式に伴う問題が発生することになる。
【００１２】
以下、このローリングシャッタ方式に伴う問題について、画像表示装置が単板式プロジェクタを用いる場合を例にとって、図１０および図１１を参照しながら説明する。
【００１３】
ここでは、図１０（ａ）に示すように、単板式プロジェクタのカラーホイール１００１が周波数αＨｚで回転し、均一な白画像をスクリーンに表示するものとする。この状態は、カラーホイール１００１を構成するＲ（赤）、Ｇ（緑）、青（Ｂ）、スルー（Ｗ）フィルタが白色光源の光路上にある時間だけ、各フィルタに対応する色光のみがスクリーンを照明するので、スクリーン照度と時間との関係は、図１０（ｂ）にグラフ１００２で示すようになり、スクリーン照度は、Ｒ、Ｇ、Ｂ、Ｗと時分割で領域区分され、その周期はβｍｓｅｃとなる。ここで、β＝１／αである。
【００１４】
また、説明を更に簡単にするために、例えば、均一赤（Ｒ）画像のみ表示する場合を考えと、この場合には、赤色以外の色光は表示素子で遮光制御されるので、スクリーン照度と時間との関係は、図１０（ｃ）にグラフ１００３で示すようになり、その赤（Ｒ）光の周期は、グラフ１００２の場合と同様に、βｍｓｅｃとなる。
【００１５】
図１１（ａ）および（ｂ）は、図１０（ｃ）のグラフ１００３の縦軸にＣＭＯＳ撮像素子の各ライン位置を重ねて示したものである。図１１（ａ）および（ｂ）では、ＣＭＯＳ撮像素子の露出時間が異なっており、ひし形の領域１１０１、１１０２はそれぞれＣＭＯＳ撮像素子が受光している時間を示している。なお、ひし形１１０１、１１０２の傾き量は、ローリングシャッタの仕様に依存して異なるものである。
【００１６】
図１１（ａ）は、露出時間γｍｓｅｃがβｍｓｅｃの整数Ｎ倍でない場合である。この場合は、各ライン位置について、ひし形１１０１内を時間方向で積算すると、撮像画像１１０３のような垂直方向に濃淡差を持った横縞模様の画像となる。これは、各ライン位置で、スクリーンに表示している赤（Ｒ）光の受光量が異なるために発生する。
【００１７】
図１１（ｂ）は、露出時間をβｍｓｅｃあるいはβｍｓｅｃの整数倍とした場合である。この場合は、各ライン位置について、ひし形１１０２内を時間方向で積算すると、全てのライン位置で赤（Ｒ）光の受光量が等しくなるので、均一な撮像画像１１０４が得られることになる。
【００１８】
以上、赤の均一表示画像を撮像する場合について説明したが、さらに、緑、青、白等の組み合わせがある場合も、横縞が発生しない条件は、各ライン位置での受光量を等しくすることなので、露出時間を上記のβ×Ｎｍｓｅｃ（＝画像表示装置の表示周期の整数Ｎ倍）にすることに変わりはない。すなわち、ＣＭＯＳ撮像素子でローリングシャッタ方式を採用する安価なデジタルカメラによって、画像表示装置により周期的に表示される画像を撮像する場合には、表示周期に合った露出時間を選択する必要がある。
【００１９】
一方、画像表示装置による表示画像の撮像方法として、例えば、画像表示装置の垂直同期信号に応じて生成したシャッタ制御信号により、画像表示装置の描画の開始および終了のタイミングと、撮像装置の撮像開始および終了のタイミングとを同期させることにより、横縞のようなノイズが混入しない画像データを得るようにしたものが知られている（例えば、特許文献３参照）。
【００２０】
また、ラインセンサ駆動式の撮像装置による被写体の撮像方法として、例えば、被写体の照明光変化を検出し、その検出結果を周波数解析して、最も多い周波数成分の周期の整数倍をラインセンサの露出時間として設定することにより、被写体の照明光変化の影響を低減するようにしたものも知られている（例えば、特許文献４参照）。
【００２１】
さらに、ローリングシャッタ方式のＣＭＯＳ撮像素子を備える撮像装置として、既知のフリッカ光源（例えば、５０Ｈｚあるいは６０Ｈｚの蛍光ランプ）のもとで被写体を撮像する際に、フリッカの発生しない最も短い露出時間とその半分の露出時間とのシャッタ時間の異なる２つの撮像画像から、被写体自体の空間周波数成分を除いたフリッカ光源に伴う横縞の空間周波数成分を抽出し、この空間周波数成分が所定量を超えた場合にフリッカが発生していると判定するようにしたものも知られている（例えば、特許文献５参照）。
【特許文献１】特開２００２−７２３５９号公報
【特許文献２】特開２００２−１１６５００号公報
【特許文献３】特開平１１−１８４４４５号公報
【特許文献４】特開平７−３３６５８６号公報
【特許文献５】特開２００４−７４０２号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
上述したマルチプロジェクションシステムのような画像表示装置により周期的に更新される表示画像を、ＣＭＯＳ撮像素子等のローリングシャッタ方式を採用する安価なデジタルカメラで撮像する場合には、表示画像の切替周期（表示周期）に合った露出時間を精度良く決定する必要があるばかりか、巨大なスクリーン上に投影された画像全体を一度に撮像するため、スクリーンから十分離れた自由な位置にデジタルカメラを設置する必要がある。
【００２３】
ところが、特許文献３に開示の撮像方法にあっては、露出時間を精度良く画像表示装置に適応させることは可能であるが、画像表示装置と撮像装置との間に、画像表示装置から撮像装置に同期信号を伝送するためのケーブルを接続する必要があるため、撮像装置をスクリーンから十分離した自由な位置に設置するのが難しくなることが懸念される。
【００２４】
また、特許文献４に開示の撮像方法にあっては、撮像された画像自体にシェーディング等の低周波数成分が混入していたり、周波数解析する領域のサイズが小さく十分な分解能が得られなかったりする場合には、最も多い周波数成分の周期が照明光の変化による露出時間とはならない場合がある。このため、マルチプロジェクションシステムで使用する撮像装置においては、画像表示装置に対して同期した露出時間を安定して算出することができなくなることが懸念される。
【００２５】
さらに、特許文献５に開示の撮像装置にあっては、既知の照明光を前提として求めた露出時間での撮像によるフリッカの発生を検出するもので、任意の未知の照明光に対しては対応できない。
【００２６】
したがって、上記の点に鑑みてなされた本発明の目的は、画像表示装置に周期的に更新されて表示される表示画像を、ローリングシャッタ方式により、ハード的な同期信号を用いることなく、自由な位置から縞状ノイズの発生を効果的に抑えて撮像できる表示画像撮像方法および装置を提供することにある。
【課題を解決するための手段】
【００２７】
上記目的を達成する請求項１に係る表示画像撮像方法の発明は、周期的に画像を連続表示する画像表示装置の表示画像をローリングシャッタ方式で撮像するにあたり、
予め上記画像表示装置に所定画像を表示させて撮像し、その所定画像の撮像画像に基づいて上記画像表示装置の表示周期に伴う縞状ノイズが発生しない同期露出時間を算出し、その後、上記算出した同期露出時間に基づいて露出時間を制御して上記画像表示装置の表示画像を撮像することを特徴とするものである。
【００２８】
請求項２に係る発明は、請求項１に記載の表示画像撮像方法において、上記同期露出時間は、上記所定画像の撮像画像に発生する縞状ノイズを横切る方向の周波数成分の局所ピーク周波数とその大きさとに基づいて算出される評価値が極小となる露出時間とすることを特徴とするものである。
【００２９】
請求項３に係る発明は、請求項１または２に記載の表示画像撮像方法において、上記所定画像は、均一階調単原色画像であることを特徴とするものである。
【００３０】
さらに、上記目的を達成する請求項４に係る発明は、周期的に画像を連続表示する画像表示装置の表示画像をローリングシャッタ方式で撮像する表示画像撮像装置であって、
上記画像表示装置に表示された所定画像の撮像画像に基づいて上記画像表示装置の表示周期に伴う縞状ノイズが発生しない露出時間を算出する同期露出時間算出手段と、
上記同期露出時間算出手段で算出された同期露出時間に基づいて上記画像表示装置の表示画像を撮像する際の露出時間を制御する露出時間制御手段と、
を有することを特徴とするものである。
【００３１】
請求項５に係る発明は、請求項４に記載の表示画像撮像装置において、上記同期露出時間算出手段は、上記所定画像の撮像画像に発生する縞状ノイズを横切る方向の周波数成分の局所ピーク周波数とその大きさとに基づいて算出される評価値が極小となる露出時間を、上記同期露出時間として算出することを特徴とするものである。
【００３２】
請求項６に係る発明は、請求項４または５に記載の表示画像撮像装置において、上記同期露出時間算出手段は、均一階調単原色画像からなる所定画像の撮像画像に基づいて上記同期露出時間を算出することを特徴とするものである。
【発明の効果】
【００３３】
請求項１に係る発明によると、ハード的な同期信号を用いることなく、画像表示装置の表示周期に高精度に同期した露出時間を決定することができるので、ＣＭＯＳ撮像素子等のローリングシャッタ方式を採用する安価な撮像装置を用いて、画像表示装置に対する撮像装置の設置位置に自由度を持たせつつ、表示画像の撮像画像に発生する縞状ノイズを効果的に抑えることができる。
【００３４】
請求項２に係る発明によると、さらに、所定画像の撮像画像に縞状ノイズ以外の均一でない表示パターンが混入していても、同期露出時間を十分精度良く算出することができる。
【００３５】
請求項３に係る発明によると、さらに、所定画像の撮像画像への縞状ノイズ以外の高周波成分の混入を防ぐことができるので、同期露出時間をより精度良く算出することができる。
【００３６】
請求項４に係る発明によると、ハード的な同期信号を用いることなく、画像表示装置の表示周期に高精度に同期した露出時間を決定することができるので、ＣＭＯＳ撮像素子等を用いて撮像装置を安価に構成できると共に、画像表示装置に対する撮像装置の設置位置に自由度を持たせつつ、表示画像の撮像画像に発生する縞状ノイズを効果的に抑えることができる。
【００３７】
請求項５に係る発明によると、さらに、所定画像の撮像画像に縞状ノイズ以外の均一でない表示パターンが混入していても、同期露出時間を十分精度良く算出することができる。
【００３８】
請求項６に係る発明によると、さらに、所定画像の撮像画像への縞状ノイズ以外の高周波成分の混入を防ぐことができるので、同期露出時間をより精度良く算出することができる。
【発明を実施するための最良の形態】
【００３９】
以下、本発明の実施の形態について図面を参照して説明する。
【００４０】
図１は、本発明の一実施の形態に係る撮像装置を用いる画像表示撮像システムの概略構成を示す模式図である。本実施の形態は、画像表示装置１１０による表示画像を撮像装置１１１で撮像するもので、画像表示装置１１０は、２台のプロジェクタ１０７および１０８を備えるリアプロジェクタ方式のマルチプロジェクションシステムを構成しており、１つの画像を２台のプロジェクタ１０７、１０８に分ける等の表示画像の制御を行う表示画像処理装置１０６、プロジェクタ１０７、１０８から射出される投影画像を表示するスクリーン１０９を有している。
【００４１】
また、撮像装置１１１は、スクリーン１０９上に表示された表示画像を撮像するカメラ１０１、その撮像画像をモニタリングするモニタ１０４、コンピュータ１０２を有しており、コンピュータ１０２は、カメラ１０１の露出時間等を制御するカメラ制御部１０３、撮像画像を用いて２台のプロジェクタ１０７、１０８間の色ズレおよび投影画像の幾何的ズレの補正情報を算出するキャリブレーションデータ算出部１０５を有している。
【００４２】
ここで、カメラ１０１は、例えば、図２に概略構成を示すように、ＣＭＯＳ撮像素子およびその駆動回路からなる撮像部２０１、撮像レンズ２０３、ターレット２０４、ターレット駆動モータ２０２を有している。ターレット２０４は、３刺激値のＸ、Ｙ、Ｚカラーフィルタ２０５、２０６、２０７、濃度の異なるＮＤフィルタ２０８、２０９、スルーホール２１０、遮光板２１１を同心円状に保持しており、ターレット駆動モータ２０２により回転駆動されて、各フィルタを撮像レンズ２０３の位置に移動させるようになっている。
【００４３】
図３は、図１に示したカメラ制御部１０３の構成を示す機能ブロック図である。先ず、キャリブレーションデータ算出部１０５が、カメラ１０１にて所望する画像を撮像するために画像表示装置１１０の画像更新周波数に対応する露出時間のテーブルを最初に作成する。そのため、画像表示装置１１０に対する画像更新周波数として既知情報がある場合には、その情報が露出制御部３０３に入力される。
【００４４】
露出制御部３０３は、画像表示装置１１０に対して単一原色（例えば赤）の均一輝度画像を表示するよう指示し表示させる。ここで、単原色の均一輝度画像を表示するのは、後述する同期露出時間算出方法での算出精度を向上させるためである。すなわち、単原色の均一輝度画像を表示することにより、横縞ノイズを明瞭に撮像でき、これにより横縞ノイズ以外に起因する算出精度に悪影響を及ぼす空間的な高周波成分を排除することができるからである。
【００４５】
さらに、露出制御部３０３は、カメラ１０１に対して撮像する露出時間の探索範囲を設定する。ここで、露出時間の探索範囲［Ｔｓｈｏｒｔ，Ｔｌｏｎｇ］は、画像表示装置１１０に対する画像更新周波数αＨｚとして、Ｔｓｈｏｒｔ＝（Ｎ−３＋０．５）／α、Ｔｌｏｎｇ＝（Ｎ＋０．５）／α（ここで、Ｎは３以上の整数）である。なお、画像更新周波数αＨｚが未知である場合には、例えば画像更新周波数α＝６０Ｈｚと仮決めして露出時間の範囲設定を算出する。また、同期露出時間探索範囲［Ｔｓｈｏｒｔ，Ｔｌｏｎｇ］内の探索露出時間は、カメラ１０１自体の露出制御可能な最小時間の整数Ｍ倍の間隔とし、Ｍの値は算出する同期露出時間の検出精度と算出処理時間との兼ね合いで予め決定される。
【００４６】
次に、表示されている単一原色の均一輝度画像をカメラ１０１で撮像した撮像画像の表示エリアの最大値が、所定階調レベル範囲（例えば、８ビットの２５６階調で２００±１０）となる条件で、露出時間Ｔｌｏｎｇ近傍となるように、カメラ１０１のターレット２０４を回転させてＮＤフィルタ２０８、２０９、あるいはスルーホール２１０のいずれかを選択して撮像し、ターレット位置を決定する。この際、撮像レンズ２０３の絞りを自動制御できる場合には、更に絞りを含めて調整しても良い。さらに、これらの切替で調整しきれない場合には、画像表示装置１１０に対して輝度レベルの変更を要求する。
【００４７】
これらの具体的な処理としては、露出制御部３０３において、テーブル選択部３１３を介して、第１露出時間テーブル３１２に格納されて選択可能に設定されているカメラ１０１のデフォルト状態の露出時間を取得し、その取得露出時間をカメラ１０１にセットして撮像を行わせ、その撮像画像に対して撮像画像内の表示エリアの最大値が所定階調レベル範囲内にあるかどうかを判断し、範囲外の場合にはカメラ１０１のＮＤフィルタ２０８、２０９等のフィルタを切替制御し、さらには画像表示装置１１０の輝度レベル変更制御を行う。これにより、同期露出時間を測定するための初期状態、すなわち同期露出時間探索範囲［Ｔｓｈｏｒｔ，Ｔｌｏｎｇ］を決定する。
【００４８】
続いて、露出制御部３０３は、決定した同期露出時間探索範囲［Ｔｓｈｏｒｔ，Ｔｌｏｎｇ］を、ＴｌｏｎｇからＴｓｈｏｒｔに向かって所定間隔Ｄ（Ｄ＝Ｍ×露出制御可能な最小時間；Ｍは定数）でサンプルされた露出時間Ｔｊ（ｊ＝１〜Ｌ；Ｌはサンプル数でＴ１＝Ｔｌｏｎｇ，ＴＬ＝Ｔｓｈｏｒｔ）をカメラ１０１にセットして、各露出時間で順次撮像を行わせて、その順次の撮像画像を同期露出時間検出部３０４に入力する。
【００４９】
同期露出時間検出部３０４は、入力撮像画像に基づいて同期露出時間探索範囲内から３つの同期露出時間候補Ｔｓｙｎｃ１，Ｔｓｙｎｃ２，Ｔｓｙｎｃ３を決定して同期露出時間決定部３１０に出力する。
【００５０】
同期露出時間決定部３１０は、３つの同期露出時間候補Ｔｓｙｎｃ１，Ｔｓｙｎｃ２，Ｔｓｙｎｃ３と、原点を通るという条件（Ｔｓｙｎｃ＝０で横縞は発生しない）から、最小自乗法により回帰直線を求めて、実測値としての最小時間間隔βｍｍｓｅｃと相関係数を算出し、線形性が十分成り立つ場合にのみ、同期露出時間が決定できたと判定して、露出制御部３０３に判定結果を出力すると共に、第２露出時間テーブル３１１にβｍ×Ｎ（ここで、Ｎは１以上で、βｍ×Ｎがカメラ１０１のハード仕様としての最長露出時間を超えない整数）の露出時間を設定する。
【００５１】
これに対し、同期露出時間を決定できないと判定された場合には、その判定結果を同様に露出制御部３０３に出力するが、第２露出時間テーブル３１１に対しては露出時間の設定は行わない。この同期露出時間を決定できないとする判定結果は、特に、画像表示装置１１０における表示画像の切り替えが明確にＯＮ／ＯＦＦする構造とはなっておらず、横縞のコントラストが判別できない程度に小さい場合に生じる。
【００５２】
以上により、画像表示装置１１０の表示画像を撮像装置１１１にて撮像するための同期露出時間の設定が完了したことになる。これ以降は、露出制御部３０３によりテーブル選択部３１３を制御して、同期露出時間を決定できた場合には第１の露出制御モードとして第２露出時間テーブル３１１に格納されている選択可能露出時間を用いて最適露出時間を決定し、同期露出時間を決定できなかった場合には第２の露出制御モードとして第１露出時間テーブル３１２に格納されている選択可能露出時間を用いて最適露出時間を決定し、その決定された最適露出時間でカメラ１０１により表示画像を撮像して、その撮像画像をキャリブレーションデータ算出部１０５に送出する。
【００５３】
キャリブレーションデータ算出部１０５では、カメラ制御部１０３からの撮像画像に基づいて、画像表示装置１１０が最適な画像を表示できるようなキャリブレーションデータを算出し、その算出したキャリブレーションデータを画像表示装置１１０の表示画像処理装置１０６に送出する。これにより、表示画像処理装置１０６では、キャリブレーションデータに基づいて外部映像信号を画像処理して、プロジェクタ１０７、１０８に出力する。
【００５４】
ここで、同期露出時間検出部３０４は、検出エリア抽出部３０５、離散フーリエ変換（ＤＦＴ）算出部３０６、局所ピーク抽出部３０７、同期評価値算出部３０８、最小値検出部３０９を有している。以下、その詳細を説明する。
【００５５】
同期露出時間検出部３０４に入力される露出時間Ｔｊの撮像画像は、検出エリア抽出部３０５に入力される。検出エリア抽出部３０５では、撮像画像をモニタ１０４に表示させ、操作者に手動で所定サイズの検出エリアを選定させるモードと、入力された撮像画像から表示画像の表示エリアを周辺との階調差から抽出して、その表示エリア内で階調レベルが急激に変化しない所定サイズ（例えば、１２８画素×１２８画素）の検出エリアを自動的に抽出するモードとのどちらかのモードにより検出エリアを抽出して、その検出エリアをＤＦＴ算出部３０６に出力する。ここで、２つのモードの切り替えは、手動にて行えるようになっている。
【００５６】
ＤＦＴ算出部３０６では、所定検出エリアの垂直方向の複数ｎ列をそれぞれ抽出し、その抽出列にハニング窓等の窓関数を乗算することで境界部分の不連続性を排除した後、１次元ＤＦＴ処理して（処理データ数が２のべき乗の場合には、高速フーリエ変換（ＦＦＴ）でも可）、その処理結果である空間周波数成分を局所ピーク抽出部３０７に出力する。
【００５７】
局所ピーク抽出部３０７では、入力されたｎ列分の空間周波数成分を各周波数位置でｎ列分積算し、その積算した空間周波数成分に対して所定局所周波数範囲内での最小値を算出するオープニング処理を施して局所ピークなしの空間周波数成分を生成し、その生成した局所ピークなしの空間周波数成分を、積算した空間周波数成分から減算することで局所ピーク波形のみを抽出し、その抽出した局所ピーク波形から複数のピーク周波数ｆｉとそれに対応するピーク値ｐｉを抽出して同期評価値算出部３０８に出力する。
【００５８】
同期評価値算出部３０８では、露出時間Ｔｊで撮像された撮像画像に対する同期評価値Ｅｊ＝Σｗ（ｆｉ）ｆｉｐｉを算出して、内部のメモリに格納する。ここで、ｗ（ｆｉ）は重み係数で、例えば高周波側の重みを大きく、低周波例の重みを小さくするような予め決められた周波数をパラメータとした関数である。
【００５９】
最小値検出部３０９は、露出制御部３０３から同期露出時間探索範囲の最後のサンプル位置である露出時間ＴＬの撮像が終了した旨の撮像終了情報を受け取った時点で、同期評価値算出部３０８のメモリに格納されているＬ個の同期評価値Ｅ１〜ＥＬから、少なくとも３つの局所的な最小値（極小値）の位置をサンプル時間間隔よりも高精度に決定する。この局所的な最小値は、複数サンプル位置の同期評価値を用いて、サンプル間隔より細かいサブサンプル位置の同期評価値を補間することにより、高精度に決定することができる。これら決定した少なくとも３つの最小値の位置は、露出制御部３０３から入力される同期露出時間探索範囲［Ｔｓｈｏｒｔ，Ｔｌｏｎｇ］とサンプル間隔とにより、少なくとも３つの同期露出時間候補Ｔｓｙｎｃ１，Ｔｓｙｎｃ２，Ｔｓｙｎｃ３に変換して、同期露出時間決定部３１０に出力する。
【００６０】
図４は、露出制御部３０３による同期露出時間探索範囲［Ｔｓｈｏｒｔ，Ｔｌｏｎｇ］の一部と、その範囲内をサンプリングした露出時間Ｔｊに対する撮像画像内の検出エリア画像とを模式的に示した図である。同期露出時間探索範囲［Ｔｓｈｏｒｔ，Ｔｌｏｎｇ］の一部のサンプリングした露出時間Ｔｊおよび検出エリア画像が符号４０１〜４１０に対応する。また、露出時間を横軸にし、横縞の強度を縦軸にしたグラフ４１１は、同期露出時間４０４、４１０で横縞が発生せず、その時間から離れるに従って横縞の暗部が太くなっていることを示している。
【００６１】
図５は、検出エリア抽出部３０５およびＤＦＴ算出部３０６での処理内容を説明するための図である。モニタ１０４には、画像表示装置１１０のスクリーン１０９に表示されている表示画像をカメラ１０１で撮像した撮像画像５０４が表示されている。この撮像画像５０４のうち、符号５０１はプロジェクタ１０７の投影エリアを示しており、符号５０２はプロジェクタ１０８の投影エリアを示している。
【００６２】
検出エリア抽出部３０５は、例えば、プロジェクタ１０８の投影エリア５０２の３辺の境界部分をエッジ抽出して、投影エリア５０２の中央部分の検出エリア５０３を自動抽出するか、あるいは操作者の手動操作により所望の検出エリア５０３を抽出する。
【００６３】
ＤＦＴ算出部３０６は、先ず、検出エリア抽出部３０５で抽出された検出エリア５０３の垂直方向のｎ列をサンプリングする。その内の１列のデータを符号５０５で示してあり、撮像素子のライン位置と階調レベルとの関係を符号５０６で示してある。次に、１列のデータ５０６にハニング窓等の窓関数５０７を乗算し、さらにＤＦＴ（データサイズが２のべき乗の場合はＦＦＴも利用可）を行って、空間周波数成分５０８を得る。
【００６４】
図６は局所ピーク抽出部３０７および同期評価値算出部３０８での処理内容を説明するための図である。
【００６５】
検出エリア５０３内からサンプリングされたｎ列の空間周波数成分５０８−１〜５０８−ｎは、同一周波数毎に積算されて１つの空間周波数成分６０１を得る。この空間周波数成分６０１に、例えば半径Ｒの円６０２をグラフの下側から接するようになぞって、円６０２の軌跡を算出するオープニング処理（Ｏｐ）を施すことで、局所的なピークを潰した空間周波数成分６０３を得る。そして、空間周波数成分６０１から空間周波数成分６０３を引くことで、局所的なピーク成分のみを抽出した空間周波数成分６０４を得、この空間周波数成分６０４から局所ピーク周波数ｆ１，・・・，ｆＮに対応するピークパワー値ｐ１，・・・，ｐＮを抽出する。
【００６６】
同期評価値算出部３０８には、入力された局所ピーク周波数ｆ１，・・・，ｆＮに対応するピークパワーｐ１，・・・，ｐＮと重みｗ（ｆ１）とを用いて、露出時間Ｔｊ時に同期露出評価値Ｅｊを以下の式から求める。ここで、重みｗ（ｆｉ）は、周波数の関数で予め決められている。
【００６７】
【数１】
2006311029.tif 000003
【００６８】
図７は、同期評価値算出部３０８が保持するメモリ内に格納されている同期評価値をグラフ化した図であり、横軸が露出時間、縦軸が同期評価値を示している。
【００６９】
図７において、探索範囲７０２が、露出制御部３０３で決定された同期露出時間探索範囲［Ｔｓｈｏｒｔ，Ｔｌｏｎｇ］に対応しており、この範囲で同期評価値は、少なくとも３つの局所的な最小値をとる波形７０１となり、最小値検出部３０９で検出される局所的な最小値（極小値）となる露出時間は、同期露出時間候補Ｔｓｙｎｃ１，Ｔｓｙｎｃ２，Ｔｓｙｎｃ３となる。ただし、画像更新周波数αＨｚが未知の場合は、デフォルト値（例えば６０Ｈｚ）を使用することになるが、通常の画像表示装置の画像更新周波数は、デフォルト値より大きいので、波形７０１の局所的な最小値（極小値）は３箇所以上となる。この場合は、露出時間の長い方から３つの同期露出時間候補を選択する。
【００７０】
図８は、図１のマルチプロジェクションシステムにおける同期露出時間を決定するまでの処理手順を示したフローチャートである。
【００７１】
同期露出時間算出処理を開始すると、先ず、画像表示装置１１０に所定均一輝度の単原色を表示する（ステップＳ８０１）。
【００７２】
続いて、撮像装置１１１にて、ターゲット階調レベルとなる非同期状態での露出時間を求める（ステップＳ８０２）。
【００７３】
その後、求めた露出時間が、所定露出時間以上か否かを判定し（ステップＳ８０３）、所定露出時間未満の場合には、撮像装置１１１が備えるＮＤフィルタが切替可能か否かを判定し（ステップＳ８０４）、切替可能である場合には、ＮＤフィルタを切替て（ステップＳ８０６）、ステップＳ８０２に戻る。
【００７４】
一方、ステップＳ８０４でＮＤフィルタの切替が不可の場合には、画像表示装置１１０の輝度レベルを下げる変更処理を行って（ステップＳ８０５）、ステップＳ８０２に戻る。
【００７５】
また、ステップＳ８０３で所定露出時間以上の場合には、同期露出時間探索範囲と探索露出時間（サンプル数）とを決定し（ステップＳ８０７）、複数ある探索露出時間の１つをカメラ１０１にセットして撮像し、撮像画像内の検出エリアを抽出する（ステップＳ８０８）。
【００７６】
その後、抽出された検出エリア内から垂直方向の所定列データ抽出数が所定値未満か否かを判定し（ステップＳ８０９）、抽出列数が所定値未満の場合には、検出画像エリアの所定列に対してＤＦＴ処理を行って、既にＤＦＴ処理を行った列の同一周波数成分に積算し（ステップＳ８１０）、ステップＳ８０９に戻る。
【００７７】
一方、ステップＳ８０９で抽出列数が所定値となった場合には、積算した周波数成分に対してオープニング処理を実施して、局所ピークを抽出する（ステップＳ８１１）。
【００７８】
その後、抽出した局所ピーク情報（ピーク周波数とピークパワー値）をもとに同期露出評価値Ｅを算出して、メモリに格納する（ステップＳ８１２）。
【００７９】
次に、探索露出サンプル数がステップＳ８０７での決定サンプル数未満か否かを判定し（ステップＳ８１３）、決定サンプル数未満の場合には、探索露出時間を変更して（ステップＳ８１４）、ステップＳ８０８に戻る。
【００８０】
一方、ステップＳ８１３で探索露出サンプル数が決定サンプル数となった場合は、メモリに格納されている同期露出評価値が局所的な最小値となる同期露出時間候補を算出する（ステップＳ８１５）。
【００８１】
その後、算出した同期露出時間候補が所定数（例えば３つ）未満か否かを判定し（ステップＳ８１６）、所定数未満の場合はステップＳ８１５に戻る。
【００８２】
これに対し、算出した同期露出時間候補が所定数になった場合には、算出した所定数の同期露出時間候補が所定条件を満たしているか否かを判定し（ステップＳ８１７）、所定条件を満たしている場合には、同期露出時間の最小間隔×整数倍（１〜Ｎ）をＮ個の同期露出時間として決定して露出時間テーブルに格納して（ステップＳ８１８）、同期露出時間算出処理を終了する。
【００８３】
一方、ステップＳ８１７で所定条件を満たしていない場合には、同期露出時間を決定せずに露出時間テーブルを更新しないまま、同期露出時間算出処理を終了する。
【００８４】
図９は、図１のマルチプロジェクションシステムにおけるキャリブレーションデータ作成までの処理手順を示したフローチャートである。
【００８５】
先ず、テストパターン撮像を行う前に、画像表示装置１１０に対する撮像装置１１１の使用可能な同期露出時間を算出する（ステップＳ９０１）。
【００８６】
次に、同期露出時間の算出状態を判定し（ステップＳ９０２）、算出できたと判定された場合は、使用可能な同期露出時間を第２露出時間テーブル３１１に格納して（ステップＳ９０３）、同期露出時間の使用フラグをＯＮにセットする（ステップＳ９０４）。
【００８７】
これに対し、ステップＳ９０２で同期露出時間が算出できないと判定された場合には、同期露出時間の使用フラグをＯＦＦにセットする（ステップＳ９０５）。以上により、キャリブレーションデータ算出用テストパターン画像の撮像準備が完了する。
【００８８】
続いて、テストパターン画像の撮像処理として、先ず、テストパターン画像を表示する（ステップＳ９０６）。その後、同期露出時間の使用フラグを判定して（ステップＳ９０７）、使用フラグがＯＮの場合には、算出された同期露出時間が格納されている第２露出時間テーブル３１１を用いて、表示されているテストパターン画像の最適露出時間を決定し（ステップＳ９０８）、使用フラグがＯＦＦの場合には、カメラ１０１が使用できる全ての露出時間が予め登録されている第１露出時間テーブル３１２を用いて、表示されているテストパターン画像の最適露出時間を決定して（ステップＳ９０９）、その最適露出時間でテストパターン画像を撮像する（ステップＳ９１０）。
【００８９】
その後、キャリブレーションデータを算出するためのテストパターン画像を全て撮像したか否かを判定し（ステップＳ９１１）、撮像するテストパターン画像が残っている場合には、ステップＳ９０６に戻って撮像されていない別のテストパターン画像を表示して撮像を繰り返し、全てのテストパターン画像の撮像を終了したら、その時点で撮像画像をもとにキヤリブレーションデータを算出して、その算出したキャリブレーションデータを画像表示装置１１０の表示画像処理装置１０６に送信し（ステップＳ９１２）、キャリブレーション処理を終了する。
【００９０】
以上のように、画像表示装置１１０の表示画像を、ＣＭＯＳ撮像素子のようなローリングシャッタ方式を用いた安価な撮像装置１１１で撮像する場合に、横縞が発生しない同期露出時間を、画像表示装置１１０から同期信号を入力することなく精度良く算出することができる。したがって、マルチプロジェクションシステムのような大掛かりな画像表示装置１１０に使用するキャリブレーションデータ算出用テストパターンを撮像する撮像装置１１１を、物理的なケーブル長さによって制限を受けることなく、自由な位置に設置することができる。
【００９１】
なお、本発明は、上記実施の形態に限定されるものではなく、幾多の変形または変更が可能である。例えば、上記実施の形態では、同期露出時間の算出処理で一度に３つの同期露出時間候補を算出して同期露出時間の最小間隔を求め、この最小間隔の整数倍を同期露出時間として決定したが、同期露出時間をテストパターンの撮像時に逐次算出するようにしても良い。この場合には、先ず、非同期の露出時間テーブル（第１の露出時間テーブル）を用いて撮像画像の所定輝度レベルとなる露出時間を決定し、その後、該露出時間より短い所定間隔の露出時間で撮像して、上記実施の形態と同様に同期露出評価値を算出し、そ評価値が所定時間内で最小値を取るまで処理を繰り返して、最小値が得られた露出時間を最適同期露出時間とすればよい。このようにすれば、最適同期露出時間を決定する迄に時間がかかるが、逐一同期露出時間を求めるので、より確実に縞状ノイズの発生を抑えることができる。
【００９２】
また、上記実施の形態では、マルチプロジェクションシステムの表示画像を撮像するようにしたが、本発明はパソコンの液晶モニタ等による表示画像を撮像する場合にも、同様にして縞状ノイズの発生をなくすことができる。さらに、縞状ノイズの検出領域は、撮像画像の一部に限らず、表示画像に対応する撮像画像の全体とすることもできる。
【図面の簡単な説明】
【００９３】
【図１】本発明の一実施の形態に係るマルチプロジェクションシステムの構成を模式的に示した図である。
【図２】図１に示すカメラの概略構成を示す図である。
【図３】図１に示すカメラ制御部の構成を示す機能ブロック図である。
【図４】図３に示す露出制御部による同期露出時間探索範囲の一部とその範囲内をサンプリングした露出時間に対する撮像画像内の検出エリア画像とを模式的に示した図である。
【図５】図３に示す検出エリア抽出部およびＤＦＴ算出部での処理内容を説明するための図である。
【図６】図３に示す局所ピーク抽出部および同期評価値算出部での処理内容を説明するための図である。
【図７】図３に示す同期評価値算出部が保持するメモリ内に格納されている同期評価値をグラフ化して示す図である。
【図８】図１のマルチプロジェクションシステムにおける同期露出時間を決定するまでの処理手順を示すフローチャートである。
【図９】図１のマルチプロジェクションシステムにおけるキャリブレーションデータ作成までの処理手順を示すフローチャートである。
【図１０】単板式プロジェクタの面順次表示を模式的に示した図である。
【図１１】単板式プロジェクタの面順次表示とローリングシャッタ方式の撮像時間との関係および撮像画像に発生するノイズを模式的に示した図である。
【符号の説明】
【００９４】
１０１  カメラ
１０２  コンピュータ
１０３  カメラ制御部
１０４  モニタ
１０５  キャリブレーションデータ算出部
１０６  表示画像処理装置
１０７，１０８  プロジェクタ
１０９  スクリーン
１１０  画像表示装置
１１１  撮像装置
３０３  露出制御部
３０４  同期露出時間検出部
３０５  検出エリア抽出部
３０６  ＤＦＴ算出部
３０７  局所ピーク抽出部
３０８  同期評価値算出部
３０９  最小値検出部
３１０  同期露出時間決定部
３１１  第２露出時間テーブル
３１２  第１露出時間テーブル
３１３  テーブル選択部
【図１】
2006311029.tif 000004
【図２】
2006311029.tif 000005
【図３】
2006311029.tif 000006
【図４】
2006311029.tif 000007
【図５】
2006311029.tif 000008
【図６】
2006311029.tif 000009
【図７】
2006311029.tif 000010
【図８】
2006311029.tif 000011
【図９】
2006311029.tif 000012
【図１０】
2006311029.tif 000013
【図１１】
2006311029.tif 000014