(57)【要約】【課題】複数のプロジェクタより投影される複数の画像を組み合わせる場合に生じる重畳領域の輝度ムラとブロックノイズの影響とを低減する。【解決手段】映像信号制御装置１０２は、スクリーンに投影される画像データに基づいて、複数のプロジェクタに対応する複数の画像データを生成する。特に、ブロックノイズ検出部２０６は、画像データからブロックノイズを検出する。重畳領域生成部２０４は、ブロックノイズが検出された位置に基づいて、複数の画像データの重畳領域の位置を調整する。タイル画像生成部２０５は、位置が調整された重畳領域に基づいて、複数の画像データを生成する。【選択図】図２
2012169736.tif 000002
【特許請求の範囲】
【請求項１】
スクリーンに投影される画像データに基づいて、複数のプロジェクタに対応する複数の画像データを生成する画像処理装置であって、
前記画像データからブロックノイズを検出する検出手段と、
前記検出手段により前記ブロックノイズが検出された位置に基づいて、前記複数の画像データの重畳領域の位置を調整する調整手段と、
前記調整手段により位置が調整された前記重畳領域に基づいて、前記複数の画像データを生成する生成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記調整手段は、前記重畳領域の境界部が前記ブロックノイズの境界部と一致するように前記重畳領域の位置を調整することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記調整手段は、前記ブロックノイズをより多く含むように前記重畳領域の位置を調整することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記調整手段は、前記画像データの所定のフレーム数毎に前記重畳領域の位置を調整することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記画像データのフレーム間の差分が所定の基準値より大きいか否かを判定する判定手段を更に有し、
前記調整手段は、前記判定手段により前記フレーム間の差分が前記所定の基準値より大きいと判定された場合、前記重畳領域の位置を調整することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項６】
スクリーンに投影される画像データに基づいて、複数のプロジェクタに対応する複数の画像データを生成する画像処理装置によって実行される画像処理方法であって、
前記画像データからブロックノイズを検出する検出ステップと、
前記検出ステップにより前記ブロックノイズが検出された位置に基づいて、前記複数の画像データの重畳領域の位置を調整する調整ステップと、
前記調整ステップにより位置が調整された前記重畳領域に基づいて、前記複数の画像データを生成する生成ステップとを有することを特徴とする画像処理方法。
【請求項７】
スクリーンに投影される画像データに基づいて、複数のプロジェクタに対応する複数の画像データを生成する画像処理装置によって実行される画像処理方法をコンピュータに実行させるためのプログラムであって、
前記画像データからブロックノイズを検出する検出ステップと、
前記検出ステップにより前記ブロックノイズが検出された位置に基づいて、前記複数の画像データの重畳領域の位置を調整する調整ステップと、
前記調整ステップにより位置が調整された前記重畳領域に基づいて、前記複数の画像データを生成する生成ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スクリーンに投影される画像データに基づいて、複数のプロジェクタに対応する複数の画像データを生成する技術に関するものである。
【背景技術】
【０００２】
近年、大画面化を実現するために、複数の投写光学系により各画面を縦横に配列して投写し、１つの画面に合成表示するタイリング投射が知られている。複数の画面を組み合わせる場合、例えば複数のプロジェクタからなるマルチプロジェクタでは、隣接するプロジェクタから投写された画面の継目が判らないように、その継目で画面を滑らかに接続して、全体として一つの画面を構成する必要がある。このため、従来いくつかの手法が提案されている。
【０００３】
特許文献１には、２つのプロジェクタの映像を互いにずらして重ねることにより、中央部に比べて周辺部の輝度が低いというプロジェクタの輝度特性を補償し、全体の輝度を均一化する技術が開示されている。
【０００４】
特許文献２には、位置誤差による継ぎ目の目立たない高品質な映像を得るために、重畳領域において重複する映像の数が最大でもプロジェクタの数より少なくなるように各プロジェクタに映像データを供給する技術が開示されている。
【０００５】
特許文献３には、プロジェクタに供給される映像データを、各プロジェクタが担当する部分的な映像の領域毎に切り出す技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−２１７２４１号公報
【特許文献２】特開２００１−２３８１５２号公報
【特許文献３】特開２００５−６５７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の方法により、複数のプロジェクタ夫々が投影する映像の色補正、ゲイン補正、黒レベル補正、ガンマ補正等を行う場合、映像データに対して複雑な処理が必要となる。また、従来の方法では、予め決められたアルゴリズムによって補正を行っているため、表示するコンテンツの内容によっては重畳領域の境界部の輝度ムラ及び画素ムラが目立ってしまうという問題がある。また、画像データの周波数成分、圧縮率によっては、コンテンツにブロックノイズが発生するという問題もあった。
【０００８】
そこで、本発明の目的は、複数のプロジェクタより投影される複数の画像を組み合わせる場合に生じる重畳領域の輝度ムラとブロックノイズの影響とを低減することにある。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、スクリーンに投影される画像データに基づいて、複数のプロジェクタに対応する複数の画像データを生成する画像処理装置であって、前記画像データからブロックノイズを検出する検出手段と、前記検出手段により前記ブロックノイズが検出された位置に基づいて、前記複数の画像データの重畳領域の位置を調整する調整手段と、前記調整手段により位置が調整された前記重畳領域に基づいて、前記複数の画像データを生成する生成手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数のプロジェクタより投影される複数の画像を組み合わせる場合に生じる重畳領域の輝度ムラとブロックノイズの影響とを低減することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るマルチプロジェクションシステムの構成を概略的に示す図である。
【図２】本発明の第１の実施形態に係るマルチプロジェクションシステムの機能的な構成を示す図である。
【図３】本発明の第１の実施形態に係るマルチプロジェクションシステムの処理を示すフローチャートである。
【図４】重畳領域の位置の調整方法を説明するための図である。
【図５】本発明の第１の実施形態における効果を説明するための図である。
【図６】本発明の第２の実施形態に係るマルチプロジェクションシステムの機能的な構成を示す図である。
【図７】本発明の第２の実施形態に係るマルチプロジェクションシステムの処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１３】
先ず、本発明の第１の実施形態について説明する。第１の実施形態に係るマルチプロジェクションシステムは、画像データ内のブロックノイズ発生状態に応じて重畳領域の位置を動的に変更するものである。
【００１４】
図１は、第１の実施形態に係るマルチプロジェクションシステムの構成を概略的に示す図である。図１において、４台のプロジェクタ１０３〜１０６は、各プロジェクタから投影される画像１０７〜１１０がスクリーン１１１上において互いに少しずつ重なるように投影する。以下、このように投影される画像が互いに重なる領域を重畳領域と称す。４台のプロジェクタ１０３〜１０６には、それぞれのプロジェクタで投影するための画像データが映像信号制御装置１０２より供給される。映像信号制御装置１０２は、画像入力部１０１より入力された画像データを加工し、４台のプロジェクタ１０３〜１０６に供給する。なお、映像信号制御装置１０２は、画像処理装置の適用例となる構成である。
【００１５】
図２は、第１の実施形態に係るマルチプロジェクションシステムの機能的な構成を示す図である。図３は、第１の実施形態に係るマルチプロジェクションシステムの処理を示すフローチャートである。以下、図２及び図３を参照しながら、第１の実施形態に係るマルチプロジェクションシステムの処理について説明する。
【００１６】
図２に示すように、第１の実施形態に係るマルチプロジェクションシステムは、画像入力部１０１、画像デコーダ部２０２、投影領域情報記憶部２０３、重畳領域生成部２０４、タイル画像生成部２０５、ブロックノイズ検出部２０６、画像投射部２１０によって構成される。画像デコーダ部２０２、投影領域情報記憶部２０３、重畳領域生成部２０４、タイル画像生成部２０５、ブロックノイズ検出部２０６は、映像信号制御装置１０２の内部に実装される。画像投射部２１０は、４台のプロジェクタ１０３〜１０６に実装される。ブロックノイズ検出部２０６は、高周波成分抽出部２０７、ピーク位置検出部２０８、ブロックノイズ判定部２０９によって構成される。
【００１７】
画像入力部１０１は、マルチプロジェクションシステムが投影する全体的な画像データ（以下、全体画像データと称す）の入力インタフェースである。ステップＳ３０１において、画像入力部１０１は、外部ストレージに保存された全体画像データをビデオケーブル、ＬＡＮ等の通信経路を介して入力する。
【００１８】
画像デコーダ部２０２は、画像入力部１０１で入力された全体画像データをデコードする。画像デコーダ部２０２は、デコードした全体画像データを高周波成分抽出部２０７に対して出力するとともに、重畳領域生成部２０４に対して出力する。
【００１９】
ステップＳ３０２において、高周波成分抽出部２０７は、全体画像データに含まれる高周波成分をフィルタリングによって抽出する。高域抽出部２０７は、全体画像データの水平方向の高周波成分、垂直方向の高周波成分を夫々、不図示の水平方向高域抽出部、垂直方向高域抽出部で抽出する。これにより、垂直方向及び水平方向に急峻に変化している箇所が全体画像データから抽出される。
【００２０】
ステップＳ３０３において、ピーク位置検出部２０８は、高周波成分抽出部２０７によって抽出された水平方向の高周波成分と垂直方向の高周波成分とを夫々累積加算し、累積加算した高周波成分の量が多い部分をピーク位置として検出する。
【００２１】
ステップＳ３０４において、ブロックノイズ判定部２０９は、累積加算された高周波成分を画素ブロックのサイズ間隔で解析し、ピーク位置検出部２０８によって検出されたピーク位置が画素ブロックの境界部に存在するか否かを判定する。ピーク位置が画素ブロックの境界部に存在する場合、ブロックノイズ判定部２０９は、境界部にブロックノイズが発生していると判定する。
【００２２】
投影領域情報記憶部２０３は、各プロジェクタ１０３〜１０６から投影されている画像の領域（以下、投影領域と称す）の座標情報と、投影されている画像の重畳領域の座標情報とを記憶する。また、投影領域情報記憶部２０３は、後述する重畳領域生成部２０４とこれらの座標情報を入出力する。
【００２３】
重畳領域生成部２０４は、投影領域情報記憶部２０３より重畳領域の座標情報を入力する。また、重畳領域生成部２０４は、デコードされた全体画像データを画像デコーダ部２０２より入力する。ブロックノイズ判定部２０９によって境界部にブロックノイズが発生していると判定された場合、ステップＳ３０５において、重畳領域生成部２０４は、全体画像データにおけるブロックノイズの発生位置に重畳領域を生成する。即ち、図４に示すように、重畳領域生成部２０４は、重畳領域４０２の境界部がブロックノイズ４０１の発生位置の境界部と一致するように重畳領域の位置を調整する。また、重畳領域生成部２０４は、重畳領域がブロックノイズの発生位置をより多く含むように重畳領域の位置を調整する。重畳領域生成部２０４は、このように重畳領域の位置を調整した後、調整後の重畳領域の位置情報を投影領域情報記憶部２０３に対して出力する。
【００２４】
ステップＳ３０６において、タイル画像生成部２０５は、重畳領域生成部２０４によって生成された重畳領域に基づいて、各プロジェクタ１０３〜１０６の画像データ（以下、タイル画像データと称す）を生成する。即ち、タイル画像生成部２０５は、重畳領域生成部２０４によって生成された重畳領域を該当する端部において含むようにタイル画像データを生成する。ステップＳ３０７において、画像投射部２１０は、タイル画像生成部２０５によって生成された各タイル画像データを夫々のプロジェクタ１０３〜１０６に対して出力する。プロジェクタ１０３〜１０６は、各タイル画像データに対応する画像をスクリーン１１１に対して投影する。
【００２５】
図５は、第１の実施形態における効果を説明するための図である。図５において、５０１は重畳領域を含む画素群である。５０２はブロックノイズが発生している画素群である。５０３はブロックノイズの発生位置に重畳領域の位置を調整した状態を示している。５０３に示すように、ブロックノイズの発生位置と重畳領域とを一致させることにより、重畳領域の輝度ムラとブロックノイズの影響による画質劣化とを目立たないようにすることができる。なお、重畳領域の位置は、ブロックノイズの状況に応じて、１フレーム毎に調整してもよいし、複数のフレーム毎に調整してもよい。
【００２６】
以上のように、本実施形態によれば、複数のプロジェクタより投影される複数の画像を組み合わせる場合に生じる重畳領域の輝度ムラとブロックノイズの影響とを低減することが可能となる。
【００２７】
次に、本発明の第２の実施形態について説明する。図６は、第２の実施形態に係るマルチプロジェクションシステムの機能的な構成を示す図である。図７は、第２の実施形態に係るマルチプロジェクションシステムの処理を示すフローチャートである。以下、図６及び図７を参照しながら、第２の実施形態に係るマルチプロジェクションシステムの処理について説明する。なお、第２の実施形態に係るマルチプロジェクションシステムの概略的な構成は、図１に示した構成と同様である。
【００２８】
図６に示す第２の実施形態に係るマルチプロジェクションシステムの機能的な構成は、図２に示した第１の実施形態に係るマルチプロジェクションシステムの機能的な構成と比べて、フレーム間差分取得部６０１、差分比較部６０２及びタイミング生成部６０３が追加されている。また、図７に示す第２の実施形態に係るマルチプロジェクションシステムの処理は、図３に示した第１の実施形態に係るマルチプロジェクションシステムの処理と比べて、ステップＳ７０１〜Ｓ７０３が追加されている。
【００２９】
ステップＳ７０１において、フレーム間差分取得部６０１は、画像デコーダ部２０２から全体画像データを入力し、そのフレーム間の差分を取得する。フレーム間の差分は、フレームバッファに保存されている前フレームの全体画像データと、現フレームの全体画像データとを比較することによって得られる。フレーム間の差分は、動画像データである全体画像データの圧縮フォーマットがＭＰＥＧであれば、Ｉピクチャを比較した結果のみとしてもよい。
【００３０】
ステップＳ７０２において、差分比較部６０２は、フレーム間差分取得部６０１によって取得されたフレーム間の差分と差分の基準値（所定の基準値）とを比較する。ここで差分の基準値を初期パラメータとして差分比較部６０２に設定しておく必要がある。ステップＳ７０３において、差分比較部６０２は、フレーム間差分取得部６０１によって取得されたフレーム間の差分と差分の基準値とを比較した結果、差分の基準値よりもフレーム間の差分の方が大きいか否かを判定する。差分の基準値よりもフレーム間の差分の方が大きい場合、ステップＳ３０２において、高周波成分抽出部２０７は、全体画像データの高周波成分を抽出する。以降、第１の実施形態と同様に、ステップＳ３０３及びＳ３０４において、ピーク位置検出部２０８及びブロックノイズ判定部２０９によって、全体画像データ内にブロックノイズが発生しているか否かを判定する。
【００３１】
タイミング生成部６０３は、差分の基準値よりもフレーム間の差分の方が大きいと判定された現フレームの表示タイミングを取得し、重畳領域の位置を更新するタイミングを決定する。重畳領域生成部２０４は、タイミング生成部６０３により決定されたタイミングに従って重畳領域の位置を更新する。即ち、第２の実施形態のステップＳ３０５では、第１の実施形態のようにフレーム毎に重畳領域の位置を更新することはなく、フレーム間の差異が大きい場合にのみ重畳領域の位置を更新する。
【００３２】
なお、ステップＳ７０３において、フレーム間の差分が差分の基準値以下であると判定された場合、処理はステップＳ３０２〜Ｓ３０５をスキップし、ブロックノイズの判定、重畳領域の位置の更新は行われない。
【００３３】
上述した実施形態においては、複数のプロジェクタより投写される複数の画像を組み合せる場合に、ブロックノイズの発生位置と重畳領域の境界部とを一致させることで、画質が劣化した部分を目立たなくすることが可能となる。また、ブロックノイズの発生位置の多い領域を検出し、より多くのブロックノイズを重畳領域の境界部に割り当てることにより、ブロックノイズによる画質劣化を低減することができる。
【００３４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３５】
１０１：画像入力部、１０２：映像信号制御装置、１０３〜１０６：プロジェクタ、１０７〜１１０：画像、１１１：スクリーン、２０２：画像デコーダ部、２０３：投影領域情報記憶部、２０４：重畳領域生成部、２０５：タイル画像生成部、２０６：ブロックノイズ検出部、２０７：高周波成分検出部、２０８：ピーク位置検出部、２０９：ブロックノイズ判定部、２１０：画像投射部、６０１：フレーム間差分取得部、６０２：差分比較部、６０３：タイミング生成部
【図１】
2012169736.tif 000003
【図２】
2012169736.tif 000004
【図３】
2012169736.tif 000005
【図４】
2012169736.tif 000006
【図５】
2012169736.tif 000007
【図６】
2012169736.tif 000008
【図７】
2012169736.tif 000009