(57)【要約】【課題】マルチ投影による画素ずらし制御において、画素ずらしによる高解像度化と、ジャギー低減の両立を可能にする。【解決手段】画像出力装置と、複数の投影装置とを含むシステムであって、前記画像出力装置は、それぞれの投影装置が投影する投影画像であって、互いの投影画像の画素位置を所定のずらし量でずらした投影画像を生成する生成手段と、前記投影画像の間のずれ量を算出するずれ量算出手段と、前記生成手段が投影画像を生成する際に前記ずれ量と前記所定のずらし量との差分を補間するための画素情報を決定する決定手段と、前記生成手段が前記画素情報に基づいて生成した投影画像をそれぞれの投影装置に出力する出力手段と、を有し、前記複数の投影装置は、前記画像出力装置から投影画像を取得する取得手段と、前記取得手段により取得した投影画像を投影する投影手段と、を有する。【選択図】図３
2019125830.tif 000002
【特許請求の範囲】
【請求項１】
画像出力装置と、複数の投影装置とを含むシステムであって、
前記画像出力装置は、
それぞれの投影装置が投影する投影画像であって、互いの投影画像の画素位置を所定のずらし量でずらした投影画像を生成する生成手段と、
前記投影画像の間のずれ量を算出するずれ量算出手段と、
前記生成手段が投影画像を生成する際に前記ずれ量と前記所定のずらし量との差分を補間するための画素情報を決定する決定手段と、
前記生成手段が前記画素情報に基づいて生成した投影画像をそれぞれの投影装置に出力する出力手段と、を有し、
前記複数の投影装置は、
前記画像出力装置から投影画像を取得する取得手段と、
前記取得手段により取得した投影画像を投影する投影手段と、を有することを特徴とするシステム。
【請求項２】
前記複数の投影装置に含まれる、第１の投影装置の投影面と、第２の投影装置の投影面を撮像する撮像装置をさらに有し、
前記ずれ量算出手段は、前記第１の投影装置の投影面を撮像した第１の撮像画像と、前記第２の投影装置の投影面を撮像した第２の撮像画像を用いて前記ずれ量を算出することを特徴とする請求項１に記載のシステム。
【請求項３】
前記画像出力装置は、
前記投影装置の解像度と前記撮像画像とに基づいて、前記第１の投影装置が投影する第１の投影画像と前記第２の投影装置が投影する第２の投影画像の投影面における画素サイズを算出する画素サイズ算出手段をさらに有し、
前記ずれ量算出手段は、前記第１の撮像画像、前記第２の撮像画像、前記第１の投影画像の画素サイズ、および前記第２の投影画像の画素サイズから前記ずれ量を算出することを特徴とする請求項２に記載のシステム。
【請求項４】
前記第１の投影画像および前記第２の投影画像は、入力画像を所定の補間位相でサンプリングして縮小した画像であり、
前記決定手段は、入力画像の解像度と前記投影装置の解像度と前記ずれ量とに基づいて、入力画像を縮小する際の補間位相を算出することを特徴とする請求項３に記載のシステム。
【請求項５】
前記第１の撮像画像は、前記第１の投影装置が投影する所定のテストパターンを撮像した画像であり、前記第２の撮像画像は、前記第２の投影装置が投影する所定のテストパターンを撮像した画像であることを特徴とする請求項２または３に記載のシステム。
【請求項６】
前記画像出力装置は、
前記入力画像の輝度成分を算出する手段と、前記輝度成分に基づいて補間処理を行うフィルタ係数を算出する手段とをさらに有し、
前記生成手段は、前記入力画像と、前記補間位相と、前記フィルタ係数とに基づいて前記第１の投影画像および前記第２の投影画像を生成することを特徴とする請求項４に記載のシステム。
【請求項７】
前記フィルタ係数は、入力画像の輝度の値が高いほど急峻になるように設定されることを特徴とする請求項６に記載のシステム。
【請求項８】
前記投影装置の解像度と前記撮像画像とに基づいて、前記第１の投影装置が投影する第１の投影画像と前記第２の投影装置が投影する第２の投影画像がネットワーク上で生成され、
前記第１の投影装置および前記第２の投影装置は、前記画像出力装置に代えて、前記ネットワーク上で生成された前記第１の投影画像および前記第２の投影画像を取得することを特徴とする請求項２に記載のシステム。
【請求項９】
前記所定のずらし量は、第１の方向と前記第１の方向と直交する第２の方向に０．５画素であることを特徴とする請求項１から８のいずれか１項に記載のシステム。
【請求項１０】
複数の投影装置により画像を投影するシステムであって、
前記投影装置のそれぞれは、
複数の投影画像であって、互いの投影画像の画素位置を所定のずらし量でずらした投影画像を生成する生成手段と、
前記複数の投影画像の間のずれ量を算出するずれ量算出手段と、
前記生成手段が投影画像を生成する際に前記ずれ量と前記所定のずらし量との差分を補間するための画素情報を決定する決定手段と、
前記投影画像の画素位置をずらして投影する画素ずらし手段と、を有し、
前記生成手段は、前記画素情報に基づいて入力画像を縮小した投影画像を生成し、
前記画素ずらし手段は、前記生成手段により生成された投影画像を所定の期間ごとに画素位置をずらして投影することを特徴とするシステム。
【請求項１１】
前記複数の投影装置は、第１の投影装置と第２の投影装置を含み、
前記第１の投影装置は、前記第２の投影装置の投影面を撮像する撮像手段を有し、
前記第２の投影装置は、前記第１の投影装置の投影面を撮像する撮像手段を有し、
前記生成手段は、第１の投影画像と、前記第１の投影画像に対して所定のずらし量で画素位置をずらした第２の投影画像を生成し、
前記ずれ量算出手段は、前記第１の投影装置の投影面を撮像した第１の撮像画像と、前記第２の投影装置の投影面を撮像した第２の撮像画像とを用いて前記ずれ量を算出することを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記第１の投影装置は、前記第２の投影装置の前記画素ずらし手段を実行させないで、前記第２の投影装置が投影する所定のテストパターンを撮像して第２の撮像画像を生成し、
前記第２の投影装置は、前記第１の投影装置の前記画素ずらし手段を実行させないで、前記第１の投影装置が投影する所定のテストパターンを撮像して第１の撮像画像を生成し、
前記ずれ量算出手段は、前記第１の撮像画像と前記第２の撮像画像を用いて前記ずれ量を算出することを特徴とする請求項１１に記載のシステム。
【請求項１３】
前記第１の投影装置および前記第２の投影装置は、
前記投影装置の解像度と前記撮像画像とに基づいて、第１の投影画像と第２の投影画像の投影面における画素サイズを算出する画素サイズ算出手段をさらに有し、
前記ずれ量算出手段は、前記第１の撮像画像、前記第２の撮像画像、前記第１の投影画像の画素サイズ、および前記第２の投影画像の画素サイズから前記ずれ量を算出することを特徴とする請求項１１または１２に記載のシステム。
【請求項１４】
前記第１の投影画像および前記第２の投影画像は、入力画像を所定の補間位相でサンプリングして縮小した画像であり、
前記決定手段は、入力画像の解像度と前記投影装置の解像度と前記ずれ量とに基づいて、入力画像を縮小する際の補間位相を算出することを特徴とする請求項１３に記載のシステム。
【請求項１５】
前記投影装置のそれぞれは、
前記入力画像の輝度成分を算出する手段と、前記輝度成分に基づいて補間処理を行うフィルタ係数を算出する手段とをさらに有し、
前記生成手段は、前記入力画像と、前記補間位相と、前記フィルタ係数とに基づいて前記第１の投影画像および前記第２の投影画像を生成することを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記フィルタ係数は、入力画像の輝度の値が高いほど急峻になるように設定されることを特徴とする請求項１５に記載のシステム。
【請求項１７】
前記所定のずらし量は、第１の方向と前記第１の方向と直交する第２の方向に０．５画素であることを特徴とする請求項１１から１６のいずれか１項に記載のシステム。
【請求項１８】
前記第１の投影装置および前記第２の投影装置は、それぞれの投影装置で生成された前記第１の投影画像を同一の期間において前記第１の方向に所定のずらし量でずらして投影すると共に、それぞれの投影装置で生成された前記第２の投影画像を同一の期間において前記第１の方向に所定のずらし量でずらして投影することを特徴とする請求項１７に記載のシステム。
【請求項１９】
複数の投影装置に投影画像を出力する画像出力装置であって、
それぞれの投影装置が投影する投影画像であって、互いの投影画像の画素位置を所定のずらし量でずらした投影画像を生成する生成手段と、
前記投影画像の間のずれ量を算出するずれ量算出手段と、
前記生成手段が投影画像を生成する際に前記ずれ量と前記所定のずらし量との差分を補間するための画素情報を決定する決定手段と、
前記生成手段が前記画素情報に基づいて生成した投影画像をそれぞれの投影装置に出力する出力手段と、を有することを特徴とする画像出力装置。
【請求項２０】
前記生成手段は、前記複数の投影装置に含まれる、第１の投影装置が投影する第１の投影画像と、第２の投影装置が投影する第２の投影画像であって、前記第１の投影画像に対して所定のずらし量で画素位置をずらした第２の投影画像を生成し、
前記ずれ量算出手段は、前記第１の投影装置の投影面を撮像した第１の撮像画像と、前記第２の投影装置の投影面を撮像した第２の撮像画像とを用いて前記ずれ量を算出することを特徴とする請求項１９に記載の画像出力装置。
【請求項２１】
前記投影装置の解像度と前記撮像画像とから前記第１の投影画像または前記第２の投影画像の投影面における画素サイズを算出する画素サイズ算出手段をさらに有し、
前記ずれ量算出手段は、前記第１の撮像画像、前記第２の撮像画像、前記第１の投影画像の画素サイズ、および前記第２の投影画像の画素サイズから前記ずれ量を算出することを特徴とする請求項２０に記載の画像出力装置。
【請求項２２】
前記第１の撮像画像は、前記第１の投影装置が投影する所定のテストパターンを撮像した画像であり、前記第２の撮像画像は、前記第２の投影装置が投影する所定のテストパターンを撮像した画像であることを特徴とする請求項２０または２１に記載の画像出力装置。
【請求項２３】
前記第１の投影画像および前記第２の投影画像は、入力画像を所定の補間位相でサンプリングして縮小した画像であり、
前記決定手段は、入力画像の解像度と前記投影装置の解像度と前記ずれ量とに基づいて、入力画像を縮小する際の補間位相を算出することを特徴とする請求項２１に記載の画像出力装置。
【請求項２４】
前記入力画像の輝度成分を算出する手段と、前記輝度成分に基づいて補間処理を行うフィルタ係数を算出する手段とをさらに有し、
前記生成手段は、前記入力画像と、前記補間位相と、前記フィルタ係数とに基づいて前記第１の投影画像および前記第２の投影画像を生成することを特徴とする請求項２３に記載の画像出力装置。
【請求項２５】
前記フィルタ係数は、入力画像の輝度の値が高いほど急峻になるように設定されることを特徴とする請求項２４に記載の画像出力装置。
【請求項２６】
前記所定のずらし量は、第１の方向と前記第１の方向と直交する第２の方向に０．５画素であることを特徴とする請求項１９から２５のいずれか１項に記載の画像出力装置。
【請求項２７】
複数の投影画像の画素位置をずらして投影する投影装置であって、
前記複数の投影画像であって、互いの投影画像の画素位置を所定のずらし量でずらした投影画像を生成する生成手段と、
前記複数の投影画像の間のずれ量を算出するずれ量算出手段と、
前記生成手段が投影画像を生成する際に前記ずれ量と前記所定のずらし量との差分を補間するための画素情報を決定する決定手段と、
前記投影画像の画素位置をずらして投影する画素ずらし手段と、を有し、
前記生成手段は、前記画素情報に基づいて入力画像を縮小した投影画像を生成し、
前記画素ずらし手段は、前記生成手段により生成された投影画像を所定の期間ごとに画素位置をずらして投影することを特徴とする投影装置。
【請求項２８】
前記生成手段は、第１の投影画像と、前記第１の投影画像に対して所定のずらし量で画素位置をずらした第２の投影画像を生成し、
前記ずれ量算出手段は、前記投影装置が投影する所定のテストパターンを撮像した第１の撮像画像と、第２の投影装置が投影する所定のテストパターンを撮像した第２の撮像画像とを用いて前記ずれ量を算出することを特徴とする請求項２７に記載の投影装置。
【請求項２９】
前記投影装置の解像度と前記撮像画像とに基づいて、第１の投影画像と第２の投影画像の投影面における画素サイズを算出する画素サイズ算出手段をさらに有し、
前記ずれ量算出手段は、前記第１の撮像画像、前記第２の撮像画像、前記第１の投影画像の画素サイズ、および前記第２の投影画像の画素サイズから前記ずれ量を算出することを特徴とする請求項２８に記載の投影装置。
【請求項３０】
前記第１の投影画像および前記第２の投影画像は、入力画像を所定の補間位相でサンプリングして縮小した画像であり、
前記決定手段は、入力画像の解像度と前記投影装置の解像度と前記ずれ量とに基づいて、入力画像を縮小する際の補間位相を算出することを特徴とする請求項２９に記載の投影装置。
【請求項３１】
前記入力画像の輝度成分を算出する手段と、前記輝度成分に基づいて補間処理を行うフィルタ係数を算出する手段とをさらに有し、
前記生成手段は、前記入力画像と、前記補間位相と、前記フィルタ係数とに基づいて前記第１の投影画像および前記第２の投影画像を生成することを特徴とする請求項３０に記載の投影装置。
【請求項３２】
前記フィルタ係数は、入力画像の輝度の値が高いほど急峻になるように設定されることを特徴とする請求項３１に記載の投影装置。
【請求項３３】
前記所定のずらし量は、第１の方向と前記第１の方向と直交する第２の方向に０．５画素であることを特徴とする請求項２７から３２のいずれか１項に記載の投影装置。
【請求項３４】
前記画素ずらし手段は、前記複数の投影画像を前記第１の方向に所定のずらし量でずらして投影することを特徴とする請求項３３に記載の投影装置。
【請求項３５】
複数の投影装置に投影画像を出力する画像出力装置の制御方法であって、
それぞれの投影装置が投影する投影画像であって、互いの投影画像の画素位置を所定のずらし量でずらした投影画像の間のずれ量を算出するステップと、
前記投影画像を生成する際に前記ずれ量と前記所定のずらし量との差分を補間するための画素情報を決定するステップと、
前記画素情報に基づいて前記所定のずらし量でずらした複数の投影画像を生成するステップと、
前記画素情報に基づいて生成した投影画像をそれぞれの投影装置に出力するステップと、を有することを特徴とする制御方法。
【請求項３６】
複数の投影画像の画素位置をずらして投影する投影装置の制御方法であって、
前記複数の投影画像であって、互いの投影画像の画素位置を所定のずらし量でずらした投影画像の間のずれ量を算出するステップと、
前記投影画像を生成する際に前記ずれ量と前記所定のずらし量との差分を補間するための画素情報を決定するステップと、
前記画素情報に基づいて入力画像を縮小した投影画像を生成するステップと、
前記生成された投影画像を所定の期間ごとに画素位置をずらして投影するステップと、を有することを特徴とする制御方法。
【請求項３７】
コンピュータを、請求項１９から２６のいずれか１項に記載された画像出力装置として機能させるためのプログラム。
【請求項３８】
コンピュータを、請求項２７から３４のいずれか１項に記載された投影装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチ投影による画素ずらし制御技術に関する。
【背景技術】
【０００２】
近年、従来よりも解像度の高い高解像度画像を表示する表示装置の普及が進んでいる。高解像度画像のうち、例えば、水平方向３８４０画素×垂直方向２１６０画素の画像は、一般的に「４Ｋ画像」と呼ばれている。また、８Ｋ解像度（水平７６８０画素×垂直４３２０画素）を有するスーパーハイビジョン表示システムの開発も進んでおり、映像コンテンツも高解像度化が進んでいる。その流れもあり、４Ｋ解像度の表示装置の開発と並行して、８Ｋ解像度の表示装置の開発も進んでいる。
【０００３】
一方で、空間的な解像度を向上させる技術として画素ずらし技術が知られている。この技術は、シフト量に応じてフレーム画像を複数のフィールド画像に分割し、フィールド画像の投影位置を順次１／２画素ずらして表示することで、表示素子が備える解像度以上の高解像度化を実現する。つまり、１つのフレーム画像から画素ずらし位置に基づいて複数のフィールド画像を生成して、これらを画素位置に応じて順次表示することで見た目の解像感を向上させている（特許文献１）。また、複数のプロジェクタを用いて、その投影位置を空間的に１／２画素ずらして合成することで、空間的な解像感を向上させる技術がある（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２０３４６０号公報
【特許文献２】特開２００６−１４５９３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、複数台のプロジェクタを用いたマルチ投影を行う場合に、表示画像を正確に１／２画素ずらした位置に投影することは困難である。このため、投影面に画像を合成して表示する場合に、理想的に画素を１／２画素ずらして表示することができず、理想的な位置からずれて表示されることで、階段状の線がジャギーとして視認されてしまうという課題がある。
【０００６】
本発明は、上記課題に鑑みてなされ、その目的は、マルチ投影による画素ずらし制御において、画素ずらしによる高解像度化と、ジャギー低減の両立を可能にする画像投影システムを提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、画像出力装置と、複数の投影装置とを含むシステムであって、前記画像出力装置は、それぞれの投影装置が投影する投影画像であって、互いの投影画像の画素位置を所定のずらし量でずらした投影画像を生成する生成手段と、前記投影画像の間のずれ量を算出するずれ量算出手段と、前記生成手段が投影画像を生成する際に前記ずれ量と前記所定のずらし量との差分を補間するための画素情報を決定する決定手段と、前記生成手段が前記画素情報に基づいて生成した投影画像をそれぞれの投影装置に出力する出力手段と、を有し、前記複数の投影装置は、前記画像出力装置から投影画像を取得する取得手段と、前記取得手段により取得した投影画像を投影する投影手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、マルチ投影による画素ずらし制御において、画素ずらしによる高解像度化と、ジャギー低減の両立が可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１のシステム構成図。
【図２】実施形態１のプロジェクタの投影画像の画素位置を示す図。
【図３】実施形態１のＰＣの構成を示すブロック図。
【図４】実施形態１のテストパターンを例示するブロック図。
【図５】実施形態１の投影画像のずらし量が理想的な場合の位置関係を例示する図。
【図６】実施形態１の投影画像のずらし量が理想的ではない場合の位置関係を例示する図。
【図７】実施形態１の投影画像のずらし量が理想的な場合のサンプリング位相を例示する図。
【図８】実施形態１の投影画像のずらし量が理想的ではない場合のサンプリング位相を例示する図。
【図９】実施形態１の投影画像のずらし量が理想的ではない場合のサンプリング位相の補間方法を説明する図。
【図１０】実施形態２のシステム構成図。
【図１１】実施形態２のプロジェクタの構成を示すブロック図。
【図１２】実施形態２の動作を示すフローチャート。
【図１３】実施形態２のプロジェクタの画素ずらし制御を説明する図。
【図１４】実施形態２の投影画像のずらし量が理想的な場合と理想的ではない場合のサンプリング位相を例示する図。
【図１５】実施形態２の投影画像のずらし量が理想的な場合のサンプリング位相を例示する図。
【図１６】実施形態２の投影画像のずらし量が理想的な場合と理想的ではない場合のサンプリング位相を例示する図。
【図１７】実施形態２の投影画像のずらし量が理想的ではない場合のサンプリング位相の補間方法を説明する図。
【図１８】実施形態３のシステム構成図。
【図１９】実施形態４のＰＣの構成を示すブロック図。
【図２０】実施形態４のフィルタ係数を例示する図。
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
【００１１】
なお、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されてもよい。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されてもよい。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されてもよい。
【００１２】
［実施形態１］以下、実施形態１の画像投影システムについて説明する。
【００１３】
図１は、本実施形態の画像投影システムの構成の一例を示している。
【００１４】
図１において、本実施形態の画像投影システムは、ＰＣ（パーソナルコンピュータ）１００、プロジェクタＡ１０１、プロジェクタＢ１０２、カメラ１０３、投影面１０４を有する。ＰＣ１００には、高解像度の画像ＩＤが入力される。入力画像ＩＤは、例えば、４Ｋや８Ｋの解像度の画像であるものとする。
【００１５】
ＰＣ１００は、入力画像ＩＤをプロジェクタの解像度に応じて縮小し分割することにより、プロジェクタＡ１０１、Ｂ１０２で投影する縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂを生成する画像出力装置である。縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂは、例えば、２Ｋの解像度の画像であり、互いの画素位置を所定のずらし量、例えば、小数画素分（１／２（０．５）画素）ずらした画像である。そして、プロジェクタＡ１０１とプロジェクタＢ１０２により投影面１０４に所定のずらし量だけ画素位置をずらした縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂを表示することで、画素ずらし効果により疑似的に４Ｋや８Ｋの解像度の画像を表示することが可能となる。
【００１６】
プロジェクタＡ１０１は、ＰＣ１００により生成された縮小分割画像ＤＩＶ＿Ａを投影面１０４に投影する投影装置である。プロジェクタＡ１０１は、ＤＬＰ方式やＬＣＯＳ方式などの所定の投影方式に応じた表示パネルを有するが、これらの方式に限らず、他の方式でもよい。
【００１７】
プロジェクタＢ１０２は、ＰＣ１００により生成した縮小分割画像ＤＩＶ＿Ｂを投影面１０４に投影する投影装置である。プロジェクタＢ１０２も、プロジェクタＡ１０１と同様に所定の投影方式に応じた表示パネルを有する。なお、プロジェクタＡ１０１とプロジェクタＢ１０２は、同一機種であることが望ましい。
【００１８】
カメラ１０３は、投影面１０４を撮像する撮像装置である。カメラ１０３は、プロジェクタＡ１０１の投影画像（テストパターン）を撮像した撮像画像ＩＭＧ＿Ａと、プロジェクタＢ１０２の投影画像（テストパターン）を撮像した撮像画像ＩＭＧ＿Ｂを生成する。カメラ１０３により撮像された撮像画像ＩＭＧ＿Ａ、ＩＭＧ＿Ｂは、ＰＣ１００に送られる。
【００１９】
投影面１０４には、プロジェクタＡ１０１の投影画像と、プロジェクタＢ１０２の投影画像が重畳して表示される。図２は、プロジェクタＡ１０１とプロジェクタＢ１０２の各投影画像の画素位置を、直交する水平方向および垂直方向に０．５画素分ずらした理想的なずらし量の場合の各投影画像の画素位置の関係を示している。図２に示す各矩形はプロジェクタＡ１０１またはプロジェクタＢ１０２の投影画像の画素位置を表している。図２に示すように、プロジェクタＡ１０１の投影画像（白四角部で示す画素の集合）とプロジェクタＢ１０２の投影画像（斜線四角部で示す画素の集合）は、水平方向および垂直方向に０．５画素分ずらした位置に投影される。
【００２０】
次に、図３を参照して、ＰＣ１００の構成および機能について説明する。
【００２１】
画素サイズ算出部２０１は、記憶部２０２に記憶されている表示パネルの解像度（パネル解像度）ＲＥＳＯとカメラ１０３で撮像した撮像画像ＩＭＧ＿Ａから、プロジェクタＡ１０１で投影した投影画像の投影面１０４における投影画素サイズＧＳ＿Ａを算出する。同様に、撮像画像ＩＭＧ＿Ｂから、プロジェクタＢ１０２で投影した投影画像の投影面１０４における投影画素サイズＧＳ＿Ｂを算出する。投影画素サイズは、水平方向のサイズＧＳ＿Ａ＿Ｈ、ＧＳ＿Ｂ＿Ｈ、垂直方向のサイズＧＳ＿Ａ＿Ｖ、ＧＳ＿Ｂ＿Ｖからなる。投影画素サイズは、投影面１０４における１画素の長さを撮像画像ＩＭＧ＿Ａ、ＩＭＧ＿Ｂの画素数で表現した値である。
【００２２】
パネル解像度ＲＥＳＯは、水平方向の画素数ＲＥＳＯ＿Ｈと、垂直方向の画素数ＲＥＳＯ＿Ｖとで規定される。例えば、ＦＨＤ（水平１９２０画素×垂直１０８０画素）を有する表示パネルの場合、水平方向の画素数ＲＥＳＯ＿Ｈ＝１９２０、垂直方向の画素数ＲＥＳＯ＿Ｖ＝１０８０である。
【００２３】
カメラ１０３で撮像された撮像画像ＩＭＧ＿Ａ、ＩＭＧ＿Ｂは、各プロジェクタ内部で発生させたテストパターンを投影面１０４に投影して撮像した画像である。テストパターンの一例を図４に示す。図４（ａ）に示したテストパターンは、表示領域を水平Ｘ分割、垂直Ｙ分割の領域に分割した場合の各分割領域の頂点に位置する水平１画素、垂直１画素のドットパターンと、表示領域の表示境界に位置する白線の枠を含む。Ｘ、Ｙは分割数に応じて決定する整数値である。つまり、表示領域の周囲が白枠で表示され、また、Ｘ×Ｙ分割領域分のドットパターンが表示されることになる。本実施形態では、（Ｘ−１）×（Ｙ−１）個のドットパターンが表示されるようになる。表示領域の概念図を図４（ｂ）に示す。
【００２４】
次に、投影画素サイズＧＳ＿Ａ＿Ｈ、ＧＳ＿Ｂ＿Ｈ、ＧＳ＿Ａ＿Ｖ、ＧＳ＿Ｂ＿Ｖの算出方法を説明する。
【００２５】
まず、撮像画像ＩＭＧ＿Ａの投影面における水平方向の辺の長さＨＡ、垂直方向の辺の長さＶＡを、撮像画像ＩＭＧ＿Ａのテストパターンに含まれる白線の枠から算出する。同様に、撮像画像ＩＭＧ＿Ｂの投影面における水平方向の辺の長さＨＢ、垂直方向の辺の長さＶＢを、撮像画像ＩＭＧ＿Ｂのテストパターンに含まれる白線の枠から算出する。これらの値を用いて以下の式１、２により投影画素サイズが算出される。
（式１）ＧＳ＿Ａ＿Ｈ＝ＨＡ／ＲＥＳＯ＿Ｈ
（式２）ＧＳ＿Ａ＿Ｖ＝ＶＡ／ＲＥＳＯ＿Ｖ
なお、ＧＳ＿Ｂ＿ＨおよびＧＳ＿Ｂ＿Ｖについても同様に、式１および式２を用いて算出される。
【００２６】
ずれ量算出部２０３は、カメラ１０３から入力される２つの撮像画像ＩＭＧ＿Ａ、ＩＭＧ＿Ｂ、および画素サイズ算出部２０１にて算出された画素サイズＧＳ＿Ａ、ＧＳ＿Ｂを用いて、２つの撮像画像の表示パネルの座標におけるずれ量ＤＩＦＦを算出する。ずれ量ＤＩＦＦは、分割領域ごとに算出される値であり、２つのプロジェクタの投影画像の画素位置が理想的なずらし量であった場合は０．５画素となる。
【００２７】
本実施形態では、テストパターンにおける各分割領域の頂点を示すドット位置に対してずれ量ＤＩＦＦを算出する。ここで、分割領域の分割数Ｘ、Ｙを増加するほど縮小分割画像を生成するときの精度が高くなるが、画像処理に係るハードウェア規模が増大するので、領域の分割数については、演算速度などを考慮して決定される。
【００２８】
ずれ量算出部２０３にて算出されるずれ量ＤＩＦＦは、プロジェクタＡ１０１に対するプロジェクタＢ１０２の水平方向のずれ量ＨＤＩＦＦと、プロジェクタＡ１０１に対するプロジェクタＢ１０２の垂直方向のずれ量ＶＤＩＦＦを含む。いずれも０．１画素単位で算出され、表示パネルの画素単位でのずれ量を表す。
【００２９】
以下、ずれ量ＤＩＦＦの算出方法を説明する。
【００３０】
ずれ量ＤＩＦＦは、分割領域ごとに、各プロジェクタのドットパターンの投影位置の間のずれ量から算出できる。以下の説明では、Ｎ、Ｍは領域ごとの座標を表すインデックスであり、ｎ、ｍは画素単位の座標を表すインデックスである。
【００３１】
ＤＯＴ＿Ａ＿Ｈ［Ｎ］［Ｍ］は撮像画像ＩＭＧ＿Ａ内のドットパターンの水平座標値であり、ＤＯＴ＿Ｂ＿Ｈ［Ｎ］［Ｍ］は、撮像画像ＩＭＧ＿Ｂ内のドットパターンの水平座標値である。同様に、ＤＯＴ＿Ａ＿Ｖ［Ｎ］［Ｍ］を、撮像画像ＩＭＧ＿Ａ内のドットパターンの垂直座標値とし、ＤＯＴ＿Ｂ＿Ｖ［Ｎ］［Ｍ］を、撮像画像ＩＭＧ＿Ｂ内のドットパターンの垂直座標値とする。ＤＯＴ＿Ａ＿Ｈ［Ｎ］［Ｍ］は撮像画像ＩＭＧ＿Ａから取得することができる。ＤＯＴ＿Ｂ＿Ｈ［Ｎ］［Ｍ］も同様に撮像画像ＩＭＧ＿Ｂから算出することができる。各ドットパターンの座標値は０．１画素精度で算出される。
【００３２】
ＤＯＴ＿Ａ＿Ｈ［Ｎ］［Ｍ］、ＤＯＴ＿Ｂ＿Ｈ［Ｎ］［Ｍ］を用いて、水平方向のずれ量ＨＤＩＦＦは、以下の式３により算出される。
（式３）ＨＤＩＦＦ［Ｎ］［Ｍ］＝（ＤＯＴ＿Ａ＿Ｈ［Ｎ］［Ｍ］−ＤＯＴ＿Ｂ＿Ｈ［Ｎ］［Ｍ］）／ＧＳ＿Ｂ＿Ｈ
垂直方向についても同様に、以下の式４を用いて算出される。
（式４）ＶＤＩＦＦ［Ｎ］［Ｍ］＝（ＤＯＴ＿Ａ＿Ｖ［Ｎ］［Ｍ］−ＤＯＴ＿Ｂ＿Ｖ［Ｎ］［Ｍ］／ＧＳ＿Ｂ＿Ｖ
領域ごとに算出されたずれ量ＤＩＦＦ［Ｎ］［Ｍ］は、画素ごとのずれ量としてマッピングされる。具体的には、領域ごとのずれ量ＤＩＦＦ［Ｎ］［Ｍ］を用いて一般的な線形補間を行うことで、画素ごとの値を算出することができる。ＤＩＦＦ（ｎ、ｍ）（パネル解像度がＦＨＤの場合、ｎは０〜１９１９、ｍは０〜１０７９の整数）は縮小位相算出部２０４に出力される。
【００３３】
縮小位相算出部２０４は、入力画像ＩＤとパネル解像度ＲＥＳＯとずれ量ＤＩＦＦとから、縮小分割画像生成部２０５において縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂを生成する際の間引き処理に用いる画素情報および補間位相として縮小サンプリング位相ＰＨＡＳＥを算出する。
【００３４】
縮小サンプリング位相ＰＨＡＳＥは、入力画像ＩＤに付与されている入力画像の解像度ＩＤ＿ＲＥＳＯと、パネル解像度ＲＥＳＯと、ずれ量ＤＩＦＦとを用いて、以下の式５により求められる。縮小サンプリング位相ＰＨＡＳＥは、画素ごとに算出される値である。
（式５）ＰＨＡＳＥ（ｎ、ｍ）＝ＩＤ＿ＲＥＳＯ／ＲＥＳＯ×ＤＩＦＦ（ｎ、ｍ）
式５では縮小サンプリング位相ＰＨＡＳＥは、ずれ量ＤＩＦＦが水平方向および垂直方向の値を持つパラメータであるため、水平方向のパラメータＰＨＡＳＥ＿Ｈ（ｎ、ｍ）と垂直方向のパラメータＰＨＡＳＥ＿Ｖ（ｎ、ｍ）を一組として構成される。
【００３５】
縮小分割画像生成部２０５は、入力画像ＩＤに対して、縮小サンプリング位相ＰＨＡＳＥに基づいて、互いの画素位置を所定のずらし量でずらした縮小分割画像ＤＩＶ＿Ａ、縮小分割画像ＤＩＶ＿Ｂを生成する。例えば、縮小サンプリング位相ＰＨＡＳＥの値に応じて、縮小分割画像ＤＩＶ＿Ａを基準（ずらし無し）として、０．５画素分ずらした縮小分割画像ＤＩＶ＿Ｂを生成する。
【００３６】
縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂのずらし量が理想的な場合（０．５画素）の各投影画像の例を図５に示す。また、縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂのずらし量が理想的でない場合（例えば０．３画素）の各投影画像の例を図６に示す。
【００３７】
次に、縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂの生成方法を説明する。なお、以下の説明では、入力画像ＩＤの解像度が、パネル解像度の２倍の場合であることを前提とする。
【００３８】
図５のように縮小分割画像のずらし量が理想的な場合は、縮小サンプリング位相ＰＨＡＳＥは、式５から、１．０（２×０．５）画素となる。よって、縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂはいずれも、入力画像ＩＤの解像度の画素値をフィルタ処理せずにそのまま補間画素とすることができる。この場合の縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂの例を図７に示す。
【００３９】
次に、図６のように縮小分割画像のずらし量が理想的ではない場合の縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂを生成する方法を、図８を用いて説明する。
【００４０】
図８に示すように、縮小分割画像ＤＩＶ＿Ａは、入力画像ＩＤの解像度の画素値をそのまま補間画素とする。縮小分割画像ＤＩＶ＿Ｂは、補間画素中心の周囲４箇所の画素値を用いてフィルタ処理して補間画素とする（単純にはバイリニア補間）。この場合、縮小サンプリング位相ＰＨＡＳＥは０．６（＝２×０．３）画素となる。例えば、縮小分割画像ＤＩＶ＿Ｂの座標（１，１）に対応する補間画素は、入力画像ＩＤの座標（２，２）から０．６画素ずれた位置となり、座標（２，２）、（３，２）、（２，３）、（３，３）の画素を線形補間して求めることができる。
【００４１】
以上のような処理を行うことで、入力画像ＩＤに対して、プロジェクタＡ１０１およびプロジェクタＢ１０２の投影画像が投影されている正確な画素位置に基づいて、補間画素を生成することができる。
【００４２】
また、前述の説明では、縮小分割画像ＤＩＶ＿Ａに対し、縮小分割画像ＤＩＶ＿Ｂが一律に水平垂直方向に０．３画素ずれ、縮小サンプリング位相ＰＨＡＳＥが全領域で同値である前提で説明を行っているが、この限りではない。画素ごとに求めた縮小サンプリング位相ＰＨＡＳＥに則って、入力画像ＩＤを補間し、縮小分割画像ＤＩＶ＿Ｂを求めればよい。
【００４３】
次に、図９を用いて、縮小分割画像ＤＩＶ＿Ｂを生成する場合に、補間画素を用いて補間する方法を説明する。
【００４４】
図７および図８で説明したように、縮小分割画像ＤＩＶ＿Ａは、水平座標および垂直座標が共に偶数の座標に位置する画素値をそのまま補間画素とする。図９に縮小分割画像ＤＩＶ＿Ｂの生成方法を示す。
【００４５】
図９において、Ｕ１、Ｕ２、Ｄ１、Ｄ２は、入力画像ＩＤ（縮小前）の実画素の画素位置である。Ｕ１は縮小分割画像ＤＩＶ＿Ａの縮小補間位置に相当する。また、Ｐ１は、プロジェクタＡ１０１の投影画像とプロジェクタＢ１０２の投影画像の縮小サンプリング位相ＰＨＡＳＥを考慮した縮小補間位置を示している。縮小補間位置Ｐ１は、入力画像ＩＤの２行２列のＰ１の周囲４箇所（Ｕ１、Ｕ２、Ｄ１、Ｄ２）の実画素を用いて線形補間により求められる。
【００４６】
図９において、「ｉｘ＿ｉ」は、入力画像ＩＤの画素の水平位置を示すための整数値であり、「ｉｙ＿ｉ」は、入力画像ＩＤの画素の垂直位置を示すための整数値である。また、「ｉｘ＿ｓ」は、Ｕ１からの縮小補間位置Ｐ１の水平位置を示すための小数値であり、「ｉｙ＿ｓ」は、Ｕ１からの縮小補間位置Ｐ１の垂直位置を示すための小数値である。例えば、縮小補間位置Ｐ１の座標（水平位置，垂直位置）は、（ｉｘ＿ｉ＋ｉｘ＿ｓ，ｉｙ＿ｉ＋ｉｙ＿ｓ）で表すことができる。
【００４７】
水平方向の縮小サンプリング位相をＰＨＡＳＥ＿Ｈ（ｎ、ｍ）、垂直方向の縮小サンプリング位相をＰＨＡＳＥ＿Ｖ（ｎ、ｍ）とし、これらを用いてｉｘ＿ｓ、ｉｙ＿ｓの座標値を以下の式６、式７により算出できる。
（式６）ｉｘ＿ｓ＝１−ＰＨＡＳＥ＿Ｈ（ｎ、ｍ）
（式７）ｉｙ＿ｓ＝１−ＰＨＡＳＥ＿Ｖ（ｎ、ｍ）
次に、縮小補間位置Ｐ１の補間画素値算出方法を説明する。
【００４８】
縮小補間位置Ｐ１の補間画素値ＯＤは、画素Ｕ１、Ｕ２、Ｄ１、Ｄ２の画素値を距離に基づく重み「ＰＨＡＳＥ＿Ｈ」および「ＰＨＡＳＥ＿Ｖ」（補間位置Ｐ１からの距離に基づく重み）で重み付け合成することにより算出される。ＰＨＡＳＥ＿Ｈは水平方向の重み、ＰＨＡＳＥ＿Ｖは垂直方向の重みを示している。
【００４９】
また、補間画素値ＯＤは、以下の式８を用いて算出される。式８において、「Ｕ１（ｉｘ＿ｉ，ｉｙ＿ｉ）」は画素Ｕ１の画素値、「Ｕ２（ｉｘ＿ｉ＋１，ｉｙ＿ｉ）」は画素Ｕ２の画素値、「Ｄ１（ｉｘ＿ｉ，ｉｙ＿ｉ＋１）」は画素Ｄ１の画素値、「Ｄ２（ｉｘ＿ｉ＋１，ｉｙ＿ｉ＋１）」は画素Ｄ２の画素値である。
（式８）
ＯＤ＝（Ｕ１（ｉｘ＿ｉ，ｉｙ＿ｉ）×ＰＨＡＳＥ＿Ｈ＋
Ｕ２（ｉｘ＿ｉ＋１，ｉｙ＿ｉ）×（１−ＰＨＡＳＥ＿Ｈ））×ＰＨＡＳＥ＿Ｖ＋（Ｄ１（ｉｘ＿ｉ，ｉｙ＿ｉ＋１）×ＰＨＡＳＥ＿Ｈ＋
Ｄ２（ｉｘ＿ｉ＋１、ｉｙ＿ｉ＋１）×（１−ＰＨＡＳＥ＿Ｈ））×（１−ＰＨＡＳＥ＿Ｖ）
以上のようにして補間画素値ＯＤを全画素について算出した値を、縮小分割画像ＤＩＶ＿Ｂとして出力する。
【００５０】
本実施形態では、バイリニア補間の例を示したが、別手法（例えば、バイキュービック補間）を用いると、より高画質な縮小補間画像ＤＩＶ＿Ｂを生成することが可能になる。
【００５１】
本実施形態によれば、複数のプロジェクタの投影画像を所定のずらし量でずらして投影する場合に、投影面における各プロジェクタの投影画像間の理想的なずらし量からの差分に基づいて画素値を補間して縮小分割画像を生成する。これにより、マルチ投影による画素ずらし制御において、画素ずらしによる高解像度化と、ジャギー低減の両立が可能となる。
【００５２】
［実施形態２］次に、実施形態２について説明する。
【００５３】
実施形態１では、プロジェクタＡ１０１、Ｂ１０２が画素ずらし機能を備えない場合の例を説明した。これに対して、本実施形態では、プロジェクタが画素ずらし機能を有する場合の例を説明する。また、実施形態１では、カメラ１０３がプロジェクタＡ１０１、Ｂ１０２とは別に設けられている場合の例を説明した。これに対して、プロジェクタが撮像部を備える場合の例を説明する。
【００５４】
以下、実施形態１と異なる点を中心に説明を行う。
【００５５】
まず、図１０を参照して、実施形態２のシステム構成について説明する。
【００５６】
プロジェクタＡ５０１とプロジェクタＢ５０２は、画素ずらし機能と撮像機能を有し、互いに信号線で接続され、制御情報ＩＮＦＯをやり取りする。制御情報ＩＮＦＯは、タイミング制御信号ＳＩＧと、基準位相情報ＤＥＦ＿ＰＨＡＳＥとを含む。本実施形態のシステムは、プロジェクタＡ５０１とプロジェクタＢ５０２の投影位置を空間的にずらすことで、投影画像を高解像度化する。
【００５７】
本実施形態では、プロジェクタＡ５０１をマスタープロジェクタと設定し、プロジェクタＢ５０２をスレーブプロジェクタと設定し、マスタープロジェクタであるプロジェクタＡ５０１を主に制御する。
【００５８】
次に、図１１を参照して、本実施形態のプロジェクタＡ５０１、Ｂ５０２の構成および機能について、主な制御対象であるマスタープロジェクタの説明を行う。
【００５９】
撮像部６０１は、テストパターン生成部６１４にて生成されたテストパターンが投影された投影面を撮像する。テストパターンは実施形態１の図４と同様である。ＩＭＧ＿Ａは、プロジェクタＡ５０１でテストパターンを投影したときの投影面の撮像画像であり、ＩＭＧ＿Ｂは、プロジェクタＢ５０２でテストパターンを投影したときの投影面の撮像画像である。
【００６０】
タイミング制御部６０６は、入力画像ＩＤに同期した同期信号ＳＹＮＣに従って、タイミング信号ＴＳＩＧを出力し、選択部６０７、パネル部６０９、および画素ずらし部６１０の動作を制御する。また、スレーブプロジェクタとのタイミング制御信号ＳＩＧを生成し、スレーブプロジェクタへ出力する。同期信号ＳＹＮＣは、水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣからなる。タイミング信号ＴＳＩＧは、入力フレーム周波数に同期した垂直同期信号ＶＳＹＮＣを用いて、入力画像の２倍のフレームレートの制御信号が生成される。例えば、６０Ｈｚの入力画像に対しては、１２０Ｈｚのタイミング信号ＴＳＩＧが生成される。つまり、選択部６０７、パネル部６０９および画素ずらし部６１０は、タイミング信号ＴＳＩＧによって、入力フレーム周波数の２倍のフレームレートで駆動制御される。このようにして、６０Ｈｚの入力画像に対して、選択部６０７、パネル部６０９、および画素ずらし部６１０では１２０Ｈｚでのフレームの切り替え制御が行われる。
【００６１】
タイミング制御信号ＳＩＧは、撮像部６０１、画素ずらし部６１０およびテストパターン生成部６１４に送られ、映像信号の出力を停止する制御を行う。タイミング信号がＯＦＦを表す「０」が送信された場合は、画素ずらし部６１０で画素ずらし制御を停止し、テストパターン生成部６１４からテストパターンを投影し、撮像部６０１で投影面を撮像し、撮像画像ＩＭＧ＿Ａを取得する。また、タイミング制御信号ＳＩＧは、スレーブプロジェクタへも送られ、映像信号の出力を停止する制御を行う。タイミング信号がＯＮを表す「１」が送られた場合は、スレーブプロジェクタへテストパターン投影指示を出し、撮像部６０１で投影面を撮像し、撮像画像ＩＭＧ＿Ｂを取得する。
【００６２】
選択部６０７は、縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂを、タイミング制御部６０６で指定された所定のタイミング信号ＴＳＩＧに応じて読み出し、選択画像ＳＥＬＤとして出力する。選択部６０７にて、入力画像ＩＤのフレームレートの２倍の速度で読み出す。つまり、ＤＩＶ＿Ａ、ＤＩＶ＿Ｂが６０Ｈｚであった場合に、ＳＥＬＤは１２０Ｈｚで読み出される。
【００６３】
パネル制御部６０８は、選択部６０７で選択された縮小分割画像信号ＤＩＶ＿Ａ、ＤＩＶ＿Ｂに基づいて、パネル部６０９の透過率を変調するための電圧信号ＰＤを生成する。
【００６４】
パネル部６０９は、光源部６１２が照射する光を、パネル制御部６０８から入力される電圧信号ＰＤに基づく透過率で透過させることで、入力画像ＩＤに対応した画像光ＰＡを画素ずらし部６１０へ出力する。また、タイミング信号ＴＳＩＧに応じて透過率を変更する。
【００６５】
画素ずらし部６１０は、パネル部６０９から出力された画像光ＰＡに対して、１フレームおきに画像を水平方向／垂直方向に０．５画素ずらして投影する。このようにして、図２に示した縮小分割画像ＤＩＶ＿Ａ（図２の白四角部）と、縮小分割画像ＤＩＶ＿Ｂ（図２の斜線四角部）を交互に切り替えて表示し、人間の目で時間的に合成することで、パネル解像感よりも高い解像感を得ることができる。
【００６６】
光源制御部６１１は、選択部６０７で選択された選択画像ＳＥＬＤや、不図示の操作部を介したユーザ指定などに基づいて、後述する光源部６１２に制御信号ＣＯＮを送信し、光源部６１２のオン／オフや、光量制御を行う。
【００６７】
光源部６１２は、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであり、制御値ＣＯＮに基づいてパネル部６０９に光を照射する。
【００６８】
次に、撮像部６０１における撮像タイミングについて説明する。
【００６９】
撮像部６０１における撮像タイミングは、プロジェクタ間でやり取りするタイミング制御信号ＳＩＧに基づいて決定される。タイミング制御信号ＳＩＧは、タイミング制御部６０６で生成され、撮像部６０１、画素ずらし部６１０、テストパターン生成部６１４、およびスレーブプロジェクタへ送信される。具体的には、テストパターンを投影する、あるいは、消灯するタイミング、画素ずらし部６１０において、画素ずらし制御をＯＮまたはＯＦＦするタイミング、撮像部６０１にて撮像するタイミング、およびテストパターン生成部６１４でテストパターンを発生させるタイミング信号を生成する。また、撮像部６０１にて撮像する場合は、スレーブプロジェクタで投影を実行しないように制御される。
【００７０】
次に、図１２を参照して、本実施形態のシステムにおけるプロジェクタの制御処理を説明する。
【００７１】
図１２の処理は、ユーザが不図示のリモコンなどを介してマスタープロジェクタであるプロジェクタＡ５０１に画素ずらし制御を行う指示を出すことで開始され、各プロジェクタのプロセッサがメモリに格納されたプログラムを実行することで実現される。
【００７２】
Ｓ１０１では、タイミング制御部６０６はスレーブプロジェクタに「投影」の中断を意味するタイミング制御信号ＳＩＧを送ることで、投影の中断を要求する。送信されたタイミング制御信号ＳＩＧを受信したスレーブプロジェクタのタイミング制御部６０６は投影を中断するようタイミング信号ＴＳＩＧをパネル部６０９に送信する。
【００７３】
Ｓ１０２では、タイミング制御部６０６が画素ずらし部６１０に対して、画素ずらし素子をＯＦＦにする制御信号ＳＩＧを送ることで、画素ずらし部６１０をＯＦＦにする。
【００７４】
Ｓ１０３では、タイミング制御部６０６がテストパターン生成部６１４に対して、テストパターン発生指示を出し、テストパターンを投影する。
【００７５】
Ｓ１０４では、撮影制御部６１５は撮像部６０１に指示を出し、投影されたテストパターンを撮像部６０１で撮像し、撮像画像ＩＭＧ＿Ａを取得する。
【００７６】
Ｓ１０５では、タイミング制御部６０６はパネル部６０９へ指示を出し、マスタープロジェクタの投影を中断する。そして、スレーブプロジェクタへタイミング制御信号ＳＩＧを送ってテストパターン投影の要求を出し、スレーブプロジェクタはテストパターンを投影する。
【００７７】
Ｓ１０６では、撮影制御部６１５は撮像部６０１に指示を出し、スレーブプロジェクタで投影されたテストパターンを撮像部６０１で撮像し、撮像画像ＩＭＧ＿Ｂを取得する。
【００７８】
以上のように、撮像画像ＩＭＧ＿Ａ、ＩＭＧ＿Ｂを撮像する場合に画素ずらし部６１０をＯＦＦにして撮像することで、２つの投影画像のずれ量を算出するための投影画像の画素位置を正確に測定することができる。
【００７９】
画素サイズ算出部６０２、ずれ量算出部６０３、記憶部６１３の基本動作は、実施形態１と同様である。
【００８０】
縮小位相算出部６０４は、入力画像ＩＤとずれ量算出部６０３で算出されたずれ量ＤＩＦＦと、記憶部６１３に保存されているパネル解像度ＲＥＳＯとから、実施形態２における基準位相情報ＤＥＦ＿ＰＨＡＳＥを算出する。
【００８１】
図１３は、プロジェクタＡ５０１とプロジェクタＢ５０２の投影画像の位置関係の一例を示している。図１３における１ｓｔ／２ｎｄサブフレーム期間は、後述する選択部６０７にて２倍速で読み出す場合の、１ｓｔフレーム／２ｎｄフレームに対応する。図１３（ａ）は、プロジェクタＡ５０１の１ｓｔサブフレーム期間で表示する画素位置である。図１３（ｂ）は、プロジェクタＡ５０１の２ｎｄサブフレーム期間で表示する位置である。図１３（ａ）と（ｂ）は、斜め４５度方向に（水平方向および垂直方向に０．５画素）ずらした位置関係にある。
【００８２】
また、図１３（ｃ）は、プロジェクタＢ５０２の１ｓｔサブフレーム期間で表示する画素位置である。図１３（ｄ）は、プロジェクタＢ５０２の２ｎｄサブフレーム期間で表示する位置である。図１３（ｃ）と（ｄ）は、斜め４５度方向に（水平方向および垂直方向に０．５画素）ずらした位置関係にある。
【００８３】
図１３（ａ）から（ｄ）に示すように、プロジェクタＡ５０１とプロジェクタＢ５０２は水平方向に１／２画素ずらした位置関係にある。プロジェクタＡ５０１とプロジェクタＢ５０２においてフレーム順に斜め４５度方向に（水平方向および垂直方向に０．５画素）に画素をずらした縮小分割画像を投影すると共に、プロジェクタＡ５０１、Ｂ５０２において同じフレームの縮小投影画像を画素ずらし部６１０により水平方向に１／２画素ずらして投影する。このようにマルチ投影することによって、１つのプロジェクタで画素ずらしを行う場合と比較して、更なる高解像度化が可能になる。
【００８４】
基準位相情報ＤＥＦ＿ＰＨＡＳＥは、入力画像ＩＤに付与されている入力画像の解像度ＩＤ＿ＲＥＳＯと、パネル解像度ＲＥＳＯ、及びずれ量ＤＩＦＦを用いて、以下の式９を用いて求められる。なお、各要素に関し、一次元で記載されているが、水平および垂直方向にそれぞれ値を持つ（水平方向をＤＥＦ＿ＰＨＡＳＥ＿Ｈとし、垂直方向をＤＥＦ＿ＰＨＡＳＥ＿Ｖとする）。基準位相情報ＤＥＦ＿ＰＨＡＳＥは、画素ごとに算出される値である。また、ずれ量算出部６０３で算出されるずれ量ＤＩＦＦの概略を図１４に示す。
（式９）ＤＥＦ＿ＰＨＡＳＥ（ｎ、ｍ）＝ＩＤ＿ＲＥＳＯ／ＲＥＳＯ×ＤＩＦＦ（ｎ、ｍ）
式９では基準位相情報ＤＥＦ＿ＰＨＡＳＥ、ずれ量ＤＩＦＦが領域ごとに異なる値を持つパラメータであるためマトリックスとして構成される。
【００８５】
縮小分割画像生成部６０５の基本的な動作は、実施形態１と同様であるので、ここでは相違点についてのみ説明する。プロジェクタがマスタープロジェクタとして指定された場合には、縮小分割画像生成部６０５は、図１５に示すような所定の縮小サンプリング位相に応じて縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂを生成する。また、プロジェクタがスレーブプロジェクタとして指定された場合には、所定の縮小サンプリング位相を、マスタープロジェクタから取得した基準位相情報ＤＥＦ＿ＰＨＡＳＥに基づいて補正する。
【００８６】
縮小サンプリング位相が理想的な場合の例を図１６（ａ）に、理想的ではない場合の例を図１６（ｂ）に示す。図１６（ｂ）のように、プロジェクタＢ５０２の投影位置が理想的なずらし量からずれている場合、プロジェクタ間のずれ量ＤＩＦＦから算出した基準位相情報ＤＥＦ＿ＰＨＡＳＥに基づいて縮小サンプリング位相を補正することで、理想的なずらし量で投影される縮小分割画像を生成可能となる。縮小分割画像の生成方法を図１７を用いて説明する。
【００８７】
画素位置ＰＡ＿Ａは、プロジェクタＡ５０１の縮小分割画像ＤＩＶ＿Ａの縮小サンプリング位相であり、画素位置ＰＡ＿Ｂは、プロジェクタＡ５０１の縮小分割画像ＤＩＶ＿Ｂの縮小サンプリング位相である。同様に、画素位置ＰＢ＿Ａは、プロジェクタＢ５０２の縮小分割画像ＤＩＶ＿Ａの縮小サンプリング位相であり、画素位置ＰＢ＿Ｂは、プロジェクタＢ５０２の縮小分割画像ＤＩＶ＿Ｂの縮小サンプリング位相である。
【００８８】
基準位相情報ＤＥＦ＿ＰＨＡＳＥ＿Ｈ、ＤＥＦ＿ＰＨＡＳＥ＿Ｖは、図１７の画素位置ＰＡ＿Ａを基準とした場合の、画素位置ＰＢ＿Ａとの位置のずれ量を表す。
【００８９】
プロジェクタＡ５０１の縮小分割画像ＤＩＶ＿Ａは、画素値Ｕ１をそのまま縮小分割画像とする。また、プロジェクタＡ５０１の縮小分割画像ＤＩＶ＿Ｂは、画素値Ｕ１から水平方向に１画素、垂直方向に１画素ずれた位置（１／２縮小後の水平垂直０．５画素に相当）の画素値Ｍ２をそのまま縮小分割画像とする。
【００９０】
プロジェクタＢ５０２の縮小分割画像ＤＩＶ＿Ａは、プロジェクタＡ５０１の縮小分割画像ＤＩＶ＿Ａから、水平方向にＤＥＦ＿ＰＨＡＳＥ＿Ｈ、垂直方向にＤＥＦ＿ＰＨＡＳＥ＿Ｖだけずれた位置（画素位置ＰＢ＿Ａ）が補間位置となる。そして、プロジェクタＢ５０２の縮小分割画像ＤＩＶ＿Ａは、画素位置ＰＢ＿Ａの周囲画素（Ｕ１、Ｕ２、Ｍ１、Ｍ２）から線形補間により求めることができる。算出方法は実施形態１と同様である。
【００９１】
また、プロジェクタＢ５０２の縮小分割画像ＤＩＶ＿Ｂは、画素位置ＰＢ＿Ａから水平方向に１画素、垂直方向に１画素ずれた位置（１／２縮小後の水平垂直０．５画素に相当）の画素位置ＰＢ＿Ｂが補間位置となり、画素位置ＰＢ＿Ｂの周囲画素（Ｍ２、Ｍ３、Ｄ１、Ｄ２）から線形補間により求めることができる。
【００９２】
本実施形態によれば、画素ずらし機能を有する複数のプロジェクタの投影画像間の理想的なずらし量からの差分に基づいて画素値を補間して縮小分割画像を生成する。これにより、マルチ投影による画素ずらし制御において、画素ずらしによる高解像度化と、ジャギー低減の両立が可能となる。
【００９３】
［実施形態３］次に、実施形態３について説明する。
【００９４】
実施形態３では、投影面の撮像画像をインターネット上のクラウドに保存し、インターネットを介して「入力画像」と「投影画像」を配信する場合の例を説明する。
【００９５】
以下、実施形態１と異なる点を中心に説明を行う。
【００９６】
まず、図１８を参照して、実施形態３のシステム構成について説明する。
【００９７】
本実施形態では、ネットワーク上のクラウドで、カメラ１０３で撮像した撮像画像ＩＭＧ＿Ａ、ＩＭＧ＿Ｂを用いて所定のずらし量で画素位置をずらした縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂを生成する。例えば、インターネット１０００上のクライドに撮像画像ＩＭＧ＿Ａ、ＩＭＧ＿Ｂを保存し、クラウドで縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂを生成する。そして、生成した縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂを、インターネット１０００を介してプロジェクタＡ１０１、Ｂ１０２に配信することで、実施形態１で縮小分割画像を生成していたＰＣ１００が不要になる。
【００９８】
本実施形態によれば、ネットワーク上のクラウドで、カメラ１０３で撮像した撮像画像ＩＭＧ＿Ａ、ＩＭＧ＿Ｂを用いて所定のずらし量で画素位置をずらした縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂを生成する。これにより、ＰＣを用いることなく、マルチ投影による画素ずらし制御において、画素ずらしによる高解像度化と、ジャギー低減の両立が可能となる。
【００９９】
［実施形態４］次に、実施形態４について説明する。
【０１００】
上述した実施形態１、２では、縮小分割画像を生成する際の画素補間に用いるフィルタ係数が画面一律であるため、フィルタ係数を急峻にした場合となだらかにした場合とで、情報量の欠落と輝度低下のトレードオフが生じる。
【０１０１】
実施形態４では、このようなトレードオフを解消するために、縮小分割画像を生成する際の補間画素の輝度を参照して縮小分割画像を生成する場合の例を説明する。
【０１０２】
以下、実施形態１と異なる点を中心に説明を行う。
【０１０３】
まず、図１９を参照して、実施形態４のプロジェクタの構成および機能について説明する。
【０１０４】
輝度算出部８０１は、入力画像ＩＤから輝度成分を算出する。入力されたＲＧＢ画像から以下の式１０により輝度成分Ｙを算出する。
（式１０）Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ
式１０は、一例としてＩＴＵ−Ｒ  ＢＴ．７０９規格に基づいた計算式の例を示したが、これに限らず、入力画像に応じて適宜決定すればよい。
【０１０５】
フィルタ係数算出部８０２は、輝度算出部８０１で算出した輝度成分Ｙに基づいて縮小分割画像生成部８０５で画素補間を行うときのフィルタ係数ＦＩＬを算出する。
【０１０６】
本実施形態では、輝度成分Ｙが高いほど急峻なフィルタ特性になるように制御する。フィルタ特性の一例を図２０に示す。図２０（ａ）はバイキュービック方式のフィルタ係数であり、図２０（ｂ）はニアレストネイバー方式のフィルタ係数である。図２０（ａ）のようなバイキュービック方式の補間を行うと、周囲の隣接画素値を用いた補間処理になるので、画像のエッジが若干ぼける。また、フィルタ形状によりピーク輝度が低下しやすい傾向がある。結果として、１画素が点灯しているような場合に、ピーク輝度が低下してしまう。一方、縮小分割画像生成時に周囲の隣接画素を用いるので入力画像ＩＤに対し情報の欠落が少ない。
【０１０７】
これに対して、図２０（ｂ）のような、ニアレストネイバー方式の補間を行うと、フィルタ特性がバイキュービック方式よりも急峻であるため補間してもエッジ情報が残りやすく、エッジのぼけが少ない。そして、フィルタ形状よりバイキュービック方式と比較すると輝度低下が少ない傾向がある。一方、縮小分割画像生成時に隣接画素を参照していないため、入力画像ＩＤに対し、情報の欠落が多い。
【０１０８】
このように、入力画像ＩＤの輝度成分Ｙに基づいてフィルタ係数を領域ごとに最適化することによって、縮小分割画像の輝度低下を適度に抑制し、縮小による情報の欠落も抑制することができる。
【０１０９】
縮小分割画像生成部８０５は、入力画像ＩＤ、縮小位相算出部２０４で算出された縮小サンプリング位相ＰＨＡＳＥと、フィルタ係数算出部８０２で算出されたフィルタ係数ＦＩＬを用いて、縮小分割画像ＤＩＶ＿Ａ、ＤＩＶ＿Ｂを生成する。
【０１１０】
本実施形態によれば、入力画像の輝度成分に応じて縮小分割画像を生成する際の画素補間に用いるフィルタ係数を制御する。これにより、輝度低下を防止しつつ、マルチ投影による画素ずらし制御において、画素ずらしによる高解像度化と、ジャギー低減の両立が可能となる。
【０１１１】
［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１２】
１００…ＰＣ、１０１、１０２、５０１、５０２…プロジェクタＢ、１０３…カメラ、１０４、５０３…投影面、２０１、６０２…画素サイズ算出部、２０３、６０３…ずれ量算出部、２０４、６０４…縮小位相算出部、２０５、６０５…縮小分割画像生成部
【図１】
2019125830.tif 000003
【図２】
2019125830.tif 000004
【図３】
2019125830.tif 000005
【図４】
2019125830.tif 000006
【図５】
2019125830.tif 000007
【図６】
2019125830.tif 000008
【図７】
2019125830.tif 000009
【図８】
2019125830.tif 000010
【図９】
2019125830.tif 000011
【図１０】
2019125830.tif 000012
【図１１】
2019125830.tif 000013
【図１２】
2019125830.tif 000014
【図１３】
2019125830.tif 000015
【図１４】
2019125830.tif 000016
【図１５】
2019125830.tif 000017
【図１６】
2019125830.tif 000018
【図１７】
2019125830.tif 000019
【図１８】
2019125830.tif 000020
【図１９】
2019125830.tif 000021
【図２０】
2019125830.tif 000022