(57)【要約】【課題】スタック投影により表示された画像の画質を向上することができる技術を提供する。【解決手段】本発明の画像処理装置は、第１画像データに基づく第１画像を投影領域に表示する第１投影装置と、第２画像データに基づく第２画像を投影領域に表示する第２投影装置と、を含む複数の投影装置を有する投影システムのための画像データを生成する画像処理装置であって、第１画像データは、元画像データに所定の画像処理を施すことによって得られる画像データであり、所定の画像処理は、階調値の所定範囲の外側の階調値を所定範囲の内側の階調値に制限する制限処理を含み、画像処理装置は、行われた制限処理に関する制限情報を取得する取得手段と、取得手段によって取得された制限情報に基づいて、制限処理による階調値の変化に応じた画像データを、第２画像データとして生成する生成手段と、を有する。【選択図】図１
2018072418.tif 000002
【特許請求の範囲】
【請求項１】
投影面の投影領域に対する投影を行うことにより、第１画像データに基づく第１画像を前記投影領域に表示する第１投影装置と、
前記投影領域に対する投影を行うことにより、第２画像データに基づく第２画像を前記投影領域に表示する第２投影装置と、
を含む複数の投影装置を有する投影システムのための画像データを生成する画像処理装置であって、
前記第１画像データは、第１元画像データに所定の画像処理を施すことによって得られる画像データであり、
前記所定の画像処理は、階調値の所定範囲の外側の階調値を前記所定範囲の内側の階調値に制限する制限処理を含み、
前記画像処理装置は、
行われた制限処理に関する制限情報を取得する取得手段と、
前記取得手段によって取得された前記制限情報に基づいて、前記制限処理による階調値の変化に応じた画像データを、前記第２画像データとして生成する生成手段と、
を有する
ことを特徴とする画像処理装置。
【請求項２】
前記第２画像データは、前記制限処理による階調値の変化を補う画像データである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１元画像データに前記所定の画像処理を施すことにより前記第１画像データを生成する処理手段、を有し、
前記取得手段は、前記処理手段によって行われた前記所定の画像処理に基づいて、前記制限処理による階調値の変化量を判断することにより、前記制限情報を取得する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記複数の投影装置のそれぞれについて、表示可能な階調値の範囲である階調範囲に関するレンジ情報を取得するレンジ情報取得手段と、
前記複数の投影装置のうち、前記階調範囲が最も広い投影装置でない投影装置を前記第１投影装置として選択し、前記複数の投影装置のうち、前記階調範囲が前記第１投影装置の階調範囲よりも広い投影装置を前記第２投影装置として選択する装置選択手段と、
をさらに有する
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記所定範囲は、前記第１投影装置が表示可能な階調値の範囲である
ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記生成手段は、第２元画像データの階調値に前記制限処理による階調値の変化量を加算することにより、前記第２画像データを生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記生成手段は、前記制限処理によって前記所定範囲の内側の値に階調値が制限された制限画素に対応する画素の階調値が、前記制限処理による階調値の変化量を前記第２元画像データの階調値に加算して得られる階調値であり、且つ、前記制限画素以外の画素に対応する画素の階調値が前記第２元画像データの階調値である画像データを、前記第２画像データとして生成する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
複数の画像データのそれぞれについて、画像データに関する画像情報を取得する画像情報取得手段と、
前記複数の画像データに対応する複数の画像情報に基づいて、前記複数の画像データから前記第１元画像データと前記第２元画像データとを選択する画像選択手段と、
をさらに有する
ことを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記第２元画像データは、前記制限処理が施される前の第１画像データと等しい
ことを特徴とする請求項６〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記第２元画像データは、前記制限処理が施される前の第１画像データとは異なる
ことを特徴とする請求項６〜８のいずれか１項に記載の画像処理装置。
【請求項１１】
前記第２元画像データの各画素の階調値は所定値である
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第２元画像データは、静止画データである
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記生成手段は、
前記制限処理によって前記所定範囲の内側の値に階調値が制限された制限画素を含む第１画像データに対応する第２画像データを、前記第２元画像データと、前記制限処理による階調値の変化量とを用いて生成し、
前記制限画素を含まない第１画像データに対応する第２画像データとして、前記第２元画像データを採用する
ことを特徴とする請求項６〜１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記生成手段は、
前記制限処理によって前記所定範囲の内側の値に階調値が制限された制限画素を含む第１画像データに対応する第２画像データを、前記第２元画像データと、前記制限処理による階調値の変化量とを用いて生成し、
前記制限画素を含まない第１画像データに対応する第２画像データとして、前記制限処理が施される前の第１画像データを採用する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１５】
前記第１投影装置は、第１発光手段と、前記第１発光手段からの光を前記第１画像データに基づいて変調する第１変調手段と、を有し、
前記第２投影装置は、第２発光手段と、前記第２発光手段からの光を前記第２画像データに基づいて変調する第２変調手段と、を有し、
前記画像処理装置は、前記第１発光手段の発光輝度と前記第２発光手段の発光輝度との少なくとも一方を制御する制御手段、をさらに有し、
前記制御手段は、
前記制限画素を含む第１画像データの表示期間において、前記第１発光手段の発光輝度と前記第２発光手段の発光輝度との合計が所定輝度の２倍の輝度となるように、前記第１発光手段の発光輝度と前記第２発光手段の発光輝度との少なくとも一方を制御し、
前記制限画素を含まない第１画像データの表示期間において、前記第１発光手段の発光輝度と前記第２発光手段の発光輝度との合計が前記所定輝度となるように、前記第１発光手段の発光輝度と前記第２発光手段の発光輝度との少なくとも一方を制御する
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記所定の画像処理は、
動画データである前記第１元画像データの各フレームからＮ枚（Ｎは２以上の整数）のフレームを生成して、生成した複数のフレームからなり、且つ、前記第１元画像データのフレームレートのＮ倍のフレームレートを有する動画データである変換動画データを生成するフレームレート変換処理、
前記変換動画データの複数のフレームのうち、奇数番目のフレームと偶数番目のフレームの一方である第１フレームに対する、空間的な高周波成分を強調する強調処理、
前記変換動画データの前記複数のフレームのうち、前記奇数番目のフレームと前記偶数番目のフレームの他方である第２フレームに対する、空間的な高周波成分を抑圧する抑圧処理、及び、
前記強調処理が施された後の前記第１フレームの画像データに対する前記制限処理
を含む
ことを特徴とする請求項１〜１５のいずれか１項に記載の画像処理装置。
【請求項１７】
前記所定の画像処理は、
前記第１元画像データの各階調値に所定のゲイン値を乗算する乗算処理、及び、
前記乗算処理が施された後の画像データに対する前記制限処理
を含む
ことを特徴とする請求項１〜１５のいずれか１項に記載の画像処理装置。
【請求項１８】
投影面の投影領域に対する投影を行うことにより、第１画像データに基づく第１画像を前記投影領域に表示する第１投影装置と、
前記投影領域に対する投影を行うことにより、第２画像データに基づく第２画像を前記投影領域に表示する第２投影装置と、
を含む複数の投影装置を有する投影システムのための画像データを生成する画像処理方法であって、
前記第１画像データは、元画像データに所定の画像処理を施すことによって得られる画像データであり、
前記所定の画像処理は、階調値の所定範囲の外側の階調値を前記所定範囲の内側の階調値に制限する制限処理を含み、
前記画像処理方法は、
行われた制限処理に関する制限情報を取得するステップと、
取得された前記制限情報に基づいて、前記制限処理による階調値の変化に応じた画像データを、前記第２画像データとして生成するステップと、
を有する
ことを特徴とする画像処理方法。
【請求項１９】
前記第２画像データは、前記制限処理による階調値の変化を補う画像データである
ことを特徴とする請求項１８に記載の画像処理方法。
【請求項２０】
請求項１８または１９に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
投影面の１つの投影領域に対して複数のプロジェクタが投影を行う投影方法が知られている。このような投影方法は「スタック投影」などと呼ばれる。スタック投影では、複数のプロジェクタによって表示された複数の画像（投影画像；表示画像）が重なり合う。それにより、投影画像（複数の投影画像が重なり合うことで得られた合成画像）の高輝度化、投影画像の高階調化、等を実現することができる。スタック投影に関する技術は、例えば、特許文献１に記載されている。
【０００３】
１フレーム期間にわたって同一のフレーム画像を表示し続けるホールド駆動型の表示装置では、動画に存在する動オブジェクト（動きのあるオブジェクト）がぼやけ、動画視認性が低下することが知られている。このような現象は「ホールドぼやけ」などと呼ばれる。ヒトが動オブジェクトを観察する場合において、ヒトは、動オブジェクトに視線が追従するように、視線を滑らかに移動させる。しかしながら、ホールド駆動型の表示装置において、表示された動オブジェクトの動きは滑らかでなく、動オブジェクトは、１フレーム期間の静止を繰り返しながら動く。そして、視線の動きと、表示された動オブジェクトの動きとの差、等により、ホールドぼやけが生じる。具体的には、１フレーム期間において、静止している動オブジェクトに対して視線が動く（ぶれる）ことにより、ホールドぼやけが生じる。ホールドぼやけの上記発生原理により、ホールドぼやけの大きさは、同一フレーム画像を表示し続ける期間（ホールド期間）の長さに比例する。
【０００４】
フレーム画像を一瞬だけ表示するインパルス駆動型の表示装置では、画像の表示と画像の非表示とが繰り返されるため、ちらつき（フリッカ）が視認されることが知られている。フリッカは、ユーザに視覚的負荷を与える。そのため、フリッカは、眼の疲労、不快感、等の原因となる。
【０００５】
そこで、入力画像データの各フレームから高域強調フレームと高域抑圧フレームとを生成し、高域強調フレームと高域抑圧フレームとを入力画像データのフレームレートの２倍のフレームレートで交互に出力する技術が提案されている。高域強調フレームは、空間的な高周波成分が強調されたフレームであり、高域抑圧フレームは、空間的な高周波成分が抑圧されたフレームである。この技術によれば、フリッカを抑制しつつ動画視認性を向上することができる。
【０００６】
ホールドぼやけは、高周波成分（動オブジェクトのエッジなど）を含む画像で視認されやすい。上記技術によれば、入力画像データの１フレームから高域強調フレームと高域抑圧フレームとが生成され、高域強調フレームと高域抑圧フレームとが入力画像データのフレームレートの２倍のフレームレートで順に表示される。それにより、入力画像データの高周波成分が高域強調フレームで集中的に表示される。つまり、高周波成分のホールド期間が半分に短縮される。その結果、ホールドぼやけを抑制することができ、動画視認性を向上することができる。また、入力画像データの低周波成分は、入力画像データの１フレーム期間（高域強調フレームと高域抑圧フレームとの両方のフレームの期間）において表示される。それにより、フリッカを抑制することもできる。
【０００７】
しかしながら、上記技術では、高周波成分が強調された後の階調値が規定範囲の外側の値となった場合に、階調値が規定範囲の内側の値に制限される（階調値の飽和）。そして
、階調値の飽和により、画像の再現性が低下したり、動画視認性の向上効果が低下したりする。具体的には、階調値の飽和により、入力画像データの輝度を復元できずに入力画像データの輝度よりも高いまたは低い輝度での表示が行われたり、入力画像データの階調性よりも低い階調性での表示が行われたりする。規定範囲の内側の値に階調値を制限する制限処理による階調値の変化量を、高域抑圧フレームで補う方法が考えられる。しかしながら、この方法では、入力画像データの各フレームを２回ずつ２倍のフレームレートで表示する状態が実現され、ホールドぼやけの低減効果が無くなったり、２重像が視認されたりする。
【０００８】
特許文献２には、前後フレームの平均を計算し、時間方向に平滑化された高域抑圧フレームを生成する技術が記載されている。特許文献２に記載の技術によれば、制限処理による階調値の変化が平滑化され、動画視認性の向上効果が得やすくなる。しかしながら、特許文献２に記載の技術では、動画視認性の低下をまねくホールドぼやけや重像が目立ちにくくなるが、ホールドぼやけや重像が生じる画像領域のサイズが増す。その結果、動オブジェクトの動きの大きさ、動オブジェクトの形状、動オブジェクトの輝度（入力画像データの輝度）、等によっては、動画視認性の向上効果が十分に得られない虞がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１１−００２６６６号公報
【特許文献２】特開２０１３−１４１１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、スタック投影により表示された画像の画質を向上することができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の態様は、
投影面の投影領域に対する投影を行うことにより、第１画像データに基づく第１画像を前記投影領域に表示する第１投影装置と、
前記投影領域に対する投影を行うことにより、第２画像データに基づく第２画像を前記投影領域に表示する第２投影装置と、
を含む複数の投影装置を有する投影システムのための画像データを生成する画像処理装置であって、
前記第１画像データは、元画像データに所定の画像処理を施すことによって得られる画像データであり、
前記所定の画像処理は、階調値の所定範囲の外側の階調値を前記所定範囲の内側の階調値に制限する制限処理を含み、
前記画像処理装置は、
行われた制限処理に関する制限情報を取得する取得手段と、
前記取得手段によって取得された前記制限情報に基づいて、前記制限処理による階調値の変化に応じた画像データを、前記第２画像データとして生成する生成手段と、
を有する
ことを特徴とする画像処理装置である。
【００１２】
本発明の第２の態様は、
投影面の投影領域に対する投影を行うことにより、第１画像データに基づく第１画像を前記投影領域に表示する第１投影装置と、
前記投影領域に対する投影を行うことにより、第２画像データに基づく第２画像を前記
投影領域に表示する第２投影装置と、
を含む複数の投影装置を有する投影システムのための画像データを生成する画像処理方法であって、
前記第１画像データは、元画像データに所定の画像処理を施すことによって得られる画像データであり、
前記所定の画像処理は、階調値の所定範囲の外側の階調値を前記所定範囲の内側の階調値に制限する制限処理を含み、
前記画像処理方法は、
行われた制限処理に関する制限情報を取得するステップと、
取得された前記制限情報に基づいて、前記制限処理による階調値の変化に応じた画像データを、前記第２画像データとして生成するステップと、
を有する
ことを特徴とする画像処理方法である。
【００１３】
本発明の第３の態様は、本発明の第２の形態である画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１４】
本発明によれば、スタック投影により表示された画像の画質を向上することができる。
【図面の簡単な説明】
【００１５】
【図１】実施例１に係る投影システムの構成例を示すブロック図
【図２】実施例１に係る高域強調・高域抑圧部の構成例を示すブロック図
【図３】実施例１に係る投影システムの処理例を示す図
【図４】実施例２に係る投影システムの構成例を示すブロック図
【図５】実施例２に係る投影システムの構成例を示すブロック図
【図６】実施例３に係る投影システムの構成例を示すブロック図
【図７】実施例３に係る投影システムの処理例を示す図
【図８】実施例４に係る投影システムの構成例を示すブロック図
【図９】実施例４に係る投影システムの処理例を示す図
【図１０】実施例５に係る投影システムの構成例を示すブロック図
【図１１】実施例５に係る投影システムの処理例を示す図
【図１２】従来例を示す図
【発明を実施するための形態】
【００１６】
＜実施例１＞
以下、本発明の実施例１について説明する。本実施例に係る投影システムは、複数の投影装置（プロジェクタ）を有する。各投影装置は、投影面の投影領域に対する投影を行うことにより、投影領域に画像を表示する。投影面は、スクリーンボードの表面、スクリーンシートの表面、壁面、等である。複数の投影装置の間で投影領域は等しい。また、複数の投影装置の間で、各投影装置の投影（表示）は同期する。即ち、本実施例に係る投影システムでは、スタック投影が行われる。
【００１７】
投影装置の数は特に限定されないが、説明の簡単化のために、本実施例では、２台の投影装置（第１投影装置と第２投影装置）を用いるものとする。第１投影装置は、投影領域に対する投影を行うことにより、第１画像データに基づく第１画像を投影領域に表示する。第２投影装置は、投影領域に対する投影を行うことにより、第２画像データに基づく第２画像を投影領域に表示する。また、本実施例では、発光部（光源）と液晶パネルとを有する液晶プロジェクタを投影装置として用いる例を説明する。なお、投影装置は液晶プロジェクタに限られない。例えば、液晶パネルの液晶素子の代わりにＭＥＭＳ（Ｍｉｃｒｏ
Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍ）シャッターを用いたＭＥＭＳシャッター方式プロジェクタを投影装置として用いることもできる。
【００１８】
また、投影画像（投影装置によって表示された画像；表示画像）の輝度特性は特に限定されないが、説明の簡単化のために、本実施例では、第１画像の輝度特性が、第２画像の輝度特性と等しいものとする。投影画像の輝度特性は、画像データの階調値と投影画像の輝度との対応関係の特性である。そのため、「投影画像の輝度特性が投影装置の間で等しい」は、「画像データの階調値と投影画像の輝度との対応関係が投影装置の間で等しい」とも言える。具体的には、第１画像のピーク輝度（第１画像の輝度の上限）が、第２画像のピーク輝度と等しく、第１画像の階調特性（ガンマ）が、第２画像の階調特性と等しいものとする。さらに、第１画像のフレームレートが、第２画像のフレームレートと等しいものとする。
【００１９】
また、本実施例では、第１投影装置が、入力画像データに基づいて第１画像データと第２画像データとを生成し、第２画像データを第２投影装置へ出力する例を説明する。なお、投影システムのための画像データの生成は、第１投影装置とは異なる装置で行われてもよい。例えば、第１投影装置が、第１投影装置に入力された画像データに基づいて第１画像データを生成し、第２投影装置が、第２投影装置に入力された画像データに基づいて第２画像データを生成してもよい。第２投影装置が、入力画像データに基づいて第１画像データと第２画像データとを生成してもよい。第１画像データと第２画像データとの少なくとも一方を生成する画像処理装置は、投影装置とは別体の装置であってもよい。
【００２０】
図１は、本実施例に係る投影システムの構成例を示すブロック図である。図１に示すように、本実施例に係る投影システムは、第１投影装置と第２投影装置を有する。上述した第１画像データは、動画データである第１元画像データに所定の画像処理を施すことによって得られた動画データである。所定の画像処理は特に限定されないが、本実施例では、フレームレート変換部１０１、高域強調・高域抑圧部１０２、飽和判断部１０３、及び、装置間分配部１０５により、所定の画像処理が行われる。
【００２１】
フレームレート変換部１０１は、入力画像データ（第１元画像データ）に対するフレームレート変換処理を行う。フレームレート変換処理により、入力画像データの各フレームからＮ枚（Ｎは２以上の整数）のフレームが生成される。そして、フレームレート変換処理により、生成された複数のフレームからなり、且つ、入力画像データのフレームレートのＮ倍のフレームレートを有する動画データである変換動画データが生成される。
【００２２】
フレームレート変換処理の方法は特に限定されないが、本実施例では、入力画像データのフレームレートの２倍のフレームレートで入力画像データの各フレームを２回ずつ繰り返す動画データが、変換動画データとして生成される。具体的には、フレームレート変換部１０１は、入力画像データの１フレーム期間に、入力画像データのフレームデータ（１フレームの画像データ）を、変換動画データのフレームデータとして、高域強調・高域抑圧部１０２へ２回出力する。フレームレート変換部１０１は、この処理を入力画像データの各フレームについて行う。
【００２３】
高域強調・高域抑圧部１０２は、入力されたフレームデータ（変換動画データの１フレームに対応する画像データ）に対して、空間的な高周波成分を強調する強調処理を施す。それにより、高域強調フレームデータが生成される。また、高域強調・高域抑圧部１０２は、入力されたフレームデータに対して、空間的な高周波成分を抑圧する抑圧処理を施す。それにより、高域抑圧フレームデータが生成される。そして、高域強調・高域抑圧部１０２は、高域強調フレームデータを飽和判断部１０３と非対称化処理部１０４に出力し、高域抑圧フレームデータを切り替えスイッチ１０８に出力する。
【００２４】
図２は、高域強調・高域抑圧部１０２の構成の具体例を示すブロック図である。ＬＰＦ部１１３は、２次元の空間ローパスフィルタである。ＬＰＦ部１１３は、高域強調・高域抑圧部１０２に入力されたフレームデータから空間的な低周波成分を抽出し、抽出した低周波成分のデータを、高域抑圧フレームデータとして出力する。ローパスフィルタの方式は特に限定されない。例えば、ＬＰＦ部１１３として、一般的な２次元ＦＩＲフィルタなどを用いることができる。減算器１１４は、高域強調・高域抑圧部１０２に入力されたフレームデータから、高域抑圧フレームデータを減算する。それにより、高域強調・高域抑圧部１０２に入力されたフレームデータの空間的な高周波成分を表すデータ（高周波成分データ）が得られる。加算器１１５は、高域強調・高域抑圧部１０２に入力されたフレームデータに、高周波成分データを加算する。そして、加算器１１５は、加算結果を、高域強調フレームデータとして出力する。
【００２５】
図２において、「Ｈ」は高周波成分のデータであり、「Ｌ」は低周波成分のデータである。図２に示すように、低周波成分と高周波成分とを含むフレームデータ「Ｌ＋Ｈ」が高域強調・高域抑圧部１０２に入力された場合には、高域強調フレームデータとして「Ｌ＋２Ｈ」が出力され、高域抑圧フレームデータとして「Ｌ」が出力される。上述したように、本実施例では、入力画像データの１フレーム期間に、入力画像データのフレームデータが変換動画データのフレームデータとして、高域強調・高域抑圧部１０２へ２回出力される。そして、第１投影装置において、第１フレームの表示として、高域強調フレームデータに基づく画像の表示が行われ、第２フレームの表示として、高域抑圧フレームデータに基づく画像の表示が行われる。第１フレームは、変換動画データの複数のフレームのうち、奇数番目のフレームと偶数番目のフレームの一方であり、第２フレームは、変換動画データの複数のフレームのうち、奇数番目のフレームと偶数番目のフレームの他方である。即ち、第１投影装置では、高域強調フレームデータに基づく画像と、高域抑圧フレームデータに基づく画像とが、交互に表示される。そのため、入力画像データの１フレームについて、第１画像の知覚輝度（ユーザによって知覚される輝度）は、高域強調フレームデータの輝度と高域抑圧フレームデータの輝度との平均「Ｌ＋Ｈ」となる。即ち、第１画像の知覚輝度として、入力画像データの輝度を再現することができる。
【００２６】
なお、図２の例では、変換動画データの各フレームについて、変換動画データのフレームデータから高域強調フレームデータと高域抑圧フレームデータとが生成されるが、これに限られない。上述したように、第１投影装置では、第１フレームの表示として、高域強調フレームデータに基づく画像の表示が行われ、第２フレームの表示として、高域抑圧フレームデータに基づく画像の表示が行われる。そのため、第１フレームに対する強調処理と第２フレームに対する抑圧処理とが行われ、第１フレームに対する抑圧処理と第２フレームに対する強調処理とが省略されてもよい。即ち、第１フレームの期間では高域抑圧フレームデータの生成・出力が省略され、第２フレームの期間では高域強調フレームデータの生成・出力が省略されてもよい。
【００２７】
飽和判断部１０３は、飽和判断部１０３に入力された高域強調フレームデータに基づいて、当該高域強調フレームデータに飽和画素が存在するか否かを判断する。飽和画素は、階調値の所定範囲の外側の階調値を有する画素である。所定範囲は、例えば、第１投影装置が表示可能な階調値の範囲である。即ち、所定範囲は、第１画像の輝度の下限に対応する階調値から、第１画像の輝度の上限に対応する階調値までの範囲である。なお、所定範囲は特に限定されない。所定範囲は、メーカによって予め定められた固定範囲であってもよいし、ユーザからの指示、投影システムの使用環境、等に応じて適宜変更される範囲であってもよい。
【００２８】
そして、飽和判断部１０３は、上記判断の結果を、非対称化処理部１０４へ出力する。
本実施例では、飽和判断部１０３は、高域強調フレームデータに飽和画素が存在する場合に判断結果「飽和画素あり」を出力し、高域強調フレームデータに飽和画素が存在しない場合に判断結果「飽和画素なし」を出力する。
【００２９】
非対称化処理部１０４は、飽和判断部１０３からの判断結果に応じて、第２画像データの元となる第２元画像データを生成し、第２元画像データを装置間分配部１０５へ出力する。また、非対称化処理部１０４は、高域強調・高域抑圧部１０２から出力された高域強調フレームデータを、第１画像データのフレームデータの元となる第３元画像データとして、装置間分配部１０５へ出力する。本実施例では、装置間分配部１０５により、所定範囲の外側の階調値を所定範囲の内側の階調値に制限（クリップ）する制限処理が行われる。具体的には、装置間分配部１０５により、高域強調フレームデータに対して制限処理が施される。「高域強調・高域抑圧部１０２から出力された高域強調フレームデータ」は、「制限前画像データ（制限処理が施される前の第１画像データ）のフレームデータ」とも言える。
【００３０】
本実施例では、飽和判断部１０３から判断結果「飽和画素あり」が出力された場合には、非対称化処理部１０４は、第３元画像データとは異なる画像データを、第２元画像データとして出力する。「第３元画像データとは異なる画像データ」は、「第３元画像データとは非対称な画像データ」とも言える。一方、飽和判断部１０３から判断結果「飽和画素なし」が出力された場合には、非対称化処理部１０４は、第３元画像データと同じ画像データを、第２元画像データとして出力する。「第３元画像データと同じ画像データ」は、「第３元画像データと対称的な画像データ」とも言える。
【００３１】
具体的には、飽和判断部１０３から判断結果「飽和画素あり」が出力された場合には、非対称化処理部１０４は、各画素の階調値が所定値（所定のオフセット値）である画像データを、第２元画像データとして出力する。一方、飽和判断部１０３から判断結果「飽和画素なし」が出力された場合には、非対称化処理部１０４は、高域強調・高域抑圧部１０２から出力された高域強調フレームデータを、第２元画像データとしても出力する。なお、オフセット値は、メーカによって予め定められた固定値であってもよいし、ユーザからの指示、投影システムの使用環境、等に応じて適宜変更される値であってもよい。
【００３２】
このように、本実施例では、飽和画素が存在する場合の第２元画像データとして、制限前画像データ（制限前画像データのフレームデータ）とは異なる画像データが使用される。そして、飽和画素が存在しない場合の第２元画像データとして、制限前画像データ（制限前画像データのフレームデータ）と等しい画像データが使用される。「飽和画素が存在する場合の第２元画像データ」は、「制限処理が行われる場合の第２元画像データ」、「制限処理による階調値の変化が生じる場合の第２元画像データ」、等とも言える。そして、「飽和画素が存在しない場合の第２元画像データ」は、「制限処理が行われない場合の第２元画像データ」、「制限処理による階調値の変化が生じない場合の第２元画像データ」とも言える。なお、飽和画素が存在するか否かに拘らず、制限前画像データとは異なる画像データが第２元画像データとして使用されてもよい。
【００３３】
装置間分配部１０５は、飽和判断部１０３から出力された第３元画像データ（高域強調フレームデータ）に制限処理を施すことにより、制限フレームデータを生成する。そして、装置間分配部１０５は、制限フレームデータを出力する。第３元画像データに飽和画素が存在しない場合には、装置間分配部１０５は、第３元画像データと同じ画像データを制限フレームデータとして出力する。第３元画像データに飽和画素が存在する場合には、装置間分配部１０５は、第３元画像データの飽和画素の階調値を所定範囲の内側の値に制限することにより、制限フレームデータを生成する。そして、装置間分配部１０５は、制限フレームデータを出力する。また、装置間分配部１０５は、行った制限処理による階調値
の変化量を判断することにより、行った制限処理に関する制限情報を取得（生成）する。
【００３４】
また、装置間分配部１０５は、上記制限情報に基づいて、制限処理による階調値の変化に応じた画像データを、補償フレームデータとして生成する。具体的には、装置間分配部１０５は、上記制限情報に基づいて、制限処理による階調値の変化を補う画像データを、補償フレームデータとして生成する。そして、装置間分配部１０５は、補償フレームデータを出力する。本実施例では、装置間分配部１０５は、飽和判断部１０３から出力された第２元画像データと、上記制限処理による階調値の変化量とを用いて、補償フレームデータを生成する。具体的には、装置間分配部１０５は、第２元画像データの階調値に、上記制限処理による階調値の変化量を加算することにより、補償フレームデータを生成する。より具体的には、以下の条件１，２を満たす画像データが、補償フレームデータとして生成される。制限画素は、制限処理によって所定範囲の内側の値に階調値が制限された画素であり、飽和画素である。第３元画像データに飽和画素が存在しない場合には、装置間分配部１０５は、第２元画像データおよび第３元画像データと同じ画像データを、補償フレームデータとして出力する。第３元画像データに飽和画素が存在する場合には、装置間分配部１０５は、第２元画像データおよび第３元画像データと異なる画像データを、補償フレームデータとして出力する。
条件１：制限画素に対応する画素の階調値が、制限処理による階調値の変化量を第２元画像データの階調値に加算して得られる階調値である。
条件２：制限画素以外の画素に対応する画素の階調値が、第２元画像データの階調値である。
【００３５】
なお、制限処理による階調値の変化が補われれば、補償フレームデータの生成方法は特に限定されない。例えば、制限画素の階調値の変化量が、制限画素に対応する画素と、その周囲の画素とによって補われてもよい。
【００３６】
輝度復元部１０６は、非対称化処理部１０４の処理結果に応じて、投影画像（第１画像と第２画像が重なり合うことで得られる合成画像）の輝度変動が抑制されるように、発光輝度を決定する。そして、輝度復元部１０６は、決定した発光輝度に発光部の発光輝度を制御する輝度制御データを出力する。輝度復元部１０６から出力された輝度制御データは、発光部１１１Ａ，１１１Ｂの発光輝度の制御で使用される。具体的には、輝度復元部１０６から出力された輝度制御データは、第１フレームの期間において使用される。
【００３７】
本実施例では、第３元画像データを用いて制限フレームデータが得られ、第２元画像データを用いて補償フレームデータが得られる。そして、制限フレームデータに基づく画像が第１投影装置によって表示される期間において、補償フレームデータに基づく画像が第２投影装置によって表示される。
【００３８】
本実施例では、第３元画像データが飽和画素を含まない場合には、第３元画像データと同じ画像データが第２元画像データとして採用される。「第３元画像データが飽和画素を含まない場合」は「制限フレームデータが制限画素を含まない場合」とも言える。そして、輝度復元部１０６は、第３元画像データと同じ画像データが第２元画像データとして採用された場合に、所定の基準輝度に応じた輝度制御データを出力する。第３元画像データは、入力画像データから得られた高域強調フレームデータである。そのため、第３元画像データと同じ画像データが第２元画像データとして採用された場合には、第１投影装置と第２投影装置のそれぞれにおいて入力画像データに基づく輝度での表示が行われる。
【００３９】
一方で、第３元画像データが飽和画素を含む場合には、各階調値がオフセット値である
画像データが第２元画像データとして採用される。「第３元画像データが飽和画素を含む場合」は「制限フレームデータが制限画素を含む場合」とも言える。そして、そのような場合には、入力画像データに基づく上記輝度は、第２投影装置で実現されない。そのため、発光部１１１Ａ，１１１Ｂの発光輝度を常に基準輝度に制御すると、制限画素を含む制限フレームデータの表示期間における合成画像の輝度と、制限画素を含まない制限フレームデータの表示期間における合成画像の輝度との差が生じる。例えば、制限画素を含まない制限フレームデータの表示期間において、制限画素を含まない制限フレームデータの表示期間における合成画像の輝度よりも低い輝度で、合成画像が表示される。本実施例では、制限画素を含まない制限フレームデータの表示期間において、制限画素を含まない制限フレームデータの表示期間における合成画像の輝度の半分の輝度で、合成画像が表示される。そのため、本実施例では、輝度復元部１０６は、各階調値がオフセット値である画像データが第２元画像データとして採用された場合に、基準輝度の２倍の発光輝度に応じた輝度制御データを出力する。それにより、合成画像の輝度変動を抑制することができる。
【００４０】
基準輝度決定部１０７は、基準輝度に応じた輝度制御データを出力する。基準輝度決定部１０７から出力された輝度制御データも、発光部１１１Ａ，１１１Ｂの発光輝度の制御で使用される。具体的には、基準輝度決定部１０７から出力された輝度制御データは、第２フレームの期間において使用される。
【００４１】
上述したように、本実施例では、第１フレームの期間において、非対称化処理部１０４の処理結果に応じた輝度制御データが使用され、第２フレームの期間において、基準輝度に応じた輝度制御データが使用される。非対称化処理部１０４の処理結果に応じて第１フレームの期間の輝度制御データを変えることで、輝度バランス（第１フレームの期間における合成画像の輝度と第２フレームの期間における合成画像の輝度との間のバランス）の変動を抑制することもできる。さらに、周波数バランス（合成画像の空間周波数と入力画像データの空間周波数との間のバランス）の変動を抑制することもできる。
【００４２】
なお、基準輝度は、メーカによって予め定められた固定値であってもよいし、ユーザからの指示、投影システムの使用環境、等に応じて適宜変更される値であってもよい。また、本実施例では、出力された輝度制御データに応じた発光輝度で発光部が発光するため、「輝度制御データを出力する処理」は、「発光部の発光輝度を制御する処理」とも言える。
【００４３】
なお、発光部の発光輝度の制御方法、輝度制御データ、等は特に限定されない。例えば、発光部に供給するパルス信号のパルス幅を制御することで発光部の発光輝度を制御するＰＷＭ制御が行われる場合には、パルス幅を示すデータを輝度制御データとして使用することができる。パルス信号のパルス振幅を制御することで発光部の発光輝度を制御するＰＡＭ制御が行われる場合には、パルス振幅を示すデータを輝度制御データとして使用することができる。パルス幅とパルス振幅の両方を制御することで発光部の発光輝度を制御するＰＨＭ制御が行われる場合には、パルス幅とパルス振幅の両方を示すデータを輝度制御データとして使用することができる。
【００４４】
なお、本実施例では、発光部１１１Ａの発光輝度と発光部１１１Ｂの発光輝度とが共通の輝度制御データを用いて制御されるが、これに限られない。例えば、発光部１１１Ａの発光輝度と発光部１１１Ｂの発光輝度とが個別に制御されてもよい。発光部１１１Ａの発光輝度と発光部１１１Ｂの発光輝度との一方が変更されずに、発光部１１１Ａの発光輝度と発光部１１１Ｂの発光輝度との他方のみが変更されてもよい。具体的には、制限画素を含むフレームの表示期間において、以下の条件３が満たされるように、発光部１１１Ａの発光輝度と発光部１１１Ｂの発光輝度との少なくとも一方が制御されてもよい。そして、制限画素を含まないフレームの表示期間において、以下の条件４が満たされるように、発
光部１１１Ａの発光輝度と発光部１１１Ｂの発光輝度との少なくとも一方が制御されてもよい。以下の条件３，４において、所定輝度は、例えば、上記基準輝度の２倍の輝度である。
条件３：発光部１１１Ａの発光輝度と発光部１１１Ｂの発光輝度との合計が所定輝度の２倍の輝度である。
条件４：発光部１１１Ａの発光輝度と発光部１１１Ｂの発光輝度との合計が所定輝度である。
【００４５】
切り替えスイッチ１０８は、画像データの伝送路、輝度制御データの伝送路、等を切り替えるスイッチである。本実施例では、以下の処理が実現されるように、切り替えスイッチ１０８が伝送路を切り替える。
・第１フレームの期間において、装置間分配部１０５から出力された制限フレームデータを、第１画像データ（第１画像データのフレームデータ）として、同期形成部１０９Ａへ導く処理
・第１フレームの期間において、装置間分配部１０５から出力された補償フレームデータを、第２画像データとして、同期形成部１０９Ｂへ導く処理
・第２フレームの期間において、高域強調・高域抑圧部１０２から出力された高域抑圧フレームデータを、第１画像データ（第１画像データのフレームデータ）として、同期形成部１０９Ａへ導く処理
・第２フレームの期間において、高域強調・高域抑圧部１０２から出力された高域抑圧フレームデータを、第２画像データとして、同期形成部１０９Ｂへ導く処理
・第１フレームの期間において、輝度復元部１０６から出力された輝度制御データを、同期形成部１０９Ａ，１０９Ｂへ導く処理
・第２フレームの期間において、基準輝度決定部１０７から出力された輝度制御データを、同期形成部１０９Ａ，１０９Ｂへ導く処理
【００４６】
同期形成部１０９Ａは、同期形成部１０９Ａに入力された画像データを液晶パネル１１０Ａへ出力し、同期形成部１０９Ａに入力された輝度制御データを発光部１１１Ａに出力する。同期形成部１０９Ｂは、同期形成部１０９Ｂに入力された画像データを液晶パネル１１０Ｂへ出力し、同期形成部１０９Ｂに入力された輝度制御データを発光部１１１Ｂに出力する。
【００４７】
同期形成部１０９Ａ，１０９Ｂは、変換動画データの各フレームについて、第１画像の表示と第２画像の表示とが同じタイミングで行われるように、画像データと輝度制御データとを出力する（同期処理）。本実施例では、同期形成部１０９Ａ，１０９Ｂは、液晶パネル１１０Ａの変調率（透過率、反射率、等）の制御と液晶パネル１１０Ｂの変調率の制御とが同じタイミングで行われるように、画像データを出力する。また、同期形成部１０９Ａ，１０９Ｂは、液晶パネル１１０Ａ，１１０Ｂの変調率の制御と発光部１１１Ａ，１１１Ｂの発光とが同じタイミングで行われるように、輝度制御データを出力する。具体的には、同期形成部１０９Ａ，１０９Ｂは、データ（画像データ、輝度制御データ、等）を記憶する記憶部を有する。そして、同期形成部１０９Ａ，１０９Ｂは、第１投影装置から第２投影装置へのデータの伝送に要する時間などを考慮したタイミングで、記憶部からデータを読み出し、読み出したデータを出力する。
【００４８】
液晶パネル１１０Ａは、液晶パネル１１０Ａに入力された画像データに基づいて、発光部１１１Ａからの光を変調（透過または反射）する。具体的には、液晶パネル１１０Ａは
、複数の液晶素子を有しており、液晶パネル１１０Ａに入力された画像データに基づいて各液晶素子の変調率を制御する。そして、液晶パネル１１０Ａは、液晶パネル１１０Ａに入力された画像データに基づく変調率で、発光部１１１Ａからの光を変調する。液晶パネル１１０Ａによって変調された後の光は、投影レンズ１１２Ａへ照射される。同様に、液晶パネル１１０Ｂは、液晶パネル１１０Ｂに入力された画像データに基づいて、発光部１１１Ｂからの光を変調する。液晶パネル１１０Ｂによって変調された後の光は、投影レンズ１１２Ｂへ照射される。
【００４９】
発光部１１１Ａは、発光部１１１Ａに入力された輝度制御データに応じた発光輝度の光を、液晶パネル１１０Ａに照射する。同様に、発光部１１１Ｂは、発光部１１１Ｂに入力された輝度制御データに応じた発光輝度の光を、液晶パネル１１０Ｂに照射する。発光部が変調パネル（液晶パネル）の背面に光を照射し、発光部からの光を変調パネルが透過する場合には、発光部は「バックライトユニット」とも言える。
【００５０】
投影レンズ１１２Ａは、液晶パネル１１０Ａからの光に光学的な変化を与え、光学的な変化が与えられた後の光を投影領域に照射する。それにより、投影領域に第１画像が表示（結像）される。同様に、投影レンズ１１２Ｂは、液晶パネル１１０Ｂからの光に光学的な変化を与え、光学的な変化が与えられた後の光を投影領域に照射する。それにより、投影領域に第２画像が表示される。
【００５１】
本実施例に係る投影システムの処理の具体例と効果について、図３，１２を用いて説明する。図３，１２は、投影システムで使用される種々の画像データの輝度分布の一例を示す。図３，１２の上段には、第１投影装置の入力画像データの輝度分布、第１投影装置の中間画像データの輝度分布、及び、第１投影装置の出力画像データの輝度分布が示されている。入力画像データは、投影装置に入力された画像データである。中間画像データは、入力画像データから出力画像データを生成する処理の途中で生成された画像データである。出力画像データは、液晶パネルに入力される画像データである。図３，１２の中段には、第２投影装置の入力画像データの輝度分布、第１投影装置の中間画像データの輝度分布、及び、第１投影装置の出力画像データの輝度分布が示されている。図３，１２の下段には、スタック輝度の分布と、知覚輝度の分布とが示されている。図３には、第１フレームの投影輝度（投影画像の輝度；投影領域における輝度；投影面上の輝度）の分布も示されている。
【００５２】
スタック輝度は、スタック投影を行った場合の輝度であり、第１投影装置の輝度と第２投影装置の輝度との和である。図３，１２では、スタック輝度の分布として、上段の輝度分布と中段の輝度分布との和が示されている。図３，１２では、知覚輝度として、出力画像データに基づく画像を表示した場合の知覚輝度が示されている。第１フレームと第２フレームが十分に高いフレームレートで順に表示される場合には、第１フレームの輝度と第２フレームの輝度との平均が、ユーザによって知覚される。そのため、図３，１２では、第１フレームの出力画像データに対応するスタック輝度の分布と、第２フレームの出力画像データに対応するスタック輝度の分布との平均が、知覚輝度の分布として示されている。
【００５３】
図３は、本実施例に係る投影システムの処理の具体例を示し、図１２は、従来の投影システムの処理の具体例を示す。図３，１２は、第１フレームの画像データとして高域強調フレームデータを生成し、且つ、第２フレームの画像データとして高域抑圧フレームデータを生成する画像処理が行われる例を示す。
【００５４】
従来の投影システムの処理の具体例を、図１２を用いて説明する。図１２の例では、第１投影装置と第２投影装置のそれぞれに同じ入力画像データが入力される。そして、第１
投影装置と第２投影装置を用いてスタック投影が行われる。
【００５５】
図１２の例では、各投影装置は、入力画像データから、第１フレームの中間画像データとして高域強調フレームデータを生成し、第２フレームの中間画像データとして高域抑圧フレームデータを生成する。図１２の例では、高域強調フレームデータは飽和画素を含む。図１２において、破線部分の輝度は飽和画素の輝度である。図１２の例では、高域強調フレームデータが出力画像データとして用いられるが、高域強調フレームデータが飽和画素を含む場合には、飽和画素の階調値を所定範囲の内側の階調値に制限する制限処理が行われる。そのため、図１２の例では、第１フレームの出力画像データの輝度分布として、高域強調フレームデータの輝度分布からハッチング部分を除いた輝度分布が得られる。ハッチング部分は、制限処理による階調値の変化量に対応する。制限処理により第１フレームの階調値が変化したにも拘らず、高域抑圧フレームデータを第２フレームの出力画像データとして用いると、合成画像の画質が劣化（破綻）する。そこで、図１２の例では、制限処理による階調値の変化量を高域抑圧フレームデータの階調値に加算することにより、第２フレームの出力画像データが生成される。
【００５６】
図１２に示すように、制限処理により、輝度分布は入力画像データの輝度分布に近づく。図１２の例では、第１フレームの出力画像データの輝度分布として、入力画像データの輝度分布と同じ輝度分布が得られる。さらに、図１２に示すように、制限処理による階調値の変化量を高域抑圧フレームデータの階調値に加算することによっても、輝度分布は入力画像データの輝度分布に近づく。図１２の例では、第２フレームの出力画像データの輝度分布として、入力画像データの輝度分布と同じ輝度分布が得られる。その結果、ホールド期間（同一フレーム画像を表示し続ける期間）として、入力画像データのフレームを第１フレームと第２フレームに分ける前のホールド期間と同じ（または近い）期間が実現されてしまい、動画視認性の向上効果を得ることができない。
【００５７】
一方、本実施例の投影システムによれば、図１２を用いて説明した上記課題を含む様々な課題を解決することができ、合成画像の画質を向上することができる。本実施例の投影システムの処理の具体例を、図３を用いて説明する。
【００５８】
本実施例では、図３に示すように、第１投影装置は、入力画像データから、第１フレームと第１投影装置に対応する中間画像データとして高域強調フレームデータを生成する。図３の例では、高域強調フレームデータは飽和画素を含む。飽和画素は、飽和判断部１０３によって検出される。飽和画素が検出されると、非対称化処理部１０４は、第１フレームと第２投影装置に対応する中間画像データとして、第１フレームと第１投影装置に対応する中間画像データ（高域強調フレームデータ）とは異なる画像データを生成する。具体的には、図３に示すように、各階調値がオフセット値である画像データが、第１フレームと第２投影装置に対応する中間画像データとして生成される。
【００５９】
本実施例では、図３に示すように、装置間分配部１０５は、高域強調フレームデータに制限処理を施すことにより、第１フレームと第１投影装置に対応する出力画像データを生成する。そして、装置間分配部１０５は、第１フレームと第２投影装置に対応する中間画像データ（オフセット値）に、制限処理による階調値の変化量を加算することにより、第１フレームと第２投影装置に対応する出力画像データを生成する。
【００６０】
また、図３に示すように、第１投影装置は、第２フレーム、第１投影装置、及び、第２投影装置に対応する出力画像データとして高域抑圧フレームデータを生成する。即ち、本実施例では、高域抑圧フレームデータの階調値は変更されない。
【００６１】
このように、本実施例では、第１フレームと第１投影装置に対応する画像データに対す
る制限処理による階調値の変化は、第２フレームの画像データでは補われずに、当該第１フレームと第２投影装置に対応する画像データで補われる。それにより、合成画像の画質を高精度に向上することができる。例えば、制限処理による階調値の変化に起因した画質劣化を抑制することができる。また、入力画像データの高周波成分のホールド期間を半減することができるため、ホールドぼやけの大きさを半減することができる。その結果、動画視認性を向上することができる。
【００６２】
さらに、本実施例では、第１フレームと第２投影装置に対応する中間画像データとして高域強調フレームデータとは異なる画像データが採用された場合に、発光部１１１Ａ，１１１Ｂの発光輝度が、基準輝度の２倍の発光輝度に高められる。これにより、図３に示すように、第１フレームの投影輝度として、第１フレームの出力画像データの輝度の２倍の輝度を実現することができる。その結果、合成画像の輝度変動などを抑制することができる。具体的には、第１フレームと投影輝度の分布とに対応するスタック輝度の分布として、図１２において第１フレームと中間画像データの輝度分布とに対応するスタック輝度の分布と同等の分布を得ることができる。それにより、画像の再現性を維持しつつ、スタック投影による高輝度な表示（投影）を実現することができる。
【００６３】
なお、図３に示すように、第１フレームと投影輝度の分布とに対応するスタック輝度は、図１２において第１フレームと中間画像データの輝度分布とに対応するスタック輝度に比べ、オフセット値に対応する輝度だけ高い。しかしながら、投影装置では、黒の輝度が０に近いわけではなく、画像のコントラストで相対的に黒が表現される。つまり、投影装置では、直視型の表示装置とは異なり、絶対的な黒（輝度が略０である黒）の表示はあまり要求されない。従って、画像間で輝度分布が同一であれば、画像間で黒の輝度が異なっていても、画質上の妨害感は無い。
【００６４】
なお、本実施例では、第１画像の輝度特性が第２画像の輝度特性と同じであることを前提としたが、これに限られない。第１画像の輝度特性と第２画像の輝度特性が互いに近づくように、第１投影装置と第２投影装置の少なくとも一方において種々の調整が行われてもよい。例えば、投影輝度、発光部の発光輝度、変調パネルからの光の輝度、投影レンズからの光の輝度、等を検出する輝度センサを投影装置に設けてもよい。そして、投影装置が、輝度センサの検出値に基づいて、自身の輝度特性が他の投影装置の輝度特性に近づくように、自身の処理特性を自動で調整してもよい。処理特性は、階調値と変調率の対応関係の特性、輝度制御データと発光部の発光輝度との対応関係の特性、等である。
【００６５】
＜実施例２＞
以下、本発明の実施例２について説明する。なお、以下では、実施例１と異なる点（構成、処理、等）について詳しく説明し、実施例１と同じ点についての説明は省略する。本実施例では、複数の投影装置のそれぞれに同じ入力画像データが入力される。そして、複数の投影装置のそれぞれにおいて、自身のための出力画像データが生成される。本実施例では、投影装置の間での画像データの伝送は行われずに、投影装置の役割に関する情報のみが投影装置の間で伝送される。
【００６６】
図４は、本実施例に係る投影システムの構成例を示すブロック図である。図４において、実施例１（図１）と同じ機能部には、実施例１と同じ符号が付されている。図４に示すように、本実施例に係る投影システムは、分配器２１３、投影装置Ａ、及び、投影装置Ｂを有する。分配器２１３には、入力画像データ（第１元画像データ）が入力される。分配器２１３は、入力画像データを投影装置Ａ，Ｂへ出力する。
【００６７】
フレームレート変換部２０１Ａ，２０１Ｂは、実施例１のフレームレート変換部１０１と同様の機能を有する。高域強調・高域抑圧部２０２Ａ，２０２Ｂは、実施例１の高域強
調・高域抑圧部１０２と同様の機能を有する。輝度復元部２０６Ａ，２０６Ｂは、実施例１の輝度復元部１０６と同様の機能を有する。基準輝度決定部２０７Ａ，２０７Ｂは、実施例１の基準輝度決定部１０７と同様の機能を有する。
【００６８】
非対称化処理部２０４Ａは、飽和判断部１０３からの判断結果に応じて、第２元画像データと第３元画像データの一方を生成し、生成した画像データを装置間分配部２０５Ａへ出力する。また、非対称化処理部２０４Ａは、飽和判断部１０３からの判断結果に応じて、第２元画像データと第３元画像データの他方の生成を、非対称化処理部２０４Ｂに指示する。非対称化処理部２０４Ｂは、非対称化処理部２０４Ａからの指示に応じて、第２元画像データと第３元画像データの上記他方である画像データを生成し、生成した画像データを装置間分配部２０５Ｂへ出力する。第２元画像データの生成方法、第３元画像データの生成方法、等は、実施例１と同じである。
【００６９】
投影装置Ａが実施例１の第１投影装置と同じ役割を担い、且つ、投影装置Ｂが実施例１の第２投影装置と同じ役割を担う場合には、非対称化処理部２０４Ａは、第３元画像データを生成し、第３元画像データを装置間分配部２０５Ａへ出力する。そして、非対称化処理部２０４Ａは、第２元画像データの生成を非対称化処理部２０４Ｂに指示する。飽和判断部１０３からの判断結果が「飽和画素あり」である場合には、非対称化処理部２０４Ａは、各画素の階調値がオフセット値である第２元画像データを生成するための指示を、非対称化処理部２０４Ｂへする。この指示は、制限処理に関する指示であるため、「制限情報」とも言える。その後、非対称化処理部２０４Ｂは、非対称化処理部２０４Ａからの指示に応じて、第２元画像データを生成し、第２元画像データを装置間分配部２０５Ｂへ出力する。
【００７０】
投影装置Ａが第２投影装置と同じ役割を担い、且つ、投影装置Ｂが第１投影装置と同じ役割を担う場合には、非対称化処理部２０４Ａは、第２元画像データを生成し、第２元画像データを装置間分配部２０５Ａへ出力する。そして、非対称化処理部２０４Ａは、第３元画像データの生成を非対称化処理部２０４Ｂに指示する。その後、非対称化処理部２０４Ｂは、非対称化処理部２０４Ａからの指示に応じて、第３元画像データを生成し、第３元画像データを装置間分配部２０５Ｂへ出力する。
【００７１】
装置間分配部２０５Ａは、制限フレームデータと補償フレームデータの一方を生成し、生成した画像データを出力する。装置間分配部２０５Ｂは、制限フレームデータと補償フレームデータの他方を生成し、生成した画像データを出力する。具体的には、投影装置Ａが第１投影装置と同じ役割を担い、且つ、投影装置Ｂが第２投影装置と同じ役割を担う場合には、装置間分配部２０５Ａは制限フレームデータを生成し、装置間分配部２０５Ｂは補償フレームデータを生成する。投影装置Ａが第２投影装置と同じ役割を担い、且つ、投影装置Ｂが第１投影装置と同じ役割を担う場合には、装置間分配部２０５Ａは補償フレームデータを生成し、装置間分配部２０５Ｂは制限フレームデータを生成する。制限フレームデータの生成方法、補償フレームデータの生成方法、等は、実施例１と同じである。本実施例では、投影装置Ａと投影装置Ｂのそれぞれにおいて、高域強調フレームデータが生成される。そのため、投影装置Ａと投影装置Ｂのそれぞれにおいて、自身で生成された高域強調フレームデータを用いて制限フレームデータも補償フレームデータも生成することができる。
【００７２】
なお、第１投影装置の役割を担う投影装置などから、第２投影装置の役割を担う投影装置へ、制限処理による階調値の変化量を示す情報が出力されてもよい。この情報も「制限情報」と言える。そして、第２投影装置の役割を担う投影装置では、高域強調フレームデータを用いずに、制限処理による階調値の変化量を示す情報を用いて、補償フレームデータが生成されてもよい。それにより、第２投影装置の役割を担う投影装置において、制限
処理による階調値の変化量を高域強調フレームデータから判断する処理が不要となるため、処理負荷を低減することができる。
【００７３】
切り替えスイッチ２０８Ａ，２０８Ｂは、同期形成部１０９Ａ，１０９Ｂに実施例１と同様のデータが入力されるように、画像データの伝送路、輝度制御データの伝送路、等を切り替える。
【００７４】
具体的には、以下の処理が実現されるように、切り替えスイッチ２０８Ａが伝送路を切り替える。
・第１フレームの期間において、装置間分配部２０５Ａから出力された画像データを、同期形成部１０９Ａへ導く処理
・第２フレームの期間において、高域強調・高域抑圧部２０２Ａから出力された高域抑圧フレームデータを、同期形成部１０９Ａへ導く処理
・第１フレームの期間において、輝度復元部２０６Ａから出力された輝度制御データを、同期形成部１０９Ａへ導く処理
・第２フレームの期間において、基準輝度決定部２０７Ａから出力された輝度制御データを、同期形成部１０９Ａへ導く処理
【００７５】
また、以下の処理が実現されるように、切り替えスイッチ２０８Ｂが伝送路を切り替える。
・第１フレームの期間において、装置間分配部２０５Ｂから出力された画像データを、同期形成部１０９Ｂへ導く処理
・第２フレームの期間において、高域強調・高域抑圧部２０２Ｂから出力された高域抑圧フレームデータを、同期形成部１０９Ｂへ導く処理
・第１フレームの期間において、輝度復元部２０６Ｂから出力された輝度制御データを、同期形成部１０９Ｂへ導く処理
・第２フレームの期間において、基準輝度決定部２０７Ｂから出力された輝度制御データを、同期形成部１０９Ｂへ導く処理
【００７６】
以上述べた構成によれば、投影装置Ａと投影装置Ｂの一方において、実施例１の第１画像と同じ画像を表示することができ、投影装置Ａと投影装置Ｂの他方において、実施例１の第２画像と同じ画像を表示することができる。そのため、本実施例においても、実施例１と同様に、合成画像の画質を高精度に向上することができる。
【００７７】
さらに、本実施例では、投影装置の間での画像データの伝送は行われずに、データサイズが小さいデータ（指示；情報）のみが投影装置の間で伝送される。そのため、本実施例では、投影装置の間でのデータの伝送時間を短縮することができ、合成画像の表示に要する時間を短縮することができる。また、本実施例では、投影装置の間で伝送されるデータのデータサイズが小さいため、投影装置の間でのデータの伝送に高速インターフェース（高速データ通信が可能なインターフェース）を用いる必要がない。そして、上記伝送時間を短縮することにより、同期処理のために一時的に保持する必要があるデータ（伝送時間分のデータ）のデータサイズを低減することができ、同期形成部が有する記憶部の記憶容量を低減することができる。即ち、同期形成部が有する記憶部として、記憶容量の小さい安価な記憶部を用いることができる。そのため、各投影装置のコストを低減することができる。
【００７８】
なお、図５に示すように、図４の分配器２１３の代わりに、互いに異なる信号源１，２が使用されてもよい。図５の例では、信号源１が投影装置Ａに画像データを出力し、信号源２が、信号源１からの画像データの出力に同期して、投影装置Ｂに画像データを出力する。信号源１，２が出力する画像データは、入力画像データ（第１元画像データ）であってもよいし、そうでなくてもよい。例えば、第１画像データと第２画像データが予め生成され、第１画像データと第２画像データの一方が信号源１に予め記録され、第１画像データと第２画像データの他方が信号源２に予め記録されてもよい。そして、第１画像データと第２画像データの一方を信号源１が出力し、第１画像データと第２画像データの他方を信号源２が出力してもよい。そのような構成によれば、第１画像データと第２画像データを生成する機能を投影装置が有していなくても、高画質な合成画像の表示が可能となる。そして、投影装置のコストを大幅に低減することができる。
【００７９】
＜実施例３＞
以下、本発明の実施例３について説明する。なお、以下では、実施例１，２と異なる点（構成、処理、等）について詳しく説明し、実施例１，２と同じ点についての説明は省略する。本実施例では、実施例１と同様に、１台の投影装置にのみ入力画像データが入力される例を説明する。しかし、本実施例の処理は、各投影装置に入力画像データが入力される構成でも実施可能である。本実施例では、複数の投影装置が、表示可能な輝度の範囲（ダイナミックレンジ）が互いに異なる２台以上の投影装置を含む。ダイナミックレンジは、「表示可能な階調値の範囲である階調範囲」とも言える。
【００８０】
ダイナミックレンジが非常に広い表示装置、非常に広いダイナミックレンジが規定された画像フォーマット（画像データのデータフォーマット）、等が提案されている。非常に広いダイナミックレンジは、「ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）」などと呼ばれる。本実施例では、ＨＤＲ非対応の投影装置を投影装置Ａとして用い、ＨＤＲ対応の投影装置を投影装置Ｂとして用いる例を説明する。ＨＤＲ非対応の投影装置は、ダイナミックレンジが狭い投影装置であり、ＨＤＲ対応の投影装置は、ダイナミックレンジが広い投影装置である。
【００８１】
図６は、本実施例に係る投影システムの構成例を示すブロック図である。図６において、実施例１（図１）と同じ機能部には、実施例１と同じ符号が付されている。図６に示すように、本実施例に係る投影システムは、投影装置Ａと投影装置Ｂを有する。
【００８２】
ダイナミックレンジ取得部３１３は、複数の投影装置のそれぞれについて、ダイナミックレンジに関するレンジ情報を取得する（レンジ情報取得処理）。本実施例では、ダイナミックレンジ取得部３１３は、投影装置Ａのレンジ情報を予め記憶しており、投影装置Ｂのレンジ情報を投影装置Ｂから取得する。なお、レンジ情報の取得方法は特に限定されない。例えば、ユーザによってダイナミックレンジが指定されることにより、レンジ情報が取得されてもよい。インターネットからレンジ情報が取得されてもよい。投影装置のダイナミックレンジが変更可能である場合には、ダイナミックレンジの拡大、ダイナミックレンジの縮小、等が適宜行われてもよい。
【００８３】
飽和判断部３０３は、高域強調・高域抑圧部１０２から出力された高域強調フレームデータに飽和画素が存在するか否かを判断する。本実施例では、高域強調フレームデータと、ダイナミックレンジ取得部３１３によって取得されたレンジ情報とに基づいて、飽和画素の有無が判断される。具体的には、レンジ情報によって示されたダイナミックレンジ（階調範囲）の外側の階調値を有する画素が、飽和画素として検出される。この処理が、複数の投影装置のそれぞれについて行われる。ＨＤＲ対応の投影装置については、飽和画素が検出されることは略無い。
【００８４】
なお、飽和画素か否かの判断に用いる所定範囲は、ダイナミックレンジと異なっていてもよい。また、一部の投影装置についてのみ、飽和判断部３０３の上記処理が行われてもよい。例えば、実施例１の第１投影装置の役割を担う投影装置についてのみ、上記処理が行われてもよい。本実施例では、各投影装置のレンジ情報に基づいて、実施例１の第１投影装置の役割を担う投影装置と、実施例１の第２投影装置の役割を担う投影装置とが選択される。なお、投影装置の選択方法は特に限定されない。実施例１の第１投影装置の役割を担う投影装置と、実施例１の第２投影装置の役割を担う投影装置とは、予め定められていてもよい。
【００８５】
装置間分配部３０５は、ダイナミックレンジ取得部３１３によって取得された各レンジ情報に基づいて、複数の投影装置から第１投影装置と第２投影装置を選択する（装置選択処理）。本実施例では、装置間分配部３０５は、複数の投影装置のうち、ダイナミックレンジが最も広い投影装置でない投影装置を、第１投影装置として選択する。そして、装置間分配部３０５は、複数の投影装置のうち、ダイナミックレンジが第１投影装置の階調範囲よりも広い投影装置を、第２投影装置として選択する。本実施例では、投影装置Ａのダイナミックレンジは、投影装置Ｂのダイナミックレンジよりも狭い。そのため、投影装置Ａが第１投影装置として選択され、投影装置Ｂが第２投影装置として選択される。
【００８６】
装置間分配部３０５は、高域強調・高域抑圧部１０２から出力された高域強調フレームデータに制限処理を施すことにより、制限フレームデータを生成する。本実施例では、制限処理として、第１投影装置のダイナミックレンジの外側の階調値を、第１投影装置のダイナミックレンジの内側の階調値に制限する処理が行われる。なお、制限処理で使用される所定範囲は、ダイナミックレンジと異なっていてもよい。
【００８７】
また、装置間分配部３０５は、高域強調・高域抑圧部１０２から出力された高域強調フレームデータの階調値に、上記制限処理による階調値の変化量を加算することにより、補償フレームデータを生成する。即ち、本実施例では、制限前画像データ（制限前画像データのフレームデータ）と等しい画像データが、第２元画像データとして常に使用される。具体的には、高域強調フレームデータが第２元画像データとして常に使用される。
【００８８】
基準輝度決定部３０７Ａ，３０７Ｂは、実施例１の基準輝度決定部１０７と同様の機能を有する。但し、本実施例では、基準輝度決定部３０７Ａは、輝度制御データを同期形成部１０９Ａに直接出力し、基準輝度決定部３０７Ｂは、輝度制御データを同期形成部１０９Ｂに直接出力する。
【００８９】
切り替えスイッチ３０８は、実施例１の切り替えスイッチ１０８と同様の機能を有する。但し、本実施例では、切り替えスイッチ３０８は、輝度制御データの伝送路の切り替えは行わず、以下の処理が実現されるように画像データの伝送路の切り替えを行う。
・第１フレームの期間において、装置間分配部３０５から出力された制限フレームデータを、第１投影装置の同期形成部へ導く処理
・第１フレームの期間において、装置間分配部３０５から出力された補償フレームデータを、第２投影装置の同期形成部へ導く処理
・第２フレームの期間において、高域強調・高域抑圧部１０２から出力された高域抑圧フレームデータを、第１投影装置の同期形成部と、第２投影装置の同期形成部とへ導く処理
【００９０】
本実施例に係る投影システムの処理の具体例と効果について、図７を用いて説明する。本実施例では、図７に示すように、第１投影装置（投影装置Ａ）にのみ入力画像データが
入力される。そして、第１投影装置により、第１投影装置と第２投影装置（投影装置Ｂ）のそれぞれについて、出力画像データが生成される。第２投影装置の出力画像データは、第１投影装置から第２投影装置へ伝送され、第２投影装置によって表示される。
【００９１】
図７において、「ＤＲ１」は、第１投影装置のダイナミックレンジを示し、「ＤＲ２」は、第２投影装置のダイナミックレンジを示す。図７に示すように、本実施例では、第１投影装置のダイナミックレンジＤＲ１は、第２投影装置のダイナミックレンジＤＲ２よりも狭い。
【００９２】
本実施例では、第１投影装置は、入力画像データから、中間画像データとして高域強調フレームデータを生成する。具体的には、図７に示すように、第１フレームと第１投影装置に対応する中間画像データ、及び、第１フレームと第２投影装置に対応する中間画像データとして、高域強調フレームデータが生成される。図７の例では、高域強調フレームデータは、第１投影装置のダイナミックレンジの外側の階調値を有する飽和画素を含む。しかし、第２投影装置のダイナミックレンジは広いため、高域強調フレームデータは、第２投影装置のダイナミックレンジの外側の階調値を有する飽和画素を含まない。
【００９３】
本実施例では、図７に示すように、装置間分配部３０５は、高域強調フレームデータに制限処理を施すことにより、第１フレームと第１投影装置に対応する出力画像データを生成する。そして、装置間分配部３０５は、高域強調フレームデータに、制限処理による階調値の変化量を加算することにより、第１フレームと第２投影装置に対応する出力画像データを生成する。また、図７に示すように、第１投影装置は、第２フレーム、第１投影装置、及び、第２投影装置に対応する出力画像データとして高域抑圧フレームデータを生成する。
【００９４】
第２投影装置のダイナミックレンジは広いため、上記加算後の階調値が第２投影装置のダイナミックレンジの外側の階調値となることは少ない。上記加算後の階調値が第２投影装置のダイナミックレンジの上限階調値（階調値の上限）を上回ったとしても、上記加算後の階調値と上限階調値との差は、制限処理による階調値の変化量よりも小さい。同様に、上記加算後の階調値が第２投影装置のダイナミックレンジの下限階調値（階調値の下限）を下回ったとしても、上記加算後の階調値と下限階調値との差は、制限処理による階調値の変化量よりも小さい。
【００９５】
このように、本実施例でも、第１フレームと第１投影装置に対応する画像データに対する制限処理による階調値の変化は、第２フレームの画像データでは補われずに、当該第１フレームと第２投影装置に対応する画像データで補われる。それにより、合成画像の画質を高精度に向上することができる。
【００９６】
また、本実施例では、ダイナミックレンジが広い投影装置を第２投影装置として用いることで、高域強調フレームデータを第２元画像データとして常に使用することができる。これにより、発光部の発光輝度を変えずに、合成画像の輝度変動などを抑制することができる。具体的には、第１フレームと出力画像データの輝度分布とに対応するスタック輝度の分布として、図１２において第１フレームと中間画像データの輝度分布とに対応するスタック輝度の分布と同等の分布を得ることができる。それにより、画像の再現性を維持しつつ、スタック投影による高輝度な表示（投影）を実現することができる。さらに、本実施例では、実施例１，２のオフセット値は使用されないため、オフセット値による輝度の増加は生じない。そのため、第１フレームと出力画像データの輝度分布とに対応するスタック輝度として、図１２において第１フレームと中間画像データの輝度分布とに対応するスタック輝度と同等の輝度を得ることができる。
【００９７】
＜実施例４＞
以下、本発明の実施例４について説明する。なお、以下では、実施例１〜３と異なる点（構成、処理、等）について詳しく説明し、実施例１〜３と同じ点についての説明は省略する。本実施例では、実施例１と同様に、１台の投影装置にのみ入力画像データが入力される例を説明する。しかし、本実施例の処理は、各投影装置に入力画像データが入力される構成でも実施可能である。本実施例では、入力画像データとして、複数の画像データが入力される。複数の入力画像データは、複数の投影装置によって表示されることを想定して生成された複数の画像データである。
【００９８】
投影装置の画像表示における自由度の高さを活かした投影方法として、「プロジェクションマッピング」と呼ばれる投影方法が提案されている。プロジェクションマッピングでは、例えば、建造物の表面などを投影面として用いた投影が行われる。投影装置の画像表示における自由度の高さを活かした投影方法は、今後、盛んに提案されるものと考えられる。
【００９９】
一例として、互いに異なる２つの画像データに基づく２つの画像を合成して表示する場合を考える。直視型の表示装置を用いる場合は、「アルファブレンド」と呼ばれる合成方法を用いて２つの画像データの合成が行われる。アルファブレンドでは、例えば、２つの画像データの加重平均が、合成画像データとして生成される。しかしながら、画像データを合成する方法では、階調性、空間解像度、等が、合成前の画像データのそれらから低下してしまう。例えば、２つの画像データを０．５：０．５の重み（ブレンド率）で合成すると、階調性、空間解像度、等が半減してしまう。
【０１００】
そこで、合成したい２つの画像の一方である画像Ｉ１を投影装置Ｐ１で表示し、２つの画像の他方であるＩ２を投影装置Ｐ２で画像Ｉ１に重ねて表示する。このような方法によれば、階調性、空間解像度、等の上記低下を抑制することができる。本実施例は、このような表示（投影）を想定した例である。
【０１０１】
図８は、本実施例に係る投影システムの構成例を示すブロック図である。図８において、実施例１，３（図１，６）と同じ機能部には、実施例１，３と同じ符号が付されている。図８に示すように、本実施例に係る投影システムは、第１投影装置と第２投影装置を有する。
【０１０２】
フレームレート変換部４０１は、実施例１のフレームレート変換部１０１と同様の機能を有する。但し、本実施例では、フレームレート変換部４０１は、複数の入力画像データのそれぞれについて、フレームレート変換部１０１の処理と同様の処理を行う。本実施例では、複数の入力画像データとして、２つの入力画像データＩＤ１，ＩＤ２が入力される。入力画像データが静止画データである場合には、フレームレート変換部４０１は、当該静止画データを、変換動画データのフレームデータとして出力する。例えば、入力画像データＩＤ１が動画データであり、且つ、入力画像データＩＤ２が静止画データである場合には、フレームレート変換部４０１は、動画データＩＤ１から生成された変換動画データのフレームレートで、静止画データＩＤ２を繰り返し出力する。
【０１０３】
レイヤ情報取得部４１３は、複数の入力画像データのそれぞれについて、入力画像データに関するレイヤ情報（画像情報）を取得する（画像情報取得処理）。本実施例では、レイヤ情報として、入力画像データが静止画データであるか動画データであるかを示す情報が取得される。なお、レイヤ情報の取得方法は特に限定されない。例えば、ユーザによって指定された情報が、レンジ情報として取得されてもよい。入力画像データに付加されているメタデータ（ヘッダ情報）からレイヤ情報が抽出されてもよい。また、レイヤ情報は上記情報に限られない。例えば、入力画像データの優先順位を示す情報（前景の画像デー
タであるか背景の画像データであるかを示す種類情報、ブレンド率、等）が、レイヤ情報として使用されてもよい。
【０１０４】
高域強調・高域抑圧部４０２は、複数の入力画像データのそれぞれについて、レイヤ情報取得部４１３によって取得されたレイヤ情報に基づいて、強調処理と抑圧処理を実行するか否かを判断する。「強調処理と抑圧処理を実行する」と判断された入力画像データについて、高域強調・高域抑圧部４０２は、フレームレート変換部４０１から出力されたフレームデータから高域強調フレームデータと高域抑圧フレームデータを生成する。そして、高域強調・高域抑圧部４０２は、高域強調フレームデータを飽和判断部４０３と装置間分配部４０５へ出力し、高域抑圧フレームデータを切り替えスイッチ４０８へ出力する。「強調処理と抑圧処理を実行しない」と判断された入力画像データについて、高域強調・高域抑圧部４０２は、フレームレート変換部４０１から出力されたフレームデータを、そのまま、飽和判断部４０３と装置間分配部４０５へ出力する。なお、フレームレート変換部４０１から出力されたフレームデータには飽和画素は存在しないため、フレームレート変換部４０１から出力されたフレームデータは、飽和判断部４０３へ出力されなくてもよい。
【０１０５】
本実施例では、入力画像データが動画データである場合に、「強調処理と抑圧処理を実行する」と判断され、入力画像データが静止画データである場合に、「強調処理と抑圧処理を実行しない」と判断される。なお、判断方法は特に限定されない。例えば、入力画像データが前景の画像データである場合に、「強調処理と抑圧処理を実行する」と判断され、入力画像データが背景の画像データである場合に、「強調処理と抑圧処理を実行しない」と判断されてもよい。入力画像データのブレンド率が閾値以上である場合に、「強調処理と抑圧処理を実行する」と判断され、入力画像データのブレンド率が閾値未満である場合に、「強調処理と抑圧処理を実行しない」と判断されてもよい。
【０１０６】
詳細は後述するが、本実施例では、「強調処理と抑圧処理を実行する」と判断された入力画像データが第１元画像データとして使用され、「強調処理と抑圧処理を実行しない」と判断された入力画像データが第２元画像データとして使用される。そのため、「強調処理と抑圧処理を実行するか否かの判断」は、「複数のレイヤ情報に基づいて、複数の入力画像データから第１元画像データと第２元画像データを選択する画像選択処理」とも言える。
【０１０７】
なお、画像選択処理は行われなくてもよい。例えば、第１元画像データとして使用される入力画像データと、第２元画像データとして使用される入力画像データとが予め定められていてもよい。具体的には、第１投影装置が２つの入力端子Ｔ１，Ｔ２を有しており、入力端子Ｔ１に入力された画像データが第１元画像データとして使用され、入力端子Ｔ２に入力された画像データが第２元画像データとして使用されてもよい。そのような構成では、例えば、入力端子Ｔ１に動画データが入力され、入力端子Ｔ２に静止画データが入力される。
【０１０８】
飽和判断部４０３は、高域強調・高域抑圧部４０２から出力された各フレームデータ（高域強調フレームデータ、または、強調処理と抑圧処理が施されていないフレームデータ）について、フレームデータに飽和画素が存在するか否かを判断する。そして、飽和判断部４０３は、上記判断の結果を装置間分配部４０５へ出力する。飽和画素は、高域強調フレームデータに存在し得るものであり、未処理フレームデータ（強調処理と抑圧処理が施されていないフレームデータ）には存在しない。そのため、高域強調フレームデータについては判断結果として「飽和画素あり」または「飽和画素なし」が得られ、未処理フレームデータについては判断結果として「飽和画素なし」が得られる。本実施例では、未処理フレームデータは、第１投影装置に入力された静止画データである。
【０１０９】
装置間分配部４０５は、飽和判断部４０３の判断結果に基づいて、高域強調・高域抑圧部４０２から出力された高域強調フレームデータに制限処理を施すことにより、制限フレームデータを生成する。また、装置間分配部４０５は、高域強調・高域抑圧部１０２から出力された未処理フレームデータの階調値に、上記制限処理による階調値の変化量を加算することにより、補償フレームデータを生成する。制限フレームデータは切り替えスイッチ４０８へ出力され、補償フレームデータは同期形成部１０９Ｂへ出力される。本実施例では、第１フレームの期間と第２フレームの期間の両方において、補償フレームデータが同期形成部１０９Ｂへ導かれる。
【０１１０】
第３元画像データは、制限処理の対象である。そのため、本実施例では、高域強調フレームデータが第３元画像データとして使用される。そして、第１元画像データは、第３元画像データの元となる画像データである。そのため、本実施例では、「強調処理と抑圧処理を実行する」と判断された入力画像データが第１元画像データとして使用される。また、第２元画像データは、制限処理による階調値の変化量の加算の対象である。そのため、本実施例では、「強調処理と抑圧処理を実行しない」と判断された入力画像データが第２元画像データとして使用される。具体的には、「強調処理と抑圧処理を実行しない」と判断された入力画像データから得られた未処理フレームデータが第２元画像データとして使用される。本実施例では、第１投影装置に入力された静止画データが第２元画像データとして使用される。
【０１１１】
切り替えスイッチ４０８は、実施例１の切り替えスイッチ１０８と同様の機能を有する。但し、本実施例では、切り替えスイッチ４０８は、輝度制御データの伝送路の切り替えは行わず、以下の処理が実現されるように画像データの伝送路の切り替えを行う。
・第１フレームの期間において、装置間分配部４０５から出力された制限フレームデータを、同期形成部１０９Ａへ導く処理
・第２フレームの期間において、高域強調・高域抑圧部４０２から出力された高域抑圧フレームデータを、同期形成部１０９Ａへ導く処理
【０１１２】
なお、入力画像データＩＤ１と入力画像データＩＤ２の両方について、「強調処理と抑圧処理を実行する」と判断されることがある。その場合には、例えば、２つの入力画像データＩＤ１，ＩＤ２から生成された２つの高域強調フレームデータのうち、飽和画素が存在する高域強調フレームデータが、第３元画像データとして使用される。また、上記２つの高域強調フレームデータのうち、飽和画素が存在しない高域強調フレームデータが、第２元画像データとして使用される。そして、第１フレームの期間において、制限フレームデータが同期形成部１０９Ａへ導かれ、補償フレームデータが同期形成部１０９Ｂへ導かれる。また、第２フレームの期間において、２つの入力画像データＩＤ１，ＩＤ２から生成された２つの高域抑圧フレームデータの一方が同期形成部１０９Ａへ導かれ、２つの高域抑圧フレームデータの他方が同期形成部１０９Ｂへ導かれる。
【０１１３】
上記２つの高域強調フレームデータの両方に飽和画素が存在する場合には、２つの高域強調フレームデータのうち、飽和画素の飽和量が相対的に大きい高域強調フレームデータが、第３元画像データとして使用されてもよい。そして、２つの高域強調フレームデータのうち、飽和画素の飽和量が相対的に小さい高域強調フレームデータが、第２元画像データとして使用されてもよい。飽和画素の階調値が所定範囲の上限階調値よりも大きい場合において、「飽和量」は「上限階調値と飽和画素の階調値との差」を意味する。飽和画素の階調値が所定範囲の下限階調値よりも小さい場合において、「飽和量」は「下限階調値と飽和画素の階調値との差」を意味する。
【０１１４】
本実施例に係る投影システムの処理の具体例と効果について、図９を用いて説明する。本実施例では、図９に示すように、第１投影装置に入力画像データＩＤ１，ＩＤ２が入力される。そして、第１投影装置により、第１投影装置と第２投影装置のそれぞれについて、出力画像データが生成される。第２投影装置の出力画像データは、第１投影装置から第２投影装置へ伝送され、第２投影装置によって表示される。
【０１１５】
ここでは、入力画像データＩＤ１が動画データであり、且つ、入力画像データＩＤ２が静止画データである例を説明する。本実施例では、第１投影装置は、入力画像データＩＤ１を第１元画像データとして用い、入力画像データＩＤ２を第２元画像データとして用いる。図９において、入力画像データＩＤ１の輝度分布と入力画像データＩＤ２の輝度分布とに対応するスタック輝度の分布は、入力画像データＩＤ１の輝度分布と入力画像データＩＤ２の輝度分布との和である。以後、「入力画像データＩＤ１の輝度と入力画像データＩＤ２の輝度との和」を「想定輝度」と記載する。
【０１１６】
強調処理と圧縮処理は、動画視認性を向上するために行われる。そのため、本実施例では、第１投影装置は、動画データである入力画像データＩＤ１に対してのみ強調処理と圧縮処理を施す。それにより、図９に示すように、第１フレームと第１投影装置に対応する中間画像データとして高域強調フレームデータが生成される。そして、第２フレームと第１投影装置に対応する出力画像データとして高域抑圧フレームデータが生成される。また、第１フレームと第２投影装置に対応する中間画像データ、及び、第２フレームと第２投影装置に対応する出力画像データとしては、静止画データである入力画像データＩＤ２が採用される。
【０１１７】
本実施例では、図９に示すように、装置間分配部４０５は、高域強調フレームデータに制限処理を施すことにより、第１フレームと第１投影装置に対応する出力画像データを生成する。そして、装置間分配部４０５は、入力画像データＩＤ２に、制限処理による階調値の変化量を加算することにより、第１フレームと第２投影装置に対応する出力画像データを生成する。入力画像データＩＤ２には飽和画素は存在しないため、上記加算により、制限処理による画質劣化（合成画像の画質の劣化）を抑制しつつ、飽和量、飽和画素の数、等を低減することができる。
【０１１８】
このように、本実施例でも、第１フレームと第１投影装置に対応する画像データに対する制限処理による階調値の変化は、第２フレームの画像データでは補われずに、当該第１フレームと第２投影装置に対応する画像データで補われる。それにより、合成画像の画質を高精度に向上することができる。また、本実施例でも、合成画像の輝度変動などを抑制することができる。具体的には、図９に示すように、知覚輝度の分布として想定輝度の分布と同等の分布を得ることができる。それにより、画像の再現性を維持しつつ、スタック投影による高輝度な表示（投影）を実現することができる。さらに、本実施例では、実施例１，２のオフセット値は使用されないため、オフセット値による輝度の増加は生じない。そのため、知覚輝度として想定輝度と同等の輝度を得ることができる。
【０１１９】
＜実施例５＞
以下、本発明の実施例５について説明する。なお、以下では、実施例１〜４と異なる点（構成、処理、等）について詳しく説明し、実施例１〜４と同じ点についての説明は省略する。本実施例では、実施例２と同様に、各投影装置に入力画像データが入力される例を説明する。しかし、本実施例の処理は、１台の投影装置にのみ入力画像データが入力される構成でも実施可能である。また、本実施例では、実施例４と同様に、投影装置間で入力画像データが異なる例を説明する。しかし、本実施例の処理は、投影装置間で入力画像データが等しい場合でも実施可能である。
【０１２０】
実施例１〜４では、所定の画像処理として、フレームレート変換処理、強調処理、抑圧処理、制限処理、等を含む画像処理が行われる例を説明した。本実施例では、フレームレート変換処理、強調処理、及び、抑圧処理の代わりに、入力画像データの各階調値に所定のゲイン値を乗算する乗算処理が行われる例を説明する。一般的な表示装置は、ユーザの好みに応じて、表示画像の輝度、表示画像のコントラスト、等を調整する機能を有する。このような調整は、例えば、ユーザから指示に応じて画像データに所定のゲイン値を乗じることにより実現される。画像データの階調値には上限と下限があるため、上記調整後の状態（輝度、コントラスト、等）にも上限と下限がある。そのため、上限よりも大きい階調値は上限に制限されたり、下限よりも小さい階調値は下限に制限されたりする。または、階調値が上限を上回ったり階調値が下限を下回ったりしないように、ゲイン値が制限される。
【０１２１】
図１０は、本実施例に係る投影システムの構成例を示すブロック図である。図１０において、実施例１，３（図１，６）と同じ機能部には、実施例１，３と同じ符号が付されている。図１０に示すように、本実施例に係る投影システムは、第１投影装置と第２投影装置を有する。
【０１２２】
信号伸張部５０２Ａは、入力画像データＩＤ１の各階調値に所定のゲイン値を乗算することにより、第１伸張画像データを生成する（乗算処理）。同様に、信号伸張部５０２Ｂは、入力画像データＩＤ２の各階調値に所定のゲイン値を乗算することにより、第２伸張画像データを生成する。
【０１２３】
なお、入力画像データＩＤ１の各階調値に乗算するゲイン値は、入力画像データＩＤ２の各階調値に乗算するゲイン値と同じであってもよいし、異なっていてもよい。ゲイン値は、メーカによって予め定められた固定値であってもよいし、ユーザからの指示、投影システムの使用環境、等に応じて適宜変更される値であってもよい。入力画像データＩＤ２に対する乗算処理は省略されてもよい。また、入力画像データＩＤ１と入力画像データＩＤ２のそれぞれは、動画データであってもよいし、静止画データであってもよい。
【０１２４】
なお、乗算処理に起因した飽和画素が発生しやすい画像データを入力画像データＩＤ１として用い、乗算処理に起因した飽和画素が発生しにくい画像データを入力画像データＩＤ２として用いることが好ましい。例えば、所定範囲の中心から離れた階調値を有する画素が多い画像データを入力画像データＩＤ１として用い、所定範囲の中心から離れた階調値を有する画素が少ない画像データを入力画像データＩＤ２として用いることが好ましい。相対的に重要度が高い画像データを入力画像データＩＤ１として用い、相対的に重要度が低い画像データを入力画像データＩＤ２として用いてもよい。
【０１２５】
装置間分配部５０５は、第１伸張画像データに制限処理を施すことにより、制限画像データを生成する。制限画像データの生成方法は、実施例１の制限フレームデータの生成方法と同じである。そして、装置間分配部５０５は、制限画像データを同期形成部１０９Ａへ出力する。また、装置間分配部５０５は、行った制限処理による階調値の変化量を、加算部５１３へ通知する。「制限処理による階調値の変化量」は「制限情報」とも言える。
【０１２６】
加算部５１３は、上記制限情報に基づいて、制限処理による階調値の変化を補う補償画像データを生成する。補償画像データの生成方法は、実施例１の補償フレームデータの生成方法と同じである。具体的には、加算部５１３は、第２伸張画像データの階調値に、上記制限処理による階調値の変化量を加算することにより、補償画像データを生成する。そして、加算部５１３は、補償画像データを同期形成部１０９Ｂへ出力する。
【０１２７】
本実施例に係る投影システムの処理の具体例と効果について、図１１を用いて説明する。図１１に示すように、本実施例では、第１投影装置と第２投影装置のそれぞれに入力画像データが入力される。また、本実施例では、第１投影装置の入力画像データＩＤ１は、第２投影装置の入力画像データＩＤ２と異なる。
【０１２８】
本実施例では、図１０に示すように、信号伸張部５０２Ａは、入力画像データＩＤ１の各階調値にゲイン値を乗算することにより、第１投影装置に対応する中間画像データとして、第１伸張画像フレームデータを生成する。また、信号伸張部５０２Ｂは、入力画像データＩＤ２の各階調値にゲイン値を乗算することにより、第２投影装置に対応する中間画像データとして、第２伸張画像フレームデータを生成する。図１０の例では、第１伸張画像データは飽和画素を含み、第２伸張画像データは飽和画素を含まない。
【０１２９】
本実施例では、図１０に示すように、装置間分配部５０５は、第１伸張画像データに制限処理を施すことにより、第１投影装置に対応する出力画像データを生成する。そして、加算部５１３は、第２伸張画像データに、制限処理による階調値の変化量を加算することにより、第２投影装置に対応する出力画像データを生成する。上記加算により、制限処理による画質劣化（合成画像の画質の劣化）を抑制しつつ、飽和量、飽和画素の数、等を低減することが期待できる。
【０１３０】
なお、実施例１〜５の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
【０１３１】
なお、実施例１〜５はあくまで一例であり、本発明の要旨の範囲内で実施例１〜５の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１〜５の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
【０１３２】
＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１３３】
１０５，２０５Ａ，２０５Ｂ，３０５，４０５：装置間分配部  ５１３：加算部
【図１】
2018072418.tif 000003
【図２】
2018072418.tif 000004
【図３】
2018072418.tif 000005
【図４】
2018072418.tif 000006
【図５】
2018072418.tif 000007
【図６】
2018072418.tif 000008
【図７】
2018072418.tif 000009
【図８】
2018072418.tif 000010
【図９】
2018072418.tif 000011
【図１０】
2018072418.tif 000012
【図１１】
2018072418.tif 000013
【図１２】
2018072418.tif 000014