(57)【要約】【課題】動画視認性向上と高解像度化の両立をすることを可能にする。【解決手段】画像生成装置は、複数のフレームを含む入力画像信号を入力する入力部と、入力画像信号のフレーム間の動き量に関連する情報を取得する取得部と、入力画像信号に基づいて表示画像信号を生成する生成部と、を備える。生成部は、動き量が閾値より小さい場合に、入力画像信号の対象フレームを互いに異なる位相で間引いて得られた２以上の所定数の処理フレームに基づいて表示画像信号を生成する第１の生成処理を実行し、動き量が閾値以上の場合に、入力画像信号の対象フレームを間引いて得られた処理フレームに基づいて表示画像信号を生成する第２の生成処理を実行する。【選択図】  図１
2020061593.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームを含む入力画像信号を入力する入力手段と、
前記入力画像信号のフレーム間の動き量に関連する情報を取得する第１取得手段と、
前記入力画像信号に基づいて表示画像信号を生成する生成手段と、を備え、
前記生成手段は、前記動き量が閾値より小さい場合に、前記入力画像信号の対象フレームを互いに異なる位相で間引いて得られた２以上の所定数の処理フレームに基づいて前記表示画像信号を生成する第１の生成処理を実行し、前記動き量が前記閾値以上の場合に、前記入力画像信号の対象フレームを間引いて得られた処理フレームに基づいて前記表示画像信号を生成する第２の生成処理を実行することを特徴とする画像生成装置。
【請求項２】
前記第１の生成処理において、前記生成手段は、前記入力画像信号の前記複数のフレームを前記所定数ごとに間引いて得られたフレームを前記対象フレームとして用いて、１枚の前記対象フレームから前記所定数の処理フレームを得ることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記第２の生成処理において、前記生成手段は、前記入力画像信号の前記複数のフレームのそれぞれを前記対象フレームとして用い、１枚の前記対象フレームから１枚の処理フレームを生成することを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
前記第２の生成処理において、前記生成手段は、前記入力画像信号の前記複数のフレームのうちの連続する２つのフレームの間に当該２つのフレームの動き量に基づいて生成された動き補完フレームを挿入し、前記複数のフレームと前記補完フレームのそれぞれを前記対象フレームとして用いることを特徴とする請求項１または２に記載の画像生成装置。
【請求項５】
前記入力画像信号のフレームの空間周波数に関連する情報を取得する第２取得手段をさらに備え、
前記生成手段は、前記空間周波数に関連する情報にさらに基づいて、前記第１の生成処理を実行するか前記第２の生成処理を実行するかを決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像生成装置。
【請求項６】
前記空間周波数に関連する情報に基づいて、前記入力画像信号のフレームが高周波数成分を有する画像であるか否かを判定する判定手段をさらに備え、
前記生成手段は、
前記動き量が第１の閾値以上であり、かつ、前記判定手段が前記高周波数成分を有する画像であると判定した場合に、前記第１の生成処理で前記表示画像信号を生成し、
前記動き量が前記第１の閾値以上であり、かつ、前記判定手段が前記高周波数成分を有する画像でないと判定した場合に、前記第２の生成処理で前記表示画像信号を生成する、ことを特徴とする請求項５に記載の画像生成装置。
【請求項７】
前記動き量が前記第１の閾値よりも小さい場合、前記生成手段は、前記判定手段の判定結果によらずに、前記第１の生成処理で前記表示画像信号を生成することを特徴とする請求項６に記載の画像生成装置。
【請求項８】
前記動き量が前記第１の閾値よりも大きい第２の閾値以上である場合、前記生成手段は、前記判定手段の判定結果によらずに、前記第２の生成処理で前記表示画像信号を生成することを特徴とする請求項６または７に記載の画像生成装置。
【請求項９】
前記生成手段は、前記表示画像信号に、前記生成手段が前記表示画像信号の生成に用いた生成処理を示すメタデータを生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像生成装置。
【請求項１０】
前記メタデータは、さらに、前記第１の生成処理が用いられた場合の間引きの位相を示すことを特徴とする請求項９に記載の画像生成装置。
【請求項１１】
入力された表示画像信号に基づいて、投影画像を投影面に投影する投影装置であって、
フレームに基づいて前記投影画像を出力する投影手段と、
前記投影画像の投影位置を制御する移動手段と、
前記表示画像信号の複数のフレーム間の動き情報を取得する取得手段と、を備え、
前記移動手段は、前記表示画像信号のフレーム間の前記動き情報の変化が所定の周期で所定のパターンを繰り返す場合に、前記投影位置を前記所定の周期で移動するように制御することを特徴とする投影装置。
【請求項１２】
前記移動手段は、前記動き情報が示すフレームの位置から当該フレームの投影位置を決定することを特徴とする請求項１１に記載の投影装置。
【請求項１３】
前記入力された表示画像信号に付加されたメタデータに基づいて、前記表示画像信号がフレーム間の前記動き情報の変化が前記所定の周期で前記所定のパターンを繰り返すか否かを判定する判定手段をさらに備え、
前記移動手段は、前記判定手段の判定結果に基づいて、前記投影位置を制御することを特徴とする請求項１１に記載の投影装置。
【請求項１４】
画像生成装置と投影装置を有する投影システムであって、
前記画像生成装置は、
複数のフレームを含む入力画像信号を入力する入力手段と、
前記入力画像信号のフレーム間の動き量に関連する情報を取得する第１取得手段と、
前記入力画像信号に基づいて表示画像信号を生成する生成手段であって、前記動き量が閾値より小さい場合に、前記入力画像信号の対象フレームを互いに異なる位相で間引いて得られた２以上の所定数の処理フレームに基づいて前記表示画像信号を生成する第１の生成処理を実行し、前記動き量が前記閾値以上の場合に、前記入力画像信号の対象フレームを間引いて得られた処理フレームに基づいて前記表示画像信号を生成する第２の生成処理を実行する生成手段と、を備え
前記投影装置は、
前記画像生成装置から受信した前記表示画像信号に基づいて投影を行う投影手段と、
前記表示画像信号の複数のフレーム間の動きに関連する情報を取得する第２取得手段と、
前記投影手段による前記表示画像信号の複数のフレームの投影位置を制御する移動手段であって、前記動き量の変化が所定の周期で所定のパターンを繰り返す場合に、前記投影位置を前記所定の周期で移動するように制御する移動手段と、を備える、ことを特徴とする投影システム。
【請求項１５】
複数のフレームを含む入力画像信号を入力する入力工程と、
前記入力画像信号のフレーム間の動き量に関連する情報を取得する取得工程と、
前記入力画像信号に基づいて表示画像信号を生成する生成工程と、を備え、
前記生成工程は、前記動き量が閾値より小さい場合に、前記入力画像信号の対象フレームを互いに異なる位相で間引いて得られた２以上の所定数の処理フレームに基づいて前記表示画像信号を生成する第１の生成処理を実行し、前記動き量が前記閾値以上の場合に、前記入力画像信号の対象フレームを間引いて得られた処理フレームに基づいて前記表示画像信号を生成する第２の生成処理を実行することを特徴とする画像生成方法。
【請求項１６】
入力された表示画像信号に基づいて、投影画像を投影面に投影する投影装置による投影方法であって、
フレームに基づいて前記投影画像を出力する投影工程と、
前記投影画像の投影位置を制御する移動工程と、
前記表示画像信号の複数のフレーム間の動き情報を取得する取得工程と、を備え、
前記移動工程は、前記表示画像信号のフレーム間の前記動き情報の変化が所定の周期で所定のパターンを繰り返す場合に、前記投影位置を前記所定の周期で移動するように制御することを特徴とする投影方法。
【請求項１７】
コンピュータを、請求項１乃至１０のいずれか１項に記載された画像生成装置の各手段として機能させるためのプログラム。
【請求項１８】
コンピュータを、請求項１１乃至１３のいずれか１項に記載された投影装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影の対象となる表示画像を生成する画像生成装置、画像生成装置が生成した表示画像を投影する投影装置、及びそれら画像生成装置と投影装置を有する投影システムに関する。
【背景技術】
【０００２】
近年、高解像度画像を表示する投影装置の普及が進んでいる。例えば、水平方向３８４０画素×垂直方向２１６０画素の高解像度画像は、一般的に「４Ｋ画像」と呼ばれている。また、８Ｋ解像度（水平７６８０画素×垂直４３２０画素）を有するスーパーハイビジョン表示システムの開発も進んでおり、映像コンテンツの高解像度化が進んでいる。このような流れを受けて、４Ｋ解像度の表示装置および８Ｋ解像度の表示装置の開発が進んでいる。
【０００３】
一方、投影装置において、空間的な解像度を向上させる技術として画素ずらし技術が知られている。この技術は、投影位置に対応する投影画像を制御することにより、表示素子が備える解像度以上の高解像度化を実現する技術である。画素ずらし技術では、一つのフレームから複数の投影位置に対応した画像を生成して、これらを投影位置に応じて順次表示することで見た目の解像感を向上させている。
【０００４】
特許文献１では、画像生成装置でサンプリング位相の異なる画素ずらし用の画像（以下、画素ずらし画像）を生成し、画素ずらし画像をフレームシーケンシャルに投影装置に入力することで高画質化を実現する技術が開示されている。特許文献１における画素ずらし画像は、１枚の入力画像のフレームから４枚のサブフレームを生成し解像感を向上させているため、フレームレートが通常フレームレートの４倍になる。一方で、特許文献１では、通常フレームレートの４倍のフレームレートを有するが画素ずらしが行われていない画像が入力されるケースも想定されている。投影装置は、画素ずらし画像であるか否かを外部装置からの制御信号により判断する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１７６０１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、画像生成装置においてＣＧを利用するソフトウェアが４倍のフレームレートの画像を生成し出力すること、ソフトウェアが画素ずらし機能を持っていれば画素ずらし画像を出力することが記載されているにすぎない。一般に、４倍速のフレームレートのように高フレームレートの画像を投影すると、見た目の動き視認性が向上する。このような、高フレームレートにより時間的な動きの再現性を向上させた画像をＨＦＲ（Ｈｉｇｈ  Ｆｒａｍｅ  Ｒａｔｅ）画像と称する。
【０００７】
特許文献１では、解像感を重視する場合には画素ずらし画像を生成し、動き再現性を重視する場合にはＨＦＲ画像を生成するというような、画素ずらし画像とＨＦＲ画像の使い分けが考慮されていない。結果として、例えば、解像感を要求する静止画と動き再現性を要求する動画とが混在したようなコンテンツに対して解像感の向上と動画視認性の向上を両立させることが困難であった。すなわち、ユーザーがそのようなコンテンツを視聴する際には、動画視認性向上と高解像度化のどちらかを犠牲にしなければならいないという課題があった。
【０００８】
本発明は、画像信号の投影表示において、動画視認性向上と高解像度化の両立を可能にすることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための、本発明の一態様による画像生成装置は以下の構成を備える。すなわち、
複数のフレームを含む入力画像信号を入力する入力手段と、
前記入力画像信号のフレーム間の動き量に関連する情報を取得する第１取得手段と、
前記入力画像信号に基づいて表示画像信号を生成する生成手段と、を備え、
前記生成手段は、前記動き量が閾値より小さい場合に、前記入力画像信号の対象フレームを互いに異なる位相で間引いて得られた２以上の所定数の処理フレームに基づいて前記表示画像信号を生成する第１の生成処理を実行し、前記動き量が前記閾値以上の場合に、前記入力画像信号の対象フレームを間引いて得られた処理フレームに基づいて前記表示画像信号を生成する第２の生成処理を実行する。
【発明の効果】
【００１０】
本発明によれば、画像信号の投影表示において、動画視認性向上と高解像度化の両立が可能となる。
【図面の簡単な説明】
【００１１】
【図１】（ａ）は、実施形態１に係る投影システムの構成例を示すブロック図、（ｂ）は実施形態１に係る出力装置の機能構成例を示すブロック図。
【図２】実施形態１に係る投影装置の機能構成例を示すブロック図。
【図３】（ａ）は、動き情報の算出処理において参照される画像（フレーム）を示す図、（ｂ）は、動き情報の算出処理を説明する図。
【図４】（ａ）、（ｂ）は、実施形態１に係る空間周波数の算出方法を説明するための図。
【図５】（ａ）は、空間周波数の取得に用いられる変換特性の一例を示す図、（ｂ）は、表示画像信号を生成するための生成処理の決定方法を示す図。
【図６】実施形態１に係るＨＦＲ画像の生成処理を説明する図。
【図７】実施形態１に係る画素ずらし画像の生成処理を説明する図。
【図８】実施形態１に係る画素ずらし画像の生成のサンプリング位相を示す図。
【図９】（ａ）、（ｂ）は、実施形態１に係る画素ずらし画像の特徴を示す図、（ｃ）は、実施形態１に係る非画素ずらし画像の特徴を示す図。
【図１０】実施形態１に係る、位相制御信号ＰＯＬの決定方法を示すフローチャート。
【図１１】実施形態１に係る画素ずらし画像の投影位置を示す図。
【図１２】実施形態２に係るＨＦＲ画像の生成処理を説明する図。
【図１３】実施形態２に係る画素ずらし画像の生成処理を説明する図。
【図１４】実施形態２に係る画素ずらし画像の投影位置を示す図。
【図１５】実施形態２に係る位相制御信号ＰＯＬの決定方法を示すフローチャート。
【図１６】実施形態３に係る出力装置の機能構成例を示すブロック図。
【図１７】実施形態３に係る投影装置の機能構成例を示すブロック図。
【図１８】実施形態３に係るメタデータの一例を示す図。
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して本発明の実施形態のいくつかについて説明する。
【００１３】
＜実施形態１＞
図１（ａ）は、実施形態１における投影システムの構成例を示す図である。図１（ａ）に示すように、投影システム１００は、出力装置１０１と投影装置１０２とを有する。出力装置１０１は、入力画像信号ＩＭを変換して画像信号ＩＭＣを生成し、投影装置１０２へ出力する。出力装置１０１は、例えば、パーソナルコンピュータ（ＰＣ）や、投影システムでの使用を前提とした画像信号の処理装置であり、画像変換装置、画像生成装置とも呼ばれ得る。投影装置１０２は、出力装置１０１から受信した画像信号ＩＭＣに基づいて画像を投影面に投影するプロジェクターである。入力画像信号ＩＭと画像信号ＩＭＣとは、それぞれ複数のフレームが所定のフレームレートで連続する信号である。なお、投影装置１０２が画像信号ＩＭＣに基づいて画像を投影（表示）することから、画像信号ＩＭＣは即ち、表示画像信号ＩＭＣであるともいえる。以降、出力装置１０１が出力し、投影装置１０２が画像の投影に用いるこの画像を表示画像信号ＩＭＣとする。
【００１４】
出力装置１０１は、投影装置１０２の処理可能な解像度に対応するように、出力画像信号ＩＭＣに含まれる複数のフレームの解像度を決定する。例えば、投影装置１０２の解像度が２Ｋの場合、出力装置１０１は、解像度が４Ｋ（３８４０×２１６０）である複数のフレームからなる入力画像信号ＩＭを、解像度が２Ｋ（１９２０×１０８０）である複数のフレームからなる表示画像信号ＩＭＣに変換して出力する。
【００１５】
投影装置１０２は、投影面における投影画像の位置（投影位置）をずらすことにより、より高い解像感で画像を表示するための、投影位置の移動機構（画素ずらし素子）を有する。すなわち、投影装置１０２は、フレームごとに投影位置を移動させて画像を表示する画素ずらし制御を用いて画像を表示することが可能である。投影装置１０２は、画素ずらし制御を用いて画像を表示することと、画素ずらし制御を用いずに、すなわち、フレーム間で投影位置が同じとなるように、画像を表示することとのいずれかを切り替えて画像を表示することが可能である。
【００１６】
出力装置１０１は、投影装置１０２が画素ずらし制御を用いて画像を表示するための表示画像信号を生成する第１の生成処理と、投影装置１０２が画素ずらし制御を用いずに画像を表示するための表示画像信号を生成する第２の生成処理を実行できる。第１の生成処理では、入力画像信号ＩＭの対象フレームを互いに異なる位相で間引いて得られた２以上の所定数の処理フレームに基づいて表示画像信号ＩＭＣを生成する。また、第２の生成処理では、入力画像信号ＩＭの対象フレームを間引いて得られた処理フレームに基づいて表示画像信号ＩＭＣを生成する。
【００１７】
出力装置１０１は、第１の生成処理と第２の生成処理のいずれかを用いて、表示画像信号ＩＭＣを生成し、投影装置１０２に出力する。例えば、出力装置１０１は、入力画像信号ＩＭの複数のフレーム間における動き量に基づいて、第１の生成処理と第２の生成処理のうち実行する生成処理を決定する。より具体的には、動き量が閾値より小さい場合に第１の生成処理を選択して実行し、動き量が閾値以上の場合に第２の生成処理を選択して実行する。なお、本実施形態の出力装置１０１は、実行する生成処理を選択するために、フレーム間の動き量に加えて、フレーム内の周波数成分の強度を用いることにより、さらに適切な選択を行えるようにしている。
【００１８】
次に、出力装置１０１の機能構成および動作について図１（ｂ）を用いて説明する。図１（ｂ）は、実施形態１に係る出力装置１０１の機能構成例を示すブロック図である。図１（ｂ）に示すように、出力装置１０１は、入力部１１０、フレームメモリ１１１、動き情報算出部１１２、空間周波数算出部１１３、画像変換部１１４を有する。
【００１９】
入力部１１０は、入力画像信号ＩＭを入力し取得する。入力部１１０は、入力された入力画像信号ＩＭの各フレームを順に出力する。ここで、入力部１１０が出力するフレームをフレームＩＭ０とする。フレームメモリ１１１は、入力画像信号ＩＭの各フレームを蓄積し、１フレーム分だけ遅延させて出力する。フレームメモリ１１１が出力するフレームをフレームＩＭ１とする。即ち、出力装置１０１にＮ番目のフレーム（Ｎフレーム）の画像を表す信号（フレームＩＭ０）が入力された時に、フレームメモリ１１１からは、Ｎ−１番目のフレーム（Ｎ−１フレーム）の画像を表す信号（フレームＩＭ１）が出力される。なお、本実施形態におけるフレームＩＭ０は、１２０Ｈｚのフレームレートを有する画像信号とする。
【００２０】
動き情報算出部１１２は、入力画像信号ＩＭのフレーム間の動き量に関連する情報を取得するための構成の一例である。なお、動き量に関連する情報の取得は必ずしも「算出」によるものではなく、例えば、テーブル参照により動き量に関連する情報が取得されてもよい。本実施形態では、動き情報算出部１１２は、フレームＩＭ０とフレームＩＭ１とから、フレームＩＭ０の動き情報ＶＥＣを取得する。本実施形態における動き情報ＶＥＣは、動きベクトル情報であり、画像の移動方向（水平、垂直）と移動量（水平移動画素数、垂直移動画素数）とから構成される。つまり、動き情報ＶＥＣは、動いた方向を示す情報と、どれだけ動いたかを示す情報とで構成される。
【００２１】
本実施形態における動きの検出には、例えば、ブロックマッチング法が用いられ、動き情報ＶＥＣは所定のブロック単位で算出される。すなわち、複数画素で構成される領域（ブロック）に対して１つの動き情報ＶＥＣが算出される。本実施形態における移動量（水平移動画素数、垂直移動画素数）は、フレームＩＭ０の解像度に対して小数値で算出するものとする。これは、画像変換部１１４にてフレームＩＭ０を表示画像信号ＩＭＣに変換する際の変換精度を保つためである。もちろんハード規模を削減するために整数値の算出精度でも構わないが、この場合は、変換精度が低下する。
【００２２】
ここで、図３（ａ）（ｂ）を用いて動き情報ＶＥＣを生成する動作について詳細に説明する。図３（ａ）は、実施形態１に係る動き情報ＶＥＣの算出における参照フレームを示す図であり、図３（ｂ）は、実施形態１に係る動き情報ＶＥＣの算出処理を説明する図である。
【００２３】
図３（ａ）において、画像３０１、３０２、３０３は、時間的に連続して入力された画像である。画像３０１〜３０３内では、移動物体が時間的に画面内を移動している。具体的には、時間Ｔ１では、画像３０１内の左上領域３０４にあった物体が、時間Ｔ２では、画像３０２内の中央領域３０５に移動する。さらに、時間Ｔ３では、物体は画像３０３内の右下領域３０６に移動する。ここでは、画像３０１と画像３０２に注目し、画像３０１と画像３０２から動きベクトルを算出する場合を説明する。動きベクトルの検出方法については、以下、図３（ｂ）を用いて、さらに詳細な説明をする。
【００２４】
図３（ｂ）において、画像３１１（動き元の画像：フレームＩＭ１）と画像３１２（動き先の画像：フレームＩＭ０）の間の物体の動きを検出する例を示す。物体の動きを検出する際に、画像３１１を格子状に複数のブロックに分割し、各ブロックの動きベクトルを検出する。例えば、動き元の画像である画像３１１のブロック３１６に対する動きベクトルは、動き先の画像の同じ位置のブロック３１７を中心とした動き探索範囲３１５の領域内の画像信号を参照して検出される。探索範囲３１５は、広くすればするほど速い移動に対しても検出可能になる。図３（ｂ）の例では、ブロック３１６の移動先のブロックとしてブロック３１８が検出される。ここで、ブロック３１８が検出されるのは、動き探索範囲３１５内で、ブロック３１６と最も相関が高いブロックがブロック３１８であるためである。ブロック３１６からブロック３１８への矢印３１９が動き情報ＶＥＣとなる。つまり、矢印３１９の向きが「移動方向」、矢印３１９の長さが「移動量」として動き情報ＶＥＣの情報となる。
【００２５】
検出時に動き探索範囲を参照する格子状のブロックサイズは、大きいほど画像の情報量が増えるため、検出精度は向上する。但し、ブロック内の画素数が増えることで、動き探索範囲内においてブロックマッチングを行う際の演算量が増大し、ハード規模の増大につながる。そのため、ブロックサイズは、ユーザーが精度とハード規模を考慮し、適宜決定すればよい。また、動きベクトルの検出方法については、本実施形態に限定されることなく、従来の別の方法を用いても構わない。
【００２６】
空間周波数算出部１１３は、入力画像信号のフレームの空間周波数に関連する情報を取得する構成の一例である。なお、空間周波数に関連する情報の取得は必ずしも「算出」によるものではなく、例えば、テーブル参照等により空間周波数に関連する情報が取得されてもよい。本実施形態では、空間周波数算出部１１３は、フレームＩＭ０を用いて、画素ごとに空間周波数ＦＲＥＱを取得する。本実施形態における空間周波数ＦＲＥＱは、検出対象画素位置を中心とした時の、空間方向の輝度変化量の度合いで定義される。輝度変化量が大きい場合に空間周波数が高いと判断され、輝度変化量が小さい場合に空間周波数が低いと判断される。
【００２７】
図４（ａ）、（ｂ）を用いて、空間周波数算出部１１３による空間周波数ＦＲＥＱのより具体的な算出方法を説明する。図４（ａ）は空間周波数が高い画素位置の一例を示しており、図４（ｂ）は空間周波数が低い画素位置の一例を示している。図４（ａ）（ｂ）において、ＬＭは検出対象画素位置が存在するライン位置を表しており、ＬＵは検出対象画素位置が存在するライン位置の１ライン上、ＬＤは検出対象画素位置が存在するライン位置の１ライン下のライン位置を示している。また、水平方向の数字は、検出対象画素位置を０としたときの、水平相対位置を示している。また、図示した白丸の画素は、階調値が２５５（８ｂｉｔ換算）の画素を示しており、黒丸の画素は、階調値が０の画素を示している。
【００２８】
画素ＬＭ（０）の輝度値ＹＬＭ（０）と画素ＬＭ（０）の左側に隣接する画素ＬＭ（−１）の輝度値ＹＬＭ（−１）との差分絶対値ＹＧＬＭＬは以下の式で算出される。
ＹＧＬＭＬ  ＝  ｜ＹＬＭ（０）−ＹＬＭ（−１）｜
また、画素ＬＭ（０）の輝度値ＹＬＭ（０）と画素ＬＭ（０）の右側に隣接する画素ＬＭ（＋１）の輝度値ＹＬＭ（＋１）との差分絶対値ＹＧＬＭＲは以下の式により算出される。
ＹＧＬＭＲ  ＝  ｜ＹＬＭ（０）−ＹＬＭ（＋１）｜
【００２９】
空間周波数算出部１１３は、算出した差分ＹＧＬＭＬと差分ＹＧＬＭＲのうち大きい方を水平方向の輝度変化量ＨＤＩＦＦとする。垂直方向についても同様の計算を行うことで、垂直方向の輝度変化量ＶＤＩＦＦが算出される。そして、空間周波数算出部１１３は、水平方向の輝度変化量ＨＤＩＦＦと垂直方向の輝度変化量ＶＤＩＦＦのうち大きい方を検出対象画素位置の輝度変化量ＤＩＦＦとして用いる。空間周波数算出部１１３は、こうして画素ごとに検出した輝度変化量ＤＩＦＦを全画素分加算し、輝度変化量加算値ＤＩＦＦ＿ＳＵＭを算出する。
【００３０】
なお、本実施形態では、水平方向の輝度変化量ＨＤＩＦＦと垂直方向の輝度変化量ＶＤＩＦＦの大きい方を輝度変化量ＤＩＦＦとしたがこれに限られるものではない。例えば、斜め方向の輝度変化量を参照するようにしてもよい。また、上記では、複数の方向の輝度変化量のうち最大値を採用するようにしたがこれに限られるものではなく、例えば、複数の方向の輝度変化量のうち所定の閾値以上の値の平均値を採用するようにしても良い。
【００３１】
次に、図５（ａ）を用いて、空間周波数算出部１１３が輝度変化量加算値ＤＩＦＦ_ＳＵＭを空間周波数ＦＲＥＱへ変換するために用いる変換特性を説明する。本実施形態における変換特性では、輝度変化量加算値ＤＩＦＦ_ＳＵＭが閾値Ａ以下の間、空間周波数ＦＲＥＱ（度合）は０．３に固定される。そして、輝度変化量加算値ＤＩＦＦ_ＳＵＭが閾値Ａを超えた以降は、輝度変化量加算値ＤＩＦＦ_ＳＵＭが大きいほど空間周波数ＦＲＥＱが高くなる。これは空間周波数が高い画像には輝度変化量ＤＩＦＦが大きい画素が多く含まれ、逆に空間周波数が低い画像には、輝度変化量ＤＩＦＦが小さい画素が多く含まれる特徴があるためである。なお、輝度変化量加算値ＤＩＦＦ_ＳＵＭを空間周波数ＦＲＥＱへ変換するための変換特性は、図５（ａ）の例に限定されるものではなく、同様の考えに基づいて決定された変換特性であれば他の特性でも構わない。
【００３２】
また、本実施形態の空間周波数算出部１１３では、画像内の輝度変化量に基づいて空間周波数を取得するが、これに限られるものではない。例えば、空間領域の画像データを周波数領域に変換するフーリエ変換法を用いる構成としてもよい。この場合、空間周波数算出部１１３は、フーリエ変換後のデータを用いて空間周波数（の度合い）ＦＲＥＱを判定する。
【００３３】
図１（ｂ）に戻り、画像変換部１１４は、動き情報算出部１１２で算出された動き量が閾値より小さい場合、上述した第１の生成処理によりフレームＩＭ０を表示画像信号ＩＭＣに変換する。また、画像変換部１１４は、動き情報算出部１１２で算出された動き量が閾値以上の場合に、上述した第２の生成処理によりフレームＩＭ０を表示画像信号ＩＭＣに変換する。また、画像変換部１１４は、より適切な生成処理を選択するために、空間周波数算出部１１３の算出結果を参照する。画像変換部１１４は、空間周波数ＦＲＥＱに基づいてフレームＩＭ０が高周波数成分を有する画像であるか否かを判定し、動き量が所定範囲であった場合にはこの判定結果を加味して第１の生成処理と第２の生成処理のいずれを実行するかを判定する。すなわち、本実施形態の画像変換部１１４は、動き情報算出部１１２で算出された動き情報ＶＥＣと、空間周波数算出部１１３で算出された空間周波数ＦＲＥＱから、フレームＩＭ０を変換して表示画像信号ＩＭＣを生成するのに用いる生成処理を決定する。
【００３４】
生成処理の決定方法の一例を図５（ｂ）に示す。画像変換部１１４は、フレームＩＭ１に対するフレームＩＭ０の動き情報ＶＥＣにより示される動き量Ｑが閾値Ｔｈ１より小さい場合に、フレームＩＭ０を複数の画素ずらし画像（フレーム）に変換して、表示画像信号ＩＭＣを生成する。また、画像変換部１１４は、フレームＩＭ１に対するフレームＩＭ０の動き量Ｑが閾値Ｔｈ２以上である場合に（Ｔｈ２＞Ｔｈ１）、フレームＩＭ１を表示フレームに変換して、表示画像信号ＩＭＣを生成する。なお、動き量Ｑとしては、各ブロックの動き情報ＶＥＣが示す動き量の最大値、所定値を超える動き量の平均値が用いられ得る。
【００３５】
また、画像変換部１１４は、フレームＩＭ０が高周波数成分を有するか否かを判定する。具体的には、画像変換部１１４は、フレームＩＭ０に関して空間周波数算出部１１３で得られた空間周波数ＦＲＥＱが閾値Ｔｈ３以上である場合、フレームＩＭ０が高周波数成分を有すると判定する。画像変換部１１４は、フレームＩＭ１に対するフレームＩＭ０の動き量Ｑが閾値Ｔｈ１以上、かつ閾値Ｔｈ２未満である場合、フレームＩＭ０が高周波数成分を有するか否かに応じて、表示画像信号ＩＭＣの生成方法を変更する。具体的には、画像変換部１１４は、フレームＩＭ０の空間周波数ＦＲＥＱが閾値Ｔｈ３以上であれば、フレームＩＭ０を複数の画素ずらし画像（フレーム）に変換することで表示画像信号ＩＭＣを生成する。また、画像変換部１１４は、フレームＩＭ０の空間周波数ＦＲＥＱが閾値Ｔｈ３未満であれば、フレームＩＭ０をＨＦＲ画像に変換することで表示画像信号ＩＭＣを生成する。
【００３６】
画像変換部１１４は第１の生成処理により、画素ずらし画像を含む表示画像信号ＩＭＣを生成し、第２の生成処理によりＨＦＲ画像を含む表示画像信号ＩＭＣを生成する。ＨＦＲ画像とは、前述したように「１２０Ｈｚで連続的な動きを表現した動画再現に適した画像」である。また、画素ずらし画像とは、「非シフト画像と、非シフト画像に対して０．５画素シフトした画像を１２０Ｈｚで交互に切り換えて表現する、解像度向上に適した画像」である。図５（ｂ）を見て分かる通り、動き情報ＶＥＣが示す動き量Ｑが大きいほどＨＦＲ画像が生成される割合が高くなる。逆に、動き量Ｑが小さくなるほど画素ずらし画像が生成される割合が高くなる。また、空間周波数ＦＲＥＱが高くなるほど画素ずらし画像が生成される割合が高くなり、逆に空間周波数ＦＲＥＱが低くなるほどＨＦＲ画像が生成される割合が高くなる。このように制御することで、高解像度化表示と動画視認性改善の両立が可能になる。
【００３７】
次に、実施形態１による画像変換の方法を、図６、図７を用いて、より具体的に説明する。
【００３８】
図６は第２の生成処理によるＨＦＲ画像の生成を説明するための図である。図６には、空６０１、山６０２および車６０３から構成される画像が示されており、静止している空６０１と山６０２の前景を車６０３が移動している。この画像の例では、動き情報算出部１１２で「動き大」と算出され、画像変換部１１４は第２の生成処理を用いてＨＦＲ画像を生成することになる。ＨＦＲ画像は、フレームＩＭ０としての各フレーム（Ｆｒａｍｅ０〜Ｆｒａｍｅ３の各々）を１／２倍に縮小することで生成された処理フレーム（Ｆｒａｍｅ０−ＯＵＴ〜Ｆｒａｍｅ３−ＯＵＴ）で構成され、表示画像信号ＩＭＣとして出力される。このように変換することで、動いている物体（車６０３）についての動画視認性向上が可能になる。
【００３９】
図７は第１の生成処理による画素ずらし画像の生成処理を説明する図である。図７は、空６０１、山６０２、車６０３が静止している例である。この画像の例では、動き情報算出部１１２で「動き小」と算出されるため、画像変換部１１４は第１の生成処理を用いて画素ずらし画像を生成する。画素ずらし画像は、フレームＩＭ０の１フレームの情報を、表示画像信号ＩＭＣの２フレーム分に分割して表示される。より具体的には、フレームＩＭ０の１フレーム（Ｆｒａｍｅ０）に対して、２フレーム分の表示画像信号ＩＭＣ（Ｆｒａｍｅ０−ＤＩＶ＿ＡとＦｒａｍｅ０−ＤＩＶ＿Ｂ）が生成される。すなわち１つのフレームから１ｓｔフレームＤＩＶ＿Ａと２ｎｄフレームＤＩＶ＿Ｂの２つの処理フレームが生成される。その後、次フレームのＦｒａｍｅ１は変換されずに、Ｆｒａｍｅ２に対して、同様に２フレーム分の表示画像信号ＩＭＣ（Ｆｒａｍｅ２−ＤＩＶ＿Ａ、Ｆｒａｍｅ２−ＤＩＶ＿Ｂ）が生成される。
【００４０】
上記画像変換方法の説明では、フレーム毎の動き情報の大小に基づいて、画像変換を行う例を示した。さらに、フレーム毎の動き情報の値の時間方向の連続性を判定するとより判定の精度が向上する。具体的には、例えば動き量Ｑが所定値以上のフレームが所定フレーム連続した場合に「動き大」と判定し、動き量Ｑが所定値未満のフレームが所定フレーム連続した場合に「動き小」と判定するようにしてもよい。
【００４１】
次に、画素ずらし画像を生成する際のサンプリング位相について、図８を用いてより詳細に説明する。図８は入力画像の画素配列を示している。実線で囲まれた画素は図７における１ｓｔフレームＤＩＶ＿Ａ（Ｆｒａｍｅ０−ＤＩＶ＿Ａ、Ｆｒａｍｅ２−ＤＩＶ＿Ａ）であり、点線で囲まれた画素は図７における２ｎｄフレームＤＩＶ＿Ｂ（Ｆｒａｍｅ０−ＤＩＶ＿Ｂ、Ｆｒａｍｅ２−ＤＩＶ＿Ｂ）である。
【００４２】
フレームＩＭ０から１ｓｔフレーム画像ＤＩＶ＿Ａを生成する方法を具体的に説明する。まず、入力画像信号ＩＭのフレームＩＭ０について、水平方向、垂直方向の座標がともに偶数である画素データを図８のようにサンプリングして、１ｓｔフレームＤＩＶ＿Ａとして出力する。次に、フレームＩＭ０の水平垂直方向の座標がともに奇数である画素データを図８のようにサンプリングして、２ｎｄフレームＤＩＶ＿Ｂとして出力する。こうして得られた画素ずらし画像を投影装置１０２で画素ずらし制御を行って投影することで静止している画像（図７の空６０１、山６０２、車６０３）において、解像感を向上させることが可能になる。
【００４３】
出力装置１０１は、以上のようにして生成した「ＨＦＲ画像」及び「画素ずらし画像」を投影装置１０２へ伝送する。以下、投影装置１０２について詳細に説明する。図２は、実施形態１に係る投影装置１０２の機能構成例を示すブロック図である。図２に示すように、投影装置１０２は、画像処理部２０１、フレームメモリ２０２、動き情報算出部２０３、位相決定部２０４、パネル制御部２０５、パネル部２０６、画素ずらし部２０７、光源制御部２０８、光源部２０９を有する。
【００４４】
画像処理部２０１は、ノイズリダクション処理、エッジ強調処理、色補正処理、階調補正処理などの、一般的な高画質化処理を、出力装置１０１から出力された表示画像信号ＩＭＣに施す。画像処理部２０１は、表示画像ＩＭＣに上記画像処理を施して、画像処理後の画像ＩＤＴとして出力する。
【００４５】
フレームメモリ２０２は、フレーム単位で装置に入力される表示画像信号ＩＭＣを蓄積し、表示画像信号ＩＭＣを１フレーム分だけ遅延させた画像信号ＩＭＣ１を出力する。即ち、投影装置１０２にＮ番目のフレーム（Ｎフレーム）の画像を表す表示画像信号ＩＭＣが入力された時に、フレームメモリ２０２からは、Ｎ−１番目のフレーム（Ｎ−１フレーム）の画像を表す画像信号ＩＭＣ１が出力される。なお、本実施形態における表示画像信号ＩＭＣは１２０Ｈｚのフレームレートを有するものとする。
【００４６】
動き情報算出部２０３は、表示画像信号の複数のフレーム間の動き情報を取得するための構成の一例である。なお、動き量に関連する情報の取得は必ずしも「算出」によるものではなく、例えば、テーブル参照により動き量に関連する情報が取得されてもよい。本実施形態では、動き情報算出部２０３は、表示画像信号ＩＭＣと、表示画像信号ＩＭＣに対して１フレーム遅延した画像信号ＩＭＣ１とから、表示画像信号ＩＭＣの動き情報ＶＥＣを算出する。本実施形態における動き情報ＶＥＣは、動きベクトル情報であり、画像の移動方向（水平、垂直）と移動量（水平移動画素数、垂直移動画素数）とから構成される。つまり、動き情報ＶＥＣは、動いた方向と、どれだけ動いたかを示す動き量とで構成される。本実施形態における動き検出の手法には、ブロックマッチング法が用いられ、動き情報ＶＥＣは、所定のブロック単位で算出され、各領域の動き情報が取得される。動き情報算出部２０３の基本的な動作は、出力装置１０１内の動き情報算出部１１２と同様である。
【００４７】
なお、本実施形態では、画面全体をフレームメモリ２０２に記憶し、動きを検出する例を示したがこの構成に限定されるものではない。例えば、画面の一部分を保存しておき、部分的に動きを検出する構成でもよい。この場合は、例えば、５ライン程度のラインメモリを使用し、同様に表示画像信号ＩＭＣと１フレーム分遅延したＩＭＣ１の領域ごとの動きを検出すればよい。また、ラインメモリのライン数は、動き検出精度とハード規模のトレードオフを考慮して決めればよい。また、この場合、ラインメモリのライン数を増やせば動き検出精度が向上する。
【００４８】
位相決定部２０４は、画素ずらし画像であるかＨＦＲ画像であるかの判定に基づいて画素ずらし部２０７による投影位置の移動を制御する位相制御信号ＰＯＬを決定する。本実施形態では、位相決定部２０４は、表示画像信号ＩＭＣのフレーム間の動き情報の変化が所定の周期で所定のパターンを繰り返す場合に表示画像信号ＩＭＣが画素ずらし画像であると判定する。そして、画素ずらし画像であると判定されると、位相決定部２０４は、画素ずらし部２０７による投影位置をその所定の周期で移動させるように位相制御信号ＰＯＬを決定する。より具体的には、位相決定部２０４は、動き情報算出部２０３で算出した動き情報ＶＥＣに基づいて画素ずらし部２０７で遷移する画素ずらし素子の位相制御信号ＰＯＬを生成する。位相制御信号ＰＯＬは、画素ずらし部２０７の画素シフト素子の位相に対応する。位相制御信号ＰＯＬ＝１の場合にパネルを右下に０．５画素シフトするように動作し、位相制御信号ＰＯＬ＝０の場合にはパネルシフトは行わない。
【００４９】
次に、位相決定部２０４による位相制御信号ＰＯＬの決定方法について詳細に説明する。まず、画素ずらし画像の特徴について、図９（ａ）（ｂ）を用いて説明する。画素ずらし画像は、前述したようにフレーム毎に０．５画素ずらした画像をフレームシーケンシャルに表示することで、見た目の解像度を高めることが出来る。
【００５０】
図９（ａ）は画素ずらし画像（静止画）の場合の、動き情報ＶＥＣのフレーム毎の遷移を表している。図９（ａ）を見て分かる通り、フレーム毎に動き情報ＶＥＣが、右下への移動（＋０．５、＋０．５）（水平方向及び垂直方向に＋０．５画素移動）と、左上への移動（−０．５、−０．５）（水平方向及び垂直方向に−０．５画素移動）を繰り返す。結果として、フレーム毎に斜め方向に０．５画素シフトを繰り返す特徴がある。
【００５１】
また、図９（ｂ）は画素ずらし画像（動画）の場合の、動き情報ＶＥＣのフレーム毎の遷移を表している。図９（ｂ）を見て分かる通り、１フレーム毎に動き情報ＶＥＣが、（＋０．５（水平方向に＋０．５画素移動）、＋０．５（垂直方向に＋０．５画素移動））つまり右下への移動を繰り返す。その間のフレームについては、画像の動き量に応じて変動する。結果として、１フレームおきに斜め方向右下に０．５画素シフトを繰り返す特徴がある。
【００５２】
次に、非画素ずらし画像の特徴について、図９（ｃ）を用いて説明する。図９（ｃ）は、非画素ずらし画像の場合の、動き情報ＶＥＣのフレーム毎の遷移を表している。図９（ｃ）はランダムな動きの場合の例を示しており、画素ずらし画像の特徴である、フレーム毎に画像の移動量が周期的に繰り返すことはなく、フレーム毎に画像の動き情報ＶＥＣが変動する特徴がある。
【００５３】
以上示した画像の特徴（動き情報ＶＥＣの特徴）を踏まえ、位相決定部２０４による位相制御信号ＰＯＬを決定する処理を図１０のフローチャートを用いて説明する。
【００５４】
位相制御信号生成に関する判定がスタートすると、Ｓ１０１で、位相決定部２０４は、動き情報算出部２０３がブロック単位で算出した動き情報ＶＥＣに基づいて、画面内で最も多い動き情報ＶＥＣ（動き量０は除く）を算出する。これは、画像の特徴は画面一面分同様の傾向があるからである。Ｓ１０２で、位相決定部２０４は、「右下０．５画素移動」と「右下０．５画素移動以外」が連続で所定回以上続くかどうかを判定する。「続かない」と判定された場合（Ｓ１０２でＮＯ）、Ｓ１０３において位相決定部２０４は非画素ずらし画像（すなわち、ＨＦＲ画像）であると判定する。そしてＳ１０５で、位相決定部２０４は、位相制御信号ＰＯＬ＝０と決定する。これにより、画像処理部２０１から出力された画像ＩＴＣは移動の無い投影位置に投影されることになる。
【００５５】
Ｓ１０２で「続く」と判定された場合（Ｓ１０２でＹＥＳ）、Ｓ１０４において、位相決定部２０４は画素ずらし画像であると判定する。そしてＳ１０６で、位相決定部２０４は、画素ずらし画像と判定されたフレームが「右下０．５画素移動」であるかどうかを判定する。「右下０．５画素移動ではない」と判定された場合（Ｓ１０６でＮＯ）、Ｓ１０７において位相決定部２０４は、位相制御信号ＰＯＬ＝０と決定する。これにより、画像ＩＴＣは、移動の無い投影位置に投影される。他方、「右下０．５画素移動である」と判定された場合（Ｓ１０６でＹＥＳ）、Ｓ１０８において位相決定部２０４は、位相制御信号ＰＯＬ＝１と決定する。これにより、画像ＩＴＣは、上記した移動の無い投影位置から右側および下側へ０．５画素ずつ移動した投影位置に投影される。
【００５６】
上記例において、Ｓ１０２の判定に対して、閾値と比較することで所定回数以上続くかどうかの判定を行っている。この閾値は、大きくすれば誤検出をする可能性が低下するが、位相制御信号ＰＯＬの極性が決定するまでに時間がかかる。Ｓ１０２で用いられる閾値は上記トレードオフを考慮しながら、適宜決定すればよい。
【００５７】
図２に戻り、パネル制御部２０５は、画像処理部２０１から出力される画像ＩＤＴに基づいて、後述するパネル部２０６の透過率を変調するための電圧信号ＰＤを生成する。パネル部２０６は、後述する光源部２０９が照射する光を、パネル制御部２０５から入力される電圧信号ＰＤに基づく透過率で透過させることで、画素ずらし部２０７へ画像ＩＤＴに対応する画像光ＰＤＴを出力する。
【００５８】
画素ずらし部２０７は、パネル部２０６から出力された画像光ＰＤＴに対して、位相決定部２０４からの位相制御信号ＰＯＬに従って画素ずらし制御を行う。画素ずらし制御では、１フレームおきに画像が水平方向／垂直方向に０．５画素ずらして投影される。このような画素ずらし制御を、本明細書では２方向画素ずらしと称する。２方向画素ずらしによる投影の概念について図１１を用いて説明する。画素ずらし制御では、図１１に示した１ｓｔフレーム（ＤＩＶ＿Ａ）（白四角部）と、２ｎｄフレーム（ＤＩＶ＿Ｂ）（斜線四角部）を交互に切り替えて表示し、人間の目で時間的に合成することで、パネルが有する解像感よりも高い解像感が得られる。位相制御信号ＰＯＬ＝０の時は、１ｓｔフレームの投影位置に投影され、位相制御信号ＰＯＬ＝１の時は、２ｎｄフレームの投影位置に投影される。また、フレームによらず常に位相制御信号ＰＯＬ＝０の時は、画素ずらし制御は行われず、パネル解像度での投影となる。
【００５９】
図２に戻り、光源制御部２０８は、画像処理部２０１で画像処理が施された画像ＩＤＴ、不図示の操作入力部を介したユーザー指定などに基づいて、光源部２０９に制御信号ＣＯＮを送信し、光源部２０９のオン／オフや、光量制御を行う。光源部２０９は、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであり、制御値ＣＯＮに基づいてパネル部２０６に光を照射する。
【００６０】
以上説明したように、入力画像の特徴量に基づいて出力装置１０１が適応的に画像を生成することにより、動画視認性向上と高解像度化の両立をすることが可能になり、映像コンテンツに最適な画質でユーザーが視聴することが可能になる。
【００６１】
なお、画像変換部１１４は、入力画像信号ＩＭのフレーム間で動き量Ｑが大きい場合に、動き補完フレームを挿入するようにしてもよい。例えば、画像変換部１１４は、フレームＩＭ１とフレームＩＭ０との間の動き量Ｑが所定値よりも大きい場合に、フレームＩＭ１を補正した動き補完フレームＩＭｖ０を挿入して表示画像信号ＩＭＣを生成する。この場合、表示画像信号ＩＭＣのフレームレートは、入力画像信号ＩＭのフレームレートよりも高くなるが、投影装置１０２がより滑らかに入力画像信号ＩＭに基づく画像を投影することが可能となる。また、このような処理は、入力画像信号ＩＭのフレームレートが低速である場合に、有効である。例えば、入力画像信号ＩＭのフレームレートが６０Ｈｚであり、投影装置１０２の投影可能なフレームレートが１２０Ｈｚである場合、入力画像信号ＩＭのフレーム間に動き補完フレームを挿入することによって、より滑らかに動きを表現することが可能となる。
【００６２】
また、入力画像信号ＩＭのフレームレートが６０Ｈｚ、投影装置１０２の投影可能なフレームレートが１２０Ｈｚの場合、画像変換部１１４は、入力画像信号ＩＭのフレームを間引かずに各フレームに対して複数の画素ずらし画像を生成するようにしてもよい。すなわち、画像変換部１１４は、６０Ｈｚの入力画像信号ＩＭの各フレームに対して、２枚の画素ずらしフレームを生成して、１２０Ｈｚで出力してもよい。このように、入力画像信号のフレームレートが投影装置１０２のフレームレートよりも低い場合、画像変換部１１４は、入力画像信号ＩＭのフレームごとに複数の画素ずらしフレームを生成し、表示画像信号ＩＭＣを生成することが可能である。
【００６３】
＜実施形態２＞
実施形態１では、２方向画素ずらしを行う投影システム１００の構成例を示した。実施形態２では、画素ずらしする際の方向を斜め４５度ではなく、縦横４方向へシフトする例（本明細書では４方向画素ずらしと称する）を示す。以下、主に実施形態１と異なる構成や処理について説明する。
【００６４】
実施形態２における投影システム１００、出力装置１０１、投影装置１０２の構成は、実施形態１（図１〜図２）と同様である。但し、画像変換部１１４、位相決定部２０４、及び画素ずらし部２０７は実施形態１と動作が異なる。また、実施形態１では、入力画像信号ＩＭは１２０Ｈｚのフレームレートを有する画像信号として説明したが、実施形態２の入力画像信号ＩＭは２４０Ｈｚのフレームレートを有する画像信号として説明する。
【００６５】
実施形態２の画像変換部１１４における、表示画像信号の生成処理を図１２、図１３を用いて説明する。図１２は実施形態に２による、動きを再現するのに適した「ＨＦＲ画像」の生成処理（第２の生成処理）を説明するための図である。図１２は、空６０１、山６０２、車６０３から構成される画像であり、静止している空６０１と山６０２の前景を車６０３が移動している画像である。この画像の例では、動き情報算出部１１２で「動き大」と算出されるため、画像変換部１１４ではＨＦＲ画像が生成されることになる。ＨＦＲ画像は、入力画像信号ＩＭの各フレームを１／２倍に縮小することで生成され、表示画像信号ＩＭＣとして出力される。このように変換することで、動いている物体（図１２の車６０３）において、動画視認性が向上する。
【００６６】
一方、図１３は、実施形態２による画素ずらし画像の生成処理（第１の生成処理）を説明するための図である。図１３では、空６０１、山６０２、車６０３が静止している画像が例示されている。このような静止画像の例では、動き情報算出部１１２で「動き小」と算出されるため、画像変換部１１４では画素ずらし画像を生成する。
【００６７】
実施形態２の画素ずらし画像は、フレームＩＭ０の１フレームの情報を、表示画像信号ＩＭＣの４フレーム分に分割して表示するための画像である。具体的には、画像変換部１１４は、入力画像信号ＩＭの１フレーム（Ｆｒａｍｅ０）に対して、４フレーム分の表示画像信号ＩＭＣ（Ｆｒａｍｅ０−ＤＩＶ＿Ａ、Ｆｒａｍｅ０−ＤＩＶ＿Ｂ、Ｆｒａｍｅ０−ＤＩＶ＿Ｃ、Ｆｒａｍｅ０−ＤＩＶ＿Ｄ）を生成する。画像変換部１１４は、次の３つのフレーム（Ｆｒａｍｅ１〜Ｆｒａｍｅ３）については変換を行わず、さらに次のフレーム（不図示）に対して、Ｆｒａｍｅ０っと同様に４フレーム分の表示画像信号ＩＭＣを生成する。
【００６８】
ここで、実施形態２における画素ずらし画像の生成処理についてより詳細に説明する。画像変換部１１４は、画素ずらし画像を生成すると判定された場合に、フレームＩＭ０から、投影装置１０２内の画素ずらし部２０７が行う４方向画素ずらしに応じた４つの分割画像信号を生成する。例えば、シリアル伝送形式の画像信号を、以下のような４つのフレーム画像ＤＩＶ＿Ａ〜ＤＩＶ＿Ｄに分割する。
【００６９】
１ｓｔフレームＤＩＶ＿Ａ＝
（水平：偶数番目、垂直：偶数番目）の画素データにより形成
２ｎｄフレームＤＩＶ＿Ｂ＝
（水平：奇数番目、垂直：偶数番目）の画素データにより形成
３ｒｄフレームＤＩＶ＿Ｃ＝
（水平：奇数番目、垂直：奇数番目）の画素データにより形成
４ｔｈフレームＤＩＶ＿Ｄ＝
（水平：偶数番目、垂直：奇数番目）の画素データにより形成
【００７０】
生成された４つのフレームＤＩＶ＿Ａ〜ＤＩＶ＿Ｄは、画素ずらし部２０７によって、図１４に示すように異なる４つの投影位置に投影され、入力フレームレートの１フレームを、４つのフレームで位置をずらして表示することになる。１ｓｔフレーム（ＤＩＶ＿Ａ）を基準とすると、２ｎｄフレーム（ＤＩＶ＿Ｂ）は水平方向へ０．５画素ずれた位置に表示される。同様に、１ｓｔフレーム画像（ＤＩＶ＿Ａ）を基準に、３ｒｄフレーム画像（ＤＩＶ＿Ｃ）は水平方向へ０．５画素、垂直方向へ０．５画素ずらした位置に、４ｔｈフレーム画像（ＤＩＶ＿Ｄ）は垂直方向へ０．５画素ずれた位置に投影される。
【００７１】
位相決定部２０４は、動き情報算出部２０３で算出した動き情報ＶＥＣに基づいて、画素ずらし部２０７で遷移する画素ずらし素子の位相制御信号ＰＯＬを決定する。位相制御信号ＰＯＬは、画素ずらし部２０７の画素シフト素子の位相に対応する。実施形態２では、位相制御信号ＰＯＬは０〜３までの値に対応する。位相制御信号ＰＯＬ＝１の場合に、投影位置が右に０．５画素シフトするように動作する。また、位相制御信号ＰＯＬ＝２の場合に投影位置が下に０．５画素シフトするように動作し、位相制御信号ＰＯＬ＝３の場合に投影位置が左に０．５画素シフトするように動作する。位相制御信号ＰＯＬ＝０の場合には、投影位置のシフトは行わない。
【００７２】
以下、位相決定部２０４による位相制御信号ＰＯＬの生成処理について、図１５のフローチャートを用いて説明する。位相制御信号生成に関する判定がスタートすると、Ｓ２０１で、位相決定部２０４は、「右０．５画素移動」→「下０．５画素移動」→「左０．５画素移動」→「それ以外」という４フレームの周期が連続で所定回以上続くかどうかを判定する。位相決定部２０４は、動き情報算出部２０３からの動き情報ＶＥＣからフレーム間の移動方向と移動量を判断することができる。「続かない」と判定された場合（Ｓ２０１でＮＯ）、Ｓ２０２において、位相決定部２０４は非画素ずらし画像であると判定する。そして、Ｓ２０３において、位相決定部２０４は、判定対象のフレームに対して位相制御信号ＰＯＬ＝０と決定する。位相制御信号ＰＯＬ＝０の場合、投影位置は、移動の無い基準位置となる。
【００７３】
他方、Ｓ２０１で「続く」と判定された場合（Ｓ２０１でＹＥＳ）、Ｓ２０４において、位相決定部２０４は、判定対象のフレームが４方向画素ずらしに対応した画素ずらし画像であると判定する。そして、Ｓ２０５において、位相決定部２０４は、判定対象のフレームが、「右０．５画素移動」であるかどうかを判定する。「右０．５画素移動である」と判定された場合（Ｓ２０５でＹＥＳ）、Ｓ２０６において、位相決定部２０４は位相制御信号ＰＯＬ＝１と決定する。Ｓ２０５で「右０．５画素移動ではない」と判定された場合、処理はＳ２０７へ進む。
【００７４】
Ｓ２０７において、位相決定部２０４は、判定対象のフレームが、「下０．５画素移動」であるかどうかを判定する。「下０．５画素移動である」と判定された場合、Ｓ２０８において、位相決定部２０４は、位相制御信号ＰＯＬ＝２と決定する。Ｓ２０７で「下０．５画素移動ではない」と判定された場合には、処理はＳ２０９へ進む。Ｓ２０９において、位相決定部２０４は、判定対象のフレームが、「左０．５画素移動」であるかどうかを判定する。「左０．５画素移動である」と判定された場合、Ｓ２１０において、位相決定部２０４は位相制御信号ＰＯＬ＝３と決定する。Ｓ２０９０で「左０．５画素移動ではない」と判定された場合、Ｓ２１１において、位相決定部２０４は位相制御信号ＰＯＬ＝０と決定する。画素ずらし部２０７は、前述したようにパネル部２０６の出力画像（４つのフレーム）を、１フレームごとに投影位置をずらして投影する。投影位置の関係については図１４に示した通りである。
【００７５】
また、実施形態２では、４つのフレームＤＩＶ＿Ａ〜ＤＩＶ＿Ｄに対して表示位置を順次ずらして表示する方式を示したが、分割画像の数は４つに限定されることなく、別な数でもよい。例えば、８つの分割画像に分割して表示してもよい。この場合は、４つの分割画像の制御に比べて、より高精細な表示が可能になる。
【００７６】
以上説明したように、実施形態２によれば、入力画像の特徴量に基づいて適応的に画像を生成することにより、動画視認向上と、高解像度化の両立をすることが可能になる。また、実施形態２によれば、水平垂直４方向の画素ずらしを行う投影装置においても、映像コンテンツに最適な画質でユーザーが視聴することが可能になる。
【００７７】
＜実施形態３＞
実施形態１では、２方向画素ずらしにおいて、投影装置１０２で表示画像信号ＩＭＣの特徴量から、画素ずらし画像であるか、或いはＨＦＲ画像であるかを判定する例を示した。実施形態３では、出力装置１０１における入力画像信号ＩＭの変換時の情報をメタデータとして投影装置１０２へ伝送する例を示す。以下、主として実施形態１と異なる構成や処理について説明する。
【００７８】
図１６は実施形態３による出力装置１０１の機能構成例を示すブロック図、図１７は実施形態３による投影装置１０２の機能構成例を示すブロック図である。図１６、図１７において実施形態１（図１（ｂ）、図２）との差分は、画像変換部１１４ａ、メタデータ生成部１２０、メタデータデコード部２２０、位相決定部２０４ａである。
【００７９】
画像変換部１１４ａは、実施形態１と同様に、入力画像の画像情報（動きと空間周波数）から使用する生成処理を決定し、決定された生成処理を用いて表示画像信号を生成する。また、画像変換部１１４ａは、決定された生成処理を表す検出結果ＤＥＴをメタデータ生成部１２０へ出力する。さらに、画像変換部１１４ａは、メタデータ生成部１２０が生成したメタデータＭＥＴＡを、表示画像信号ＩＭＣに付与して投影装置１０２へ出力する。
【００８０】
メタデータ生成部１２０では、画像変換部１１４ａからの検出結果ＤＥＴに従って、表示画像信号ＩＭＣの特徴に合わせてメタデータを生成する。メタデータの一例を図１８に示す。図１８を見て分かる通り、出力装置１０１は、入力画像信号ＩＭの各シーンに対応したメタデータを作成する。画像変換部１１４は、例えば、動き量の変化、空間周波数の変化に応じてシーンの切り替わりを検出し、これをメタデータ生成部１２０に通知する。例えば、シーンＡでは、画像変換部１１４で画素ずらし画像を生成したため、生成処理を示すメタデータ１として「画素ずらし画像」を表すデータが生成され、別なシーンＢではメタデータ１として「ＨＦＲ画像」を表すデータが生成される。また、画素ずらし画像に対しては、画素ずらしの位置を表すメタデータ２（「Ｔｏｐ」ｏｒ「Ｂｏｔｔｏｍ」）も合わせて生成される。
【００８１】
次に、投影装置１０２の動作を説明する。メタデータデコード部２２０は、図１８に示したメタデータＭＥＴＡをデコードし、デコード後のメタデータＭＥＴＡ＿ＤＥＣを位相決定部２０４ａへ出力する。位相決定部２０４ａは、デコード後メタデータＭＥＴＡ＿ＤＥＣに基づいて、画素ずらし部２０７の画素ずらし素子を制御する位相制御信号ＰＯＬを生成する。
【００８２】
ＭＥＴＡ＿ＤＥＣ＝ＨＦＲ画像の場合、位相決定部２０４ａは、位相制御信号ＰＯＬ＝０に固定する。ＭＥＴＡ＿ＤＥＣ＝画素ずらし画像の場合、位相決定部２０４ａは、１フレームごとに位相制御信号ＰＯＬ＝０とＰＯＬ＝１を繰り返す。これらの位相はメタデータ２内の「Ｔｏｐ」ｏｒ「Ｂｏｔｔｏｍ」にて決定される。すなわち、位相決定部２０４ａは、メタデータ２が「Ｔｏｐ」の場合は位相制御信号ＰＯＬ＝０に決定し、メタデータ２が「Ｂｏｔｔｏｍ」の場合は位相制御信号ＰＯＬ＝１に決定する。即ち、位相決定部２０４ａは、入力画像データに付加されたメタデータＭＥＴＡに基づいて、入力画像データがフレーム間の動き量が所定の周期で所定のパターンで変化する画素ずらし画像であるか否かを判定する。位相決定部２０４ａは、判定結果に基づいて、位相制御信号ＰＯＬを決定する。
【００８３】
以上、メタデータを画像信号外に付与する例を示したが、画像信号内に付与してもよい。この場合は、例えば、１フレームの画像データの最も左上に位置する画素のＲ信号の下位２ビットを用いて伝送すればよい。もちろんＲ信号に限定されるものではなく、Ｇ信号やＢ信号に埋め込まれても構わない。また、複数画素を用いて、それぞれ１ビットずつ画像データ内に埋め込んでもよい。
【００８４】
以上説明したように、入力画像の特徴量に基づいて適応的に生成した画像に対応したメタデータを伝送することで、より簡易な構成で動画視認性向上と高解像度化の両立をすることが可能になる。結果として、映像コンテンツに最適な画質でユーザーが視聴することが可能になる。
【００８５】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８６】
１００：投影システム、１０１：出力装置、１０２：投影装置、１１０：入力部、１１１、２０２：フレームメモリ、１１２、２０３：動き情報算出部、１１３：空間周波数算出部、１１４：画像変換部、２０１：画像処理部、２０４、２０４ａ：位相決定部、２０５：パネル制御部、２０６：パネル部、２０７：画素ずらし部、２０８：光源制御部、２０９：光源部
【図１】
2020061593.tif 000003
【図２】
2020061593.tif 000004
【図３】
2020061593.tif 000005
【図４】
2020061593.tif 000006
【図５】
2020061593.tif 000007
【図６】
2020061593.tif 000008
【図７】
2020061593.tif 000009
【図８】
2020061593.tif 000010
【図９】
2020061593.tif 000011
【図１０】
2020061593.tif 000012
【図１１】
2020061593.tif 000013
【図１２】
2020061593.tif 000014
【図１３】
2020061593.tif 000015
【図１４】
2020061593.tif 000016
【図１５】
2020061593.tif 000017
【図１６】
2020061593.tif 000018
【図１７】
2020061593.tif 000019
【図１８】
2020061593.tif 000020