(57)【要約】【課題】  解像感と動画視認性を両立しつつ、処理回路の処理負荷を低減可能な投影装置およびその制御方法を提供することを目的とする。【解決手段】  本発明の投影装置は、光源２と、光源２から照射した光を変調して画像を出力する変調素子４と、変調素子４から出力された画像の投影面における位置を移動する画素移動部６と、フレームを取得する入力部１０１と、フレームに基づいて複数の縮小フレームを生成する生成部１０４，１０５と、複数の縮小フレームを記憶するフレームメモリ１０６と、フレームメモリ１０６から縮小フレームを読み出して変調素子４を制御する変調制御部５と、を備え、生成部１０４は、前フレームに基づいて縮小フレームＡを生成し、生成部１０５は前フレームと前フレームと現フレームとの間における動き量に基づいて、前フレームに対応する縮小フレームＢを生成することを特徴とする。【選択図】  図３
2019193144.tif 000002
【特許請求の範囲】
【請求項１】
光源と、
第１の周波数で前記光源から照射した光を所定の解像度で変調して画像を出力する変調手段と、
前記第１の周波数で前記変調手段から出力された画像の投影面における位置を移動する移動手段と、
第２の周波数で入力される複数のフレームを取得する取得手段と、
各フレームに基づいて前記所定の解像度の複数の縮小フレームを生成する生成手段と、
前記複数の縮小フレームを記憶する記憶手段と、
前記第１の周波数で前記記憶手段から前記縮小フレームを読み出して前記変調手段を制御する制御手段と、
を備え、
前記生成手段は、前記複数のフレームのうち第１フレームに基づいて、第１縮小フレームを生成し、前記第１フレームと前記第１フレームと連続する第２フレームとの間における動き量に基づいて、前記第１フレームに対応する第２縮小フレームを生成することを特徴とする投影装置。
【請求項２】
前記生成手段は、前記縮小フレームの画素の画素値を、対応する前記フレームの参照位置の画素の画素値に基づいて決定することにより、前記縮小フレームを生成するものであって、
前記生成手段は、前記動き量に基づいて、前記参照位置を補正して、前記第２縮小フレームを生成することを特徴とする請求項１に記載の投影装置。
【請求項３】
前記生成手段は、前記動き量に基づいて、前記第１縮小フレームおよび前記第２縮小フレームの画素値を補正する生成することを特徴とする請求項１または請求項２に記載の投影装置。
【請求項４】
前記生成手段は、前記動き量が大きいほど、前記第２縮小フレームの対応する画素値が小さくなるように補正し、かつ、前記第１縮小フレームの対応する画素値が大きくなるように補正することを特徴とする請求項３に記載の投影装置。
【請求項５】
前記移動手段は、前記変調手段から出力された前記画像の投影位置を、第１の位置と、前記第１の位置に対して前記投影面の水平方向および垂直方向にそれぞれ前記画像の半画素ずつずれた第２の位置との２つの位置の間で、交互に切り換えるものであって、
前記変調制御手段は、前記画像の投影位置が前記第１の位置であるタイミングにおいて、前記第１縮小フレームで前記変調手段を制御し、前記画像の投影位置が前記第２の位置であるタイミングにおいて、前記第２縮小フレームで前記変調手段を制御し、
前記第２の周波数は、前記第１の周波数の２倍であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の投影装置。
【請求項６】
前記移動手段は、前記変調手段から出力された前記画像の投影位置を、第１の位置と、前記第１の位置に対して前記投影面の水平方向に前記画像の半画素ずれた第２の位置と、前記第１の位置に対して前記投影面の水平方向および垂直方向にそれぞれ前記画像の半画素ずれた第３の位置と、前記第１の位置に対して前記投影面の垂直方向に前記画像の半画素ずれた第４の位置と、を順に切り換えるものであって、
前記生成手段は、前記第１フレームと前記第１フレームと連続する第２フレームとの間における動き量に基づいて、第３縮小フレームと第４縮小フレームとをさらに生成し、
前記変調制御手段は、前記画像の投影位置が前記第１の位置であるタイミングで前記第１縮小フレームを用いて前記変調手段を制御し、前記画像の投影位置が前記第２の位置であるタイミングで前記第２縮小フレームを用いて前記変調手段を制御し、前記画像の投影位置が前記第３の位置であるタイミングで前記第３縮小フレームを用いて前記変調手段を制御し、前記画像の投影位置が前記第４の位置であるタイミングで前記第４縮小フレームを用いて前記変調手段を制御することを特徴とする請求項１乃至請求項４のいずれか１項に記載の投影装置。
【請求項７】
前記所定の解像度は、２Ｋ解像度であることを特徴とする請求項１乃至請求項６のいずれか１項に記載の投影装置。
【請求項８】
前記第２の周波数は、前記第１の周波数の整数倍であることを特徴とする請求項１乃至請求項７のいずれか１項に記載の投影装置。
【請求項９】
光源と、第１の周波数で前記光源から照射した光を所定の解像度で変調して画像を出力する変調手段と、前記第１の周波数で前記変調手段から出力された画像の投影面における位置を移動する移動手段と、記憶手段とを備える投影装置の制御方法であって、
第２の周波数で入力される複数のフレームを取得する取得工程と、
各フレームに基づいて前記所定の解像度の複数の縮小フレームを生成する生成工程と、
前記記憶手段に前記複数の縮小フレームを記憶する記憶工程と、
前記第１の周波数で前記記憶手段から前記縮小フレームを読み出して前記変調手段を制御する制御工程と、
を備え、
前記生成工程は、前記複数のフレームのうち第１フレームに基づいて、第１縮小フレームを生成し、前記第１フレームと前記第１フレームと連続する第２フレームとの間における動き量に基づいて、前記第１フレームに対応する第２縮小フレームを生成することを特徴とする投影装置の制御方法。
【請求項１０】
請求項１乃至請求項８のいずれか１項に記載の投影装置を動作させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記憶する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影面に画像を投影する投影装置およびその制御方法に関する。
【背景技術】
【０００２】
近年、従来の画像よりも解像度の高い画像（高解像度画像）を表示したいという要求がある。
【０００３】
特許文献１の投影装置は、光源から照射された光を所定の解像度で変調可能な変調素子を有し、変調素子の位置を時間的にずらして画像を投影する。これにより、ユーザは、所定の解像度以上の画像のように投影面の画像を視認することが可能となる。すなわち、ユーザの解像感の向上を図ることが可能となる。
【０００４】
一方、特許文献２の投影装置は、表示する画像が動画像である場合に、映像信号の連続する２つのフレームの間に、２つのフレームから生成された補間フレームを挿入する。また、補間フレームが挿入された映像信号を用いて、特許文献１にあるように変調素子の位置を時間的にずらす制御を行って画像を投影することにより、解像感向上と動画応答性とを両立している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２４３５８４号公報
【特許文献２】特開２００９−２０３４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２の投影装置では、入力された映像信号のフレームを用いて補間フレームを生成することから、高解像度のフレームを高速で処理する必要がある。このような処理を実行するための処理負荷は高く、したがって、ハードウェアの規模が増大するという課題があった。
【０００７】
そこで、本発明は、上述の課題に鑑みて、解像感と動画視認性を両立しつつ、処理回路の処理負荷を低減可能な投影装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の投影装置の一の形態は、光源と、第１の周波数で前記光源から照射した光を所定の解像度で変調して画像を出力する変調手段と、前記第１の周波数で前記変調手段から出力された画像の投影面における位置を移動する移動手段と、第２の周波数で入力される複数のフレームを取得する取得手段と、各フレームに基づいて前記所定の解像度の複数の縮小フレームを生成する生成手段と、前記複数の縮小フレームを記憶する記憶手段と、前記第１の周波数で前記記憶手段から前記縮小フレームを読み出して前記変調手段を制御する制御手段と、を備え、前記生成手段は、前記複数のフレームのうち第１フレームに基づいて、第１縮小フレームを生成し、前記第１フレームと前記第１フレームと連続する第２フレームとの間における動き量に基づいて、前記第１フレームに対応する第２縮小フレームを生成することを特徴とする。
【発明の効果】
【０００９】
本発明に係る投影装置およびその制御方法によれば、解像感と動画視認性を両立しつつ、処理回路の処理負荷を低減することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】投影装置の構成を示す模式図である。
【図２】基準投影位置に投影された画像と移動投影位置に投影された画像との関係を示す模式図である。
【図３】画像処理部の機能ブロックを示す第１のブロック図である。
【図４】フレーム間で物体が動いている様子を示す模式図である。
【図５】動き情報を検出する動作を示す模式図である。
【図６】縮小フレームの生成方法を説明するための模式図である。
【図７】中間フレームにおける動き量を示す模式図である。
【図８】縮小フレームの生成方法を説明するための模式図である。
【図９】画像生成の動作の詳細を説明するための模式図である。
【図１０】明暗駆動方式で駆動する場合の投影画像を示す模式図である。
【図１１】画像処理部の機能ブロックを示す第２のブロック図である。
【図１２】動き量とゲイン値との関係を示す模式図である。
【図１３】各投影位置で投影される縮小フレームの画素を示す模式図である。
【図１４】画像処理部の機能ブロックを示す第３のブロック図である。
【発明を実施するための形態】
【００１１】
＜実施例１＞
投影装置１は、投影面に画像を投影することが可能なプロジェクタである。投影装置１は、光源２、光源制御部３、変調素子４、変調制御部５、画素移動部６、移動制御部７、制御部（ＣＰＵ）８、メモリ９、および画像処理部１００を備える。図１は、投影装置１の構成図を示す模式図である。
【００１２】
投影装置１は、光源２から発せられた光を変調素子４で変調して画像を出力する。変調素子４から出力された画像は、そのまま投影面に投影されるか、画素移動部６により投影面における位置（投影位置）を制御されたのちに投影面に投影される。投影装置１は、画素移動部６を用いて予め定められた周期で投影位置を切り替えることにより、変調素子４から出力された画像の解像度よりも高い解像度の画像が投影されたように、ユーザに認識させる（解像感を向上させる）ことが可能である。このような制御を画素ずらし制御と呼称するとする。
【００１３】
画素ずらし制御を行うために、投影装置１の画像処理部１００は、入力されたフレームから、各投影位置に対応する複数の制御フレームを生成する。各制御フレームに基づいて変調制御部５は変調素子４を制御し、かつ、制御フレームに対応する位置に画像が投影されるようにレンズ制御部７は画素移動部６を制御する。
【００１４】
入力映像信号の１つのフレームに対して複数の制御フレームが生成され、各制御フレームに基づいて変調素子４と画素移動部６が制御される。したがって、入力映像信号のフレームレートよりも高い制御周波数で、変調素子４や画素移動部６を制御する必要がある。これらを制御するためには、制御周波数で制御フレームをメモリ９（フレームメモリ）から読み出す必要がある。例えば、６０Ｈｚのフレームレートで２Ｋ解像度（２０４８×１０８０）のフレームが連続する映像信号が入力されたとする。投影位置を、基準位置と、基準位置に対して水平方向および垂直方向に０．５画素ずつずらした位置とで制御フレームごとに切り換える場合、制御フレームは入力映像信号のフレームレートの２倍（１２０Ｈｚ）で読み出す必要がある。
【００１５】
第１の実施例の投影装置１は、上述したように入力映像信号のフレームレートよりも高い制御周波数でフレームデータを処理する場合に、処理負荷の増加を抑制することを可能とするものである。以下で、投影装置１の構成、および動作の詳細について説明する。
【００１６】
光源２は、変調素子４へ光を照射するための光源である。光源２は、１以上の発光素子を備える。例えば、光源２は、ハロゲンランプ、キセノンランプ、高圧水銀ランプ等の既知の光源から選択することが可能である。光源２の発光量は、光源制御部３により制御される。
【００１７】
光源制御部３は、光源２の発光量を制御する制御回路である。光源制御部３は、光源２の発光のオン／オフを制御する信号を出力することにより、光源２の発光量を制御するとする。また、光源制御部３は、ユーザが設定した発光条件に基づいて、光源の発光量を制御することも可能である。さらに、光源制御部３は、入力された映像信号に付加されたメタデータに記載された画像の輝度を示す情報、または、映像信号を解析した結果に基づいて、光源２の発光量を制御してもよい。光源２、および光源制御部３を総称して、光源ユニットと呼称してもよい。
【００１８】
変調素子４は、光源２から発せられた光を変調して、画像を出力する。変調素子４は、それぞれ個別に光の透過率を制御可能な複数の液晶素子が、所定の解像度で配置された液晶パネルであるとする。変調素子４は、変調制御部５の制御により各液晶素子の透過率を制御される。ここで、変調素子４の解像度は２Ｋ解像度（２０４８×１０８０）であるとする。
【００１９】
変調制御部５は、画像処理部１００から読み出された縮小フレームに基づいて、変調素子４を制御する。変調素子４が液晶パネルである場合、変調制御部１０６は、縮小フレームの各画素の画素値に基づいて、対応する液晶素子の透過率を制御する。
【００２０】
画素移動部６は、変調素子４から出力された画像が投影面に投影される際の位置を移動するための素子である。例えば、画素移動部６は、光の入射角に応じて、光の出射位置を制御可能な光学部材であるとする。
【００２１】
移動制御部７は、入力されたタイミング信号（同期信号）に基づいて、所定のタイミングで所定の位置に画像が投影されるように、画素移動部６を制御する。例えば、移動制御部７は、入力されたタイミング信号ごとに、基準投影位置と、基準投影位置に対して水平方向、および垂直方向それぞれにおいて０．５画素だけ移動した投影位置（移動投影位置）との間を交互に繰り返すように、画素移動部６を制御するとする。
【００２２】
図２は、基準投影位置に投影された画像と、移動投影位置に投影された画像との関係を示す模式図である。図中の白四角はそれぞれ、基準投影位置に投影された画像（投影画像Ａ）の投影画素を示す。また、図中の斜線付四角はそれぞれ、移動投影位置に投影された画像（投影画像Ｂ）の投影画素を示す。投影面を視るユーザは、投影画像Ａと投影画像Ｂとを時間的に積算して認識することから、各投影画像よりもより滑らかな画像として認識することが可能となる。すなわち、ユーザは、各投影画像よりも高い解像感で画像を認識することが可能となる。
【００２３】
制御部８は、上述の光源制御部３、変調制御部５、移動制御部７、および後述する画像処理部１００の動作を制御するためのプロセッサ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、ＣＰＵ）である。制御部８は、メモリ９から動作に必要なプログラムを読み出して実行することにより、各機能ブロックの制御を行う。
【００２４】
メモリ９は、制御部８や他の機能ブロックが動作するために用いるプログラム、パラメータ、および設定情報等の各種のデータを記憶する記憶媒体である。また、メモリ９は、投影装置が画像を表示するための映像信号を記憶していてもよい。
【００２５】
画像処理部１００は、入力された映像信号に基づいて、変調素子４の制御に用いるためのフレームを出力する画像処理回路である。画像処理部１００は、入力された映像信号のフレームに基づいて、変調素子４の解像度の制御フレーム（縮小フレーム）を生成する。また、画像処理部１００は、フレーム間の動き量に基づいて、縮小フレームを生成する。ここで、入力された映像信号は、４Ｋ解像度（３８４０×２１６０）のフレームが、フレームレート６０Ｈｚで連続する信号であるとする。
【００２６】
図３は、画像処理部１００の機能ブロックを示すブロック図である。画像処理部１００は、入力部１０１とフレームメモリ１０２、１０６と動き検出部１０３と生成部１０４、１０５とを有する。
【００２７】
入力部１０１は、メモリ９から画像の投影に用いる入力映像信号を取得する。入力映像信号は、複数のフレームが入力フレームレートで連続した映像信号である。入力部１０１は、入力映像信号の各フレームを、フレームメモリ１０２、動き検出部１０３、生成部１０５に出力する。
【００２８】
フレームメモリ１０２は、入力されたフレーム（現フレーム）を記憶し、入力されたフレームに対して１フレーム前のフレーム（前フレーム）を出力するメモリである。フレームメモリ１０２は、前フレームを、動き検出部１０３、生成部１０４、および生成部１０５にそれぞれ出力する。つまり、動き検出部１０３と生成部１０５とは、入力映像信号におけるＮ番目のフレームが現フレームである場合に、フレームＮと、フレームＮの１つ前のフレーム（Ｎ−１番目のフレーム、フレームＮ−１）とが入力される。
【００２９】
フレームメモリ１０６は、変調制御部５が用いる制御フレームを記憶するメモリである。制御フレームは、変調素子４の解像度に対応する解像度のフレームであり、入力された映像信号のフレームの解像度よりも低解像度のフレームである。制御フレームは、後述する生成部１０４、１０５が入力された映像信号のフレームに基づいて生成した縮小フレームである。縮小フレームは、入力映像信号のフレームレートに対応する周波数で、フレームメモリ１０６に書き込まれる。フレームメモリ１０６は、変調素子４、および画素移動部６の制御周波数で、縮小フレームを読み出して、変調制御部５、移動制御部７に出力する。
【００３０】
動き検出部１０３は、現フレームと前フレームとに基づいて、現フレームの前フレームに対する動き量に関連する情報（動き情報ＶＥＣ）を検出する。動き情報ＶＥＣは、動きベクトル情報であるとする。動き情報ＶＥＣは、画像の移動方向（水平、垂直）と移動量（水平移動画素数、垂直移動画素数）とから構成される。つまり、動いた方向と、どれだけ動いたかを示す情報とで構成される。
【００３１】
本実施例における動き検出の手法は、ブロックマッチング法を用いて行う。動き情報ＶＥＣは、所定のブロック単位で算出されるため、複数画素で構成される領域に１つ算出される値であるため、補間に用いる際には、領域に割り当てられた１つの動き情報ＶＥＣを、画素ごとにマッピングする必要がある。領域に割り当てられた１つの動き情報ＶＥＣは、領域の中心の動き情報を表すため、画素ごとにマッピングする際には、隣接領域の動き情報ＶＥＣを用いて線形補間にて算出する。
【００３２】
本実施例における移動量（水平移動画素数、垂直移動画素数）は、入力画像ＩＤ０の解像度に対して小数値で算出するものとする。これは、縮小分割画像Ｂ生成部１０４で縮小フレームＢを生成する際の、縮小後の補間位置の精度を保つためである。もちろんハード規模を削減するために整数値の算出精度でも構わないが、この場合は、補間位置の精度が低下する。また、本実施例では、縮小前に動き情報ＶＥＣを検出する構成としたが、縮小後に動き情報ＶＥＣを検出する構成を用いても良い。その場合は、縮小後画像の画素に対して、小数値で算出可能なビット数を持ち検出を行うことが必要である。
【００３３】
図４は、フレーム間で物体が動いている様子を示す模式図である。図４は、それぞれ時刻Ｔ１，Ｔ２，Ｔ３で時間的に連続して入力されたフレーム１００１、１００２、１００３で、物体Ｏｂｊが移動する様子を示す。時刻Ｔ１でフレーム１００１の左上の領域１００４にあった物体が、時刻Ｔ２時にはフレーム１００２内の中央の領域１００５に移動する。さらに、時刻Ｔ３時には、フレーム１００３内の右下の領域１００６に移動する。ここでは、フレーム１００１とフレーム１００２に注目し、フレーム１００１とフレーム１００２から動きベクトルを検出する。
【００３４】
図５は、動き情報ＶＥＣを検出する動作を示す模式図である。図５において、フレーム１１０１は、上述の前フレーム（フレームＮ−１）に対応し、フレーム１１０２は、上述の現フレーム（フレームＮ）に対応する。フレーム１１０１は、物体の動きを検出する元となる画像（動き元画像）であるともいえる。同様に、フレーム１１０２は、物体が動いた先を検出するための画像（動き先画像）であるともいえる。
【００３５】
動き検出部１０３は、フレーム１１０１を格子状に複数のブロックに分割し、各ブロックの動きベクトルを検出する。例えば、動き検出部は、フレーム１１０１のブロック１１０６に対する動きベクトルを、フレーム１１０２の同じ位置のブロック１１０７を中心とした動き探索範囲１１０５の領域を参照して検出する。探索範囲１１０５は、広くすればするほど速い移動に対しても検出可能になる。
【００３６】
図５の例では、ブロック１１０６の移動先のブロックとしてブロック１１０８が検出される。ここで、ブロック１１０８が検出されるのは、探索範囲１１０５内で、ブロック１１０６と最も相関が高いブロックがブロック１１０８であるためである。ブロック１１０６からブロック１１０８への矢印１１０９が、ブロック１１０８に対応する動き情報ＶＥＣとなる。矢印１１０９の向きが「移動方向」、矢印１１０９の長さが「移動量」として動き情報ＶＥＣの情報となる。
【００３７】
以上の処理を、画面全体に対してブロック毎に行う。ブロック単位で検出された動き情報から画素単位へのマッピングは、隣接ブロックのベクトル情報を用いて、線形補間にて求めることが出来る。
【００３８】
なお、検出時に動き探索範囲を参照する格子状のブロックサイズは、大きいほど画像の情報量が増えるため、検出精度は向上する。但し、ブロック内の画素数が増えることで、動き探索範囲内においてブロックマッチングを行う際の演算量が増大し、ハード規模増大につながる。そのため、ブロックサイズは、ユーザが精度とハード規模を考慮し、適宜決定すればよい。また、動きベクトルの検出方法については、本実施例に限定されることなく、従来の別の方法を用いても構わない。
【００３９】
生成部１０４は、前フレームに基づいて変調素子４の制御に用いるための縮小フレームＡを生成する。また、生成部１０５は、動き情報ＶＥＣと、現フレームと、前フレームとに基づいて、縮小フレームＢを生成する。縮小フレームＢは、現フレームと前フレームとの間の動き量に基づいて生成された前フレームに対応する縮小フレームである。各縮小フレームの解像度は、変調素子４の解像度に対応し、もとのフレームの解像度よりも低い。
【００４０】
生成部１０４の縮小フレームＡの生成方法について説明する。縮小フレームＡは、基準投影位置に投影されるための画像である。図６は、縮小フレームＡの生成方法を説明するための模式図である。図６（ａ）は、縮小フレームＡを生成する際の画素参照位置を示す模式図である。図６（ｂ）は、縮小フレームＡの画素配列を示す模式図である。また、図６（ｂ）は、基準投影位置に投影された縮小フレームＡに基づく投影画像の画素配列を示す模式図でもある。図６（ｂ）に示すように、縮小フレームＡの画素は、入力された映像信号のフレームの画素の４倍の大きさとなる。つまり、フレームの４画素に、縮小フレームＡの１画素が対応する。
【００４１】
生成部１０４は、縮小フレームＡの画素（ｘ，ｙ）の画素値を決定するために前フレームの参照座標に対応する画素の画素値を参照する。図６（ａ）の太枠で示した領域は、縮小フレームＡを生成する際に参照する前フレームの画素の位置（参照座標）を示す。参照座標とは、フレームから縮小フレームを生成するための縮小処理において、処理の中心として用いる画素を示す座標である。
【００４２】
生成部１０５は、図６（ａ）に示すように、水平方向、垂直方向共に偶数番目の画素の位置を参照座標とする。つまり、縮小フレームＡの画素（ｘ，ｙ）の画素値を決定するために参照する参照座標Ｍａ（ｘ，ｙ）は、（２ｘ、２ｙ）である。
【００４３】
したがって、生成部１０４は、縮小フレームＡの画素（０，０）の画素値を、前フレームの画素（０，０）の画素値とする。生成部１０４は、縮小フレームＡの画素（１，０）の画素値を、前フレームの画素（２，０）の画素値とする。生成部１０４は、縮小フレームＡの画素（２，０）の画素値を、前フレームの画素（４，０）の画素値とする。また、生成部１０４は、縮小フレームＡの画素（０，１）の画素値を、前フレームの画素（０，２）の画素値とする。生成部１０４は、縮小フレームＡの画素（０，２）の画素値を、前フレームの画素（０，４）の画素値とする。
【００４４】
なお、生成部１０４は、フレームの参照座標に対応する画素の画素値を縮小フレームの各画素の画素値とするとする。なお、生成部１０４の縮小処理は上述の方法に限定されない。例えば、生成部１０４は、参照座標に対応する画素の周囲の画素の画素値も用いて補間処理（例えばバイキュービック補間）などで縮小処理を行っても構わない。
【００４５】
生成部１０４が生成した縮小フレームＡは、フレームメモリ１０６に書き込まれる。生成部１０４は、フレームが入力されたタイミングで上述の処理を行う。つまり、フレームメモリ１０６には、入力フレームレートに対応する周波数で、変調素子４の解像度に対応する解像度のフレームが書き込まれる。
【００４６】
生成部１０５の縮小フレームＢの生成方法について説明する。縮小フレームＢは、移動投影位置に投影されるための画像である。生成部１０５は、動き検出部１０２で検出された動き情報ＶＥＣに基づいて前フレームを縮小処理して、縮小フレームＢを生成する。生成部１０５は、基準の参照座標を、動き情報ＶＥＣの「移動方向」「移動量」に従って補正することで、フレーム間の動きを補完した縮小フレームの生成を可能にする。
【００４７】
図７は、中間フレームにおける動き量を示す模式図である、なお、動き情報ＶＥＣ（ベクトル情報）１１０９は、図５に示すように時刻Ｔ１のブロック１１０６が、時刻Ｔ２に遷移した際に、ブロック１１０８に動いた場合の例である。
【００４８】
この場合、時刻Ｔ１→時刻Ｔ２の中間の時刻Ｔ１．５に位置するフレーム（中間フレーム）を仮想すると、前フレームに対する中間フレームの動き量は、前フレームに対する現フレームの動き量の半分になる。前フレームに対する中間フレームの動き量に関する動き情報ＶＥＣＭ１２０３は、動き情報ＶＥＣの半分の大きさとする。これは、時刻Ｔ１におけるブロック１１０６が、時刻Ｔ１．５におけるブロック１２０４へ移動したことを示している。
【００４９】
生成部１０５は、動き情報ＶＥＣＭに基づいて縮小フレームＢの画素（ｘ，ｙ）の画素値を決定するために参照する画素の位置（参照座標Ｍｂ（ｘ，ｙ））を決定する。図８は、縮小フレームＢの生成方法を説明するための模式図である。図８（ａ）は、前フレームの画素の配置を示す模式図である。また、図８（ｂ）は、縮小フレームＢに基づいて変調素子４から出力された画像が、移動投影位置で投影された場合における投影面上の画素配置を示す模式図である。上述したように、移動投影位置で投影される投影画像は、基準投影位置で投影される投影画像に対して、投影面上で投影画像の画素の０．５画素（半画素）分ずつ、水平方向、および垂直方向にシフトする。
【００５０】
上述したように投影画像の１つの画素は、フレームの４つの画素に対応する。また、投影位置が水平方向、および垂直方向に０．５画素分ずれている。したがって、縮小フレームＢを生成するに当たり基準とする参照座標は、縮小フレームＡを生成するに当たり用いる参照座標に対して、水平方向、および垂直方向に１画素分シフトした位置とする。したがって、縮小フレームＢの画素（ｘ，ｙ）の画素値を決定するために参照する画素の基準座標ＢＡＳＥ（ｘ，ｙ）は、フレームにおける（２ｘ＋１、２ｙ＋１）の座標である。
【００５１】
また、生成部１０５は、基準座標ＢＡＳＥ（ｘ，ｙ）を対応する動き情報ＶＥＣＭに基づいて補正して、参照座標Ｍｂ（ｘ，ｙ）を決定する。参照座標Ｍｂ（ｘ，ｙ）は、基準座標ＢＡＳＥ（ｘ，ｙ）と対応するブロックの動き情報ＶＥＣＭに基づいて、式１を用いて求められる。
Ｍ（ｘ，ｙ）＝ＢＡＳＥ（ｘ，ｙ）−ＶＥＣＭ（ｘ，ｙ）・・・（式１）
【００５２】
基準座標ＢＡＳＥ（１，０）、すなわちフレームにおける座標（３，１）に対応するブロックの動き量がない（静止ブロック）の場合、対応する参照座標Ｍｂ（１，０）は、（３，１）（＝（３，１）−（０、０））となる。
【００５３】
図８（ｃ）は、基準座標ＢＡＳＥ（１，０）を対応する動き情報ＶＥＣＭに基づいて補正した参照座標を示す模式図である。基準座標ＢＡＳＥ（１，０）に対応するブロックの動き情報ＶＥＣＭが、水平方向に＋２、垂直方向に＋１であるとする。この場合、式１に従って計算すると、参照座標Ｍｂ（１、０）は、（１，０）（＝（３，１）−（２、１））と決定される。
【００５４】
図７に示すように中間フレーム１２０１内のブロック１２０４の領域が動き領域である場合、縮小フレームＢのブロック１２０４に対応する領域の画素の画素値は、フレーム１１０１内のブロック１１０６の領域の画素を参照して決定される。ブロック１２０４の領域が静止領域である場合、縮小フレームＢのブロック１２０４に対応する領域は、フレーム１１０１内の同じ位相にあるブロック１１１０の領域の画素を参照して決定される。
【００５５】
上述のようにして、各画素の参照座標を動き量に基づいて予め補正することによって、入力映像信号のフレームの解像度の動き補間フレームを生成することなく、動き量を反映した補完縮小フレーム（縮小フレームＢ）を生成することが可能となる。
【００５６】
生成部１０５が生成した縮小フレームＢは、フレームメモリ１０６に書き込まれる。生成部１０５は、フレームが入力されたタイミングで上述の処理を行う。つまり、フレームメモリ１０６には、入力フレームレートに対応する周波数で、変調素子４の解像度に対応する解像度のフレームが書き込まれる。
【００５７】
フレームメモリ１０６は、上述した通り、書き込まれた縮小フレームを記憶する。つまり、フレームメモリ１０６には、入力フレームレートに対応する周波数（書き込み周波数）で、変調素子４の解像度に対応する縮小フレームが書き込まれる。
【００５８】
また、フレームメモリ１０６は、記憶した縮小フレームを、制御周波数で変調制御部５に出力する。これは、変調制御部５が縮小フレームを制御周波数で読み出すともいえる。上述した投影位置の移動制御を行う場合、制御周波数は書き込み周波数の２倍であり、書き込み周波数が６０Ｈｚである場合、制御周波数は１２０Ｈｚである。このとき、フレームメモリ１０６からは縮小フレームＡ，Ｂが交互に出力される。なお、制御周波数は、画素ずらし処理の制御に応じて、書き込み周波数の４倍とすることも可能である。制御周波数は、画素ずらし処理の制御に応じて書き込み周波数の整数倍である。
【００５９】
したがって、解像度の高い入力映像信号のフレームを、高速で処理する必要がなく、フレームメモリ１０６の帯域の増加を抑制することが可能となる。
【００６０】
例えば、入力された映像信号のフレームと、フレーム間の動き量を補完した補間フレームを生成してフレームメモリに記憶するとする。この場合、フレームメモリから入力フレームレートよりも高いフレームレート（制御周波数）で各フレームを読み出して、縮小処理を行って変調制御部に入力する。このような制御を行うとすると、フレームメモリは、入力された映像信号のフレームの解像度のフレームを、制御周波数で処理する必要があり、大きい帯域や処理負荷を要求される。
【００６１】
本実施例に記載した構成によれば、入力された映像信号のフレームの解像度の補間フレームを生成する必要がないので、大きい帯域や処理負荷を必要としない。
【００６２】
図９は、本実施例における画像生成の動作の詳細を説明するための模式図である。Ｆｒａｍｅ１とＦｒａｍｅ２とは、それぞれ前フレームと現フレームとに対応する。つまり、Ｆｒａｍｅ１はＦｒａｍｅ２に対して１フレーム遅延した画像を表している。
【００６３】
Ｆｒａｍｅ１からＦｒａｍｅ２へは、時間的に１／６０秒だけ推移している。つまり、６０Ｈｚの周期で画像が更新されている画像であることを示している。Ｆｒａｍｅ１は、背景領域２０１とオブジェクト（山）２０２、及びオブジェクト（車）２０３とから構成されている。背景領域２０１とオブジェクト２０２は静止している領域であり、オブジェクト２０３は時間的に移動する移動領域である。
【００６４】
本実施例では、まず、Ｆｒａｍｅ１から、縮小フレーム１Ａを生成する。次に、Ｆｒａｍｅ１と、Ｆｒａｍｅ１に対するＦｒａｍｅ２の動き情報とから縮小フレーム１Ｂを生成する。
【００６５】
具体的には、ここで、Ｆｒａｍｅ１の背景領域２０１とオブジェクト（山）２０２は静止している。したがって、対応する領域の動き情報ＶＥＣは（０，０）である。一方、オブジェクト（車）２０３は時間的に移動する。したがって、対応する領域の動き情報ＶＥＣは（ｍｘ、ｍｙ）である。
【００６６】
動き情報ＶＥＣ（ｍｘ，ｍｙ）に基づいて、Ｆｒａｍｅ１とＦｒａｍｅ２との中間フレーム（Ｆｒａｍｅ１．５）における動き量を示す動き情報ＶＥＣＭを算出する。オブジェクト２０３に対応する領域の動き情報ＶＥＣＭは以下の式２により求められるとする。
ＶＥＣＭ（ｘ，ｙ）＝（ｍｘ／２、ｍｙ／２）・・・（式２）
【００６７】
したがって、背景２０１とオブジェクト２０２に対応する領域の動き情報ＶＥＣＭは、（０，０）であり、オブジェクト２０３に対応する領域の動き情報ＶＥＣＭは、（ｍｘ／２、ｍｙ／２）である。
【００６８】
上述のように、縮小フレーム１Ｂを生成する場合に参照される画素の位置は、動き情報ＶＥＣＭに基づいて決定される。背景２０１とオブジェクト２０２は、移動がない（ＶＥＣＭ＝（０、０））ため、Ｆｒａｍｅ１から、水平、垂直方向に１画素分ずらした位置に補間され縮小される。これは、縮小分割画像の０．５画素シフトに対応する。また、オブジェクト２０３に対応する位置は、移動があるため、Ｆｒａｍｅ１に対して静止領域の基準座標から（ｍｘ／２、ｍｘ／２）画素分ずらした位置に補間され縮小される。
【００６９】
縮小されたフレームが、図９に示した縮小フレーム（１／２倍）である。上記の処理を行うことで、静止した領域は０．５画素ずらした位相での画像が生成され、動き領域は物体の動きに基づいてずらした位相での画像が生成される。
【００７０】
上記説明では、Ｆｒａｍｅ１とＦｒａｍｅ２とから、縮小フレーム１Ａ、１Ｂを生成するフローを説明した。Ｆｒａｍｅ２とＦｒａｍｅ３（Ｆｒａｍｅ２の次のフレーム）から縮小フレーム２Ａ、２Ｂを生成することが出来る。
【００７１】
なお、オブジェクト２０３が移動した元の領域に対応する縮小フレーム１Ｂの領域の画素の画素値は、現フレーム（Ｆｒａｍｅ２）の基準座標に対応する画素を用いて決定してもよい。
【００７２】
以上説明したように、入力画像の動き情報に基づいて、縮小分割画像を生成しフレームメモリを介して倍速で読み出すことにより、コストを抑制しつつ解像感と動画視認性を両立した画像投影装置を提供することが可能になる。
【００７３】
＜実施例２＞
実施例２では、補間フレームに黒フレームを挿入する明暗駆動方式のプロジェクタへ適用する例を示す。明暗駆動方式とは、１フレームおきに黒画像を表示する駆動方式である。実施例２の投影装置１００１の装置構成は画像処理部１１００以外の構成が実施例１の投影装置１と同等であるとする。画像処理部１１００以外の構成については詳細な説明を省略する。
【００７４】
図１０は明暗駆動方式で駆動する場合の投影画像を示す模式図である。明暗駆動方式は、１フレームおきに黒画像を表示することで、見た目の動画応答性を改善する技術である。つまり、実施例１で示した制御において、縮小フレームＢの表示タイミングで黒画像フレームに基づいて変調素子４を制御する。図１０の時刻Ｔ１と時刻Ｔ２とにおけるフレームが、入力された映像信号のフレームであり、時刻Ｔ１．５と時刻Ｔ２．５とにおけるフレームが黒画像フレームである。
【００７５】
実施例２の投影装置は、上述した明暗駆動方式と、画素ずらし制御とを同時に実施する投影装置である。また、画素ずらし制御のための制御フレーム（縮小フレーム）を生成するに当たり、実施例１と同様に動き量に基づいて縮小したフレームをフレームメモリに書き込む。
【００７６】
さらに、実施例２の投影装置は、入力された映像信号のフレーム間で動き量が所定以上である領域に対しては、対応する中間フレームにおいて画素値を黒に近づける。また、動き量が小さい静止領域に対して、ゲインを半分に近づけるような制御を行う。これにより、動きを有する領域に対しては、動画応答性改善効果を高め、静止領域に対しては、画素ずらし効果を高めて解像感向上を行うためることが可能となる。
【００７７】
図１１は、実施例２における画像処理部１１００の機能ブロックを示すブロック図である。画像処理部１１００は、入力部１１０１とフレームメモリ１１０２、１１０６と動き検出部１１０３と生成部１１０４、１１０５とゲイン決定部１１０８とを備える。
【００７８】
入力部１１０１とフレームメモリ１１０２とは、実施例１の同名の機能ブロックと同様の動作を行うことから説明を省略する。
【００７９】
動き検出部１１０３は、前フレームに対する現フレームの動き量に関する動き情報ＭＶを検出する。動き検出部１１０３は、２つのフレーム（前フレームと現フレーム）の画素ごとに画素値の差分値の絶対値（差分値Ｄ）を閾値と比較することにより、画素ごとに動きの有無を判定する。
【００８０】
動き検出部１１０３は、差分値Ｄが閾値ＭＡＸＴＨより大きい画素は当該画素の動きがあるとして、当該画素の動き情報ＭＶを１６とする。動き検出部１１０３は、差分値Ｄが閾値ＭＩＮＴＨより小さい場合は、当該画素の動きがないとして、当該画素の動き情報ＭＶを０とする。なお、差分値Ｄが閾値ＭＩＮＴＨ以上、閾値ＭＡＸＴＨ以下である場合、差分値に対して０と１６との間を補間して求める。図１２は、差分値Ｄと動き情報ＭＶとの関係を示す模式図である。本実施例では、動き情報ＭＶは０〜１６までの５ビット程度の信号を想定しているが、もちろんこれより大きくてもよい。その際は精度が上がる。
【００８１】
ゲイン決定部１１０８で、ゲインＤＧを決定する。ここで、ゲインＤＧは、生成部１１０４、１１０５が実施例１と同様にして生成した縮小フレームＡおよび縮小フレームＢの画素値を補正するために用いるゲイン値である。
【００８２】
ゲインＤＧは、以下の式３で求められる。
ＤＧ＝（ＭＶ／３２）＋０．５・・・（式３）
【００８３】
動き情報ＭＶ＝０の時、つまり静止している画素は、ゲインＤＧ＝０．５となる。また、動き情報ＭＶ＝１６、動きのある画素はゲインＤＧ＝１．０となる。ゲインＤＧは、０．５〜１の範囲の値であり、値が小さいほど画素値のゲインが小さくなるように制御する。ＭＶ−ＤＧ変換の一例を図１２に示す。ゲイン決定部１１０８は、画素ごとにゲインＤＧを生成し、生成部１１０４、１１０５に出力する。
【００８４】
生成部１１０４では、ゲインＤＧに従って、縮小フレームＡを生成する。生成部１１０４は、実施例１と同様に生成した縮小フレームＡの各画素の画素値に対応するゲインＤＧを乗算して画素値を補正する。動き情報ＭＶが小さいほど、補正された縮小フレームＡに基づいて投影された画像の輝度レベルが下がる。
【００８５】
生成部１１０５では、ゲインＤＧに従って、縮小フレームＢを生成する。生成部１１０５は、参照座標を縮小フレームＡから１画素ずらして縮小処理を実行して生成した縮小フレームＢの各画素の画素値を対応するゲインＤＧを用いて補正する。補正前の縮小フレームＢの画素値Ｇ（ｘ、ｙ）と補正後の縮小フレームＢの画素値Ｇ’（ｘ、ｙ）との関係は式４で示されるとする。
Ｇ’（ｘ、ｙ）＝（１−ＤＧ（ｘ、ｙ））×Ｇ（ｘ、ｙ）・・・（４）
【００８６】
対応する動き情報ＭＶが大きいほどゲインＤＧが大きいことから、上述の補正により、対応する動き情報ＭＶが大きいほど補正後の縮小フレームＢの画素値が小さくなる。つまり、黒画像とのブレンド割合を増やす。動きがある領域に対しては縮小フレームＢの輝度が下がり、明暗駆動による黒画像挿入による動画視認性の改善が可能となる。また、動き情報が小さい領域は、補正前の縮小フレームＢにおける画素値の割合が高くなることから、画素ずらし制御による解像感向上の効果が得られる。
【００８７】
静止画素（ＭＶ＝０）におけるゲインＤＧを０．５とする理由を説明する。時刻Ｔ１に縮小フレームＡ、時刻Ｔ１．５に縮小フレームＢがそれぞれフレームメモリ１１０７から出力されるとする。フレーム間で静止している画素は、縮小フレームＡと縮小フレームＢとのどちらにおいても、縮小処理で得られた画素値の０．５倍が画素値と決定される。一方で、フレーム間で動きのある画素（ＭＶ＝１６）は、縮小フレームＡは１倍のゲインで補正される。すなわち縮小処理で得られた画素値で変調素子４が制御される。また、縮小フレームＢの当該画素の画素値は０倍、すなわち黒画素となる。このような制御を行うことで、動き領域、静止領域共に、明暗駆動を行わない場合と比較して、画面一律、表示輝度を０．５倍で表示することが可能になる。
【００８８】
以上説明したように、入力画像から検出した動き情報に応じて、動画応答性向上の明暗駆動レベルを決定することで、簡易な構成で解像感向上と動画視認性を両立した画像投影装置を提供することが可能になる。
【００８９】
＜実施例３＞
実施例１の投影装置１は、投影位置を基準位置と基準位置に対して水平方向および垂直方向に０．５画素ずつずれた移動位置との２点間で制御する場合について説明した。実施例３の投影装置２００１は、投影位置を４点間で制御する場合について説明する。実施例３の投影装置２００１の投影位置は、基準位置と、基準位置に対して水平方向に０．５画素ずれた水平移動位置と、を含む。また、実施例３の投影装置２００１の投影位置は、基準位置に対して水平方向および垂直方向に０．５画素ずつずれた斜め移動位置と、基準位置に対して垂直方向に０．５画素ずれた垂直移動位置とを含む。
【００９０】
以下、実施例１と異なる構成や処理について詳しく説明し、実施例１と同様の構成や処理についての説明は省略する。実施例３の投影装置２００１の基本的な装置構成は、図１と同様であることから詳細な説明を省略する。実施例３の投影装置２００１の画素移動部６および移動制御部７は、基準位置、水平移動位置、斜め移動位置、垂直移動位置の順に投影位置がシフトするように、移動を制御する。
【００９１】
図１３は、各投影位置で投影される縮小フレームの画素を示す模式図である。図１３に示すように、入力フレームレートの１フレームに対して、４つのサブフレームで位置をずらして表示することになる。図１３（ａ）は、基準位置に投影された縮小フレームＣに基づく投影画像を示す。図１３（ｂ）は、水平移動位置に投影された縮小フレームＤに基づく投影画像を示す。図１３（ｃ）は、斜め移動位置に投影された縮小フレームＥに基づく投影画像を示す。図１３（ｄ）は、垂直移動位置に投影された縮小フレームＦに基づく投影画像を示す。
【００９２】
図１３において、矩形領域は、各縮小フレームの画素を示す。また、矩形領域の内部の値は、各画素の座標を示す。また、点線で示された矩形領域が縮小フレームの画素に対応するフレームの画素を示す。縮小フレームＣを基準とすると、縮小フレームＤは水平方向へ０．５画素ずれた位置に投影される。同様に、縮小フレームＣに対して、縮小フレームＥは水平方向へ０．５画素、垂直方向へ０．５画素ずらした位置に、縮小フレームＦは垂直方向へ０．５画素ずれた位置に投影される。以上のような処理を行うことで、縦横４方向へ画素ずらしを行うことが可能になる。
【００９３】
図１４は、投影装置１の画像処理部２１００の機能ブロックを示すブロック図である。画像処理部２１００は、入力部２１０１とフレームメモリ２１０２、２１０６と動き検出部２１０３と生成部２１０４、２１０５とを備える。
【００９４】
入力部１１０１とフレームメモリ１１０２と動き検出部２１０３とは、それぞれ実施例１の同名の機能ブロックと同様の動作を行うことから説明を省略する。
【００９５】
生成部２１０４は、前フレームに基づいて、縮小フレームＣを生成する。縮小フレームＣの生成方法は、実施例１で縮小フレームＡを生成した場合と同様であるとする。すなわち、縮小フレームＣの画素（ｘ，ｙ）は、前フレームの画素（２ｘ，２ｙ）を参照して（参照座標として）、決定される。即ち、縮小フレームＣの画素（ｘ，ｙ）の参照座標Ｍｃ（ｘ，ｙ）＝（２ｘ，２ｙ）とする。
【００９６】
生成部２１０５は、前フレームと、前フレームと現フレームとの間の動き量に関する動き情報ＶＥＣに基づいて、縮小フレームＤ〜Ｆを生成する。
【００９７】
前フレームと現フレームとの間で動きがない場合、生成部２１０５は、縮小フレームＤ〜Ｆの画素（ｘ，ｙ）の参照座標Ｍ（ｘ，ｙ）を下記の式５に示す基準参照座標ＢＡＳＥ（ｘ，ｙ）対応関係とする。なお、各添え字は、対応する縮小フレームを示す。
ＢＡＳＥｄ（ｘ，ｙ）＝（２ｘ＋１，２ｙ）
ＢＡＳＥｅ（ｘ，ｙ）＝（２ｘ＋１，２ｙ＋１）・・・（式５）
ＢＡＳＥｆ（ｘ，ｙ）＝（２ｘ，２ｙ＋１）
【００９８】
生成部２１０５は、前フレームと現フレームとの間で動きがある領域については、上述の基準参照座標を、動き量を示す動き情報ＶＥＣに基づいて補正する。上述のように４点間で投影位置を制御する場合、各縮小フレームが投影されるタイミングは、フレーム周期を１／４周期である。したがって縮小フレームＣを基準とすると、縮小フレームＤ〜Ｆでは、前フレームと現フレームとの間の動きの１／４ずつ、動き量が増加すると考えられる。
【００９９】
ある領域の動き情報ＶＥＣが（ｍｘ，ｍｙ）である場合、生成部２１０５は、縮小フレームＤ〜Ｆの画素（ｘ，ｙ）の参照座標Ｍ（ｘ，ｙ）をＢＡＳＥ（ｘ，ｙ）を補正して下記のように決定する。
Ｍｄ（ｘ，ｙ）＝ＢＡＳＥｄ（ｘ，ｙ）−（ｍｘ，ｍｙ）×１／４
Ｍｅ（ｘ，ｙ）＝ＢＡＳＥｅ（ｘ，ｙ）−（ｍｘ，ｍｙ）×２／４・・・（式６）
Ｍｆ（ｘ，ｙ）＝ＢＡＳＥｆ（ｘ，ｙ）−（ｍｘ，ｍｙ）×３／４
【０１００】
生成部２１０５は、式６に基づいて、前フレームから縮小フレームＤ〜Ｆを生成する。
【０１０１】
上述のようにして、入力映像信号のフレームと同解像度の動き補間フレームを生成することなく、動き量を考慮した縮小フレームを生成することが可能となる。
【０１０２】
したがって、解像度の高いフレームを高速で処理する必要がないことから、画像処理回路の処理負荷を抑制することが可能となる。したがって、より省スペースの回路構成とすることが可能となり、投影装置１の小型化が容易となる。
【符号の説明】
【０１０３】
１  投影装置
２  光源
４  変調素子
６  画素移動部
８  制御部
９  メモリ
１００  画像処理部
１０１  入力部
１０２、１０６  フレームメモリ
１０３  動き検出部
１０４、１０５  生成部
【図１】
2019193144.tif 000003
【図２】
2019193144.tif 000004
【図３】
2019193144.tif 000005
【図４】
2019193144.tif 000006
【図５】
2019193144.tif 000007
【図６】
2019193144.tif 000008
【図７】
2019193144.tif 000009
【図８】
2019193144.tif 000010
【図９】
2019193144.tif 000011
【図１０】
2019193144.tif 000012
【図１１】
2019193144.tif 000013
【図１２】
2019193144.tif 000014
【図１３】
2019193144.tif 000015
【図１４】
2019193144.tif 000016