(57)【要約】【課題】元画像に含まれて移動するオブジェクトが不自然に投影表示されるのを抑制することができる投影制御装置を提供する。【解決手段】投影装置１０１は、画素ずらし技術と動き補間技術を併用して元画像よりも画素数が少ない表示素子によって解像度を落とすこと無く元画像を投影表示する際、元画像２００が含むオブジェクト２０２の移動量が所定値以上である場合、オブジェクト２０２を構成する複数の画素の情報を平均して動きオブジェクト７０１を作成し、さらに動きオブジェクト７０１の動きを補間する動き補間画像８００〜８０３を作成し、画素ずらし技術によって元画像２００から得られた間引き画像５００〜５０３を動き補間画像８００〜８０３で置き換える。【選択図】図１０
2020025169.tif 000002
【特許請求の範囲】
【請求項１】
元画像よりも画素数が少なく互いに基準位置が異なる複数の縮小画像であって、前記基準位置に応じてずらされながら投影表示される複数の縮小画像を作成する投影制御装置において、
前記元画像が含む移動するオブジェクトに基づいて前記縮小画像が含む移動するオブジェクトを作成する際に、前記作成されるオブジェクトへ前記元画像が含む異なる複数の画素の情報を混合する混合処理を施す情報混合手段を備え、
前記情報混合手段は、移動量が大きいオブジェクトへ、移動量が小さいオブジェクトよりも、前記元画像が含む異なる複数の画素の情報を強く混合することを特徴とする投影制御装置。
【請求項２】
前記オブジェクトへ情報が混合される前記元画像が含む異なる複数の画素は、前記元画像において互いに隣接する画素であることを特徴とする請求項１に記載の投影制御装置。
【請求項３】
前記混合処理では、前記作成された複数の縮小画像の各画素の情報を平均することを特徴とする請求項１又は２に記載の投影制御装置。
【請求項４】
補間画像作成手段をさらに備え、
前記情報混合手段は、前記作成された複数の縮小画像の各画素の情報を平均することによって平均化画像を作成し、
前記補間画像作成手段は、前記作成された平均化画像から抽出された移動量が大きいオブジェクトから動きが補間されたオブジェクトを作成し、前記作成された複数の縮小画像が含む移動量が大きいオブジェクトを前記動きが補間されたオブジェクトで置き換えて動き補間画像を作成することを特徴とする請求項３に記載の投影制御装置。
【請求項５】
補間画像作成手段をさらに備え、
前記情報混合手段は、前記元画像から抽出された移動量が大きいオブジェクトが含む異なる複数の画素の情報を混合して混合オブジェクトを作成し、
前記補間画像作成手段は、前記作成された混合オブジェクトの動きを補間し、前記元画像が含む移動量が大きいオブジェクトを前記動きが補間された混合オブジェクトで置き換えて動き補間画像を作成することを特徴とする請求項１又は２に記載の投影制御装置。
【請求項６】
補間画像作成手段をさらに備え、
前記情報混合手段は、前記元画像から抽出された移動量が大きいオブジェクトが含む異なる複数の画素の情報を混合して混合オブジェクトを作成し、
前記補間画像作成手段は、前記元画像の移動量が大きいオブジェクトが前記混合オブジェクトで置き換えられて作成された合成画像から作成された複数の位相の異なる複数の縮小画像が含む前記混合オブジェクトを、動きが補間された前記混合オブジェクトで置き換えて動き補間画像を作成することを特徴とする請求項１又は２に記載の投影制御装置。
【請求項７】
補間画像作成手段と補間画像合成手段とをさらに備え、
前記情報混合手段は、前記元画像から抽出された移動量が大きいオブジェクトが含む異なる複数の画素の情報を混合して混合オブジェクトを作成し、
前記補間画像作成手段は、前記作成された混合オブジェクトの動きを補間し、前記元画像が含む移動量が大きいオブジェクトを前記動きが補間された混合オブジェクトで置き換えて動き補間画像を作成し、
前記補間画像合成手段は、前記作成された動き補間画像に基づいて、前記位相が異なる複数の縮小画像が作成される際に前記元画像からサンプリングされる画素を前記動きが補間された混合オブジェクトの画素で置き換えて合成画像を作成することを特徴とする請求項１又は２に記載の投影制御装置。
【請求項８】
前記投影制御装置は、前記複数の縮小画像を投影表示する投影装置と別の装置であり、前記合成画像が前記投影制御装置から前記投影装置へ受け渡されることを特徴とする請求項７に記載の投影制御装置。
【請求項９】
元画像よりも画素数が少なく互いに基準位置が異なる複数の縮小画像であって、前記基準位置に応じてずらされながら投影表示される複数の縮小画像を作成する投影制御装置の制御方法であって、
前記元画像が含む移動するオブジェクトに基づいて前記縮小画像が含む移動するオブジェクトを作成する際に、前記作成されるオブジェクトへ前記元画像が含む異なる複数の画素の情報を混合する混合処理を施す情報混合工程を有し、
前記情報混合工程では、移動量が大きいオブジェクトへ、移動量が小さいオブジェクトよりも、前記元画像が含む異なる複数の画素の情報が強く混合されることを特徴とする投影制御装置の制御方法。
【請求項１０】
元画像よりも画素数が少なく互いに基準位置が異なる複数の縮小画像であって、前記基準位置に応じてずらされながら投影表示される複数の縮小画像を作成する投影制御装置の制御方法をコンピュータに実行させるプログラムであって、
前記投影制御装置の制御方法は、
前記元画像が含む移動するオブジェクトに基づいて前記縮小画像が含む移動するオブジェクトを作成する際に、前記作成されるオブジェクトへ前記元画像が含む異なる複数の画素の情報を混合する混合処理を施す情報混合工程を有し、
前記情報混合工程では、移動量が大きいオブジェクトへ、移動量が小さいオブジェクトよりも、前記元画像が含む異なる複数の画素の情報が強く混合されることを特徴とするプログラム。
【請求項１１】
元画像から作成される前記元画像よりも画素数が少なく互いに基準位置が異なる複数の縮小画像を前記基準位置に応じてずらしながら投影表示する投影装置において、
前記元画像が含む移動するオブジェクトに基づいて前記縮小画像が含む移動するオブジェクトを作成する際に、前記作成されるオブジェクトへ前記元画像が含む異なる複数の画素の情報を混合する混合処理を施す情報混合手段を備え、
前記情報混合手段は、移動量が大きいオブジェクトへ、移動量が小さいオブジェクトよりも、前記元画像が含む異なる複数の画素の情報を強く混合することを特徴とする投影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素ずらしを行う投影制御装置、その制御方法、プログラム並びに投影装置に関する。
【背景技術】
【０００２】
画素数が多い高解像度の元画像を、画素数が少ない表示素子によって解像度を落とすこと無く投影表示する画素ずらし技術が知られている。この技術では、１フレームの元画像から表示素子で再現可能な画像を作成する際、元画像において基準となる位置（以下、「基準位置」という。）をずらしながら、複数の再現可能な画像を作成する。なお、表示素子の画素で再現可能な画像は、元画像よりも画素数が少なくなり、解像度が低下することから一般に「縮小画像」と称される。縮小画像の代表的な一例として、例えば、基準位置を元画像の或る画素に置き、当該画素から一定の画素間隔を持って各画素をサンプリングして新たな画素を作成する単純サンプリング法によって得られる、表示素子の画素で再現可能な画像がある。この画像は、「間引き画像」と称される。画素ずらし技術では、各縮小画像を順次投影表示する際、投影光学系によって各縮小画像を前述の基準位置のずらし量ほど（典型的には元画像の１画素分ほど）ずらして順次表示する。これにより、画素数が少ない表示素子でも画素数が元画像の画素数と等価となる画像を表示することができる。
【０００３】
また、動画である元画像において動くオブジェクトの動きを滑らかに再現する動き補間技術が知られている。この技術では、連続するフレームの間の或る時点のオブジェクトの位置を予測し、予測された位置のオブジェクトを含む画像を連続するフレームの間へ中間フレームとして挿入する。
【０００４】
画素数が少ない表示素子によってオブジェクトの動きを滑らかに再現するためには、画素ずらし技術と動き補間技術を併用するのが好ましいが、いずれの技術も画像の表示回数が増える。したがって、これらの技術を併用すると表示素子の駆動の大幅な高速化が必要であり、表示素子や周辺素子への負担が大きくなり、コスト高を招く。
【０００５】
そこで、動くオブジェクトを順次表示する際、オブジェクトの各縮小画像を経過時間に応じた位置へ移動させながら表示することにより、画素ずらし技術と動き補間技術を併用する技術が提案されている（例えば、特許文献１参照。）。これにより、表示素子の駆動の大幅な高速化や中間フレームの挿入を必要とすることなく、オブジェクトの動きを元画像の画素数と等価となる解像度で滑らかに再現することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−２７０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば、元画像に含まれるオブジェクトが、青色の画素と黄色の画素が一画素おきに配置された市松模様のオブジェクトである場合、以下のような問題が生じる。例えば、単純サンプリング法によって複数の間引き画像を得る場合、サンプリングの画素間隔と、青色の画素同士の画素間隔又は黄色の画素同士の画素間隔とが同じであるため、基準位置の違いにより、或る間引き画像ではオブジェクトの青色の画素のみがサンプリングされる。また、他の間引き画像ではオブジェクトの黄色の画素のみがサンプリングされる。したがって、各間引き画像におけるオブジェクトは青色のみの画像又は黄色のみの画像となる。特許文献１の技術では、各間引き画像のオブジェクトが移動されながら表示されるため、互いに重畳されない。その結果、観者からはオブジェクトが青色と黄色のいずれに変色しながら移動するように観察される。すなわち、移動するオブジェクトが不自然に投影表示されるという問題がある。この問題は、縮小画像を得る方法が単純サンプリング法以外の方法であっても、程度の差はあれ、起こりうる。
【０００８】
本発明の目的は、元画像に含まれて移動するオブジェクトが不自然に投影表示されるのを抑制することができる投影制御装置、その制御方法、プログラム並びに投影装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の投影制御装置は、元画像よりも画素数が少なく互いに基準位置が異なる複数の縮小画像であって、前記基準位置に応じてずらされながら投影表示される複数の縮小画像を作成する投影制御装置において、前記元画像が含む移動するオブジェクトに基づいて前記縮小画像が含む移動するオブジェクトを作成する際に、前記作成されるオブジェクトへ前記元画像が含む異なる複数の画素の情報を混合する混合処理を施す情報混合手段を備え、前記情報混合手段は、移動量が大きいオブジェクトへ、移動量が小さいオブジェクトよりも、前記元画像が含む異なる複数の画素の情報を強く混合することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、元画像に含まれて移動するオブジェクトが不自然に投影表示されるのを抑制することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施の形態に係る投影装置を含む画像投影システムの構成を概略的に示す図である。
【図２】図１の画像投影システムにおける元画像の画素構成と、投影装置の表示素子の構成とを示す図である。
【図３】図１の投影装置が実現する機能を概念的に示す機能ブロック図である。
【図４】本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。
【図５】単純サンプリング法における基準位置、サンプリング間隔及び各位相でサンプリングされるサンプリング画素の関係を示す図である。
【図６】本実施の形態における間引き画像の作成を説明するための図である。
【図７】図６の状態から１フレームに相当する時間が経過した後の間引き画像の作成を説明するための図である。
【図８】本実施の形態における動きベクトルの算出を説明するための図である。
【図９】図４のＳ４０７における動き補間画像の作成を説明するための図である。
【図１０】本実施の形態における間引き画像と動き補間画像の置き換えを説明するための図である。
【図１１】図４のＳ４０９における表示画像の順次表示を説明するための図である。
【図１２】本実施の形態において観者が観察する動きオブジェクトの動きを説明するための図である。
【図１３】本実施の形態の変形例における元画像が含むオブジェクトの動きを説明するための図である。
【図１４】本実施の形態の変形例における表示画像の順次表示を説明するための図である。
【図１５】本実施の形態の変形例において観者が観察する動きオブジェクトの動きを説明するための図である。
【図１６】本発明の第２の実施の形態において投影装置が実現する機能を概念的に示す機能ブロック図である。
【図１７】本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。
【図１８】本実施の形態における動きベクトルの算出を説明するための図である。
【図１９】本実施の形態において動きオブジェクトに施されるローパスフィルタリング処理を説明するための図である。
【図２０】図１７のＳ１６０５における動き補間画像の作成を説明するための図である。
【図２１】本実施の形態における間引き画像の作成を説明するための図である。
【図２２】本発明の第３の実施の形態において投影装置が実現する機能を概念的に示す機能ブロック図である。
【図２３】本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。
【図２４】本実施の形態における合成画像の作成を説明するための図である。
【図２５】本実施の形態における間引き画像の作成を説明するための図である。
【図２６】図２３のＳ２２０８における動き補間画像の作成を説明するための図である。
【図２７】本実施の形態における画像投影システムの変形例の構成を概略的に示す図である。
【図２８】本実施の形態において投影制御装置や投影装置が実現する機能を概念的に示す機能ブロック図である。
【図２９】本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。
【図３０】本実施の形態における合成画像の作成を説明するための図である。
【図３１】本実施の形態における間引き画像の作成を説明するための図である。
【図３２】本実施の形態における画像投影システムの変形例の構成を概略的に示す図である。
【図３３】本実施の形態における画像投影システムの他の変形例の構成を概略的に示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。まず、本発明の第１の実施の形態について説明する。
【００１３】
図１は、本発明の第１の実施の形態に係る投影装置を含む画像投影システムの構成を概略的に示す図である。図１の画像投影システム１００は、プロジェクターであって投影制御装置でもある投影装置１０１と、投影装置１０１が動画を投影表示するスクリーンである投影面１０２と、投影装置１０１へ動画である元画像を供給する出力装置１０３とを備える。本実施の形態において、例えば、出力装置１０３は解像度が４Ｋの元画像を供給し、投影装置１０１が有する表示素子の解像度は２Ｋである。投影装置１０１は画像ずらし技術を用いて表示素子により、解像度が４Ｋと等価の画像を投影面１０２へ投影表示する。
【００１４】
図２は、図１の画像投影システム１００における元画像の画素構成と、投影装置１０１の表示素子の構成とを示す図である。図２（Ａ）には、例えば、元画像２００の画素構成が示され、図２（Ｂ）には、元画像２００に対応する投影装置１０１の表示素子２０１の画素構成が示される。また、元画像２００は１フレームに相当する時間に１６画素分図中右方へ移動するオブジェクト２０２を含む。解像度が４Ｋの元画像２００へ縦方向に４画素、横方向に２２画素が配置されている場合、解像度が２Ｋの表示素子２０１では縦方向に２画素、横方向に１画素が配置される。すなわち、表示素子２０１の１画素は元画像２００の４画素に対応する。
【００１５】
また、オブジェクト２０２は縦方向に４画素、横方向に２画素を有し、青色の画素と黄色の画素が一画素おきに配置された市松模様をなす。なお、以降、図中において縦縞は黄色を示し、斜め縞は青色を示す。
【００１６】
図３は、図１の投影装置１０１が実現する機能を概念的に示す機能ブロック図である。図３に示すように、本実施の形態では、元画像をサンプリングして間引き画像（縮小画像）を作成するサンプリング部３００と、間引き画像を保持する間引き画像保持部３０１ａ〜３０１ｄとが実現される。また、間引き画像の画素情報を平均して平均化画像を作成する平均化画像作成部３０２（情報混合手段）と、平均化画像からオブジェクトの動きベクトルを算出する動きベクトル算出部３０３とが実現される。さらに、動きベクトルの絶対値が所定値以上のオブジェクトを背景から分離して抽出する動きオブジェクト抽出部３０４が実現される。また、オブジェクトの動き補間画像を作成する補間画像作成部３０５（補間画像作成手段）が実現される。また、動き補間画像と間引き画像から投影表示される表示画像を作成する表示画像作成部３０６ａ〜３０６ｄと、作成された表示画像を投影面１０２へ投影表示する画像表示部３０７とが実現される。各機能部は、投影装置１０１が有するＣＰＵがメモリ等に格納されたプログラムを実行することによって実現される。
【００１７】
以下、本実施の形態に係る投影制御装置の制御方法である画像表示処理について説明する。図４は、本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。
【００１８】
図４において、まず、サンプリング部３００は元画像をサンプリングして間引き画像を作成する（Ｓ４０１）。本実施の形態では、表示素子２０１の１画素が元画像２００の４画素に対応する。そこで、基準位置を元画像２００の適切な画素に置き、当該画素から一画素とばしの画素間隔を持って各画素をサンプリングする単純サンプリング法によって表示素子２０１と同じ画素数の、基準位置の異なる４つの間引き画像が作成される。サンプリングの間隔は同じであるのに対し、基準位置が、サンプリングの間隔より小さな量で異なるため、４つの間引き画像はサンプリングの位相が異なっていることになる。
【００１９】
図５は、単純サンプリング法における基準位置、サンプリング間隔及び各位相でサンプリングされるサンプリング画素の関係を示す図である。図５において、基準位置を置く各画素Ａ，Ｂ，Ｃ，Ｄは、或る一例において、基準位置を置く画素を示す。サンプリング位相１は、基準位置をＡの画素に置き、Ａの画素から一画素とばしの画素間隔をもってサンプリングする場合においてサンプリングされる各画素（サンプリング画素）を示す。サンプリング位相１の各サンプリング画素は白丸印が付された画素である。サンプリング位相２は、基準位置をＡの画素の右に隣接するＢの画素に置き、Ｂの画素から一画素とばしの画素間隔をもってサンプリングする場合においてサンプリングされる各画素（サンプリング画素）を示す。サンプリング位相２の各サンプリング画素は黒丸印が付された画素である。サンプリング位相３は、基準位置をＡの画素の斜め右下に隣接するＣの画素に置き、Ｃの画素から一画素とばしの画素間隔を持ってサンプリングする場合のサンプリングされる各画素（サンプリング画素）を示す。サンプリング位相３の各サンプリング画素は白三角印が付された画素である。サンプリング位相４は、基準位置をＡの画素の下に隣接するＤの画素に置き、Ｄの画素から一画素とばしの画素間隔を持ってサンプリングする場合のサンプリングされる各画素（サンプリング画素）を示す。サンプリング位相４の各サンプリング画素は黒三角印が付された画素である。
【００２０】
図６は、本実施の形態における間引き画像の作成を説明するための図である。図中において、元画像２００の各画素は破線で示され、表示素子２０１の各画素が実線で示される。以下、本実施の形態では、元画像２００の左上隅において互いに隣接する４画素が基準位置を置く画素として設定される。また、サブフレーム１〜サブフレーム４は元画像２００の１フレームに相当する時間を４つに均等に分けた、それぞれのタイミングに相当し、各間引き画像が表示されるタイミングに該当する。
【００２１】
本実施の形態では、４つの間引き画像の各基準位置を置く元画像２００の画素がそれぞれ異なる。具体的には、元画像２００の左上隅において互いに隣接する４画素、すなわち、画素２００−（１，１）、２００−（２，１）、２００−（２，２）、２００−（１，２）を、４つの間引き画像の各基準位置を置く画素とする。
【００２２】
まず、元画像２００に対して表示素子２０１がずれていない状態であるサブフレーム１で表示される間引き画像５００を、基準位置を元画像２００の画素２００−（１，１）に置き、サンプリング位相１に従って作成する（図６（Ａ））。オブジェクト２０２に対応する部分について詳しく見ると、表示素子２０１の画素２０１ａに対しては、元画像２００の画素２００ａが画素２０１ａのサンプリング画素となる。したがって、画素２００ａの画素情報が画素２０１ａへ引き継がれる。ここで、画素２００ａは黄色の画素であるため、画素２０１ａは黄色となる。また、表示素子２０１の画素２０１ａの下の画素２０１ｂに対しては、元画像２００の画素２００ａから１画素とばした下の画素２００ｂが画素２０１ｂのサンプリング画素となる。したがって、画素２００ｂの画素情報が画素２０１ｂへ引き継がれる。ここで、画素２００ｂも黄色の画素であるため、画素２０１ｂも黄色となる。すなわち、間引き画像５００は黄色の画素である画素２０１ａ及び画素２０１ｂからなるオブジェクト２０２を含むことになる。
【００２３】
次に、元画像２００に対して表示素子２０１が右に１画素分ずれた状態であるサブフレーム２で表示される間引き画像５０１を、基準位置を元画像２００の画素２００−（２，１）に置き、サンプリング位相２に従って作成する（図６（Ｂ））。オブジェクト２０２に対応する部分について詳しく見ると、表示素子２０１の画素２０１ａに対しては、元画像２００の画素２００ｃが画素２０１ａのサンプリング画素となる。したがって、画素２００ｃの画素情報が画素２０１ａへ引き継がれる。ここで、画素２００ｃは青色の画素であるため、画素２０１ａは青色となる。また、表示素子２０１の画素２０１ａの下の画素２０１ｂ対しては、元画像２００の画素２００ｃから１画素とばした下の画素２００ｄが画素２０１ｂのサンプリング画素となる。したがって、画素２００ｄの画素情報が画素２０１ｂへ引き継がれる。ここで、画素２００ｄも青色の画素であるため、画素２０１ｂも青色となる。すなわち、間引き画像５０１は青色の画素である画素２０１ａ及び画素２０１ｂからなるオブジェクト２０２を含むことになる。
【００２４】
次に、元画像２００に対して表示素子２０１が右に１画素分ずれ且つ下に１画素分ずれた状態であるサブフレーム３で表示される間引き画像５０２を、基準位置を元画像２００の画素２００−（２，２）に置き、サンプリング位相３に従って作成する。作成の過程を図６（Ｃ）に示す。オブジェクト２０２に対応する部分について詳しく見ると、表示素子２０１の画素２０１ａに対しては、元画像２００の画素２００ｅが画素２０１ａのサンプリング画素となる。したがって、画素２００ｅの画素情報が画素２０１ａへ引き継がれる。ここで、画素２００ｅは黄色の画素であるため、画素２０１ａは黄色となる。また、表示素子２０１の画素２０１ａの下の画素２０１ｂ対しては、元画像２００の画素２００ｅから１画素とばした下の画素２００ｆが画素２０１ｂのサンプリング画素となる。したがって、画素２００ｆの画素情報が画素２０１ｂへ引き継がれる。ここで、画素２００ｆも黄色の画素であるため、画素２０１ｂも黄色となる。すなわち、間引き画像５０２は黄色の画素である画素２０１ａ及び画素２０１ｂからなるオブジェクト２０２を含むことになる。
【００２５】
次に、元画像２００に対して表示素子２０１が下に１画素分ずれた状態であるサブフレーム４で表示される間引き画像５０３を、基準位置を元画像２００の画素２００−（１，２）に置き、サンプリング位相４に従って作成する（図６（Ｄ））。オブジェクト２０２に対応する部分について詳しく見ると、表示素子２０１の画素２０１ａに対しては、元画像２００の画素２００ｇが画素２０１ａのサンプリング画素となる。したがって、画素２００ｇの画素情報が画素２０１ａへ引き継がれる。ここで、画素２００ｇは青色の画素であるため、画素２０１ａは青色となる。また、表示素子２０１の画素２０１ａの下の画素２０１ｂ対しては、元画像２００の画素２００ｇから１画素とばした下の画素２００ｈが画素２０１ｂのサンプリング画素となる。したがって、画素２００ｈの画素情報が画素２０１ｂへ引き継がれる。ここで、画素２００ｈも青色の画素であるため、画素２０１ｂも青色となる。すなわち、間引き画像５０３は青色の画素である画素２０１ａ及び画素２０１ｂからなるオブジェクト２０２を含むことになる。
【００２６】
図７は、図６の状態から１フレームに相当する時間が経過した後の間引き画像の作成を説明するための図である。
【００２７】
この場合、オブジェクト２０２が１６画素分図中右方へ移動するため、間引き画像５００〜５０３においても、図６に比べて画素２０１ａ及び画素２０１ｂは１６画素分図中右方へ移動する。しかしながら、図７においても、間引き画像５００は黄色の画素２０１ａ及び画素２０１ｂからなるオブジェクト２０２を含むことになる（図７（Ａ））。また、間引き画像５０１は青色の画素２０１ａ及び画素２０１ｂからなるオブジェクト２０２を含むことになる（図７（Ｂ））。さらに、間引き画像５０２は黄色の画素２０１ａ及び画素２０１ｂからなるオブジェクト２０２を含むことになる（図７（Ｃ））。また、間引き画像５０３は青色の画素２０１ａ及び画素２０１ｂからなるオブジェクト２０２を含むことになる（図７（Ｄ））。
【００２８】
オブジェクト２０２の動きが小さい場合、従来通り、間引き画像５００〜５０３を、サブフレーム１〜サブフレーム４の各タイミングで、投影装置１０１の投影光学系により、元画像２００の１画素に相当する量ほどずらして順次表示する。具体的には、間引き画像５００をサブフレーム１のタイミングで位置をずらすことなく表示し、間引き画像５０１をサブフレーム２のタイミングで元画像２００の１画素分右にずらして表示する。さらに、間引き画像５０２をサブフレーム３のタイミングで元画像２００の１画素分右にずらし且つ１画素分下にずらして表示し、間引き画像５０３をサブフレーム４のタイミングで元画像２００の１画素分下にずらして表示する。このとき、重畳画像５０４において、間引き画像５００〜５０３のオブジェクト２０２が１画素ずつずれながら重畳表示され（図６（Ｅ））、観者には表示素子２０１の解像度よりも高い解像度でオブジェクト２０２が観察される。
【００２９】
しかしながら、オブジェクト２０２の動きが大きい場合、間引き画像５００〜５０３を上述したように順次表示すると、間引き画像５００〜５０３のオブジェクト２０２が重畳されることなく表示される。その結果、観者にはオブジェクト２０２が青色又は黄色に変色しながら移動するように観察される。これに対応して、本実施の形態では、オブジェクト２０２の動きが大きい場合、間引き画像５００〜５０３のオブジェクト２０２を後述する平均化オブジェクト５０６に置き換える。
【００３０】
図４に戻り、間引き画像保持部３０１ａ〜３０１ｄは作成された間引き画像５００〜５０３を保持する（Ｓ４０２）。具体的に、間引き画像保持部３０１ａは間引き画像５００を保持し、間引き画像保持部３０１ｂは間引き画像５０１を保持し、間引き画像保持部３０１ｃは間引き画像５０２を保持し、間引き画像保持部３０１ｄは間引き画像５０３を保持する。
【００３１】
その後、平均化画像作成部３０２が、保持された間引き画像５００〜５０３の各画素２０１ａ及び画素２０１ｂの情報を平均して平均化画像５０５を作成する（混合処理）（Ｓ４０３）。間引き画像５００〜５０３の画素２０１ａ及び画素２０１ｂは、上述したように、黄色の画素又は青色の画素であるが、黄色と青色は互いに補色の関係にあるため、平均化されると灰色の画素となる。したがって、平均化画像５０５では、図６（Ｆ）に示すように、黄色や青色のオブジェクト２０２の画素２０１ａ，２０１ｂの情報が平均化されて作成された平均化オブジェクト５０６（画素２０１ａ及び画素２０１ｂ）は灰色を呈する。なお、以降、図中において濃色の塗り潰しは灰色を示す。また、平均化画像作成部３０２は、同様に、図６の状態から１フレームに相当する時間が経過した後の間引き画像５００〜５０３の画素情報を平均して平均化画像５０５を作成し、平均化オブジェクト５０６も作成する（図７（Ｅ））。
【００３２】
なお、通常、元画像からサンプリングにより間引き画像を作成すると、折り返し雑音と呼ばれる、元画像にはなかったパターンがオブジェクトに浮かび上がる。これに対して、本実施の形態では、上述した平均化により、オブジェクト２０２へ元画像における異なる画素の情報が強く混合される。その結果、平均化画像５０５の平均化オブジェクト５０６では折り返し雑音が消失する。
【００３３】
次いで、動きベクトル算出部３０３が平均化画像５０５から平均化オブジェクト５０６の動きベクトルを算出する（Ｓ４０４）。具体的には、図８に示すように、１フレームに相当する時間が経過する前後の平均化画像５０５を比較して平均化オブジェクト５０６の移動量とその移動方向から動きベクトル７００を算出する。ここでは、表示素子２０１において右へ８画素分の移動量が動きベクトル７００として算出される。さらに、動きベクトル算出部３０３は算出された動きベクトル７００の絶対値が所定値以上であるか否かを判定する（Ｓ４０５）。
【００３４】
動きベクトル７００の絶対値が所定値以上であると判定された場合、動きオブジェクト抽出部３０４は、平均化画像５０５の背景から平均化オブジェクト５０６を分離して動きオブジェクト７０１として抽出する（Ｓ４０６）。その後、補間画像作成部３０５が抽出された動きオブジェクト７０１を用いて動き補間画像を作成する（Ｓ４０７）。なお、平均化画像５０５の背景から平均化オブジェクト５０６を分離する際に用いる閾値は、元画像２００の解像度や想定される投影画像の大きさ、さらには、視距離等を考慮して適宜設定される。
【００３５】
図９は、図４のＳ４０７における動き補間画像の作成を説明するための図である。まず、補間画像作成部３０５は、動きベクトル７００からサブフレーム１のタイミングにおける動きオブジェクト７０１の位置を算出し、当該位置へ配置した動きオブジェクト７０１を背景と合成して動き補間画像８００を作成する（図９（Ａ））。次に、補間画像作成部３０５は、動きベクトル７００からサブフレーム２のタイミングにおける動きオブジェクト７０１の位置を算出し、当該位置へ配置した動きオブジェクト７０１を背景と合成して動き補間画像８０１を作成する（図９（Ｂ））。さらに、補間画像作成部３０５は、動きベクトル７００からサブフレーム３のタイミングにおける動きオブジェクト７０１の位置を算出し、当該位置へ配置した動きオブジェクト７０１を背景と合成して動き補間画像８０２を作成する（図９（Ｃ））。また、補間画像作成部３０５は、動きベクトル７００からサブフレーム４のタイミングにおける動きオブジェクト７０１の位置を算出し、当該位置へ配置した動きオブジェクト７０１を背景と合成して動き補間画像８０３を作成する（図９（Ｄ））。
【００３６】
すなわち、動き補間画像８００〜８０３は、１フレームにおける動きオブジェクト７０１の動きを補間する。また、動き補間画像８００〜８０３の作成では、間引き画像５００〜５０３からオブジェクト２０２を除去することにより、背景を作成する。このとき、オブジェクト２０２が除去された部分には、オブジェクト２０２の周囲の画素から推定された画素又は１フレームに相当する時間が経過した後の各間引き画像５００〜５０３から推定された画素が埋め込まれる。すなわち、Ｓ４０７では、実質的に間引き画像５００〜５０３のオブジェクト２０２が、サブフレームに応じて動きが補間された動きオブジェクト７０１と置き換えられる。
【００３７】
次いで、表示画像作成部３０６ａ〜３０６ｄが間引き画像５００〜５０３を動き補間画像８００〜８０３と置き換えて表示画像を作成する（Ｓ４０８）。具体的には、表示画像作成部３０６ａが間引き画像５００を動き補間画像８００と置き換え（図１０（Ａ））。表示画像作成部３０６ｂが間引き画像５０１を動き補間画像８０１と置き換える（図１０（Ｂ））。また、表示画像作成部３０６ｃが間引き画像５０２を動き補間画像８０２と置き換え（図１０（Ｃ））。表示画像作成部３０６ｄが間引き画像５０３を動き補間画像８０３と置き換える（図１０（Ｄ））。
【００３８】
その後、画像表示部３０７が表示画像作成部３０６ａ〜３０６ｄによって作成された表示画像を投影面１０２へ順次投影表示する（Ｓ４０９）。図１１は、図４のＳ４０９における表示画像の順次表示を説明するための図である。なお、図１１において、元画像２００の各画素は破線で示され、動き補間画像８００〜８０３の各画素が実線で示される。まず、画像表示部３０７は、サブフレーム１のタイミングで動き補間画像８００を投影表示する。このとき、動き補間画像８００は元画像２００に対してずらされることなく表示される。次いで、画像表示部３０７は、サブフレーム２のタイミングで動き補間画像８０１を投影表示する。このとき、投影光学系により、動き補間画像８０１は元画像２００に対して元画像２００の１画素分右にずらされて表示される。さらに、画像表示部３０７は、サブフレーム３のタイミングで動き補間画像８０２を投影表示する。このとき、投影光学系により、動き補間画像８０２は元画像２００に対して元画像２００の１画素分右にずらされ且つ１画素分下にずらされて表示される。また、画像表示部３０７は、サブフレーム４のタイミングで動き補間画像８０３を投影表示する。このとき、投影光学系により、動き補間画像８０３は元画像２００に対して元画像２００の１画素分下にずらされて表示される。その後、画像表示部３０７は次のフレームのサブフレーム１のタイミングで動き補間画像８００と同様に作成された動き補間画像８０４を表示し、以下、同様の処理を継続する。
【００３９】
Ｓ４０９では、残像効果により、観者は、図１２に示すように、重畳画像１１００において、時間の経過とともに滑らかに動き、且つ変色しない動きオブジェクト７０１を観察することができる。
【００４０】
なお、Ｓ４０５において、動きベクトル７００の絶対値が所定値未満であると判定された場合、Ｓ４０６〜Ｓ４０８の処理がスキップされる。すなわち、オブジェクト２０２の各画素の情報が平均化された動きオブジェクト７０１に置き換えられることなく、そのまま表示されて図６（Ｅ）の重畳画像５０４が投影面１０２へ表示される。
【００４１】
本実施の形態によれば、間引き画像５００〜５０３を動き補間画像８００〜８０３と置き換えることにより、青色と黄色のオブジェクト２０２を動きオブジェクト７０１へ置き換える。黄色や青色のオブジェクト２０２の各画素の情報が平均化されて動きオブジェクト７０１（平均化オブジェクト５０６）が作成されるため、動きオブジェクト７０１は灰色を呈する。したがって、動き補間画像８００〜８０３を表示画像として順次投影表示する際、動きオブジェクト７０１は滑らかに動くが、灰色のままであり、青色又は黄色に変色することがない。これにより、元画像に含まれて移動するオブジェクト２０２が不自然に投影表示されるのを抑制することができる。
【００４２】
なお、本実施の形態では、オブジェクト２０２の各画素の情報を平均化することによって動きオブジェクト７０１が作成されるため、オブジェクト２０２の折り返し雑音が消失し、動きオブジェクト７０１では折り返し雑音の発生を抑制することができる。一方、平均化処理は空間周波数の高周波数成分を元画像から除く一種のローパスフィルタリング処理である。したがって、動きオブジェクト７０１では元画像２００の解像度（４Ｋ）を実現するのが困難であり、例えば、動きオブジェクト７０１では元画像２００の解像度の半分の解像度（２Ｋ）しか実現できない。しかしながら、人間の視覚は動きの大きいオブジェクトを観察する場合において先鋭度に対する感度が低下するという特性を持っている。したがって、動きオブジェクト７０１において先鋭度としての解像度が低下しても、観者が解像度の低下を認識することがないため、動きオブジェクト７０１において元画像２００の解像度の半分の解像度しか実現できなくても、大きな支障にはなることはない。
【００４３】
次に、移動するオブジェクトと移動しないオブジェクトを含む元画像に本発明の第１の実施の形態を適用した場合について説明する。ここで、図１３に示すように、元画像１２００が１フレームに相当する時間に１６画素分図中右方へ移動するオブジェクト２０２と移動しないオブジェクト１２０１を含む。また、オブジェクト２０２及びオブジェクト１２０１はいずれも縦方向に４画素、横方向に２画素を有し、青色の画素と黄色の画素が一画素おきに配置された市松模様をなす。また、元画像１２００の解像度は４Ｋであり、投影装置１０１の表示素子２０１の解像度は２Ｋである。
【００４４】
このような元画像１２００へ本発明の第１の実施の形態を適用すると、移動量の大きいオブジェクト２０２に関しては、まず、サブフレーム１〜サブフレーム４の各タイミングに相当する間引き画像５００〜５０３が作成される。さらに、間引き画像５００〜５０３の画素情報が平均されて平均化画像５０５が作成される。このとき、間引き画像５００〜５０３のオブジェクト２０２の各画素の情報が平均化されて平均化オブジェクト５０６が作成される。さらに、平均化オブジェクト５０６が動きオブジェクト７０１として抽出され、サブフレーム１〜サブフレーム４の各タイミングに相当する動き補間画像８００〜８０３が作成される。動き補間画像８００〜８０３はそれぞれサブフレーム１〜サブフレーム４の各タイミングに相当する位置に移動した動きオブジェクト７０１を含む。その後、動き補間画像８００〜８０３が順次投影表示されるが、このとき、図１４に示すように、動きオブジェクト７０１がサブフレーム１〜４の各タイミングで移動しながら表示される。また、サブフレーム１〜４の各タイミングで表示される動きオブジェクト７０１は、元画像２００の１画素分ずつずらされて表示される。
【００４５】
一方、移動しないオブジェクト１２０１に関しては、サブフレーム１〜サブフレーム４の各タイミングに相当する間引き画像が作成されるものの、間引き画像の画素情報が平均されることはなく、間引き画像がそのまま順次投影表示される。なお、間引き画像におけるオブジェクト１２０１は、図６に示す間引き画像の作成の工程と同様の工程を経て黄色又は青色のみを呈する。間引き画像の順次投影表示では、図１４に示すように、黄色又は青色のオブジェクト１２０１は移動することなく順次表示される。但し、オブジェクト１２０１は、サブフレーム１〜４の各タイミングで元画像２００の１画素分ずつずらされて表示される。
【００４６】
このように、本実施の形態では、元画像において動きの少ないオブジェクトに対して平均化処理を施さない一方、元画像において動きの大きいオブジェクトに対して平均化処理を施す。平均化処理では、オブジェクトへ元画像における異なる画素の情報が強く混合される。すなわち、本実施の形態では、動きの大きいオブジェクトへの近傍の画素の情報の混合が、動きの小さいオブジェクトや画像の背景部分への近傍の画素の情報の混合よりも強く発生している。また、動きの大きいオブジェクトに関しては、当該オブジェクトの動きを補間する動き補間画像も作成される。
【００４７】
その結果、本実施の形態では、残像効果により、観者は、図１５に示すように、重畳画像１４００において、動きの大きいオブジェクト２０２に関し、時間の経過とともに滑らかに動き、且つ変色しない灰色の動きオブジェクト７０１を観察することができる。また、観者は、移動しないオブジェクト１２０１に関し、各オブジェクト１２０１が重畳表示された際の残像効果により、表示素子２０１の解像度よりも高い解像度でオブジェクト１２０１を観察することができる。なお、重畳画像１４００では、各オブジェクト１２０１が重畳した部分も灰色を呈する。
【００４８】
これにより、本実施の形態では、動きの大きいオブジェクト２０２が不自然に投影表示される（黄色や青色に変化する）のを抑制することができる。また、本実施の形態では、画素ずらし技術によって移動しないオブジェクト１２０１の解像度を表示素子２０１の解像度よりも高くすることができる。これにより、動きの小さいオブジェクトを観察する場合には先鋭度に対する感度が低下しない観者によるオブジェクト１２０１の観察に支障を生じさせない。
【００４９】
次に、本発明の第２の実施の形態について説明する。第２の実施の形態は、その構成、作用が上述した第１の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。第１の実施の形態では、動きベクトル７００の算出や動きオブジェクト７０１の抽出は平均化画像５０５に基づいて行った。しかしながら、第２の実施の形態は、動きベクトルの算出や動きオブジェクトの抽出を元画像に基づいて行う点で第１の実施の形態と異なる。
【００５０】
なお、本実施の形態においても、出力装置１０３は解像度が４Ｋの元画像２００を供給し、投影装置１０１が有する表示素子２０１の解像度は２Ｋである。また、元画像２００は１フレームに相当する時間に１６画素分図中右方へ移動するオブジェクト２０２を含む。
【００５１】
図１６は、本実施の形態において投影装置１０１が実現する機能を概念的に示す機能ブロック図である。なお、図３の機能ブロック図と共通する機能部についてはその説明を省略する。図１６に示すように、本実施の形態では、元画像からオブジェクトの動きベクトルを算出する動きベクトル算出部１５００と、動きベクトルの絶対値が所定値以上のオブジェクトを背景から分離して抽出する動きオブジェクト抽出部１５０１とが実現される。また、抽出されたオブジェクトにローパスフィルタリング処理を施すローパスフィルタリング部１５０２（情報混合手段）と、オブジェクトの動き補間画像を作成する補間画像作成部１５０３（補間画像作成手段）とが実現される。さらに、動き補間画像からオブジェクトをサンプリングして間引き画像を作成するサンプリング部１５０４も実現される。各機能部は、投影装置１０１が有するＣＰＵがメモリ等に格納されたプログラムを実行することによって実現される。
【００５２】
以下、本実施の形態に係る投影制御装置の制御方法である画像表示処理について説明する。図１７は、本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。
【００５３】
図１７において、まず、動きベクトル算出部１５００は、元画像２００からオブジェクト２０２の動きベクトルを算出する（Ｓ１６０１）。具体的には、図１８に示すように、１フレームに相当する時間が経過する前後の元画像２００を比較してオブジェクト２０２の移動量とその移動方向から動きベクトル１７００を算出する。ここでは、表示素子２０１において右へ８画素分の移動量が動きベクトル１７００として算出される。さらに、動きベクトル算出部１５００は算出された動きベクトル１７００の絶対値が所定値以上であるか否かを判定する（Ｓ１６０２）。
【００５４】
動きベクトル１７００の絶対値が所定値以上であると判定された場合、動きオブジェクト抽出部１５０１は、図１９に示すように、元画像２００の背景からオブジェクト２０２を分離して動きオブジェクト１８００として抽出する（Ｓ１６０３）。次いで、ローパスフィルタリング部１５０２は動きオブジェクト１８００にローパスフィルタリング処理を施す（Ｓ１６０４）。なお、ローパスフィルタリング部１５０２は抽出された全ての動きオブジェクト１８００にローパスフィルタリング処理を施す必要はない。例えば、動きベクトル１７００の絶対値が他の所定値以上の動きオブジェクト１８００にのみローパスフィルタリング処理をしてもよい。このローパスフィルタリング処理を施すか否かの判断基準となる他の所定値はＳ１６０２における所定値と異なる値に設定してもよく、例えば、他の所定値がＳ１６０２における所定値よりも大きいことが好ましい。
【００５５】
Ｓ１６０４のローパスフィルタリング処理としては、第１の実施の形態で用いた平均化処理とは異なる、一般的なローパスフィルタリングの手法が用いられる。例えば、デジタル画像処理においてローパスフィルタと呼ばれる小行列を元画像２００に畳み込み積分する手法や、画像データのスケーリング処理で用いられるアルゴリズムに含まれる画素の情報の平均化効果を含むものを用いる手法が用いられる。これにより、空間周波数の高周波数成分が除かれて折り返し雑音が消去された処理済みオブジェクト１８０１（混合オブジェクト）が作成される。その後、補間画像作成部１５０３が処理済みオブジェクト１８０１を用いて動き補間画像を作成する（Ｓ１６０５）。
【００５６】
図２０は、図１７のＳ１６０５における動き補間画像の作成を説明するための図である。なお、ここでのサブフレーム１〜サブフレーム４は、第１の実施の形態と同様に、元画像の１フレームに相当する時間を４つに均等に分けた、それぞれのタイミングに相当する。
【００５７】
まず、補間画像作成部１５０３は、動きベクトル１７００からサブフレーム１の処理済みオブジェクト１８０１の位置を算出し、当該位置へ配置した処理済みオブジェクト１８０１を背景と合成して動き補間画像１９００を作成する（図２０（Ａ））。次に、補間画像作成部１５０３は、動きベクトル１７００からサブフレーム２の処理済みオブジェクト１８０１の位置を算出し、当該位置へ配置した処理済みオブジェクト１８０１を背景と合成して動き補間画像１９０１を作成する（図２０（Ｂ））。さらに、補間画像作成部１５０３は、動きベクトル１７００からサブフレーム３の処理済みオブジェクト１８０１の位置を算出し、当該位置へ配置した処理済みオブジェクト１８０１を背景と合成して動き補間画像１９０２を作成する（図２０（Ｃ））。また、補間画像作成部１５０３は、動きベクトル１７００からサブフレーム４の処理済みオブジェクト１８０１の位置を算出し、当該位置へ配置した処理済みオブジェクト１８０１を背景と合成して動き補間画像１９０３を作成する（図２０（Ｄ））。動き補間画像１９００〜１９０３の作成では、元画像２００からオブジェクト２０２を除去することにより、背景を作成する。このとき、オブジェクト２０２が除去された部分には、オブジェクト２０２の周囲の画素から推定された画素又は１フレームに相当する時間が経過した後の元画像２００から推定された画素が埋め込まれる。
【００５８】
次いで、サンプリング部１５０４は動き補間画像１９００〜１９０３から各画素をサンプリングして間引き画像２０００〜２００３を作成する（Ｓ１６０６）。本実施の形態では、動き補間画像１９００〜１９０３において、表示素子２０１と同じ画素数の４つの間引き画像の各基準位置を置く画素をそれぞれ異ならせながら、４つの間引き画像が作成される。
【００５９】
図２１は、本実施の形態における間引き画像の作成を説明するための図である。図中において、動き補間画像１９００〜１９０３の各画素は破線で示され、表示素子２０１の各画素が実線で示される。以下、本実施の形態では、動き補間画像１９００〜１９０３の左上隅近傍において、互いに１画素ずつ位置の異なる各画素に４つの間引き画像の各基準位置が置かれる。具体的に、動き補間画像１９００に対しては画素１９００−（１，１）に基準位置が置かれ、動き補間画像１９０１に対しては画素１９０１−（２，１）に基準位置が置かれる。動き補間画像１９０２に対しては画素１９０２−（２，２）に基準位置が置かれ、動き補間画像１９０３に対しては画素１９０３−（１，２）に基準位置が置かれる。
【００６０】
ここで、動き補間画像の解像度が元画像と同じ４Ｋであるのに対し、表示素子の解像度が２Ｋである。また、表示素子の画素の大きさが動き補間画像の画素の大きさの２倍であり、サンプリング間隔が各動き補間画像の一画素とばしである。さらに、基準位置のずらし量と投影光学系のずらし量が共に動き補間画像の一画素ほどである。これらの条件が相まって、結果的に、図２１において、動き補間画像１９００〜１９０３からサンプリングされる画素が、表示素子２０１の各画素の左上に対応する画素となる。
【００６１】
まず、動き補間画像１９００に対して表示素子２０１がずれていない状態であるサブフレーム１の間引き画像２０００を、基準位置を動き補間画像１９００中の画素１９００−（１，１）に置き、サンプリング位相１に従って作成する（図２１（Ａ））。処理済みオブジェクト１８０１に対応する部分について詳しく見ると、表示素子２０１における処理済みオブジェクト１８０１に対応する画素２０１ａの左上に対応する動き補間画像１９００の画素１９００ａが画素２０１ａのサンプリング画素となる。したがって、画素１９００ａの画素情報が画素２０１ａへ引き継がれる。ここで、画素１９００ａは処理済みオブジェクト１８０１の一部であるため、画素２０１ａも処理済みオブジェクト１８０１の一部となる。また、表示素子２０１の画素２０１ａの下の画素２０１ｂに対しては、動き補間画像１９００の画素１９００ａから１画素とばした下の画素１９００ｂが画素２０１ｂのサンプリング画素となる。したがって、画素１９００ｂの画素情報が画素２０１ｂへ引き継がれる。ここで、画素１９００ｂも処理済みオブジェクト１８０１の一部であるため、画素２０１ｂも処理済みオブジェクト１８０１の一部となる。すなわち、間引き画像２０００の画素２０１ａ及び画素２０１ｂは処理済みオブジェクト１８０１をなす。
【００６２】
次に、動き補間画像１９０１に対して表示素子２０１が右に１画素分ずれた状態であるサブフレーム２の間引き画像２００１を、基準位置を動き補間画像１９０１中の画素１９０１−（２，１）に置き、サンプリング位相２に従って作成する（図２１（Ｂ））。処理済みオブジェクト１８０１に対応する部分について詳しく見ると、表示素子２０１における処理済みオブジェクト１８０１に対応する画素２０１ｃの左上に対応する動き補間画像１９０１の画素１９０１ａが画素２０１ｃのサンプリング画素となる。したがって、画素１９０１ａの画素情報が画素２０１ｃへ引き継がれる。ここで、画素１９０１ａは処理済みオブジェクト１８０１の一部であるため、画素２０１ｃは処理済みオブジェクト１８０１の一部となる。また、表示素子２０１の画素２０１ｃの下の画素２０１ｄに対しては、動き補間画像１９０１の画素１９０１ａから１画素とばした下の画素１９０１ｂが画素２０１ｄのサンプリング画素となる。したがって、画素１９０１ｂの画素情報が画素２０１ｄへ引き継がれる。ここで、画素１９０１ｂも処理済みオブジェクト１８０１の一部であるため、画素２０１ｄも処理済みオブジェクト１８０１の一部となる。すなわち、間引き画像２００１の画素２０１ａ及び画素２０１ｂは処理済みオブジェクト１８０１をなす。
【００６３】
次に、動き補間画像１９０２に対して表示素子２０１が右に１画素分且つ下に１画素分ずれた状態であるサブフレーム３の間引き画像２００２を、基準位置を動き補間画像１９０２中の画素１９０２−（２，２）に置き、サンプリング位相３に従って作成する。作成の過程を図２１（Ｃ）に示す。処理済みオブジェクト１８０１に対応する部分について詳しく見ると、表示素子２０１における処理済みオブジェクト１８０１に対応する画素２０１ｅの左上に対応する動き補間画像１９０２の画素１９０２ａが画素２０１ｅのサンプリング画素となる。したがって、画素１９０２ａの画素情報が画素２０１ｅへ引き継がれる。ここで、画素１９０２ａは処理済みオブジェクト１８０１の一部であるため、画素２０１ｅは処理済みオブジェクト１８０１の一部となる。また、表示素子２０１の画素２０１ｅの下の画素２０１ｆに対しては、動き補間画像１９０２の画素１９０２ａから１画素とばした下の画素１９０２ｂが画素２０１ｆのサンプリング画素となる。したがって、画素１９０２ｂの画素情報が画素２０１ｆへ引き継がれる。ここで、画素１９０２ｂも処理済みオブジェクト１８０１の一部であるため、画素２０１ｆも処理済みオブジェクト１８０１の一部となる。すなわち、間引き画像２００２の画素２０１ａ及び画素２０１ｂは処理済みオブジェクト１８０１をなす。
【００６４】
次に、動き補間画像１９０３に対して表示素子２０１が下に１画素分ずれた状態であるサブフレーム４の間引き画像２００３を、基準位置を動き補間画像１９０３中の画素１９０３−（１，２）に置き、サンプリング位相４に従って作成する（図２１（Ｄ））。処理済みオブジェクト１８０１に対応する部分について詳しく見ると、表示素子２０１における処理済みオブジェクト１８０１に対応する画素２０１ｇの左上に対応する動き補間画像１９０３の画素１９０３ａが画素２０１ｇのサンプリング画素となる。したがって、画素１９０３ａの画素情報が画素２０１ｇへ引き継がれる。ここで、画素１９０３ａは処理済みオブジェクト１８０１の一部であるため、画素２０１ｇは処理済みオブジェクト１８０１の一部となる。また、表示素子２０１の画素２０１ｇの下の画素２０１ｈに対しては、動き補間画像１９０３の画素１９０３ａから１画素とばした下の画素１９０３ｂが画素２０１ｈのサンプリング画素となる。したがって、画素１９０３ｂの画素情報が画素２０１ｈへ引き継がれる。ここで、画素１９０３ｂも処理済みオブジェクト１８０１の一部であるため、画素２０１ｈも処理済みオブジェクト１８０１の一部となる。すなわち、間引き画像２００３の画素２０１ａ及び画素２０１ｂは処理済みオブジェクト１８０１をなす。
【００６５】
このように、動き補間画像１９００〜１９０３においてサブフレーム１〜サブフレーム４の各タイミングに応じて移動された処理済みオブジェクト１８０１が、間引き画像２０００〜２００３へ反映される。
【００６６】
一方、Ｓ１６０２において、動きベクトル１７００の絶対値が所定値未満であると判定された場合、図４のＳ４０１、Ｓ４０２の処理が実行されて間引き画像保持部３０１ａ〜３０１ｄは作成された間引き画像５００〜５０３を保持する。
【００６７】
次いで、表示画像作成部３０６ａ〜３０６ｄが間引き画像２０００〜２００３及び間引き画像５００〜５０３から表示画像を作成する。動きベクトル１７００の絶対値が所定値以上である場合、表示画像作成部３０６ａ〜３０６ｄは間引き画像２０００〜２００３を表示画像として設定する。また、動きベクトル１７００の絶対値が所定値未満である場合、表示画像作成部３０６ａ〜３０６ｄは間引き画像５００〜５０３を表示画像として設定する。
【００６８】
その後、画像表示部３０７が表示画像作成部３０６ａ〜３０６ｄによって作成された表示画像を投影面１０２へ順次投影表示する（Ｓ１６０７）。
【００６９】
間引き画像２０００〜２００３は、動きオブジェクト７０１の代わりに処理済みオブジェクト１８０１が含まれること以外は動き補間画像８００〜８０３と同じ形態を有する。したがって、動きベクトル１７００の絶対値が所定値以上である場合の表示形態は、図１１の表示形態と同じになる。
【００７０】
本実施の形態によれば、間引き画像５００〜５０３の代わりに間引き画像２０００〜２００３を順次表示することにより、青色と黄色のオブジェクト２０２を処理済みオブジェクト１８０１へ置き換える。処理済みオブジェクト１８０１はローパスフィルタリング処理によって作成されるため、折り返し雑音が消去され、例えば、青色又は黄色に変色することがない。これにより、元画像に含まれて移動するオブジェクト２０２が不自然に投影表示されるのを抑制することができる。
【００７１】
また、本実施の形態では、動きベクトル１７００の算出や動きオブジェクト１８００の抽出を元画像の元画像２００に基づいて行うが、元画像２００には、例えば、平均化処理が施されていないため、元画像２００の情報は減少していない。したがって、動きベクトル１７００の算出や動きオブジェクト１８００の抽出を、第１の実施の形態に比して精度よく行うことができる。
【００７２】
なお、間引き画像２０００〜２００３の作成の際、元画像２００に比して解像度が１／２（４Ｋから２Ｋ）に低下する。したがって、動きオブジェクト１８００にローパスフィルタリング処理を施して処理済みオブジェクト１８０１を作成する際、動きオブジェクト１８００へ縦横の画素数が１／２になる縮小処理、例えば、隣接画素平均化処理を施してもよい。これにより、作成された処理済みオブジェクト１８０１の解像度のみが１／２に低下するため、Ｓ１６０６において間引き画像２０００〜２００３を作成する際にサンプリングを行う必要を無くすことができる。
【００７３】
次に、本発明の第３の実施の形態について説明する。第３の実施の形態は、その構成、作用が上述した第１の実施の形態や第２の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。第３の実施の形態は、動きベクトルの算出や動きオブジェクトの抽出を元画像に基づいて行う点で第２の実施の形態と同じである。一方、第２の実施の形態では、処理済みオブジェクト１８０１を用いて動き補間画像１９００〜１９０３を作成した。しかしながら、第３の実施の形態は、処理済みオブジェクトを元画像に合成し、合成された元画像をサンプリングする点で第２の実施の形態と異なる。
【００７４】
なお、本実施の形態においても、出力装置１０３は解像度が４Ｋの元画像を供給し、投影装置１０１が有する表示素子２０１の解像度は２Ｋである。また、元画像２００は１フレームに相当する時間に１６画素分図中右方へ移動するオブジェクト２０２を含む。
【００７５】
図２２は、本実施の形態において投影装置１０１が実現する機能を概念的に示す機能ブロック図である。なお、図３や図１６の機能ブロック図と共通する機能部についてはその説明を省略する。図２２に示すように、本実施の形態では、元画像２００の動きオブジェクト１８００を処理済みオブジェクト１８０１で置き換える画像置き換え部２１００が実現される。また、間引き画像から動きの補間画像を作成する補間画像作成部２１０１ａ〜２１０１ｄ（補間画像作成手段）が実現される。各機能部は、投影装置１０１が有するＣＰＵがメモリ等に格納されたプログラムを実行することによって実現される。
【００７６】
以下、本実施の形態に係る投影制御装置の制御方法である画像表示処理について説明する。図２３は、本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。
【００７７】
図２３において、まず、動きベクトル算出部１５００は、図１７のＳ１６０１と同様に、元画像２００からオブジェクト２０２の動きベクトル１７００を算出する（Ｓ２２０１）。さらに、動きベクトル算出部１５００は、図１７のＳ１６０２と同様に、算出された動きベクトル１７００の絶対値が所定値以上であるか否かを判定する（Ｓ２２０２）。
【００７８】
動きベクトル１７００の絶対値が所定値以上であると判定された場合、動きオブジェクト抽出部１５０１は、図１７のＳ１６０３と同様に、元画像２００の背景からオブジェクト２０２を分離して動きオブジェクト１８００として抽出する（Ｓ２２０３）。次いで、ローパスフィルタリング部１５０２は、図１７のＳ１６０４と同様に、動きオブジェクト１８００にローパスフィルタリング処理を施す（Ｓ２２０４）。なお、ローパスフィルタリング部１５０２が抽出された全ての動きオブジェクト１８００にローパスフィルタリング処理を施す必要はないことは、第２の実施の形態と同様である。また、Ｓ２２０４のローパスフィルタリング処理として、第２の実施の形態におけるローパスフィルタリング処理と同様のものが用いられる。次いで、画像置き換え部２１００が、図２４に示すように、元画像２００の動きオブジェクト１８００を処理済みオブジェクト１８０１で置き換えて合成画像２３００を作成する（Ｓ２２０５）。合成画像２３００はサンプリング部３００へ受け渡される。
【００７９】
一方、Ｓ２２０２において、動きベクトル１７００の絶対値が所定値未満であると判定された場合、Ｓ２２０３〜Ｓ２２０５の処理がスキップされる。すなわち、元画像２００のオブジェクト２０２が処理済みオブジェクト１８０１に置き換えられず、元画像がそのままがサンプリング部３００へ受け渡される。
【００８０】
次いで、サンプリング部３００は受け渡された画像（合成画像２３００又は元画像）から各画素をサンプリングして間引き画像を作成する（Ｓ２２０６）。本実施の形態では、受け渡された画像において、表示素子２０１と同じ画素数の４つの間引き画像の各基準位置を置く画素をそれぞれ異ならせながら、４つの間引き画像が作成される。
【００８１】
図２５は、本実施の形態における間引き画像の作成を説明するための図である。なお、ここでは合成画像２３００がサンプリング部３００へ受け渡された場合について説明する。図中において、合成画像２３００の各画素は破線で示され、表示素子２０１の各画素が実線で示される。以下、本実施の形態では、合成画像２３００の左上隅において互いに隣接する４画素が基準位置を置く画素として設定される。具体的には、画素２３００−（１，１）、２３００−（２，１）、２３００−（２，２）、２３００−（１，２）を、４つの間引き画像の各基準位置を置く画素とする。なお、ここでのサブフレーム１〜サブフレーム４は、第１の実施の形態と同様に、元画像の１フレームに相当する時間を４つに均等に分けた、それぞれのタイミングに相当する。
【００８２】
本実施の形態では、合成画像の解像度が元画像と同じ４Ｋであるのに対し表示素子の解像度が２Ｋである。また、表示素子の画素の大きさが合成画像の画素の大きさの２倍であり、サンプリング間隔が合成画像２３００の一画素とばしである。さらに、基準位置のずらし量と投影光学系のずらし量が共に合成画像の一画素ほどである。これらの条件が相まって、結果的に、図２５においては、合成画像２３００からサンプリングされる画素は、表示素子２０１の各画素の左上に対応する画素となる。
【００８３】
まず、合成画像２３００に対して表示素子２０１がずれていない状態であるサブフレーム１の間引き画像２４００を、基準位置を合成画像２３００中の画素２３００−（１，１）に置き、サンプリング位相１に従って作成する（図２５（Ａ））。処理済みオブジェクト１８０１に対応する部分について詳しく見ると、表示素子２０１における処理済みオブジェクト１８０１に対応する画素２０１ａの左上に対応する合成画像２３００の画素２３００ａが画素２０１ａのサンプリング画素となる。したがって、画素２３００ａの画素情報が画素２０１ａへ引き継がれる。ここで、画素２３００ａは処理済みオブジェクト１８０１の一部であるため、画素２０１ａも処理済みオブジェクト１８０１の一部となる。また、表示素子２０１の画素２０１ａの下の画素２０１ｂに対しては、合成画像２３００の画素２３００ａから１画素とばした下の画素２３００ｂが画素２０１ｂのサンプリング画素となる。したがって、画素２３００ｂの画素情報が画素２０１ｂへ引き継がれる。ここで、画素２３００ｂも処理済みオブジェクト１８０１の一部であるため、画素２０１ｂも処理済みオブジェクト１８０１の一部となる。すなわち、間引き画像２４００の画素２０１ａ及び画素２０１ｂは処理済みオブジェクト１８０１をなす。
【００８４】
次に、合成画像２３００に対して表示素子２０１が右に１画素分ずれた状態であるサブフレーム２の間引き画像２４０１を、基準位置を合成画像２３００中の画素２３００−（２，１）に置き、サンプリング位相２に従って作成する（図２５（Ｂ））。処理済みオブジェクト１８０１に対応する部分について詳しく見ると、表示素子２０１における処理済みオブジェクト１８０１に対応する画素２０１ａの左上に対応する合成画像２３００の画素２３００ｃが画素２０１ａのサンプリング画素となる。したがって、画素２３００ｃの画素情報が画素２０１ａへ引き継がれる。ここで、画素２３００ｃは処理済みオブジェクト１８０１の一部であるため、画素２０１ａは処理済みオブジェクト１８０１の一部となる。また、表示素子２０１の画素２０１ａの下の画素２０１ｂに対しては、合成画像２３００の画素２３００ｃから１画素とばした下の画素２３００ｄが画素２０１ｂのサンプリング画素となる。したがって、画素２３００ｄの画素情報が画素２０１ｂへ引き継がれる。ここで、画素２３００ｄも処理済みオブジェクト１８０１の一部であるため、画素２０１ｂも処理済みオブジェクト１８０１の一部となる。すなわち、間引き画像２４０１の画素２０１ａ及び画素２０１ｂは処理済みオブジェクト１８０１をなす。
【００８５】
次に、合成画像２３００に対して表示素子２０１が右に１画素分ずれ且つ下に１画素分ずれた状態であるサブフレーム３の間引き画像２４０２を、基準位置を合成画像２３００中の画素２３００−（２，２）に置き、サンプリング位相３に従って作成する。作成の過程を図２５（Ｃ）に示す。処理済みオブジェクト１８０１に対応する部分について詳しく見ると、表示素子２０１における処理済みオブジェクト１８０１に対応する画素２０１ａの左上に対応する合成画像２３００の画素２３００ｅが画素２０１ａのサンプリング画素となる。したがって、画素２００ｅの画素情報が画素２０１ａへ引き継がれる。ここで、画素２３００ｅは処理済みオブジェクト１８０１の一部であるため、画素２０１ａは処理済みオブジェクト１８０１の一部となる。また、表示素子２０１の画素２０１ａの下の画素２０１ｂに対しては、合成画像２３００の画素２３００ｅから１画素とばした下の画素２３００ｆが画素２０１ｂのサンプリング画素となる。したがって、画素２３００ｆの画素情報が画素２０１ｂへ引き継がれる。ここで、画素２３００ｆも処理済みオブジェクト１８０１の一部であるため、画素２０１ｂも処理済みオブジェクト１８０１の一部となる。すなわち、間引き画像２４０２の画素２０１ａ及び画素２０１ｂは処理済みオブジェクト１８０１をなす。
【００８６】
次に、合成画像２３００に対して表示素子２０１が下に１画素分ずれた状態であるサブフレーム４の間引き画像２４０３を、基準位置を合成画像２３００中の画素２３００−（１，２）に置き、サンプリング位相４に従って作成する（図２５（Ｄ））。処理済みオブジェクト１８０１に対応する部分について詳しく見ると、表示素子２０１における処理済みオブジェクト１８０１に対応する画素２０１ａの左上に対応する合成画像２３００の画素２３００ｇが画素２０１ａのサンプリング画素となる。画素２３００ｇは処理済みオブジェクト１８０１の一部であるため、画素２０１ａは処理済みオブジェクト１８０１の一部となる。また、画素２０１ａの下の画素２０１ｂに対しては、合成画像２３００の画素２３００ｇから１画素とばした下の画素２３００ｈが画素２０１ｂのサンプリング画素となる。画素２３００ｈも処理済みオブジェクト１８０１の一部であるため、画素２０１ｂも処理済みオブジェクト１８０１の一部となる。すなわち、間引き画像２４０３の画素２０１ａ及び画素２０１ｂは処理済みオブジェクト１８０１をなす。
【００８７】
図２３に戻り、間引き画像保持部３０１ａ〜３０１ｄは作成された間引き画像２４００〜２４０３を保持する（Ｓ２２０７）。具体的に、間引き画像保持部３０１ａは間引き画像２４００を保持し、間引き画像保持部３０１ｂは間引き画像２４０１を保持し、間引き画像保持部３０１ｃは間引き画像２４０２を保持し、間引き画像保持部３０１ｄは間引き画像２４０３を保持する。その後、補間画像作成部２１０１ａ〜２１０１ｄが保持された間引き画像２４００〜２４０３を用いて動き補間画像２５００〜２５０３を作成する（Ｓ２２０８）。
【００８８】
図２６は、図２３のＳ２２０８における動き補間画像の作成を説明するための図である。まず、補間画像作成部２１０１ａは、動きベクトル１７００からサブフレーム１の処理済みオブジェクト１８０１の位置を算出する。次いで、補間画像作成部２１０１ａは、間引き画像２４００において処理済みオブジェクト１８０１を算出された位置へ配置し、背景と合成して動き補間画像２５００を作成する（図２６（Ａ））。次に、補間画像作成部２１０１ｂは、動きベクトル１７００からサブフレーム２の処理済みオブジェクト１８０１の位置を算出する。次いで、補間画像作成部２１０１ｂは、間引き画像２４０１において処理済みオブジェクト１８０１を算出された位置へ配置し、背景と合成して動き補間画像２５０１を作成する（図２６（Ｂ））。さらに、補間画像作成部２１０１ｃは、動きベクトル１７００からサブフレーム３の処理済みオブジェクト１８０１の位置を算出する。次いで、補間画像作成部２１０１ｃは、間引き画像２４０２において処理済みオブジェクト１８０１を算出された位置へ配置し、背景と合成して動き補間画像２５０２を作成する（図２６（Ｃ））。また、補間画像作成部２１０１ｄは、動きベクトル１７００からサブフレーム４の処理済みオブジェクト１８０１の位置を算出する。次いで、補間画像作成部２１０１ｄは、間引き画像２４０３において処理済みオブジェクト１８０１を算出された位置へ配置し、背景と合成して動き補間画像２５０３を作成する（図２６（Ｄ））。動き補間画像２５００〜２５０３の作成では、間引き画像２４００〜２４０３から処理済みオブジェクト１８０１を一旦除去することにより、背景を作成する。このとき、処理済みオブジェクト１８０１が除去された部分には、処理済みオブジェクト１８０１の周囲の画素から推定された画素又は１フレームに相当する時間が経過した後の間引き画像２４００〜２４０３から推定された画素が埋め込まれる。すなわち、Ｓ２２０８では、実質的に間引き画像２４００〜２４０３の処理済みオブジェクト１８０１が、サブフレームに応じて動きが補間された処理済みオブジェクト１８０１と置き換えられる。
【００８９】
なお、Ｓ２２０２において、動きベクトル１７００の絶対値が所定値未満であると判定された場合、元画像から４つの間引き画像が作成され、これらの間引き画像を用いて動き補間画像が作成される。
【００９０】
その後、画像表示部３０７が作成された動き補間画像２５００〜２５０３を投影面１０２へ順次投影表示する（Ｓ２２０９）。動き補間画像２５００〜２５０３は、動きオブジェクト７０１の代わりに処理済みオブジェクト１８０１が含まれること以外は動き補間画像８００〜８０３と同じ形態を有する。したがって、動きベクトル１７００の絶対値が所定値以上である場合の表示形態は、図１１の表示形態と同じになる。
【００９１】
本実施の形態によれば、サンプリングによる間引き画像２４００〜２４０３の作成前に合成画像２３００において、動きオブジェクト１８００が処理済みオブジェクト１８０１に置き換えられる。処理済みオブジェクト１８０１はローパスフィルタリング処理によって作成されるため、間引き画像２４００〜２４０３からは折り返し雑音が消去される。したがって、間引き画像２４００〜２４０３から作成された動き補間画像２５００〜２５０３を順次投影表示しても、オブジェクトが、例えば、青色又は黄色に変色しながら移動することがない。これにより、元画像に含まれて移動するオブジェクト２０２が不自然に投影表示されるのを抑制することができる。また、本実施の形態でも、第２の実施の形態と同様に、動きベクトル１７００の算出や動きオブジェクト１８００の抽出を第１の実施の形態に比して精度よく行うことができる。
【００９２】
本実施の形態では、サンプリング部３００による間引き画像の作成前に、動きベクトル１７００の算出やローパスフィルタリング処理を行い、元画像において動きオブジェクト１８００を処理済みオブジェクト１８０１に置き換えて合成画像を作成する。したがって、サンプリング部３００による間引き画像の作成前のこれらの処理をまとめて投影装置１０１とは別の投影制御装置で行うことができる。例えば、図２７に示すように、画像投影システム２６００が、投影装置２６０１と、投影面１０２と、信号処理装置２６０２（投影制御装置）と、信号処理装置２６０２へ動画である元画像を供給する出力装置１０３とを備えてもよい。この場合、信号処理装置２６０２が、動きベクトル１７００の算出、ローパスフィルタリング処理や元画像における動きオブジェクト１８００の処理済みオブジェクト１８０１への置き換えを行い、合成画像２３００を作成する。また、信号処理装置２６０２は、合成画像２３００とともに動きオブジェクト１８００や動きベクトル１７００に関する情報を、例えば、メタデータとして投影装置２６０１に供給する。この場合、投影装置２６０１は動きベクトル１７００の算出、動きオブジェクト１８００の抽出やローパスフィルタリング処理を行う必要がないため、構成を簡素化することができる。その結果、投影装置２６０１のコストを低減することができる。
【００９３】
次に、本発明の第４の実施の形態について説明する。第４の実施の形態は、その構成、作用が上述した第２の実施の形態や第３の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。第４の実施の形態は、動きベクトルの算出や動きオブジェクトの抽出を元画像に基づいて行う点で第２の実施の形態や第３の実施の形態と同じである。
【００９４】
しかしながら、第２の実施の形態では、位相に応じて移動された処理済みオブジェクト１８０１を含む動き補間画像１９００〜１９０３を作成する。また、第３の実施の形態では、元画像の動きオブジェクト１８００そのものを処理済みオブジェクト１８０１で置き換える。一方、第４の実施の形態では、処理済みオブジェクト１８０１の移動や置き換えは行われず、動き補間を考慮して元画像においてサンプリングされる画素を、処理済みオブジェクト１８０１を構成する画素（以下、「処理済み画素」という。）で置き換える。
【００９５】
なお、本実施の形態においても、出力装置１０３は解像度が４Ｋの元画像を供給し、投影装置１０１が有する表示素子２０１の解像度は２Ｋである。また、元画像２００は１フレームに相当する時間に１６画素分図中右方へ移動するオブジェクト２０２を含む。
【００９６】
図２８は、本実施の形態において投影制御装置や投影装置が実現する機能を概念的に示す機能ブロック図である。なお、図１６や図２２の機能ブロック図と共通する機能部についてはその説明を省略する。図２８に示すように、本実施の形態では、動きベクトルに基づいて動き補間を考慮し、元画像においてサンプリングされる画素を処理済み画素で置き換える補間画像合成部２７００（補間画像合成手段）が実現される。各機能部は、投影装置１０１が有するＣＰＵがメモリ等に格納されたプログラムを実行することによって実現される。
【００９７】
以下、本実施の形態に係る投影制御装置の制御方法である画像表示処理について説明する。図２９は、本実施の形態に係る投影制御装置の制御方法である画像表示処理を示すフローチャートである。
【００９８】
図２９において、まず、動きベクトル算出部１５００は、図１７のＳ１６０１と同様に、元画像２００からオブジェクト２０２の動きベクトル１７００を算出する（Ｓ２８０１）。さらに、動きベクトル算出部１５００は、図１７のＳ１６０２と同様に、算出された動きベクトル１７００の絶対値が所定値以上であるか否かを判定する（Ｓ２８０２）。
【００９９】
動きベクトル１７００の絶対値が所定値以上であると判定された場合、動きオブジェクト抽出部１５０１は、図１７のＳ１６０３と同様に、元画像２００の背景からオブジェクト２０２を分離して動きオブジェクト１８００として抽出する（Ｓ２８０３）。次いで、ローパスフィルタリング部１５０２は、図１７のＳ１６０４と同様に、動きオブジェクト１８００にローパスフィルタリング処理を施す（Ｓ２８０４）。なお、ローパスフィルタリング部１５０２が抽出された全ての動きオブジェクト１８００にローパスフィルタリング処理を施す必要はないことは、第２の実施の形態と同様である。また、Ｓ２８０４のローパスフィルタリング処理として、第２の実施の形態におけるローパスフィルタリング処理と同様のものが用いられる。その後、補間画像作成部１５０３が、図１７のＳ１６０５と同様に、処理済みオブジェクト１８０１を用いて動き補間画像１９００〜１９０３を作成する（Ｓ２８０５）。
【０１００】
次いで、補間画像合成部２７００が、動き補間画像１９００〜１９０３を用い、画像ずらし技術によって元画像２００のサンプリングされる画素を処理済み画素で置き換えることにより、合成画像を作成する（Ｓ２８０６）。
【０１０１】
図３０は、本実施の形態における合成画像の作成を説明するための図である。図中において、動き補間画像１９００〜１９０３の各画素は破線で示され、表示素子２０１の各画素が実線で示される。
【０１０２】
本実施の形態では、基本的に、背景に関しては元画像２００の背景がそのまま用いられるが、動きオブジェクトに関しては、動き補間画像１９００〜１９０３からサンプリングされた処理済みオブジェクト１８０１の画素で置き換えられる。本実施の形態では、動き補間画像から動きオブジェクトの画素をサンプリングする場合、動き補間画像１９００〜１９０３の左上隅近傍において互いに１画素ずつ位置の異なる各画素に、動き補間画像１９００〜１９０３のそれぞれに対する基準位置が置かれる。動き補間画像１９００に対しては画素１９００−（１，１）に基準位置が置かれ、動き補間画像１９０１に対しては画素１９０１−（２，１）に基準位置が置かれる。動き補間画像１９０２に対しては画素１９０２−（２，２）に基準位置が置かれ、動き補間画像１９０３に対しては画素１９０３−（１，２）に基準位置が置かれる。そして、各サンプリング位相に従って一画素とばしの画素間隔を持って画素がサンプリングされる。
【０１０３】
ここで、動き補間画像の解像度が４Ｋであるのに対し表示素子の解像度が２Ｋである。また、表示素子の画素の大きさが動き補間画像の画素の大きさの２倍であり、サンプリング間隔が各動き補間画像の一画素とばしである。さらに、基準位置のずらし量と投影光学系のずらし量が共に動き補間画像の一画素ほどである。これらの条件が相まって、結果的に、図３０において、動き補間画像１９００〜１９０３からサンプリングされる画素は、表示素子２０１の各画素の左上に対応する画素となる。
【０１０４】
したがって、本実施の形態では、合成画像を作成する際、元画像２００において表示素子２０１の各画素の左上に対応する画素が、動き補間画像１９００〜１９０３において表示素子２０１の各画素の左上に対応する画素で置き換えられる。また、このとき、サブフレーム１〜４のそれぞれにおいてサンプリングされる画素が置き換えられる。なお、サブフレーム１では元画像２００からオブジェクト２０２を除去することによって作成された背景に対して表示素子２０１がずれていない状態にある。サブフレーム２では背景に対して表示素子２０１が右に１画素分ずれた状態にある。サブフレーム３では背景に対して表示素子２０１が右に１画素分ずれ且つ下に１画素分ずれた状態にある。サブフレーム４では背景に対して表示素子２０１が下に１画素分ずれた状態にある。
【０１０５】
例えば、サブフレーム１では、サブフレーム１のタイミングの動き補間画像１９００の処理済みオブジェクト１８０１に対応する表示素子２０１の画素２０１ａの左上に対応する画素１９００ａがサンプリングされる。そして、元画像２００の（あるいは背景の）画素１９００ａに対応する位置の画素が、当該サンプリングされた画素１９００ａで置き換えられる。また、動き補間画像１９００の処理済みオブジェクト１８０１に対応する表示素子２０１の画素２０１ｂの左上に対応する画素１９００ｂがサンプリングされる。そして、元画像２００の画素１９００ｂに対応する位置の画素が、当該サンプリングされた画素１９００ｂで置き換えられる。
【０１０６】
また、サブフレーム２では、サブフレーム２のタイミングの動き補間画像１９０１の処理済みオブジェクト１８０１に対応する表示素子２０１の画素２０１ｃの左上に対応する画素１９０１ａがサンプリングされる。そして、元画像２００の、画素１９０１ａに対応する位置の画素が、当該サンプリングされた画素１９０１ａで置き換えられる。また、動き補間画像１９０１の処理済みオブジェクト１８０１に対応する表示素子２０１の画素２０１ｄの左上に対応する画素１９０１ｂがサンプリングされる。そして、元画像２００の画素１９０１ｂに対応する位置の画素が、当該サンプリングされた画素１９０１ｂで置き換えられる。
【０１０７】
さらに、サブフレーム３では、サブフレーム３のタイミングの動き補間画像１９０２の処理済みオブジェクト１８０１に対応する表示素子２０１の画素２０１ｅの左上に対応する画素１９０２ａがサンプリングされる。そして、元画像２００の、画素１９０２ａに対応する位置の画素が、当該サンプリングされた画素１９０２ａで置き換えられる。また、動き補間画像１９０２の処理済みオブジェクト１８０１に対応する表示素子２０１の画素２０１ｆの左上に対応する画素１９０２ｂがサンプリングされる。そして、元画像２００の画素１９０２ｂに対応する位置の画素が、当該サンプリングされた画素１９０２ｂで置き換えられる。
【０１０８】
また、サブフレーム４では、サブフレーム４のタイミングの動き補間画像１９０３の処理済みオブジェクト１８０１に対応する表示素子２０１の画素２０１ｇの左上に対応する画素１９０３ａが、サンプリングされる。そして、元画像２００の、画素１９０３ａに対応する位置の画素が、当該サンプリングされた画素１９０３ａで置き換えられる。また、動き補間画像１９０３の処理済みオブジェクト１８０１に対応する表示素子２０１の画素２０１ｈの左上に対応する画素１９０３ｂがサンプリングされる。そして、元画像２００の画素１９０３ｂに対応する位置の画素が、当該サンプリングされた画素１９０３ｂで置き換えられる。
【０１０９】
このようにして、補間画像合成部２７００は、背景においてサンプリングされる画素に対応する各画素を画素１９００ａ〜１９０３ｂで置き換えて合成画像２９００を作成し、該合成画像２９００をサンプリング部３００へ受け渡す。合成画像２９００は、上述したように、動き補間画像１９００〜１９０３に基づいて作成される。動き補間画像１９００〜１９０３は処理済みオブジェクト１８０１の動きを補間する画像であるため、合成画像２９００には処理済みオブジェクト１８０１の動きの補間が反映される。また、画素１９００ａ〜１９０３ｂは処理済みオブジェクト１８０１を構成する画素であるため、合成画像２９００が含む画素１９００ａ〜１９０３ｂも処理済み画素となる。
【０１１０】
一方、Ｓ２８０２において、動きベクトル１７００の絶対値が所定値未満であると判定された場合、Ｓ２８０３〜Ｓ２８０６の処理がスキップされる。すなわち、合成画像２９００を作成せず、元画像がそのままがサンプリング部３００へ受け渡される。
【０１１１】
次いで、サンプリング部３００は受け渡された画像（合成画像２９００又は元画像）からオブジェクトや画素をサンプリングして間引き画像を作成する（Ｓ２８０７）。本実施の形態では、受け渡された画像において、表示素子２０１と同じ画素数の４つの間引き画像の各基準位置を置く画素をそれぞれ異ならせながら、４つの間引き画像が作成される。
【０１１２】
図３１は、本実施の形態における間引き画像の作成を説明するための図である。図中において、合成画像２９００の各画素は破線で示され、表示素子２０１の各画素が実線で示される。以下、本実施の形態では、合成画像２９００の左上隅において互いに隣接する４画素が基準位置を置く画素として設定される。具体的に、画素２９００−（１，１）、２９００−（２，１）、２９００−（２，２）、２９００−（１，２）に基準位置が置かれる。
【０１１３】
まず、合成画像２９００に対して表示素子２０１がずれていない状態であるサブフレーム１の間引き画像３０００を、基準位置を合成画像２９００中の画素２９００−（１，１）に置き、サンプリング位相１に従って作成する（図３１（Ａ））。処理済みオブジェクト１８０１に対応する部分について詳しく見ると、表示素子２０１における処理済みオブジェクト１８０１に対応する画素２０１ａの左上に対応する合成画像２９００の置き換えられた画素１９００ａが画素２０１ａのサンプリング画素となる。したがって、画素１９００ａの画素情報が画素１９００ａに対応する表示素子２０１の画素２０１ａへ引き継がれる。また、表示素子２０１の画素２０１ａの下の画素２０１ｂに対しては、合成画像２９００の置き換えられた画素１９００ａから１画素とばした下の同様に置き換えられた画素１９００ｂが画素２０１ｂのサンプリング画素となる。したがって、画素１９００ｂの画素情報が画素１９００ｂに対応する表示素子２０１の画素２０１ｂへ引き継がれる。ここで、画素１９００ａ及び画素１９００ｂは処理済み画素であるため、画素２０１ａ及び画素２０１ｂも処理済み画素となる。すなわち、間引き画像３０００の画素２０１ａ及び画素２０１ｂは処理済み画素からなる処理済みオブジェクト１８０１をなす。
【０１１４】
次に、合成画像２９００に対して表示素子２０１が右に１画素分ずれた状態であるサブフレーム２の間引き画像３００１を、基準位置を合成画像２９００中の画素２９００−（２，１）に置き、サンプリング位相２に従って作成する（図３１（Ｂ））。処理済みオブジェクト１８０１に対応する部分について詳しく見ると、表示素子２０１における処理済みオブジェクト１８０１に対応する画素２０１ａの左上に対応する合成画像２９００の置き換えられた画素１９０１ａが画素２０１ａのサンプリング画素となる。したがって、画素１９０１ａの画素情報が画素１９０１ａに対応する表示素子２０１の画素２０１ｃへ引き継がれる。また、表示素子２０１の画素２０１ａの下の画素２０１ｂに対しては、合成画像２９００の置き換えられた画素１９０１ａから１画素とばした下の同様に置き換えられた画素１９０１ｂが画素２０１ｂのサンプリング画素となる。したがって、画素１９０１ｂの画素情報が画素１９０１ｂに対応する表示素子２０１の画素２０１ｄへ引き継がれる。ここで、画素１９０１ａ及び画素１９０１ｂは処理済み画素であるため、画素２０１ｃ及び画素２０１ｄも処理済み画素となる。すなわち、間引き画像３００１の画素２０１ｃ及び画素２０１ｄは処理済み画素からなる処理済みオブジェクト１８０１をなす。
【０１１５】
次に、合成画像２９００に対して表示素子２０１が右に１画素分ずれ且つ下に１画素分ずれた状態であるサブフレーム３の間引き画像３００２を、基準位置を合成画像２９００中の画素２９００−（２，２）に置き、サンプリング位相３に従って作成する。作成の過程を図３１（Ｃ）に示す。処理済みオブジェクト１８０１に対応する部分について詳しく見ると、表示素子２０１における処理済みオブジェクト１８０１に対応する画素２０１ａの左上に対応する合成画像２９００の置き換えられた画素１９０２ａが画素２０１ａのサンプリング画素となる。したがって、画素１９０２ａの画素情報が画素１９０２ａに対応する表示素子２０１の画素２０１ｅへ引き継がれる。また、表示素子２０１の画素２０１ａの下の画素２０１ｂに対しては、合成画像２９００の置き換えられた画素１９０２ａから１画素とばした下の同様に置き換えられた画素１９０２ｂが画素２０１ｂのサンプリング画素となる。したがって、画素１９０２ｂの画素情報が画素１９０２ｂに対応する表示素子２０１の画素２０１ｆへ引き継がれる。ここで、画素１９０２ａ及び画素１９０２ｂは処理済み画素であるため、画素２０１ｅ及び画素２０１ｆも処理済み画素となる。すなわち、間引き画像３００２の画素２０１ｅ及び画素２０１ｆは処理済み画素からなる処理済みオブジェクト１８０１をなす。
【０１１６】
次に、合成画像２９００に対して表示素子２０１が下に１画素分ずれた状態であるサブフレーム４の間引き画像３００３を、基準位置を合成画像２９００中の画素２９００−（１，２）に置き、サンプリング位相４に従って作成する（図３１（Ｄ））。処理済みオブジェクト１８０１に対応する部分について詳しく見ると、表示素子２０１における処理済みオブジェクト１８０１に対応する画素２０１ａの左上に対応する合成画像２９００の置き換えられた画素１９０３ａが画素２０１ａのサンプリング画素となる。したがって、画素１９０３ａの画素情報が画素１９０３ａに対応する表示素子２０１の画素２０１ｇへ引き継がれる。また、表示素子２０１の画素２０１ａの下の画素２０１ｂに対しては、合成画像２９００の置き換えられた画素１９０３ａから１画素とばした下の同様に置き換えられた画素１９０３ｂが画素２０１ｂのサンプリング画素となる。したがって、画素１９０３ｂの画素情報が画素１９０３ｂに対応する表示素子２０１の画素２０１ｈへ引き継がれる。ここで、画素１９０３ａ及び画素１９０３ｂは処理済み画素であるため、画素２０１ｇ及び画素２０１ｈも処理済み画素となる。すなわち、間引き画像３００３の画素２０１ｇ及び画素２０１ｈは処理済み画素からなる処理済みオブジェクト１８０１をなす。
【０１１７】
このように、間引き画像３０００〜３００３は処理済みオブジェクト１８０１の動きの補間が反映された画素１９００ａ〜１９０３ｂに基づいて作成されるため、間引き画像３０００〜３００３が含む処理済みオブジェクト１８０１にも動きの補間が反映される。
【０１１８】
図２９に戻り、間引き画像保持部３０１ａ〜３０１ｄは作成された間引き画像３０００〜３００３を保持する（Ｓ２８０８）。具体的に、間引き画像保持部３０１ａは間引き画像３０００を保持し、間引き画像保持部３０１ｂは間引き画像３００１を保持し、間引き画像保持部３０１ｃは間引き画像３００２を保持し、間引き画像保持部３０１ｄは間引き画像３００３を保持する。
【０１１９】
その後、画像表示部３０７が作成された間引き画像３０００〜３００３を投影面１０２へ順次投影表示する（Ｓ２８０９）。間引き画像３０００〜３００３は、動きオブジェクト７０１の代わりに処理済みオブジェクト１８０１が含まれること以外は動き補間画像８００〜８０３と同じ形態を有する。したがって、動きベクトル１７００の絶対値が所定値以上である場合の表示形態は、図１１の表示形態と同じになる。
【０１２０】
本実施の形態によれば、合成画像２９００に含まれる画素１９００ａ〜１９０３ｂは処理済み画素であるため、画素１９００ａ〜１９０３ｂを用いて作成された間引き画像３０００〜３００３から折り返し雑音が消去される。したがって、間引き画像３０００〜３００３を順次投影表示しても、オブジェクトが、例えば、青色又は黄色に変色しながら移動することがない。これにより、元画像に含まれて移動するオブジェクト２０２が不自然に投影表示されるのを抑制することができる。
【０１２１】
また、本実施の形態でも、第２の実施の形態と同様に、動きベクトル１７００の算出や動きオブジェクト１８００の抽出を第１の実施の形態に比して精度よく行うことができる。さらに、本実施の形態では、合成画像２９００には処理済みオブジェクト１８０１の動きの補間が反映される。したがって、合成画像２９００からサンプリングによって作成される間引き画像３０００〜３００３では処理済みオブジェクト１８０１の動きを補間する必要が無い。これにより、本実施の形態では、間引き画像を動き補間画像に置き換える表示画像作成部を必要とせず、画像投影システムの構成を簡素化することができる。
【０１２２】
また、本実施の形態では、動き補間画像１９００〜１９０１に基づいて元画像のサンプリングされる画素を処理済み画素で置き換えて合成画像２９００を作成し、この合成画像をサンプリング部３００へ受け渡す。したがって、投影装置１０１が従来の画素ずらし技術のみに対応するプロジェクターであっても、合成画像２９００の作成までを信号処理装置で実行すれば、本発明を実施することができる。すなわち、本実施の形態では、調達容易で安価な従来のプロジェクターを用いることができるという利点がある。さらに、合成画像２９００の作成を行った後、合成画像２９００を直ちに投影表示することなく、一旦、ＤＶＤ等のメディアやハードディスク等の記憶装置に保存してもよい。この場合、保存された合成画像２９００を読み出し装置で再生するが、動画の投影表示と同時に合成画像２９００を作成する必要がないため、合成画像２９００を作成する信号処理装置の処理能力の制約を緩和することができる。その結果、信号処理装置として高性能なものから低性能なものまで幅広く用いることができる。
【０１２３】
例えば、図３２に示すように、本実施の形態では、画像投影システム３１００が、投影装置３１０１と、投影面１０２と、信号処理装置３１０２と、信号処理装置３１０２へ動画である元画像を供給する出力装置１０３とを備えてもよい。この場合、信号処理装置３１０２が、動きベクトル１７００の算出、ローパスフィルタリング処理やサンプリングされる画素の処理済み画素との置き換えによる合成画像２９００の作成を行う。ここでは、投影装置３１０１が処理済みオブジェクト１８０１の動きを補間する必要がないため、上述したように、従来の画素ずらし技術のみに対応するプロジェクターを信号処理装置３１０２として用いることができる。その結果、投影装置３１０１のコストを低減することができ、引いては画像投影システム全体のコストを低減することができる。
【０１２４】
また、合成画像２９００を一旦メディアに保存する場合には、図３３に示すように、画像投影システム３２００が、投影装置３１０１と、投影面１０２と、信号処理装置３１０２と、出力装置１０３と、メディア３２０１と、読取装置３２０２とを備えてもよい。この場合、信号処理装置３１０２が作成した合成画像２９００はメディア３２０１に保存され、読取装置３２０２がメディア３２０１に保存された合成画像２９００を読み出して投影装置３１０１へ受け渡す。ここでは、動画の投影表示と同時に合成画像２９００を作成する必要がないため、信号処理装置３１０２として高性能なものから低性能なものまで幅広く用いることができ、より実現性が高いという利点がある。
【０１２５】
上述した第１の実施の形態では、オブジェクト２０２の動きが大きいとき（Ｓ４０５でＹＥＳ）、動き補間画像８００〜８０３の動きオブジェクト７０１が、間引き画像５００〜５０３のオブジェクト２０２の各画素の平均化によって作成される。間引き画像５００〜５０３のオブジェクト２０２は元画像のオブジェクト２０２の画素情報を引き継いでいるため、結果として、動きオブジェクト７０１では元画像におけるオブジェクト２０２の各画素の情報が平均化される。一方、オブジェクト２０２の動きが小さいとき（Ｓ４０５でＮＯ）、動き補間画像８００〜８０３が作成されず、オブジェクト２０２の各画素の平均化も行われず、背景においても各画素の情報の平均化が行われない。ここで、各画素の情報の平均化は異なる画素の情報の混合であるとも言える。したがって、第１の実施の形態では、動きの大きいオブジェクトにおける元画像の異なる画素の情報の混合の程度が、動きの小さいオブジェクトや背景における元画像の異なる画素の情報の混合の程度よりも強いとも言える。
【０１２６】
上述した第２の実施の形態では、オブジェクト２０２の動きが大きいとき（Ｓ１６０２でＹＥＳ）、間引き画像２０００〜２００３の処理済みオブジェクト１８０１が、オブジェクト２０２へローパスフィルタリング処理を施すことによって作成される。一方、オブジェクト２０２の動きが小さいとき（Ｓ１６０２でＮＯ）、間引き画像２０００〜２００３が作成されず、オブジェクト２０２へローパスフィルタリング処理が施されることもない。また、背景へもローパスフィルタリング処理が施されることがない。
【０１２７】
上述した第３の実施の形態では、オブジェクト２０２の動きが大きいとき（Ｓ２２０２でＹＥＳ）、動き補間画像２５００〜２５０３の処理済みオブジェクト１８０１が、オブジェクト２０２へローパスフィルタリング処理を施すことによって作成される。一方、オブジェクト２０２の動きが小さいとき（Ｓ２２０２でＮＯ）、動き補間画像２５００〜２５０３が作成されず、オブジェクト２０２へローパスフィルタリング処理が施されることもない。また、背景へもローパスフィルタリング処理が施されることがない。
【０１２８】
上述した第４の実施の形態では、オブジェクト２０２の動きが大きいとき（Ｓ２８０２でＹＥＳ）、動き補間画像１９００〜１９０３の処理済みオブジェクト１８０１が、オブジェクト２０２へローパスフィルタリング処理を施すことによって作成される。一方、オブジェクト２０２の動きが小さいとき（Ｓ２８０２でＮＯ）、動き補間画像１９００〜１９０３が作成されず、オブジェクト２０２へローパスフィルタリング処理が施されることもない。また、背景へもローパスフィルタリング処理が施されることがない。ここで、ローパスフィルタリング処理は異なる画素の情報の混合であるとも言える。
【０１２９】
したがって、第２乃至第４の実施の形態でも、動きの大きいオブジェクトにおける元画像の異なる画素の情報の混合の程度が、動きの小さいオブジェクトや背景における元画像の異なる画素の情報の混合の程度よりも強いとも言える。
【０１３０】
すなわち、第１乃至第４の実施の形態では、動きが大きいオブジェクト２０２から間引き画像や動き補間画像を作成しても、オブジェクト２０２における元画像の異なる画素の情報の混合の程度が強いため、折り返し雑音を消失させることができる。
【０１３１】
ここで、情報が混合される元画像の異なる複数の画素は、位相の異なるサンプリングによって異なる間引き画像へ画素情報が引き継がれる複数の画素であるのが好ましい。元画像においてサンプリング画素を１つずつずらしながら間引き画像を作成する場合、情報が混合される元画像の異なる複数の画素は、元画像において互いに隣接する画素であるのが好ましい。
【０１３２】
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１３３】
上述した各実施の形態では、元画像中の基準画素から一定の画素間隔で各画素をサンプリングする単純サンプリング法を用い、基準位置を置く画素を変更しながら複数の間引き画像を作成する手法へ本発明を適用した場合について説明した。しかしながら、間引き画像を含む縮小画像を作成する手法はこれに限られず、他の手法へ本発明を適用してもよい。
【０１３４】
例えば、一定の画素間隔で各画素を単純にサンプリングして縮小するのではなく、サンプリング位置の周辺の画素の情報を加味して縮小する、バイリニア法やバイキュービック法等の手法を用いて縮小してもよい。このような手法へ本発明を適用する場合、まず、一旦、元画像の外側にダミーの画素を追加して拡張画像を作成する。例えば、元画像の右端の右外側にダミーの画素を１列追加し、さらに、ダミーの画素が１列追加された画像の下端の下外側にダミーの画素を１行追加して、拡張画像を作る。このとき、ダミーの画素の画素値（画素情報）は、元画像の適当な画素の画素値をコピーすることによって生成してもよく、一律に白色、黒色又は灰色等の画素値を設定してもよい。このように作成された拡張画像の、左上隅において互いに隣接する４画素に、各基準位置を置き、当該画素から右下側に元画像と同じ大きさの画像を切り出すことにより、４つの異なる切り出し画像を得る。そして、これら４つの異なる切り出し画像を、バイリニア法やバイキュービック法等の手法を用いて縮小し、互いに基準位置が異なる４つの縮小画像を得る。このように、単純サンプリング法以外の他の手法へ本発明を適用してもよい。
【０１３５】
上述した各実施の形態では、左上隅において互いに隣接する４画素に、各基準位置を置いたが、基準位置を置く方法は、これに限られない。基準位置を置く互いに隣接する４画素は、元画像の右上隅、左下隅、右下隅、若しくは中央付近に置かれてもよい。また、基準位置を置く方法に応じて、サンプリングの方向や切り出しの方向等は適宜変えてよい。
【０１３６】
また、上述した各実施の形態では、理解を容易にするために、元画像が青色の画素と黄色の画素が一画素おきに配置された市松模様をなすオブジェクト２０２を有する場合について説明した。しかしながら、間引き画像を作成する際に折り返し雑音が発生する元画像は、市松模様をなすオブジェクトを含む元画像に限られない。これに対応して、本発明では、上述したように、間引き画像の作成において元画像における異なる画素の情報が強く混合されるため、オブジェクトがどのような形態であっても、折り返し雑音の発生を抑制することができる。すなわち、各種の元画像に対して折り返し雑音の発生を抑制することができる。
【０１３７】
なお、上述した各実施の形態では、背景には平均化やローパスフィルタリング処理等の元画像における異なる画素の情報を混合する処理を施していない。しかしながら、背景にも元画像における異なる画素の情報を混合する処理を施す場合もある。例えば、縮小画像を作成する際に、元画像において隣接する複数画素の重み平均を行うことがあり、この場合、縮小画像の背景にも元画像における異なる画素の情報が弱く混在されるが、本発明を適用することができる。
【０１３８】
上述したように、本発明では、元画像の動きの大きいオブジェクトに対して画像の異なる画素の情報を強く混合する処理を施す。より詳細には、元画像の動きの大きいオブジェクトに対して、動きの小さいオブジェクトや背景によりも画像の異なる画素の情報が強く混合される。これにより、動きの小さいオブジェクトや背景に関しては高い先鋭度を維持しつつ、動きの大きいオブジェクトに関しては折り返し雑音の発生を抑制することができる。その結果、画素ずらし技術を用いた動画の投影表示において、違和感の少ない動きの表現を実現することができる。
【０１３９】
なお、上述した各実施の形態では、間引き画像を作成する際、元画像に対して表示素子２０１が上下左右に１画素ずつずらされたが、元画像に対して表示素子２０１を斜め上下の二方向にずらして間引き画像を作成してもよい。
【符号の説明】
【０１４０】
１００，２６００，３１００，３２００  画像投影システム
１０１，３１０１  投影装置
２００，１２００  元画像
２０１  表示素子
２０２，１２０１  オブジェクト
３００，１５０４  サンプリング部
３０２  平均化画像作成部
３０５，１５０３  補間画像作成部
３０７  画像表示部
５００〜５０３，２０００〜２００３，２４００〜２４０３，３０００〜３００３  間引き画像
５０６  平均化オブジェクト
７００  動きベクトル
７０１  動きオブジェクト
８００〜８０３，１９００〜１９０３，２５００〜２５０３  動き補間画像
１５０２  ローパスフィルタリング部
１８０１  処理済みオブジェクト
２１００  画像置き換え部
２３００  合成画像
２６０２，３１０２  信号処理装置
２７００  補間画像合成部
２９００  合成画像
【図１】
2020025169.tif 000003
【図２】
2020025169.tif 000004
【図３】
2020025169.tif 000005
【図４】
2020025169.tif 000006
【図５】
2020025169.tif 000007
【図６】
2020025169.tif 000008
【図７】
2020025169.tif 000009
【図８】
2020025169.tif 000010
【図９】
2020025169.tif 000011
【図１０】
2020025169.tif 000012
【図１１】
2020025169.tif 000013
【図１２】
2020025169.tif 000014
【図１３】
2020025169.tif 000015
【図１４】
2020025169.tif 000016
【図１５】
2020025169.tif 000017
【図１６】
2020025169.tif 000018
【図１７】
2020025169.tif 000019
【図１８】
2020025169.tif 000020
【図１９】
2020025169.tif 000021
【図２０】
2020025169.tif 000022
【図２１】
2020025169.tif 000023
【図２２】
2020025169.tif 000024
【図２３】
2020025169.tif 000025
【図２４】
2020025169.tif 000026
【図２５】
2020025169.tif 000027
【図２６】
2020025169.tif 000028
【図２７】
2020025169.tif 000029
【図２８】
2020025169.tif 000030
【図２９】
2020025169.tif 000031
【図３０】
2020025169.tif 000032
【図３１】
2020025169.tif 000033
【図３２】
2020025169.tif 000034
【図３３】
2020025169.tif 000035