(57)【要約】【課題】  投影画像に台形補正処理を行った場合でも、動きによって知覚しやすいモアレを目立たなくする。【解決手段】  入力された画像データの空間周波数成分の情報に基づいてモアレの発生を判定し、モアレが発生している領域の動き量を計算し、計算された動き量に基づいて、前記画像データに施すフィルタ処理のフィルタ係数を計算し、計算されたフィルタ係数を用いて前記画像データにフィルタリングを施し、フィルタリングされた画像データに対して台形補正を行う。【選択図】  図３
2012129747.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データの空間周波数成分の情報に基づいてモアレの発生を判定するモアレ判定手段と、
モアレが発生している領域の動き量を計算する動き量計算手段と、
前記動き量計算手段によって計算された動き量に基づいて、フィルタ係数を計算するフィルタ係数計算手段と、
前記フィルタ係数計算手段によって計算されたフィルタ係数を用いて前記画像データにフィルタリングを施すフィルタ手段と、
前記フィルタ手段によってフィルタリングされた画像データに対して台形補正を行う台形補正手段と
を有することを特徴とする画像投影装置。
【請求項２】
前記フィルタ係数計算手段は、前記動き量計算手段によって計算された動き量と、前記フィルタ手段によるフィルタの強度が比例するようにフィルタ係数を算出することを特徴とする請求項１に記載の画像投影装置。
【請求項３】
前記モアレ判定手段は、入力された画像データの空間周波数成分と台形補正時の縮小率の情報に基づいてモアレの発生を判定することを特徴とする請求項１に記載の画像投影装置。
【請求項４】
更に、モアレ領域の移動方向を検出する動き方向検出手段と、モアレの模様の方向を検出するモアレ方向検出手段とを有し、前記フィルタ係数計算手段は、前記動き方向とモアレ方向の角度に基づいてフィルタ係数を算出することを特徴とする請求項１に記載の画像投影装置。
【請求項５】
入力された画像データの空間周波数成分の情報に基づいてモアレの発生を判定するモアレ判定工程と、
モアレが発生している領域の動き量を計算する動き量計算工程と、
前記動き量計算工程によって計算された動き量に基づいて、フィルタ係数を計算するフィルタ係数計算工程と、
前記フィルタ係数計算工程によって計算されたフィルタ係数を用いて前記画像データにフィルタリングを施すフィルタ工程と、
前記フィルタ工程によってフィルタリングされた画像データに対して台形補正を行う台形補正工程と
を有することを特徴とする画像投影装置の制御方法。
【請求項６】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項１乃至４のいずれか１項に記載の画像投影装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投写画像の台形歪みを是正するよう画像を投写する画像投影装置及びその制御方法、プログラムに関する。
【背景技術】
【０００２】
プロジェクタ等の投影装置は、該投影装置の位置と画像の投影対象であるスクリーンとが離れているため、該投影装置とスクリーンとの相対的な位置関係によって、スクリーンに投影された画像（投影画像）に台形歪みが生じることがある。このため、台形歪みが是正されるよう、画像データの補間処理によって投影装置での画像に変形を起こすようにする技術、いわゆる台形補正技術が提案されている（例えば、特許文献１）。上記した特許文献で提案されているような台形補正を行うと、台形歪みが是正された投影画像を得ることができる。
【０００３】
一般に、画像データの補間処理を行う場合には、補間される画像データ信号が本来備えている信号帯域を考慮する必要がある。特に画像表示部分の解像度が変わるような場合には、画像が本来備えている信号帯域を十分に表現できない場合がある。つまり、入出力の解像度の違いを考慮して、補間フィルタの帯域制限を設定しないと、信号の折り返し成分が生じてしまう。これは画像上にジャギーやモアレを生じさせる原因となり、画質の劣化をもたらす。
【０００４】
一方、モアレの抑制には、ぼかし処理が有効であることが提案されている（例えば、特許文献２参照）。モアレが生じないよう十分強いローパスフィルタをかける方法も考えられるが、必要以上に帯域制限をおこなってしまうと、鮮鋭性が落ちてしまう。よって、ぼかし処理を行なう場合は、ある程度モアレを抑えつつ、鮮鋭性を保つようなフィルタリングを行わなくてはならない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２４７６１４号公報
【特許文献２】特開２００１−７８０３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
台形補正によって生じた投影画像上のモアレは、静止画では殆ど目立たない場合であっても、動画では目立ってしまうという課題がある。投影画像上の移動物体に発生しているモアレの模様は、移動物体の位置に依存して変化する。そのため、モアレの模様の変化を知覚することによって、モアレの存在をより強く意識してしまう。しかしながら、従来手法では、動画・静止画に関わらず、モアレ低減処理を一律にかけていたため、静止画で気にならなかったモアレであっても、動画ではモアレの模様の変化によって目立ってしまうという問題があった。
【０００７】
本発明は上述した課題を解決するためになされたものであり、投影画像に台形補正処理を行った場合でも、動きによって知覚しやすいモアレを目立たなくすることを目的とする。
【課題を解決するための手段】
【０００８】
上述の問題点を解決するため、本発明の画像投影装置は以下の構成を有する。すなわち、入力された画像データの空間周波数成分の情報に基づいてモアレの発生を判定するモアレ判定手段と、モアレが発生している領域の動き量を計算する動き量計算手段と、前記動き量計算手段によって計算された動き量に基づいて、前記画像データに施すフィルタ処理のフィルタ係数を計算するフィルタ係数計算手段と、前記フィルタ係数計算手段によって計算されたフィルタ係数を用いて前記画像データにフィルタリングを施すフィルタ手段と、前記フィルタ手段によってフィルタリングされた画像データに対して台形補正を行う台形補正手段とを有する。
【発明の効果】
【０００９】
本発明は、投影画像に台形補正処理を行った場合でも、動きによって知覚しやすいモアレを目立たなくすることができる。
【図面の簡単な説明】
【００１０】
【図１】画像投影装置１０１の構成を表すブロック図
【図２】第１の実施形態における画像投影処理の手順を示すフローチャート
【図３】第１の実施形態における画像処理部の構成を表すブロック図
【図４】動画・静止画におけるフィルタ特性を表すグラフ
【図５】第２の実施形態における画像処理部の構成を表すブロック図
【図６】本発明に対応する画像処理装置のハードウェア構成の一例を示す図
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１２】
＜実施形態１＞
図１は本発明の画像投影装置の構成を示すブロック図である。画像投影装置１０１は、スクリーン上に画像を投影するための光学系１０２と、投影光を制御する制御系１０６とを備えている。光学系１０２は、光源１０３と、液晶パネル１０４と、投影光学系１０５と備えている。制御系１０６は、コントローラ１０７と、画像処理部１０８と、液晶ドライバ１０９を備えている。コントローラ１０７は、ＣＰＵ１１０とメモリ１１１を備えている。コントローラ１０７は、画像処理部１０８と、液晶ドライバ１０９を制御する。
【００１３】
図３は画像処理部１０８の構成を示すブロック図である。画像処理部１０８は、モアレ判定部３０１と、台形補正前処理部３０２と、台形補正部３０６、画質調整部３０７とを備える。また、台形補正前処理部３０２は、動き量計算部３０３、フィルタ係数計算部３０４、フィルタリング部３０５を備える。画像処理部１０８は、これら処理部により、外部から与えられた入力画像信号（画像データ）を処理して液晶ドライバ１０９への入力信号を生成する。モアレ判定部３０１は、入力された画像データにおいてモアレが起きているか判定する。台形補正部３０６は、スクリーンが画像投影装置１０１の光学系１０２の光軸に対して正対しない場合に生ずる画像の歪みを補正するための台形補正処理、いわゆる台形補正処理を実行する。台形補正前処理部３０２は、外部のメモリ等から画像を構成する画像データを入力し、該画像データを台形補正部３０６や画質調整部３０７に転送する。また、台形補正部３０６での台形補正に先立つ画像データの前処理を行う。これら処理については、後述する。画質調整部３０７は、例えば輝度調整や色温度補正など通常行われる画質調整処理を実行する。
【００１４】
液晶ドライバ１０９は、画像処理部１０８から入力された画像データに基づいて、液晶パネル１０４を駆動するための駆動信号を生成する。この駆動信号は、液晶パネル１０４に供給されて、液晶パネル１０４が有する各画素の透過光量の制御に使用される。液晶パネル１０４を透過した光は、投影光学系１０５に照射される。
【００１５】
投影光学系１０５は、液晶パネル１０４から照射された光をスクリーン上に投写する。スクリーンは、投射光によって所定の照度比となるように照射されている。なお、台形歪み是正の補正量算出は種々の手法で行なうことができるのでその説明は省略する。
【００１６】
次に、本実施形態の画像投影装置１０１が行なう画像投影処理について説明する。図２は画像投射処理のプロセスを表すフローチャートである。この画像投影処理は、例えば図示しない画像投射の開始操作を経て実行される。
【００１７】
最初に、画像投影装置１０１には、投影対象となる画像を構成する画像データが入力される（ステップＳ２０１）。入力された画像データは後述の処理に備えてメモリ１１１に一時的に記憶される。
【００１８】
次に、モアレ判定部３０１は、入力された画像データの空間周波数成分と台形補正時の縮小率の情報から、モアレ低減処理の要否を判定する（ステップＳ２０２）。画像データが縮小後のサンプリング周波数よりも高い周波数に成分を持っていなければ、モアレが発生しないので、モアレ低減処理は不要と判定する。また、傾きが小さい台形補正の場合では、発生するモアレが無視できるほど小さいためにモアレ低減処理を行なわない場合もある。ステップＳ２０２でモアレ低減処理が不要と判定すれば処理を終了する。
【００１９】
次に、ステップＳ２０２でモアレ低減処理が必要であると判定すると、台形補正前処理部３０２は、台形歪みの是正のための画像処理（台形補正）に先だって台形補正前処理を実行する（ステップＳ２０３）。この台形補正前処理は、動きによってモアレが目立つ現象を抑制することを目的とする。
【００２０】
本ステップでは、動き量計算部３０３においてモアレ発生領域の動き量を計算する。動き量は例えば、参照フレームと対象フレームにおけるモアレ発生領域の動きベクトルＭＶの大きさを算出する。動きベクトルの大きさは、下記式に示すように、フレーム間の絶対値誤差ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ）を算出する。
【００２１】
【数１】
2012129747.tif 000003
【００２２】
各ブロック（ｉ，ｊ）で、探索範囲内すべてのブロックのＭＶ（ｄｘ，ｄｙ）について、ＳＡＤを求め、最小ＳＡＤが該当するフレーム間の動き量となる。
【００２３】
続いて、フィルタ係数計算部３０４において、動き量に基づいて、ローパスフィルタの係数を算出する。図４は、空間周波数におけるフィルタの特性を示すグラフである。横軸は空間周波数、縦軸はフィルタの応答特性である。ｆＳは元信号のサンプリング周波数、ｆｃは台形補正後のサンプリング周波数を示している。ｆｃを超える空間周波数成分は、台形補正後にモアレとなるため、ｆｃ以降の成分はなるべく除外することが望ましい。静止画の時のフィルタ特性を４０１とすると、動画の場合は、モアレをより強く知覚するため、ｆｃ以降の成分を多くカットするために４０２の特性に変更する。フィルタ係数の計算方法の例について、以下に説明する。
【００２４】
元信号のサンプリング周波数ｆＳ、遮断周波数ｆｃでの理想ＬＰＦの帯域制限率Ａ及びフィルタ係数Ｋ（ｎ）は次式で与えられる。
【００２５】
【数２】
2012129747.tif 000004
【００２６】
【数３】
2012129747.tif 000005
【００２７】
で表すことができる。
【００２８】
ここで、動き量ＳＡＤに応じて遮断周波数ｆｃを下記のように決定する。
【００２９】
【数４】
2012129747.tif 000006
【００３０】
続いて、（３）式に任意の窓関数を乗算する。例えばｃｏｓｉｎｅ窓やｒａｉｓｅｄ  ｃｏｓｉｎｅ窓などが挙げられる。窓関数が乗算されたタップ係数を、予定ｂｉｔ精度に丸めてフィルタ係数を決定する。（４）式により、動きが発生したときは、遮断周波数が低くなる。つまり、静止画のときよりも動画のときに強くぼかすことに相当する。換言すれば、計算された動き量とフィルタの強度が比例するようにフィルタ係数は算出される。なお、本実施形態では遮断周波数を動き量に応じて変更する例を挙げているが、これに限定しない。例えば、動き量に応じたフィルタ係数を予め保持しておき、動き量に応じて適応しても良い。
【００３１】
続いて、フィルタリング部３０５において、画像データに対してフィルタリングを行なう。フィルタリングは図示しない乗算器を用いるか、ビットシフトと加算処理によって実現することができる。なお、フィルタリングは、水平方向と垂直方向に２段処理で適応してもよいし、予め２次元のタップを保持し、２次元的にフィルタを適応してもよい。
【００３２】
台形補正前処理に続いて、台形補正部３０６は、台形歪みの是正のための画像処理（台形補正）を行う（ステップＳ２０４）。本ステップＳ２０４の画像処理である台形補正は、画像データを補正すると共に、走査順に並んだ画像データの間引きも実行する。
【００３３】
こうした台形補正の概要は、次の通りである。スクリーンに投影された画像に台形歪みが起きている場合、この台形歪みと逆パターンで歪んだ画像を液晶パネル１０４にて生成すれば、スクリーンでの投影結果の画像は、台形歪みが是正された画像となる。こうした逆パターンで歪んだ画像を液晶パネル１０４にて生成する際、算出した台形補正量が用いられると共に、画像の歪みにより画素間の間隔が狭くなることから、台形補正量に応じて画像データの間引きを行う。
【００３４】
上記した台形補正に続いて、画像処理部１０８は、その補正後の画像データを液晶ドライバ１０９に走査出力する（ステップＳ２０５）。また、必要であれば、画質調整部３０７において、輝度調整や色温度補正などの画質調整処理を実行する。液晶ドライバ１０９は、走査出力を受けた画像データに基づいて液晶パネル１０４を駆動制御し、台形補正後の画像を液晶パネル１０４に生成するので、スクリーンの投影画像では台形歪みが是正された画像が得られる。
【００３５】
本発明によれば、モアレ領域の動きベクトルの大きさに基づいて、フィルタ特性を変更する。画像の動きが大きいほど、ぼかし量を大きくするため、動きにより目立つモアレを低減することができる。なお、本実施形態では動き量が大きいほど、フィルタのぼかし量を増大させたが、常に動き量とぼかし量を比例する必要はない。例えば、動き量がある一定量以上の場合は人間の目が追従できないため、フィルタリング処理を行なわないというように、選択処理を設けてもよい。
【００３６】
＜実施形態２＞
第２の実施形態では、モアレ部分の移動方向とモアレ自身の模様の方向に基づいてモアレ低減処理を変更する。モアレの移動方向とモアレの模様が水平の時は、モアレの模様の変化を知覚しにくいが、二者の方向の関係が垂直に近づくにつれて、モアレの模様の変化を知覚しやすくなるためである。
【００３７】
本実施形態における画像投影装置１０１の動作について、第１の実施形態の差分である台形補正前処理部について図５のブロック図を用いて説明する。
【００３８】
図５の画像処理部１０８において、５０１は移動方向を検出するための動き方向検出部、５０２は投影画面上に現れているモアレの方向を検出するモアレ方向検出部である。以下台形補正前処理部３０２の動作について説明する。
【００３９】
まず、動き量計算部３０３において、モアレの発生領域の動き量を計算する。動き量の計算方法は第１の実施形態と同じ（１）式を用いてＳＡＤを計算すればよい。
【００４０】
次に、動き方向検出部において、モアレの発生領域の動き方向を計算する。（１）式によって求まった動きベクトルＭＶ（ｄｘ，ｄｙ）を用いて、動き方向θＭＶを計算する。
【００４１】
【数５】
2012129747.tif 000007
【００４２】
次に、モアレ方向検出部５０２において、モアレ模様の方向θ０を検出する。モアレ模様の方向θ０は、例えばモアレ低減フィルタを適用せずに台形補正を行い、該当する場所のモアレ模様のエッジ方向を検出すればよい。
【００４３】
次に、フィルタ係数計算部３０４において、フィルタ係数を計算する。まず、モアレ領域の動き方向θＭＶとモアレ方向θ０の角度差Δθを（６）式を用いて算出する。
Δθ＝｜θＭＶ−θ０｜      （６）
続いて、ΔθおよびＳＡＤを用いて、遮断周波数ｆｃを（７）式のように決定する。
【００４４】
【数６】
2012129747.tif 000008
【００４５】
（７）式によれば、Δθが９０度の時は、動きによるモアレの変化が目立つため、ｆ０に対する補正量が最大となる。逆にΔθが０度の時は、動きによるモアレの変化が目立たないため、ｆ０に対する補正は行なわない。つまり、静止時と同じ遮断周波数となる。このようにして求めた遮断周波数ｆｃ及び第１の実施形態における（２）式、（３）式を用いてフィルタ係数を決定する。
【００４６】
次にフィルタリング部３０５において、画像データに対してフィルタリングを行なう。フィルタリングは図示しない乗算器を用いるか、ビットシフトと加算処理によって実現することができる。
【００４７】
最後に台形補正部３０６への画像データを出力する。その後、台形補正部３０６にて、台形歪みを校正するようにデータ処理がなされ、画質調整部３０７によって輝度・色度補正が実行された後、データ処理後の画像がスクリーンに投影される。
【００４８】
本発明によれば、モアレ領域の動きベクトルの大きさと動き方向及びモアレの方向に基づいて、フィルタ特性を変更する。動き方向とモアレ方向の関係によって、モアレの変化が目立つことを抑制することができる。
【００４９】
＜実施形態３＞
画像処理部１０８で行なう処理は、画像投影装置以外の画像処理装置によって実行し、画像投影装置に入力することもできる。
【００５０】
図６は、本実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【００５１】
ＣＰＵ６０１は、ＲＡＭ６０２やＲＯＭ６０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、本実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ６０１は、画像処理部１０８として機能することになる。
【００５２】
ＲＡＭ６０２は、外部記憶装置６０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）６０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ６０２は、ＣＰＵ６０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ６０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。
【００５３】
ＲＯＭ６０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部６０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ６０１に対して入力することができる。表示部６０５は、ＣＰＵ６０１による処理結果を表示する。また表示部６０５は例えば液晶ディスプレイのようなホールド型の表示装置や、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置で構成される。
【００５４】
外部記憶装置６０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置６０６には、ＯＳ（オペレーティングシステム）や、画像処理部１０８の機能をＣＰＵ６０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置６０６には、処理対象としての各画像データが保存されていても良い。
【００５５】
外部記憶装置６０６に保存されているコンピュータプログラムやデータは、ＣＰＵ６０１による制御に従って適宜ＲＡＭ６０２にロードされ、ＣＰＵ６０１による処理対象となる。Ｉ／Ｆ６０７には、ＬＡＮやインターネット等のネットワーク、他の機器を接続することができ、本コンピュータはこのＩ／Ｆ６０７を介して様々な情報を取得したり、送出したりすることができる。６０８は上述の各部を繋ぐバスである。
【００５６】
上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ６０１が中心となってその制御を行う。
【００５７】
＜その他の実施形態＞
図１に示した画像処理部１０８はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、画像処理部１０８で行なう処理をコンピュータプログラムでもって構成しても良い。この場合、画像処理部１０８で行なう処理はＣＰＵ１１０で行なわれることになる。
【００５８】
また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００５９】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００６０】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図１】
2012129747.tif 000009
【図２】
2012129747.tif 000010
【図３】
2012129747.tif 000011
【図４】
2012129747.tif 000012
【図５】
2012129747.tif 000013
【図６】
2012129747.tif 000014