(57)【要約】【課題】入力信号に対して、キーストーン補正を行う際、画像に含まれる周波数が、キーストーンによる縮小率で決まる特定周波数を超えるとモアレが発生する。視差画像間の同一視認点における周波数が異なるとモアレの発生状態が異なり、同一視認点の視差画像間で輝度が大きく異なってしまい不快な画像となる。【解決手段】幾何学歪み補正のための、投射画像の幾何学歪み補正を行う幾何学歪み補正手段と、幾何学補正の変換形状に応じてフィルターを適用する設定する幾何学補正前処理フィルター適用手段と、両眼それぞれに各視差画像を知覚可能とするように制御することで立体視可能とする視差画像表示手段と、を有する投射型表示装置において、入力されている視差画像間の高周波成分の差分を出力する視差画像間高周波差分検出部を有し、前記幾何学補正前処理フィルター適用手段は、視差画像間高周波差分検出部の出力に基づき、各視差画像個別にフィルター制御を行うことを特徴とする。【選択図】  図１
2015154221.tif 000002
【特許請求の範囲】
【請求項１】
幾何学歪み補正のための、投射画像の幾何学歪み補正を行う幾何学歪み補正手段
と、
幾何学補正の変換形状に応じてフィルターを適用する設定する幾何学補正前処理フィルター適用手段と、
両眼それぞれに各視差画像を知覚可能とするように制御することで立体視可能とする視差画像表示手段と、
を有する投射型表示装置において、
入力されている視差画像間の高周波成分の差分を出力する視差画像間高周波差分検出部を有し、
前記幾何学補正前処理フィルター適用手段は、視差画像間高周波差分検出部の出力に基づき、各視差画像個別にフィルター制御を行うことを特徴とする投射型表示装置。
【請求項２】
前記幾何学補正前処理フィルター制御手段は、視差画像間高周波差分検出部の出力により高周波成分が多いと比較判定された視差画像に対して、より周波数スペクトルを減衰するようにフィルター制御が行われることを特徴とする請求項１に記載の投射型表示装置。
【請求項３】
前記幾何学補正前処理フィルター制御手段は、視差画像間高周波差分検出部の出力により高周波成分が少ないと比較判定された視差画像に対して、非視差画像に対するフィルター制御と同じフィルター制御が行うこと特徴とする請求項２に記載の投射型表示装置。
【請求項４】
前記幾何学補正前処理フィルター制御手段は、第１の周波数特性のフィルターと、と第１のフィルターと比較してより周波数スペクトルを減衰する第２のフィルターの重みづけによってフィルターを生成することを特徴とする請求項１乃至請求項３の何れか１項に記載の投射型表示装置。
【請求項５】
前記幾何学補正前処理フィルター制御手段は、視差画像間高周波差分検出部の出力に基づき、各視差画像について前記第１のフィルターと前記第２の重みづけ量が決定され、フィルターを決定することを特徴とする請求項４に記載の投射型表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投射型映像表示装置（プロジェクタ）に関するものである。
【背景技術】
【０００２】
図１１はプロジェクタを上方のスクリーンへ向けて投射する例である。このように、プロジェクタ1とスクリーン2が正対していないと、投射領域201のように台形状に歪む。そこで、このような歪みを投射領域202となるように補正を行うキーストーン補正が知られている。
【０００３】
投射領域201を投射領域202に変換するキーストーン補正の表示パネルでの処理の例を図１２に示す。このキーストーン補正は、表示パネル上で、領域211から領域212に変換することで実現される。このようなキーストーン補正は、垂直方向の位置に応じた変換倍率で水平方向の画素数を変換することで行われる。
【０００４】
しかし、変換前の画素数で表現されている画像周波数（一般に画素数の半分）のうち、画素数変換のための再標本化周波数の１／２を超える周波数の信号は、エイリアシング成分としてモアレの原因となる。
【０００５】
そこで、変換前の画素数を、倍率に応じて定まる周波数で帯域制限を行うことで、変換によるエイリアシングを防ぎ、モアレを抑制することができる。実際には、理想的な周波数で帯域制限を行うと解像感の喪失が著しいため、ある程度のモアレは抑制しきれないものの、解像感を維持できる周波数で帯域制限が行われる。
【０００６】
キーストーン補正時、画素ごとに、変換倍率に応じたフィルター処理を切り替えることで、キーストーン時の画質を向上させることができることが提案されている(特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−０１２５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
人間は、視差のある画像を左右の目それぞれで知覚することで立体視できることが知られている。視差を有する２台以上の撮像機器により得られる視差画像を、人間の左右の目それぞれで知覚させることで、立体映像として鑑賞できる。
【０００９】
視差画像撮影の例を図１３に示す。図１３の被写体32について、２つの撮像素子等により視差画像が取得可能なカメラ31で図１３のような位置関係で撮影した場合、被写体32との撮像距離が異なり、各視差画像は図１４のように、水平方向の画像周波数が視差画像間で異なってくる。このような視差画像に対して、特許文献1で開示された技術によりキーストーン補正を適用すると、同じ物体であっても、モアレの発生する画像周波数が異なり、場合によっては片側の視差画像のみにモアレが発生する。
【００１０】
その場合、左右の視差画像で輝度が明滅することになり、非視差画像でただモアレが発生する場合に比べても違和感が大きい。そこで、視差画像間でモアレの発生を均一化し、視差画像特有のモアレの影響を軽減する必要がある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明は、
幾何学歪み補正のための、投射画像の幾何学歪み補正を行う幾何学歪み補正手段
と、
幾何学補正の変換形状に応じてフィルターを適用する設定する幾何学補正前処理フィルター適用手段と、
両眼それぞれに各視差画像を知覚可能とするように制御することで立体視可能とする視差画像表示手段と、
を有する投射型表示装置において、
入力されている視差画像間の高周波成分の差分を出力する視差画像間高周波差分検出部を有し、
前記幾何学補正前処理フィルター適用手段は、視差画像間高周波差分検出部の出力に基づき、各視差画像個別にフィルター制御を行うことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、視差画像特有のモアレによる画質劣化を抑制することができる投射型表示装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例１、２におけるプロジェクタの構成
【図２】本発明の実施例１、２における視差画像入力時の画像処理タイミング
【図３】本発明の実施例１、２における非視差画像用キーストーン補正フィルター適用の例
【図４】本発明の実施例１、２における高周波検出値のタイミング
【図５】本発明の実施例１、２における高周波検出フィルター
【図６】本発明の実施例１におけるキーストーン補正フィルター制御の例
【図７】本発明の実施例１、２におけるキーストーン補正フィルター
【図８】本発明の実施例１、２におけるキーストーン補正フィルター
【図９】本発明の実施例２における視差画像Rの重みづけの例
【図１０】本発明の実施例２における視差画像Lの重みづけの例
【図１１】プロジェクタの設置例
【図１２】キーストーン補正の例
【図１３】視差画像撮影の例
【図１４】画像周波数の異なる視差画像の例
【発明を実施するための形態】
【００１４】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１５】
［実施例１］
図１は、本発明の実施形態にかかわる投射型表示装置である。以下、図１を参照して、本発明の第1の実施例による、投射型表示装置について説明する。
【００１６】
入力端子101などに入力された入力信号は、映像入力回路102で、信号種別の判別が行われ、アナログ映像信号であれば、Ａ／Ｄ変換が行われた上で後段の処理が行われる。ここで、映像入力信号回路102は、信号種別の判別の情報のほか、入力信号が視差信号であるかどうかの情報を含む入力信号情報をコントローラー105による取得を可能とする。映像処理回路103では、入力信号の解像度を表示パネル108に合わせるように解像度変換やその他映像処理が行われる。
【００１７】
映像処理回路103の出力は、キーストーン補正回路104に入力され、投射画像が矩形となるようにキーストーン補正を行う。これは、リモートコントローラー121や操作パネル122のユーザー操作によって、そのキーストーン補正量を操作されるが、コントローラー105が傾きセンサー123の測定値から自動的にキーストーン補正量を決定し、補正を行ってもよい。このとき、キーストーン補正回路104の動作は後述する。
【００１８】
キーストーン補正回路106の出力は、表示回路106で、各色ごとの信号に分離され、入力階調に対して出力輝度特性が目的の特性となるように、表示パネル108が駆動される。ランプ107から表示パネル108への入射光は、表示回路106により入力信号に対応した反射率（透過型プロジェクタの場合、透過率）となるように駆動され、レンズ109を通じてスクリーン2に投射される。
【００１９】
入力信号が視差画像であると判定された場合、視差情報トランスミッタ106により、左右の透過制御可能なシャッターを有する液晶シャッターメガネ3の制御を行う。入力信号が視差画像であると判定された場合、映像入力回路102より後段は、各視差画像交互に時分割多重される。
【００２０】
図２は時分割駆動された、表示パネルと液晶シャッターメガネの駆動の様子である。図２のように、時分割駆動された表示回路のＬＲに同期して、液晶シャッターメガネの透過シャッターを制御することで、各視差画像を両眼それぞれで知覚することが可能となり、立体視が可能となる。
【００２１】
前述の図１２の領域211から領域212への変換は、図1ではキーストーン補正回路により行う。キーストーン補正による変形率をR、キーストーン回路に入力される最大の画像周波数F=1/2T（Tは標本化間隔)とすると、一般には、キーストーン前の画像をカットオフ周波数F×Rで帯域制限を行うことで、エイリアシングを抑制することが可能である。
【００２２】
ただ一方で、エイリアシングを抑制されるように帯域制限がなされると、変換前解像度に対して、大きく解像感を損ねる。また、プロジェクタ内部で帯域制限の処理を行う場合、現実的には、時間領域で帯域制限を行う必要があり、その場合、タップ数の制約を受けて、モアレの抑制のためには理想的なカット周波数よりさらに小さい周波数で帯域制限を行わざるをえない。その結果、実用上、画像によってはある程度のエイリアシング発生を容認しつつ解像感を維持するカットオフ周波数fc1が設定される。
【００２３】
前述の図１３の視差画像撮影の例において、２つの撮像素子等により視差画像が取得可能なカメラ31で図１３のような位置関係で撮影した場合、被写体32との撮像距離が異なり、各視差画像は図１４のように、水平方向の画像周波数が視差画像間で異なってくる。
図３は、従来の方法で、キーストーン補正回路104によりキーストーン補正を行った場合の例である。画像周波数が視差画像間で異なるため、視差画像間でモアレの発生箇所が異なる。
【００２４】
この場合、視聴者が同一の被写体と認識できるはずの被写体が、モアレが発生することで、視差画像間で輝度差が生じる。これらは、非視差画像でモアレが発生することに比べて不快感が大きい。また、図１３で示したような被写体に対してズーム動作を行った場合など、画像周波数が徐々に変わるような動画像では、視差画像間で点滅することになり、これもまた不快感が大きい。
【００２５】
そこで、本発明では、まず、視差画像間高周波差分検出部 124において、各視差画像それぞれの高周波差分量を検出する。
【００２６】
具体的には、図4のように順に入力される視差画像L,Rと同期して各タイミングでの高周波成分検出部の出力を各視差画像の高周波成分PR、PLとし、その差分量PR-PLを算出する。
【００２７】
図５は、高周波成分検出のためのＢＰＦフィルターの一例である。ここで、カットオフ周波数fc1に対して、視差の違いによる画像周波数の変動分を加算、もしくは乗算した値をfc1’とする。各視差画像それぞれについて、fc1からfc1’の成分のみを取り出すことで、各視差画像間でモアレの発生状態が異なる周波数成分の量を検出可能となる。視差画像でない場合は、0、もしくはほぼ0の値が出力される。
【００２８】
そして、前述の図１のコントローラー105は、図６のように、PR-PLの値に応じて、各視差画像へ適用するキーストーン補正フィルターを制御する。キーストーン補正回路102は、コントローラー105により決定される通常キーストーン補正フィルターパラメーター111 か高周波画像キーストーン補正フィルタ112 をメモリ110より読み込み入力画像に適用する。
【００２９】
図7は、この制御に用いる、通常キーストーン補正フィルターパラメーター111と高周波画像キーストーン補正フィルターパラメーター112のフィルターの周波数特性の例である。ただし、実際にプロジェクタ内部で帯域制限の処理を行う場合、現実的には、時間領域で帯域制限を行う必要があり、その場合、タップ数の制約を受け、図8に示すような周波数特性となるのが一般的である。
【００３０】
PR-PL>aの場合、視差画像Lに図7の通常キーストーン補正フィルター111H(ω/2π)を適用し、視差画像Rに高周波画像キーストーン補正フィルタ112 Hh(ω/2π)を適用する。そして、PR-PL<-aの場合、視差画像Rに通常キーストーン補正フィルター111H(ω/2π)を適用し、視差画像Lに高周波画像キーストーン補正フィルタ112 Hh(ω/2π)を適用する。そして、どの場合にもあてはまらない場合、両視差画像に、通常キーストーン補正フィルター111H(ω/2π)を適用する。
【００３１】
ここで、H(ω/2π)とHh(ω/2π)、aは、画面内や動画などで極端な解像感の変化が見えないように設定される必要がある。
【００３２】
モアレ発生状態を異にする視差画像に対して、通常時に対して、高周波成分をより通さないフィルター処理を適用するように制御を行うことで、視差画像特有のモアレによる画質劣化を抑制することができる。
【００３３】
非視差画像時は、静止画であればPR-PLは0、動画であってもPR^PLはほぼ0となり、常に通常キーストーン補正フィルターH(ω/2π)が適用され、不要な解像感劣化は発生しない。また、前述の図１の視差画像高周波成分検出部124について、各視差画像ごとに一定時間蓄積した値を高周波成分量PR,PLとすることによって、急激な変化を抑制する構成としてもよい。また、前記フィルターの切り替えやフィルター係数の生成は、視差画像間での視差量検出による情報を組み合わせてもよい。
【００３４】
一般に、視差量検出は視差画像間の左右方向の画素のずれで検出が可能である。例えば、視差が小さいときはa,bを大きくするなど、各視差画像の高周波成分の違いについて視差情報を加えて精度を向上することで、不要な解像感劣化を防ぐことができる。前述の各々の帯域制限のためのフィルターは、キーストーンの補正量に応じて切り替えてもよいし、さらには各画素の画面内での位置ごとの変形率に応じて切り替えてもよい。
【００３５】
本実施例において、キーストーン補正は、キーストーン補正回路104により行っているが、入力信号を表示パネルの解像度に合わせる解像度変換回路102（図1では映像処理回路に含まれる）により行ってもよい。
【００３６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００３７】
［実施例２］
以下、本発明の第１の実施例と同様に図１を参照して、本発明の第２の実施例による、投射型表示装置について説明する。入力端子101などに入力された入力信号は、映像入力回路102で、信号種別の判別が行われ、アナログ映像信号であれば、Ａ／Ｄ変換が行われた上で後段の処理が行われる。ここで、映像入力信号回路102は、信号種別の判別の情報のほか、入力信号が視差信号であるかどうかの情報を含む入力信号情報をコントローラー105による取得を可能とする。
【００３８】
映像処理回路103では、入力信号の解像度を表示パネル108に合わせるように解像度変換やその他映像処理が行われる。映像処理回路103の出力は、キーストーン補正回路104に入力され、投射画像が矩形となるようにキーストーン補正を行う。これは、リモートコントローラー121や操作パネル122のユーザー操作によって、そのキーストーン補正量を操作されるが、コントローラー105が傾きセンサー123の測定値から自動的にキーストーン補正量を決定し、補正を行ってもよい。このとき、キーストーン補正回路104の動作は後述する。
【００３９】
キーストーン補正回路106の出力は、表示回路106で、各色ごとの信号に分離され、入力階調に対して出力輝度特性が目的の特性となるように、表示パネル108が駆動される。ランプ107から表示パネル108への入射光は、表示回路106により入力信号に対応した反射率（透過型プロジェクタの場合、透過率）となるように駆動され、レンズ109を通じてスクリーン2に投射される。
【００４０】
入力信号が視差画像であると判定された場合、視差情報トランスミッタ106により、左右の透過制御可能なシャッターを有する液晶シャッターメガネ3の制御を行う。入力信号が視差画像であると判定された場合、映像入力回路102より後段は、各視差画像交互に時分割多重される。
【００４１】
図２は時分割駆動された、表示パネルと液晶シャッターメガネの駆動の様子である。図２のように、時分割駆動された表示回路のＬＲに同期して、液晶シャッターメガネの透過シャッターを制御することで、各視差画像を両眼それぞれで知覚することが可能となり、立体視が可能となる。
【００４２】
前述の図１２の領域211から領域212への変換は、図1ではキーストーン補正回路により行う。キーストーン補正による変形率をR、キーストーン回路に入力される最大の画像周波数F=1/2T（Tは標本化間隔)とすると、一般には、キーストーン前の画像をカットオフ周波数F×Rで帯域制限を行うことで、エイリアシングを抑制することが可能である。
【００４３】
ただ一方で、エイリアシングを抑制されるように帯域制限がなされると、変換前解像度に対して、大きく解像感を損ねる。また、プロジェクタ内部で帯域制限の処理を行う場合、現実的には、時間領域で帯域制限を行う必要があり、その場合、タップ数の制約を受けて、モアレの抑制のためには理想的なカット周波数よりさらに小さい周波数で帯域制限を行わざるをえない。その結果、実用上、画像によってはある程度のエイリアシング発生を容認しつつ解像感を維持するカットオフ周波数fc1が設定される。
【００４４】
前述の図１３の視差画像撮影の例において、２つの撮像素子等により視差画像が取得可能なカメラ31で図１３のような位置関係で撮影した場合、被写体32との撮像距離が異なり、各視差画像は図１４のように、水平方向の画像周波数が視差画像間で異なってくる。
【００４５】
図３は、従来の方法で、キーストーン補正回路104によりキーストーン補正を行った場合の例である。画像周波数が視差画像間で異なるため、視差画像間でモアレの発生箇所が異なる。この場合、視聴者が同一の被写体と認識できるはずの被写体が、モアレが発生することで、視差画像間で輝度差が生じる。これらは、非視差画像でモアレが発生することに比べて不快感が大きい。
【００４６】
また、図１３で示したような被写体に対してズーム動作を行った場合など、画像周波数が徐々に変わるような動画像では、視差画像間で点滅することになり、これもまた不快感が大きい。
【００４７】
そこで、本発明では、まず、視差画像間高周波差分検出部 124において、各視差画像それぞれの高周波差分量を検出する。具体的には、図4のように順に入力される視差画像L,Rと同期して各タイミングでの高周波成分検出部の出力を各視差画像の高周波成分PR、PLとし、その差分量PR-PLを算出する。
【００４８】
図５は、高周波成分検出のためのＢＰＦフィルターの一例である。ここで、カットオフ周波数fc1に対して、視差の違いによる画像周波数の変動分を加算、もしくは乗算した値をfc1’とする。各視差画像それぞれについて、fc1からfc1’の成分のみを取り出すことで、各視差画像間でモアレの発生状態が異なる周波数成分の量を検出可能となる。視差画像でない場合は、0、もしくはほぼ0の値が出力される。そして、前述の図１のコントローラー105は、各視差画像へ適用するキーストーン補正フィルターを制御する。
【００４９】
キーストーン補正回路102は、コントローラー105により決定される通常キーストーン補正フィルターパラメーター111 と高周波画像キーストーン補正フィルタ112 をメモリ110より読み込み重みづけして合成され、入力画像に適用される。
【００５０】
図7は、この制御に用いる、通常キーストーン補正フィルターパラメーター111と高周波画像キーストーン補正フィルターパラメーター112のフィルターの周波数特性の例である。ただし、実際にプロジェクタ内部で帯域制限の処理を行う場合、現実的には、時間領域で帯域制限を行う必要があり、その場合、タップ数の制約を受け、図8に示すような周波数特性となるのが一般的である。
【００５１】
コントローラー105は、PR-PLの値に応じて、通常キーストーン補正フィルター111H(ω/2π)と高周波画像キーストーン補正フィルタ112 Hh(ω/2π)から適用するキーストーン補正フィルタ係数を生成する。
【００５２】
具体的には、各視差画像のキーストーン補正フィルタをHR(ω/2π)=WhR* Hh(ω/2π)+ WR* H(ω/2π)、HL(ω/2π)=WhL* Hh(ω/2π)+ WL* H(ω/2π)とし、各重みづけ係数をPR-PLの量に応じて、図9,10のように制御を行う。PR-PLが大きいほどH(ω/2π)に対するHh(ω/2π)を大きく重みづけしたフィルター係数HR(ω/2π)を生成し、視差画像Rへ適用する。
【００５３】
一方、PR-PLの値が小さいほどH(ω/2π)に対するHh(ω/2π)を大きく重みづけしたフィルター係数HL(ω/2π)を生成し、視差画像Lへ適用する。ここで、H(ω/2π)とHh(ω/2π)、a,bは、画面内や動画などで極端な解像感の変化が見えないように設定される必要がある。
【００５４】
モアレ発生状態を異にする視差画像に対して、通常時に対して、高周波成分をより通さないフィルター処理を適用するように制御を行うことで、視差画像特有のモアレによる画質劣化を抑制することができる。
【００５５】
非視差画像時は、静止画であればPR-PLは0、動画であってもPR^PLはほぼ0となり、常に通常キーストーン補正フィルターH(ω/2π)が適用され、不要な解像感劣化は発生しない。
また、前述の図１の視差画像高周波成分検出部124について、各視差画像ごとに一定時間蓄積した値を高周波成分量PR,PLとすることによって、急激な変化を抑制する構成としてもよい。また、前記フィルターの切り替えやフィルター係数の生成は、視差画像間での視差量検出による情報を組み合わせてもよい。
【００５６】
一般に、視差量検出は視差画像間の左右方向の画素のずれで検出が可能である。例えば、視差が小さいときはa,bを大きくするなど、各視差画像の高周波成分の違いについて視差情報を加えて精度を向上することで、不要な解像感劣化を防ぐことができる。前述の各々の帯域制限のためのフィルターは、キーストーンの補正量に応じて切り替えてもよいし、さらには各画素の画面内での位置ごとの変形率に応じて切り替えてもよい。
【００５７】
本実施例において、キーストーン補正は、キーストーン補正回路104により行っているが、入力信号を表示パネルの解像度に合わせる解像度変換回路102（図1では映像処理回路に含まれる）により行ってもよい。
【００５８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５９】
101  入力端子      102  映像入力回路      105  コントローラー
103  映像処理回路      108  表示パネル
【図５】
2015154221.tif 000003
【図６】
2015154221.tif 000004
【図７】
2015154221.tif 000005
【図８】
2015154221.tif 000006
【図９】
2015154221.tif 000007
【図１０】
2015154221.tif 000008
【図１２】
2015154221.tif 000009
【図１】
2015154221.tif 000010
【図２】
2015154221.tif 000011
【図３】
2015154221.tif 000012
【図４】
2015154221.tif 000013
【図１１】
2015154221.tif 000014
【図１３】
2015154221.tif 000015
【図１４】
2015154221.tif 000016