(57)【要約】【課題】PWMによって輝度を表現する場合に、動きぼけを低減することができる映像表示装置および映像表示方法を提供する。【解決手段】ある画像を提示するフレーム時間を、複数の時間区間に分割する。また、輝度を表現するための１フレーム分の変調パルス系列も、同数の時間区間に分割する。動画像データから計算した、あるいは動画像データに付随する画像各点の移動ベクトルデータを用いて、分割された各時間区間において注目画素に表示すべき輝度が、フレーム時間開始時のどの画素のものに対応するかを計算する。その対応画素の輝度を表現する変調パルス系列の該時間区間に対応する部分を、該時間区間において注目画素を駆動する際に用いる。【選択図】図１
2010134046.tif 000002
【特許請求の範囲】
【請求項１】
パルス幅変調により画素の輝度を表現する方式の映像表示装置であって、所定のフレームの所定の画素の輝度を表現するための変調パルス列を、表示すべき映像における前記所定の画素の動きに沿って空間的に移動させるよう構成されていることを、特徴とする映像表示装置。
【請求項２】
輝度を表現するための１フレーム分の変調パルス系列を複数の時間区間に分割し、各時間区間において前記所定の画素に表示すべき輝度が、フレーム時間開始時のどの画素のものに対応するかを前記所定の画素の動き情報に基づいて算出し、算出された画素の輝度を表現する変調パルス系列の各時間区間に対応する部分を、前記所定の画素の各時間区間において出力するよう構成されていることを、特徴とする請求項１記載の映像表示装置。
【請求項３】
表示すべき映像における前記所定の画素の動きを、映像データから推定される動き情報から得るよう構成されていることを、特徴とする請求項１または２記載の映像表示装置。
【請求項４】
表示すべき映像における前記所定の画素の動きを、映像データに含まれるメタ情報から得るよう構成されていることを、特徴とする請求項１または２記載の映像表示装置。
【請求項５】
投影光学系によって映像を物体表面上に投影可能であり、その投影すべき位置の移動に沿って変調パルス列を移動させるよう構成されていることを、特徴とする請求項１、２、３または４記載の映像表示装置。
【請求項６】
パルス幅変調により画素の輝度を表現する方式の映像表示方法であって、所定のフレームの所定の画素の輝度を表現するための変調パルス列を、表示すべき映像における前記所定の画素の動きに沿って空間的に移動させることを、特徴とする映像表示方法。
【請求項７】
輝度を表現するための１フレーム分の変調パルス系列を複数の時間区間に分割し、各時間区間において前記所定の画素に表示すべき輝度が、フレーム時間開始時のどの画素のものに対応するかを前記所定の画素の動き情報に基づいて算出し、算出された画素の輝度を表現する変調パルス系列の各時間区間に対応する部分を、前記所定の画素の各時間区間において出力することを、特徴とする請求項６記載の映像表示方法。
【請求項８】
表示すべき映像における前記所定の画素の動きを、映像データから推定される動き情報から得ることを、特徴とする請求項６または７記載の映像表示方法。
【請求項９】
表示すべき映像における前記所定の画素の動きを、映像データに含まれるメタ情報から得ることを、特徴とする請求項６または７記載の映像表示方法。
【請求項１０】
投影光学系によって映像を物体表面上に投影し、その投影すべき位置の移動に沿って変調パルス列を移動させることを、特徴とする請求項６、７、８または９記載の映像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の表示に関するものであり、特に動画像を鮮明に表示するための映像表示装置および映像表示方法に関する。
【背景技術】
【０００２】
空間的に光を変調することによる映像表示装置は、近年広く利用されるようになってきている。代表的な方式として、液晶により透過光の輝度を変調する方式や、微小なミラーの２次元アレイであるディジタルマイクロミラーデバイス（DMD）を用いて反射光の輝度を変調する方式が挙げられる。
【０００３】
DMD方式では、各画素において、各瞬間では光を反射する(オン)・反射しない(オフ)の２状態のみが取られる。この方式で多階調の輝度を表現するために、ある画像を表示する１フレーム時間内で、光反射のオン時間とオフ時間の比を制御するパルス幅変調(PWM)表現が用いられる。これを実現するため、DMDの各画素のミラーは、毎秒数千回〜数万回のオン・オフ切り替えができるように構成されている。
【０００４】
液晶方式及びDMD方式のいずれにも共通する特徴として、ある１フレーム時間の全体を使って画素の輝度を表示する点が挙げられる。この特徴を持つ方式は、ホールド表示方式と称され、ブラウン管を用いた映像表示装置のように各画素の発光が瞬時であるインパルス表示方式とは区別される。
【０００５】
一般にホールド表示方式は、インパルス表示方式に比べて動画像の表示に弱いとされており、具体的には動きのある部分がぼけて見えやすい傾向がある。これは、図７（ａ）に示すように、映像内の動きに追従して観測者の視線運動が生じることで、フレーム時間にわたってホールド表示される輝度が網膜上を移動し、ぼけとして知覚されるためである、と説明される。また、図７（ｂ）に示すように、インパルス表示方式では、映像の時空間軌跡は離散的な点（図７（ｂ）中の黒点）となり、視線移動の時空間軌跡上に乗るのに対し、ホールド表示方式では、映像の時空間軌跡は空間位置が区分的に一定となる連続軌跡となり、視線移動の時空間軌跡との不一致が生じている。
【０００６】
液晶方式においては、フレームとフレームとの間に黒画像を提示する方法や、フレーム間の補間画像を生成し、フレームレートを実効的に倍にする倍速駆動法などにより、動きぼけを低減する効果が得られることが知られている（例えば、非特許文献１または２参照）。
【０００７】
また、DMD方式では、輝度の時間的または空間的な切り替わりの境界において、本来は表示していないものが知覚されてしまう現象が生じ得る。これを低減するため、光反射のオン時間とオフ時間との並び替えを行うビット分割法が広く用いられている（例えば、特許文献１参照）。
【０００８】
【非特許文献１】N.Mishima and G. Itoh, “Novel frame interpolation method for hold-type displays”,2004 IEEE International Conference on Image Processing, 2004, p.1473-1476
【非特許文献２】Y.Yoshida, Y. Kikuchi, S. Daly and M. Sugino, “Image quality improvements inlarge-screen LC-TV”, Society for Information Display 2005, 2005, p.1852-1855
【特許文献１】米国特許第５，９６９，７１０号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００９】
非特許文献１および２に記載のように、液晶方式の映像表示装置においては黒映像の提示や倍速駆動法などにより動きぼけの低減が実現されているが、DMD方式のようにPWMによって輝度を表現する場合には、これらの手法の適用は困難であるという課題があった。なぜならば、いずれの方式においても、ある１フレームの画像を表示する時間を短くすることが本質的であり、PWM表現では輝度の階調を保つことが難しくなるためである。例えば、DMD方式では、ミラーの切り替えに必要な最小時間が存在するため、フレーム時間を半分にすると輝度階調数も半分になってしまう。
【００１０】
また、DMD方式で広く用いられるビット分割法は、動きぼけに関しても一定の低減効果が期待できるものの、本質的な解決とはなっていないという課題もあった。
【００１１】
本発明は、このような課題に鑑みて創案されたもので、PWMによって輝度を表現する場合に、動きぼけを低減することができる映像表示装置および映像表示方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明に係る映像表示装置は、パルス幅変調により画素の輝度を表現する方式の映像表示装置であって、所定のフレームの所定の画素の輝度を表現するための変調パルス列を、表示すべき映像における前記所定の画素の動きに沿って空間的に移動させるよう構成されていることを、特徴とする。
【００１３】
本発明に係る映像表示装置は、輝度を表現するための１フレーム分の変調パルス系列を複数の時間区間に分割し、各時間区間において前記所定の画素に表示すべき輝度が、フレーム時間開始時のどの画素のものに対応するかを前記所定の画素の動き情報に基づいて算出し、算出された画素の輝度を表現する変調パルス系列の各時間区間に対応する部分を、前記所定の画素の各時間区間において出力するよう構成されていることが好ましい。また、本発明に係る映像表示装置は、表示すべき映像における前記所定の画素の動きを、映像データから推定される動き情報から得るよう構成されていてもよく、映像データに含まれるメタ情報から得るよう構成されていてもよい。さらに、本発明に係る映像表示装置は、投影光学系によって映像を物体表面上に投影可能であり、その投影すべき位置の移動に沿って変調パルス列を移動させるよう構成されていてもよい。
【００１４】
本発明に係る映像表示方法は、パルス幅変調により画素の輝度を表現する方式の映像表示方法であって、所定のフレームの所定の画素の輝度を表現するための変調パルス列を、表示すべき映像における前記所定の画素の動きに沿って空間的に移動させることを、特徴とする。
【００１５】
本発明に係る映像表示方法は、輝度を表現するための１フレーム分の変調パルス系列を複数の時間区間に分割し、各時間区間において前記所定の画素に表示すべき輝度が、フレーム時間開始時のどの画素のものに対応するかを前記所定の画素の動き情報に基づいて算出し、算出された画素の輝度を表現する変調パルス系列の各時間区間に対応する部分を、前記所定の画素の各時間区間において出力することが好ましい。また、本発明に係る映像表示方法は、表示すべき映像における前記所定の画素の動きを、映像データから推定される動き情報から得てもよく、映像データに含まれるメタ情報から得てもよい。さらに、本発明に係る映像表示方法は、投影光学系によって映像を物体表面上に投影し、その投影すべき位置の移動に沿って変調パルス列を移動させてもよい。
【００１６】
本発明では、PWMによって輝度を表現する空間光変調子を、以下のような手段で動作させることが好ましい。
【００１７】
ある画像を提示するフレーム時間を、複数の時間区間に分割する。また、輝度を表現するための１フレーム分の変調パルス系列も、同数の時間区間に分割する。動画像データから計算した、あるいは動画像データに付随する画像各点の移動ベクトルデータを用いて、分割された各時間区間において注目画素に表示すべき輝度が、フレーム時間開始時のどの画素のものに対応するかを計算する。その対応画素の輝度を表現する変調パルス系列の該時間区間に対応する部分を、該時間区間において注目画素を駆動する際に用いる。
【００１８】
結果として、ある輝度を表現する変調パルス系列は、映像中の画素の動きに沿って移動しながら提示されることになる。これにより、観察者の目が画像の動きを追従することで、網膜上ではぼけの少ない映像が結像される。
【発明の効果】
【００１９】
本発明により、DMD方式のようにPWMにより画素の輝度を表現する場合に、動きぼけの少ない動画像の表示を可能とする映像表示装置および映像表示方法を提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態の映像表示装置および映像表示方法について、図面を参照しながら説明する。
【００２１】
図１に示す映像表示装置は、画像データと移動ベクトルデータとを受け取り、PWM系列生成器１２の出力を参照しながら、空間光変調子１３の変調パターンを生成するパターン生成器１１を有している。空間光変調子１３の変調パターンは、光学系１４を通じて、例えばスクリーンに投影される等により観測者に提示される。
【００２２】
空間光変調子１３の各画素がオン・オフの切り替えを行う最小時間（単位時間）をΔtとし、画像データの１フレーム分の時間をnΔtとする。輝度IをPWMで表現するn時刻の系列をp(I; 0), p(I; 1), …, p(I; n-1)と表す。これをPWM系列と呼び、PWM系列生成器１２から随時取得する。なお、PWM系列生成器１２は、あらかじめPWM系列を計算して保存するメモリからの表引きを行うものとして実現してもよい。PWM系列には、必要に応じてビット分割処理を施しておくものとする。
【００２３】
時刻tにおける空間光変調子１３の画素(x, y)の状態を、S(x, y; t)と表す。入力画像データにおける画素(x, y)の時刻tの輝度がI(x, y; t)であるとき、従来の映像表示装置では、以下のように光変調パターンの生成を行う。
【数１】
2010134046.tif 000003
【００２４】
これに対して本発明の実施の形態では、画像データに加えて画像の各点における移動ベクトルのデータも入力として受け取り、これを用いて画素移動を考慮した光変調パターン補正を行う。
【００２５】
時刻 t と時刻 t + nΔtとの間での、画素(x, y)における移動ベクトルを (u(x, y; t), v(x, y; t)) と表す。これを得る方法としては、
１．隣接フレームの画像間の演算により求める。局所領域間の相関に基づく方法、濃度勾配に基づく方法等が知られている。高密度に求めるのが困難な場合は、低密度に分布する各点について求めて点間を補間する。
２．動画像データ等に含まれるメタ情報を利用する。例えば、MPEG-4では、背景や物体等を個別のオブジェクトとして符号化し、それらを重ね合わせて表示するための仕様(Binary Format for Scenes)が規定されている。また、映像に対して字幕などを重畳する場合、その字幕の運動が既知であればこれを利用する。
３．空間中を移動するスクリーンに追従投影する場合など、映像の投影位置を意図的に移動させる場合、その情報を利用する。
などの方法が考えられる。
【００２６】
以上の情報に基づいて、本発明の実施の形態の映像表示装置および映像表示方法では、以下のように光変調パターンの生成を行う。ここで、m時刻ごとの画素移動を考慮するとする。ただし、1 ≦ m < n である。さらに説明を簡単化するため、n = k m (k: 整数) とするが、この条件は必須ではない。
【００２７】
【数２】
2010134046.tif 000004
【００２８】
すなわち、パターン生成器１１は、m時刻ごとに各画素の移動量を近似的に補正し、補正された画素位置における輝度値を画像データを参照して取得し、その輝度値に対応するPWM系列の一部をPWM系列生成器１２より取得し、続くm時刻の間、空間光変調子１３に対してそれを出力する。
【００２９】
n = 8，m = 4 の場合のパターン生成例を、図２および図３により説明する。ここでは簡単のため、ある１画素のみの輝度の表示のしかたを示している。この場合、 k = 2 であり、フレーム時間は前半・後半の２つの区間に分割される。図２および図３に示すように、ある画素(x, y)において、画像データから得られる時刻tでの輝度はI(x, y; t)であり、移動ベクトルは(u(x, y; t), v(x, y; t))である。時刻t, ..., t+3Δtでは、輝度I(x, y; t)を表すPWM系列の前半４時刻分を出力し、時刻時刻t+4Δt, ..., t+7Δtでは、輝度I(x - u(x, y; t), y - v(x, y; t); t)を表すPWM系列の後半４時刻分を出力する。
【００３０】
n = 7，m = 1 の場合のパターン生成例を、図４〜図６により説明する。ここでは簡単のため、空間方向に並んだ連続１６画素のみの輝度の表示のしかたを示している。映像が静止している場合、図４に示すように、各画素の輝度をPWMにより表現し表示する。映像に動きがある場合、従来の映像表示装置では、図５に示すように、画素の移動はフレームごとにのみ考慮され、観察者の目がこの動きに追従すると、網膜上ではある輝度を表現するPWM系列が空間的な広がりをもって結像され、ぼけが知覚される。本発明の実施形態の映像表示装置および映像表示方法によれば、図６に示すように、画素の移動は m 時刻ごとに考慮され、観察者の目がこの動きに追従することで、網膜上ではある輝度を表現するPWM系列がほぼ一定位置に結像する。
【００３１】
以上の説明では、モノクローム映像を前提として輝度を表現して来たが、カラー映像の場合も同様に提示可能である。色ごとに独立した空間光変調素子を用いる場合（例えば３板式）は、以上で説明した方法がそのまま適用できる。また、単板式でカラーホイール等を用いて時分割で各色を提示する場合も、各色の輝度としてPWMで表現する系列を連結したものを、改めて上記説明におけるPWM系列とみなせば、以上で説明した方法がそのまま適用できる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態の映像表示装置を示すブロック図である。
【図２】本発明の実施の形態の映像表示装置および映像表示方法の、画素の移動を考慮する際の画素間の対応関係の説明図である。
【図３】本発明の実施の形態の映像表示装置および映像表示方法の、n = 8, m = 4 の場合の１画素のパターン生成例を示す説明図である。
【図４】従来の映像表示装置の、n= 7, m = 1 の場合の隣接１６画素の静止時のパターン生成例を示す説明図である。
【図５】従来の映像表示装置の、n= 7, m = 1 の場合の隣接１６画素の運動時のパターン生成例を示す説明図である。
【図６】本発明の実施の形態の映像表示装置および映像表示方法の、n = 7, m = 1 の場合の隣接１６画素の運動時のパターン生成例を示す説明図である。
【図７】（ａ）映像の動きと観測者の視線移動との関係を示す説明図、（ｂ）観測者の視線運動、インパルス表示方式の映像およびホールド表示方式の映像の時空間軌跡を示すグラフである。
【符号の説明】
【００３３】
１１  パターン生成器
１２  PWM系列生成器
１３  空間光変調子
１４  光学系
【図１】
2010134046.tif 000005
【図７】
2010134046.tif 000006
【図２】
2010134046.tif 000007
【図３】
2010134046.tif 000008
【図４】
2010134046.tif 000009
【図５】
2010134046.tif 000010
【図６】
2010134046.tif 000011