(57)【要約】【課題】液晶表示装置において動きのある映像を表示する際の表示品質のさらなる改善を図る。【解決手段】画像表示装置は、液晶パネルと、バックライトと、前記バックライトの発光を制御する制御部と、を備える。制御部は、入力される映像信号を解析して、映像の動きを検出し、検出された動きが等速度又は等加速度の動きである場合の発光時間は短く、検出された動きが等速度又は等加速度の動きでない場合の発光時間は長くなるように、前記バックライトの発光時間を設定する。さらに、制御部は、発光時間が短くなるほど発光強度が大きくなるように、設定された発光時間に応じて前記バックライトの発光強度を変更するとよい。【選択図】図１
2012078589.tif 000002
【特許請求の範囲】
【請求項１】
液晶パネルと、
バックライトと、
前記バックライトの発光を制御する制御部と、
を備え、
前記制御部は、
入力される映像信号を解析して、映像の動きを検出し、
検出された動きが等速度又は等加速度の動きである場合の発光時間は短く、検出された動きが等速度又は等加速度の動きでない場合の発光時間は長くなるように、前記バックライトの発光時間を設定する
ことを特徴とする画像表示装置。
【請求項２】
前記制御部は、
検出された動きと等速度又は等加速度の動きとのずれを算出し、
ずれがスレッショルドよりも大きい場合に最も長い第１の発光時間を設定し、
ずれのない場合に最も短い第２の発光時間を設定し、
前記第１の発光時間と前記第２の発光時間の間については、ずれの大きさに応じて段階的又は連続的に発光時間を長くする
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記制御部は、
発光時間が短くなるほど発光強度が大きくなるように、設定された発光時間に応じて前記バックライトの発光強度を変更する
ことを特徴とする請求項１または２に記載の画像表示装置。
【請求項４】
前記制御部は、
発光強度で加重された発光時間の時間重心が、フレーム間で変わらないように、前記バックライトの発光開始及び発光終了のタイミングを設定する
ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像表示装置。
【請求項５】
前記制御部は、
入力される映像信号を解析して、映像上の複数のエリアにおける局所的な動きベクトルをそれぞれ算出し、
前記複数のエリアの局所的な動きベクトルから、当該映像の代表的な動きベクトルを算出し、
算出された前記代表的な動きベクトルを用いて、当該映像の動きが等速度又は等加速度の動きであるかどうかを評価する
ことを特徴とする請求項１〜４のうちいずれか１項に記載の画像表示装置。
【請求項６】
前記制御部は、
前記複数のエリアの局所的な動きベクトルを平均することにより、又は、前記複数のエリアの局所的な動きベクトルのうち閾値以上の大きさのベクトルを平均することにより、前記代表的な動きベクトルを算出する
ことを特徴とする請求項５に記載の画像表示装置。
【請求項７】
前記制御部は、
前記複数のエリアの中から、同一又は類似の局所的な動きベクトルを有し、かつ、エリアの合計面積が閾値以上となる、隣接した複数のエリアを選択し、選択した複数のエリアの局所的な動きベクトルを平均することにより、前記代表的な動きベクトルを算出する
ことを特徴とする請求項５に記載の画像表示装置。
【請求項８】
映像信号に対しボケを低減するボケ低減部をさらに有し、
短い発光時間に設定された場合に、ボケが低減された映像信号、又は、入力された映像信号とボケが低減された映像信号とを合成した映像信号を用いて、前記液晶パネルが駆動される
ことを特徴とする請求項１〜７のうちいずれか１項に記載の画像表示装置。
【請求項９】
映像信号に対しボケを付加するボケ付加部をさらに有し、
長い発光時間に設定された場合に、ボケが付加された映像信号、又は、入力された映像信号とボケが付加された映像信号とを合成した映像信号を用いて、前記液晶パネルが駆動される
ことを特徴とする請求項１〜７のうちいずれか１項に記載の画像表示装置。
【請求項１０】
液晶パネルとバックライトとを備えた画像表示装置の制御方法であって、
入力される映像信号を解析して、映像の動きを検出するステップと、
検出された動きが等速度又は等加速度の動きである場合の発光時間は短く、検出された動きが等速度又は等加速度の動きでない場合の発光時間は長くなるように、前記バックライトの発光時間を設定するステップと、
を有することを特徴とする画像表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像表示装置及びその制御方法に関し、詳しくは液晶表示装置のバックライトの制御方法に関する。
【背景技術】
【０００２】
従来より、液晶表示装置（ＬＣＤ）の表示品質を向上するためのさまざまな方法が提案されている。例えば特許文献１では、液晶表示装置のようなホールド型ディスプレイに特有の動画ボケ（ホールドボケ）を改善するために、フレーム間の差分量に応じた黒信号レベルの黒フレームを映像フレームの間に挿入することが開示されている。なお、黒フレームの挿入によってフリッカが発生する可能性があるため、特許文献１では、黒信号レベルの高／低に応じてバックライトの輝度を高／低に制御することでフリッカの発生を軽減している。また特許文献２には、フレーム単位の映像信号のヒストグラムに基づいてバックライトの発光強度を制御することで、鮮やかな映像表示が得られることが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０９６５２１号公報
【特許文献２】特開２００８−１３４６６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のような黒フレーム挿入は、液晶表示装置でインパルス型ディスプレイと同じような表示を実現するものであり、動きの大きい映像におけるホールドボケの改善には有効である。しかし、本発明者らの検討により、動きの大きい映像の中にも、インパルス型の表示に向かないものがあることが分かってきた。例えば、物体が様々な方向・速度で動いているような映像に対して黒フレーム挿入を行うと、物体の動きの連続性が視覚的に感じられなくなり、物体がランダムな位置に現れては消えるように見えることがある。このような妨害感を本明細書ではランダム感とよぶ。従来方法では、このようなランダム感の発生を回避することはできない。
【０００５】
本発明は上記実情に鑑みてなされたものであり、液晶表示装置において動きのある映像を表示する際の表示品質のさらなる改善を目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１態様は、液晶パネルと、バックライトと、前記バックライトの発光を制御する制御部と、を備え、前記制御部は、入力される映像信号を解析して、映像の動きを検出し、検出された動きが等速度又は等加速度の動きである場合の発光時間は短く、検出された動きが等速度又は等加速度の動きでない場合の発光時間は長くなるように、前記バックライトの発光時間を設定する画像表示装置を提供する。
【０００７】
本発明の第２態様は、液晶パネルとバックライトとを備えた画像表示装置の制御方法であって、入力される映像信号を解析して、映像の動きを検出するステップと、検出された動きが等速度又は等加速度の動きである場合の発光時間は短く、検出された動きが等速度又は等加速度の動きでない場合の発光時間は長くなるように、前記バックライトの発光時間を設定するステップと、を有する画像表示装置の制御方法を提供する。
【発明の効果】
【０００８】
本発明によれば、液晶表示装置において動きのある映像を表示する際の表示品質をさらに改善することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態の画像表示装置のブロック図。
【図２】本発明の第２の実施形態の画像表示装置のブロック図。
【図３】本発明の第３の実施形態の画像表示装置のブロック図。
【図４】ＡＭ−ＬＣＤの構成を説明する構成図。
【図５】ＡＭ−ＬＣＤの動作を説明するタイミング図。
【図６】ＡＭ−ＬＣＤのバックライトの点灯動作を説明するタイミング図。
【図７】バックライトの好適な発光時間と発光強度の関係を示す図。
【図８】主要対象物の動きベクトルの算出方法の一例を示す図。
【図９】等速度運動の評価と等加速度運動の評価を説明するための図。
【図１０】ずれ係数Ｋに対するバックライトの発光時間の特性の一例を示すグラフ。
【図１１】等速度の評価を行う発光時間算出部の構成を示す図。
【図１２】ずれ係数Ｌに対するバックライトの発光時間の特性の一例を示すグラフ。
【図１３】等加速度の評価を行う発光時間算出部の構成を示す図。
【図１４】Ｖ１、Ｖ２の重みと発光時間の関係の一例を示すグラフ。
【発明を実施するための形態】
【００１０】
本発明は、バックライトを表示装置内に持つ透過型あるいは反射型の液晶表示装置（ＬＣＤ）に好適に適用できる。本発明の実施形態では、観測者が直視する透過型のＬＣＤを用いて説明するが、スクリーン等に投射する透過型あるいは反射型のＬＣＤに対しても本発明は好適に適用できる。
【００１１】
（ＬＣＤの原理）
はじめに、本発明に好適であるＬＣＤの動作原理について概略を説明する。ＬＣＤは大別して、アクティブマトリクス型と単純マトリクス型がある。以下の実施形態では、現在ＴＶセットやＰＣモニタ等で広く採用されているアクティブマトリクス型について説明する。ただし、本発明は単純マトリクス型のＬＣＤにおいても同様に適用できる。
【００１２】
図４はアクティブマトリクス型のＬＣＤ（ＡＭ−ＬＣＤ）の液晶パネルの一部の構成を模式的に示している。図４において、１０１はソース配線、１０２はゲート配線、１０３は表示素子毎に形成されている薄膜トランジスタ、１０４は表示素子毎に形成されているコンデンサ、１０５は表示素子毎に形成されている液晶である。矢印１０６、１０７はコンデンサ１０４と液晶１０５の電極からの配線を示し、これらの配線１０６、１０７は不図示の対向電極に共通に接続されている。図４においてソース配線１０１とゲート配線１０２の数は、要求される表示装置の画素数に対応する。ここでは説明を簡単にするため、一例として、２４０×３２０画素の表示装置の例を説明する。２４０×３２０画素の表示装置では、ソース配線１０１の数は９６０本（３２０×３（ＲＧＢ））、ゲート配線１０２の数は２４０本となる。
【００１３】
次に、図４で示したＡＭ−ＬＣＤの動作を図５のタイミング図を使用して説明する。図５において、横軸は時間、縦軸は電圧あるいは発光強度を模式的に示している。図５においてＧ１、Ｇ２、・・・Ｇ２４０の波形はゲート配線１０２に印加する電圧であり、液晶１０５に印加する電圧を走査するための信号である。図５においてＳ１、・・・Ｓ９６０の波形はソース配線１０１に印加する電圧である。ゲート配線１０２に印加する電圧が例えば＋１０Ｖの場合に表示素子毎に形成されている薄膜トランジスタ１０３のチャンネルが導通し、ソース配線１０１の電圧が対応する表示素子のコンデンサ１０４及び液晶１０
５に印加される。ゲート配線１０２に印加する電圧が、例えば＋１０Ｖから−１０Ｖに変化すると、薄膜トランジスタ１０３のチャンネルは非導通状態となり、コンデンサ１０４及び液晶１０５の電圧は保持される。ゲート配線１０２に印加する電圧を例えば表示画面の上から順次下方向に走査し、対応するソース配線１０１の電圧を所望の電圧に制御する。これによって、対応するソース配線１０１の電圧と対向電極の電圧の差であるところの電圧が、対応する表示素子毎に形成されているコンデンサ１０４及び液晶１０５に充電され、保持される。所望の電圧が印加された液晶１０５（及び不図示の偏光板）は液晶の応答時間後に透過率が確定する。そしてバックライトにより発せられた光の輝度が、表示素子毎に確定した液晶１０５（及び不図示の偏光板）の透過率によって変調され、画像が形成される。
【００１４】
バックライトは常時点灯させることもできるが、図５のＢＬの波形に示したように、液晶１０５の応答時間後から次フィールドのゲート配線１０２にゲート電圧を印加するまでの間のみ点灯させることが好ましい。これにより、液晶１０５（及び不図示の偏光板）の透過率が確定していない時間の表示を行わないことができるので、画質が向上する。
【００１５】
また、液晶自体に直流電圧を印加し続けると液晶物質は劣化、焼き付きが発生する。この劣化、焼き付きを避けるために、液晶に加わる電圧の極性を周期的に反転する駆動を行っている。図５において、Ａで示されているフィールドでは、ソース配線１０１の電圧は−５Ｖから＋５Ｖ、対向電極の電圧は−５Ｖとし、Ｂで示されているフィールドでは、ソース配線１０１の電圧は＋５Ｖから−５Ｖ、対向電極の電圧は＋５Ｖとしている。これにより、液晶にかかる電圧がフィールドごとに反転する。反転駆動の方法には、ライン単位、ドット単位があるが、本発明の本質的な構成に影響ないので詳細の説明は省略する。
【００１６】
（バックライト）
図５のＢＬの波形に示したように、液晶１０５の応答時間後から次フィールドのゲート配線１０２にゲート電圧を印加するまでの間のみ点灯すると、液晶１０５（及び不図示の偏光板）の透過率が確定していない時間に表示が行われないため、画質が向上する。表示素子数の少ない表示装置では、１フィールド期間に対して走査時間は短いので、このようなバックライトの制御が可能である。しかしながら、表示素子数が多い表示装置では走査時間が長く必要でありバックライト発光時間が短くなり、図５のバックライトの制御方式では表示装置の輝度が小さくなる。
【００１７】
図６（ａ）、図６（ｂ）を使用して、更に説明を補足する。図６（ａ）、図６（ｂ）において、横軸は時間、縦軸はゲート配線を意味する。２０１の太線はゲート配線に選択電位を印加する時刻を示している。２０２の斜線ハッチで示した部分は液晶の応答時間、２０３の縦線ハッチ部分はバックライトの発光時間を示す。２０４の点線はバックライトの光源の発光強度で加重された発光時間の時間重心（時間軸方向の中心）を示す。
【００１８】
図６（ａ）は、図５と同じ数の表示素子（ゲート配線数）の表示装置である。一方、図６（ｂ）は例えばフルハイビジョンの表示素子数を持つ表示装置の例であり、ゲート配線の数が１０８０本あり、全てのゲート配線に選択電位を与えるのに必要な走査時間は非常に長いものとなる。そのため、２０３で示したバックライトの発光時間が短くなり、輝度が小さくなる。バックライトの発光時間が短くなり、輝度が小さくなることへの対策として、図６（ｃ）で示す方法が行われる。図６（ｃ）において、２０１〜２０３で示す意味は前述したとおりである。２０４ａの点線はバックライトの光源の発光強度で加重された発光時間の時間重心を示している。
【００１９】
図６（ｃ）のタイミング図で示した駆動を行うＬＣＤでは、不図示ではあるが、バックライトを走査方向（上下方向）に１０のブロックに分割しそれぞれ発光時間の制御が可能
な構成になっている。そして、１０のブロックについてそれぞれ必要な液晶の応答時間経過後にバックライトを個別に点灯制御する。図６（ｃ）に示したように、ブロック毎に液晶の応答時間経過後にバックライトの点灯を開始し、次のフィールドの走査期間直前に消灯することによって、バックライトの発光時間を図６（ｂ）に比べ長くすることができる。バックライトの光源の発光強度で加重された発光時間の時間重心２０４ａはブロック毎に異なっている。
【００２０】
（ホールドボケ）
ＡＭ−ＬＣＤで問題となるホールドボケについて説明する。ホールドボケは、画面上の動く対象物を追従視した場合に発生する。追従視とは、対象物の動きに対して視線を追従させながら、動く対象物を観測することをいう。
【００２１】
ＣＲＴ、線順次駆動のＦＥＤやＳＥＤ（Surface-conduction Electron-emitter Display）を初めとするインパルス型ディスプレイでは、各フレーム（又はフィールド）におけ
る表示時間（発光時間）が非常に短い。そのため、動く対象物を追従視した場合でもボケは発生しない。
これに対し、ＡＭ−ＬＣＤを初めとするホールド型ディスプレイでは、１フレームのあいだ発光強度が保持されるため、動く対象物を追従視した場合に、対象物が移動方向に広がって網膜上に結像される。これがホールドボケとなって観測される。ホールドボケは、動く対象物を追従視した場合、ホールド型ディスプレイでは必ず発生する。このホールドボケを回避するためには、ホールド型ディスプレイで動く対象物を表示する際、バックライトの発光時間を短く制御して、インパルス型ディスプレイのように表示することが好ましい。
【００２２】
一方、動く対象物を明らかに追従視できない映像の場合は、インパルス型ディスプレイでは、観測者は対象物の動きの連続性を視覚的に感じられなくなり、対象物がランダムな位置に現れては消えるような不自然な表示に見える（ランダム感）。同様の映像をホールド型ディスプレイに表示すると、対象物の動きがボケるために、そのような不自然さの少ない映像を観測できる。追従視が困難な映像としては、例えば、滝や噴水の映像がある。滝や噴水の水滴は多くの方向に色々な速度で飛散するので追従視が不可能である。また、１つ又は少ない数の対象物であっても、様々な方向・速度で動いている場合には、動きを予測することができず、追従視が困難である。
【００２３】
（バックライトの発光時間の制御）
次に、本実施形態の画像表示装置の特徴的な構成の一つである、バックライトの発光時間の制御について説明する。本実施形態では、表示する映像の質（追従視しやすい動きか否か）によってバックライトの表示時間を変化させる。さらにこのとき、観測者が感じる明るさ（輝度）が変わらないように、表示時間の長さに応じてバックライトの発光強度を変更する。
【００２４】
図７に発光時間と発光強度の関係を示すタイミング図を示す。図７において、２０１はゲート配線の選択電位、２０２の斜線ハッチ部分で示した部分は液晶の応答時間、２０３の縦線ハッチ部分はバックライトの発光時間、２０４の点線はバックライトの光源の発光強度で加重された発光時間の時間重心を示す。２０３、２０３ａ、２０３ｂ、２０３ｃの縦軸は発光強度を示す。なお、２０３、２０３ａ、２０３ｂ、２０３ｃは、異なるフレームにおける発光時間であるが、図７では比較のためにこれらを同一の時間軸に並べて示している。
【００２５】
図７に示したように、本実施形態では、発光時間の長さにより輝度（観測者が感じる明るさ）が変わらないように光源の発光強度を制御する。すなわち、発光時間が長い場合（
２０３ａ）は発光強度を下げ、発光時間が短い場合（２０３ｃ）は発光強度を上げ、輝度が発光時間によって変化しないように制御する。発光強度と輝度が比例すると仮定した場合は、発光強度の時間積分（図７の２０３ａ、２０３ｂ、２０３ｃの波形の面積）が等しくなるように、発光強度を制御すればよい。
【００２６】
また、発光時間については、バックライトの光源の発光強度で加重された発光時間の時間重心２０４の位置（タイミング）がフレーム間で変わらないように、制御する。図７のように発光時間内における発光強度が一定の場合は、単純に、発光時間の中心が変わらないように、発光開始と発光終了のタイミングを決定すればよい。時間重心２０４を変えない理由は、以下のとおりである。フレーム毎に時間重心２０４が変わるということは、フレームの表示（発光）間隔が不均等になることと等価である。例えば、対象物が等速度で移動する映像の各フレームを不均等な間隔で表示した場合、対象物の動きが不自然に見えたり、動きボケが観測される。これは、観測者の視線の移動（予測位置）と対象物の表示位置とがずれる結果、観測者の網膜上の結像位置がばらつくために生じる問題である。そこで、図７のように、時間重心２０４が変わらないように（つまり、全てのフレームで時間重心２０４が同じになるように）発光時間を制御することで、動きの不自然さやボケの発生を抑制できる。
【００２７】
（撮像時のボケ）
次に撮像時のボケについて説明する。撮像時のボケは撮像素子の撮像時間内で被写体である対象物が動いた場合に発生するものであり、モーションブラー（動きぶれ）ともよばれる。撮像時のボケを少なくするためには、撮像板の電子シャッタを制御し、フレーム時間より短い撮像時間で対象物を撮像する方法がある。
このような電子シャッタを用い短い撮像時間で撮影した対象物をインパルス型ディスプレイで観測すると、追従視できる対象物はボケが発生することなくはっきり見ることができる。
【００２８】
一方、追従視の困難な対象物を短い撮像時間で撮影した映像をインパルス型ディスプレイで表示すると、ランダム感が発生する。この問題に対しては、本発明者の検討により、撮像時間を長く設定し、わざと撮像時のボケを加えて撮像することによってランダム感を除去できることがわかった。また、追従視の困難な対象物を短い撮像時間で撮影した場合でも、信号処理によって撮像時のボケに相当する低周波成分を映像信号自体に加えたり、ホールドボケが生じる表示を行うことによってランダム感を低減できることがわかった。
【００２９】
（フリッカ）
フリッカは、表示フレームレートが低い場合に、インパルス型ディスプレイで問題となることが多い。同じフレームレートであっても、ホールド型ディスプレイは時間方向の輝度変化が少ないためフリッカによる妨害感がインパルス型ディスプレイより小さい。ただし、ホールド型ディスプレイであっても、バックライトの発光時間を短くし、連続するフレーム間に非発光時間を設けた場合にはフリッカが発生するおそれがある。
【００３０】
＜第１の実施形態＞
本実施形態は、ホールド型ディスプレイであるＡＭ−ＬＣＤのバックライト及び映像信号を最適に制御することによって、前述したホールドボケ、フリッカの妨害感等を少なくすると共に、追従視の困難な映像におけるランダム感の発生を抑制する方法を示す。具体的には、本実施形態の画像表示装置では、追従視の容易な映像の場合は、発光時間を短くかつ発光強度を大きくし、追従視の困難な映像の場合は、発光時間を長くかつ発光強度を小さくするように、バックライトを制御する。
【００３１】
本発明の第１の実施形態の画像表示装置の主要部分のブロック図を図１に示す。
図１において、１は、例えば図４で示した液晶パネル、２は液晶パネル１の後方に設置された例えば発光ダイオード（ＬＥＤ）を光源とするバックライトを示す。３は映像入力端子、４は映像信号を解析して映像の動きを検出する動き検出部である。８は観測者が追従視すると期待できる主要対象物の動きを算出する主要対象物動き算出部である。５は所用対象物動き算出部８の出力を元にバックライト２の発光時間及び発光強度を算出する発光時間算出部、６は発光時間算出部５の出力にしたがってＬＥＤの発光時間及び発光強度を制御するバックライト制御部である。本実施形態では、動き検出部４、主要対象物動き算出部８、発光時間算出部５、及びバックライト制御部６によって、バックライト２の発光を制御する制御部が構成されている。７は、動き検出部４、主要対象物動き算出部８、及び発光時間算出部５の処理に相当する時間分、映像信号を遅延するフレーム遅延部である。９０は被写体である対象物、９１は対象物を撮像するビデオカメラである。
【００３２】
図１の構成において、対象物９０を撮像したビデオカメラ９１の映像出力は、画像表示装置の映像入力端子３に入力される。映像入力端子３に入力された映像信号は、動き検出部４で１フレーム単位の動きベクトルが計算される。
【００３３】
動き検出部４は、例えば以下のように、映像上の複数のエリア（動きベクトル検出エリア）における局所的な動きベクトルの計算処理を行う。現在入力されているフレーム（現フレーム）と１つ前のフレーム（前フレーム）にそれぞれ動きベクトル検出単位エリアを設定する。前フレームの動きベクトル検出単位エリアを所定の探索範囲内で移動させながら、前フレームの映像と現フレームの映像との相関値を求める。そして、相関値が高い移動量を、その動きベクトル検出単位エリアの動きベクトルに決定する。この処理を、現フレーム上の複数の動きベクトル検出単位エリアごとに行う。動きベクトルは１フレーム時間で動きベクトル検出単位エリアがどのように動いたかを示す距離として、（ｘ，ｙ）座標で表現される。
【００３４】
動きベクトル検出単位エリアの大きさはどのように設定してもよい。エリアを細かくすると動きベクトルの検出精度は上がるが、計算量が増加するとともに、ハードウエア（回路）のコスト上昇という問題が生じることがある。そこで通常、数十×数十から数百×数百程度の動きベクトル検出単位エリアに映像を分割するのが好ましい。動き検出部４の動きベクトルの計算量を削減するために、あらかじめ画素を間引くか平均化することで画素数を少なくしてから計算すると好適である。
【００３５】
主要対象物動き算出部８は、動き検出部４で算出されたエリア毎の局所的な動きベクトルから、映像全体の代表的な動きベクトルを算出する。このとき、観測者が追従視すると期待できる映像中の対象物（主要対象物）の動きベクトルを、代表的な動きベクトルとして算出することが好ましい。主要対象物の動きベクトルは例えば以下の方法により算出することができる。
【００３６】
第１の方法は、主要対象物動き算出部８が、動き検出部４で算出された局所的な動きベクトルの映像全体の平均を算出し、その平均値を主要対象物の動きベクトルとして出力する方法である。カメラをパンしたときのように、映像全体が同じ方向に同じ速度で移動している場合に、追従視の動きと、主要対象物動き算出部８から出力される動きベクトルとは良く合致する。第１の方法は、処理内容が単純であるとともに、ハードウエア化が容易であるという利点がある。
【００３７】
第２の方法は、主要対象物動き算出部８が、予め設定された閾値以上の大きさをもつ局所的な動きベクトルのみの平均を算出し、その平均値を主要対象物の動きベクトルとして出力する方法である。ここで用いる閾値ＴＨ１は、映像のサイズ（解像度）やフレームレート、動き検出単位エリアの大きさなどに応じて適宜設定すればよく、例えば、数画素か
ら十数画素程度に設定することができる。第２の方法も、第１の方法と同様、カメラをパンしたときのような映像に対して有効である。さらに第２の方法は、背景が静止若しくは殆ど動いておらず、対象物のみが動いているような映像の場合に、当該対象物の動きベクトルを第１の方法よりも正確に算出できるという利点がある。なお、第２の方法も、処理内容が比較的単純であり、ハードウエア化が容易である。
【００３８】
第３の方法は、最も好適な算出方法である。例えば、映像中の主要対象物（観察者が追従視する対象物）があまり大きくなく、背景部分にも動く対象物が存在しているような映像を考える。背景部分の動きが小さい場合は、第２の方法でも主要対象物の動きベクトルを精度良く算出することができる。しかし、背景部分に動く対象物が多数含まれていたり、背景部分の対象物が大きく動いたり、ランダムな方向に動いていたりすると、主要対象物の動きベクトルの算出結果の誤差が大きくなる可能性がある。
そこで第３の方法では、同一又は類似の局所的な動きベクトルを有し、かつ、エリアの合計面積が閾値ＴＨ２以上となる、隣接した複数の動き検出単位エリアを、主要対象物として選択する。このとき、第２の方法と同じように、閾値ＴＨ１より小さい動きベクトルのエリアは除いて考えるとよい。複数の主要対象物候補が検出された場合には、それらの中で動きの最も大きいものを主要対象物に選べばよい。閾値ＴＨ２は、映像のサイズ（解像度）やフレームレート、動き検出単位エリアの大きさなどに応じて適宜設定すればよく、例えば、映像全体の面積の数％から十数％程度に設定することができる。なお、同一の動きベクトルとは、方向及び大きさがともに一致する動きベクトルをいい、類似の動きベクトルとは、方向の差及び大きさの差がともに非常に小さい動きベクトルをいう。例えば、方向の差が閾値ＴＨ３（例えば、数度から十数度程度）より小さく、かつ、大きさの差が閾値ＴＨ４（例えば、数画素から十数画素程度）より小さい場合に、類似の動きベクトルと判断すればよい。
【００３９】
主要対象物動き算出部８は、上記の方法で主要対象物に対応するエリアを選択した後、選択したエリアの局所的な動きベクトルの平均を算出し、その平均値を主要対象物の動きベクトルとして出力する。これにより、主要対象物の動きベクトルを精度良く求めることができる。
【００４０】
図８を参照して、第３の方法のアルゴリズムを具体的に説明する。図８において、各矩形領域８０１は動きベクトル検出単位エリアであり、この例では縦５×横８の４０個の動きベクトル検出単位エリア８０１が示されている。８０２は、動きベクトル検出単位エリア８０１毎に算出された局所的な動きベクトルを模式的に示す矢印である。なお黒丸は、大きさゼロの動きベクトルを表す。斜線でハッチングした領域８０３が、主要対象物動き算出部８によって、同一又は類似の動きベクトルを有する隣接した複数の動きベクトル検出単位エリアと判断された領域である。閾値ＴＨ２が例えば映像全体の面積Ｓの５％に設定されていると仮定する。この場合、主要対象物動き算出部８は、領域８０３の合計面積が０．０５×Ｓ以上であれば、この領域８０３を主要対象物とみなし、領域８０３内の１１個のエリア８０１の動きベクトルを平均したものを主要対象物のベクトルとして出力する。
【００４１】
主要対象物動き算出部８から出力された動きベクトルは、発光時間算出部５に入力される。発光時間算出部５は入力される動きベクトルから、ＬＥＤ等の光源からなるバックライトの発光時間および発光強度を制御するデータを生成し出力する。発光時間算出部５の詳細な動作については後述する。
【００４２】
バックライト制御部６は発光時間算出部５の出力に応じてＬＥＤ等の光源の発光時間および発光強度を制御する。バックライト制御部６は、例えば、演算増幅器を用いた負帰還によりＬＥＤの発光強度をアナログ制御する回路から構成してもよいし、１フレーム時間
より短い周期でＰＷＭ変調をかけて発光強度を制御する回路から構成することもできる。ＰＷＭ制御を行う構成は、アナログ制御に比べ、電力ロスが少ないメリットがある。
【００４３】
バックライト２の構成には、全体の発光時間及び発光強度を一律に制御するタイプと、独立して発光時間及び発光強度を制御可能な複数のブロックに分割されているタイプとがある。本発明にはいずれのタイプのバックライト２を用いてもよい。前者の場合は、図６（ａ）、（ｂ）に示したタイミングで、液晶パネル１及びバックライト２の光源を制御する。後者の場合は、図６（ｃ）に示したように、各ブロックの光源を異なるタイミングで発光させる。ただし、発光開始時刻はブロックごとに異なるが、発光時間及び発光強度は全てのブロックで同じになるように制御される。
【００４４】
図１において、フレーム遅延部７はフレームメモリで構成され、液晶パネル１に出力する映像信号を遅延する。遅延量は、動き検出部４、主要対象物動き算出部８、及び発光時間算出部５の演算時間によるバックライト制御の遅れ時間に合わすと好適である。フレーム遅延部７はフレームメモリが必要なため、ハードウエア量が多く比較的コストが高い。フレーム遅延部７を省いた場合、液晶パネル１の表示とバックライト２の発光とに時間的なずれが生じるが、通常の映像では違和感が少ないため、コストを下げるためフレーム遅延部７を省くことが可能である。液晶パネル１では、入力された映像信号に基づいて、前述したように各画素の透過率が設定される。図示しないが、発光時間算出部５にて算出された発光時間及び発光強度の情報は液晶パネル１にも入力され、必要に応じて液晶パネル１において表示素子の透過率の制御にも利用される。
【００４５】
（バックライトの制御方法）
発光時間算出部５の構成及び動作の説明の前に、本実施形態におけるバックライトの制御のための考え方を示す。
【００４６】
前述したようにインパルス型ディスプレイにおいて、追従視できない対象物については、ランダム感と呼ばれる妨害感が発生する。動きの連続性がなく対象物がランダムに現れたり消えたりするように見えるため、ホールド型ディスプレイで生じるホールドボケよりも不自然な表示となる。
【００４７】
第１の実施形態におけるバックライトの制御方法はこのような不自然な表示を改善するための方法である。すなわち、映像信号から主要対象物の動きの質（追従視の容易な動きか否か）を評価して、追従視できる映像に対してはインパルス型ディスプレイのような駆動（バックライトの発光時間を短くする）を行うことでホールドボケを改善する。一方、追従視が困難な映像に対してはホールド型ディスプレイ本来の駆動（バックライトの発光時間を長くする）を行うことでランダム感の発生を抑制する。また、静止画及び追従視の困難な動きに対しては、バックライトの発光時間を長くすることで、フリッカを少なくすることも可能となる。
【００４８】
次に、追従視可能な対象物の動きについて説明する。本発明者が、追従視できる対象物の動きを観察したところ、テロップの様な等速度で移動している対象物、あるいは、等加速度で移動する対象物については人間の目が良好に追従できることがわかった。
【００４９】
このことから、等速度あるいは等加速度運動する対象物であればバックライトの発光時間を短くし、インパルス型ディスプレイの駆動に近づける。それによって、ホールドボケを防ぐことが可能となる。さらに等速度あるいは等加速度運動する対象物であれば追従視可能なためランダム感が発生しない。その他の動きについては、追従視が難しいので、ランダム感が発生しないようにバックライトの発光時間を長く取り、ホールド型ディスプレイ本来の駆動を行う。これにより、ホールドボケは生じるが、ランダム感の発生を抑制す
ることができる。
【００５０】
（等速度の評価）
初めに、等速度の評価を行う例について記す。
図９（ａ）に等速度運動の評価を説明するためのグラフを示す。図９（ａ）において、縦軸は時刻、横軸はｘ方向の位置を示す。Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１はフレーム毎の時刻を示している。横軸はｘ方向として説明するが、ｘ，ｙ軸の両方の位置を評価すると好適である。図９（ａ）において４０１ａ、４０１ｂ、４０１ｃ、４０１ｄはそれぞれ時刻Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１の時の追従視している視線を模式的に示す。４０２ａ、４０２ｂ、４０２ｃ、４０２ｄは動く対象物であり、おおよそ等速度運動をしている。観測者はフレーム毎に視線を対象物の動きに合わすことはできず、対象物の平均的な動きに追従し等速度に視線を移動させる。すなわち、対象物４０２ｃの様な等速度から外れた対象物については、視線４０１ｃとのずれ（ΔＸ）が発生する。このずれは網膜上でボケとなる。このボケに起因して、インパルス型ディスプレイにおけるランダム感が発生する。
【００５１】
このボケの出具合、すなわち等速度で追従視する視線に対して対象物がどの程度ずれているかの比を「ずれ係数：Ｋ」として、本明細書では定義する。このずれ係数Ｋが小さな値であればランダム感は発生しにくいため、バックライトの発光時間を短くし、インパルス型のディスプレイ近づけたホールドボケのない表示を行う。
【００５２】
前述したように、主要対象物動き算出部８は、観測者が追従視すると期待できる主要対象物が１フレームあたりにどのように動いたかを示す距離を動きベクトル（ｘ，ｙ）として出力する。図９（ａ）で説明した対象物は、主要対象物動き算出部８が算出する主要対象物の動きと考えればよい。
【００５３】
主要対象物動き算出部８からの出力である主要対象物の動きベクトルから得られるｍ番目のフレームにおける１フレームあたりの移動量をＸｍ、観測者の視線の１フレームあたりの平均移動量をＸａｖｅとする。現時刻であるｎ番目のフレームにおけるずれ係数Ｋを、式１）で定義する。
【数１】
2012078589.tif 000003
ずれ係数Ｋは図９（ａ）に示したように、主要対象物の位置と視線の位置の差（ΔＸ）を１フレームあたりの視線の移動距離（Ｘａｖｅ）で割った値で定義する。
【００５４】
ずれ係数Ｋが例えば０であれば、視線の位置と主要対象物の位置がずれていないので、インパルス型ディスプレイのようにバックライトの発光時間を短くしても、ランダム感が生じない。一方、ずれ係数Ｋが０．５以上になると、追従視した時に１フレーム期間に動く距離の半分の距離、主要対象物がずれていることとなり、妨害感が顕著になり始める。そのため、ずれ係数Ｋの値に応じてバックライトの発光時間を制御する。具体的には、ずれ係数Ｋが小さく追従視できる映像信号ではバックライトの発光時間を短く制御して、ホールドボケを少なくする。一方、ずれ係数Ｋが大きく追従視した時にランダム感が生じる可能性がある映像信号では、バックライトの発光時間を長く制御し、ランダム感の発生を抑制する。
【００５５】
ずれ係数Ｋの定義式をより簡略化するために、以下の様な式の変形を行い、ずれ係数を求めても好適である。すなわち式１）は、
【数２】
2012078589.tif 000004
と、変形できる。現時刻ｎより前までは追従視できている（すなわち、視線の位置と主要対象物の位置がずれていない）と仮定する。式で示すと、
【数３】
2012078589.tif 000005
となる。
式２）に式３）を代入し、
K=|Xn-Xave|/|Xave|  ・・・・式４）
が求まる。
式１）あるいは、式２）により、ずれ係数Ｋを求め追従視可能かを判断すると好適である。
【００５６】
次に、１フレームあたりの視線の移動距離（視線の速度）は、現時刻ｎより以前の１フレームあたりの主要対象物の移動距離の平均値であるので、
【数４】
2012078589.tif 000006
と、求めることができる。
【００５７】
本実施形態では式１）または式４）に式５）を代入して、ずれ係数Ｋを計算し、ずれ係数Ｋの大きさによりバックライトの発光時間を決定する。式５）の開始時刻は、例えば、シーンが変わったときを基点として、過去から計算すればよい。
【００５８】
静止している主要対象物の映像信号でＸａｖｅが０の場合、式１）、式４）の分母が０となる。主要対象物が静止しているときは追従視可能であるので、この場合は、式１）、式４）の計算は行わず、Ｋの値として小さな値（例えばＫ＝０）を出力する。
【００５９】
これらの計算は、ソフトウエアで処理する場合は実装が容易であるが、ハードウエア化する場合は、ハードウエアの増加が懸念される。そこで、ハードウエアにより実現する場合は、式５）の計算は、現時刻により重みを付けた計算（巡回型のフィルタ）で視線の移動距離（視線の速度）Ｘａｖｅを計算するとよい。これによりハードウエアの量を削減でき、更に、実際の観測者の追従視の速度に近い値が得られる。時刻ｎのフレームの時の追従視の速度をＸａｖｅｎとすると、Ｘａｖｅｎを求める式は、
Xaven=S1・Xn-1+S2・Xaven-1  ・・・・式６）
ただし、
S1+S2=1      ・・・・式７）
となる。Ｓ１、Ｓ２により、１フレーム前の視線の速度と１フレーム前の主要対象物の速度の重みを変えることができる。通常、Ｓ２がＳ１より大きくなるように、Ｓ１とＳ２を設定すると良い。
【００６０】
さらに、簡便に視線の速度を計算するためには、以下の様な計算を行うと好適である。時刻ｎのフレームにおける視線の速度Ｘａｖｅｎは直前の２フレームにおける主要対象物の速度の平均値から求めると計算量を少なくできる。すなわち、
Xaven=(1/2)・Xn-2+(1/2)・Xn-1  ・・・・式８）
で求める。
さらに、より簡便に視線の速度を計算するために、時刻ｎのフレームにおける視線の速度Ｘａｖｅｎを単に直前の１フレームにおける主要対象物の速度から求めると良い。すなわち、
Xaven=Xn-1    ・・・・式９）
で求める。
式８）、式９）の視線の速度の計算は、誤差が多少大きくなるが、ハードウエアやソフトウエアでの計算量が少なくできる大きな利点がある。
【００６１】
式１）または式４）に式５）または式６）または式８）または式９）を代入して、ずれ係数Ｋを計算し、ずれ係数Ｋの大きさによりバックライトの発光時間を決定し、バックライトの発光時間を制御する。ずれ係数Ｋの値が大きければ、視線と主要対象物のずれが発生するので、発光時間は長く、ずれ係数Ｋの値が小さければ、視線と主要対象物のずれが少ないので、発光時間を短く設定し、ホールドボケを極力小さくする。図１０（ａ）、（ｂ）、（ｃ）にずれ係数Ｋに対する好ましいバックライトの発光時間の関係の一例を示す。いずれの変換方法でも、等速度運動が検出された（ずれ係数Ｋがゼロか十分に小さい）場合は発光時間が最小値Ｔｍｉｎとなり、等速度運動でない動きが検出された（ずれ係数Ｋがある程度大きい）場合は発光時間が最大値Ｔｍａｘとなる。ＴｍｉｎとＴｍａｘの間は等速度運動からのずれ量（ずれ係数Ｋの値）に応じて発光時間が段階的又は連続的に単調増加する。図１０（ａ）の変換テーブルは、ずれ係数Ｋが所定のスレッショルド（例えば０．５）より大きければ第１の発光時間Ｔｍａｘを選択し、ずれ係数Ｋがスレッショルド以下であれば短い第２の発光時間Ｔｍｉｎを選択するというものである。この方法でもランダム感の発生は抑制できるが、発光時間の切り換え時に違和感を生じるおそれがある。そのため、図１０（ｂ）、（ｃ）に示すように、等速度運動からのずれ量に対して連続的に発光時間を変化させる方法がより好適である。なお、図１０（ａ）、（ｂ）、（ｃ）は一例であり、例えば、ＴｍｉｎからＴｍａｘへ複数段階で発光時間を長くしてもよい。
【００６２】
（等速度の評価を行う発光時間算出部）
図１１に、等速度の評価を行う発光時間算出部の構成例を示す。図１１において、５０１は主要対象物動き算出部８の出力である動きベクトルを入力する入力端子である。５１０は追従視速度算出部であり、前述した式５）、式６）、式８）、式９）のいずれかの方法で視線の速度（Ｘａｖｅ）を計算する。５１１はＫ算出部であり、入力された視線の速度（Ｘａｖｅ）と動きベクトルからずれ係数Ｋを算出する。５０８は変換テーブルであり、図１０（ａ）、（ｂ）、（ｃ）に示した特性等がルックアップテーブル形式で記憶されており、ずれ係数Ｋに対して発光時間を出力する。５０９は変換テーブル５０８の出力に対して、時間方向の高域成分をカットするローパスフィルタである。
【００６３】
５０４はローパスフィルタ５０９の出力である発光時間から発光タイミングを生成するタイミング生成部、５０５はローパスフィルタ５０９の出力である発光時間から図７で示したように発光強度を決定する発光強度計算部である。５０６はバックライト制御部６に発光時間を出力する出力端子、５０７はバックライト制御部６に発光強度を示す電圧を出力する出力端子、である。
【００６４】
変換テーブル５０８の出力である発光時間データは、直接タイミング生成部５０４、発光強度計算部５０５に入力しても良いが、より好ましくは図１１に示したようにローパスフィルタ５０９に入力する。ローパスフィルタ５０９を付けることによって、時間方向の発光時間の変化が緩やかになるため、時間的な発光時間の長さの変化による違和感が少なくなるからである。
【００６５】
図１１において、追従視速度検出部５１０は主要対象物の追従視速度を式５）または式
６）または式８）または式９）のいずれかの方法でフレーム単位の動きベクトル（ｘ，ｙ）として出力する。Ｋ計算部５１１は、追従視速度検出部５１０の出力である追従視速度と主要対象物の動きベクトルから、ずれ係数Ｋを算出する。そして変換テーブル５０８によりずれ係数Ｋが発光時間に変換される。
【００６６】
変換テーブル５０８の出力である発光時間は、ローパスフィルタ５０９を介してタイミング生成部５０４に入力される。タイミング生成部５０４は、時間重心２０４がずれないように発光開始タイミングを決定し、発光開始及び終了のタイミング信号を出力端子５０６から出力する。さらに発光時間の長さによらず輝度が変わらないように、発光強度計算部５０５は発光強度を算出する。発光強度計算部５０５は例えば、メモリ等で実現されるテーブルで構成すると好適である。算出された発光強度は不図示のＤ／Ａコンバータにより電圧に変換して出力される。
【００６７】
また、図６（ｃ）で示した構成のＬＣＤにおいては、タイミング生成部５０４は、バックライト２の複数のブロックのそれぞれについて発光開始タイミングを決定し、各ブロックのタイミング信号を出力端子５０６から出力する。本実施形態では、全てのブロックの発光時間が同じになるように制御される。さらに発光時間の長さによらず輝度が変わらないように、発光強度計算部５０５が発光強度を算出する。
【００６８】
説明をわかりやすくするために、Ｘ方向のずれ係数のみ説明したが、Ｙ方向についても同様な評価を行うことが好ましい。Ｘ方向とＹ方向の評価を行うときは両方向のずれ係数がゼロ若しくは十分小さい場合に限って発光時間を短くすると好適である。例えば、Ｘ、Ｙ方向でそれぞれ発光時間を求めた後、Ｘ、Ｙ方向で算出された発光時間のうち、より長い発光時間を選択してバックライトの制御に用いるのが好適であった。実際には図１１において、変換テーブル５０８までは、Ｘ、Ｙの２系統で処理し、変換テーブル５０８の出力である発光時間の大小を比較し、より大きな値をローパスフィルタ５０９に入力し、以降の処理は１系統で行うと良い。
【００６９】
また、式１）、式４）で求めるずれ係数Ｋは、Ｘａｖｅが０の時、０となるように決めた。しかし、Ｘ方向、Ｙ方向の追従視の速度（Ｘａｖｅ、Ｙａｖｅ）両方が０の場合、静止していることに他ならないので、発光時間が長くともホールドボケは発生しないのは明白である。この場合は、フリッカを低減するために発光時間を長くすると好適である。実際は、Ｘａｖｅ＋Ｙａｖｅの値を計算し閾値以下であれば静止していると判断し、変換テーブル５０８の出力である発光時間を強制的に最大値にすると良い。
【００７０】
（等加速度の評価）
次に等加速度の評価を行う例について記す。
【００７１】
図９（ｂ）に等加速度運動の評価を説明するためのグラフを示す。図９（ｂ）において、縦軸は時刻、横軸はｘ方向の速度を示す。Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１はフレーム毎の時刻を示している。横軸はｘ方向の速度として説明するが、ｘ，ｙ軸の両方の速度を評価すると好適である。図９（ｂ）において４０１ａ、４０１ｂ、４０１ｃ、４０１ｄはそれぞれ時刻Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１の時の追従視している視線を模式的に示す。４０２ａ、４０２ｂ、４０２ｃ、４０２ｄは動く対象物であり、おおよそ等加速度運動をしている。観測者はフレーム毎に視線を対象物の動きに合わすことはできず、対象物の平均的な動きに追従し等加速度で視線を移動させる。すなわち、対象物４０２ｃの様な等加速度から外れた対象物については、視線４０１ｃとの速度のずれ（ΔＶ）が発生する。この速度のずれ（ΔＶ）は等加速度で追従視している観測者にとって網膜上でボケとなる。このボケに起因して、インパルス型ディスプレイにおけるランダム感が発生する。
【００７２】
このボケの出具合、すなわち等加速度で追従視する視線に対して対象物の加速度がどの程度ずれているかの比を「ずれ係数：Ｌ」として、本明細書では定義する。このずれ係数Ｌが小さな値であればランダム感は発生しにくいため、バックライトの発光時間を短くし、インパルス型のディスプレイ近づけたホールドボケのない表示を行う。
【００７３】
前述したように、主要対象物動き算出部８は、観測者が追従視すると期待できる主要対象物が１フレームあたりにどのように動いたかを示す距離を動きベクトル（ｘ，ｙ）として出力する。図９（ａ）で説明した対象物は、以降の説明では主要対象物動き算出部８が算出する主要対象物と置き換えて考えればよい。
【００７４】
Ａｎをｎ番目のフレームにおける主要対象物の加速度、Ａａｖｅを主要対象物の平均加速度（すなわち観測者が追従視する視線の平均加速度）とすると、ずれ係数Ｌを式１０）で定義する。
L=|An-Aave|/|Aave|    ・・・・式１０）
すなわち、ずれ係数Lは、現時刻における加速度と観測者の視線の平均加速度の差の、
視線の平均加速度に対する比である。この比が０であれば、観測者の視線の動きと主要対象物の動きが同じであるので、インパルス型ディスプレイのようにバックライトの発光時間を短くしても、ランダム感が生じない。一方、ずれ係数Ｌが０．５以上になると、追従視した時に１フレーム期間に変化する速度の半分の速度に当たる距離、主要対象物がずれていることなり、妨害感が顕著になり始める。そのため、ずれ係数Ｌの値によりバックライトの発光時間を制御する。具体的には、ずれ係数Ｌが小さく追従視できる映像信号ではバックライトの発光時間を短く制御し、ホールドボケを少なくする。一方、ずれ係数Ｌが大きく追従視した時にランダム感が生じる可能性がある映像信号では、バックライトの発光時間を長く制御し、ランダム感の発生を抑制する。
【００７５】
主要対象物動き算出部８から出力される動きベクトルは、１フレーム時間当たりの移動量、すなわち速度であるから、現時刻の加速度は主要対象物動き算出部８の出力の差で求めることができる。式１０）は、
L=|{Xn-Xn-1}-Aave|/|Aave|    ・・・・式１１）
となる。
平均加速度は、
【数５】
2012078589.tif 000007
でもとめることができる。
【００７６】
式１１）に式１２）を代入して、ずれ係数Ｌを計算し、ずれ係数Ｌの大きさによりバックライトの発光時間を決定する。式１２）の開始時刻は、例えば、シーンが変わったときを基点として、過去から計算すればよい。
等速度運動している主要対象物の映像信号ではＡａｖｅが０となり、式１０）、式１１）の分母が０となる。主要対象物が等速度運動しているときは観測者は追従視可能であるので、この場合は、式１０）、式１１）の計算は行わず、Ｌの値として小さな値（例えばＬ＝０）を出力する。
【００７７】
これらの計算は、ソフトウエアで処理する場合は実装が容易であるが、ハードウエア化する場合は、ハードウエアの増加が懸念される。そこで、ハードウエアにより実現する場合は、式１２）の計算は、現時刻により重みを付けた計算（巡回型のフィルタ）で視線の平均加速度Ａａｖｅを計算するとよい。これによりハードウエアの量を削減でき、更に、
実際の観測者の追従視の加速度に近い値が得られる。時刻ｎのフレームの時の追従視の加速度をＡａｖｅｎとすると、Ａａｖｅｎを求める式は、
Aaven=S1・(Xn-1-Xn-2)+S2・Aaven-1  ・・・・式１３）
ただし、
S1+S2=1      ・・・・式１４）
となる。Ｓ１、Ｓ２により、１フレーム前の視線の加速度と１フレーム前の主要対象物の加速度の重みを変えることができる。通常、Ｓ２がＳ１より大きくなるように、Ｓ１とＳ２を設定すると良い。
【００７８】
さらに、簡便に視線の加速度を計算するためには、以下の様な計算を行うと好適である。時刻ｎのフレームにおける視線の加速度Ａａｖｅｎは直前の２フレームにおける主要対象物の加速度の平均値から求めても良い。すなわち、
Aaven={(Xn-2-Xn-3)+(Xn-1-Xn-2)}/2    ・・・・式１５）
で求める。
【００７９】
さらに、より簡便に追従視の加速度を計算するためには、時刻nのフレームにおける追
従視の加速度Ａａｖｅｎを単に直前の２フレームにおける主要対象物の加速度から求めても良い。すなわち、
Aaven=(Xn-1-Xn-2)    ・・・・式１６）
で求める。
式１５）、式１６）で求めた視線の加速度の計算は、誤差が多少大きくなるが、ハードウエアやソフトウエアでの計算量が少なくできる大きな利点がある。
【００８０】
式１１）に式１２）または式１３）または式１５）または式１６）を代入して、ずれ係数Ｌを計算し、ずれ係数Ｌの大きさによりバックライトの発光時間を制御する。ずれ係数Ｌの値が大きければ、視線と主要対象物のずれが発生するので、発光時間は長く、ずれ係数Ｌの値が小さければ、視線と主要対象物のずれが少ないので、発光時間を短く設定し、ホールドボケを極力小さくする。図１２（ａ）、（ｂ）、（ｃ）にずれ係数Ｌに対する好ましいバックライトの発光時間の関係の一例を示す。いずれの変換方法でも、等加速度運動が検出された（ずれ係数Ｌがゼロか十分に小さい）場合は発光時間が最小値Ｔｍｉｎとなり、等加速度運動でない運動が検出された（ずれ係数Ｌがある程度大きい）場合は発光時間が最大値Ｔｍａｘとなる。ＴｍｉｎとＴｍａｘの間は等速度運動からのずれ量（ずれ係数Ｌの値）に応じて発光時間が段階的又は連続的に単調増加する。図１２（ａ）の変換テーブルは、ずれ係数Ｌが所定のスレッショルド（例えば０．５）より大きければ第１の発光時間Ｔｍａｘを選択し、ずれ係数Ｋがスレッショルド以下であれば短い第２の発光時間Ｔｍｉｎを選択するというものである。この方法でもランダム感の発生は抑制できるが、発光時間の切り換え時に違和感を生じるおそれがある。そのため、図１２（ｂ）、（ｃ）に示すように、等加速度運動からのずれ量に対して連続的に発光時間を変化させる方法がより好適である。なお、図１２（ａ）、（ｂ）、（ｃ）は一例であり、例えば、ＴｍｉｎからＴｍａｘへ複数段階で発光時間を長くしてもよい。
【００８１】
（等加速度の評価を行う発光時間算出部）
図１３に、等加速度の評価を行う発光時間算出部の構成例を示す。図１３において、図１１と同様の構成ブロックについては説明を省略する。図１３において、５１２は追従視加速度算出部であり、前述した式１２）、式１３）、式１５）、式１６）のいずれかの方法で視線の加速度（Ａａｖｅ）を計算する。５１３はＬ算出部であり、入力された視線の加速度（Ａａｖｅ）と動きベクトルからずれ係数Ｌを算出する。５０８は変換テーブルであり、図１２（ａ）、（ｂ）、（ｃ）に示した特性等がルックアップテーブル形式で記憶されており、ずれ係数Ｌに対して発光時間を出力する。ローパスフィルタ５０９、タイミング生成部５０４、発光強度計算部５０５の構成及び処理内容は図１１のものと同じであ
る。
【００８２】
説明をわかりやすくするために、Ｘ方向のずれ係数のみ説明したが、Ｙ方向についても同様な評価を行うことが好ましい。Ｘ方向とＹ方向の評価を行うときは両方向のずれ係数がゼロ若しくは十分小さい場合に限って発光時間を短くすると好適である。例えば、Ｘ、Ｙ方向でそれぞれ発光時間を求めた後、Ｘ、Ｙ方向で算出された発光時間のうち、より長い発光時間を選択してバックライトの制御に用いるのが好適であった。実際には図１３において、変換テーブル５０８までは、Ｘ、Ｙの２系統で処理し、変換テーブル５０８の出力である発光時間の大小を比較し、より大きな値をローパスフィルタ５０９に入力し、以降の処理は１系統で行うと良い。
【００８３】
以上、等速度の評価と等加速度の評価により、バックライト２の発光時間を決定する方法について説明した。これらの発光時間の決定法は単独で行っても効果がある。また２つの方法を組み合わせて行っても良好な効果が得られる。両方の方法を組み合わせる場合各々独立に発光時間を算出し、算出された発光時間のうち長いほうの発光時間を使用してバックライト２を制御すると好適である。また、等速度の評価と等加速度の評価については、等速度の評価によるバックライトの発光時間の制御による効果が、等加速度の評価によるバックライトの発光時間の制御による効果より大きいので、等速度の評価のみを行っても好適である。
【００８４】
（第１の実施形態の利点）
第１の実施形態によれば、映像信号に基づいて主要対象物の追従視のしやすさを評価し、追従視の容易な映像信号では、バックライトの発光時間を短くしてインパルス型ディスプレイのような表示を行うことで、ホールドボケの少ない高品質な動画再生が実現できる。一方、追従視の困難な映像信号では、バックライトの発光時間を長くしてあえてホールドボケを発生させることで、ランダム感と呼ばれる妨害感の発生を防ぐことができる。また、静止している映像については、追従視可能であるが発光時間を長く設定するので、フリッカの発生を抑制できる。
【００８５】
また本実施形態では、発光時間の長さによらず輝度が一定になるように、発光時間の長さに応じて発光強度を制御するので、発光時間の変動に起因する時間方向の輝度のばらつきを低減することができる。また本実施形態では、発光時間の長さによらず、その時間重心が予め定められた位置から変わらないように、発光開始及び発光終了のタイミングが制御される。これにより、フレームの表示間隔（発光間隔）を見かけ上均等にでき、対象物の動きが不自然になったりボケたりすることを防止できる。
【００８６】
＜第２の実施形態＞
次に本発明の第２の実施形態について説明する。ビデオカメラの撮像時間が長い場合（シャッタースピードが遅い場合）、前述のように撮像時のボケが発生する。撮像時のボケを含む映像信号を表示する場合、たとえバックライトの発光時間を短くしても、撮像時のボケは改善されない。第２の実施形態では、撮像時のボケを改善するための方法を提案する。
【００８７】
第２の実施形態の画像表示装置も、第１の実施形態の画像表示装置同様に映像の動きの質（追従視のしやすさ）を評価してバックライトの発光時間を決定する。すなわち、主要対象物の動きが追従視の容易な動きである映像信号に対しては発光時間を短く制御し、ホールドボケを少なくする。また主要対象物の動きが追従視の困難な動きである映像信号に対しては発光時間を長く制御し、ランダム感の発生を防止する。第２の実施形態では更に、動き検出部４の出力である動きベクトルの方向に関して、映像信号に高域強調処理を施す。その結果、動いている対象物の撮像時のボケが改善されるため、ホールドボケと撮像
時のボケの両方を低減できる。
【００８８】
本発明の第２の実施形態の駆動回路の主要部分のブロック図を図２に示す。図２において第１の実施形態の図１と同じ番号の説明は省略する。図２において、１１は動き方向高域強調フィルタ（ボケ低減部）、１２はビデオ制御部、１３はスイッチであり、他の部分は第１の実施形態の図１の構成と同じ動作を行う。
【００８９】
動き検出部４は動きベクトル検出単位エリア毎に局所的な動きベクトルを算出する。局所的な動きベクトルは主要対象物動き算出部８に入力される。主要対象物動き算出部８は、第１の実施形態と同様、局所的な動きベクトルから代表的な動きベクトル（主要対象物の動きベクトル）を算出し、発光時間算出部５に出力する。そして前述したように、発光時間算出部５は等速度又は等加速度の動きが検出された映像信号の発光時間を短く制御する。ビデオ制御部１２は発光時間算出部５で算出された発光時間によってスイッチ１３を制御し、発光時間が短い場合は信号Ｖ２、発光時間が長い場合は信号Ｖ１に切り換える。入力端子３に入力される映像信号はフレーム遅延部７により必要な時間遅延される。また、入力端子３に入力される映像信号は動き方向高域強調フィルタ１１に入力され、動き検出部４の出力である動きベクトルを元に、動き方向に関する高域強調処理がかけられる。このフィルタ処理により撮像時のボケが低減される。動き方向高域強調フィルタ１１の処理は動きベクトルの大きさ及び方向によりフィルタの特性を制御すると好適である。すなわち動きベクトルの方向に応じた空間フィルタを選択し、動きベクトルの大きさに従って当該フィルタの高域の空間周波数の持ち上げ方を変化させると好適である。動きベクトルが大きな場合、撮像時のボケが大きいので、動き方向高域強調フィルタ１１はより低い周波数から強調を行うと良い。動き方向高域強調フィルタ１１はフレーム遅延部７同等の遅延時間を持つと好適である。なお、本実施形態では対象物の動きの方向に応じて適用するフィルタを変えているが、動きの方向にかかわらず同じフィルタ（方向依存性をもたないフィルタ）を用いる構成でも良い。
【００９０】
スイッチ１３はバックライトの発光時間に応じて信号Ｖ１、信号Ｖ２を切り換える。追従視の容易な動きが検出された場合（短い発光時間Ｔｍｉｎの場合）は、撮像時のボケをキャンセルした信号Ｖ２が選択され、液晶パネル１に入力される。そして、信号Ｖ２に基づき表示素子（液晶）が駆動されることで、ボケのない表示が得られる。一方、動きが検出されなかった場合又は追従視困難な動きが検出された場合（長い発光時間Ｔｍａｘの場合）は、信号Ｖ１が選択され、液晶パネル１に入力される。信号Ｖ１に基づき表示素子が駆動されることで、オリジナル（入力映像）に忠実な表示が得られる。
【００９１】
なお、信号Ｖ１とＶ２の切り換わりの際に映像が不連続となり観測者に違和感を与える可能性がある。そこで、信号Ｖ１とＶ２を択一的に切り換えるのではなく、信号Ｖ１からＶ２（又はＶ２からＶ１）へ連続的に変化させることが好適である。例えば、図１４（ａ）、（ｂ）、（ｃ）に示すように、信号Ｖ１、Ｖ２に対して、発光時間に応じた重みを設定し、信号Ｖ１とＶ２を重み付け加算して出力する。このとき、信号Ｖ１、Ｖ２の重みの合計が１となるようにすると、輝度が変化しないので好適である。
【００９２】
信号Ｖ１、Ｖ２は輝度と比例する値をもつデータであることが望ましい。ガンマ変換されている映像信号が入力された場合は、入力映像信号に逆ガンマ変換を行い輝度に比例するデータに変換した後で、上記の処理を行うと好適である。
【００９３】
以上述べた本発明の第２の実施形態によれば、第１の実施形態同様に、追従視の容易な映像信号では、発光時間を短くしてホールドボケの少ない高品質な動画再生が実現でき、追従視の困難な映像信号では、ランダム感と呼ばれる妨害感の発生を防ぐことができる。また、発光時間が短い場合は、ボケが低減された信号Ｖ２、又は、オリジナル信号Ｖ１と
信号Ｖ２の合成信号を用いて液晶パネルを駆動するため、撮像時のボケが含まれる映像信号であっても、ボケの少ない高品質な動画表示が可能となる。また、静止している映像については、追従視可能であるが発光時間を長く設定するので、フリッカの発生を抑制できる。
【００９４】
＜第３の実施形態＞
第３の実施形態では対象物を撮像するビデオカメラの撮像時間が短い場合（高速電子シャッターを併用した場合）の映像信号を表示する例を示す。ビデオカメラの撮像時間が短い場合、撮像時のボケは発生しない。しかし、そのようなボケの全くない映像を通常の（バックライトの発光時間が長い）液晶表示装置に表示した場合には、対象物の動きがカクカクしたぎこちない動きに見えることがある。本発明の実施形態では追従視の困難な映像信号の場合にバックライトの発光時間を長くするため、そのようなぎこちない動きが現れる可能性がある。第３の実施形態は、このような問題を解決するための方法を提案する。
【００９５】
第３の実施形態の画像表示装置も、第１の実施形態の画像表示装置同様に映像信号の動きの質（追従視のしやすさ）を評価してバックライトの発光時間を決定する。すなわち、主要対象物の動きが追従視の困難な動きである映像信号に対しては、バックライトの発光時間を長くして、ホールドボケを発生させる。第３の実施形態では更に、動き検出部４の出力である動きベクトルの方向に関して、映像信号にローパスフィルタ処理を施す。その結果、長い発光時間が設定された場合に動いている対象物がぎこちない動きに見えることを防止することができる。
【００９６】
本発明の第３の実施形態の駆動回路の主要部分のブロック図を図３に示す。図３において第１の実施形態の図１と同じ番号の説明は省略する。図３において、１２はビデオ制御部、１３はスイッチ、１４は動き方向ローパスフィルタ（ボケ付加部）であり、他の部分は第１の実施形態の図１の構成と同じ動作を行う。
【００９７】
動き検出部４は動きベクトル検出単位エリア毎に局所的な動きベクトルを算出する。局所的な動きベクトルは主要対象物動き算出部８に入力される。主要対象物動き算出部８は、第１の実施形態と同様、局所的な動きベクトルから代表的な動きベクトル（主要対象物の動きベクトル）を算出し、発光時間算出部５に出力する。そして前述したように、発光時間算出部５は等速度又は等加速度の動きが検出された映像信号の発光時間を短く制御する。ビデオ制御部１２は発光時間算出部５で算出された発光時間によってスイッチ１３を制御し、発光時間が短い場合は信号Ｖ１、発光時間が長い場合は信号Ｖ３に切り換える。入力端子３に入力される映像信号はフレーム遅延部７により必要な時間遅延される。また、入力端子３に入力される映像信号は動き方向ローパスフィルタ１４に入力され、動き検出部４の出力である動きベクトルを元に、動き方向に関するローパスフィルタ処理によって動き方向のボケが付加される。動き方向ローパスフィルタ１４の処理は動きベクトルの大きさ及び方向によりフィルタの特性を制御すると好適である。すなわち動きベクトルの方向に応じた空間フィルタを選択し、動きベクトルの大きさに従って高域の空間周波数の下げ方を変化させると好適である。動きベクトルが大きな場合、撮像時のボケが大きくなるべきであるので、動き方向ローパスフィルタ１４はより低い周波数から高域の信号の減衰を行うと良い。動き方向ローパスフィルタ１４はフレーム遅延部７同等の遅延時間を持つと好適である。なお、本実施形態では対象物の動きの方向に応じて適用するフィルタを変えているが、動きの方向にかかわらず同じフィルタ（方向依存性をもたないフィルタ）を用いる構成でも良い。
【００９８】
スイッチ１３はバックライトの発光時間に応じて信号Ｖ１、信号Ｖ３を切り換える。追従視の容易な動きが検出された場合（短い発光時間Ｔｍｉｎの場合）は、信号Ｖ１が選択され、液晶パネル１に入力される。信号Ｖ１により表示素子が駆動されることで、ボケの
少ない表示が得られる。動きが検出されなかった場合又は追従視困難な動きが検出された場合（長い発光時間Ｔｍａｘの場合）は、動き方向ローパスフィルタ１４により動き方向のボケが付加された信号Ｖ３が選択され、液晶パネル１に入力される。信号Ｖ３により表示素子が駆動されることで、動いている対象物に撮像時のボケを擬似的に付加した表示が得られる。信号Ｖ１とＶ３の切り換え時の違和感をなくすために、第２の実施形態の図１４で説明したのと同じように、信号Ｖ１とＶ３を発光時間に応じた重みで合成した信号を出力することが好ましい。また、信号Ｖ１、Ｖ３も輝度と比例する値をもつデータであることが好ましい。
【００９９】
以上述べた本発明の第３の実施形態によれば、第１の実施形態同様に、追従視の容易な映像信号では、発光時間を短くしてホールドボケの少ない高品質な動画再生が実現でき、追従視の困難な映像信号では、ランダム感と呼ばれる妨害感の発生を防ぐことができる。また、発光時間が長い場合は、ボケが付加された信号Ｖ３、又は、オリジナル信号Ｖ１と信号Ｖ３の合成信号が液晶パネルの駆動に利用される。よって、短い撮像時間で撮像された映像信号において見られる、カクカクとしたぎこちない動きの発生を抑制することができる。
【０１００】
＜その他の実施形態＞
上記実施形態では、透過型直視式のＡＭ−ＬＣＤによる画像表示装置の例を説明した。しかし、透過型投影式ＡＭ−ＬＣＤや反射型投影式ＡＭ−ＬＣＤであっても同様な効果が期待できる。
また、上記実施形態では、発光時間の長さによって輝度（明るさ感）が変わらないように発光強度を制御する例について説明した。しかし、映像の動きに応じてバックライトの発光時間を可変する技術を、近年開発されている画像信号によってブロックのバックライトの発光強度を制御する技術と組み合わせることも好適である。
【符号の説明】
【０１０１】
１：液晶パネル、２：バックライト、４：動き検出部、５：発光時間算出部、６：バックライト制御部、８：主要対象物動き算出部
【図１】
2012078589.tif 000008
【図２】
2012078589.tif 000009
【図３】
2012078589.tif 000010
【図４】
2012078589.tif 000011
【図５】
2012078589.tif 000012
【図６】
2012078589.tif 000013
【図７】
2012078589.tif 000014
【図８】
2012078589.tif 000015
【図９】
2012078589.tif 000016
【図１０】
2012078589.tif 000017
【図１１】
2012078589.tif 000018
【図１２】
2012078589.tif 000019
【図１３】
2012078589.tif 000020
【図１４】
2012078589.tif 000021