(57)【要約】【課題】１フレームを複数のサブフィールドに分割して、積分輝度の平均が１フレーム期間の輝度と同じ輝度となるようにインパルス表示を実現した場合であっても、映像信号の輝度レベルが隣接した映像間で変化する場合には、暗い映像信号においてはインパルス表示を実現することができるものの、明るい映像信号においては、積分輝度の平均が１フレーム期間の輝度と同じ値に設定することができないという課題が生じる。【解決手段】動画検出で検出した移動物体の輝度、色信号情報を元に、１フレーム期間を複数のサブフィールド期間に輝度配分しインパルス表示をする際、補間手段で作成された動画補間映像を特徴量検出手段で検出された検出結果を元に輝度配分を行う輝度配分手段を備えることにより、各表示期間で移動物体の色が変わらないように表示する。【選択図】図１
2008191300.tif 000002
【特許請求の範囲】
【請求項１】
入力映像から動画部分を検出し動画部分の動き量を表す動きベクトルを検出する動き検出手段と、前記入力映像のフレーム周波数を変換する周波数変換手段と、前記周波数変換手段で周波数変換された映像信号の輝度情報を検出する特徴量検出手段と、動き検出結果に基づき、動画像を補間した動画補間映像を挿入する補間手段と、前記補間手段で作成された動画補間映像を前記特徴量検出手段で検出された検出結果を元に輝度配分を行う輝度配分手段を備えたことを特徴とする映像処理装置。
【請求項２】
前記特徴量検出手段は前記動き検出手段の検出結果より動画像のＲＧＢ輝度情報と位置情報を検出することを特徴とした請求項１記載の映像処理装置。
【請求項３】
請求項１から３記載の映像処理装置から出力された映像信号を表示するホールド型ディスプレイを備えた表示装置。
【請求項４】
入力された映像のフレーム周波数を変換して出力する映像処理装置において、
前記入力された映像の第１の原画像を１フレームと前記第１の原画像の次に入力されたフレームである第２の原画像とから動きベクトルを検出する動き検出手段と、
入力された映像からＲＧＢの各輝度レベルとＲＧＢの最大輝度レベルし、前記最大輝度レベル対する各ＲＧＢの輝度レベルの割合である輝度比率を算出する特徴量検出手段と、
前記第１の原画像と前記第２画像との間に補間フレームを挿入する画像補間手段と、
前記動き検出手段と前記特徴量検出手段の結果に基づいて、前記入力された映像の第１の原画像と前記画像補間手段で挿入された補間フレームに対して輝度レベルの調整を行う輝度配分手段とを備え、
前記輝度配分手段により前記第１の原画像と前記補間フレームに配分された輝度の輝度比率は、入力された映像の第１の原画像の輝度比率と略一致しており、且つ、前記輝度配分手段により前記第１の原画像と前記補間フレームに配分された輝度の平均輝度レベルは前記第１の原画像の輝度レベルと略一致していることを特徴とする映像処理装置。
【請求項５】
前記映像処理装置において、前記第１の原画像と前記補間フレームは複数のブロックに分割されており、
前記第１の原画像の第１ブロックと前記動きベクトル検出手段により検出された動きベクトルに基づいて前記第１ブロックと同一内容が表示される前記補間フレームの第２ブロックにおいて、
前記輝度配分手段により前記第１ブロックと前記第２ブロックに配分された輝度の輝度比率は、前記第１ブロックの輝度比率と略一致しており、且つ、前記輝度配分手段により前記第１ブロックと前記第２ブロックに配分された輝度の平均輝度レベルは前記第１ブロックの輝度レベルと略一致していることを特徴とする映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホールド型表示装置に関するものであり、応答性能改善のための映像処理方法に関する。
【背景技術】
【０００２】
一般的に液晶表示装置の応答性能に影響を及ぼす要因として２つ挙げられる。１つは液晶のホールド型駆動方法によるもので、１つは液晶そのものの応答性能によるものである。液晶パネルはマトリクス状に配置した画素に対してデータ線及びアドレス線を用いて１フレームに１回表示データを書き込んでいる。各画素は１フレーム期間中、表示データを保持し続ける。つまり、１フレーム期間は同じ画像を表示し続けていることになる。
【０００３】
このようなホールド型の表示方法で動きのある映像を表示した場合、動いている物体の輪郭がボケるという現象が生じる。これはホールド型の表示方法と人間の視覚的特性による影響のためである。現象の詳細な説明は「栗田一郎：ホールド型ディスプレイにおける動画表示の画質、信学技報、ＥＩＤ９９−１０（１９９９−０６）」で説明されているので省略する。
【０００４】
もう１つの要因としては、液晶自体の応答性能が遅く１フレーム期間内で本来表示すべき階調まで達しないため、画像の輪郭部がボケるという現象が生じる。しかし、近年液晶材料などの改善により液晶そのものの応答性能は向上し１フレーム期間（１６．６ｍｓ）内での応答が可能となり、ホールド型表示に起因する動画像のボケが問題視されるようになって来た。
【０００５】
液晶表示装置などのホールド型表示に起因する動画像のボケを改善する方法として、１フレーム期間中の一定期間に黒を表示する方法や、バックライトを点滅させる方法などホールド表示をインパルス表示にする方法が用いられている。しかしながらこの方法では１フレーム期間内のある一定期間を黒表示にする必要があるため、輝度やコントラストが低下するという課題がある。そのため、従来の技術においては、１フレームの期間を時間軸でサブフィールド期間に分割し、各サブフィールド期間の画像を足し合わせると原画像と同等の輝度表示ができるように各サブフィールドに輝度を分配して表示する方法で輝度とコントラストの低下を生じさせず、インパルス表示を実現している。
【０００６】
図９を用いて簡単に説明する。図９（ａ）は入力された画像を１フレーム期間表示した場合の輝度レベルの変化を示している。１フレーム期間同じ画像を表示しつづけるので輝度レベルは変化しない。図９（ｂ）は１フレーム期間を２つのサブフィールドに分割して、輝度配分を行った場合を示す。先行例では２つのサブフィールドの内、最初のサブフィールドの期間で表示するようにして、後のサブフィールド期間では黒を表示するようにしている。２つのサブフィールドの積分輝度の平均が１フレーム期間表示と同じになるようにして同等の輝度を表示するようにしてインパルス表示をしている。このようにして輝度ヤコントラストの低下が発生せずインパルス表示を実現して動画像の改善を図っている。
【特許文献１】特開２００３−３６７２３号公報
【特許文献２】特開２００３−３６７０３号公報
【特許文献３】特開２００６−３３０１７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、入力された映像信号が明るい映像の場合、例えば白いＷｉｎｄｏｗなどの場合では１フレーム期間を複数に分割しても１フレーム期間表示した場合と同様の輝度を満たすためには、全てのサブフィールド期間中白を表示しないと同様の輝度が満たせないという課題が生じる。つまり、白Ｗｉｎｄｏｗなどの明るい映像の場合はインパルス表示を行うことが出来ず、応答の改善を行うことが出来ない。
【０００８】
さらに、自然画など明るい映像と暗い映像が隣接した映像の場合では、暗い映像部分はサブフレームに輝度分割して表示しインパルス表示を行うことが可能だが、明るい映像部分では輝度をみたすためインパルス表示が出来ないため、明るい部分と暗い部分でホールド時間に差が生じ、隣接部分のボケ幅に差が生じることとなりエッジ部にボケ幅の差の段差となってしまう。また、表示する色によっては色付きが発生する。
【課題を解決するための手段】
【０００９】
この課題を解決するために本発明は、入力映像から動画部分を検出し動画部分の動き量を表す動きベクトルを検出する動き検出手段と、前記入力映像のフレーム周波数を変換する周波数変換手段と、前記周波数変換手段で周波数変換された映像信号の輝度情報を検出する特徴量検出手段と、動き検出結果に基づき、動画像を補間した動画補間映像を挿入する補間手段と、前記補間手段で作成された動画補間映像を前記特徴量検出手段で検出された検出結果を元に輝度配分を行う輝度配分手段を備えたことを特徴とする。
【００１０】
また、前記特徴量検出手段は前記動き検出手段の検出結果より動画像部分の輝度情報を検出することを特徴とする。
【発明の効果】
【００１１】
本発明による映像処理装置及び表示装置を用いれば、１フレーム期間を複数のサブフレームに分割し、輝度配分を行い、インパルス表示を行った場合に様々な画像に対して動画像のエッジ部に色付きや段差等の不具合なく動画性能の改善を行うことが可能となる。
【００１２】
また、動画部分のみに着目し輝度配分を行うことで、インパルス表示を行った際のちらつきが発生する面積を極力抑えて表示することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００１４】
（実施の形態１）
本発明の第１の発明の実施の形態について、図１を用いて説明する。最初に、図１に示す映像処理装置１００の構成ついて簡単に説明する。映像処理装置１００は、入力された映像信号を１フレーム遅延させて出力するフレームメモリ１０（以下、単純に「メモリ１０」とする。）と、入力された映像信号とメモリ１０により１フレーム遅延した映像信号とに基づいて動きベクトルの検出を行う動き検出回路２０と、入力された映像信号のフレーム周波数を変換するレイト変換回路３０と、レイト変換回路３０から出力された映像信号に基づいて、その映像信号の特徴量を検出する特徴量検出回路４０と、レイト変換回路から出力された映像信号にフレームを挿入して画像の補間を行う画像補間回路５０と、特徴量検出回路４０からの検出結果と、画像補間回路５０からの映像信号を入力として、入力された映像及び画像補間回路５０から出力された映像に対して、所望の輝度の配分を行う輝度配分回路６０とを備えている。
【００１５】
次に、図１に示す映像処理装置１００の具体的な動作内容について説明する。入力された映像信号Ｉは、フレームメモリ１０において、１フレーム分の表示画像を記録することにより１フレーム期間遅延させ、動き検出回路２０とレイト変換回路３０に出力する。動き検出回路２０は入力された映像信号Ｉと１フレーム遅延された映像信号Ｉｄから動画像の動きベクトルを検出し、動きベクトル量をレイト変換回路３０に出力する。レイト変換回路３０は映像信号Ｉｄと動きベクトルＭのフレーム周波数をｎ倍に変換する。
【００１６】
補間回路５０は、レイト変換回路３０から出力された動きベクトルＭｎを基に、レイト変換回路３０から出力された映像信号Ｉｎに適切な動画補間画像を内挿する。特徴量検出回路４０は動きベクトルＭｎを基に表示画像内の動画像の輝度、色情報と動画像の移動前後の位置情報を特徴量として出力する。輝度配分回路６０は、特徴量検出回路４０からの特徴量を基に現画像と動画補間画像の動画像部分の輝度配分を行った映像Ｉｏを出力する。またこのとき動画像部分のＲＧＢ比率を一定に保ち輝度配分を行うようにすることで動画像のエッジ部の色付きやフリッカなどの不具合を抑えることが可能となる。
【００１７】
映像表示装置１００のより詳細な動作について説明する。映像信号Ｉが１フレーム分の表示画像情報を記録するメモリ１０に入力される。入力映像信号のフレーム周波数は特に限定するものではないが、ここでは一例として、６０Ｈｚ（６０フレーム／１ｓ）の映像信号が入力されたものとする。メモリ１０は記録した映像情報を１フレーム期間遅延させた映像信号Ｉｄを動き検出回路２０に出力する。
【００１８】
次に、動き検出回路２０について説明する。動き検出回路２０は映像信号Ｉと１フレーム期間遅延された映像信号Ｉｄを元に、表示画像内での移動物体の移動ベクトル情報を検出する。移動ベクトル情報を検出する方法として、１フレーム分の表示画像をいくつかのブロックに分割し、現フレームの  各ブロックに注目し、前フレームの各ブロックと比較し（例えば差分情報などで比較）最も類似性の高いブロックの位置情報を検出する。そして、現フレームと１フレーム前の最も類似性の高いブロックの位置的なズレを、動きベクトルＭとして算出する。このように各ブロックにおいて検出された動きベクトルＭが毎秒６０フレーム分、動き検出回路から出力される。また、ここでは動き検出回路の動き検出方法について簡単に説明したが、動きを検出る方法は特開平３−２６３９８９号公報などに説明されているので詳細についての説明は省略するが、本発明の動き検出回路２０では入力映像信号における表示画像内の移動物体とその動きベクトルＭが判明すれものであればよい。
【００１９】
次に、レイト変換回路３０について説明する。レイト変換回路３０は、動き検出回路２０から出力された動きベクトルＭと１フレーム期間遅延された映像信号Ｉｄの周波数をｎ倍に変換する。ここでは説明のため、一例として、以下のレイト変換回路３０はフレーム周波数を２倍に変換するものとする。６０Ｈｚの映像信号が入力されているので１２０Ｈｚに変換する。なお、本願発明は、１２０Ｈｚに限定されるものではなく、例えば９０Ｈｚや１８０Ｈｚ等でも適用が可能である。
【００２０】
ここで、レイト変換回路３０における具体的な変換方法を、図２の回路図を用いて説明する。図２の回路図はレイト変換回路３０の構成を示す回路図２００であり、映像信号を記録するメモリＡと動きベクトルＭを記録するメモリＢとメモリにデータを書き込むＴｉｍｉｎｇと読み出すＴｉｍｉｎｇを生成するタイミング生成回路７０からなる。メモリＡ，Ｂは入力されたデータを６０ＨｚのＴｉｍｉｎｇで書き込み、読み出し時に１２０ＨｚのＴｉｍｉｎｇで読み出すようにする。ここで読み出し時に１２０Ｈｚで読み出すことで２倍の速度で読み出すことになる。つまり１秒間に１２０枚の画像情報を出力することになるが、ここで補間される補間フレームは１フレーム期間に１フレーム内挿し、内挿される画像は後で説明する補間回路５０で補間されるのでここでは黒を挿入するが、本発明はこれに特定するものではなく、前フレームと同じフレームを出力する構成としてもよい。レイト変換回路３０によりレイト変換された映像信号Ｉｄ＿ｎと動きベクトルＭｎはそれぞれ特徴量検出回路４０と補間回路５０へ出力される。
【００２１】
次に、補間回路５０について説明する。補間回路５０では補間画像を動きベクトルＭｎに基づき映像信号Ｉｄ＿ｎから生成し、動き補間された画像を映像信号Ｉｄ＿ｎの黒の画像部分に内挿する。一般的にはＩｄ＿ｎの各ブロックにおいて動きベクトルを１／２倍したベクトル量だけ移動させることで現行フレームと前フレームの間に補間すべき画像を生成する。詳細については前記動き検出回路２０の動作説明と同様先行文献（特開平３−２６３９８９号公報）などに説明されているのでここでは省略するが、補間回路５０では現行フレームと前フレームに最適な動画像を内挿するものであればよい。
【００２２】
次に、特徴量検出回路４０について説明する。特徴量検出回路４０は、動きベクトルＭｎに基づき映像信号Ｉｄ＿ｎの各ブロック毎に移動物体のＲＧＢ比率と移動物体の移動前後の位置情報を特徴量として検出する。以下に、詳細な動作について説明する。
【００２３】
まず映像信号Ｉｄ＿ｎとして図３に示す映像が入力された場合を考える。図３に示す画像はレイト変換で１２０Ｈｚに変換された画像で隣接する３フレームの画像を時系列で並べたもので（ａ）→（ｂ）→（ｃ）の順で並んでいる。また図３の（ｂ）は前記説明したように補間回路５０で補間されるため黒が挿入されている様子を示している。また、各画像は画面全体の一部分を示したものであり、図には説明のため各ブロックに（１）〜（１６）の番号を割り振っている。
【００２４】
また、各ブロックのＲＧＢ輝度レベルｘ，ｙ，ｚを０〜１００の範囲で表記し（Ｒ、Ｇ、Ｂ）＝（ｘ，ｙ，ｚ）で表す。従って、図３の（ｂ）は前記説明したように補間回路５０で補間されるため黒が挿入されているため、ＲＧＢ輝度レベルは全て（０，０，０）となっている。
【００２５】
図４は図３の各画像の各ブロックに対応した画像の動きベクトルを示したものである。各ブロックの動きベクトルを（ｘ，ｙ）で表記してｘを左右方向、ｙを上下方向の動きベクトルとして表記し、例えばｘ＝１で１ブロック右に移動し、ｘ＝−１で１ブロック左に移動するものとする。これより図４に示す画像はブロック（６）の動きベクトルが（２，０）と示されているので、ブロック（６）の映像が（ｃ）でブロック（８）に移動しようとしていることを示している。また内挿される画像（ｂ）では動きベクトルを１／２した分移動するのでブロック（７）に移動することを表している。
【００２６】
ここで、特徴量検出回路４０は、移動物体のＲＧＢ比率と現フレームの位置情報と補間回路５０で内挿された画像における移動物体の位置情報を特徴量として検出するようにするので、この場合ではブロック（６）のＲＧＢ比率と移動物体がブロック（６）から次の補間される画像ではブロック（７）にあることを特徴量Ｐとして出力する。
【００２７】
次に、輝度配分回路６０について説明する。輝度配分回路６０は、特徴量検出回路４０からの特徴量Ｐに基づき補間回路５０から動画像が補間された映像に対して動画像部分の輝度配分を行う。具体的な配分方法に関して、図５、図６、図７、図８を用いて説明する。
【００２８】
まず、図５には本発明の映像処理回路１００に入力された映像信号Ｉを示す。図にはフレーム周波数６０Ｈｚの映像信号の隣接する２フレームの画像（Ａ）（Ｂ）を示す。また、図には表示画像内の一部分を示し、図３と同様に説明のため各ブロックに（１）〜（１６）の番号を割り振っている。また、各ブロックのＲＧＢ輝度レベルｘ，ｙ，ｚを０〜１００の範囲で表記し（Ｒ、Ｇ、Ｂ）＝（ｘ，ｙ，ｚ）で表す。この例においては、図５ではＲＧＢの輝度レベルがそれぞれ（２０、３０，６０）であるブロック（６）の映像が次のフレームではブロック（８）に移動したような映像が入力されたことを示している。
【００２９】
ここで、まず、従来例における輝度配分をした場合を図６に示す。図６の（ａ）（ｂ）（ｃ）はフレームレイト変換後の隣接する３フレームの画像を示しており、それぞれ輝度配分によりフレーム周波数１２０Ｈｚのサブフィールド期間表示される。また、図５の（Ａ）の画像を１フレーム期間内で輝度配分し、インパルス表示を行うためブロック（６）の位置で図６の（ａ）と（ｂ）のように輝度配分を行っている。具体的には、（２０，３０，６０）を２倍した値である（４０，６０，１２０）を表示する場合に、ブロック（６）の位置において、１２０の値を１００と２０とに分配して表示を行っている。この場合、ブロック（６）のＢの輝度は１つのサブフィールド期間で輝度を表示することが出来ないため、次のサブフィールド期間でもＢのみ映像を表示しなければならない。そのためＢのみ１フレーム期間（（ａ）＋（ｂ）の期間）画像が表示されている状態になるのでＢのみボケ幅が大きくなり動画像に色付きが生じてしまう。
【００３０】
これに対して、本発明の動作を適用した場合の処理結果を図７、図８を用いて説明する。図７は、本発明の映像処理回路１００の補間回路５０から出力された映像信号を示している。入力された映像信号の周波数を１２０Ｈｚに変換して図７の（ｂ）に示す補間された動画像が内挿されている。また輝度配分回路６０で輝度配分さされた映像信号を図８に示している。本発明の輝度配分回路６０での輝度を配分する方法について説明する。図７のような映像信号が輝度配分回路６０に入力された場合、特徴量としてブロック（６）のＲＧＢ輝度比率と移動物体がブロック（６）からブロック（７）へ移動するという移動前後の位置の情報が入力される。これは動きベクトル値から求めることが容易に可能である。
【００３１】
輝度配分回路６０はこの情報を基に、入力された図７の（ａ）で示す現画像と図７の（ｂ）で示す動画補間画像の動画像部分の輝度配分を行う。動画像の輝度比率は（２０，３０，６０）であるので、この比率を保ちつつ輝度配分を行う。また配分を行う際に、動画像は補間画像ではブロック（７）に移動しているため特徴量検出により得た位置情報を基にブロック（７）の輝度を変化させる。その結果、図８の（ａ）（ｂ）で示すように（１００×２０／６０，１００×３０／６０，１００×６０／６０）＝（３３，５０，１００）と（２０×２０／６０、２０×３０／６０，２０×６０／６０）＝（６，１０，２０）に輝度配分される。なお、この処理は、図示していない算出手段によって行う。１フレーム期間を２つのサブフィールドに配分して表示するため、（ａ）と（ｂ）の表示期間における輝度の積分値の平均が（２０，３０，６０）となるように配分し、かつ輝度比率が一定となるようにする。このように入力された原画像の輝度の最大値に対する各ＲＧＢの輝度レベル（輝度比率）を算出し、原画像及び補間画像のいずれの画像においても入力画像の輝度率と略同じ値とすることで動画補間画像に対して輝度比率を変えることなくインパルス表示を行うことが可能となる。
【００３２】
これにより１サブフィールドで輝度を配分できないような明るい画像が入力された場合でも、ＲＧＢ輝度比率を一定に保ちかつ現画像と動画補間画像で輝度分配を行うことで動画像のボケ幅の違いや色付きなどの不具合を発生させることなくインパルス表示が可能となる。また動画像部分だけに対して輝度配分を行うため静止画像は１フレーム期間ホールド表示を行うことができるのでインパルス表示によるちらつきなどを極力抑えた表示をすることが可能となる。
【００３３】
なお、本発明の更なる実施の形態としては、実施の形態１で説明した映像信号処理回路１００の出力映像信号をホールド型表示装置出力する構成を採用していてもよい。
【００３４】
なお、上述した実施の形態においては、現画像からＲＧＢ中の最大値の輝度レベルに対する各ＲＧＢの輝度レベル（輝度比率）を算出し、原画像及び補間画像のいずれの画像においても入力画像の輝度率と略同じ値とし、原画像及び補間画像の輝度レベルの平均値が原画像の輝度レベルと略一致する内容について説明したが、このような処理は、画面の輝度レベルが高い（例えば、白）場合に特に必要であるため、予め画面の輝度レベルを検出しておき、輝度レベルが所定の輝度レベル以上の場合にのみ上述した処理を行うことも可能である。これにより、輝度レベルが所定の輝度レベル以上の場合のみ、上記の計算を行えばよく、より迅速な処理を行うことが可能になるものである。
【産業上の利用可能性】
【００３５】
本発明による映像処理装置及び表示装置を用いれば、様々な画像に対して副作用なくインパルス型の表示が可能となるので、ホールド表示型表示装置の動画像を改善する表示装置として有用である。
【図面の簡単な説明】
【００３６】
【図１】本発明の映像処理装置を示す図
【図２】本発明のおけるレイト変換装置を示す図
【図３】入力信号の輝度レベルを示す図
【図４】入力信号の動きベクトルを示す図
【図５】入力信号の輝度レベルを示す図
【図６】従来の輝度分配方法を示す図
【図７】本発明の輝度分配方法を示す図
【図８】本発明の輝度分配方法を示す図
【図９】従来の輝度配分方法を説明するための図
【符号の説明】
【００３７】
１０    メモリ
２０    動き検出
３０    レイト変換
４０    特徴量検出
５０    画像補間
６０    輝度配分
７０    タイミング生成
【図１】
2008191300.tif 000003
【図２】
2008191300.tif 000004
【図３】
2008191300.tif 000005
【図４】
2008191300.tif 000006
【図５】
2008191300.tif 000007
【図６】
2008191300.tif 000008
【図７】
2008191300.tif 000009
【図８】
2008191300.tif 000010
【図９】
2008191300.tif 000011