(57)【要約】      （修正有）【課題】画面端での動き検出処理において、動きが大きな場合にも誤りを少なくし画面端における表示を良好にする。【解決手段】動きベクトル内挿処理回路８５は、動きベクトル検出部９１と、周辺領域の動きベクトルとの大きさの比較を行う動きベクトル判定部９２と、動きベクトルの評価を行う動きベクトル評価部９３と、動きベクトルメモリ８７からの動きベクトルから内挿ベクトルの割り当てを行う内挿ベクトル割り当て部９８と、内挿ベクトルメモリ９９と、内挿ベクトル評価部１０１とから構成される。動きベクトル検出部９１からの出力は、全画面平均ベクトル算出部９５と、部分画面平均ベクトル算出部９６と、算出した部分平均ベクトルを記憶する部分平均ベクトルメモリ９７と、部分領域を指定する部分領域指定部１０５と、全画面平均ベクトルと部分平均ベクトルとに基づいて内挿ベクトルの置き換え処理を行う置き換え処理部９８ａと、を備えている。【選択図】図３
2010041168.tif 000002
【特許請求の範囲】
【請求項１】
動きベクトルを検出する動きベクトル検出部と、
該動きベクトル検出部によって検出された表示画面の画面全体における動きベクトルが予め設定されている閾値よりも大きいか否かを判定する動きベクトル判定部と、
該動きベクトル判定部により画面全体の動きベクトルが閾値よりも大きい場合には、全画面における全画面平均動きベクトルを画面端における動きベクトルとして置換する置き換え処理部と
を有することを特徴とする画像表示回路。
【請求項２】
動きベクトルを検出する動きベクトル検出部と、
該動きベクトル検出部によって検出された表示画面の画面全体における動きベクトルが予め設定されている閾値よりも大きいか否かを判定する動きベクトル判定部と、
該動きベクトル判定部により全画面平均動きベクトルが閾値よりも大きい場合には、ある部分画面における部分画面平均動きベクトルを画面端における動きベクトルとして置換する置き換え処理部と、
を有することを特徴とする画像表示回路。
【請求項３】
前記部分画面の領域を指定する部分領域指定部を有することを特徴とする請求項２に記載の画像表示回路。
【請求項４】
前記閾値を調整する閾値調整部を備えることを特徴とする請求項１から３までのいずれか１項に記載の画像表示回路。
【請求項５】
前記画面端の数ブロックの幅を固定することを特徴とする請求項１から４までのいずれか１項に記載の画像表示回路。
【請求項６】
前記画面端の数ブロックの幅を可変とすることを特徴とする請求項１から４までのいずれか１項に記載の画像表示回路。
【請求項７】
画面端のブロック幅を前記全画面平均動きベクトル量に応じて可変とすることを特徴とする請求項１から４まで、又は６のいずれか１項に記載の画像表示回路。
【請求項８】
前記置き換えるために参照する動きベクトルの位置を可変することを特徴とする請求項１から７までのいずれか１項に記載の画像表示回路。
【請求項９】
前記全画面平均動きベクトルに代えて、中心部の重み付けを大きく、周辺部を小さくしたベクトルを用いることを特徴とする請求項１から８までのいずれか１項に記載の画像表示回路。
【請求項１０】
請求項１から９までのいずれか１項に記載の画像表示回路を有する画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示技術に関し、特に、時間的に前後する２つの画像情報の動きから動きベクトルを検出することにより、２つの画像の間に相当する画像を生成する表示装置における画面端部における高画質化技術に関する。
【背景技術】
【０００２】
液晶テレビジョン装置などの大画面化が進んでいる。さらに、ユーザによる高画質化の要求が高まっている。
【０００３】
このような状況の中で、画面周縁部の画像生成処理が高画質化にとって重要な技術となっている。そこで、画面周縁部の画像生成時に前後の片方のフレームから内挿して画像を生成する方法が提案されている（例えば、下記特許文献１参照）。この方法によれば、連続した２フレームのいずれか一方のみにおいて画面を外れる部分の原画像信号については、加重加算に替えて連続した２フレームの他方における該当部分の原画像信号のみに基づいて該当部分のフレーム数変換出力画像信号を形成するようにして処理を簡単にしたものである。
【０００４】
【特許文献１】特開昭６２−２１７７８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術には以下のような問題がある。
（１）画面端の映像に動きがなくなる。この問題は、動きがある部分に対して前後のフレームの映像をそのまま使うため連続性が失われることに起因する。
（２）動きが早い場合に動き検出が正しく出来ているかどうかの判断自体が誤ってしまう。この問題は、前後で該当する比較する対象が無いために誤った比較を行うことに起因する。
（３）誤った情報によって処理が行われるため、エラーが多く発生しやすい。この問題は、誤りが伝播し大きな間違いが生じることに起因する。
【０００６】
また、前後の２つの画像の情報から動きから動きベクトルを検出することにより、時間的に前後する間の画像を生成して表示する装置においては、画像が高速に動く高速パンをするときに、画面端(両側)に波打つように見えることがある。これは、画面外からの飛び込みが原因である。図６は、このように高速パンする場合に、画面端（両側）に波打つように見える不具合の様子を示す図である。図６において、表示画面を模式的に示すと、表示画面２０１において、画面端２０３からある距離までの領域を周縁部２０５と称する（最大Ｎ画素分が周縁部であると考える）。この画面において一様に右にパニング（以下「パン」と称する。）している場合に、（１）、（２）では、周縁部２０５内の画像２１１・２２１が、画像２１５・２２５に動く場合に、その間の画像２１３・２２３を内挿により求めることができる（矢印２１７・２２７）。しかしながら、（３）に示すような場合には、元画像２３１が画面の外に存在するため、時間的に前（過去）の画像側のデータが存在せず、現画像２３５を用いて画像２３３の動きベクトルを内挿により求めることができない。例えば、（４）に示すように、間違った動きベクトルに基づいて内挿するため（２４１と２４５に基づいて２４３が求まる）、波打ったような表示がなされるという問題がある。
【０００７】
図７は、画面の中央側から周縁部３０５（左側）に向けて一様にパンしている様子を示す図である。図６の場合と同様に、（１）、（２）では、中央側３０１内の画像３１１・３２１が、画像３１５・３２５に動く場合に、その間の画像３１３・３２３を内挿により求めることができる（矢印３１７・３２７）。しかしながら、（３）に示すような場合には、現画像３３５が画面の外に存在するため、時間的に後（未来の）の画面側のデータが存在せず、元画像３３１を用いて画像３３３の動きベクトルを内挿により求めることができない。例えば、（４）に示すように、間違った動きベクトルに基づいて内挿するため（３４１と３４５に基づいて３４３が求まる）、波打ったような表示がなされるという問題がある。
【０００８】
このように、画面端での動き検出処理においては、動きが大きな場合には、前後で該当する比較する対象が画面外になってしまい存在しないために、誤った比較を行うことで大きく誤った結果を引き出すことがある。
本発明は、画面端における表示を良好にすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、画面端で不具合が発生する可能性を判定し、不具合が発生しそうな場合には画面端での動き検出処理を行わずに代替の動きベクトルに置き換えて処理することを特徴とする。誤りが発生しそうな範囲は比較を行わない（比較結果を参照しない）。画像を生成する必要があれば、代わりに誤りが少ない動きベクトルで置き換える。
【００１０】
本発明の一観点によれば、動きベクトルを検出する動きベクトル検出部と、該動きベクトル検出部によって検出された表示画面の画面全体における動きベクトルが予め設定されている閾値よりも大きいか否かを判定する動きベクトル判定部と、該動きベクトル判定部により画面全体の動きベクトルが閾値よりも大きい場合には、全画面における全画面平均動きベクトルを画面端における動きベクトルとして置換する置き換え処理部と、を有することを特徴とする画像表示回路が提供される。画面端で不具合が発生する可能性を判定し、不具合が発生しそうな場合には画面端での動き検出処理を行わずに代替の動きベクトルに置き換えて処理する。
【００１１】
また、動きベクトルを検出する動きベクトル検出部と、該動きベクトル検出部によって検出された表示画面の画面全体における動きベクトルが予め設定されている閾値よりも大きいか否かを判定する動きベクトル判定部と、該動きベクトル判定部により画面全体の動きベクトルが閾値よりも大きい場合には、ある部分画面における部分画面平均動きベクトルを画面端における動きベクトルとして置換する置き換え処理部と、を有することを特徴とする画像表示回路が提供される。これにより、表示するコンテンツに合わせた画面端処理の調整が可能となる。
【００１２】
前記部分の領域を指定する部分領域指定部を有することが好ましい。また、前記閾値を調整する閾値調整部を備えることが好ましい。前記画面端の数ブロックの幅を固定するようにしても良い。前記画面端の数ブロックの幅を可変とするようにしても良い。前記画面端のブロック幅を前記全画面平均ベクトル量に応じて可変とするようにしても良い。前記置き換えるために参照する動きベクトルの位置を可変する用にしても良い。前記平均ベクトルに代えて、中心部の重み付けを大きく、周辺部を小さくしたベクトルを用いるようにしても良い。本発明は、上記に記載の画像表示回路を有する画像表示装置であっても良い。
【発明の効果】
【００１３】
本発明によれば、事前に判定を行い画面外の演算を行わないので演算誤りによる誤検出が発生しないためそれに付随した画像生成エラーが少なくなる。また、検出を行わない部分を代替のベクトルに置き換えることで画面中央側の絵の動きと分離せずに連続性のある映像が生成することができる。
【発明を実施するための最良の形態】
【００１４】
本明細書において、画面端の幅は以下のように定義することができる。
（１）固定ブロック幅：  処理出来る動きベクトルの大きさをブロック数に置き換えた幅を最大とするものである。ここで、固定ブロック幅  ＜  処理出来る動きベクトルのブロック数であり、処理できる動きベクトルとは、ハードウェアとして実装した時にフレームキャッシュメモリの容量などに左右される所定の値である。
【００１５】
（２）可変ブロック幅：  平均ベクトルの大きさをブロック数に量子化するものである。尚、平均ベクトルとしては、全画面平均ベクトルを用いることも可能であり、或いは、部分画面平均ベクトルを用いることもできる。ここで、可変ブロック幅  ＝  α＊平均ベクトル  ＜  処理出来る動きベクトルのブロック数であり、αは任意の係数である。
【００１６】
本発明の実施の形態について説明する前に、発明者の行った考察について説明を行う。画面端で不具合のでるシーンでは、全体的にパンしていて、動きの速いシーンでは、全画面平均ベクトルの大きさが大きくなるはずである。そこで、発明者は、全画面平均ベクトルの大きさが十分大きいときには、画面端を構成する例えば数ブロックの動きベクトルを全画面平均ベクトルに置き換えることを思いついた。これにより、全画面の動きを画面端にも反映させることができる。
【００１７】
本明細書において、全画面平均ベクトルとは、画面全体に渡って算出した動きベクトルを平均化したベクトルであり、パンなど一方向に画面全体が移動する場合は一方向に大きな値になる。部分画面平均ベクトルとは、画面を幾つかの領域に分割し、その中で検出された動きベクトルを平均化したものを言う。置き換えられた動きベクトルとは、画面端の動きベクトルを置き換えることで大きく誤ってエラーとなることを防ぐためのベクトルである。
【００１８】
以下、本発明の一実施の形態による映像表示技術について図面を参照しながら説明を行う。図１は、本実施の形態による映像表示技術に関する画面端対策の一例を示す模式的な図である。図１に示すように、表示画面１を、中央部３と、画面左端部５ａ・右端部５ｂとに分けて説明する。INTP_FRAME_END_WIDTHが画面左端部５ａ・右端部５ｂの幅である。
【００１９】
本実施の形態においては、全画面平均動きベクトル７が、しきい値であるINTP_FRAME_END_VECTOR_THLDより大きいときに、左端ベクトル１１又は右端ベクトル１５ｂを、全画面平均動きベクトル７により置き換える。このしきい値は、製品仕様により決められているが、メーカ又はユーザなどが設定できるようにしても良い。尚、INTP_FRAME_END=1のとき画面端処理を実施する。ここで、しきい値は、値が小さすぎるとわずかな誤差で画面全体が動いていると判断されてしまい、誤って画面端のベクトルの置き換えをしてしまう誤動作が考えられる。従って、画面全体が動いていることを正しく判断できるだけある程度の大きさが好ましい。
【００２０】
また、上記において、「INTP_FRAME_END=1のとき画面端処理を実施する。」とは、しきい値を越えたとき画面端処理を実施するということを意味する。
【００２１】
尚、全画面平均ベクトルが左右向きのベクトルであれば、左端又は右端又は左右両端の動きベクトルを置き換える。全画面平均ベクトルが上下向きであれば、上端又は下端又は上下両端のベクトルを置き換える。全画面平均ベクトルが、左右、上下の合成されたものであれば、置き換え領域も両者となる。
【００２２】
以上のように、画面端で不具合が発生する可能性を判定しておき、不具合が発生しそうな場合には、画面端での動き検出処理を行わずに、代替の動きベクトル、例えば全画面平均ベクトルで置き換える処理を行う。これにより、画面端におけるパニングを防止することができる。
【００２３】
図２は、本実施の形態による画像表示装置の一構成例を示す機能ブロック図である。図２に示すように、本実施の形態による画像表示装置８１は、画像入力を受ける、動きベクトル内挿処理回路８５と、フレームメモリ８３と、動きベクトル内挿処理回路８５との間で動きベクトルのやり取りを行うとともに、動きベクトルを記憶する動きベクトルメモリ８７と、動きベクトル内挿処理回路８５の出力とフレームメモリ８３の出力とを受けて、出力画像を生成し画像出力を行う出力画像生成回路８９と、を備えている。
【００２４】
図３は、動きベクトル内挿処理回路８５の詳細な構成例を示す機能ブロック図である。図３に示すように、動きベクトル内挿処理回路８５は、Ｎ−１フレームの画像入力を受けるバッファメモリ９０ａとＮフレームの画像入力を受けるバッファメモリ９０ｂと、両方のバッファメモリ９０ａ・９０ｂからの出力を受けて動きベクトルを検出する動きベクトル検出部９１と、検出された動きベクトルに基づいて周辺領域の動きベクトルとの大きさの比較を行う動きベクトル判定部９２（動きの早さを判定する手段）と、この比較判定結果に基づいて、動きベクトルの評価を行う動きベクトル評価部９３と、動きベクトルを記憶する動きベクトルメモリ８７と、動きベクトルメモリ８７からの動きベクトルから内挿ベクトルの割り当てを行う内挿ベクトル割り当て部９８と、内挿ベクトル割り当て部９８からの出力が、内挿ベクトルメモリ９９と、内挿ベクトル評価部１０１とから構成され、内挿ベクトルを出力画像生成回路８９に出力する。
【００２５】
以下に、新規な構成について説明する。動きベクトル検出部９１からの出力は、全画面の平均ベクトルを算出する全画面平均ベクトル算出部９５と、部分的な画面における平均ベクトルを算出する部分画面平均ベクトル算出部９６と、算出した部分平均ベクトルを記憶する部分平均ベクトルメモリ９７と、部分領域を指定する部分領域指定部（例えば、マウスなどで範囲指定する）１０５と、全画面平均ベクトルと部分平均ベクトルとに基づいて内挿ベクトルの置き換え処理を行う置き換え処理部９８ａと、を備えている。また、置き換え処理部９８ａには、下記ステップＳ２において全画面ベクトルとの比較を行う対象となる値（閾値）を調整することができる閾値調整部１０７が設けられていても良い。閾値を調整することにより、閾値を大きくすれば置き換えが行われにくくなり（図４のステップＳ２でステップＳ８に進みやすくなり）、閾値を小さくすれば置き換えが行われやすくなり（図４のステップＳ２で、ステップＳ３に進みやすくなり）、例えば、置き換え処理を生じやすくするかどうかをユーザにより調整することができる。
【００２６】
尚、上記の例では、動きが早いと判定する手段として全画面平均ベクトルの大小で判断する。そして、動きが早いと判断された場合には、画面端の動き検出を行わない（動き検出結果を参照しない）ようにする。そして、画面端の数ブロックの動きベクトルを置き換える。置き換える数ブロックの幅は例えば全体の幅のうちの１／１０程度に固定しても良いし、この数ブロックの幅を可変にしても良い。この場合、数ブロックの幅を、全画面平均ベクトル量に応じて可変にするのが好ましい。平均ベクトル量が大きいほど動きが速いため、ブロック幅を大きくすることが好ましい。
【００２７】
次に、内挿ベクトルの割り当て処理の流れについて図４に示すフローチャート図を参照しながら説明を行う。図４に示すように、ステップＳ１で処理が開始されると、ステップＳ２において、全画面平均ベクトルが閾値よりも大きいか否かを判定する。Ｙｅｓの場合には、ステップＳ３に進み、置き換え領域を算出する。置き換え領域であるか否かをステップＳ４において判定し、Ｎであれば、置き換え領域ではないため、ステップＳ８に進み、動きベクトルを読み出し、ステップＳ９に進む。ステップＳ４でＹであれば、ステップＳ４’に進み、画面端における動きベクトルを全画面ベクトルで置換し、ステップＳ９において、内挿ベクトルの割り当てを行い、ステップＳ１０において処理を終了する。ステップＳ４でＮの場合には、ステップＳ８に進み、動きベクトルを読み出し、ステップＳ９に進み、内挿ベクトルの割り当てを行い、ステップＳ１０において処理を終了する。このフローチャートの処理を全画面において繰り返し行う。
【００２８】
以上により、置換領域、この場合には、画面端領域における動きベクトルとして全画面平均ベクトルを用いて置換することで、画面端を含む全体としての動きベクトルを同じようにすることができ、画面端においても表示の違和感がなくなるという利点がある。
【００２９】
次に、本発明の第２の実施の形態による画像処理装置について説明する。図５は、第１の実施の画面端対策とは異なる画面端対策を示す図である。本実施の形態による画面端対策では、表示画面２１において、全画面平均ベクトル３５のみで端領域のベクトルを置き換えるのではなく、状況に応じて、部分的な領域における部分ベクトルであって、置換対象である端領域に近い部分領域の平均である部分平均ベクトルにより、端領域の動きベクトルを置換することを特徴とする。例えば、端領域３１ａの動きベクトル４１は、その領域に近い２５ａの領域の部分ベクトル３７により置換する。その他の領域も同様である。この場合も、全画面平均ベクトルがINTP_FRAME_END_VECTOR_THLDより大きいときに置き換える点等は同様であり、部分平均ベクトルにより置き換える点のみが異なる。このようにすると、決め細かい端部での表示が可能になる。
【００３０】
尚、本実施の形態では、図４において、ステップＳ４から置き換え領域であれば（Ｙであれば）、置き換え領域であるため、ステップＳ５に進み、代替位置を算出する。次いで、ステップＳ６において、部分平均ベクトルを読み出し、ステップＳ７において画面端における動きベクトルを部分平均ベクトルで置換し、テップＳ９において、内挿ベクトルの割り当てを行い、ステップＳ１０において処理を終了する。ステップＳ４でＮの場合には、第１の実施の形態と同様にステップＳ８に進み、動きベクトルを読み出し、ステップＳ９に進み、内挿ベクトルの割り当てを行い、ステップＳ１０において処理を終了する。このフローチャートの処理を全画面において繰り返し行う。
このようにすると、事前に判定を行い画面外の演算を行わないので演算誤りによる誤検出が発生しないため、それに付随した画像生成エラーが少なくなる上に、検出を行わない部分を、代替のベクトルに置き換えることで画面中央側の絵の動きと分離せずにより連続性のある映像が生成することができるという利点がある。
【００３１】
尚、置き換えるために参照する動きベクトルの位置を可変することも可能である。さらに、画面端の画像無し部分を検出するようにしても良い。尚、画面端の画像無し部分とは、４：３と１６：９などの画面縦横のアスペクト比が異なる画像を表示する際、または、映画素材を表示する場合の上下の黒帯部分を指すものである。画面端の置き換えの際に、予めこの画像無し部分を検出し、その部分を考慮して置き換えることにより、動きが無い部分に動きを割り当ててノイズを発生させるなどの誤動作を防ぐことができる。また、全画面平均ベクトルではなく、中心部の重み付けを大きく、周辺部を小さくしたものを用いるようにすることが好ましい。
【００３２】
尚、第１の実施の形態による手法を用いるか、第２の実施の形態による手法を用いるかに関しては、コンテンツの動きを検出していずれかを選択できるようにしても良い。
【００３３】
以上のように、本実施の形態においては、動きの早いパターンの場合を検出し、エラーが発生する画面端の動き検出演算を行わずに端の一定の範囲の動き検出結果を全画面の平均ベクトルに置き換える。これにより、大きく誤って計算された動きベクトルによる画像の破綻を抑えることが出来る。この際、動きが早いとの判断を全画面平均ベクトルで判断することもできる。また、第２の実施の形態にように、置き換える動きベクトルを全画面平均ベクトルだけでなく、部分平均ベクトルを用いて置き換えることもできる。さらに、図５にも示したように、置き換える部分平均ベクトルの参照場所をアクティブに可変とすることも可能である。
【００３４】
尚、置き換える部分平均ベクトルの参照場所をアクティブに可変とする処理は、どのような基準によって可変とするかに関しては、例えば、置き換える隣り合った部分の部分平均ベクトル参照することにより判断するのが好ましい。但し、その場合には、動き量によっては適切な参照先とはいえない場合がある。ここで、「アクティブに可変」とは、例えば全画面平均ベクトルの大きさ方向に比例して置き換えるベクトルから離れた場所の部分平均ベクトルを参照することなどが挙げられる。
【００３５】
（まとめ）
本実施の形態によれば、画面端で不具合が発生する可能性を判定し、不具合が発生しそうな場合には画面端での動き検出処理を行わずに代替の動きベクトルに置き換えて処理する。
【００３６】
画像を生成する代わりに誤りが少ない動きベクトルで置き換える処理を行う。誤りが発生しそうな範囲は、比較を行わない構造（比較結果を参照しない構造）にしても良い。
【００３７】
これにより、事前に判定を行い画面外の演算を行わないので演算誤りによる誤検出が発生しないため、それに付随した画像生成エラーが無くなる。
【００３８】
また、検出を行わない部分を代替のベクトルに置き換えることで画面中央側の絵の動きと分離せずに連続性のある映像が生成できる。特に、大画面の液晶表示装置において有効である。
【産業上の利用可能性】
【００３９】
本発明は、表示装置の画像処理回路として利用可能である。
【図面の簡単な説明】
【００４０】
【図１】本実施の形態による映像表示技術に関する画面端対策の一例を示す模式的な図である。
【図２】本実施の形態による画像表示装置の一構成例を示す機能ブロック図である。
【図３】動きベクトル内挿処理回路８５の詳細な構成例を示す機能ブロック図である。
【図４】第１及び第２の実施の形態における内挿ベクトルの割り当て処理の流れを示すフローチャート図である。
【図５】本発明の第２の実施の形態による画像処理装置による画面端対策を示す図である。
【図６】高速パンする場合に、画面端（両側）に波打つように見える不具合の様子を示す図である。
【図７】画面の中央側から周縁部（左側）に向けて一様にパンしている様子を示す図である。
【符号の説明】
【００４１】
８１…画像表示装置、８３…フレームメモリ、８５…動きベクトル内挿処理回路、８７…動きベクトルメモリ、８９…出力画像生成回路、９０ａ、９０ｂ…バッファメモリ、９１…ベクトル検出部、９２…動きベクトル判定部、９３…動きベクトル評価部、９５…全画面平均ベクトル算出部、９６…部分画面平均ベクトル算出部、９７…部分平均ベクトルメモリ、９８…内挿ベクトル割り当て部、９８ａ…置き換え処理部９８ａ、９９…内挿ベクトルメモリ、１０１…内挿ベクトル評価部、１０５…部分領域指定部、１０７…閾値調整部。
【図１】
2010041168.tif 000003
【図２】
2010041168.tif 000004
【図３】
2010041168.tif 000005
【図４】
2010041168.tif 000006
【図５】
2010041168.tif 000007
【図６】
2010041168.tif 000008
【図７】
2010041168.tif 000009