(57)【要約】【課題】ＯＳＤ等の静止領域が存在する画像でもより正確に全画面スクロールを検出し、動きベクトルを補正することのできる動きベクトル補正装置および補正方法を提供する。【解決手段】画面の検出領域毎の動きベクトルを推定する動きベクトル推定部と、検出領域毎に静止領域を判定する静止領域判定部と、静止領域の度数を算出する静止度数算出部と、前記検出領域のベクトルの分布に基づいて、スクロール候補ベクトルを検出するスクロール候補ベクトル検出部と、画像中の動きの均一度合いを表すスクロール度数を算出するスクロール度数算出部と、全画面が一様に動いている画像であるか否かを判定するスクロール判定部と、スクロール判定部の結果に基づいて静止領域以外の動きベクトルをスクロール候補ベクトルで補正するベクトル補正部と、を備える。【選択図】図１
2011186265.tif 000002
【特許請求の範囲】
【請求項１】
連続したフレーム間の動きとして推定した動きベクトルを補正する動きベクトル補正装置であって、
画面を構成する所定の検出領域毎の動きを動きベクトルとして推定する動きベクトル推定部と、
前記検出領域毎に、静止している領域を静止領域として判定する静止領域判定部と、
前記静止領域の度数を静止度数として算出する静止度数算出部と、
前記画面内の全ての前記検出領域の動きベクトルの分布に基づいて、画面一様の動きであるスクロールの動きの候補となるスクロール候補ベクトルを検出するスクロール候補ベクトル検出部と、
前記動きベクトルと前記スクロール候補ベクトルとに基づいて、画像中の動きの均一度合いを表すスクロール度数を算出するスクロール度数算出部と、
前記静止度数と前記スクロール度数とに基づいて、全画面が一様に動いている画像であるか否かを判定するスクロール判定部と、
前記スクロール判定部の結果に基づいて、前記静止領域以外の前記動きベクトルを前記スクロール候補ベクトルで補正するベクトル補正部と、を備えた、
動きベクトル補正装置。
【請求項２】
前記スクロール判定部は、前記スクロール度数と前記静止度数を加算した値が所定の閾値以上であれば全画面スクロールと判定する、
請求項１に記載の動きベクトル補正装置。
【請求項３】
前記スクロール判定部は、前記スクロール度数が、所定の第１の閾値から前記静止度数を減算した第２の閾値以上であれば全画面スクロールと判定する、
請求項１に記載の動きベクトル補正装置。
【請求項４】
連続したフレーム間の動きとして推定した動きベクトルを補正する動きベクトル補正方法であって、
画面を構成する所定の検出領域毎の動きを動きベクトルとして推定する動きベクトル推定ステップと、
前記検出領域毎に静止している領域を静止領域として判定する静止領域判定ステップと、
前記静止領域の度数を静止度数として算出する静止度数算出ステップと、
前記画面内の全ての前記検出領域の動きベクトルの分布に基づいて、画面一様の動きであるスクロールの動きの候補となるスクロール候補ベクトルを検出するスクロール候補ベクトル検出ステップと、
前記動きベクトルと前記スクロール候補ベクトルとに基づいて、画像中の動きの均一度合いを表すスクロール度数を算出するスクロール度数算出ステップと、
前記静止度数と前記スクロール度数とに基づいて、全画面が一様に動いている画像であるか否かを判定するスクロール判定ステップと、
前記スクロール判定ステップの結果に基づいて、前記静止領域以外の前記動きベクトルを前記スクロール候補ベクトルで補正するベクトル補正ステップと、を備えた、
動きベクトル補正方法。
【請求項５】
請求項４記載の動きベクトル補正方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項６】
連続したフレーム間の動きとして推定した動きベクトルを補正するための集積回路であって、
画面を構成する所定の検出領域毎の動きを動きベクトルとして推定する動きベクトル推定部と、
前記検出領域毎に静止している領域を静止領域として判定する静止領域判定部と、
前記静止領域の度数を静止度数として算出する静止度数算出部と、
前記画面内の全ての前記検出領域の動きベクトルの分布に基づいて、画面一様の動きであるスクロールの動きの候補となるスクロール候補ベクトルを検出するスクロール候補ベクトル検出部と、
前記動きベクトルと前記スクロール候補ベクトルとに基づいて、画像中の動きの均一度合いを表すスクロール度数を算出するスクロール度数算出部と、
前記静止度数と前記スクロール度数とに基づいて、全画面が一様に動いている画像であるか否かを判定するスクロール判定部と、
前記スクロール判定部の結果に基づいて、前記静止領域以外の前記動きベクトルを前記スクロール候補ベクトルで補正するベクトル補正部と、を備えた、
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトル補正装置および方法に関し、特に、動画像の一様な動きであるスクロール時に動きベクトルを補正する装置および補正方法等に関する。
【背景技術】
【０００２】
従来、液晶ディスプレイ等に動画像を表示する際に、動画ボケを低減するために、動画像の動きを解析し、動き補償を用いたフレームレート変換が行われている。全画面一様にスクロールしている動画像はフレームレート変換による動画ボケの低減の効果が顕著に現れるが、画像の一部に動き補償を誤った領域が存在すると画質の劣化を起こしやすい傾向がある。
【０００３】
また、液晶ディスプレイ、プラズマディスプレイ等のプログレッシブ表示可能な表示装置に動画像を表示する際に、入力画像がインターレース画像の際は、インターレース／プログレッシブ変換（Ｉ／Ｐ変換）を行っている。一様なスクロール画像は画像の動き情報が既知であれば比較的簡単に高画質のＩ／Ｐ変換を行うことができる。そのためにはスクロールの動きを検出しなければならない。
【０００４】
これらの課題を解決するために、画像のスクロールの動きを検出する技術が求められる。
【０００５】
従来、画像のスクロールの動きを検出する技術として、画面内の動きベクトルの分布に基づいてスクロールの動きを検出する方法が開示されている（例えば、以下の特許文献１）。特許文献１では、画像内の各領域の動きを表す動きベクトルの度数分布を作成し、最大となる度数が所定の閾値より大きい場合スクロールが存在すると判定している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−３１２６８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、全画面スクロールを検出しようとするとき、画像中のＯＳＤ表示部分等、画像が静止している領域が多数存在すると、度数分布の最大となる度数が小さくなり、スクロールとして検出できなくなる。また、このような場合にもスクロールと検出するために閾値を下げると、静止している領域が少ない場合に誤検出が増えてしまうという課題があった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、ＯＳＤ等の静止領域が存在する画像でもより正確に全画面スクロールを検出し、動きベクトルを補正するための動きベクトル補正装置および補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る動きベクトル補正装置は、連続したフレーム間の動きとして推定した動きベクトルを補正する動きベクトル補正装置であって、画面を構成する所定の検出領域毎の動きを動きベクトルとして推定する動きベクトル推定部と、前記検出領域毎に静止している領域を静止領域として判定する静止領域判定部と、前記静止領域の度数を静止度数として算出する静止度数算出部と、前記推定部で推定した画面内の全ての前記検出領域のベクトルの分布に基づいて、画面一様の動きであるスクロールの動きの候補となるスクロール候補ベクトルを検出するスクロール候補ベクトル検出部と、前記動きベクトルと、前記スクロール候補ベクトルに基づいて、画像中の動きの均一度合いを表すスクロール度数を算出するスクロール度数算出部と、前記静止度数と前記スクロール度数に基づいて全画面が一様に動いている画像であるか否かを判定するスクロール判定部と、前記スクロール判定部の結果に基づいて前記静止領域以外の前記動きベクトルを前記スクロール候補ベクトルで補正するベクトル補正部と、を備えるものである。
【００１０】
なお、本発明は、本発明の動きベクトル補正装置の各構成要素による各処理を含む動きベクトル補正方法として実現することもできる。
【００１１】
また、本発明は、本発明の動きベクトル補正方法に含まれる各処理をコンピュータに実行させるためのプログラムとして実現することもできる。
【００１２】
また、そのプログラムをＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等の記録媒体やインターネット等の伝送媒体を介して広く流通させることもできる。
【００１３】
また、本発明の動きベクトル補正装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００１４】
本発明によれば、動画像の全画面スクロールを検出し動きベクトルを補正することができる。また、本発明によれば画面上に静止領域が存在する全画面スクロールを高精度に検出し、動きベクトルを補正することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態を表すブロック図
【図２】本発明の一実施形態を説明するためのフローチャート図
【図３】動きベクトル推定方法を説明するための図
【図４】スクロール判定の様子を説明するための図
【図５】スクロール判定の様子を説明するための図
【図６】スクロール判定の様子を説明するための図
【図７】スクロール判定の様子を説明するための図
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を用いて説明する。図１は、本発明の一実施の形態である動き補正装置１００のブロック図である。動き補正装置１００は、入力画像を格納するフレームバッファ１０１、動きベクトル推定部１０２、静止領域判定部１０３、静止度数算出部１０４、スクロール候補ベクトル検出部１０５、スクロール度数算出部１０６、スクロール判定部１０７、ベクトル補正部１０８から構成される。
【００１７】
動きベクトル推定部１０２は、フレームバッファ１０１から現在のフレームと、1フレーム前のフレームを読み出して、現在のフレーム上の検出領域毎の動きベクトルを推定し出力する。
【００１８】
静止領域判定部１０３は、動きベクトルを入力し、検出領域毎に静止領域であるか否かを判定する。
【００１９】
静止度数算出部１０４は、静止領域判定部１０３で検出した静止領域の度数を１フレーム分カウントする。
【００２０】
スクロール候補ベクトル検出部１０５は、1フレーム内のベクトルの分布に基づいて全画面の動きを表すスクロール候補ベクトルを検出する。
【００２１】
スクロール度数算出部１０６は、スクロール候補ベクトルおよびベクトルの分布に基づいて全画面が均一に動いている度数であるスクロール度数を算出する。
【００２２】
スクロール判定部１０７は、静止度数及び、スクロール度数に基づいて全画面スクロールか否かを判定する。
【００２３】
ベクトル補正部１０８は、スクロール判定部１０７でスクロールと判定されたフレームに対して静止領域以外の領域のベクトルを、スクロール候補ベクトルを用いて補正する。
【００２４】
図２は、本実施の形態の処理を説明するためのフローチャートである。以下、それぞれの処理を詳しく説明する。
【００２５】
本実施の形態では、動きベクトル推定部１０２において画素毎に動きベクトルを推定する（Ｓ２０１）。図３を用いて動きベクトル推定部１０２の処理内容を説明する。動きベクトル推定部１０２では、現在の入力フレームＦ０（フレーム１１１）内の各画素の動きベクトルを推定することを考える。Ｆ０(フレーム１１１)内での座標（ｘ，ｙ）の注目画素１１３に対して最も相関の高い１フレーム前の入力フレームＦ１(フレーム１１２)内の画素１１７を指す動きベクトル１１６を、複数の動きベクトル候補１１５の中から推定する。動きベクトル候補１１５は、指定された範囲（例えばｘ，ｙそれぞれ±４０画素）内の０．５画素単位で変化するす全てのベクトルとする。
【００２６】
相関の指標には、２フレーム間の輝度の差分絶対値和（ＳＡＤ；Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ）を用いる。ＳＡＤ値は、例えば、注目画素の周辺の７×７画素のブロック１１４および、注目画素から動きベクトル候補が指す第Ｎフレーム内の画素の周辺７×７画素のブロック１１８を用いて、式（１）で計算される。ここで、式（１）において、（ｖｘ＿ｃａｎｄ，ｖｙ＿ｃａｎｄ）は動きベクトル候補、ＳＡＤ（ｖｘ＿ｃａｎｄ，ｖｙ＿ｃａｎｄ）は動きベクトル候補（ｖｘ＿ｃａｎｄ，ｖｙ＿ｃａｎｄ）でのＳＡＤ値、Ｌ０（ｘ，ｙ）、Ｌ１（ｘ，ｙ）はそれぞれフレームＦ０，Ｆ１内の座標（ｘ，ｙ）での輝度値を表す。このとき、式（１）で計算したＳＡＤ値が最小となる画素が最も相関が高くなり、そのときのベクトルを注目画素１１３の動きベクトル１１６として検出する。
【００２７】
動きベクトル推定部１０２ではフレームバッファ１０１から現在のフレームの輝度情報と１フレーム前のフレームの輝度情報を読み出し、すべての候補ベクトルを用いてＳＡＤ値を算出し、ＳＡＤ値が最小となる動きベクトルを注目画素の動きベクトルとして検出する。ただし、以上の動きベクトル推定処理において、動きベクトルの検出単位、動きベクトル候補、相関の指標、ＳＡＤ値計算に用いるブロックのサイズおよび形状、はこれに限らない。
【００２８】
【数１】
2011186265.tif 000003
（１）
【００２９】
静止領域判定部１０３では、各画素が静止領域か否かを判定する（Ｓ２０２）。
【００３０】
静止領域を判定する方法として、動きベクトル推定部で検出した動きベクトルがゼロベクトルである場合は静止領域として検出する。
【００３１】
また、別の静止領域判定方法として、その画素の過去数フレームの動きベクトルの多数がゼロベクトルである場合、静止領域として検出する。
【００３２】
また、他の静止領域判定方法として、その画素のゼロベクトルでのＳＡＤ値が所定の閾値以下である場合は静止領域と判定する。
【００３３】
また、他の静止領域判定方法として、その画素の過去数フレームのゼロベクトルでのＳＡＤ値の平均値が所定の閾値以下である場合は静止領域と判定する。
【００３４】
ただし、静止領域判定方法はこれらの方法に限らない。
【００３５】
静止度数算出部１０４では、静止判定部１０３で静止領域と判定された画素の数を１フレーム分カウントし（Ｓ２０３）、静止度数として算出する（Ｓ２０５）。
【００３６】
他の静止度数算出方法として、静止判定部１０３で静止領域と判定された画素の数を１フレーム分カウントしたものをフレーム静止度数として、過去数フレームのフレーム静止度数を平均したものを静止度数として算出してもよい。
【００３７】
スクロール候補ベクトル検出部１０５では、ベクトル推定部１０２から入力するベクトルの分布に基づいてスクロールの動きベクトルの候補となるスクロール候補ベクトルを検出する。
【００３８】
スクロール候補ベクトルを検出するには、ベクトルの度数分布を作成し、全画面スクロールの動きの候補となるスクロール候補ベクトルを検出する。度数分布は、ベクトルの水平成分、垂直成分それぞれ独立して作成する。始めに、各画素のベクトルに基づいて度数分布に加算する（Ｓ２０４）。画面内すべての画素で度数分布への加算を行い、すべての画素が処理済となった後（Ｓ２１２）、作成された度数分布に基づいてスクロール候補ベクトルを検出する（Ｓ２０６）。作成した度数分布において度数が最大となる階級のベクトルをスクロール候補ベクトルとして検出する。また、他の検出方法として、度数が最大となる階級の周辺±ｎ階級のベクトルの平均値をスクロール候補ベクトルとして検出してもよい。
【００３９】
また、他のスクロール候補ベクトル検出方法として、水平成分・垂直成分の２次元度数分布を作成し、２次元度数分布に基づいてスクロール候補ベクトルを検出してもよい。
【００４０】
また、他のスクロール候補ベクトル検出方法として、度数分布を用いずに、画面内すべてのベクトルの平均値をスクロール候補ベクトルと検出してもよい。ただし、本発明のスクロール候補ベクトル検出方法はこれらの方法に限らない。
【００４１】
スクロール度数算出部１０６では動きベクトル推定部で検出したベクトルがどの程度スクロール候補ベクトルに集中しているかをスクロール度数として算出する。
【００４２】
スクロール度数の算出方法として、ベクトル推定部１０２から入力する１フレーム内のすべての画素のベクトルのうちスクロール候補ベクトルと等しいベクトルの度数をスクロール度数とする。
【００４３】
他のスクロール度数算出方法として、ベクトル推定部１０２から入力する１フレーム内すべての画素のベクトルを用いて水平成分・垂直成分の２次元度数分布を作成し、スクロール候補ベクトルの周囲±ｍ階級のベクトルの度数を重み付け加算したものをスクロール度数とする。２次元度数分布はスクロール候補ベクトルを中心として階級を限定することで規模を小さくすることもできる。
【００４４】
他のスクロール度数の算出方法として、以前のフレームで算出したスクロール候補ベクトルの現在のフレーム内の度数をスクロール度数と算出してもよい。
【００４５】
他のスクロール度数算出方法として、ベクトル推定部１０２から入力する１フレーム内すべての画素のベクトルを用いて水平成分・垂直成分の２次元度数分布を作成し、以前のフレームで算出したスクロール候補ベクトルの周囲±ｍ階級のベクトルの度数を重み付け加算したものをスクロール度数としてもよい。その際、２次元度数分布は当該スクロール候補ベクトルを中心として階級を限定することで規模を小さくすることもできる。
【００４６】
スクロール判定部１０６では、スクロール度数と静止度数に基づいてスクロールを判定する（Ｓ２０８）。
【００４７】
スクロール度数に静止度数算出部１０５で算出した静止度数を加算することで、スクロールの動きをしているまたは、静止している領域の度数を判定度数として算出する。判定度数が所定の閾値以上である場合は画像上の大多数の領域が、同一の動きをしている、または静止しているとして、スクロール画像と判定し、判定度数が所定の閾値より小さい場合はスクロール画像と判定しない。スクロール度数に静止度数を加算することで、静止領域の面積に関わらず、スクロール画像での判定度数がほぼ一定になり、単一の閾値を用いても精度よく全画面スクロールを検出できる。
【００４８】
図４に静止度数が小さい場合の例を示し、図５に静止度数が大きい場合の例を示す。どちらの場合もスクロール度数に静止度数を加算することによって、静止度数に関わらず単一の判定閾値で安定して判定することができる。
【００４９】
また、別のスクロール判定方法として、所定の第１の閾値から静止度数を減算したものを第２の閾値として、スクロール度数が第２の閾値以上である場合は画像上の静止領域以外の大多数の領域が同一の動きをしているとして、スクロール画像と判定し、スクロール度数が第２の閾値より小さい場合はスクロール画像と判定しない。所定の閾値から静止度数を減算することで、静止領域の面積によって閾値を増減させることができ、静止領域以外の領域のベクトルが均一であるか否かを判定することで、単一の第１の閾値を用いても精度よく全画面スクロールを検出できる。
【００５０】
図６に静止度数が小さい場合の例を示し、図７に静止度数が大きい場合の例を示す。どちらの場合も第１の閾値から静止度数を減算した第２の閾値を用いて判定することで、静止度数に関わらず単一の第１の閾値で安定して判定することができる。
【００５１】
ベクトル補正部では、スクロール判定部でスクロールと判定したフレームで、静止領域以外の領域のベクトルをスクロール候補ベクトル置換して補正する。
【００５２】
また、別のベクトル補正方法として、静止領域以外の領域のベクトルに対して、スクロール候補ベクトルと、ベクトル推定部で推定したベクトルを任意の比率で混ぜ合わせて補正する。その際、補正比率を時間方向に変化させることで、スクロールと判定されたフレームと、スクロールと判定されないフレームのベクトルを時間方向になめらかに変化させることができる。
【００５３】
また、静止領域と静止領域以外の領域の境界を目立たなくするために、境界部分のベクトルに空間方向にフィルタをかけることでなめらかに変化させてもよい。
【００５４】
本発明の一実施の形態である動き検出装置１００は以上のように補正した動きベクトルを最終出力として出力する。
【００５５】
本実施の形態では検出領域として画素毎にベクトルを検出しているが、検出領域として任意の大きさおよび形状のブロックを用いてもよい。
【００５６】
なお、動きベクトル補正装置１００による一連の処理は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、記憶媒体、情報の入出力のためのインタフェース等で構成されるコンピュータ、および上記各処理を当該コンピュータに実行させるためのプログラムにより実現することもできる。
【００５７】
また、そのプログラムをＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等の記録媒体やインターネット等の伝送媒体を介して広く流通させることもできる。
【００５８】
また、本発明の動きベクトル補正装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【００５９】
以上、本発明の実施の形態を用いて説明したが、本発明はこの実施の形態に限定されない。
【産業上の利用可能性】
【００６０】
液晶ディスプレイ等でフレームレート変換を行う際に本発明を用いることで、全画面スクロール時の画質劣化をなくすことができる。その際、メニュー画面等のＯＳＤが表示された場合でもスクロールと検出し、画質劣化をなくすことができる。
【符号の説明】
【００６１】
１００  動き検出装置
１０１  フレームバッファ
１０２  動きベクトル推定部
１０３  静止領域判定部
１０４  静止度数算出部
１０５  スクロール候補ベクトル検出部
１０６  スクロール度数算出部
１０７  スクロール判定部
１０８  ベクトル補正部
１１１  現在のフレームＦ０
１１２  １フレーム前のフレームＦ１
１１３  Ｆ０内の注目画素
１１４  注目画素を中心としたブロック
１１５  動きベクトル候補
１１６  動きベクトル
１１７  動きベクトルが指すＦ１内の画素
１１８  Ｆ１の注目画素を中心としたブロック
【図１】
2011186265.tif 000004
【図２】
2011186265.tif 000005
【図３】
2011186265.tif 000006
【図４】
2011186265.tif 000007
【図５】
2011186265.tif 000008
【図６】
2011186265.tif 000009
【図７】
2011186265.tif 000010