(57)【要約】【課題】  高精度な動きベクトル検出を実現する。【解決手段】  動画像に含まれる輝度信号及び色差信号を用いて動きベクトルの検出を行う動きベクトル検出装置において、前記動画像のフレームに含まれる予め設定された領域からなる判定用ブロック領域の輝度信号及び色差信号からエッジ量を検出するエッジ量検出部と、前記エッジ量検出部により得られる輝度信号のエッジ量と色差信号のエッジ量とに基づいて判定を行い、前記輝度信号と前記色差信号の混合比を設定する判定部と、前記判定部により得られる混合比に基づいて、前記判定用ブロック領域に対応する前記フレームのブロック領域の輝度信号及び色差信号の合成を行う合成部とを有することにより、上記課題を解決する。【選択図】        図１
2005322991.tif 000002
【特許請求の範囲】
【請求項１】
動画像に含まれる輝度信号及び色差信号を用いて動きベクトルの検出を行う動きベクトル検出装置において、
前記動画像のフレームに含まれる予め設定された領域からなる判定用ブロック領域の輝度信号及び色差信号からエッジ量を検出するエッジ量検出部と、
前記エッジ量検出部により得られる輝度信号のエッジ量と色差信号のエッジ量とに基づいて判定を行い、前記輝度信号と前記色差信号の混合比を設定する判定部と、
前記判定部により得られる混合比に基づいて、前記判定用ブロック領域に対応する前記フレームのブロック領域の輝度信号及び色差信号の合成を行う合成部とを有することを特徴とする動きベクトル検出装置。
【請求項２】
前記判定部は、
複数ある色差信号のエッジ量のうち大きい方のエッジ量及び前記輝度信号のエッジ量を、前記輝度信号のエッジ量に対して予め設定された第１の閾値及び前記色差信号のエッジ量に対して予め設定された第２の閾値とそれぞれ比較して、輝度信号と色差信号との混合比を設定することを特徴とする。
請求項１に記載の動きベクトル検出装置。
【請求項３】
前記判定部は、
前記混合比を、前記輝度信号のエッジ量が前記第１の閾値より小さく、前記色差信号のエッジ量が前記第２の閾値より大きい場合、前記輝度信号に対する前記色差信号の混合比を大きく設定し、それ以外の場合は、前記輝度信号のみが出力されるよう混合比を設定することを特徴する請求項１又は２に記載の動きベクトル検出装置。
【請求項４】
前記エッジ量検出部は、
フレームに含まれるブロック内の全画素に対して、ソーベル（Ｓｏｂｅｌ）オペレータにより得られる水平エッジ量絶対値和及び垂直エッジ量絶対値和の自乗和に基づいて、エッジ量検出を行うことを特徴とする請求項１乃至３の何れか１項に記載の動きベクトル検出装置。
【請求項５】
前記合成部により得られる混合された動画像を用いて動きベクトルの検出を行う動きベクトル検出部を有し、
前記エッジ量検出部は、前記動きベクトル検出部にて動きベクトル検出されるブロック領域以上の面積を有するブロック領域を用いてエッジ量の検出を行うことを特徴とする請求項１乃至４の何れか１項に記載の動きベクトル検出装置。
【請求項６】
動画像に含まれる輝度信号及び色差信号を用いて動きベクトルの検出を行う処理をコンピュータに実行させるための動きベクトル検出プログラムにおいて、
前記動画像のフレームに含まれる予め設定された領域からなる判定用ブロック領域の輝度信号及び色差信号からエッジ量を検出するエッジ量検出処理と、
前記エッジ量検出処理により得られる輝度信号のエッジ量と色差信号のエッジ量とに基づいて判定を行い、前記輝度信号と前記色差信号の混合比を設定する判定処理と、
前記判定処理により得られる混合比に基づいて、前記判定用ブロック領域に対応する前記フレームのブロック領域の輝度信号及び色差信号の合成を行う合成処理とをコンピュータに実行させるための動きベクトル検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトル検出装置及び動きベクトル検出プログラムに係り、特に、高精度な動きベクトル検出を実現するための動きベクトル検出装置及び動きベクトル検出プログラムに関する。
【背景技術】
【０００２】
従来、広く用いられている動きベクトル検出方式としては、カラー画像に含まれる輝度信号のみを用いて検出を行うものがある。この場合、例えば、赤と緑等、色は異なっている場合でも輝度信号の値が等しい領域では、高精度な動きベクトルを検出することができなかった。これを解決するために、動きベクトル検出時に輝度信号だけでなく色差信号も利用する方式が提案されている（例えば、特許文献１参照。）。
【０００３】
特許文献１では、動きベクトル検出時に、輝度信号と色差信号とに適応的に重み付けを行って加算した信号を用いて動きベクトル検出を行っている。また、重み付けの方法は、色差信号の値の分散に応じて行っており、色差信号の分散が大きいブロックについては輝度信号への重みを小さく、色差信号への重みを大きくしている。また、色差信号の分散が小さいブロックについては、輝度信号への重みを大きく、色差信号への重みを小さくしている。
【０００４】
また、他の方式としては、動きベクトル検出時に、輝度信号が平坦でないブロックについては輝度信号を用いて動きベクトル検出を行い、輝度信号が平坦で色差信号が平坦でないブロックについては色差信号を用いて動きベクトル検出を行う方式が提案されている（例えば、特許文献２参照。）。
【０００５】
特許文献２では、ブロックが平坦か否かの判定には、画素の値の最大値と最小値の差が閾値より小さいとき平坦であると判定している。
【特許文献１】特開平５−７３７１号公報
【特許文献２】特開平５−２１９５２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１の場合は、ブロック内の色差信号の分散が大きい場合に、輝度信号の重みを小さくし、色差信号の重みを大きくして適応処理を行う。そのため、輝度信号の如何にかかわらず色差信号の分散が大きいブロックでは輝度信号に対する重み付けが減ってしまう。
【０００７】
また、一般的な映像は、色差信号の解像度が低い。例えば、テレビのデジタル放送やＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等で広く用いられている４：２：０フォーマット（色差信号が水平、垂直両方向ともにサブサンプリングされ、各方向が輝度信号の半分のサイズとなるフォーマット）の場合、色差信号は輝度信号の１／４の解像度しか持つことができない。
【０００８】
更に、高品質の映像を扱う放送局のスタジオ等で使われている４：２：２フォーマット（色差信号が水平方向のみサブサンプリングされ、輝度信号の半分のサイズとなるフォーマット）の場合でも、色差信号は輝度信号の１／２の解像度しか持つことができない。
【０００９】
そのため、輝度信号で動きベクトル検出が可能なブロックであっても、色差信号の分散が大きいという理由で輝度信号に対する重み付けを小さくすると、輝度信号のみを用いて検出した場合より動きベクトルの検出精度が悪化するという問題が生じる。
【００１０】
また、特許文献１では、色差信号の重みを大きくする条件として、色差信号の値の分散を利用しているが、分散が大きくても動きベクトル検出に不適切な場合がある。例えば、色が市松模様状に変化している場合、色差信号の値の分散は大きくなるが、このようなブロックでは色差信号から正しい動きベクトルを検出することはできない。そのため、色差信号の分散が大きいという理由で輝度信号に対する重み付けを小さくすると、輝度信号のみを用いて検出した場合より動きベクトルの検出精度が悪化するという問題が生じる。
【００１１】
また、特許文献２の場合、ブロックが平坦であるか否かの判定にブロック内の各画素の値の最大値と最小値の差と閾値とを比較する。そのため、ブロック内に１点でも画素値の大きい画素と、１点でも画素値の小さい画素があれば、そのブロックは「平坦ではない」と判定される。
【００１２】
しかしながら、わずか２点のみが特徴的な画素値を持っていても正しい動きベクトルが検出できないことは明らかである。また、画素値の最大値と最小値の差が小さくても両者の間に明確なエッジが形成されているブロックでは動きベクトルの検出が可能である。そのため、特許文献２では閾値の大きさによってはこのようなブロックについても「平坦である」と判定されることがある。
【００１３】
このように、特許文献２では、動きベクトル検出に輝度信号を用いるか、あるいは色差信号を用いるかの判定の方法に問題がある。加えて、特許文献２では、輝度信号が平坦であり色差信号が平坦でないと判定されたブロックについては、色差信号のみを用いて動きベクトル検出を行う。
【００１４】
しかしながら、一般的な４：２：０フォーマット信号では、色差信号の解像度は低いため、輝度信号から動きベクトル検出が可能であるにもかかわらず判定を誤り、色差信号のみを用いて動きベクトル検出を行った場合、本来輝度信号から検出可能であった動きベクトルと比べて、著しく精度の低い動きベクトルしか得られないという問題がある。
【００１５】
また、これら従来の手法の何れもが、動きベクトルを検出するブロックと、色差信号の利用を判定する際に利用するブロックのサイズが等しい。そのため、局所的にあるブロックで判定を誤った場合、そのブロックだけ周囲と異なる信号を元に動きベクトル検出を行うことになる。したがって、４：２：０フォーマット信号のように色差信号の解像度が輝度信号の解像度と異なる映像の場合、周囲のブロックと比べて動きベクトルの精度が低いブロックが局所的に現われたり、あるいは逆に周囲のブロックと比べて動きベクトルの精度が高いブロックが局所的に現われることがある。例えば、移動している大きな物体や、画面全体がパンしているような映像では、局所的に誤ったベクトルあるいは逆に正しいベクトルを持ったブロックが存在すると、ブロック歪みとして画質劣化が目立つという問題がある。
【００１６】
本発明は、上述した問題点に鑑みなされたものであり、高精度な動きベクトル検出を実現する動きベクトル検出装置及び動きベクトル検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１８】
請求項１に記載された発明は、動画像に含まれる輝度信号及び色差信号を用いて動きベクトルの検出を行う動きベクトル検出装置において、前記動画像のフレームに含まれる予め設定された領域からなる判定用ブロック領域の輝度信号及び色差信号からエッジ量を検出するエッジ量検出部と、前記エッジ量検出部により得られる輝度信号のエッジ量と色差信号のエッジ量とに基づいて判定を行い、前記輝度信号と前記色差信号の混合比を設定する判定部と、前記判定部により得られる混合比に基づいて、前記判定用ブロック領域に対応する前記フレームのブロック領域の輝度信号及び色差信号の合成を行う合成部とを有することを特徴とする。
【００１９】
請求項１記載の発明によれば、輝度信号と色信号とをエッジ量に基づいて予め設定されるブロック領域毎に混合した動画像を用いることにより、高精度な動きベクトル検出を実現することができる。
【００２０】
請求項２に記載された発明は、前記判定部は、複数ある色差信号のエッジ量のうち大きい方のエッジ量及び前記輝度信号のエッジ量を、前記輝度信号のエッジ量に対して予め設定された第１の閾値及び前記色差信号のエッジ量に対して予め設定された第２の閾値とそれぞれ比較して、輝度信号と色差信号との混合比を設定することを特徴とする。
【００２１】
請求項２記載の発明によれば、輝度信号に色差信号を混合した信号を用いて動きベクトル検出を行うことにより、色が異なっていて輝度が等しい領域についても、高精度な動きベクトル検出を実現することができる。
【００２２】
請求項３に記載された発明は、前記判定部は、前記混合比を、前記輝度信号のエッジ量が前記第１の閾値より小さく、前記色差信号のエッジ量が前記第２の閾値より大きい場合、前記輝度信号に対する前記色差信号の混合比を大きく設定し、それ以外の場合は、前記輝度信号のみが出力されるよう混合比を設定することを特徴する。
【００２３】
請求項３記載の発明によれば、輝度信号のみによる動きベクトル検出を行ったり、輝度信号に色差信号を混合した信号で動きベクトル検出を行うことで、高精度な動きベクトル検出を実現することができる。
【００２４】
請求項４に記載された発明は、前記エッジ量検出部は、フレームに含まれるブロック内の全画素に対して、ソーベル（Ｓｏｂｅｌ）オペレータにより得られる水平エッジ量絶対値和及び垂直エッジ量絶対値和の自乗和に基づいて、エッジ量検出を行うことを特徴とする。
【００２５】
請求項４記載の発明によれば、高精度にエッジ量を検出することができ、そのエッジ量を用いて画像を合成して、高精度な動きベクトル検出を実現することができる。
【００２６】
請求項５に記載された発明は、前記合成部により得られる混合された動画像を用いて動きベクトルの検出を行う動きベクトル検出部を有し、前記エッジ量検出部は、前記動きベクトル検出部にて動きベクトル検出されるブロック領域以上の面積を有するブロック領域を用いてエッジ量の検出を行うことを特徴とする。
【００２７】
請求項５記載の発明によれば、動きベクトル検出されるブロック領域以上の面積を有するブロック領域を用いてエッジ量の検出を行うことにより、画素単位の細かな雑音や局所的な変化に対しても影響を受けにくく、高精度な動きベクトル検出を実現することができる。
【００２８】
請求項６に記載された発明は、動画像に含まれる輝度信号及び色差信号を用いて動きベクトルの検出を行う処理をコンピュータに実行させるための動きベクトル検出プログラムにおいて、前記動画像のフレームに含まれる予め設定された領域からなる判定用ブロック領域の輝度信号及び色差信号からエッジ量を検出するエッジ量検出処理と、前記エッジ量検出処理により得られる輝度信号のエッジ量と色差信号のエッジ量とに基づいて判定を行い、前記輝度信号と前記色差信号の混合比を設定する判定処理と、前記判定処理により得られる混合比に基づいて、前記判定用ブロック領域に対応する前記フレームのブロック領域の輝度信号及び色差信号の合成を行う合成処理とをコンピュータに実行させる。
【００２９】
請求項６記載の発明によれば、輝度信号と色信号とをエッジ量に基づいて予め設定されるブロック領域毎に混合した動画像を用いることにより、高精度な動きベクトル検出を実現することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に動きベクトル検出を実現することができる。
【発明の効果】
【００３０】
本発明によれば、高精度な動きベクトル検出を実現することができる。
【発明を実施するための最良の形態】
【００３１】
＜本発明の概要＞
本発明は、動きベクトルを検出するブロックについて、輝度信号と色差信号のエッジ量の検出を行い、検出したエッジ量に基づいて閾値との判定により輝度信号と色差信号とを混合する混合比を設定し、設定した混合比に基づいて輝度信号と色差信号とを混合し、混合した動画像を用いて動きベクトルの検出を行う。また、判定に用いられる輝度信号、色差信号のブロックの領域は、動きベクトルを検出するブロックと同等か広い領域でエッジ量を検出する。
【００３２】
具体的には、動画像映像における動きベクトル検出時に、輝度信号と色差信号それぞれのエッジ量を求め、色差信号のエッジ量が大きく輝度信号のエッジ量が小さい場合、動きベクトル検出に用いる輝度信号に色差信号を加算する。また、それ以外のエッジ量の場合は、輝度信号のみを用いる。
【００３３】
＜実施形態＞
以下に、上記のような特徴を有する本発明における動きベクトル検出装置及び及び動きベクトル検出プログラムを好適に実施した形態について、図面を用いて詳細に説明する。なお、本発明にて適用可能な動画像の一例としては、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）を用いることができるが、ＭＰＥＧ等に限定されず、例えば、符号化圧縮方式等に適用可能な画像フォーマットであればよい。
【００３４】
図１は、本発明における動きベクトル検出装置の一構成例を示す図である。図１に示す動きベクトル検出装置１０は、動画像処理部１１と、動きベクトル検出部１２とを有するよう構成されている。また、動画像処理部１１は、エッジ量検出部２１と、選択部２２と、重み調整部２３と、判定部２４と、合成部２５とを有するよう構成されている。
【００３５】
動画像処理部１１は、動きベクトルの検出を行う前処理として、動きベクトル検出部１２に入力される動画像の画像処理を行う。また、動きベクトル検出部１２は、動画像処理部１１により得られる動画像を入力して、動きベクトルの検出を行う。なお、動きベクトルの検出方法については、例えば、ブロックマッチング等を用いて検出することができる。ブロックマッチングとは、動画像中に含まれる２つのフレーム間で、予め設定された領域（例えば、縦横８×８画素）のブロック毎にマッチングを行い、フレームの各ブロックに対して動きベクトルを検出するものである。なお、本発明における動きベクトル検出方法はこの限りではない。
【００３６】
次に、動画像処理部１１について、具体的に説明する。動画像処理部１１に入力される動画像は一枚のフレームが輝度データ（Ｙ）と、色差データ（Ｃｒ、Ｃｂ等）に分割された形で構成されている。そのため、本発明では、それぞれのデータに基づいてエッジ量の検出を行う。
【００３７】
エッジ量検出部２１−１は、動きベクトルを検出するブロックを包含する予め設定された領域（例えば、１６×１６画素ブロック）の輝度信号を入力し、入力したブロックにおけるエッジ量を検出する。また、エッジ量検出部２１−２は、原色信号（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の赤信号（Ｒｅｄ）成分から輝度信号成分を取り除いた信号であるＣｒ信号を図１における色差信号１として入力し、エッジ量の検出を行う。また、エッジ量検出部２１−３は、青信号（Ｂｌｕｅ）成分から輝度信号成分を取り除いた信号でありＣｂ信号を図１における色差信号２として入力し、エッジ量の検出を行う。なお、エッジ量検出部２１−２及びエッジ量検出部２１−３に入力される色差信号は、上述とはそれぞれ逆の信号を入力してもよい。
【００３８】
ここで、エッジ量検出部２１におけるエッジ量の検出手段としては、エッジが強く広い面積に存在するほど大きな値を得る方法であればよい。ここでは、一例として、エッジ検出手法として広く用いられているＳｏｂｅｌオペレータを利用する場合について説明する。
【００３９】
Ｓｏｂｅｌオペレータとは、例えば、ある注目画素を中心とした上下左右の９つの画素値（３行３列の係数行列）を有する被処理画素パターンに対して、以下に示す（１）式のような局所積和演算重み係数行列を用いてそれぞれ乗算し、乗算した結果を合計する。この処理を、垂直方向、水平方向の２つの係数行列（ｆｘ，ｆｙ）を用いて処理を行うことにより、垂直方向、水平方向のエッジを検出することができる。
【００４０】
【数１】
2005322991.tif 000003
次に、Ｓｏｂｅｌオペレータを用いたエッジ量検出について具体的に説明する。まず、座標ｘ，ｙにおける輝度信号の値をＹ（ｘ，ｙ）とする。Ｓｏｂｅｌオペレータによって座標（ｘ，ｙ）における輝度信号の水平方向のエッジＹｘ（ｘ，ｙ）と水平方向のエッジＹｙ（ｘ，ｙ）は、以下に示す（２）式、（３）式で求めることができる。
【００４１】
【数２】
2005322991.tif 000004
次に、Ｓｏｂｅｌオペレータによって求めたエッジを、水平方向のエッジと垂直方向のエッジ量絶対値和や自乗和等の方法を用いてエッジ量に変換する。例えば、自乗和を用いると、あるブロックＳの輝度信号のエッジ量Ｙｅｄｇｅ（Ｓ）を以下に示す（４）式で求めることができる。
【００４２】
【数３】
2005322991.tif 000005
また、色差信号のエッジ量についても、上述したエッジ量検出部２１−１に示す手法と同様にエッジ量検出部２１−２及びエッジ量検出部２１−３を用いて求めることができる。エッジ量検出部２１−１は、検出した輝度信号のエッジ量を判定部２４に出力する。また、エッジ量検出部２１−２及びエッジ量検出部２１−３は、それぞれに入力された色差信号のエッジ量を選択部２２に出力する。
【００４３】
選択部２２は、２つの色差信号のそれぞれから検出されたエッジ量のうち、エッジ量が大きい色差信号を選択する。また、選択部２２は、選択した色差信号のエッジ量を重み調整部２３へ出力する。
【００４４】
重み調整部２３は、選択部２２により得られる色差信号のエッジ量と、エッジ量検出部２１−１から出力される輝度信号のエッジ量とが正規化されていない場合に、色差信号のエッジ量に予め設定される係数に基づいて正規化を行う。図１では、例えば、色差信号のエッジ量に予め設定される係数を乗ずることにより正規化を行う。
【００４５】
ここで、正規化する理由としては、例えば、４：２：０フォーマット信号の場合、あるブロックに含まれる色差信号１（又は色差信号２）の画素数は、輝度信号の画素数の１／４である。したがって、例えば、上述した（２）式、（３）式、及び（４）式を用いて求めた色差信号のエッジ量を１６倍する必要がある。なぜなら、（２）式、（３）式のＳｏｂｅｌオペレータで４倍差がつき、更に（４）式で自乗しているため４２＝１６倍となるためである。
【００４６】
なお、エッジ量の求め方によっては、重み調整部２３が不要な場合もある。例えば、１画素あたりのエッジ量を求める場合は、重み調整部２３は不要となる。
【００４７】
また、重み調整部２３をエッジ量検出部２１−１と判定部２４との間に構成させ、エッジ量検出部２１−１から出力される輝度信号のエッジ量について、係数に基づいて重み調整を行ってもよい。重み調整部２３は、上述したエッジ量の調整（正規化）を行った後、判定部２４へ出力する。
【００４８】
判定部２４は、エッジ量検出部２１−１から得られる輝度信号のエッジ量と、重み調整部２３から得られる色差信号のエッジ量とを比較し、輝度信号と色差信号の混合比を設定する。
【００４９】
ここで、本発明において設定される混合比は、輝度信号のエッジ量に対応する第１の閾値と、色差信号のエッジ量に対応する第２の閾値とを予め設定しておき、それぞれのエッジ量と閾値との大小関係を判定し、この判定結果に基づいて混合比を調整（設定）する。
【００５０】
具体的には、輝度信号のエッジ量が第１の閾値より小さく、色差信号のエッジ量が第２の閾値より大きい場合は、輝度信号に対する色差信号の混合比が大きくなるよう設定し、それ以外の場合は、色差信号を混合せず輝度信号のみを用いるように設定する。
【００５１】
例えば、ブロックＳの輝度信号のエッジ量をＹｅｄｇｅ（Ｓ）、色差信号のエッジ量をＣｅｄｇｅ（Ｓ）とした場合、輝度信号の混合比Ｙｍと、色差信号の混合比Ｃｍは、以下に示す（５）式で求めることができる。
【００５２】
【数４】
2005322991.tif 000006
ここで、ｍは第１の閾値、ｎは第２の閾値を示し、エッジ検出手法やブロックのサイズや、動きベクトルの検出方法、検出精度等に基づいて設定される。つまり、ｍは動きベクトルを検出するために十分なエッジ量を示し、ｎは動きベクトルを検出するために最低限必要なエッジ量を示している。また、ｋは輝度信号と色差信号を混合する場合の比率（混合比）を示している。
【００５３】
なお、混合比ｋの値としては、特に限定されないが、例えば、ｋの値が小さすぎるとエッジ量による判定を誤った場合に動きベクトル検出精度が大きく劣化する可能性がある。そのため、例えば、ｋ＝０．５〜０．７程度を用いることが好ましい。
【００５４】
判定部２４は、上述により判定された混合比を合成部２５に出力する。合成部２５は、判定部２４により得られる混合比に基づいて、判定用のブロックに対応する動画像の輝度信号、色差信号１、及び色差信号２の混合を調節する。
【００５５】
例えば、輝度信号の混合比をＹｍ，色差信号の混合比をＣｍ、動きベクトル検出用輝度信号をｇｙ、動きベクトル検出用色差信号１をｇｕ、動きベクトル検出用色差信号２をｇｖとすると、合成部２５の出力する動きベクトル検出用信号Ｖは以下に示す（６）式となる。
【００５６】
【数５】
2005322991.tif 000007
なお、（６）式に示す色差信号１と色差信号２の混合比は同一としているが、本発明においては、この限りではなく、異なる混合比を用いてもよい。その場合、判定部２４が出力する混合比も輝度信号、色差信号１、及び色差信号２からなる３つの信号の混合比を設定する。
【００５７】
合成部２５は、上述した判定部２４により得られる混合比に基づいて、判定用のブロック領域に対応する動画像のブロック領域の輝度信号と色差信号とを合成し、合成した動画像を出力する。この動画像を動きベクトル検出部１２に入力することで、高精度な動きベクトル検出を実現することができる。つまり、輝度信号のエッジ量が小さく、色差信号のエッジ量が大きいブロックについては、輝度信号に色差信号を混合した信号を用いて動きベクトル検出を行い、それ以外については、輝度信号のみを用いる。これにより、色が異なっていて輝度が等しい領域についても、高精度な動きベクトル検出を実現することができる。
【００５８】
＜他の実施形態：エッジ検出部＞
ここで、上述したエッジ量検出部２１としては、エッジが強く広い面積に存在するほど、大きな値を得る方法であれば、どのような方法を用いてもよい。例えば、上述したＳｏｂｅｌオペレータ以外にも、ＰｒｅｗｉｔｔオペレータやＲｏｂｅｒｔｓオペレータ等の微分型と呼ばれるエッジ検出手法や、Ｒｏｂｉｎｓｏｎのエッジ検出オペレータやＫｉｒｓｃｈのエッジ検出オペレータ等のテンプレート型と呼ばれるエッジ検出手法等、様々なエッジ検出手法を用いることができる。
【００５９】
また、上述した（４）式についても、エッジが強く広い面積に存在するほど大きな値となれば、（４）式以外の式であっても良く、用いるエッジ検出手法に応じて適切に設定することができる。
【００６０】
例えば、上述のＳｏｂｅｌオペレータを用いる場合は、（４）式の自乗の部分を省略して以下に示す（７）式を用いてもよい。
【００６１】
【数６】
2005322991.tif 000008
＜他の実施形態：判定部における混合比可変＞
また、上述した判定部２４は、出力する混合比を、輝度信号のエッジ量が小さく色差信号のエッジ量が大きい場合は、輝度信号に対する色差信号の混合比を大きくし、それ以外の場合は色差信号を混合せず輝度信号のみを用いるように調節すればよく、本発明においては、上述した（５）式に限らず、（５）式以外の式を用いてもよい。例えば、以下に示す（８）式を用いてもよい。
【００６２】
【数７】
2005322991.tif 000009
なお、上述した（８）式に示すｍ，ｎは（５）式におけるｍ，ｎと同様である。また、（８）式は、輝度信号のエッジ量が小さいほど、また色差信号のエッジ量が大きいほど、輝度信号の混合比を下げる式である。したがって、これらのエッジ検出手法や、エッジ量への変換の式、混合比を求める式は、本発明を適用する動きベクトル検出手法に応じて適切に設定される。
【００６３】
＜ブロック領域＞
ここで、本発明において、判定を行うブロック領域（ブロックサイズ）は、動きベクトル検出を行うブロック領域以上の領域でエッジ量の検出を行う。なお、判定用のブロック領域は、動きベクトル検出を行うブロック領域を包含するものとする。
【００６４】
具体的には、動きベクトルを検出するブロックのサイズをＳとしたとき、Ｓ∈Ｓ’となるブロックＳ’（動きベクトルを検出するブロックを包含するブロック）に対して検出したエッジ量を、ブロックＳのエッジ量とする。
【００６５】
例えば、Ｓｏｂｅｌオペレータを用いたエッジ検出を行う場合には、（４）式と同様に、ブロックＳのエッジ量を以下に示す（９）式で求める。
【００６６】
【数８】
2005322991.tif 000010
輝度信号の混合比Ｙｍと色差信号の混合比Ｃｍについても、（５）式と同様に以下に示す（１０）式で求める。
【００６７】
【数９】
2005322991.tif 000011
なお、上述した（１０）式に示すｍ’は第１の閾値、ｎ’は第２の閾値を示し、エッジ検出手法やブロックのサイズや、動きベクトルの検出方法、検出精度等に基づいて設定される。つまり、ｍ’は動きベクトルを検出するために十分なエッジ量を示し、ｎ’は動きベクトルを検出するために最低限必要なエッジ量を示している。また、ｋは輝度信号と色差信号を混合する場合の比率（混合比）を示している。
【００６８】
このように、動きベクトル検出を行うブロック領域以上のブロック領域を用いてエッジ量を検出することにより、画素単位の細かな雑音や局所的なエッジ量の変動の影響を受けにくくすることができ、高精度な動くベクトル検出を実現することができる。
【００６９】
上述の構成を用いることにより、輝度信号のエッジ量が小さく（すなわち、輝度信号による動きベクトル検出が困難である）、色差信号のエッジ量が大きい（すなわち、色差信号による動きベクトル検出が容易である）ブロックについては、輝度信号に色差信号を混合した信号を用いて動きベクトル検出を行う。これにより、色が異なっていて輝度が等しい領域についても、高精度な動きベクトル検出を実現することができる。
【００７０】
なお、上述の実施例では、動画像処理部１１から出力される動画像信号を動きベクトル検出に適用する例を示しているが、本発明における動画像処理を行った動画像信号を用いて、例えば、テクスチャ解析や画像特性の分析等を行う際にも、適用することができ、高精度化を図ることができる。
【００７１】
＜ハードウェア構成＞
ここで、上述したように動きベクトル検出装置１０は、専用の装置構成により本発明における動きベクトル検出を行うこともできるが、上述した各構成における動きベクトル検出処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にプログラムをインストールすることにより、本発明における動きベクトル検出を実現することができる。
【００７２】
ここで、本発明における実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図２は、本発明における動きベクトル検出処理が実現可能なハードウェア構成の一例を示す図である。
【００７３】
図２におけるコンピュータ本体には、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、メモリ装置３５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３６と、ネットワーク接続装置３７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００７４】
入力装置３１は、使用者が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者からのプログラムの実行等、各種操作信号を入力する。出力装置３２は、本発明における動きベクトル検出処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ３６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【００７５】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体３８等により提供される。プログラムを記録した記録媒体３８は、ドライブ装置３３にセット可能であり、記録媒体３８に含まれる実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。
【００７６】
補助記憶装置３４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００７７】
ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置３５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、動きベクトル検出における各処理を実現することができる。プログラムの実行中に必要な各種情報は、補助記憶装置３４から取得することができ、また格納することもできる。
【００７８】
ネットワーク接続装置３７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【００７９】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで動きベクトル検出を実現することができる。また、プログラムをインストールすることにより、容易に動きベクトル検出処理を実現することができる。
【００８０】
＜処理手順＞
次に、本発明における動きベクトル検出処理手順についてフローチャートを用いて説明する。図３は、動きベクトル検出処理手順の一例を示すフローチャートである。
【００８１】
まず、予め設定される判定用のブロック領域の輝度信号（Ｙ）及び色差信号（Ｃｒ，Ｃｂ）を入力する（Ｓ０１）。次に、入力した輝度信号及び色差信号から上述した手法を用いてエッジ量の検出を行う（Ｓ０２）。
【００８２】
ここで、Ｓ０２にて検出されたエッジ量のうち、２つの色差信号のエッジ量から値が大きいエッジ量を選択する（Ｓ０３）。次に、輝度信号又は色差信号のエッジ量に重み調整が必要であるかを判断する（Ｓ０４）。輝度信号又は色差信号に重み調整が必要である場合（Ｓ０４において、ＹＥＳ）、予め設定された係数に基づいて、重み調整を行う（Ｓ０５）。Ｓ０５の処理が終了後、又は重み調整が必要ない場合（Ｓ０４において、ＮＯ）、輝度信号及び色差信号のエッジ量から上述した閾値に基づいて判定して混合比を設定する。（Ｓ０６）。
【００８３】
次に、Ｓ０１の処理にて入力した判定用のブロックに対応するブロックの輝度信号及び色差信号の入力に対し（Ｓ０７）、Ｓ０６にて判定された混合比に基づいてブロック毎に合成し、動画像を出力する（Ｓ０８）。次に、合成された動画像を用いて動きベクトルの検出を行う（Ｓ０９）。
【００８４】
このように、動きベクトル検出処理により、高精度な動きベクトル検出を実現することができる。また、本発明における実行プログラムをコンピュータにインストールすることにより、容易に高精度に動きベクトル検出を実現することができる。
【００８５】
なお、動きベクトル検出処理において、Ｓ０１からＳ０８までの処理については、動画像処理プログラムとして生成し、既存の動きベクトル検出プログラムと組み合わせてもよい。また、動画像処理プログラムとテクスチャ解析用プログラムや画像特性の分析プログラムとを組み合わせて高精度な処理を実現することもできる。
【００８６】
上述したように本発明によれば、高精度な動きベクトル検出を実現することができる。具体的には、輝度信号のエッジ量が小さく、色差信号のエッジ量が大きいブロックについては、輝度信号に色差信号を混合した信号を用いて動きベクトル検出を行うことにより、輝度が等しく色が異なる領域についても、高精度な動きベクトル検出を実現することができる。
【００８７】
また、本発明は、色差信号の利用の判定にエッジ量を用いているため、色の値の分散や、色の値の最大値と最小値の差を用いる場合よりも、正確に動きベクトル検出の可能性を判定できる。
【００８８】
例えば、色差信号の値が市松模様状に変化している場合や、ブロック内に色差信号の値の大きいな点と小さな点がそれぞれ１点ずつ存在しており、残りの色差信号の値が平坦な場合等は、色差信号による動きベクトル検出ができないはずであるが、従来の方法では色差信号による動きベクトル検出ができるブロックと判定されていた。本発明では、これらのブロックはエッジ量が小さいため、色差信号による動きベクトル検出ができないブロックと正確に判定できる。
【００８９】
また、本発明では、輝度信号のエッジ量が大きい場合、輝度信号のみを用いて動きベクトル検出を行う。したがって、輝度信号を用いた動きベクトル検出が可能であるブロックに対して、色差信号による動きベクトル検出を行ったり、輝度信号に色差信号を混合した信号で動きベクトル検出を行うことで、動きベクトル検出精度が低下する問題は生じなくなる。
【００９０】
また、判定用のブロックを実際に使用するブロックよりも大きくとっているため、画素単位の細かな雑音や局所的な変化に対しても影響を受けにくく、高精度な動きベクトル検出を実現することができる。これにより、周囲のブロックに対してあるブロックが孤立的に異なる精度の動きベクトルを検出することがないため、移動する大きな物体や、画面全体がパンしているような映像における画質劣化を防ぐことができる。
【００９１】
なお、処理効率を向上させるために、あるフレームを用いて設定された上述の混合比を、動画像に含まれる複数のフレームに適用することもできる。更に、複数のフレームの判定結果から混合比を設定して使用することもできる。
【００９２】
更に、本発明は、輝度信号による動きベクトル検出と色差信号による動きベクトル検出のどちらも可能なブロックについては、輝度信号による動きベクトル検出を行う。そのため、一般的に用いられる映像（４：２：０フォーマットや４：２：２フォーマット等、色差信号の解像度が低い映像フォーマット）に適用した場合でも、検出する動きベクトルの精度を劣化させることはない。
【００９３】
本発明における動きベクトル検出装置は、映像圧縮装置等に適用されるフレーム間予測処理や、映像装置等に適用される動き推定処理等で用いられる動きベクトル検出装置等に適用することができる。また、本発明において動画像処理部を用いて出力される信号は、動きベクトル検出にのみ適用されるのではなく、例えば、テクスチャ解析や画像特性の分析等に使用することができる。
【００９４】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００９５】
【図１】本発明における動きベクトル検出装置の一構成例を示す図である。
【図２】本発明における動きベクトル処理が実現可能なハードウェア構成の一例を示す図である。
【図３】動きベクトル検出処理手順の一例を示すフローチャートである。
【符号の説明】
【００９６】
１０  動きベクトル検出装置
１１  動画像処理部
１２  動きベクトル検出部
２１  エッジ量検出部
２２  選択部
２３  重み調整部
２４  判定部
２５  合成部
３１  入力装置
３２  出力装置
３３  ドライブ装置
３４  補助記憶装置
３５  メモリ装置
３６  ＣＰＵ
３７  ネットワーク接続装置
３８  記録媒体
【図１】
2005322991.tif 000012
【図２】
2005322991.tif 000013
【図３】
2005322991.tif 000014