(57)【要約】【課題】候補となるフレーム動きベクトルおよびフィールド動きベクトルの一方を選択する場合に、選択誤りを抑えて符号化効率を向上させること。【解決手段】動き補償予測符号化における動きベクトル検出方法であって、入力される現フレームのマクロブロックに対して、フレーム動きベクトルおよびフィールド動きベクトルの候補を検出し、各ベクトルに付随する評価値を評価値比較手段１７で比較した結果を用いてどちらか一方をベクトル選択手段１８で選択する。この際、全体移動量検出手段１４からの全体移動量および信頼度に応じて変化する重み係数を重み付加手段１６で一方の評価値に付して評価値比較手段１７で比較する。【選択図】図１
2006217449.tif 000002
【特許請求の範囲】
【請求項１】
入力画像フレームを所定のブロックに分割し、前記ブロック毎に、他の参照フレームからの動きを表す動きベクトルを検出する方法であって、前記ブロックについて前記参照フレームに対するフレーム動きベクトルを求め、前記ブロックを２つのフィールドブロックに分離した各フィールドブロックについて前記参照フレームの第１または第２フィールドに対するフィールド動きベクトルを求め、前記フレーム動きベクトルに付随するフレーム評価値と、前記フィールド動きベクトルに付随するフィールド評価値とを算出して比較し、一方の動きベクトルを選択する際に、画像の全体移動量の大きさに応じて変化する重みを前記フレーム評価値及び前記フィールド評価値の少なくとも一方に付して比較することを特徴とする動きベクトル検出方法。
【請求項２】
前記全体移動量は、符号化する現フレームと動き補償予測を行うために用いられる参照フレームとの間で画像全体を変位させマッチングする画素間の差分の絶対値総和が最小となる変位点であることを特徴とする請求項１記載の動きベクトル検出方法。
【請求項３】
前記全体移動量を検出する際に用いる前記現フレームおよび前記参照フレームは、一定の間引き率でサブサンプリングされた縮小画像であることを特徴とする請求項２記載の動きベクトル検出方法。
【請求項４】
前記重みは、さらに前記全体移動量に対する信頼度によっても変化することを特徴とする請求項１記載の動きベクトル検出方法。
【請求項５】
前記重みは、前記全体移動量が小であってかつ前記信頼度が大きいほどよりフレーム動きベクトルが優先的に選択されるように変化することを特徴とする請求項４記載の動きベクトル検出方法。
【請求項６】
前記信頼度は、前記全体移動量が示す変位点における前記現フレームと前記参照フレームとのマッチング画素間の差分絶対値総和または差分二乗総和または相関係数に基づいて算出されることを特徴とする請求項４記載の動きベクトル検出方法。
【請求項７】
前記評価値の比較は、前記フレーム評価値をＦａ、前記フィールド評価値をＦｂ、前記重みをＫとするとき、Ｆａ≦Ｆｂ＋Ｋの条件が成立する場合にフレーム動きベクトルを選択するものであって、前記信頼度を所定の閾値と比較することによって信頼性が高いか低いかを判断し、信頼性が低いと判断された場合に前記重みＫを最小値に制限し、信頼性が高いと判断された場合に前記重みＫを前記全体移動量が小さいほど大きい値に設定して比較することを特徴とする請求項４記載の動きベクトル検出方法。
【請求項８】
前記評価値の比較は、前記フレーム評価値をＦａ、前記フィールド評価値をＦｂ、前記重みをＭとするとき、Ｆａ≦Ｆｂ×Ｍの条件が成立する場合にフレーム動きベクトルを選択するものであって、前記信頼度を所定の閾値と比較することによって信頼性が高いか低いかを判断し、信頼性が低いと判断された場合に前記重みＭを最小値に制限し、信頼性が高いと判断された場合に前記重みＭを前記全体移動量が小さいほど大きい値に設定して比較することを特徴とする請求項４記載の動きベクトル検出方法。
【請求項９】
入力画像フレームを所定のブロックに分割し、前記ブロック毎に、他の参照フレームからの動きを表す動きベクトルを検出する方法であって、前記ブロックについて前記参照フレームに対するフレーム動きベクトルを求め、前記ブロックを２つのフィールドブロックに分離し、各フィールドブロックについて前記参照フレームの第１または第２フィールドに対するフィールド動きベクトルを求め、前記フレーム動きベクトルに付随するフレーム評価値と、前記フィールド動きベクトルに付随するフィールド評価値とを算出して比較し、一方の動きベクトルを選択する際に、画像を複数領域に分割し、各分割領域ごとに移動量の大きさを求め、前記ブロックが含まれる領域の前記移動量に応じて変化する重みを前記フレーム評価値及び前記フィールド評価値の少なくとも一方に付して比較することを特徴とする動きベクトル検出方法。
【請求項１０】
前記移動量は、前記現フレームの分割した領域の画像と動き補償予測を行うために用いられる参照フレームとの間で変位させマッチングする画素間の差分絶対値総和が最小である変位点として得られることを特徴とする請求項９記載の動きベクトル検出方法。
【請求項１１】
前記移動量を検出する際に用いる前記現フレームおよび前記参照フレームは、一定の間引き率でサブサンプリングした縮小現画像であることを特徴とする請求項１０記載の動きベクトル検出方法。
【請求項１２】
前記重みは、さらに前記ブロックが含まれる領域の前記移動量に対する信頼度に応じて変化することを特徴とする請求項９記載の動きベクトル検出方法。
【請求項１３】
前記重みは、前記移動量が小であってかつ前記信頼度が大きいほどよりフレーム動き補償予測方式が優先的に選択されるように変化することを特徴とする請求項１２記載の動きベクトル検出方法。
【請求項１４】
前記信頼度は、前記移動量が示す変位点における前記現フレームの分割領域の画像と前記参照フレームとのマッチング画素間の差分絶対値総和または差分二乗総和または相関係数に基づいて算出されることを特徴とする請求項１２記載の動きベクトル検出方法。
【請求項１５】
前記評価値の比較は、前記フレーム評価値をＦａ、前記フィールド評価値をＦｂ、前記重みをＫとするとき、Ｆａ≦Ｆｂ＋Ｋの条件が成立する場合にフレーム動きベクトルを選択するものであって、前記信頼度を所定の閾値と比較することによって信頼性が高いか低いかを判断し、信頼性が低いと判断された場合に前記重みＫを最小値に制限し、信頼性が高いと判断された場合に前記重みＫを前記全体移動量が小さいほど大きい値に設定して比較することを特徴とする請求項１２記載の動きベクトル検出方法。
【請求項１６】
前記評価値の比較は、前記フレーム評価値をＦａ、前記フィールド評価値をＦｂ、前記重みをＭとするとき、Ｆａ≦Ｆｂ×Ｍの条件が成立する場合にフレーム動きベクトルを選択するものであって、前記信頼度を所定の閾値と比較することによって信頼性が高いか低いかを判断し、信頼性が低いと判断された場合に前記重みＭを最小値に制限し、信頼性が高いと判断された場合に前記重みＭを前記全体移動量が小さいほど大きい値に設定して比較することを特徴とする請求項１２記載の動きベクトル検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号、特にインタレース画像信号の動き補償予測符号化に用いられる動きベクトル検出方法に関するものである。
【背景技術】
【０００２】
近年、動画像信号を高能率で情報圧縮できる手法として、動き補償予測フレーム間符号化方式が用いられている。この方式は、画像フレーム間での動きを予測する工程を含む。
【０００３】
動き補償予測フレーム間符号化方式は、現在符号化しようとするマクロブロック（以下、現マクロブロックと呼ぶ）に最も相関の高い過去または未来の参照フレームの画素ブロックを検出し、現マクロブロックと検出された画素ブロック（以下、参照ブロックと呼ぶ）の差分を符号化するものである。符号化データを伝送する際には、この符号化された差分データに付随して、参照ブロックの現マクロブロックからの動き量を示す動きベクトルを符号化し伝送する。
【０００４】
一般的な動きベクトルの検出方法では、現マクロブロックは、ある参照フレームに対して、フレーム動き予測およびフィールド動き予測を行う。ここで現マクロブロックは画像フレームデータをブロック分割して生成された、例えば１６×１６画素からなるブロックである。
【０００５】
フレーム動き予測を行う場合、現マクロブロックは参照フレームを所定の探索範囲内でブロックマッチング検査を行い、最も相関の大きい参照ブロックを特定する。この際、特定した参照ブロックの現マクロブロックからの空間的な変位をフレーム動きベクトルと呼ぶ。そしてフレーム動きベクトルを特定したときに用いられた相関指標をフレーム評価値とする。なお、ブロックマッチング検査とは、対応する１６×１６画素のブロック間の画素差分絶対値の総和を評価値とし、探索範囲内の全ての参照ブロックについてこの評価値を求め、評価値が最小となる参照ブロックを最も相関が高いと判断する方法である。
【０００６】
フィールド動き予測を行う場合、まず現マクロブロックは１６×８画素の２つのフィールドブロックに分割される。ここでは、フレームを構成する２つのフィールドをトップフィールドおよびボトムフィールドと呼ぶことに従い、この２つに分割されたフィールドブロックを現トップフィールドブロック、および現ボトムフィールドブロックと呼ぶ。
【０００７】
現トップフィールドブロックは参照フレームのトップフィールドについてブロックマッチング検査を行い、最も相関の大きい参照ブロックを特定し、第１トップフィールドベクトルおよび第１トップフィールド評価値が決まる。同様に、現トップフィールドブロックは参照フレームのボトムフィールドについてブロックマッチング検査を行い、第２トップフィールドベクトルおよび第２トップフィールド評価値を求める。
【０００８】
同様に、現ボトムフィールドブロックは参照フレームのトップフィールドについてブロックマッチング検査を行い、第１ボトムフィールドベクトルおよび第１ボトムフィールド評価値を決定する。同様に、現ボトムフィールドブロックが参照フレームのボトムフィールドについてブロックマッチング検査を行い、第２ボトムフィールドベクトルおよび第２ボトムフィールド評価値を決定する。
【０００９】
このように、１つの現マクロブロックにつき、参照フレームに対する１つのフレームベクトルと４つのフィールドベクトルが候補として求められる。最終的に符号化するときには、これらのうち１つのフレームベクトルか、１つのトップフィールドベクトルと１つのボトムフィールドベクトルの組からなるフィールドベクトルかを選択し、さらに参照フレームが２つある場合には、一方の参照フレームに対するベクトル、もしくは双方の参照フレームからなる双方向参照ベクトルを選択して１つのベクトルを特定し、符号化に用いる。
【００１０】
このときに用いられる判断方法は、候補となる全てのベクトルの評価値の中で最小の評価値を持つベクトルを選択するというものが一般的である。
【００１１】
さて、一般的に公知の技術として知られているＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ｐｈａｓｅ  ２）のテストモデル５（ＴＭ５）を例として、上述した動きベクトル検出方法の実現方法を説明する。
【００１２】
図７はこの従来の動きベクトル検出方法を用いた装置の構成を示すブロック図である。
【００１３】
フレーム動きベクトル検出手段１０２は、入力端子１００から入力される現フレームのあるフレームマクロブロックと、入力端子１０１から入力される参照フレームのある設定されたベクトル探索範囲内の全てのフレーム参照ブロックについてブロックマッチング検査を行い、最小の評価値Ｄｆを取るブロックを選択し、そのブロック位置を示す動きベクトルＭＶｆを検出する。
【００１４】
次に、フィールド動きベクトル検出手段１０３は、入力端子１００から入力される現フレームのあるフィールドマクロブロックと、入力端子１０１から入力される参照フレームのある設定されたベクトル探索範囲内の全てのトップフィールド参照ブロックおよびボトムフィールド参照ブロックについてブロックマッチング検査を行い、上記のように４種類のフィールド動きベクトルとそれらの評価値を決定する。そして最適なトップフィールドベクトルＭＶｔとボトムフィールドベクトルＭＶｂの組を選択し、その評価値Ｄｉを出力する。なおこの評価値Ｄｉは選択されたトップフィールドベクトルＭＶｔの評価値とボトムフィールドベクトルＭＶｂの評価値の和として求められる。
【００１５】
なお評価値とは、現マクロブロックと参照ブロックとの画素差分絶対値の総和である。
【００１６】
評価値比較手段１０４は、上記決定したフレーム動きベクトルの評価値Ｄｆと、フィールド動きベクトルの評価値Ｄｉの大きさを比較して、評価値の小さい方の動きベクトルが最適であると判断し、その動きベクトルを選択する制御信号をベクトル選択手段１０５へ出力する。
【００１７】
ベクトル選択手段１０５は、上記決定したフレームベクトルＭＶｆと、フィールドベクトルＭＶｔおよびＭＶｂの組が入力され、上記評価値比較手段１０４からの制御信号に従って、一方の動きベクトルを選択する。選択された動きベクトルは出力端子１０６へ出力される。そしてこの選択された動きベクトルが最終的に動き補償予測符号化に用いられる。
【００１８】
また、特許文献１に開示される動きベクトル検出装置では、最小値でなくとも最小値付近の評価値をとるベクトル候補のうちで、発生符号量が最も小さくなるものを検出する方法が示されている。この方法は、評価値の信頼性があまり高くないことに起因するベクトルのばらつきによって、ベクトルを符号化し伝送する際の符号量が増加することを防ぐことを主たる目的としており、マクロブロックに対して探索範囲内の動き検出を行い、最小の評価値を算出し、次にその最小値よりわずかに大きな範囲を設定し、全候補ベクトルのうち前記範囲内の評価値を取る候補ベクトルを選び、前マクロブロックで求めた共通ベクトルと一致する候補ベクトルがあればそれを採用するものである。
【特許文献１】特開２０００−１５２２４３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
しかしながら、上記のＴＭ５で示されるような従来の動きベクトル検出方法は、以下のような課題がある。
【００２０】
この従来の動きベクトル検出方法では、例えば動く物体のエッジ部分等の形状が明確な部分では顕著にフレーム評価値とフィールド評価値の差が出るが、一様に平坦な領域や一様に複雑な領域において、フレーム評価値とフィールド評価値の差が出にくいためどちらが選択されるか分からない。特に、入力画像が静止画である場合や画面全体がゆっくり動いている場合は、参照フレームと現フレームとの間で変形が少なくフレームブロックでの画素間マッチングがとりやすいので、フレーム動き検出が可能となりやすい。しかし上記のような特徴のない一様な領域では、フィールドベクトルが選択されてしまう場合が多くある。このような場合、フィールドベクトルを採用すると、（１）ベクトル符号量がフレームベクトルより多く伝送しなければならない。（２）部分的な領域で見ると連続フレーム間で類似した絵柄なのに参照方式が頻繁に変化することによって不均一な歪が発生する、などの問題があった。このように、評価値の比較自体に画像特徴などの情報が含まれず、常に同等な比較を行う点で最適な動きベクトルが得られない点が課題であった。
【００２１】
一方、画面全体が大きく動いている画像の場合は、フィールド間の時間差があるので、フレームブロックを構成するトップフィールドとボトムフィールドでは絵柄のずれが生じる。これが更に参照フレームのこのようなずれと等しくない限りフレームベクトルで探索できる確率は低下する。しかし、上記一様な画像領域ではフレームベクトルが選択される場合がある。
【００２２】
また、特許文献１に開示される動きベクトル検出装置では、上述のとおり、最小値でなくとも最小値付近の評価値をとるベクトル候補のうちで、発生符号量が最も小さくなるものを検出する方法であるが、動きベクトル符号化アルゴリズムに従った符号量削減による画質向上を目的としたもので、ベクトルタイプ及びベクトル長をできるだけ直前マクロブロックに合わせることを特徴とするものであって、符号化する画像全体の特徴や連続フレーム間の歪の不均一性を考慮したものではない。
【００２３】
よって本発明は、画像全体の動き量に基づき、絵柄の特徴の無い部分においても発生符号量／歪均一化において適切な動きベクトルを選択可能とし画質を向上させることを目的とする。
【００２４】
また、画像の分割領域ごとに可変制御し、１つのフレーム内の静止部／動き部に応じて発生符号量／歪均一化において適切な動きベクトルを選択可能とし画質を向上させることを目的とする。
【課題を解決するための手段】
【００２５】
本発明は、上記の課題を解決するために次のような手段を講じる。
【００２６】
第１の解決手段として、本発明による動きベクトル検出方法は、入力画像フレームを所定のブロックに分割し、ブロック毎に、他の参照フレームからの動きを表す動きベクトルを検出する方法であって、ブロックについて参照フレームに対するフレーム動きベクトルを求め、ブロックを２つのフィールドブロックに分離した各フィールドブロックについて参照フレームの第１または第２フィールドに対するフィールド動きベクトルを求め、フレーム動きベクトルに付随するフレーム評価値と、フィールド動きベクトルに付随するフィールド評価値とを算出して比較し、一方の動きベクトルを選択する際に、画像の全体移動量の大きさに応じて変化する重みをフレーム評価値及びフィールド評価値の少なくとも一方に付して比較することを特徴とする。
【００２７】
上記において、全体移動量は、符号化する現画像と動き補償予測を行うために用いられる参照画像との間で画像全体を変位させマッチングする画素間の差分の絶対値総和が最小となる変位点として決定される。また、全体移動量を検出する際に用いる現フレームおよび前記参照フレームは、一定の間引き率でサブサンプリングされた縮小画像であってもよい。
【００２８】
また上記において、評価値に付される重みは、全体移動量に対する信頼度によっても変化することを特徴とする。特に、全体移動量が小であってかつ信頼度が大きいほどよりフレーム動きベクトルが優先的に選択されるように変化することを特徴とする。
【００２９】
また上記において、信頼度は、全体移動量が示す変位点における現フレームと参照フレームとのマッチング画素間の差分絶対値総和または差分二乗総和または相関係数に基づいて算出されることを特徴とする。
【００３０】
また上記において、評価値の比較は、フレーム評価値をＦａ、フィールド評価値をＦｂ、重みをＫとするとき、Ｆａ≦Ｆｂ＋Ｋの条件が成立する場合にフレーム動きベクトルを選択するものであって、信頼度を所定の閾値と比較することによって信頼性が高いか低いかを判断し、信頼性が低いと判断された場合に重みＫを最小値に制限し、信頼性が高いと判断された場合に重みＫを全体移動量が小さいほど大きい値に設定して比較することを特徴とする。また評価値の比較は、フレーム評価値をＦａ、フィールド評価値をＦｂ、重みをＭとするとき、Ｆａ≦Ｆｂ×Ｍの条件が成立する場合にフレーム動きベクトルを選択するものであって、信頼度を所定の閾値と比較することによって信頼性が高いか低いかを判断し、信頼性が低いと判断された場合に重みＭを最小値に制限し、信頼性が高いと判断された場合に重みＭを全体移動量が小さいほど大きい値に設定して比較するものであっても良い。
【００３１】
第２の解決手段として、本発明による動きベクトル検出方法は、入力画像フレームを所定のブロックに分割し、ブロック毎に、他の参照フレームからの動きを表す動きベクトルを検出する方法であって、ブロックについて参照フレームに対するフレーム動きベクトルを求め、ブロックを２つのフィールドブロックに分離した各フィールドブロックについて参照フレームの第１または第２フィールドに対するフィールド動きベクトルを求め、フレーム動きベクトルに付随するフレーム評価値と、フィールド動きベクトルに付随するフィールド評価値とを算出して比較し、一方の動きベクトルを選択する際に、画像を複数領域に分割し、各分割領域ごとに移動量の大きさを求め、ブロックが含まれる領域の移動量に応じて変化する重みをフレーム評価値及びフィールド評価値の少なくとも一方に付して比較することを特徴とする。
【００３２】
上記において、移動量は、現フレームの分割領域の画像と動き補償予測を行うために用いられる参照フレームとの間で変位させマッチングする画素間の差分絶対値総和が最小である変位点として決定される。また、移動量を検出する際に用いる現フレームおよび参照フレームは、一定の間引き率でサブサンプリングした縮小現画像であっても良い。
【００３３】
また上記において、評価値に付される重みは、ブロックが含まれる領域の移動量に対する信頼度によっても変化することを特徴とする。特に、移動量が小であってかつ信頼度が大きいほどよりフレーム動き補償予測方式が優先的に選択されるように変化することを特徴とする。
【００３４】
また上記において、信頼度は、各領域の移動量が示す変位点における現フレームの各領域の画像と参照フレームとのマッチング画素間の差分絶対値総和または差分二乗総和または相関係数に基づいて算出されることを特徴とする。
【００３５】
また上記において、評価値の比較は、フレーム評価値をＦａ、フィールド評価値をＦｂ、重みをＫとするとき、Ｆａ≦Ｆｂ＋Ｋの条件が成立する場合にフレーム動きベクトルを選択するものであって、信頼度を所定の閾値と比較することによって信頼性が高いか低いかを判断し、信頼性が低いと判断された場合に重みＫを最小値に制限し、信頼性が高いと判断された場合に重みＫを前記全体移動量が小さいほど大きい値に設定して比較することを特徴とする。また評価値の比較は、フレーム評価値をＦａ、フィールド評価値をＦｂ、重みをＭとするとき、Ｆａ≦Ｆｂ×Ｍの条件が成立する場合にフレーム動きベクトルを選択するものであって、信頼度を所定の閾値と比較することによって信頼性が高いか低いかを判断し、信頼性が低いと判断された場合に重みＭを最小値に制限し、信頼性が高いと判断された場合に重みＭを全体移動量が小さいほど大きい値に設定して比較するものであってもよい。
【発明の効果】
【００３６】
本発明の動きベクトル検出方法は、画像全体の動き量に基づき、絵柄の特徴の無い部分においても検出誤りを減少させ、適切な動きベクトルを選択することを可能とするものであり、符号化効率の向上およびフレーム間の画質均一化を実現できる。
【００３７】
また、信頼度を用い、画像の全体移動量の検出結果を信頼できる場合に大きな重みをつけることができ、全体移動量が正しく検出できない場合も誤動作せず、適切な動きベクトルを選択することができる。
【００３８】
また、画像の分割領域ごとに移動量および信頼度を検出することによって、画面内の画像特徴に応じた適切な動きベクトルを選択することを可能とし、より細かな制御により符号化効率の向上およびフレーム間の画質均一化を実現できる。
【発明を実施するための最良の形態】
【００３９】
以下、本発明にかかわる動きベクトル検出方法の実施の形態を図面に基づいて詳細に説明する。
【００４０】
（実施の形態１）
図１は、本発明の実施の形態１による動きベクトル検出方法を適用した装置の構成を示すブロック図である。図１において、１０は現フレーム入力端子、１１は参照フレーム入力端子、１２はフレーム動きベクトル検出手段、１３はフィールド動きベクトル検出手段、１４は全体移動量検出手段、１５は重み係数生成手段、１６は重み付加手段、１７は評価値比較手段、１８はベクトル選択手段、１９は動きベクトル出力端子である。
【００４１】
このように構成された動きベクトル検出装置について、以下に動作を説明する。
【００４２】
まず、フレーム動きベクトル検出手段１２は、現フレーム入力端子１０より入力される現フレームにおけるあるフレームマクロブロックと、参照フレーム入力端子１１より入力される参照フレームにおけるある設定されたベクトル探索範囲内の全てのフレーム参照ブロックについてブロックマッチング検査を行い、最小の評価値Ｄｆを取るブロックを選択し、そのブロック位置を示す動きベクトルＭＶｆを検出する。
【００４３】
同様に、フィールド動きベクトル検出手段１３は、現フレーム入力端子１０より入力される現フレームのマクロブロックをフィールド別に分離したトップフィールドマクロブロックおよびボトムフィールドマクロブロックと、参照フレーム入力端子１１より入力される参照フレームにおけるある設定されたベクトル探索範囲内の全てのトップフィールド参照ブロックおよびボトムフィールド参照ブロックについてブロックマッチング検査を行い、フィールド動きベクトルを検出する。フィールド動きベクトルの最適な決定法は種々考えられるが、たとえば、トップフィールドマクロブロックが参照するフィールド参照ブロックのうちで最小評価値Ｄｔをとるブロックの位置を示すトップフィールド動きベクトルＭＶｔと、ボトムフィールドマクロブロックが参照するフィールド参照ブロックのうちで最小評価値Ｄｂをとるブロックの位置を示すボトムフィールド動きベクトルＭＶｂとの組み合わせを選択し、フィールド動きベクトルＭＶｉとする。また、このフィールド動きベクトルの評価値としてＤｔとＤｂの和を求め、これをフィールド動きベクトル評価値Ｄｉとする。なお、評価値とは、例えば現マクロブロックと参照ブロックとの画素差分絶対値の総和とする。
【００４４】
このように決定されたフレーム動きベクトルＭＶｆおよびフィールド動きベクトルＭＶｉはベクトル選択手段１８に入力される。一方、フレーム動きベクトルの評価値Ｄｆは評価値比較手段１７へ、フィールド動きベクトル評価値Ｄｉは重み付加手段１６へ入力される。なお、重み付加手段１６には重み係数生成手段１５により生成された重み係数をフィールド評価値Ｄｉへ付加し、その結果Ｄｉ’を評価値比較手段１７へ出力する。評価値比較手段１７は、入力されたフレーム動きベクトルの評価値Ｄｆと重み係数を付加したフィールド動きベクトル評価値Ｄｉ’の値を比較し小さい値を取る方の動きベクトルタイプを選択する制御信号をベクトル選択手段１８に出力する。ベクトル選択手段１８は前記制御信号により示される動きベクトルを選択し、動きベクトル出力端子１９へ出力する。
【００４５】
全体移動量検出手段１４は、現フレーム入力端子１０より入力される現フレームと、参照フレーム入力端子１１より入力される参照フレームとから、画像全体の移動量を検出する。そして、検出された全体移動量ＧＶを出力する。また、この全体移動量ＧＶの信頼性を表す信頼度係数Ｓを算出する場合はこの信頼度係数Ｓも出力する。重み係数生成手段１５はこの全体移動量ＧＶに従って、所定の重み係数Ｗを発生し、重み付加手段１６へ出力する。また信頼性を考慮する場合は、重み係数生成手段１５は、さらに信頼度係数Ｓを入力し、信頼度係数Ｓにも従い所定の重み係数Ｗを発生し、重み付加手段１６へ出力する。
【００４６】
図２は全体移動量検出手段１４の詳細なブロック図である。
【００４７】
図２において、５０、５１はフレームメモリ、５２はアドレス制御手段、５３はマッチング検査手段、５４は移動量決定手段、５５は信頼度演算手段、５６は全体移動量出力端子、５７は信頼度係数出力端子である。
【００４８】
現フレーム入力端子１０から入力された現フレームと、参照フレーム入力端子１１から入力された参照フレームはそれぞれフレームメモリ５０，５１へと入力される。マッチング検査手段５３はフレームメモリ５０から得られる現フレームデータとフレームメモリ５１から得られる参照フレームデータとのフレーム全体でパタンマッチング検査を行うものである。このとき、参照フレームを所定の移動量分だけ現フレームよりずらしてパタンマッチングが行えるように、アドレス制御手段５２が各フレームメモリからのデータ読み出しを制御する。また、ずらす量は上下左右に所定量だけずらせばよく、特に本発明の目的とするところは全体移動量の小さい画像特徴を検出することに意義があるので、後段の重み係数生成手段１５の特性と関連させて、必要最低限のずれ分を検査するだけでよい。
【００４９】
マッチング検査手段５３は、フレーム全体での画素差分絶対値の総和を各ずらし量ごとに求める。移動量決定手段５４はマッチング検査手段５３から入力される全てのずらし量で求めた画素差分絶対値総和から最小値をとるずらし位置を示す移動量を全体移動量ＧＶとして全体移動量出力端子５６へ出力する。一方、全体移動量ＧＶは信頼度演算手段５５へ入力される。信頼度演算手段５５はこの全体移動量ＧＶにより参照されるずらし量だけずらした参照フレームを入力し、同時に入力された現フレームとの信頼度を求める。信頼度指標としては、マッチング画素間の画素差分絶対値総和や相関係数、画素差分二乗総和等を用いればよい。いずれも信頼度が高いほど大きな値をとる信頼度係数Ｓに変換される。
【００５０】
なお、信頼度係数Ｓは、信頼性が高いほど小さな値をとるようにする場合、本説明をそれに適合させるように読み替えれば同様の効果を得られる。
【００５１】
なお、上記指標をそのまま出力し、それを使用するときにそれが示す信頼度に応じるように構成してもよい。また信頼度指標として画素差分絶対値総和を用いる場合は、全体移動量ＧＶを決定するときに用いた値をそのまま出力するとしてもよく、その場合、この信頼度演算手段５５は不要としてもよい。
【００５２】
図３は全体移動量検出の具体的な動作を説明ための概念図である。
【００５３】
図３の実線の矩形は現フレームであり、破線の矩形は参照フレームである。現フレームの左上隅を基準に各方向へ参照フレームをずらしたイメージが描かれている。各ずらし量ごとに斜線で塗られた矩形部分がパタンマッチング検査される画素である。また、９通りだけ描かれているが、これは各方向への最大ずらし量を描いたものであり、これらの間に中間ずらし量も存在する。ずらし量は上述の通り任意に決定すればよい。パタンマッチング結果の差分絶対値総和の評価点（画素数）がずらし量ごとに異なる点に注意が必要で、マッチング画素数による正規化を行うことが有用である。
【００５４】
次に重み係数生成手段１５、重み付加手段１６および評価値比較手段１７による重み付加とベクトル選択の動作説明を行う。
【００５５】
上述の如く全体移動量ＧＶおよび信頼度係数Ｓがすでに決定され、重み係数生成手段１５へ入力されている。なお、一例として信頼度係数Ｓは相関係数算出結果を信頼度係数としてそのまま用いたものであるとして説明を行う。
【００５６】
まず評価値比較手段１７は、以下の条件が成り立つ場合、フレーム動きベクトルを選択するように制御信号を生成する。
【００５７】
（式１−１）  Ｄｆ≦Ｄｉ＋Ｗ
さらに、信頼度を用いる場合は、上記条件にさらに以下の条件が成り立つ場合、フレーム動きベクトルを選択するように制御信号を生成する。
【００５８】
（式１−２）  Ｓ≧Ａ    （−１≦Ａ≦１の実数）
このように特性設定されたとき、重み係数Ｗは、以下のように求められる。
【００５９】
（式１−３）  Ｗ＝Ｂ−ａ×ＧＶ    （Ｂ≧０の実数、ａは任意の実数、Ｗ≧０）
また、重み付加とベクトル選択の方法は以下のように構成しても良い。
【００６０】
まず評価値比較手段１７は、以下の条件が成り立つ場合、フレーム動きベクトルを選択するように制御信号を生成する。
【００６１】
（式２−１）  Ｄｆ≦Ｄｉ×Ｗ
さらに、信頼度を用いる場合は、上記条件にさらに以下の条件が成り立つ場合、フレーム動きベクトルを選択するように制御信号を生成する。
【００６２】
（式２−２）  Ｓ≧Ａ    （−１≦Ａ≦１の実数）
このように特性設定されたとき、重み係数Ｗは、以下のように求められる。
【００６３】
（式２−３）  Ｗ＝Ｂ−ａ×ＧＶ  （Ｂ≧０の実数、ａは任意の実数、Ｗ≧１）
また、信頼度Ｓを用いた上記（式１−２）および（式２−２）の条件は関数としても良く、例えば図４に示すような関数で重みＷを決定する。
【００６４】
図４は重み係数Ｗの算出要素を示す図である。また、比較評価値比較手段１７の比較条件は上記（式１−１）の場合に適合する重み係数Ｗを算出するようにしたものである。
【００６５】
図４（ａ）は、ＧＶの大きさに基づく重み要素Ｗ１を算出する関数を示す。ここで閾値ＴＨ１および重み要素最大値Ｐは任意設定可能である。この重み要素Ｗ１を決定する関数は、ＧＶが小さいほど重み要素Ｗ１が大きな値となるように設定される。また図４（ｂ）は、Ｓの大きさに基づく重み要素Ｗ２を算出する関数を示す。ここで閾値ＴＨ２および重み要素最大値Ｑは任意設定可能である。この重み要素Ｗ２を決定する関数は、Ｓが大きいほど重み要素Ｗ２が大きな値となるように設定される。そして重み係数Ｗは、上記重み要素Ｗ１と重み要素Ｗ２との積により算出される。
【００６６】
なお、重み要素Ｗ１と重み要素Ｗ２の算出関数は他にもさまざまな変形があり得る。
【００６７】
なお、上記重み要素Ｗ１と重み要素Ｗ２との積により重み係数Ｗを算出するとしたが、上記重み要素Ｗ１と重み要素Ｗ２との和により重み係数Ｗを算出するとしても良く、その場合は重み要素Ｗ１と重み要素Ｗ２の算出関数もこれに適合するものを選べば良い。
【００６８】
上記のようにして動きベクトル選択を行うことにより、画像全体の移動量が少なくその信頼性も高い場合はよりフレーム動きベクトルが選択されやすくなり、画像全体の移動量が大きい場合、および信頼性が低い場合はフレーム動きベクトルが選択される割合を低くすることができる。
【００６９】
なお、上記説明における全体移動量検出手段１４に入力する現フレームおよび参照フレームは、所定の間引き率でサブサンプリングされた縮小画像を用いても良い。これにより間引き率に応じて全体移動量検出に費やす演算量を削減させることができる。
【００７０】
なお、複数の参照フレームを用いる場合であって、現フレームと各参照フレームの時間距離が異なる場合、全体移動量ＧＶによって重み要素Ｗ１を決定するときに用いる閾値ＴＨ１を各参照フレームの時間距離に適合した値にそれぞれ設定すればよい。
【００７１】
なお、複数の参照フレームを用いる場合であって、双方向参照動きベクトルも選択できる場合には、フィールド双方向動きベクトルに対しても上記重みを付すようにすればよい。その場合の重み係数の決定は、各参照フレームの全体移動量ＧＶおよび信頼度Ｓを用いて算出すればよい。例えば、１つの参照フレームの全体移動量ＧＶおよび信頼度Ｓをそのまま用いるようにすればよい。
【００７２】
以上のように、画像全体の動き量に基づき、適応的に絵柄の特徴の無い部分においても検出誤りを減少させ、適切な動きベクトルを選択することを可能とするものであり、符号化効率の向上およびフレーム間の画質均一化を実現できる。また、信頼度を用い、画像の全体移動量の検出結果を信頼できる場合に大きな重みをつけることができるため、全体移動量が正しく検出できない場合も誤動作することなく、適切な動きベクトルを選択することができる。
【００７３】
（実施の形態２）
次に、本発明の実施の形態２による動きベクトル検出方法を適用した装置について、その動作を説明する。図５は本発明の実施の形態２による動きベクトル検出方法を適用した装置の構成を示すブロック図である。図５において、３０は移動量検出手段、３１は重み係数生成手段であり、その他の構成要素は、実施の形態１で用いた図1と同じ機能を有するため同じ番号を付している。
【００７４】
このように構成された動きベクトル検出装置について、以下に動作を説明する。
【００７５】
なお、フレーム動きベクトルＭＶｆ、フィールド動きベクトルＭＶｉ、およびそれぞれの評価値Ｄｆ、Ｄｉの決定方法については実施の形態１と同様である。画像の移動量検出および重み係数生成および比較方法が異なる。以下、実施の形態１と異なる部分について説明する。
【００７６】
移動量検出手段３０は、現フレーム入力端子１０より入力される現フレームと、参照フレーム入力端子１１より入力される参照フレームとを用いて、現フレームの複数領域ごとに移動量ＧＶｎを検出する。なお、移動量検出手段３０は入力される現フレームを複数領域に分割する手段を含む。実施の形態１において図２を用いて説明したように、参照フレームは所定の移動量分だけ現フレームよりずらされ、現フレームとのパタンマッチング検査が行われる。この場合、パタンマッチング検査は分割された現フレームの領域ごとに実施される。そしてそれぞれの領域で求められた移動量ＧＶ１〜ＧＶｎ（ｎは分割された領域の数）を出力する。
【００７７】
図６はこの複数領域の移動量を検出する方法を説明するための概念図である。図６は、実線の矩形で示された現フレームに対し、破線の矩形で示された参照フレームをある移動量分だけずらしてパタンマッチング検査を行っている状態を表している。このようなパタンマッチング検査をあらかじめ設定された検査範囲内全てについて行い、領域ごとに画素差分絶対値総和が最小値となる移動量ＧＶ１〜ＧＶｎを算出する。また、領域ごとの移動量ＧＶ１〜ＧＶｎに対応する信頼度係数を算出する場合はこの信頼度係数Ｓ１〜Ｓｎも出力する。
【００７８】
重み係数生成手段３１は、現時点で動きベクトルを検出しようとしているマクロブロックが含まれる領域番号ｒに対応する移動量ＧＶｒに従って、所定の重み係数Ｗを発生し、重み付加手段１６へ出力する。また信頼性を考慮する場合は、重み係数生成手段３１は、さらに信頼度係数Ｓｒを入力し、その信頼度係数Ｓｒにも従って所定の重み係数Ｗを発生し、重み付加手段１６へ出力する。重み係数生成手段３１は、マクロブロックが属する領域に応じた移動量、信頼度によって重み係数Ｗを生成する点で実施の形態１の動作と異なる。但し、各領域ごとに移動量、信頼度から重み係数を決定する行程は実施の形態１と同じである。
【００７９】
重み付加手段１６、評価値比較手段１７、ベクトル選択手段１８は実施の形態１と同様な動作をし、動きベクトルを選択して出力端子１９へ出力する。
【００８０】
以上のように、画像の領域ごとの移動量に基づき、フレーム内の静止部／動き部が混在する画像であっても適応的に絵柄の特徴の無い部分において検出誤りを減少させ、適切な動きベクトルを選択することを可能とするものであり、符号化効率の向上およびフレーム間の画質均一化を実現できる。また、信頼度を用い、画像の全体移動量の検出結果を信頼できる場合に大きな重みをつけることができるため、移動量が正しく検出できない場合も誤動作することなく、適切な動きベクトルを選択することができる。
【産業上の利用可能性】
【００８１】
以上のように本発明によれば、画像の特徴に応じて、動きベクトルの検出誤りを減少させることが可能であって、発生符号量削減／連続フレーム間の歪均一化などの効果をもたらす。従って、動きベクトル検出を利用する動き補償予測符号化を用いた、高画質なビデオ機器等の装置を実現することができ、産業上非常に有益である。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施の形態１による動きベクトル検出方法を適用した装置の構成を示すブロック図
【図２】同動きベクトル検出方法での全体移動量検出手段の詳細な構成を示すブロック図
【図３】同動きベクトル検出方法での全体移動量検出の動作を説明する概念図
【図４】同動きベクトル検出方法での重み係数生成方法の一例を説明する概念図
【図５】本発明の実施の形態２による動きベクトル検出方法を適用した装置の構成を示すブロック図
【図６】同動きベクトル検出方法での領域分割および移動量検出の動作を説明する概念図
【図７】従来の動きベクトル検出方法を適用した装置の構成を示すブロック図
【符号の説明】
【００８３】
１０，１００    現フレーム入力端子
１１，１０１    参照フレーム入力端子
１２，１０２    フレーム動きベクトル検出手段
１３，１０３    フィールド動きベクトル検出手段
１４    全体移動量検出手段
１５、３１    重み係数生成手段
１６    重み付加手段
１７，１０４    評価値比較手段
１８，１０５    ベクトル選択手段
１９，１０６    動きベクトル出力端子
３０    移動量検出手段
【図１】
2006217449.tif 000003
【図２】
2006217449.tif 000004
【図３】
2006217449.tif 000005
【図４】
2006217449.tif 000006
【図５】
2006217449.tif 000007
【図６】
2006217449.tif 000008
【図７】
2006217449.tif 000009