(57)【要約】【課題】抽出した画面全体の動き特徴に基づいて初期変位ベクトルを補正することにより、少ない演算回数で被写体の動きベクトルを正しく検出可能とする。【解決手段】ベクトルメモリ３から現フィールドの被検出ブロックの近傍に位置する複数のブロックの動きベクトルを被検出ブロックの初期変位ベクトルの第１の候補ベクトル群として読み出し、全画面動き特徴検出部２にて少なくとも１フィールド前との間の画面全体の動き特徴の変化を検出して求めた変化量により、該第１の候補ベクトル群を補正した第２の候補ベクトル群を初期変位ベクトル補正部４にて求め、該第１及び第２の候補ベクトル群のうち、現フィールドの被検出ブロックの動きに最もふさわしい値の動きベクトルを初期変位ベクトル選択部５にて初期変位ベクトルとして選択して、該初期変位ベクトルを起点として動きベクトル演算部６にて被検出ブロックの動きベクトルを１乃至複数回の演算により求める。【選択図】図１
2006217066.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号のフィールドを予め定めた所定の大きさの複数のブロックに分割し、分割したそれぞれのブロック毎に、少なくとも１フィールド以上離れた動画像信号間にて動きの大きさ及び方向を表わす動きベクトルを検出する動画像信号の動きベクトル検出方法において、画面全体の動き特徴を検出し、変化量を算出する全画面動き特徴検出ステップと、各ブロック毎に検出された動きベクトルを少なくとも１フィールド分蓄積する記憶ステップと、該記憶ステップにより蓄積された動きベクトルの中から被検出ブロックの近傍に位置する複数のブロックの動きベクトルを、被検出ブロックの初期変位ベクトル選択用の第１の候補ベクトル群として読み出して、該第１の候補ベクトル群のそれぞれに対して更に前記全画面動き特徴検出ステップにより検出された全画面動き特徴の変化を示す前記変化量による補正を施すことにより、第２の候補ベクトル群を算出する候補ベクトル補正ステップと、前記記憶ステップにより蓄積された動きベクトルの中から読み出した前記第１の候補ベクトル群と前記候補ベクトル補正ステップにより補正された前記第２の候補ベクトル群との中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択ステップと、該初期変位ベクトル選択ステップにて選択した前記初期変位ベクトルを起点として１乃至複数回の演算を行なって被検出ブロックの動きベクトルを求めて出力すると共に、求めた動きベクトルを、次フィールド以降の動画像信号の動きベクトル算出のために前記記憶ステップにより蓄積する動きベクトル演算ステップと、を有していることを特徴とする動きベクトル検出方法。
【請求項２】
請求項１に記載の動きベクトル検出方法であって、前記全画面動き特徴検出ステップが、画面上の４隅からそれぞれ予め定めたブロック数分中央寄りにずれた位置にあるブロックの動き特徴を画面全体の動き特徴として検出するか、又は、画面上の４隅からそれぞれ予め定めたブロック数分中央寄りにずれたそれぞれの位置にあって、前記ブロックよりも大きい領域の動き特徴を画面全体の動き特徴として検出するか、又は、画面上の４隅から及び／又は画面の上下左右の各辺からそれぞれ予め定めたブロック数分中央寄りにずれた位置にある複数のブロック群の動き特徴を画面全体の動き特徴として検出するか、のいずれかを用いていることを特徴とする動きベクトル検出方法。
【請求項３】
請求項１に記載の動きベクトル検出方法であって、前記全画面動き特徴検出ステップが、動画像信号中に含まれている予め定めた画像上の特徴点の位置的な変化を画面全体の動き特徴として検出することを特徴とする動きベクトル検出方法。
【請求項４】
動画像信号のフィールドを予め定めた所定の大きさの複数のブロックに分割し、分割したそれぞれのブロック毎に、少なくとも１フィールド以上離れた動画像信号間にて動きの大きさ及び方向を表わす動きベクトルを検出する動画像信号の動きベクトル検出装置において、画面全体の動き特徴を検出し、変化量を算出する全画面動き特徴検出手段と、各ブロック毎に検出された動きベクトルを少なくとも１フィールド分蓄積する記憶手段と、該記憶手段により蓄積された動きベクトルの中から被検出ブロックの近傍に位置する複数のブロックの動きベクトルを、被検出ブロックの初期変位ベクトル選択用の第１の候補ベクトル群として読み出して、該第１の候補ベクトル群のそれぞれに対して更に前記全画面動き特徴検出手段により検出された全画面動き特徴の変化を示す前記変化量による補正を施すことにより、第２の候補ベクトル群を算出する候補ベクトル補正手段と、前記記憶手段により蓄積された動きベクトルの中から読み出した前記第１の候補ベクトル群と前記候補ベクトル補正手段により補正された前記第２の候補ベクトル群との中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択手段と、該初期変位ベクトル選択手段にて選択した前記初期変位ベクトルを起点として１乃至複数回の演算を行なって被検出ブロックの動きベクトルを求めて出力すると共に、求めた動きベクトルを、次フィールド以降の動画像信号の動きベクトル算出のために前記記憶ステップにより蓄積する動きベクトル演算手段と、を備えていることを特徴とする動きベクトル検出装置。
【請求項５】
請求項４に記載の動きベクトル検出装置であって、前記全画面動き特徴検出手段が、画面上の４隅からそれぞれ予め定めたブロック数分中央寄りにずれた位置にあるブロックの動き特徴を画面全体の動き特徴として検出するか、又は、画面上の４隅からそれぞれ予め定めたブロック数分中央寄りにずれたそれぞれの位置にあって、前記ブロックよりも大きい領域の動き特徴を画面全体の動き特徴として検出するか、又は、画面上の４隅から及び／又は画面の上下左右の各辺からそれぞれ予め定めたブロック数分中央寄りにずれた位置にある複数のブロック群の動き特徴を画面全体の動き特徴として検出するか、のいずれかを用いていることを特徴とする動きベクトル検出装置。
【請求項６】
請求項４に記載の動きベクトル検出装置であって、前記全画面動き特徴検出手段が、動画像信号中に含まれている予め定めた画像上の特徴点の位置的な変化を画面全体の動き特徴として検出することを特徴とする動きベクトル検出装置。
【請求項７】
請求項１乃至３のいずれかに記載の動きベクトル検出方法を、コンピュータにより実行可能なプログラムとして実現していることを特徴とする動きベクトル検出プログラム。
【請求項８】
請求項７に記載の動きベクトル検出プログラムを、コンピュータにより読み取り可能な記録媒体に記録していることを特徴とするプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号の動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体に係り、特に、例えば、異なるテレビジョン方式間の動画像信号変換を行なうテレビジョン方式変換装置又は画像伝送における高能率符号化装置などに好適に適用可能な動画像信号の動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体に関するものである。
【背景技術】
【０００２】
動画像信号中の動領域を動きベクトルとして検出し、その動きベクトルを用いて動き補正を行なう技術は、例えば、画像伝送の際の高能率符号化におけるフレーム間符号化効率を向上させる場合、又は、テレビジョン方式変換の際のフィールド数変換による動きの不連続性を軽減する場合などに、特に有効に用いられている。例えば、テレビジョン方式変換装置としては、特許文献１に示す特開平０１−３０９５９７号公報「テレビジョン標準方式変換装置」、特許文献２に示す特開平０３−２８０６８１号公報「動きベクトルを用いた動き内挿方式」、非特許文献１に示すテレビジョン学会誌（第４５巻、第１２号、第１５３４頁〜第１５４３頁、１９９１年発行）、又は、非特許文献２に示すテレビジョン学会全国大会における予稿集（２０−５、１９８９年開催）などに記載された技術が提案されている。
【０００３】
また、従来、前述の各文献に記載のテレビジョン方式変換装置に用いられる動きベクトルの検出方式としては、例えば、特許文献３に示す特開昭５５−１６２６８３号公報「テレビジョン画像の動き検出方法」や特許文献４に示す特開昭５５−１６２６８４号公報「画像動ベクトルの漸近的検出方法」に記載のパターンマッチング法による検出方法、又は、特許文献５に示す特開昭６０−１５８７８６号公報「画像動き量検出方式」や特許文献６に示す特開昭６２−２０６９８０号公報「動画像の動き推定における初期偏位方式」などに記載の反復勾配法による検出方法が、それぞれ提案されている。
【０００４】
特に、後者の反復勾配法による動きベクトル検出方式は、パターンマッチング法に比べて、小型でかつ精度良く、動きベクトルを検出することができる。即ち、反復勾配法による動きベクトル検出方法は、デジタル化したテレビジョン信号のそれぞれのフィールドを、例えば、横方向ｍ画素、縦方向ｎラインを含むｍ×ｎ画素の予め定めた所定の大きさのブロックに細分化して、それぞれのブロック毎に、その画面内での信号の勾配及び対応する画面間との信号差分値の物理的な対応などに基づいて、反復的な勾配法演算を施すことにより動き量を推定するものであった。
【０００５】
この場合、前記特許文献６の特開昭６２−２０６９８０号公報においては、動き量を推定する際の初期値として、被検出ブロックに該当するブロックを含む周辺の複数のブロックにおいて既に検出されている動きベクトルの候補の中から、該被検出ブロックの動きベクトル検出用として最適なものを、初期変位ベクトルとして選択して、該被検出ブロックの真の動きベクトルに近い値から演算を開始することにより、勾配法演算の演算回数を少なくして、例えば、２回の勾配法演算にて、真の動きベクトルを検出する技術が提案されていた。
【０００６】
また、特許文献７に示す特開平０６−２１７２６６号公報「動きベクトル検出回路」では、動きベクトル検出の精度を更に高めるために、少なくとも、１フィールド以上又は１フレーム以上離れた画像信号の各ブロック間で動きの初期変位ベクトルを検出する方法も提案されている。
【特許文献１】特開平０１−３０９５９７号公報
【特許文献２】特開平０３−２８０６８１号公報
【特許文献３】特開昭５５−１６２６８３号公報
【特許文献４】特開昭５５−１６２６８４号公報
【特許文献５】特開昭６０−１５８７８６号公報
【特許文献６】特開昭６２−２０６９８０号公報
【特許文献７】特開平０６−２１７２６６号公報
【非特許文献１】テレビジョン学会誌（第４５巻、第１２号、                      第１５３４頁〜第１５４３頁、１９９１年発行）
【非特許文献２】テレビジョン学会全国大会予稿集（２０−５、１９８９年開催）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、前述した従来の技術では、複数の候補ベクトルの中から初期変位ベクトルを選択する際に、各ブロック毎に、個別に初期変位ベクトルを選択しているので、画像全体が偏った動きをしている状況下において、画像の中に、全体の動きとは異なる動きをする物体がある場合に、動きベクトル検出の精度が低下する場合があった。
【０００８】
例えば、或る動く物体を撮影しながら、カメラをパニング（ｐａｎｎｉｎｇ）する場合を考える。このとき、動く物体以外の背景は、パニング操作によって同一方向に同様の移動速度にて動いており、それに対して、動く該物体は、撮影画面の中心付近で、小さな速度で移動していることになる。このようにカメラをパニングしている場合、動く該物体が存在するブロックの初期変位ベクトルは、従来の技術では、１フィールド前の同じく該物体の存在するブロックから選ばれることになる。
【０００９】
しかしながら、画面内の該物体の移動速度は、実際には、パニングの移動速度と該物体の移動速度との合成であるため、もし、パニングの移動速度が大きく変化したとすると、１フィールド前の該物体の存在するブロックからの動きを、初期変位ベクトルとしてそのまま使用するには、誤差が大きくなるという問題があった。
【００１０】
特に、球技などを撮影する場合では、画面内にボールを捉えるように撮影するため、ボールが大きく移動したときには、ボールがほぼ画面中央に位置するように、大きくパニングを行なうことになる。このとき、画面上では、パニング前のボールの移動速度とパニング後の移動速度とが大きく変化してしまい、初期変位ベクトルを選択する際に、１フィールド前のどの位置から選択しても、ボールの初期変位ベクトルには誤差が生じてしまう。
【００１１】
例えば、ボールの移動方向とパニングの方向とが同じ方向で、ボールの移動速度がパニングの移動速度よりも小さくなった場合、画面上のボールは、パニング直後に、それまでとは逆方向の動きベクトルを持つことになり、１フィールド前のどの位置から選択しても、ボールの初期変位ベクトルの向きを誤ることになる。
【００１２】
ここで、被写体となるボールの初期変位ベクトルの精度は、ボールの動きベクトル検出に大きく影響するため、パニングの移動速度に変化が伴うような場合は、結果的に、動きベクトルの誤検出が発生してしまい、テレビジョン方式変換などを行なった場合、ボールが誤った位置に表示されてしまうことになる。
つまり、前述した従来技術では、画像全体の動きの特徴を考慮に入れて、初期変位ベクトルを算出していないため、動く被写体の動きベクトルを誤検出してしまうという欠点があった。
【００１３】
本発明は、前述のような課題を解決するためになされたものであり、画面全体の動き特徴を抽出して、画面全体の動き特徴に基づいて初期変位ベクトルを補正することにより、初期変位ベクトルの誤検出を防ぎ、少ない演算回数で動く被写体を含むブロック毎の動きベクトルを正しく検出可能とする技術を提供することを目的としている。
【課題を解決するための手段】
【００１４】
第１の技術手段は、動画像信号のフィールドを予め定めた所定の大きさの複数のブロックに分割し、分割したそれぞれのブロック毎に、少なくとも１フィールド以上離れた動画像信号間にて動きの大きさ及び方向を表わす動きベクトルを検出する動画像信号の動きベクトル検出方法において、画面全体の動き特徴を検出し、変化量を算出する全画面動き特徴検出ステップと、各ブロック毎に検出された動きベクトルを少なくとも１フィールド分蓄積する記憶ステップと、該記憶ステップにより蓄積された動きベクトルの中から被検出ブロックの近傍に位置する複数のブロックの動きベクトルを、被検出ブロックの初期変位ベクトル選択用の第１の候補ベクトル群として読み出して、該第１の候補ベクトル群のそれぞれに対して更に前記全画面動き特徴検出ステップにより検出された全画面動き特徴の変化を示す前記変化量による補正を施すことにより、第２の候補ベクトル群を算出する候補ベクトル補正ステップと、前記記憶ステップにより蓄積された動きベクトルの中から読み出した前記第１の候補ベクトル群と前記候補ベクトル補正ステップにより補正された前記第２の候補ベクトル群との中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択ステップと、該初期変位ベクトル選択ステップにて選択した前記初期変位ベクトルを起点として１乃至複数回の演算を行なって被検出ブロックの動きベクトルを求めて出力すると共に、求めた動きベクトルを、次フィールド以降の動画像信号の動きベクトル算出のために前記記憶ステップにより蓄積する動きベクトル演算ステップと、を有していることを特徴とする。
【００１５】
第２の技術手段は、前記第１の技術手段に記載の動きベクトル検出方法であって、前記全画面動き特徴検出ステップが、画面上の４隅からそれぞれ予め定めたブロック数分中央寄りにずれた位置にあるブロックの動き特徴を画面全体の動き特徴として検出するか、又は、画面上の４隅からそれぞれ予め定めたブロック数分中央寄りにずれたそれぞれの位置にあって、前記ブロックよりも大きい領域の動き特徴を画面全体の動き特徴として検出するか、又は、画面上の４隅から及び／又は画面の上下左右の各辺からそれぞれ予め定めたブロック数分中央寄りにずれた位置にある複数のブロック群の動き特徴を画面全体の動き特徴として検出するか、のいずれかを用いていることを特徴とする。
【００１６】
第３の技術手段は、前記第１の技術手段に記載の動きベクトル検出方法であって、前記全画面動き特徴検出ステップが、動画像信号中に含まれている予め定めた画像上の特徴点の位置的な変化を画面全体の動き特徴として検出することを特徴とする。
【００１７】
第４の技術手段は、動画像信号のフィールドを予め定めた所定の大きさの複数のブロックに分割し、分割したそれぞれのブロック毎に、少なくとも１フィールド以上離れた動画像信号間にて動きの大きさ及び方向を表わす動きベクトルを検出する動画像信号の動きベクトル検出装置において、画面全体の動き特徴を検出し、変化量を算出する全画面動き特徴検出手段と、各ブロック毎に検出された動きベクトルを少なくとも１フィールド分蓄積する記憶手段と、該記憶手段により蓄積された動きベクトルの中から被検出ブロックの近傍に位置する複数のブロックの動きベクトルを、被検出ブロックの初期変位ベクトル選択用の第１の候補ベクトル群として読み出して、該第１の候補ベクトル群のそれぞれに対して更に前記全画面動き特徴検出手段により検出された全画面動き特徴の変化を示す前記変化量による補正を施すことにより、第２の候補ベクトル群を算出する候補ベクトル補正手段と、前記記憶手段により蓄積された動きベクトルの中から読み出した前記第１の候補ベクトル群と前記候補ベクトル補正手段により補正された前記第２の候補ベクトル群との中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択手段と、該初期変位ベクトル選択手段にて選択した前記初期変位ベクトルを起点として１乃至複数回の演算を行なって被検出ブロックの動きベクトルを求めて出力すると共に、求めた動きベクトルを、次フィールド以降の動画像信号の動きベクトル算出のために前記記憶ステップにより蓄積する動きベクトル演算手段と、を備えていることを特徴とする。
【００１８】
第５の技術手段は、前記第４の技術手段に記載の動きベクトル検出装置であって、前記全画面動き特徴検出手段が、画面上の４隅からそれぞれ予め定めたブロック数分中央寄りにずれた位置にあるブロックの動き特徴を画面全体の動き特徴として検出するか、又は、画面上の４隅からそれぞれ予め定めたブロック数分中央寄りにずれたそれぞれの位置にあって、前記ブロックよりも大きい領域の動き特徴を画面全体の動き特徴として検出するか、又は、画面上の４隅から及び／又は画面の上下左右の各辺からそれぞれ予め定めたブロック数分中央寄りにずれた位置にある複数のブロック群の動き特徴を画面全体の動き特徴として検出するか、のいずれかを用いていることを特徴とする。
【００１９】
第６の技術手段は、前記第４の技術手段に記載の動きベクトル検出装置であって、前記全画面動き特徴検出手段が、動画像信号中に含まれている予め定めた画像上の特徴点の位置的な変化を画面全体の動き特徴として検出することを特徴とする。
【００２０】
第７の技術手段は、前記第１乃至第３の技術手段のいずれかに記載の動きベクトル検出方法を、コンピュータにより実行可能なプログラムとして実現している動きベクトル検出プログラムとすることを特徴とする。
【００２１】
第８の技術手段は、前記第７の技術手段に記載の動きベクトル検出プログラムを、コンピュータにより読み取り可能な記録媒体に記録しているプログラム記録媒体とすることを特徴とする。
【発明の効果】
【００２２】
前述のような各技術手段からなる本発明に係る動画像信号の動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体によれば、以下のような効果を奏することができる。
既検出の動きベクトルの中から初期変位ベクトルを選択して、該初期変位ベクトルを用いて動きベクトルを検出する際に、既検出の動きベクトルに対して全画面の動き特徴の変化量を加味した動きベクトル即ち予測ベクトルを用いることにより、全画面に亘る動きの変化に影響されることなく、より正しい初期変位ベクトルを選択することが可能となる。
【００２３】
この結果、カメラのパニングやチルト、ズームの開始点やカメラ操作の速度変化時における、初期変位ベクトルの誤検出を少なくすることができ、動きベクトルの検出精度の大幅な向上を図ることが可能になる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照しながら、本発明に係る動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体を実施するための最良の形態について説明する。なお、以下の説明においては、本発明に係る動きベクトル検出装置に関する実施形態の一例について説明し、本発明に係る動きベクトル検出方法、動きベクトル検出プログラム及びプログラム記録媒体に関する実施形態の説明は省略するが、以下の動きベクトル検出装置に関する詳細な説明から、本動きベクトル検出装置に適用可能な動きベクトル検出方法、本動きベクトル検出方法をコンピュータによりプログラムとして実行するベクトル検出プログラム、及び、該ベクトル検出プログラムをコンピュータにより読み取り可能な記録媒体に記録するプログラム記録媒体についても容易に理解することができる。
【００２５】
まず、動画像信号の動きベクトルを検出する本発明に係る動きベクトル検出装置の実施例について、図１を用いて詳細に説明する。図１は、本発明に係る動きベクトル検出装置の機能構成の一例を示す機能ブロック構成図であり、本発明に係る動きベクトル検出方法の一例が適用されている。
図１に示す本実施例に係る動きベクトル検出装置１０は、フィールド遅延部１、全画面動き特徴検出部２、ベクトルメモリ３、初期変位ベクトル補正部４、初期変位ベクトル選択部５、動きベクトル演算部６を含んで構成される。
【００２６】
本実施例に係る動きベクトル検出装置１０は、フィールド毎に入力する、動画像信号を、予め定めた所定の大きさ例えばｍ画素×ｎライン（ｍ，ｎは整数）の複数のブロックに分割して、分割した各ブロック毎に、フィールド遅延部１にて遅延させた例えば１フィールド前の動画像信号での対応のブロックとの間における動きの方向及び大きさを表わす動きベクトルを求めるための動き量検出装置であり、既に検出されて、ベクトルメモリ３に蓄積されている動きベクトルの中から選択した第１の候補ベクトル群と、更に初期変位ベクトル補正部４にて補正した第２の候補ベクトル群とを併せ用いて、その中から初期変位ベクトル選択部５にて選択された動きベクトルを被検出ブロックの初期変位ベクトルとして選択し、該初期変位ベクトルを起点として、少ない演算回数例えば２回の勾配法演算にて、該被検出ブロックの真の動きベクトルを正しく求めるベクトル演算部６を備えている。
【００２７】
特に、本実施例は、初期変位ベクトルの候補ベクトルの求め方に特徴があり、パニングやチルト、ズームなどのカメラの動きによる動きベクトル即ち全画面の動きの特徴を、全画面動き特徴検出部２にて入力映像信号から検出し、更に、全画面の動きの特徴の変化を変化量データとして算出して、ベクトルメモリ３から読み出した動きベクトルの候補に対して、初期変位ベクトル補正部４にて前記変化量データに基づいて補正をかけて、初期変位ベクトルの選択に用いる候補ベクトルとして出力することにより、より正確な初期変位ベクトルを選択するように構成している。
【００２８】
更に詳細に説明すると、図１に示す本実施例による動きベクトル検出装置１０は、前述のように、全画面動き特徴検出部２と、ベクトルメモリ３と、初期変位ベクトル補正部４と、初期変位ベクトル選択部５と、動きベクトル演算部６とを含んで構成されている。全画面動き特徴検出部２と初期変位ベクトル選択部５と動きベクトル演算部６とには、それぞれ、現フィールド信号とフィールド遅延部１を介して１フィールド分遅延させた前フィールド信号とが供給されている。
【００２９】
全画面動き特徴検出部２では、例えば前述のように前フィールド信号をｍ画素×ｎラインのブロックに分割して、分割したブロックの中から全画面の動きの特徴を検出するために予め定めた特定ブロックを複数個用いて、これを現フィールド信号と比較することで全画面の動きの特徴を検出する。初期変位ベクトル選択部５では、分割されたそれぞれのブロック毎に初期変位ベクトルを選択する基準として、現フィールド信号と前フィールド信号とを利用する。また、動きベクトル演算部６では、該初期変位ベクトルを起点として、それぞれのブロック毎に動きベクトルを検出するために現フィールド信号と前フィールド信号とを利用する。
【００３０】
ベクトルメモリ３は、各ブロック毎に既に検出された少なくとも１フィールド分の動きベクトルを蓄積するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含む記憶回路であり、その入力端子が動きベクトル演算部６の出力端子に接続されていて、例えば８画素×８ラインに分割された各ブロックの位置に応じたアドレスに、動きベクトル演算部７にて該当ブロックで検出された動きベクトルを順次更新して蓄積するように構成されている。
【００３１】
なお、全画面動き特徴検出部２は、図２に示すように、前フィールドにおける一部の領域や複数のブロックを現フィールドの画像と比較して、動画像信号における背景の動きベクトル（即ち全画面の動き特徴）を検出して、初期変位ベクトルに補正をかけるべき変化量データとして、初期変位ベクトル補正部５に対して出力するものである。該背景の動きベクトルの検出方法は、通常の動きベクトル検出手法を使用して実現することができる。
【００３２】
図２は、本発明に係る動きベクトル検出装置１０において背景の動きベクトルを全画面の動き特徴として検出する際に参照する全画面特徴抽出ブロックの一例を示す模式図であり、画面全体の動き特徴を検出するための特徴抽出用ブロックの画面上の位置や大きさを例示するものである。画面全体の動き特徴の検出は、一般に、画面の一部のブロックや領域に対して動きベクトル演算を行なうことにより実現することができる。特に図示していないが、このとき、動きベクトル演算のために前述のベクトリメモリ３に蓄積された動きベクトルのデータを用いても良い。
【００３３】
また、全画面動き特徴検出部２が、背景における動きの有無（有りの場合の方向や大きさ）を示す動きベクトルを、全画面の動き特徴として検出する際に参照する全画面特徴抽出ブロックとしては、画面中で背景が確実に写るような位置のブロックを用いることが好ましく、図２（Ａ）のように、画面の４隅より予め定めたブロック数分中央に寄った位置にあって、画面の４隅の近傍に位置する４個のブロックａ，ｂ，ｃ，ｄを用いると更に好ましい。なぜなら、画面中心あたりには撮影対象とする被写体が映っていることが多く、一方、画面周辺の場合は画面外から特徴画像が混入する可能性が高いので、画像全体の動きベクトルの検出が難しいからである。
【００３４】
あるいは、図２（Ｂ）のように、画面上の４隅からそれぞれ予め定めたブロック数分中央寄りにずれた位置にあって、図２（Ａ）の４個のブロックａ，ｂ，ｃ，ｄよりも更に大きい領域からなる複数のブロック群ａ′，ｂ′，ｃ′，ｄ′を用いても良いし、図２（Ｃ）のように、図２（Ａ）の４個のブロックａ，ｂ，ｃ，ｄを含む近傍の複数のブロック群（ブロック数は任意）、及び／又は、画面の上下左右の各辺から予め定めたブロック数分中央寄りに位置する複数のブロック群を含むようにして、ズームなどの変化も検出できるようにしても良い。
【００３５】
また、全画面動き特徴検出部２は、画面全体で１つのみの動き特徴ベクトルを検出するだけでなく、ズームなどの部分によっては、動き特徴ベクトルに差ができることを考慮して、例えば全画面特徴抽出ブロック毎に動き特徴ベクトルを検出するようにしても良い。但し、補正を行なう際に、どの動き特徴ベクトルを使用してどの位置のブロックの初期変位ベクトルの補正を行なうかを事前に決定しておく必要がある。例えば、図２（Ａ）のａからｄまでの各ブロックの動き特徴ベクトルは  図２（Ｄ）のように、画面を４分割した４個の画面領域ａ″，ｂ″，ｃ″，ｄ″それぞれにおける初期変位ベクトルの補正に使われるなどと予め決定しておくことが必要である。
【００３６】
全画面動き特徴検出部３のより具体的な構成例を図３に示す。ここに、図３は、本発明に係る動きベクトル検出装置１０の全画面動き特徴検出部２の具体的な回路構成の一例を示すブロック構成図である。図３に示すように、全画面動き特徴検出部２は、図２に例示するような全画面動き特徴抽出ブロック毎に全画面動き特徴ベクトルを求める動きベクトル演算部２ａと、各全画面動き特徴抽出ブロック毎に検出された１フィールド分の全画面動き特徴ベクトルを蓄積するＲＡＭなどを含む全画面動き特徴ベクトルメモリ２ｂとを有し、現フィールドの全画面動き特徴ベクトルと、全画面動き特徴ベクトルメモリ２ｂに蓄積されている前フィールドの全画面動き特徴ベクトルとの２つのベクトルをベクトル差分部２ｃにてベクトル差分を計算して、該ベクトル差分を、全画面動き特徴の変化を示す変化量データとして出力するように構成されている。
【００３７】
なお、図３に示す全画面動き特徴検出部２では、現フィールドの動画像信号と１フィールド前の前フィールドの動画像信号と全画面動き特徴ベクトルメモリ２ｂに蓄積されている前フィールドの全画面動き特徴ベクトルとを用いて、動きベクトル演算部２ａにて算出される全画面動き特徴抽出ブロック毎の全画面動き特徴ベクトルを算出するようにしている例を示している。
【００３８】
また、図１に示す初期変位ベクトル補正部４は、ベクトルメモリ３に蓄積されている第１の候補ベクトル群を、画面全体の動き特徴を用いて補正して、初期変位ベクトルの選択に用いる第２の候補ベクトル群として出力する候補ベクトル補正手段を構成している。つまり、全画面動き特徴検出部２からの変化量データ（即ち全画面動き特徴の変化を示すデータ）に基づき、第１の候補ベクトル群に補正を施して、第２の候補ベクトル群を求める。図４は、本発明に係る動きベクトル検出装置１０の初期変位ベクトル補正部４の具体的な回路構成の一例を示すブロック構成図であり、ベクトル減算部４ａにて、第１のベクトル群から全画面動き特徴検出部２で算出した変化量データをベクトル減算して、第２の候補ベクトル群を求める例を示している。
ここで、本実施例では、第１の候補ベクトル群は、被検出ブロックの周囲８ブロックで検出された前フィールドの動きベクトルを、被検出ブロックの初期変位ベクトル選択用の候補ベクトル群とすることとする。なお、これらの第１の候補ベクトル群は、かかる例のみに限るものではなく、その他の領域の既検出の動きベクトルから決定するように構成しても勿論構わない。
【００３９】
具体的には、次のような演算を施すことにより、初期変位ベクトル補正部４において第２の候補ベクトル群を算出する。ベクトルメモリ３に蓄積されている第１の候補ベクトル群をＶａとし、全画面動き特徴検出部２からの変化量データである動き特徴ベクトルをＶｓとすると、第２の候補ベクトル群Ｖｂは、次の式（１）により求められる。
Ｖｂ＝Ｖａ−Ｖｓ                      …（１）
【００４０】
次に、図１に示す初期変位ベクトル選択部５は、前フィールドの動きベクトル演算で求められた既検出動きベクトルの中から被検出ブロックの動きに最もふさわしい値の動きベクトルを勾配法演算の起点となる初期変位ベクトルとして選択する選択回路であり、前述した第１の候補ベクトル群と第２の候補ベクトル群との２つの候補ベクトル群の中から適切な動きベクトルを選択するものである。
ここで、被検出ブロックの動きに最もふさわしい値の動きベクトルとは、最終的に求めたい動きベクトルに最も近い値の動きベクトルである。ただし、初期変位ベクトル選択の時点では正しい動きベクトルは判明していないので、最も近い値であるかどうかは何らかの指標を用いて評価することになる。この指標の定め方にはいろいろな手法があるが、本発明では、ブロックマッチング法を用いた評価法を説明している。ブロックマッチング法では、前フレームの検出ブロックの画素と、想定される動きベクトル分だけ平行移動した現フレームの画素輝度の差分を画素毎に求めて、その合計が一番小さい値になるものを、最もふさわしい値の動きベクトルとしている。
【００４１】
より具体的には、本実施例の初期変位ベクトル選択部５は、例えば、図５のように構成される。図５に示す初期変位ベクトル選択部５は、座標変換部５ａと減算部５ｂと絶対値累積部５ｃと選択部５ｄとを含んで構成されている。
【００４２】
初期変位ベクトル選択部５において、座標変換部５ａ、減算部５ｂ、絶対値累積部５ｃは、候補ベクトル毎に（第１の候補ベクトル群と第２の候補ベクトル群との全ての候補ベクトルについて）独立に機能し、結果として、選択部５ｄには、絶対値累積部５ｃから出力されてくる全ての候補ベクトルに対しての演算結果が入力される。選択部５ｄでは、例えば、絶対値累積部５ｃからの出力値が最も小さな値を有する候補ベクトルを一番好ましい候補ベクトルと判断して、該候補ベクトルを選択して被検出ブロックの初期変位ベクトルとして出力する。
【００４３】
最後に、図１に示す動きベクトル演算部６は、初期変位ベクトル選択部５にて選択された初期変位ベクトルを起点として真の動きベクトルを勾配法演算より求める演算回路である。なお、勾配法演算による動きベクトル算出方法については、前述した各特許文献、非特許文献に詳しいので、ここでは特に説明しないが、初期変位ベクトルが、本発明においてどのように使われるかについて、反復勾配法を例に取って説明する。
また、ここでは動きベクトル演算部６における動きベクトルの算出方法としては、１乃至複数回の勾配法演算を用いる反復勾配法を採用しているが、これに限るものではなく、パターンマッチング法や他の演算方法を用いても良い。
【００４４】
例えば、勾配法演算は、初期変位ベクトルＶ０（α，β）にて前フィールド信号を変位させた座標位置を起点にして、現フィールドの動き量を推定した動き変位分Ｖ１を、次式（２），（３）に従って求める。
【００４５】
【数１】
2006217066.tif 000003
【００４６】
但し、式（２），（３）において、Ｖｘは、動きベクトルＶ０とＶ１との差のｘ方向成分、Ｖｙは、動きベクトルＶ０とＶ１との差のｙ方向成分である。ここで、Σは、ｍ画素×ｎライン例えば８画素×８ラインのブロック領域内の全ての座標について演算して和を求めることを表している。また、ΔＸは、注目座標における画像輝度のｘ方向の勾配（ｘ方向の隣接画素との差分値）、ΔＹは、注目座標における画像輝度のｙ方向の勾配（ｙ方向の隣接画素との差分値）、ＤＦＤ（ｘ，ｙ）は、前フィールドの座標（ｘ，ｙ）と現フィールドの座標（ｘ＋α，ｙ＋β）におけるフィールド間差分値を示す。また、ｓｉｇｎ（ΔＸ）、ｓｉｇｎ（ΔＹ）は、それぞれ、＋１，−１，０のいずれかにて表わされる勾配の方向を示す符号である。  
【００４７】
例えば、２回の反復勾配法の場合、図６に示すように、初期変位ベクトルをＶ０として、１回目の変位分Ｖ１及び２回目の変位分Ｖ２を求めて、それらをベクトル加算した動きベクトルＶを、次の式（４）により求める。
Ｖ＝Ｖ０＋Ｖ１＋Ｖ２              …（４）
なお、図６は、２回の反復勾配法による動きベクトルＶの算出方法を説明するためのベクトル図である。
【００４８】
式（４）により、図７に示すように、前フィールドにて座標（ｍ１，ｎ１）のブロックに存在していた画像が、現フィールドにおいて座標（ｍ１＋α０，ｎ１＋β０）の座標位置のブロックに移動した際に、その動き量が、ベクトルＶとして求められる。ここに、図７は、１フィールド前の前フィールドと現フィールドとの間で移動した画像の動きベクトルＶを具体的に説明するための模式図である。
このようにして、図１に示す動きベクトル演算部６で求められた動きベクトルＶは、ベクトルメモリ３に蓄積され、次のフィールド以降の動きベクトル算出のために用いる初期変位ベクトル選択用の候補ベクトルとして利用される。
【００４９】
次に、以上のような構成において、本実施例による動画像信号の動きベクトル検出方法を、前述した動きベクトル検出装置１０の動作と共に、更に説明する。動きベクトル検出装置１０の動作状態において、現フィールド信号と、フィールド遅延部１を介して入力された１フィールド前の前フィールド信号とは、全画面動き特徴検出部２と初期変位ベクトル選択部５と動きベクトル演算部６とに順次供給される。
【００５０】
全画面動き特徴検出部２は、まず、既検出の全画面動き特徴ベクトルが保存されているメモリ２ｂから、全画面動き演算用の初期変位ベクトルを読み出し、現フィールド信号の動きベクトル演算を行ない、全画面の特徴を示す動き特徴ベクトルを算出する。このときの演算には、前述のような反復勾配法を使用することもできる。更に、全画面動き特徴検出部２より算出された全画面動き特徴ベクトルから、１つ前のフィールドの全画面動き特徴ベクトルをメモリ２ｂから読み出して、それを減算して、全画面の動き特徴ベクトルの変化量を算出する。この全画面の動き特徴ベクトルの変化量が、全画面動き特徴検出部２の出力の変化量データとして、初期変位ベクトル補正部４に入力される。
【００５１】
初期変位ベクトル補正部４は、ベクトルメモリ３から被検出ブロックに対応するブロックの周辺８ブロックの動きベクトルを候補ベクトル群（即ち第１の候補ベクトル群）として順次読み出し、更に、全画面動き特徴検出部２から出力された前記変化量データをこの第１の候補ベクトル群の各動きベクトルからベクトル減算し、ベクトル減算結果を第２の候補ベクトル群とする。
【００５２】
初期変位ベクトル選択部５では、ベクトルメモリ３から順次読み出された被検出ブロックに対応するブロックの周辺８ブロックの動きベクトル即ち第１の候補ベクトル群と、初期変位ベクトル補正部４から出力された第２の候補ベクトル群とが入力されて、各候補ベクトル群の各動きベクトルが、それぞれの座標変換部５ａに供給されて、フィールド遅延部１から供給される前フィールド信号の対象ブロックをその動きベクトルにて変位させて、現フィールドへの座標変換を行ない、該座標変換結果が、それぞれの減算部５ｂに供給される。
【００５３】
それぞれの減算部５ｂでは、座標変換部５ａにて座標変換した前フィールド信号と、入力された現フィールド信号との間で減算を施して、それぞれの画素毎の差分を算出し、それぞれの差分結果を絶対値累算部５ｃに供給する。それぞれの絶対値累算部５ｃでは、それぞれの画素の差分の絶対値を求めて、絶対値化した差分をブロックの画素数分累算して、その累積結果を、各ブロックの候補ベクトルとして選択部５ｄにそれぞれ出力する。
【００５４】
次に、各ブロック毎にそれぞれの累積結果を受け取った選択部５ｄは、各ブロックの累積結果を比較して、累積結果が最小となるブロックを検出して、該ブロックの動きベクトルを初期変位ベクトルとして選択し、動きベクトル演算部６に供給する。
【００５５】
動きベクトル演算部６では、供給された初期変位ベクトルを起点として、前フィールド信号からの現フィールド信号の真の動きベクトルを算出する。以上のように、画面全体の動き特徴を抽出して、画面全体の動き特徴に基づいて補正した初期変位ベクトルを適用することにより、初期変位ベクトルの誤検出を防ぎ、例えば２回程度の少ない反復勾配法による演算回数で、現フィールド信号のブロック毎の真の動きベクトルを正しく算出することができる。
【００５６】
このようにして、本発明に係る動きベクトル検出方法においては、カメラのパニングやチルト、ズームなどのカメラ操作を画面全体の動き特徴ベクトルとして抽出し、抽出した画面全体の動き特徴ベクトルを、画面の中の背景以外の動く物体の動きベクトルと合成することにより、より確かな初期変位ベクトルを算出することができる。
【００５７】
以上の説明では、フィールド遅延部１にて遅延させて出力する遅延量としては１フィールド分とし、１フィールド前の信号との間にて動きの大きさ及び方向を表わす動きベクトルを算出してベクトルメモリ３に蓄積している場合について説明したが、本発明は、かかる場合のみに限るものではなく、２フィールド以上離れたフィールド間、もしくは複数枚のフィールドから動きベクトルを求めるように構成しても良い。この場合、フィールド遅延部１ではいくつか所望の複数フィールド分の遅延が行なわれ、それぞれの遅延フィールド信号が出力される。例えば、１フィールド遅延と２フィールド遅延とを利用して動きベクトル検出したい場合には、フィールド遅延部１からは１フィールド遅延信号と２フィールド遅延信号とが出力される。これらは、全画面動き特徴検出部２、初期ベクトル選択部５、動きベクトル演算部６に入力され、複数フィールドによる動きベクトル検出などに利用されることになる。
【００５８】
また、全画面動き特徴検出部２における全画面の動き特徴の検出方法として、前述の実施例においては、図２に示したような画面上で背景が表示されていると思われるブロックや領域を使って検出する場合を例に取って説明した。しかしながら、現在の画像処理技術によれば、このような手法以外にも、例えば、動画像の中から画面上の特徴点を抽出して、カメラのパニングやチルト、ズームなどに伴う全画面の動き特徴を検出することも不可能ではない。
【００５９】
ここで、画面上の特徴点については、不動の特徴的な対象物を用いるものであり、例えば、野球ゲームを撮影する場合では、ベースの位置やラインの位置、テニスやサッカー、フットボールなどでは、コートのライン、バレーボールでは、アンテナやネットなどがある。つまり、撮影した動画像がどのような種類の動画像であるかが、事前に判明していれば、前述のような予め定めた画面上の特徴点を利用することにより、カメラのパニングやチルト、ズームなどのカメラの操作結果を推量することが可能である。かくのごとく、抽出された特徴点の位置的な変化を用いて全画面の動き特徴として検出する方法を、本発明における全画面動き特徴検出部として使用しても良い。
【図面の簡単な説明】
【００６０】
【図１】本発明に係る動きベクトル検出装置の機能構成の一例を示す機能ブロック構成図である。
【図２】本発明に係る動きベクトル検出装置において背景の動きベクトルを全画面の動き特徴として検出する際に参照する全画面特徴抽出ブロックの一例を示す模式図である。
【図３】本発明に係る動きベクトル検出装置の全画面動き特徴検出部の具体的な回路構成の一例を示すブロック構成図である。
【図４】本発明に係る動きベクトル検出装置の初期変位ベクトル補正部の具体的な回路構成の一例を示すブロック構成図である。
【図５】本発明に係る動きベクトル検出装置の初期変位ベクトル選択部の具体的な回路構成の一例を示すブロック構成図である。
【図６】２回の反復勾配法による動きベクトルの算出方法を説明するためのベクトル図である。
【図７】前フィールドと現フィールドとの間で移動した画像の動きベクトルを具体的に説明するための模式図である。
【符号の説明】
【００６１】
１…フィールド遅延部、２…全画面動き特徴検出部、２ａ…動きベクトル演算部、２ｂ…全画面動き特徴ベクトルメモリ、２ｃ…ベクトル差分部、３…ベクトルメモリ、４…初期変位ベクトル補正部、４ａ…ベクトル減算部、５…初期変位ベクトル選択部、５ａ…座標変換部、５ｂ…減算部、５ｃ…絶対値累積部、５ｄ…選択部、６…動きベクトル演算部、１０…動きベクトル検出装置。
【図１】
2006217066.tif 000004
【図２】
2006217066.tif 000005
【図３】
2006217066.tif 000006
【図４】
2006217066.tif 000007
【図５】
2006217066.tif 000008
【図６】
2006217066.tif 000009
【図７】
2006217066.tif 000010