(57)【要約】【課題】抽出した画面全体の動き特徴に基づいて初期変位ベクトルを補正することにより、少ない演算回数で被写体の動きベクトルを正しく検出可能とする。【解決手段】ベクトルメモリ４から現フィールドの被検出ブロックの近傍に位置する複数のブロックの動きベクトルを第１の候補ベクトル群として読み出し、理論動きベクトル演算部３で、撮影時のカメラの向きなどを含むカメラパラメータに基づいて画面上の座標変化を被検出ブロック毎に又は予め定めた特定ブロックについて第２の候補ベクトルとして求め、該第２の候補ベクトルと前記第１の候補ベクトル群のうち、現フィールドの被検出ブロックの動きに最もふさわしい値の動きベクトルを初期変位ベクトル選択部５で初期変位ベクトルとして選択し、該初期変位ベクトルを起点として動きベクトル演算部６で被検出ブロックの動きベクトルを１乃至複数回の演算により求める。【選択図】図１
2006215657.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号のフィールドを予め定めた所定の大きさの複数のブロックに分割し、分割したそれぞれのブロック毎に、少なくとも１フィールド以上離れた動画像信号間にて動きの大きさ及び方向を表わす動きベクトルを検出する動画像信号の動きベクトル検出方法において、撮影時のカメラの向きやズームに関する情報を含むカメラパラメータが付加された動画像信号の中から、該カメラパラメータを取得するカメラパラメータ取得ステップと、該カメラパラメータ取得ステップにより取得された前記カメラパラメータに基づいて画面上の座標変化を理論動きベクトルとして演算する理論動きベクトル演算ステップと、各ブロック毎に検出された動きベクトルを少なくとも１フィールド分蓄積する記憶ステップと、該記憶ステップにより蓄積された動きベクトルの中から被検出ブロックの近傍に位置する複数のブロックの動きベクトルを、被検出ブロックの初期変位ベクトル選択用の第１の候補ベクトル群として読み出して、該第１の候補ベクトル群と前記理論動きベクトル演算ステップにより演算された前記理論動きベクトルである第２の候補ベクトルとの中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択ステップと、該初期変位ベクトル選択ステップにて選択した前記初期変位ベクトルを起点として１乃至複数回の演算を行なって被検出ブロックの動きベクトルを求めて出力すると共に、求めた動きベクトルを、次フィールド以降の動画像信号の動きベクトル算出のために前記記憶ステップにより蓄積する動きベクトル演算ステップと、を有していることを特徴とする動きベクトル検出方法。
【請求項２】
請求項１に記載の動きベクトル検出方法であって、前記理論動きベクトル演算ステップが、画面内の全てのブロックについて、被検出ブロック毎に前記理論動きベクトルを演算するか、又は、画面全体を予め定めた複数個の領域に分割して、それぞれの領域内に存在する予め定めた特定ブロックについてのみそれぞれ前記理論動きベクトルを演算し、該理論動きベクトルを、それぞれの特定ブロックが存在する領域内の各ブロックについての理論動きベクトルとして用いるようにするか、のいずれかであることを特徴とする動きベクトル検出方法。
【請求項３】
動画像信号のフィールドを予め定めた所定の大きさの複数のブロックに分割し、分割したそれぞれのブロック毎に、少なくとも１フィールド以上離れた動画像信号間にて動きの大きさ及び方向を表わす動きベクトルを検出する動画像信号の動きベクトル検出装置において、撮影時のカメラの向きやズームに関する情報を含むカメラパラメータが付加された動画像信号の中から、該カメラパラメータを取得するカメラパラメータ取得手段と、該カメラパラメータ取得手段により取得された前記カメラパラメータに基づいて画面上の座標変化を理論動きベクトルとして演算する理論動きベクトル演算手段と、各ブロック毎に検出された動きベクトルを少なくとも１フィールド分蓄積する記憶手段と、該記憶手段により蓄積された動きベクトルの中から被検出ブロックの近傍に位置する複数のブロックの動きベクトルを、被検出ブロックの初期変位ベクトル選択用の第１の候補ベクトル群として読み出して、該第１の候補ベクトル群と前記理論動きベクトル演算手段により演算された前記理論動きベクトルである第２の候補ベクトルとの中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択手段と、該初期変位ベクトル選択手段にて選択した前記初期変位ベクトルを起点として１乃至複数回の演算を行なって被検出ブロックの動きベクトルを求めて出力すると共に、求めた動きベクトルを、次フィールド以降の動画像信号の動きベクトル算出のために前記記憶手段により蓄積する動きベクトル演算手段と、を有していることを特徴とする動きベクトル検出装置。
【請求項４】
請求項３に記載の動きベクトル検出装置であって、前記理論動きベクトル演算手段が、画面内の全てのブロックについて、被検出ブロック毎に前記理論動きベクトルを演算するか、又は、画面全体を予め定めた複数個の領域に分割して、それぞれの領域内に存在する予め定めた特定ブロックについてのみそれぞれ前記理論動きベクトルを演算し、該理論動きベクトルを、それぞれの特定ブロックが存在する領域内の各ブロックについての理論動きベクトルとして用いるようにするか、のいずれかであることを特徴とする動きベクトル検出装置。
【請求項５】
請求項１又は２に記載の動きベクトル検出方法を、コンピュータにより実行可能なプログラムとして実現していることを特徴とする動きベクトル検出プログラム。
【請求項６】
請求項５に記載の動きベクトル検出プログラムを、コンピュータにより読み取り可能な記録媒体に記録していることを特徴とするプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号の動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体に係り、特に、例えば、異なるテレビジョン方式間の動画像信号変換を行なうテレビジョン方式変換装置又は画像伝送における高能率符号化装置などに好適に適用可能な動画像信号の動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体に関するものである。
【背景技術】
【０００２】
動画像信号中の動領域を動きベクトルとして検出し、その動きベクトルを用いて動き補正を行なう技術は、例えば、画像伝送の際の高能率符号化におけるフレーム間符号化効率を向上させる場合、又は、テレビジョン方式変換の際のフィールド数変換による動きの不連続性を軽減する場合などに、特に有効に用いられている。例えば、テレビジョン方式変換装置としては、特許文献１に示す特開平０１−３０９５９７号公報「テレビジョン標準方式変換装置」、特許文献２に示す特開平０３−２８０６８１号公報「動きベクトルを用いた動き内挿方式」、非特許文献１に示すテレビジョン学会誌（第４５巻、第１２号、第１５３４頁〜第１５４３頁、１９９１年発行）、又は、非特許文献２に示すテレビジョン学会全国大会における予稿集（２０−５、１９８９年開催）などに記載された技術が提案されている。
【０００３】
また、従来、前述の各文献に記載のテレビジョン方式変換装置に用いられる動きベクトルの検出方法としては、例えば、特許文献３に示す特開昭５５−１６２６８３号公報「テレビジョン画像の動き検出方法」や特許文献４に示す特開昭５５−１６２６８４号公報「画像動ベクトルの漸近的検出方法」に記載のパターンマッチング法による検出方法、又は、特許文献５に示す特開昭６０−１５８７８６号公報「画像動き量検出方式」や特許文献６に示す特開昭６２−２０６９８０号公報「動画像の動き推定における初期偏位方式」などに記載の反復勾配法による検出方法が、それぞれ提案されている。
【０００４】
特に、後者の反復勾配法による動きベクトル検出方法は、パターンマッチング法に比べて、小型でかつ精度良く、動きベクトルを検出することができる。即ち、反復勾配法による動きベクトル検出方法は、デジタル化したテレビジョン信号のそれぞれのフィールドを、例えば、横方向ｍ画素、縦方向ｎラインを含むｍ×ｎ画素の予め定めた所定の大きさのブロックに細分化して、それぞれのブロック毎に、その画面内での信号の勾配及び対応する画面間との信号差分値の物理的な対応などに基づいて、反復的な勾配法演算を施すことにより動き量を推定するものであった。
【０００５】
この場合、前記特許文献６の特開昭６２−２０６９８０号公報においては、動き量を推定する際の初期値として、被検出ブロックに該当するブロックを含む周辺の複数のブロックにおいて既に検出されている動きベクトルの候補の中から、該被検出ブロックの動きベクトル検出用として最適なものを、初期変位ベクトルとして選択して、該被検出ブロックの真の動きベクトルに近い値から演算を開始することにより、勾配法演算の演算回数を少なくして、例えば、２回の勾配演算にて、真の動きベクトルを検出する技術が提案されていた。
【０００６】
また、特許文献７に示す特開平０６−２１７２６６号公報「動きベクトル検出回路」では、動きベクトル検出の精度を更に高めるために、少なくとも、１フィールド以上又は１フレーム以上離れた画像信号の各ブロック間で動きの初期変位ベクトルを検出する方法も提案されている。
【０００７】
一方、動画像信号がデジタル映像などの場合であれば、映像ストリームとして動画像データと同時に付加データを送信することができるように構成されており、ＭＰＥＧ７やＭＰＥＧ２１などの規格においては、該付加データに、カメラの向きやズームなどカメラ操作に関する撮影時の情報を含むカメラパラメータを設定することができるように構成されている。該カメラパラメータを使用すれば、カメラの操作に起因する画面の動きベクトルを理論的に算出することができる。特許文献８に示す特開平１１−４１５００号公報「動きベクトル検出装置及び方法及び記録媒体」には、該カメラパラメータより画面全体の動きベクトルを演算する方法について記載されている。  
【特許文献１】特開平０１−３０９５９７号公報
【特許文献２】特開平０３−２８０６８１号公報
【特許文献３】特開昭５５−１６２６８３号公報
【特許文献４】特開昭５５−１６２６８４号公報
【特許文献５】特開昭６０−１５８７８６号公報
【特許文献６】特開昭６２−２０６９８０号公報
【特許文献７】特開平０６−２１７２６６号公報
【特許文献８】特開平１１−４１５００号公報
【非特許文献１】テレビジョン学会誌（第４５巻、第１２号、                      第１５３４頁〜第１５４３頁、１９９１年発行）
【非特許文献２】テレビジョン学会全国大会予稿集（２０−５、１９８９年開催）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、前述した従来の技術では、既検出済みの動きベクトルから抽出した複数の候補ベクトルの中から初期変位ベクトルを選択する際に、各ブロック毎に個別に処理しており、小さなブロックで初期変位ベクトルを選択するために、例えばカメラのパニング、チルト、ズームなどのような撮影時のカメラ操作により、画面全体が動いた場合に、ブロック内の輝度変化が小さい濃淡の緩やかな領域では動きベクトルの推定が難しく、結果として、初期変位ベクトルの検出精度が低下する場合があった。
【０００９】
また、前述のような領域では、１フィールド前に正しい動きベクトルが存在していない場合も生じてしまい、正しい動きベクトルが数フィールドに亙って検出できなくなる場合もあった。
つまり、前述した従来技術では、カメラの操作による動画像全体の動きの変化を考慮に入れることなく、画面の輝度情報のみを用いて、初期変位ベクトルを算出しているため、動く被写体の動きベクトルを誤検出してしまうという欠点があった。
【００１０】
また、前記特許文献８に示す特開平１１−４１５００号公報「動きベクトル検出装置及び方法及び記録媒体」に記載のようなカメラパラメータを用いて動きベクトルを求める技術についても、該カメラパラメータが示すカメラ操作による動きベクトルを算出することのみに留まる技術であった。即ち、カメラ操作と連動して動く撮影画面全体に関する動きベクトルを演算するものであり、カメラ操作とは独立に動く物体に関する真の動きベクトルを演算する処理までは考慮されていないものであった。また、該カメラパラメータによる動きベクトル演算だけでは、該カメラパラメータに誤差が含まれている場合に、動きベクトルの精度低下が発生してしまう場合も存在する可能性がある。
【００１１】
本発明は、前述のような課題を解決するためになされたものであり、カメラの向きやズームなどのカメラ操作に伴う情報を含むカメラパラメータを用いて、動く物体の初期変位ベクトルの候補を算出して、少なくとも１フィールド前の動く物体の動きベクトルを用いた初期変位ベクトルの候補ベクトル群に更に追加することにより、初期変位ベクトルの選択幅を増加すると共に、初期変位ベクトルの誤検出を防ぎ、少ない演算回数で動く被写体を含むブロック毎の動きベクトルを正しく検出可能とする技術を提供することを目的としている。
【課題を解決するための手段】
【００１２】
第１の技術手段は、動画像信号のフィールドを予め定めた所定の大きさの複数のブロックに分割し、分割したそれぞれのブロック毎に、少なくとも１フィールド以上離れた動画像信号間にて動きの大きさ及び方向を表わす動きベクトルを検出する動画像信号の動きベクトル検出方法において、撮影時のカメラの向きやズームに関する情報を含むカメラパラメータが付加された動画像信号の中から、該カメラパラメータを取得するカメラパラメータ取得ステップと、該カメラパラメータ取得ステップにより取得された前記カメラパラメータに基づいて画面上の座標変化を理論動きベクトルとして演算する理論動きベクトル演算ステップと、各ブロック毎に検出された動きベクトルを少なくとも１フィールド分蓄積する記憶ステップと、該記憶ステップにより蓄積された動きベクトルの中から被検出ブロックの近傍に位置する複数のブロックの動きベクトルを、被検出ブロックの初期変位ベクトル選択用の第１の候補ベクトル群として読み出して、該第１の候補ベクトル群と前記理論動きベクトル演算ステップにより演算された前記理論動きベクトルである第２の候補ベクトルとの中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択ステップと、該初期変位ベクトル選択ステップにて選択した前記初期変位ベクトルを起点として１乃至複数回の演算を行なって被検出ブロックの動きベクトルを求めて出力すると共に、求めた動きベクトルを、次フィールド以降の動画像信号の動きベクトル算出のために前記記憶ステップにより蓄積する動きベクトル演算ステップと、を有していることを特徴とする。
【００１３】
第２の技術手段は、前記第１の技術手段に記載の動きベクトル検出方法であって、前記理論動きベクトル演算ステップが、画面内の全てのブロックについて、被検出ブロック毎に前記理論動きベクトルを演算するか、又は、画面全体を予め定めた複数個の領域に分割して、それぞれの領域内に存在する予め定めた特定ブロックについてのみそれぞれ前記理論動きベクトルを演算し、該理論動きベクトルを、それぞれの特定ブロックが存在する領域内の各ブロックについての理論動きベクトルとして用いるようにするか、のいずれかであることを特徴とする。
【００１４】
第３の技術手段は、動画像信号のフィールドを予め定めた所定の大きさの複数のブロックに分割し、分割したそれぞれのブロック毎に、少なくとも１フィールド以上離れた動画像信号間にて動きの大きさ及び方向を表わす動きベクトルを検出する動画像信号の動きベクトル検出装置において、撮影時のカメラの向きやズームに関する情報を含むカメラパラメータが付加された動画像信号の中から、該カメラパラメータを取得するカメラパラメータ取得手段と、該カメラパラメータ取得手段により取得された前記カメラパラメータに基づいて画面上の座標変化を理論動きベクトルとして演算する理論動きベクトル演算手段と、各ブロック毎に検出された動きベクトルを少なくとも１フィールド分蓄積する記憶手段と、該記憶手段により蓄積された動きベクトルの中から被検出ブロックの近傍に位置する複数のブロックの動きベクトルを、被検出ブロックの初期変位ベクトル選択用の第１の候補ベクトル群として読み出して、該第１の候補ベクトル群と前記理論動きベクトル演算手段により演算された前記理論動きベクトルである第２の候補ベクトルとの中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択手段と、該初期変位ベクトル選択手段にて選択した前記初期変位ベクトルを起点として１乃至複数回の演算を行なって被検出ブロックの動きベクトルを求めて出力すると共に、求めた動きベクトルを、次フィールド以降の動画像信号の動きベクトル算出のために前記記憶手段により蓄積する動きベクトル演算手段と、を有していることを特徴とする。
【００１５】
第４の技術手段は、前記第３の技術手段に記載の動きベクトル検出装置であって、前記理論動きベクトル演算手段が、画面内の全てのブロックについて、被検出ブロック毎に前記理論動きベクトルを演算するか、又は、画面全体を予め定めた複数個の領域に分割して、それぞれの領域内に存在する予め定めた特定ブロックについてのみそれぞれ前記理論動きベクトルを演算し、該理論動きベクトルを、それぞれの特定ブロックが存在する領域内の各ブロックについての理論動きベクトルとして用いるようにするか、のいずれかであることを特徴とする。
【００１６】
第５の技術手段は、前記第２又は第２の技術手段に記載の動きベクトル検出方法を、コンピュータにより実行可能なプログラムとして実現している動きベクトル検出プログラムとすることを特徴とする。
【００１７】
第６の技術手段は、前記第５の技術手段に記載の動きベクトル検出プログラムを、コンピュータにより読み取り可能な記録媒体に記録しているプログラム記録媒体とすることを特徴とする。
【発明の効果】
【００１８】
前述のような各技術手段からなる本発明に係る動画像信号の動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体によれば、以下のような効果を奏することができる。
既検出の動きベクトルの中から初期変位ベクトルを選択して、該初期変位ベクトルを用いて動きベクトルを検出する際に、既検出の動きベクトルに加え、カメラパラメータにより想定される動きベクトルも初期変位ベクトルの候補として追加しているので、正しい初期変位ベクトルを選択する機会を拡大することができる。
【００１９】
この結果、画面上の濃淡が非常に少ないような動画像であっても、パニングやチルト、ズームなどのカメラ操作による変化に影響されることなく、より正しい初期変位ベクトルを選択することが可能となり、初期変位ベクトルの誤検出を少なくすることができ、動きベクトルの検出精度の大幅な向上を図ることが可能になる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照しながら、本発明に係る動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体を実施するための最良の形態について説明する。なお、以下の説明においては、本発明に係る動きベクトル検出装置に関する実施形態の一例について説明し、本発明に係る動きベクトル検出方法、動きベクトル検出プログラム及びプログラム記録媒体に関する実施形態の説明は省略するが、以下の動きベクトル検出装置に関する詳細な説明から、本動きベクトル検出装置に適用可能な動きベクトル検出方法、本動きベクトル検出方法をコンピュータによりプログラムとして実行するベクトル検出プログラム、及び、該ベクトル検出プログラムをコンピュータにより読み取り可能な記録媒体に記録するプログラム記録媒体についても容易に理解することができる。
【００２１】
まず、動画像信号の動きベクトルを検出する本発明に係る動きベクトル検出装置の実施例について、図１を用いて詳細に説明する。図１は、本発明に係る動きベクトル検出装置の機能構成の一例を示す機能ブロック構成図であり、本発明に係る動きベクトル検出方法の一例が適用されている。
図１に示す本実施例に係る動きベクトル検出装置１０は、フィールド遅延部１、カメラパラメータ取得部２、理論動きベクトル演算部３、ベクトルメモリ４、初期変位ベクトル選択部５、動きベクトル演算部６を含んで構成される。
【００２２】
本実施例に係る動きベクトル検出装置１０は、フィールド毎に入力する、動画像信号を、予め定めた所定の大きさ例えばｍ画素×ｎライン（ｍ，ｎは整数）の複数のブロックに分割して、分割した各ブロック毎に、フィールド遅延部１にて遅延させた例えば１フィールド前の動画像信号での対応のブロックとの間における動きの方向及び大きさを表わす動きベクトルを求めるための動き量検出装置であり、既に検出されて、ベクトルメモリ４に蓄積されている動きベクトルの中から選択した第１の候補ベクトル群と、更に、理論動きベクトル演算部３にて算出された理論動きベクトル即ち第２の候補ベクトルとを併せ用いて、その中から初期変位ベクトル選択部６にて選択された動きベクトルを被検出ブロックの初期変位ベクトルとして選択し、該初期変位ベクトルを起点として、少ない演算回数例えば２回の勾配演算法にて、該被検出ブロックの真の動きベクトルを正しく求めるベクトル演算部７を備えている。
【００２３】
特に、本実施例は、初期変位ベクトルの候補ベクトルの求め方に特徴があり、パニングやチルト、ズームなどのカメラの動きによる動きベクトルを、カメラパラメータ取得部２にて動画像信号から得たカメラパラメータを用いて理論動きベクトル演算部３にて理論動きベクトルを算出し、更に、該理論動きベクトルを初期変位ベクトルの候補となる第２の候補ベクトルとして、ベクトルメモリ４から読み出した動きベクトルの中から取り出した第１の候補ベクトル群に対して追加することにより、初期変位ベクトル選択部５において、より正確な初期変位ベクトルを選択するように構成している。
【００２４】
更に詳細に説明すると、図１に示す本実施例による動きベクトル検出装置１０は、前述のように、カメラパラメータ取得部２と、理論動きベクトル演算部３と、ベクトルメモリ４と、初期変位ベクトル選択部５と、動きベクトル演算部６とを含んで構成されている。初期変位ベクトル選択部５と動きベクトル演算部６とには、それぞれ、現フィールド信号とフィールド遅延部１を介して１フィールド分遅延させた前フィールド信号とが供給されており、理論動きベクトル演算部３には、カメラパラメータ取得部２により取得された現フィールド信号に関するカメラパラメータが供給されている。初期変位ベクトル選択部５と動きベクトル演算部６とにおいては、供給されてくるフィールド信号を、予め定めた所定の大きさ例えば８画素×８ラインのブロックに分割して、各ブロック毎に動きベクトルを検出している。
【００２５】
ベクトルメモリ４は、各ブロック毎に既に検出された少なくとも１フィールド分の動きベクトルを蓄積するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含む記憶回路であり、その入力端子が動きベクトル演算部６の出力端子に接続されていて、例えば８画素×８ラインに分割された各ブロックの位置に応じたアドレスに、動きベクトル演算部６にて該当ブロックで検出された動きベクトルを順次更新して蓄積するように構成されている。
【００２６】
カメラパラメータ取得部２は、動画像信号がデジタル形式である場合に映像ストリームに付加される付加データの場合のように、動画像信号にカメラパラメータが付加されている場合に、該カメラパラメータを動画像信号の中から取り出すものであり、該カメラパラメータには、カメラの向きやズームなど撮影時における撮影情報が含まれている。
【００２７】
理論動きベクトル演算部３は、カメラパラメータ取得部２より取得されたカメラパラメータに基づいて、現フィールド信号内の各ブロックにおけるカメラ操作による動きベクトルを理論的に演算するものであり、演算結果の理論動きベクトルを第２の候補ベクトルとして初期変位ベクトル選択部５に対して出力する。第２の候補ベクトルを算出する理論動きベクトル演算部３における演算方法の詳細については後述する。
【００２８】
初期変位ベクトル選択部５は、前フィールドの動きベクトル演算で求められた既検出動きベクトルの中から被検出ブロックの動きに最もふさわしい値の動きベクトルを勾配法演算の起点となる初期変位ベクトルとして選択する選択回路であり、前述した第１の候補ベクトル群と第２の候補ベクトルとの中から適切な動きベクトルを選択するものである。ここで、本実施例では、第１の候補ベクトル群として、被検出ブロックに対応する前フィールドのブロックを囲む周囲８ブロックの動きベクトルを被検出ブロックの初期変位ベクトル選択用の候補ベクトル群とすることとする。なお、これらの第１の候補ベクトル群は、かかる例のみに限るものではなく、画面全体の動き特徴ベクトルから決定するように構成しても勿論構わない。
ここで、被検出ブロックの動きに最もふさわしい値の動きベクトルとは、最終的に求めたい動きベクトルに最も近い値の動きベクトルである。ただし、初期変位ベクトル選択の時点では正しい動きベクトルは判明していないので、最も近い値であるかどうかは何らかの指標を用いて評価することになる。この指標の定め方にはいろいろな手法があるが、本発明では、ブロックマッチング法を用いた評価法を説明している。ブロックマッチング法では、前フレームの検出ブロックの画素と、想定される動きベクトル分だけ平行移動した現フレームの画素輝度の差分を画素毎に求めて、その合計が一番小さい値になるものを、最もふさわしい値の動きベクトルとしている。
【００２９】
具体的には、本実施例の初期変位ベクトル選択部５は、例えば、図２のように構成される。図２に示す初期変位ベクトル選択部５は、座標変換部５ａと減算部５ｂと絶対値累積部５ｃと選択部５ｄとを含んで構成されている。
【００３０】
初期変位ベクトル選択部５において、座標変換部５ａ、減算部５ｂ、絶対値累積部５ｃは、候補ベクトル毎に（第１の候補ベクトル群と第２の候補ベクトルとの全ての候補ベクトル即ち動きベクトルについて）独立に機能し、結果として、選択部５ｄには、絶対値累積部５ｃから出力されてくる全ての候補ベクトルに対しての演算結果が入力される。選択部５ｄでは、例えば、絶対値累積部５ｃからの出力値が最も小さな値を有する候補ベクトルを一番好ましい候補ベクトルと判断して、該候補ベクトルを選択して被検出ブロックの初期変位ベクトルとして出力する。
【００３１】
最後に、動きベクトル演算部６は、初期変位ベクトル選択部５にて選択された初期変位ベクトルを起点として真の動きベクトルを勾配法演算より求める演算回路である。なお、勾配法演算による動きベクトル算出方法については、前述した各特許文献、非特許文献に詳しいので、ここでは特に説明しないが、初期変位ベクトルが、本発明においてどのように使われるかについて、反復勾配法を例に取って説明する。
また、ここでは動きベクトル演算部６における動きベクトルの算出方法としては、１乃至複数回の勾配法演算を用いる反復勾配法を採用しているが、これに限るものではなく、パターンマッチング法や他の演算方法を用いても良い。
【００３２】
例えば、勾配法演算は、初期変位ベクトルＶ０（α，β）にて前フィールド信号を変位させた座標位置を起点にして、現フィールドの動き量を推定した動き変位分Ｖ１を、次式（１），（２）に従って求める。
【００３３】
【数１】
2006215657.tif 000003
【００３４】
但し、式（１），（２）において、Ｖｘは、動きベクトルＶ０とＶ１との差のｘ方向成分、Ｖｙは、動きベクトルＶ０とＶ１との差のｙ方向成分である。ここで、Σは、ｍ画素×ｎライン例えば８画素×８ラインのブロック領域内の全ての座標について演算して和を求めることを表している。また、ΔＸは、注目座標における画像輝度のｘ方向の勾配（ｘ方向の隣接画素との差分値）、ΔＹは、注目座標における画像輝度のｙ方向の勾配（ｙ方向の隣接画素との差分値）、ＤＦＤ（ｘ，ｙ）は、前フィールドの座標（ｘ，ｙ）と現フィールドの座標（ｘ＋α，ｙ＋β）におけるフィールド間差分値を示す。また、ｓｉｇｎ（ΔＸ）、ｓｉｇｎ（ΔＹ）は、それぞれ、＋１，−１，０のいずれかにて表わされる勾配の方向を示す符号である。
【００３５】
例えば、２回の反復勾配法の場合、図３に示すように、初期変位ベクトルをＶ０として、１回目の変位分Ｖ１及び２回目の変位分Ｖ２を求めて、それらをベクトル加算した動きベクトルＶを、次の式（３）により求める。
Ｖ＝Ｖ０＋Ｖ１＋Ｖ２              …（３）
なお、図３は、２回の反復勾配法による動きベクトルＶの算出方法を説明するためのベクトル図である。
【００３６】
式（３）により、図４に示すように、前フィールドにて座標（ｍ１，ｎ１）のブロックに存在していた画像が、現フィールドにおいて座標（ｍ１＋α０，ｎ１＋β０）の座標位置のブロックに移動した際に、その動き量が、ベクトルＶとして求められる。ここに、図４は、１フィールド前の前フィールドと現フィールドとの間で移動した画像の動きベクトルＶを具体的に説明するための模式図である。
このようにして、図１に示す動きベクトル演算部６で求められた動きベクトルＶは、ベクトルメモリ４に蓄積され、次のフィールド以降の動きベクトル算出のために用いる初期変位ベクトル選択用の候補ベクトルとして利用される。
【００３７】
次に、以上のような構成において、本実施例による動画像信号の動きベクトル検出方法を、前述した動きベクトル検出装置１０の動作と共に、更に説明する。動きベクトル検出装置１０の動作状態において、現フィールド信号と、フィールド遅延部１を介して入力された１フィールド前の前フィールド信号とは、初期変位ベクトル選択部５と動きベクトル演算部６とに順次供給される。同時に、現フィールド撮影時のカメラパラメータが付加されている動画像信号が、カメラパラメータ取得部２に入力されている。カメラパラメータ取得部２は、入力されてきた動画像信号に含まれている現在のカメラパラメータを取得して、理論動きベクトル演算部３に対して出力する。
【００３８】
理論動きベクトル演算部３では、カメラパラメータ取得部２から入力されてきたカメラパラメータを使用して、被検出ブロックの動きベクトルを理論的に演算する。より具体的には、以下のような演算を施すことにより、カメラパラメータから動きベクトル（理論動きベクトル）を算出することができる。
例えば、図５に示すようなカメラパラメータが入力されているものと仮定する。ここで、図５は、現在のフィールド信号に付加されているカメラパラメータに含まれている情報のうち、カメラの向きに関する情報の一例を示す模式図であり、カメラと同じ水平位置で、カメラの撮影方向と直交する角度からカメラを見た場合を示している。図５において、θは、パニング角、φは、チルト角を示し、２θｗは、パニング方向の画角、２φｗは、チルト方向の画角を示している。
【００３９】
また、図６は、現フィールド信号を表示した画面とカメラの向きとの関係を説明するための模式図である。図６に示すように、カメラの向きとして、図５のパラメータを用いて画面との関係を説明すると、画面の横方向への移動角度が、パニング角θであり、画面の縦方向への移動角度が、チルト角φであり、画面の横方向の画角が、パニング方向の画角２θＷであり、画面の縦方向の画角が、チルト方向の画角２φＷである。
今、図６の画面上の被検出ブロックの中心（ｘ１，ｙ１）に注目する。但し、説明を簡単にするために、画面の中心が原点（０，０）の座標を持つものとする。ここで、（ｘ，ｙ）座標系を、（θ，φ）の軸座標系に置換すると、次の式（４）のように表される。
【００４０】
【数２】
2006215657.tif 000004
【００４１】
式（４）において、ＸＷ及びＹＷそれぞれの２倍の（２ＸＷ、２ＹＷ）は、画面の横方向、縦方向の画面サイズを示す。
今、カメラ操作としてパニングとチルトとが行なわれ、１フィールドの間に（θＶ，φＶ）だけカメラの向きが動いたとすると、このときの（θ，φ）の軸座標系の座標（θ２，φ２）は、座標（θ１，φ１）から、次の式（５）に示すように移動する。
【００４２】
【数３】
2006215657.tif 000005
【００４３】
移動後の座標（θ２，φ２）を、（ｘ，ｙ）座標系の座標（ｘ２，ｙ２）に再置換すると、次の式（６）に示すようになる。
【００４４】
【数４】
2006215657.tif 000006
【００４５】
つまり、１フィールドの間に（θＶ，φＶ）だけカメラが動いた場合、被検出ブロックの中心の動きベクトルは（ｘ２−ｘ１，ｙ２−ｙ１）により与えられる。
【００４６】
ここで、カメラパラメータのカメラの向きから動きベクトルを求める演算手法については、前述の方法に限るものではなく、異なる方法を用いても良い。例えば、前記特許文献８に示す特開平１１−４１５００号公報「動きベクトル検出装置及び方法及び記録媒体」にて記載されている射影変換の一種であるアフィン変換を使用しても良い。但し、前述した演算方法の方が、動きベクトルをより簡単に演算することができる。
【００４７】
理論動きベクトル演算部３は、画面上の座標変化を、カメラパラメータに基づいて前述のような演算により理論動きベクトル（ｘ２−ｘ１，ｙ２−ｙ１）として求め、求めた理論動きベクトル（ｘ２−ｘ１，ｙ２−ｙ１）を、第２の候補ベクトルとして、初期変位ベクトル選択部５に対して出力する。
【００４８】
なお、理論動きベクトル演算部３は、画面内の全てのブロックについて、被検出ブロック毎にそれぞれ理論動きベクトルを算出するようにしても良いし、あるいは、演算回数を軽減するために、画面全体を予め定めた複数個の領域に分割して、それぞれの領域内に存在する予め定めた特定ブロックについてのみそれぞれ理論動きベクトルを算出し、該理論動きベクトルを、それぞれの特定ブロックが存在する領域内の各ブロックについての理論動きベクトルとして用いるようにしても良い。
【００４９】
初期変位ベクトル選択部５では、ベクトルメモリ４から順次読み出された被検出ブロックに対応するブロックの周辺８ブロックの動きベクトル即ち第１の候補ベクトル群と、理論動きベクトル演算部３から出力された第２の候補ベクトルとが入力されて、第１の候補ベクトル群及び第２の候補ベクトルの各動きベクトルが、それぞれの座標変換部５ａに供給されて、フィールド遅延部１から供給される前フィールド信号の対象ブロックをその動きベクトルにて変位させて、現フィールドへの座標変換を行ない、該座標変換結果が、それぞれの減算部５ｂに供給される。
【００５０】
それぞれの減算部５ｂでは、座標変換部５ａにて座標変換した前フィールド信号と、入力された現フィールド信号との間で減算を施して、それぞれの画素毎の差分を算出し、それぞれの差分結果を絶対値累算部５ｃに供給する。それぞれの絶対値累算部５ｃでは、それぞれの画素の差分の絶対値を求めて、絶対値化した差分をブロックの画素数分累算して、その累積結果を、各ブロックの候補ベクトルとして選択部５ｄにそれぞれ出力する。
【００５１】
次に、各ブロック毎にそれぞれの累積結果を受け取った選択部５ｄは、各ブロックの累積結果を比較して、累積結果が最小となるブロックを検出して、該ブロックの動きベクトルを初期変位ベクトルとして選択し、動きベクトル演算部６に供給する。
【００５２】
動きベクトル演算部６では、供給された初期変位ベクトルを起点として、前フィールド信号からの現フィールド信号の真の動きベクトルを算出する。以上のようにして、既検出済みの動きベクトル及びカメラパラメータに基づいて算出した理論動きベクトルにより求めた初期変位ベクトルを適用することにより、初期変位ベクトルの誤検出を防ぎ、例えば２回程度の少ない反復勾配法による演算回数で、現フィールド信号のブロック毎の真の動きベクトルを正しく算出することができる。ここで、カラメパラメータに基づいて算出した理論動きベクトルが、選択対象の第２の候補ベクトルとして追加されているので、パニングやチルト、ズームなどのカメラ操作に伴う画面の動きがあった場合でも、カメラ操作による変化に影響されることなく、画面上の濃淡が非常に少ないような動画像についても、より正しい初期変位ベクトルを選択することが可能であり、真の動きベクトルを正しく算出することができる。
【００５３】
このようにして、本発明に係る動きベクトル検出方法においては、カメラのパニングやチルト、ズームなどのカメラ操作を示すカメラパラメータをカメラパラメータ取得部２により取得し、理論動きベクトル演算部３において、少なくとも該カメラパラメータに基づいて画面全体の動き特徴ベクトルを演算して求め、求めた画面全体の動き特徴ベクトルを、画面の中の背景以外の動く物体の動きベクトルと合成することにより、より正確な初期変位ベクトルを算出することができる。
【００５４】
以上の説明では、フィールド遅延部１にて遅延させて出力する遅延量としては１フィールド分とし、１フィールド前の信号との間にて動きの大きさ及び方向を表わす動きベクトルを算出してベクトルメモリ４に蓄積している場合について説明したが、本発明は、かかる場合のみに限るものではなく、２フィールド以上離れたフィールド間、もしくは複数枚のフィールドから動きベクトルを求めるように構成しても良い。この場合、フィールド遅延部１ではいくつかの所望の複数フィールド分の遅延が行なわれ、それぞれの遅延フィールド信号が出力される。例えば、１フィールド遅延と２フィールド遅延を利用して動きベクトル検出したい場合には、フィールド遅延部１からは１フィールド遅延信号と２フィールド遅延信号とが出力される。これらは、初期ベクトル選択部５、動きベクトル演算部６に入力され、複数フィールドによる動きベクトル検出に利用されることになる。
【図面の簡単な説明】
【００５５】
【図１】本発明に係る動きベクトル検出装置の機能構成の一例を示す機能ブロック構成図である。
【図２】本発明に係る動きベクトル検出装置の初期変位ベクトル選択部の具体的な回路構成の一例を示すブロック構成図である。
【図３】２回の反復勾配法による動きベクトルＶの算出方法を説明するためのベクトル図である。
【図４】１フィールド前の前フィールドと現フィールドとの間で移動した画像の動きベクトルを具体的に説明するための模式図である。
【図５】現在のフィールド信号に付加されているカメラパラメータに含まれている情報のうち、カメラの向きに関する情報の一例を示す模式図である。
【図６】現フィールド信号を表示した画面とカメラの向きとの関係を説明するための模式図である。
【符号の説明】
【００５６】
１…フィールド遅延部、２…カメラパラメータ取得部、３…理論動きベクトル演算部、４…ベクトルメモリ、５…初期変位ベクトル選択部、６…動きベクトル演算部、１０…動きベクトル検出装置。
【図１】
2006215657.tif 000007
【図２】
2006215657.tif 000008
【図３】
2006215657.tif 000009
【図４】
2006215657.tif 000010
【図５】
2006215657.tif 000011
【図６】
2006215657.tif 000012