(57)【特許請求の範囲】
【請求項１】
領域分割技法を用いる符号化システムで用いられ、ディジタル映像信号の現フレームとその前フレームとの間の動きベクトルを検出する動きベクトル検出方法であって、前記現フレームが複数の分割領域よりなり、前記前フレームが複数の候補領域よりなっており、
前記分割領域の各々に対する形状及び位置を表す輪郭線情報と前記分割領域の各々に含まれている画素全体の平均グレイレベルを表すテクスチャ情報とを有する分割領域の分割データを発生する第１過程と、
前記候補領域の各々に対する形状及び位置を表す輪郭線情報と前記候補領域の各々に含まれている画素全体の平均グレイレベルを表すテクスチャ情報とを有する候補領域の分割データを発生する第２過程と、
前記分割領域の各々を取り囲む最小大きさの予め定められた幾何学的パターンを形成して、その大きさ情報を発生する第３過程と、
前記候補領域の各々を取り囲む最小大きさの予め定められた幾何学的パターンを形成して、その大きさ情報を発生する第４過程と、
前記分割領域及び前記候補領域の各々に対する前記分割データ、前記幾何学的パターン及び前記大きさ情報に基づいて、前記分割領域と前記候補領域の各々との間の誤差値を計算することによって、前記分割領域に対する１組の誤差値を発生する第５過程と、
前記１組の誤差値のうちで、最小の誤差値をもたらす候補領域を前記分割領域と最も類似な探索領域として選択する第６過程と、
前記分割領域と前記探索領域との間で、一つまたはそれ以上の動きベクトルを検出する第７過程と、
前記分割領域の全てに対して、前記第３過程から第７過程を繰り返す第８過程とを含むことを特徴とする動きベクトル検出方法。
【請求項２】
前記第３過程は、前記分割領域の各々に対する前記輪郭線情報を用いることにより、前記幾何学的パターンを形成して、前記大きさ情報を発生し、ここで前記幾何学的パターンは長方形であり、
前記第４過程は、前記候補領域の各々に対する前記輪郭線情報を用いることにより、前記幾何学的パターンを形成して、前記大きさ情報を発生し、ここで前記幾何学的パターンは長方形であり、
前記第５過程は、下記数式により、誤差値Ｅを計算することを特徴とする請求項１に記載の動きベクトル検出方法。
[数式]        Ｅ＝ω１Ｄｓ＋ω２Ｄｔ＋ω３Ｄｇ
ここで、ω１、ω２及びω３は、重みファクター、Ｄｓは、|Ｓｓ−Ｓｃ|、Ｄｔは、|Ｍｓ−Ｍｃ|、Ｄｇは、|(Ｗｓ−Ｗｃ)２＋(Ｈｓ−Ｈｃ)２|である。（Mｓは、分割領域に対するテクスチャ情報、Ｍｃは、候補領域に対するテクスチャ情報、Ｓｓは、分割領域に対する大きさ情報、Ｓｃは、候補領域に対する大きさ情報、Ｗｓは、分割領域に対する幾何学的パターンの幅、Ｗｃは、候補領域に対する幾何学的パターンの幅、Ｈｓは、分割領域に対する幾何学的パターンの高さ、Ｈｃは、候補領域に対する幾何学的パターンの高さである。）
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動きベクトル検出方法に関し、特に、領域分割（セグメンテーション）方法を用いる符号化システムにおいて、動きベクトルを効果的に検出し得る改善された動きベクトル検出方法に関する。
【０００２】
【従来の技術】
テレビ電話、電子会議及び高精細度テレビジョンシステムのようなディジタルシステムにおいて、映像フレーム信号における映像ライン信号が、画素値と呼ばれる一連のディジタルデータよりなるため、各映像フレーム信号を規定するためには大量のディジタルデータが必要である。しかし、通常の伝送チャネルの利用可能な周波数帯域幅は制限されているため、特に、テレビ電話及び電子会議のような低ビットレートの映像コーデック（符号化/復号化）システムにおいては、その大量のディジタルデータを伝送するためには、多様なデータ圧縮技法を用いてデータの量を圧縮するか低減しなければならない。
【０００３】
このような低ビットレートの符号化システムにおいて、映像信号を符号化するための方法の一つが、いわゆる領域分割（セグメンテーション）技法に基づいた符号化方法である。
この領域分割技法に基づいた符号化方法の第１過程は、映像は領域分割がより容易になるように簡略化される。次の過程は特徴点取出過程で、簡略化された映像の同一エリア（即ち、分割された領域）の内部値に対応する代表値が求められる。この代表値が求められると、上記の特徴点取出過程にて検出された分割された領域の正確な輪郭が、いわゆる「分水界アルゴリズム(watershed algorithm) 」と呼ばれる、非常に効果的な形態学的手段を用いて求められる。
【０００４】
その後、各々の分割された領域の輪郭及びテクスチャ情報が符号化される。輪郭情報を構成する２つの形態（即ち、形状及び位置）の情報がある。形状の情報は、各輪郭の形状を表し、位置の情報は映像内の各輪郭の位置を表す。また、各領域のテクスチャ情報は、分割された各領域内に含まれている画素の平均グレイレベルとして符号化される。
【０００５】
一方、映像信号のデータを圧縮する効果的な符号化方法の一つとしてフレーム間符号化方法がある。詳述すると、動き補償フレーム間符号化方法が、圧縮データ伝送用に、映像の符号化効率を改善するために提案されている。このような方法は、現フレームとその前フレームとの間の動き推定に基づいて、前フレームデータから現フレームデータを予測するのに用いられる。このようにして推定された動きは、前フレームと現フレームとの間の対応する画素の間の変位を表す２次元動きベクトルにより表現される。通常の領域分割に基づく符号化方法の動き推定方法のうちの一つが、特徴点単位の動きベクトル推定方法である。
【０００６】
この特徴点単位の動きベクトル推定方法において、１組の選択された画素（即ち、特徴点）に対する動きベクトルは、受信機へ伝送される。ここで、特徴点は、物体の動きを表現し得る現フレームの画素として定義され、現フレームの画素に対する全動きベクトルが受信機で該特徴点の動きベクトルから近似されるか復元される。一般に、特徴点は、多様の形態のグリッドのうちの一つ（例えば、四角形グリッド）を用いる公知のグリッド技法を用いて、分割された領域の輪郭線上に位置する点から選択される。即ち、グリッドと各領域の輪郭線との交点が、特徴点として選択される。現フレームで選択された特徴点の動きベクトルは、通常のブロック整合法を用いて決定される。ここで、各動きベクトルは、現フレームの各特徴点と前フレームの対応する整合点（即ち、最も類似な画素）との間の空間的変位を表す。詳述すると、各特徴点に対応する整合点は、前フレームの探索エリア内に存在する分割された全領域の輪郭線上で探索される。ここで、探索エリアとは、対応する特徴点の位置を取り囲む予め定められた範囲の領域を指す。
【０００７】
しかし、殆どの場合、現フレームの分割された領域が探索エリア内の分割された領域のうちのいずれか一つに対応するため、動きベクトル推定に関連する計算上の負担を軽減するためには、探索エリア内の分割された全ての領域に対して動き推定を行うよりも、探索エリア内の分割された領域のうちのいずれか一つを現フレームの分割された領域に対する候補領域として選択して、それらの間の動き推定を行うのが好ましい。
【０００８】
【発明が解決しようとする課題】
したがって、本発明の主な目的は、領域分割技法に基づく符号化システムで用いられ、動きベクトルを効率的に検出し得る改善された動きベクトル検出方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、領域分割技法を用いる符号化システムで用いられ、ディジタル映像信号の現フレームとその前フレームとの間の動きベクトルを検出する動きベクトル検出方法であって、前記現フレームが複数の分割領域よりなり、前記前フレームが複数の候補領域よりなっており、
前記分割領域の各々に対する形状及び位置を表す輪郭線情報と前記分割領域の各々に含まれている画素全体の平均グレイレベルを表すテクスチャ情報とを有する分割領域の分割データを発生する第１過程と、
前記候補領域の各々に対する形状及び位置を表す輪郭線情報と前記候補領域の各々に含まれている画素全体の平均グレイレベルを表すテクスチャ情報とを有する候補領域の分割データを発生する第２過程と、
前記分割領域の各々を取り囲む最小大きさの予め定められた幾何学的パターンを形成して、その大きさ情報を発生する第３過程と、
前記候補領域の各々を取り囲む最小大きさの予め定められた幾何学的パターンを形成して、その大きさ情報を発生する第４過程と、
前記分割領域及び前記候補領域の各々に対する前記分割データ、前記幾何学的パターン及び前記大きさ情報に基づいて、前記分割領域と前記候補領域の各々との間の誤差値を計算することによって、前記分割領域に対する１組の誤差値を発生する第５過程と、
前記１組の誤差値のうちで、最小の誤差値をもたらす候補領域を前記分割領域と最も類似な探索領域として選択する第６過程と、
前記分割領域と前記探索領域との間で、一つまたはそれ以上の動きベクトルを検出する第７過程と、
前記分割領域の全てに対して、前記第３過程から第７過程を繰り返す第８過程とを含むことを特徴とする。
さらに動きベクトル検出方法において、前記第３過程は、前記分割領域の各々に対する前記輪郭線情報を用いることにより、前記幾何学的パターンを形成して、前記大きさ情報を発生し、ここで前記幾何学的パターンは長方形であり、
前記第４過程は、前記候補領域の各々に対する前記輪郭線情報を用いることにより、前記幾何学的パターンを形成して、前記大きさ情報を発生し、ここで前記幾何学的パターンは長方形であり、
前記第５過程は、下記数式；
[数式]        Ｅ＝ω１Ｄｓ＋ω２Ｄｔ＋ω３Ｄｇ
ここで、ω１、ω２及びω３は重みファクター、Ｄｓは|Ｓｓ−Ｓｃ|、Ｄｔは|Ｍｓ−Ｍｃ|、Ｄｇは|(Ｗｓ−Ｗｃ)２＋(Ｈｓ−Ｈｃ)２|である。Mｓは、分割領域に対するテクスチャ情報、Ｍｃは、候補領域に対するテクスチャ情報、Ｓｓは、分割領域に対する大きさ情報、Ｓｃは、候補領域に対する大きさ情報、Ｗｓは、分割領域に対する幾何学的パターンの幅、Ｗｃは、候補領域に対する幾何学的パターンの幅、Ｈｓは、分割領域に対する幾何学的パターンの高さ、Ｈｃは、候補領域に対する幾何学的パターンの高さ、
により誤差値Ｅを計算することを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の好適な実施例について図面を参照しながら詳細に説明する。
図１を参照すると、本発明による動きベクトル検出器のブロック図が示されている。この動きベクトル検出器は領域分割（セグメンテーション）ブロック１００、フレームメモリ１２０、探索領域決定ブロック１４０及び動きベクトル検出ブロック１６０を含む。
現フレーム信号は、領域分割ブロック１００及び動きベクトル検出ブロック１６０へ各々供給される。
【００１１】
領域分割ブロック１００は、現フレームを複数の領域に分割して、分割された各領域に対する分割データ（セグメンテーションデータ）即ち、輪郭線情報及びテクスチャ情報を供給する。ここで、輪郭線情報は分割された各領域の形状及び位置を表し、テクスチャ情報は分割された各領域内に含まれている全画素の平均グレイレベル値Ｍを表す。領域分割ブロック１００は、コントローラ（図示せず）からの第１制御信号に応じて、分割データを領域単位で順次に供給する。即ち、分割された各領域のテクスチャ情報は、ラインＬ１３を通じてフレームメモリ１２０及び探索領域決定ブロック１４０へ供給され、各輪郭線情報は、ラインＬ１４を通じてフレームメモリ１２０、探索領域決定ブロック１４０及び動きベクトル検出ブロック１６０へ各々供給される。
【００１２】
フレームメモリ１２０では、領域分割ブロック１００からの分割データが前フレームの候補領域の分割データとして格納される。続いて、コントローラ（図示せず）からの第２制御信号に応じて、フレームメモリ１２０は、候補領域の分割データを探索領域決定ブロック１４０へ供給する。ここで、各候補領域のテクスチャ情報はラインＬ１５へ、輪郭線情報はラインＬ１６へ各々供給される。
【００１３】
探索領域決定ブロック１４０は、ラインＬ１３及びＬ１４上の現在分割された領域（以下、現分割領域と称す）の分割データとラインＬ１５及びＬ１６上の候補領域の分割データとに基づいて、現分割領域と各候補領域との間の誤差値を計算すると共に、計算された誤差値のうちで最小誤差値をもたらす候補領域を、現分割領域内の画素の動きベクトルを推定するための探索領域として決定する。
【００１４】
図２には、図１に示す探索領域決定ブロック１４０の詳細なブロック図が示されている。この探索領域決定ブロック１４０はパターン形成部２１０及び２２０、誤差値計算ブロック２３０、比較ブロック２４０及びレジスタ２５０を含む。
【００１５】
パターン形成部２１０は、ラインＬ１４を通じて入力される現分割領域の輪郭線情報を受け取ると共に、現分割領域を取り囲む最小大きさの予め定められた幾何学的パターン（例えば、長方形）を形成することによって、このパターンに関するパターン情報及び及び現分割領域に対する大きさ情報Ｓsを発生する。ここで、パターン情報は長方形の幅Ｗs及び高さＨsにより表現され、大きさ情報は現分割領域内に存在する画素の個数により表現される。これらのパターン情報及び大きさ情報は、誤差値計算ブロック２３０へ供給する。
【００１６】
また、パターン形成ブロック２２０は、ラインＬ１６を通じて入力される候補領域の輪郭線情報を受け取ると共に、パターン形成ブロック２１０と同様に、各候補領域を取り囲む予め定められた幾何学的パターン（例えば、長方形）を形成して、各候補領域に対するパターン情報及び大きさ情報をエリア値計算ブロック２３０へ供給する。ここで、パターン情報は各候補領域に対する長方形の幅Ｗc及び高さＨcにより表現され、大きさ情報は各候補領域内に存在する画素の個数により表現される。
【００１７】
誤差値計算ブロック２３０では、ラインＬ１３及びラインＬ１５を通じて入力されるテクスチャ情報及びパターン形成部２１０からの大きさＳs、幅Ｗs及び高さＨsのデータ及びパターン形成部２２０からの大きさＳc、幅Ｗc及び高さＨcに基づいて、現分割領域と各候補領域との間の誤差値Ｅを、下記式（１）のように計算する。
【００１８】
Ｅ＝ω1 Ｄs ＋ω2 Ｄt ＋ω3 Ｄg             式（１）
ここで、        Ｄs ＝｜Ｓs −Ｓc ｜,
Ｄt ＝｜Ｍs −Ｍc ｜
Ｄg ＝｜（Ｗs −Ｗc ）2 ＋（Ｈs −Ｈc ）2 ｜
ω1 、ω2 及びω2 ：重みファクター
Ｍs ：現分割領域に対するテクスチャ情報
Ｍc ：各候補領域に対するテクスチャ情報
【００１９】
上記式（１）により計算された誤差値Ｅは順次に比較ブロック２４０へ供給される。
この比較ブロック２４０は、誤差値計算ブロック２３０からの誤差値と既に格納されている前誤差値とを比較する。ここで、入力される誤差値が既に格納されている誤差値より小さい場合、既に格納されている誤差値を入力される誤差値で更新すると共に、入力イネーブル信号を出力する。
第１誤差値を受け取ると、比較ブロック２４０は該第１誤差値とメモリ（図示せず）内のプリセット誤差値とを比較する。このプリセット誤差値を全ての可能な誤差値より大きい値にすることによって、比較ブロック２４０はプリセット誤差値を第１誤差値で更新すると共に、入力イネーブル信号を発生する。その後、比較ブロック２４０にて、誤差計算ブロック２３０からの新たに供給された誤差値が更新された誤差値と比較される。ここで、新たな誤差値が更新された誤差値より小さい場合、比較ブロック２４０はメモリを新たな誤差値で更新すると共に、入力イネーブル信号を発生する。
【００２０】
一方、候補領域の輪郭線情報は順次にレジスタ２５０へ供給される。比較ブロック２４０からの入力イネーブル信号に応じて、レジスタ２５０は格納している前輪郭線情報を新たに受け取った輪郭線情報で更新する。
現分割領域に対する上記の過程が候補領域全体に対して完了された際、コントローラ（図示せず）はレジスタ２５０へ出力イネーブル信号を供給する。レジスタ２５０は入力される出力イネーブル信号に応じて、格納している輪郭線情報を現分割領域に対する探索領域情報として供給する。
【００２１】
動きベクトル検出ブロック１６０は現フレーム信号及びメモリ（図示せず）から前フレーム信号、ラインＬ１４上の現分割領域の輪郭線情報及び探索領域決定ブロック１４０からの探索領域情報を受け取る。この動きベクトル検出ブロック１６０では、例えば、通常の特徴点単位の動き推定技法を用いて、現分割領域内の画素の動きベクトルが現分割領域と探索領域との間で検出される。特徴点に対する検出された動きベクトルが、現分割領域の動きベクトルとして出力される。
【００２２】
上記に於いて、本発明の特定の実施例について説明したが、本明細書に記載した特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である。
【００２３】
【発明の効果】
従って、本発明によれば、現フレーム内の分割された領域の動きベクトル推定のため、前フレーム内で分割された領域の一つを選択することによって、動きベクトルをより効率的に検出することができる。
【図面の簡単な説明】
【図１】本発明による動きベクトル検出器を示すブロック図である。
【図２】図１に示す探索領域決定ブロックの詳細なブロック図である。
【符号の説明】
１００  領域分割ブロック
１２０  フレームメモリ
１４０  探索領域決定ブロック
１６０  動きベクトル検出ブロック
２１０、２２０  パターン形成部
２３０  誤差値計算ブロック
２４０  比較ブロック
２５０  レジスタ
【図１】
0003847827.tif 000002
【図２】
0003847827.tif 000003