(57)【要約】【課題】  圧縮符号化動画像データ中に存在する移動体を包含する画像領域の輪郭を抽出する移動体輪郭抽出装置および方法を提供する。【解決手段】  移動体輪郭抽出装置は、符号化されている動きベクトル情報を復号する動きベクトル復号部１と、動きベクトルの表わす移動方向が予め区分した複数の方向範囲のいずれに含まれるかを分類する動きベクトル分類部２と、分類された方向範囲が周囲の画像ブロックとは異なる画像ブロックを抽出する異方向画像ブロック抽出部３と、抽出された画像ブロックの中に同じ方向範囲の画像ブロックが連続して存在するときは、その連続する画像ブロックを連結する画像ブロック連結部４と、連結された画像ブロックの最外周辺を結んだ線を輪郭データとして抽出する輪郭抽出部５と、を有する。【選択図】  図１
2007133685.tif 000002
【特許請求の範囲】
【請求項１】
画像の圧縮符号化の際に生成された動きベクトル情報が入力されて画像ブロック単位の動きベクトルを復号する動きベクトル復号手段と、
前記動きベクトルの表す前記画像ブロックの移動方向が予め区分した複数の方向範囲のいずれに含まれるかを分類する動きベクトル分類手段と、
前記分類された方向範囲が周囲の画像ブロックとは異なる画像ブロックを抽出する異方向画像ブロック抽出手段と、
前記抽出された画像ブロックの中に同じ方向範囲の画像ブロックが連続して存在するときは、その連続する画像ブロックを連結する画像ブロック連結手段と、
前記連結された画像ブロックの最外周辺を結んだ線を輪郭データとして抽出する輪郭抽出手段と
を有することを特徴とする移動体輪郭抽出装置。
【請求項２】
前記動きベクトル分類手段が、前記動きベクトルの水平成分値と垂直成分値の正負の組み合わせにより前記動きベクトルを４つの象限に分類する第１分類手段と、
前記各象限に分類された動きベクトルを前記水平成分値と前記垂直成分値の絶対値の比の大きさに従って更に複数の方向範囲に分類する第２分類手段と
を備えることを特徴とする請求項１に記載の移動体輪郭抽出装置。
【請求項３】
画像の圧縮符号化の際に生成された動きベクトル情報が入力されて画像ブロック単位の動きベクトルを復号するステップと、
前記動きベクトルの表す前記画像ブロックの移動方向が予め区分した複数の方向範囲のいずれに含まれるかを分類するステップと、
前記分類された方向範囲が周囲の画像ブロックとは異なる画像ブロックを抽出するステップと、
前記抽出された画像ブロックの中に同じ方向範囲の画像ブロックが連続して存在するときは、その連続する画像ブロックを連結するステップと、
前記連結された画像ブロックの最外周辺を結んだ線を輪郭データとして抽出するステップと
を有することを特徴とする移動体輪郭抽出方法。
【請求項４】
前記動きベクトルを分類するステップが、前記動きベクトルの水平成分値と垂直成分値の正負の組み合わせにより前記動きベクトルを４つの象限に分類するステップと、
前記各象限に分類された動きベクトルを前記水平成分値と前記垂直成分値の絶対値の比の大きさに従って更に複数の方向範囲に分類するステップと
を備えることを特徴とする請求項３に記載の移動体輪郭抽出方法。
【請求項５】
前記分類された方向範囲が周囲の画像ブロックとは異なる画像ブロックを抽出するステップは、前記分類に基づいて前記画像ブロックの動きベクトルを前記複数の方向範囲のそれぞれに付けられた番号に置換し、それぞれの画像ブロックの前記番号を周囲の画像ブロックの前記番号と比較し、前記周囲の画像ブロックの前記番号と異なる番号を有する画像ブロックを抽出することを特徴とする請求項３に記載の移動体輪郭抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体輪郭抽出装置および方法に関し、特に圧縮符号化された動画像データ中に存在する移動体を包含する画像領域の輪郭を抽出する移動体輪郭抽出装置および方法に関する。
【背景技術】
【０００２】
テレビ放送などの動画像の中で移動する画像部分をだけを抜き出して別の画像として表示することが行なわれる。例えば、サッカーなどの球技の放送画像の中で移動している選手やボールの画像のみを抜き出して、その動きを表示することなどに使われる。そのとき、画像の抜き出しを行うためには、その画像領域の輪郭を抽出する必要がある。
【０００３】
従来、動画像の中から移動体の輪郭を抽出する方法として、動画像データを連続的に入力し、連続する複数の画像データ間における背景および対象物体の動き方向を複数の小区画ごとに求め、各小区画の動き方向の類似性に従って動画像データを複数の画像データに分類し、分類された画像データから移動体の存在する領域を推定して抽出することが行われていた（例えば、特許文献１参照。）。
【０００４】
しかし、ＭＰＥＧ−２規格で符号化されたデジタルテレビ放送など、圧縮符号化された動画像データから上述のような方法で移動体の存在する領域を抽出しようとすると、圧縮符号化動画像データを一度復号する必要があり、復号に要するデータの処理量および処理時間が多大になるという問題があった。
【特許文献１】特開２００１−１０９８９１号公報  （第３ページ、図２）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで、本発明の目的は、圧縮符号化された動画像データを完全に復号することなく、圧縮符号化動画像データ中に存在する移動体を包含する画像領域の輪郭を抽出する移動体輪郭抽出装置および方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、画像の圧縮符号化の際に生成された動きベクトル情報が入力されて画像ブロック単位の動きベクトルを復号する動きベクトル復号手段と、前記動きベクトルの表す前記画像ブロックの移動方向が予め区分した複数の方向範囲のいずれに含まれるかを分類する動きベクトル分類手段と、前記分類された方向範囲が周囲の画像ブロックとは異なる画像ブロックを抽出する異方向画像ブロック抽出手段と、前記抽出された画像ブロックの中に同じ方向範囲の画像ブロックが連続して存在するときは、その連続する画像ブロックを連結する画像ブロック連結手段と、前記連結された画像ブロックの最外周辺を結んだ線を輪郭データとして抽出する輪郭抽出手段とを有することを特徴とする移動体輪郭抽出装置が提供される。
【０００７】
また、本発明の別の一態様によれば、画像の圧縮符号化の際に生成された動きベクトル情報が入力されて画像ブロック単位の動きベクトルを復号するステップと、前記動きベクトルの表す前記画像ブロックの移動方向が予め区分した複数の方向範囲のいずれに含まれるかを分類するステップと、前記分類された方向範囲が周囲の画像ブロックとは異なる画像ブロックを抽出するステップと、前記抽出された画像ブロックの中に同じ方向範囲の画像ブロックが連続して存在するときは、その連続する画像ブロックを連結するステップと、前記連結された画像ブロックの最外周辺を結んだ線を輪郭データとして抽出するステップとを有することを特徴とする移動体輪郭抽出方法が提供される。
【発明の効果】
【０００８】
本発明によれば、圧縮符号化された動画像データを完全に復号する必要なく、動きベクトル情報のみを用いて圧縮符号化動画像データ中に存在する移動体を包含する画像領域の輪郭を抽出することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施例を図面を参照して説明する。
【実施例】
【００１０】
図１は、本発明の実施例に係る移動体輪郭抽出装置の構成の例を示すブロック図である。
【００１１】
本実施例の移動体輪郭抽出装置は、符号化されている動きベクトル情報が入力されて画像ブロック単位の動きベクトルを復号する動きベクトル復号部１と、復号された動きベクトルの表わすそれぞれの画像ブロックの移動方向が予め区分して分類番号が付けられた８つの方向範囲のいずれに含まれるかを分類する動きベクトル分類部２と、それぞれの画像ブロックの移動方向に付与された分類番号を周囲の画像の分類番号と比較し、周囲の画像ブロックとは分類番号が異なる画像ブロックを抽出する異方向画像ブロック抽出部３と、抽出された画像ブロックの中に分類番号が同じ画像ブロックが連続して存在するときは、その連続する画像ブロックを連結する画像ブロック連結部４と、連結された画像ブロックの最外周辺を結んだ線を輪郭データとして抽出する輪郭抽出部５と、を有する。
【００１２】
動きベクトル分類部２は、動きベクトル復号部１により復号された動きベクトルをその水平成分値と垂直成分値の正負の組み合わせにより４つの象限Ａ、Ｂ、Ｃ、Ｄに分類する象限分類部２１と、各象限に分類された動きベクトルをその水平成分値と垂直成分値の絶対値の比の大きさに従って更に４つの方向範囲ａ、ｂ、ｃ、ｄに分類する象限内分類部２２と、を備える。
【００１３】
なお、象限分類部２１における分類では、水平成分値および垂直成分値が０であるときは正として取り扱う。
【００１４】
図２は、象限分類部２１における動きベクトルを象限に分類する方法の手順を示すフロー図である。
【００１５】
水平成分値ｘと垂直成分値ｙで表わされる動きベクトル（ｘ,ｙ）が入力されると（ステップＳ０１）、ｘが正（ｘ≧０）であるかどうかをチェックする（ステップＳ０２）。
【００１６】
ｘ≧０であれば（ＹＥＳ）、次にｙが正（ｙ≧０）であるかどうかをチェックし、ｙ≧０であれば（ＹＥＳ）、象限Ａに分類し、ｙ≧０でなければ（ＮＯ）、象限Ｄに分類する（ステップＳ０３）。
【００１７】
また、ステップＳ０２のチェックでｘ≧０でないときは（ＮＯ）、ｙが正（ｙ≧０）であるかどうかをチェックして、ｙ≧０であれば（ＹＥＳ）、象限Ｂに分類し、ｙ≧０でなければ（ＮＯ）、象限Ｃに分類する（ステップＳ０４）。
【００１８】
図３は、図２のフローで分類した象限をｘ、ｙ座標系に図示したものである。
【００１９】
図４は、各象限の動きベクトルを象限内分類部２２においてさらに４つの方向範囲に分類する方法の手順を示すフロー図である。
【００２０】
水平成分値ｘと垂直成分値ｙで表わされる動きベクトル（ｘ,ｙ）が入力されると（ステップＳ１１）、yの絶対値がｘの絶対値よりも大きい（｜ｙ｜＞｜ｘ｜）かどうかをチェックする（ステップＳ１２）。
【００２１】
｜ｙ｜＞｜ｘ｜であれば（ＹＥＳ）、次に、ｙをｘで割った値の絶対値が、ｔａｎ（３／８π）の近似値である２．４１４１２よりも大きい（｜ｙ／ｘ｜＞２．４１４１２）かどうかをチェックし、｜ｙ／ｘ｜＞２．４１４１２であれば（ＹＥＳ）、範囲ｄに分類し、｜ｙ／ｘ｜＞２．４１４１２でなければ（ＮＯ）、範囲ｃに分類する（ステップＳ１３）。
【００２２】
また、ステップＳ１２のチェックで｜ｙ｜＞｜ｘ｜でないときは（ＮＯ）、ｘをｙで割った値の絶対値が、ｔａｎ（３／８π）の近似値である２．４１４１２よりも大きい（｜ｘ／ｙ｜＞２．４１４１２）かどうかをチェックし、｜ｘ／ｙ｜＞２．４１４１２であれば（ＹＥＳ）、範囲ａに分類し、｜ｘ／ｙ｜＞２．４１４１２でなければ（ＮＯ）、範囲ｂに分類する（ステップＳ１４）。
【００２３】
図５は、図４のフローで分類した各象限における方向範囲を図示したものである。
【００２４】
このようにして、動きベクトルは１６の方向範囲に分類される。これを、象限Ａ、Ｂ、Ｃ、Ｄと方向範囲ａ、ｂ、ｃ、ｄを組み合わせて、Ａ−ａ、Ａ−ｂ、Ａ−ｃ、Ａ−ｄ、Ｂ−ｄ、Ｂ−ｃ、Ｂ−ｂ、Ｂ−ａ、Ｃ−ａ、Ｃ−ｂ、Ｃ−ｃ、Ｃ−ｄ、Ｄ−ｄ、Ｄ−ｃ、Ｄ−ｂ、Ｄ−ａと表わすものとする。ただし、動きベクトル分類部２では、この１６の方向範囲を２つずつ組み合わせて０から７の分類番号を付与した８つの方向範囲を分類に用いる。
【００２５】
図６は、動きベクトル分類部２における動きベクトルの分類と動きベクトルの方向との関係を示す図である。
【００２６】
動きベクトル分類部２では、方向範囲Ｄ−ａからＡ−ａの動きベクトルを分類番号０に分類し、方向範囲Ａ−ｂからＡ−ｃの動きベクトルを分類番号１に分類し、方向範囲Ａ−ｄからＢ−ｄの動きベクトルを分類番号２に分類し、方向範囲Ｂ−ｃからＢ−ｂの動きベクトルを分類番号３に分類し、方向範囲Ｂ−ａからＣ−ａの動きベクトルを分類番号４に分類し、方向範囲Ｃ−ｂからＣ−ｃの動きベクトルを分類番号５に分類し、方向範囲Ｃ−ｄからＤ−ｄの動きベクトルを分類番号６に分類し、方向範囲Ｄ−ｃからＤ−ｂの動きベクトルを分類番号７に分類する。
【００２７】
次に、本実施例の移動体輪郭抽出装置が画像ブロックごとの動きベクトルから移動体を含む画像ブロックの輪郭を抽出する動作を図７〜図１０を用いて説明する。
【００２８】
図７は、画像ブロックごとの動きベクトルを視覚的に分かりやすくするために矢印で表し、画像ブロックの配置に合わせて並べた動きベクトルマップ１００である。この動きベクトルマップ１００の中で、移動体１１０および移動体１２０を含む画像ブロックは、周囲の画像ブロックとは異なる矢印の向きを示す。
【００２９】
図８は、図７に示した各画像ブロックの動きベクトルを動きベクトル分類部２が分類して図６に示した分類番号を付与した結果を示す分類番号マップ１０１である。
【００３０】
図８の分類番号マップ１０１において、移動体１１０を含む画像ブロックの分類番号は０となり、移動体１２０を含む画像ブロックの分類番号は５となり、その他の画像ブロックの分類番号は６となる。
【００３１】
分類番号マップ１０１が生成されると、異方向画像ブロック抽出部３は、分類番号マップ１０１に記された分類番号を例えば左上から順次スキャンし、周囲の画像ブロックとは異なる分類番号を有する画像ブロックを抽出する。
【００３２】
次いで、画像ブロック連結部４が、抽出された画像ブロックの中に分類番号が同じ画像ブロックが連続して存在するときは、その連続する画像ブロックを連結する。
【００３３】
図９は、画像ブロック連結部４が画像ブロックを連結した結果を示す図である。
【００３４】
分類番号マップ１０１に対して、画像ブロック連結部４は、連結画像ブロック１１１および連結画像ブロック１２１を生成する。
【００３５】
続いて、輪郭抽出部５は、それぞれの連結画像ブロックの最外周辺を結んだ線を輪郭データとして抽出する。
【００３６】
図１０は、輪郭抽出部５が輪郭データを生成した結果を示す図である。図１０には、移動体１１０および１２０の位置を併せて示す。
【００３７】
連結画像ブロック１１１および連結画像ブロック１２１に対して、輪郭抽出部５は、輪郭１１２および輪郭１２２を抽出する。図１０に示すように、輪郭抽出部５が抽出した輪郭１１２および１２２は、それぞれ移動体１１０および１２０を含む画像ブロックの輪郭となる。
【００３８】
すなわち、本実施例の移動体輪郭抽出装置は、画像ブロックごとの動きベクトルから移動体を含む画像ブロックの輪郭を抽出することができる。
【００３９】
図１１〜図１４に、移動体輪郭抽出の別の例を示す。
【００４０】
図１１は、移動体１３０を含む画像に対する画像ブロック単位の動きベクトルを示す動きベクトルマップ１２０である。
【００４１】
図１２は、図１１に示した各画像ブロックの動きベクトルを動きベクトル分類部２が分類して図６に示した分類番号を付与した結果を示す分類番号マップ２０１である。
【００４２】
図１２の分類番号マップ２０１において、移動体１３０を含む画像ブロックの分類番号は４となり、その他の画像ブロックの分類番号は６となる。
【００４３】
分類番号マップ２０１が生成されると、異方向画像ブロック抽出部３は、分類番号マップ２０１において周囲の画像ブロックとは異なる分類番号を有する画像ブロックを抽出する。次いで、画像ブロック連結部４が、抽出された画像ブロックの中に分類番号が同じ画像ブロックが連続して存在するときは、その連続する画像ブロックを連結する。
【００４４】
図１３は、画像ブロック連結部４が画像ブロックを連結した結果を示す図である。
【００４５】
分類番号マップ２０１に対して、画像ブロック連結部４は、連結画像ブロック１３１を生成する。このとき、移動体１３０の中央部の画像ブロックの動きベクトルの分類番号４は、その周囲の画像ブロックの動きベクトルの分類番号と同じであるため、連結画像ブロック１３１は、移動体１３０の中央部が中抜けとなった形で連結される。
【００４６】
しかし、輪郭抽出部５は、連結画像ブロック１３１の最外周辺を結んだ線を輪郭データとして抽出するため、連結画像ブロック１３１に中抜けがあっても移動体１３０を含む画像ブロックの輪郭を生成することができる。
【００４７】
図１４は、輪郭抽出部５が、連結画像ブロック１３１に対して輪郭１３２輪郭データを抽出した結果を示す図である。図１４には、移動体１３０の位置を併せて示す。
【００４８】
図１４に示すように、輪郭抽出部５が抽出した輪郭１３２は、移動体１３０を含む画像ブロックの輪郭となる。
【００４９】
すなわち、本実施例の移動体輪郭抽出装置は、移動体を含む画像の領域が広く、その中央部に周囲と同じ移動方向の画像ブロックがあっても、移動体を含む画像ブロックの輪郭を抽出することができる。
【００５０】
このような本実施例によれば、圧縮符号化された動画像データを完全に復号する必要なく、動きベクトル情報のみを用いて圧縮符号化動画像データ中に存在する移動体を包含する画像領域の輪郭を抽出することができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施例に係る移動体輪郭抽出装置の構成の例を示すブロック図。
【図２】本発明の実施例における動きベクトルを象限に分類する方法のフロー図。
【図３】図２で分類した象限を説明するための図。
【図４】本発明の実施例における象限内の動きベクトルをさらに方向範囲に分類する方法のフロー図。
【図５】図4で分類した方向範囲を説明するための図。
【図６】本発明の実施例における動きベクトルの分類と動きベクトルの方向との関係を示す図。
【図７】移動体を含む画像の画像ブロックごとの動きベクトルの例を示す図。
【図８】本実施例において図7の動きベクトルを方向範囲に分類した例を示す図。
【図９】本実施例において周囲の画像ブロックとは移動方向が異なる画像ブロックを連結した例を示す図。
【図１０】本実施例において移動体を含む画像の輪郭を抽出した例を示す図。
【図１１】移動体を含む画像の画像ブロックごとの動きベクトルの別の例を示す図。
【図１２】本実施例において図１１の動きベクトルを方向範囲に分類した例を示す図。
【図１３】本実施例において周囲の画像ブロックとは移動方向が異なる画像ブロックを連結した例を示す図。
【図１４】本実施例において移動体を含む画像の輪郭を抽出した例を示す図。
【符号の説明】
【００５２】
１  動きベクトル復号部
２  動きベクトル分類部
２１  象限分類部
２２  象限内分類部
３  異方向画像ブロック抽出部
４  画像ブロック連結部
５  輪郭抽出部
【図１】
2007133685.tif 000003
【図２】
2007133685.tif 000004
【図３】
2007133685.tif 000005
【図４】
2007133685.tif 000006
【図５】
2007133685.tif 000007
【図６】
2007133685.tif 000008
【図７】
2007133685.tif 000009
【図８】
2007133685.tif 000010
【図９】
2007133685.tif 000011
【図１０】
2007133685.tif 000012
【図１１】
2007133685.tif 000013
【図１２】
2007133685.tif 000014
【図１３】
2007133685.tif 000015
【図１４】
2007133685.tif 000016