(57)【特許請求の範囲】
【請求項１】
映像データストリームを複数個のフレーム群に群分けする段階と、フレーム群内において任意の１フレームをＩフレームとして設定し前記フレーム群内の残余フレームはＰフレームとして設定する段階と、Ｉフレームを複数個の領域に分割する段階と、Ｉフレームの分割領域をＰフレームに対して動き予測して動きベクトルを得、該得られた動きベクトル分だけＩフレームの分割領域を移動してＰフレームの分割領域として設定することによりＰフレームを分割する段階とを含む方法によって分割された映像内において領域をトラッキングする方法であって、
各フレーム群間で分割された複数個のＩフレーム領域の中でトラッキングしようとする一つのIフレーム領域を他の群のＩフレームに対して所定の変位分だけ移動してその差分が最小となる領域を類似マッチング領域として設定する類似動き補償を施すことによりＩフレームに対する領域トラッキングを行なう段階と、
各フレーム群内においてトラッキングされた一つのＩフレーム領域を前記Pフレームを分割する段階で抽出した動きベクトルを用いて移動することによってPフレームにおける該当領域を探してPフレームに対する領域トラッキングを行う段階とを含むことを特徴とする分割されたデジタル映像の領域トラッキング方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は映像分割方法に係り、より詳細には、デジタル映像をオブジェクト単位に処理するために前記デジタル映像を分割するデジタル映像分割方法に関する。さらに、本発明は、前記のような方法によって分割された映像において領域をトラッキングする方法及び該映像分割方法を具現するデジタル映像分割装置に関する。
【０００２】
【従来の技術】
映像分割は、デジタル映像をオブジェクト単位に処理するにあたって欠かせない技術である。しかし、今までは、リアルタイムにて満足のいく結果を提供する映像分割方法は開発されていない。
【０００３】
【発明が解決しようとする課題】
本発明の目的は、デジタル映像をオブジェクト単位に処理するために高速で映像を分割するデジタル映像分割方法を提供することである。
本発明の他の目的は、前記のような方法によって分割された映像において領域を高速でトラッキングする方法を提供することである。
本発明のさらに他の目的は、前記映像分割方法を具現するデジタル映像分割装置を提供することである。
【０００４】
【課題を解決するための手段】
前記目的を達成するため、本発明に係るデジタル映像分割方法は、（ａ）複数枚のデジタル映像フレームのうち任意の１フレームをＩフレームとして設定し、残余フレームはＰフレームとして設定する段階と、（ｂ）前記Ｉフレームを複数個の領域に分割する段階と、（ｃ）前記Ｉフレームの分割領域を前記Ｐフレームに対して動き予測して動きベクトルを得、該得られた動きベクトル分だけＩフレームの分割領域を移動して前記Ｐフレームの分割領域として設定することにより前記Ｐフレームを分割する段階とを含むことを特徴とする。
【０００５】
さらに、好ましくは、前記方法は、前記（ａ）段階前に、（ｐ−ａ−１）入力された映像データストリームを複数個のフレーム群に群分けする段階をさらに含み、前記（ａ）段階は、フレーム群内において任意の１フレームをＩフレームとして設定し、前記フレーム群内の残余フレームはＰフレームとして設定する段階である。
【０００６】
さらに、好ましくは、前記（ｃ）段階は、分割されたＩフレーム領域をＰフレームに対して所定の変位分だけ移動してその差分が最小となる領域を類似マッチング領域として設定する段階と、Ｉフレーム領域に対するＰフレームの類似マッチング領域の変位を表わす動きベクトルを求める段階と、分割されたＩフレーム領域をＰフレーム上において前記動きベクトル分だけ移動してＰフレーム領域として設定する段階とを含む。
【０００７】
さらに、好ましくは、前記（ｃ）段階後に、分割されたＩフレーム領域が最後の領域であるかを判別する段階と、前記判別段階で、分割されたＩフレーム領域が最後の領域でないと判別されれば、Ｐフレーム領域分割段階に戻す段階とをさらに含んで、全ての分割されたＩフレーム領域に対して順次Ｐフレーム分割を行なう。
【０００８】
前記他の目的を達成するために、本発明に係る分割されたデジタル映像の領域トラッキング方法は、前記デジタル分割方法によって分割された映像内において領域をトラッキングする方法であって、各フレーム群間で分割された１つのＩフレーム領域を他のＩフレームに対して所定の変位分だけ移動してその差分が最小となる領域を類似マッチング領域として設定する類似動き補償を施すことによりＩフレームに対する領域トラッキングを行なう段階と、各フレーム群内においてＩフレームに対して動き予測を行ない、分割されたＰフレーム分割領域をトラッキングする段階とを含むことを特徴とする。
【０００９】
前記さらに他の目的を達成するために、本発明に係るデジタル映像分割装置は、映像データストリームを複数個の連続フレーム群に群分けし、フレーム群内において任意の１フレームをＩフレームとして設定し、残余フレームはＰフレームとして設定して出力する群分け手段と、前記Ｉフレームを入力されて複数個の領域に分割することにより分割されたＩフレームを出力し、分割されたＩフレーム領域を順次出力するＩフレーム分割手段と、前記Ｉフレーム領域及びＰフレームを入力されて類似マッチング方法により動き予測を行なうことにより動きベクトルを出力する類似マッチング手段と、Ｐフレーム及び動きベクトルを入力されて分割されたＩフレーム領域を前記動きベクトルに対応して移動することによりＰフレームを分割するＰフレーム分割手段とを含むことを特徴とする。
【００１０】
【発明の実施の形態】
以下、添付した図面に基づき、本発明に係る映像分割方法と、分割された映像において領域をトラッキングする方法、及びデジタル映像分割装置の望ましい実施形態について詳細に説明する。
【００１１】
図１は、本発明の実施形態によるデジタル映像分割方法のフローチャートである。図１を参照すれば、本発明に係るデジタル映像分割方法は、先ず、映像データストリームを複数個の連続フレーム群に群分けする（段階１０２）。図２は、本発明の実施形態によるデジタル映像分割方法において、フレーム群分け段階を説明するための図である。すなわち、フレーム群分け段階（１０２）では、多数枚のフレームを複数個の連続フレーム群に群分けして第１群Ｇ０、第２群Ｇ１、第３群Ｇ２、及び第４群Ｇ３を形成する。ＭＰＥＧコーディングの場合には、例えば、"ＩＢＢＰＢＢＰＢＢＰＢＢＩ"のように、１３枚のフレームを１つの群にまとめることができる。
【００１２】
次に、前記フレーム群内において、任意の１フレームをＩフレームとして設定し、前記フレーム群内の残余フレームはＰフレームとして設定する（段階１０４）。   図３は、前記段階１０４におけるＩ及びＰフレームの設定例である。ここで、任意の１フレームをＩフレームとして設定しても良いが、ＭＰＥＧ-２標準でのように、デジタル映像フレームの管理情報に基づき決定されたイントラフレームをＩフレームとして設定しても良い。フレーム群内においてＩフレームとして設定されてない残余フレームはＰフレームとして設定される。
【００１３】
次に、前記Ｉフレームを複数個の領域に分割する（段階１２２）。この分割段階（１２２）では、当業者にとって知られている各種の方法が使用可能である。
次に、分割されたＩフレームからどれか１つの領域を選択する（段階１２４）。分割されたＩフレームのうち段階１２４で選択された領域をＰフレームに対して動き予測して動きベクトルを得、該得られた動きベクトル分だけＩフレームの分割領域を移動してＰフレームの分割領域として設定することによりＰフレームを分割する（段階１４）。また、このＰフレーム分割段階（１４）は、以下のサブ段階（１４２、１４４、１４６）を行なう。段階１４２では、分割されたＩフレーム領域をＰフレームに対して所定の変位だけ移動して分割されたＩフレーム領域とＰフレーム領域との差分が最小となる領域を類似マッチング領域として設定する。段階１４４では、Ｉフレーム領域に対するＰフレームの類似マッチング領域の変位量を表わす動きベクトルを得る。段階１４６では、分割されたＩフレーム領域をＰフレーム上で前記動きベクトル分だけ移動してＰフレーム領域として設定することによりＰフレーム分割がなされる。
【００１４】
図４は、本発明の実施形態による映像分割方法において、分割されたＩフレームのある領域を使ってＰフレームを分割する過程を説明するための図面である。以下、図４を参照し、Ｐフレームを分割する過程について詳細に説明する。まず、分割されたＩフレームの各領域のうちある領域Ｓｉが設定される。次に、領域Ｓｉの周辺で、所定の変位量だけ離隔され、前記領域Ｓｉに対応する他の領域Ｓｉ'を定義した後に、前記領域Ｓｉとの差分を計算する。ここで、差分を計算する方法は、その映像が白黒映像か、またはカラー映像かによって異なる。映像が白黒映像の場合には、例えば、輝度差が計算され、カラー映像の場合には、例えば、輝度差及び色度差が計算される。この計算は、例えば、全ての座標に対して行った上で合算しても良い。与えられたＩフレーム領域を所定変位量だけ移動して設定されたＩフレーム領域との差分が最小となるＰフレーム領域を類似マッチング領域として設定する。このとき、領域Ｓｉとその差分が最小となる領域Ｓｉ'までの方向及び距離を動きベクトル（ＭＶ）と定義する。次に、Ｉフレームの分割領域を動きベクトル（ＭＶ）分だけ移動してＰフレームの分割領域Ｓｉ'として設定する。この過程は、Ｉフレームの領域をＰフレームに対して動き予測することであって、ＭＰＥＧ-２の動き予測方法に類している。
【００１５】
さらに、本実施形態によれば、Ｐフレーム分割段階後に分割されたＩフレーム領域が最後の領域であるかを判別（段階１８２）し、前記判別段階（１８２）で分割されたＩフレーム領域が最後の領域でないと判別されれば、次の領域を選択（段階１８４）し、Ｐフレーム領域分割段階（１４）を再度行なう。従って、全ての分割されたＩフレーム領域に対して順次Ｐフレーム分割を行なう。これにより、Ｉフレームの分割をＰフレームに適用して分割することになり、全てのフレームに対して時間が過度に要される従来のような分割過程を行なわなくても良い。
【００１６】
前記のような方法によって分割された映像フレーム群は、本発明による分割されたデジタル映像の領域トラッキング方法によって迅速に領域トラッキングが行える。図５は、本発明に係る分割されたデジタル映像の領域トラッキング方法によって領域トラッキングを行なう過程を示す図である。本発明の分割されたデジタル映像の領域トラッキング方法の実施形態によれば、前記方法によって分割された映像の各フレーム群間で分割された１つのＩフレーム領域を他の群のＩフレームに対して所定変位量だけ移動してその差分が最小となる領域を類似マッチング領域として設定する類似動き補償を施すことによりＩフレームに対する領域トラッキングを行なう。このとき、領域を間違って選定することを防止するためには、テキスチャー及びサイズ特性を併用することが好ましい。各フレーム群内における領域トラッキングに利用される動きベクトル（Ｉフレーム領域に対するPフレーム領域の類似マッチング領域の変位―段落００１３参照）は、空間分割過程において既に求められた状態である。従って、各フレーム群内においてはＩフレームに対して前記動きベクトルを用いて移動することによってPフレームにおける該当領域を探してPフレームに対する領域トラッキングが行える。前述のような本発明に係る分割されたデジタル映像の領域トラッキング方法は、全ての領域に対してトラッキングを行わず、オブジェクト単位にトラッキングを行なうので、領域トラッキングが容易且つ迅速になされる。
【００１７】
このような本発明に係るデジタル映像分割方法及び分割されたデジタル映像の領域トラッキング方法は、コンピュータにて実行可能なプログラムにて作成可能である。そして、コンピュータにて使用される媒体から前記プログラムを動作させる汎用のディジタルコンピューターにて具現可能である。前記媒体は、フロッピーディスク（ＦＤ）やハードディスク（ＨＤ）などの磁気記録媒体、ＣＤ-ＲＯＭやＤＶＤなどの光記録媒体、及びインターネットを通した伝送に使用されるキャリアウェーブなどの記憶媒体を含む。また、このような機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマによって容易に推論できる。
【００１８】
さらに、本発明に係る映像分割方法は装置にて具現可能である。この装置は、デジタルカメラやデジタルカムコーダなどのデジタル映像を処理する装置において映像の編集のための映像検索装置として使用できる。
【００１９】
図６は、本発明の実施形態による映像分割装置のブロック構成図である。図６を参照すれば、本発明に係る映像分割装置は、群分け手段６０、Ｉフレーム分割手段６２、類似マッチング手段６４、及びＰフレーム分割手段６６を具備する。
【００２０】
群分け手段６０は、映像データストリームを入力されてそれを複数個の連続フレーム群に群分けし、群内において任意の１フレームをＩフレームとして設定し、残余フレームはＰフレームとして設定して出力する。Ｉフレーム分割手段６２は、前記Ｉフレームを入力されてそれを複数個の領域に分割することによって分割されたＩフレームを出力し、分割されたＩフレーム領域Ｒｉを順次出力する。類似マッチング手段６４は、前記Ｉフレーム領域Ｒｉ及びＰフレームを入力されて図４に基づき述べたように、各群間において分割された１つのＩフレーム領域を他のＩフレームに対して所定量移動してその差分が最小となる領域を類似マッチング領域として設定する類似マッチング方法によって動き予測を行なうことによって動きベクトルＭＶを出力する。Ｐフレーム分割手段６６は、Ｐフレーム及び動きベクトルを入力されて分割されたＩフレーム領域を前記動きベクトルＭＶに対応するように移動することによってＰフレームを分割する。
【００２１】
【発明の効果】
以上述べたように、本発明に係るデジタル映像分割方法及びその装置は、Ｉフレームの分割をＰフレームに適用して分割することになり、全てのフレームに対して時間が過度に掛かっていた従来のような分割過程を行わなくても良いので、分割が迅速に行える。
さらに、本発明に係る分割されたデジタル映像の領域トラッキング方法は、全ての領域に対してトラッキングを行わず、オブジェクト単位にトラッキングを行なうので、領域トラッキングが容易且つ迅速に行える。
【図面の簡単な説明】
【図１】  本発明の実施形態によるデジタル映像分割方法のフローチャートである。
【図２】  本発明の実施形態によるデジタル映像分割方法において、フレーム群分け段階を説明するための図面である。
【図３】  本発明の実施形態によるデジタル映像分割方法において、Ｉフレーム設定段階を説明するための図面である。
【図４】  本発明の実施形態によるデジタル映像分割方法において、分割されたＩフレームのある領域を使ってＰフレームを分割する過程を説明するための図面である。
【図５】  本発明による方法によって分割された映像フレーム群において領域トラッキングする過程を説明するための図面である。
【図６】  本発明の実施形態によるデジタル映像分割装置のブロック構成図である。
【符号の説明】
６０…群分け手段
６２…Ｉフレーム分割手段
６４…類似マッチング手段
６６…Ｐフレーム分割手段
【図１】
0003979768.tif 000002
【図２】
0003979768.tif 000003
【図３】
0003979768.tif 000004
【図４】
0003979768.tif 000005
【図５】
0003979768.tif 000006
【図６】
0003979768.tif 000007