(57)【特許請求の範囲】
【請求項１】
ビデオ・シーケンス内におけるフレーム内の少なくとも一つのビデオ・オブジェクトを、オブジェクト単位に符号化する符号化装置において、符号化に先立って実行される、入力信号フレームからビデオ・オブジェクトを分割する方法であって、
ビデオ・シーケンスのフレームに存在する、分割すべきオブジェクトをユーザー・インターフェース・ツールを使用して、手動、または半手動に分割する第１のステップと、
前記第１のステップで分割されたオブジェクトを含む前記ビデオ・シーケンス内の後続するフレームにおいて前記オブジェクトを自動的に分割する第２のステップと
を含み、さらに、
（１）連続フレーム間にシーン・チェンジがなされたか否かを決定するステップ、
（２）自動的に分割されるビデオ・シーケンス内のフレームに前記第１に分割されたオブジェクト以外に新しい、分割すべきオブジェクトが存在しているか否かを決定するステップ、および
連続したフレームに対して前記第２のステップを繰り返している行う場合、前記決定する（１）のステップの結果が肯定であれば、シーン・チェンジ後のフレームに対して、および前記決定する（２）のステップの結果が肯定であれば、分割すべきオブジェクトが存在するフレームに対して、前記第１のステップの実行を繰り返すステップ
を含み、さらに、
連続するフレーム間にシーン・チェンジがなく、そして前記第１に分割されたオブジェクト以外に新しいオブジェクトが自動的に分割されるビデオ・シーケンス内に現れないならば、自動的に分割された結果の品質を検査するステップと、
自動的に分割された結果の前記品質が満足するものであれば、前記第２のステップを実行するステップと、
自動的に分割された結果の前記品質が満足するものでなければ、前記第１のステップの実行を繰り返すステップ
をさらに含み、
前記第１および前記第２のステップで分割されたオブジェクトそれぞれは、オブジェクト単位に符号化されることを特徴とするビデオ・オブジェクトを分割する方法。
【請求項２】
請求項１に記載のビデオ・オブジェクトを分割する方法において、
第１の分割をする前記第１のステップは、ユーザー・インターフェース・ツールを利用して完全手動で、フレーム内のオブジェクトを分割することによって実行されることを特徴とするビデオ・オブジェクトを分割する方法。
【請求項３】
請求項１に記載のビデオ・オブジェクトを分割する方法において、
前記第１のステップは、ユーザーが前記フレーム内のオブジェクトのラフな境界線を手操作で指し示すと、半手動で前記フレーム内の前記オブジェクトを分割することによってなされ、そのつぎに、前記指し示したことに関連する情報及びイメージ分割情報に基づいて、前記フレーム内の前記オブジェクトを自動的に分割することを特徴とするビデオ・オブジェクトを分割する方法。
【請求項４】
請求項１に記載のビデオ・オブジェクトを分割する方法において、自動的に分割する前記第２のステップは、前記前のフレームにおいて前記第１に分割されたビデオ・オブジェクトが動いた現在のフレーム内のオブジェクト領域をトラッキングし、前記連続するフレームの前記フレーム内の前記オブジェクトを分割するようにしたことを特徴とするビデオ・オブジェクトを分割する方法。
【請求項５】
請求項３に記載のビデオ・オブジェクトを分割する方法において、前記イメージ分割情報は、輝度情報及びカラー情報を含む空間情報であることを特徴とするビデオ・オブジェクトを分割する方法。
【発明の詳細な説明】
【０００１】
（技術分野）
本発明は、ビデオ・オブジェクト単位の操作(video object-oriented manipulation)、編集(editing)、オブジェクト・ベースのユーザーとの対話形機能(object-based user interaction)、オブジェクト・ベースのイメージ符号化(Object-based Image Coding)、そして、ビデオ編集・ビデオ生成及び複合装置（compositing apparatus）・オブジェクト・ベースのビデオ・コーデック（またはエンコーダ／デコーダ）のような装置において遂行されるようなことをする場合、ユーザーの補助とオブジェクト・トラッキングとによりビデオを複数のビデオ・オブジェクトに正確に分割するビデオ・オブジェクトを分割する方法（video object segmentation method）に関する。
【０００２】
（背景技術）
従来のビデオ・オブジェクトを分割する方法によれば、連続されたイメージ間の輝度値が異なっているか否かの決定に基づいてイメージ内のオブジェクトを自動的に分割するか、あるいはユーザーが編集ツール(Editing Tool)を利用して、フレーム毎に思い通りに操作することで分割していた。
【０００３】
したがって、このような従来のビデオ・オブジェクト分割方式において、自動分割方法は連続したイメージ間で輝度値が変化したと決定するしきい値に応じて分割性能が大きく変わるという問題を生じさせ、手動分割方法は、フレーム毎の分割がユーザーの直接的な手操作処理を必要とするので多くの時間を要し、ユーザーに経済的な負担を与える問題点があった。
【０００４】
したがって、上述したような問題点を解決するため、本発明は案出された。本発明の目的は、ビデオ・システムにおいてイメージからオブジェクトを抽出するため、イメージ・シーケンス(Image Sequence)上にはじめて現れるビデオ・オブジェクトをユーザー補助による手動、または半手動で分割し、以後のビデオ・フレームからは、第１に分割されたビデオ・オブジェクトの動きに基づくオブジェクト・トラッキングなどにより自動分割して、正確にビデオ・オブジェクトを分割するためのビデオ・オブジェクト分割方法を提供することにある。
【０００５】
（発明の開示）
本発明の上記目的を達成するため、ビデオ・シーケンスのフレームに存在するオブジェクトを、手動または半手動で分割する第１の分割ステップと、上記第１の分割ステップで分割されたオブジェクトを含む上記ビデオ・シーケンス内のオブジェクトを、自動的に分割する第２の分割ステップとを含む、ビデオ・システムに適用されるビデオ・オブジェクトを分割する方法が提供される。
【０００６】
本発明の１つの実施形態において、ビデオ・オブジェクトを分割する方法は、さらに、如何なるシーン・チェンジが連続するフレーム中になされたか、あるいは最初に分割されたオブジェクト以外の新しいオブジェクトが、自動的に分割される連続するフレーム中に現れたか否かを決定する決定ステップと、決定ステップの結果が肯定であれば、第１の分割ステップを繰り返す繰り返しステップを含む。また、この方法は、自動的に分割された結果の品質を検査するステップと、自動的に分割された結果の品質が満足されるものであれば第２の分割ステップを繰り返し、自動的に分割された結果の品質が満足されないものであれば、第１の分割ステップを繰り返す繰り返しステップとを含む。
【０００７】
さらに、第１の分割ステップは、ユーザーがイメージ中のオブジェクトのラフな境界線を指し示すと、そのイメージ中のオブジェクトは指し示す情報とイメージ分割情報に基づいて自動的に分割されるように、ユーザー・インターフェース・ツールを使用して完全に手動でイメージ中のオブジェクトを分割することが実行され、あるいは半手動でイメージ中のオブジェクトの分割を実行する。
【０００８】
第２の分割ステップは、連続するフレーム中のフレーム内のオブジェクトを分割するように、前のフレームの第１の分割ステップで分割されたビデオ・オブジェクトが動いた現在のフレームのオブジェクト領域をトラッキングすることによって実行される。
【０００９】
（発明の実施のための好適実施形態）
以下、添付した図面を参照し、本発明にかかる好ましい一実施形態を詳細に説明する。
【００１０】
図１Ａ及び１Ｂは、本発明の方法が適用されるビデオ・コーデックを例示した図である。図１Ａを参照すれば、本発明の方法が適用されるビデオ・コーデック・システムは、外部から入力されたビデオ・シーケンスをビデオ・オブジェクトに分割するビデオ・オブジェクト(VO : Video Object)分割ユニット１０１と、ビデオ・オブジェクト・データを低減するようにＭＰＥＧ−４（MPEG-4 : Moving Picture Expert Group-4）ビデオ符号化アルゴリズムにしたがって、ビデオ・オブジェクト分割ユニット１０１から入力されたビデオ・オブジェクトをビデオ・オブジェクト指向の符号化をする複数のビデオ・オブジェクト符号化ユニット１０２と、複数のビデオ・オブジェクト符号化ユニット１０２から入力された低減されたビデオ・オブジェクト・データをＭＰＥＧ−４多重化規格に応じて多重化し、多重化されたビット・ストリームを伝送し、あるいは格納する多重化ユニット１０３を含む。
【００１１】
図１Ｂを参照すれば、本発明の方法が適用されるビデオ復号化ユニットは、伝送、または再生されたビットストリーム・データをビデオ・オブジェクト別に多重化解除するための多重化部解除ユニット１０４と、多重化解除ユニット１０４から入力された多重化解除されたビデオ・オブジェクトを復号する複数のビデオ・オブジェクト復号ユニット１０５と、複数のビデオ・オブジェクト復号ユニット１０５から入力した復号されたビデオ・オブジェクトに基づいてピクチャを再構成するためのピクチャ・コンポジション（composition）・ユニット１０６と、ピクチャ複合ユニット１０６で再構成されたピクチャをディスプレイ・・ユニットに表示するディスプレイ・ユニット１０７、とを含む。
【００１２】
図２は、本発明の実施例にしたがったビデオ・オブジェクト分割方法のフローチャートである。まず、分割しようとするビデオが入力されると、ビデオ・シーケンスの第１のフレームに現れるビデオ・オブジェクト、または連続するフレームから新しく現れたビデオ・オブジェクトは、ユーザーによって手動で分割されるか、ルミナンスやカラーなどの空間情報に基づくユーザーの操作により半手動で分割される（ステップ２０１）。
【００１３】
たとえば、ビデオ・シーケンス上のビデオ・オブジェクトに対する正確な数学的モデリングは、またはこれを分割し得る尺度(Measure)を定義することが不可能であるため、ユーザーがマウスなどの簡便なユーザー・インターフェース・ツールを利用して、第１番目のフレームに示されたビデオ・オブジェクトを、または連続されたフレーム上に新しく現れるビデオ・オブジェクトを手動で分割する、あるいは、空間情報に基づくユーザー操作による半手動でビデオ・オブジェクトを分割する。とくに、手操作によってフレーム内のオブジェクトのラフな境界線をユーザーが指し示した場合、フレーム中のオブジェクトは、その指し示したことに関連する情報とイメージ分割情報に基づいて自動的に分割される。
【００１４】
したがって、ビデオ・シーケンス上の第１番目のフレーム、新しいビデオ・オブジェクトが出現したフレーム、あるいは前のフレームからシーン・チェンジがされたフレームの１つがあるならば、ユーザーの操作により、ビデオ・オブジェクトは、その境界を定められ（define）、分割される。
【００１５】
以後、前のフレームで境界を定められ分割されたビデオ・オブジェクトの動きについてオブジェクト・トラッキングを実行することにより、ビデオ・オブジェクトを自動に分割する（ステップ２０２）。
【００１６】
たとえば、前のフレームにおいて分割されたビデオ・オブジェクトのオブジェクト領域が現在フレームのどちらに動いているのかを推定して、その動いたほどに過去の分割マスク上のビデオ・オブジェクトを現在フレームの分割マスクに投射(Projection)する。投射することによって発生した分割マスク上のエラーとノイズは補償され、訂正される。その後、分割マスクに対して、投射に起因する分割のラベリングの不確実さを有するピクセルは不確実な領域に割り当てる。つぎに、現在フレームのルミナンス及びカラー情報のような空間情報を利用して、不確実な領域のピクセルを周囲の最も近いビデオ・オブジェクトに割り当てる。ここで、最終分割された分割マスクに対して、メディアン・フィルタが利用される。これは、ビデオ・オブジェクトの輪郭線を滑らかにして視覚的に良い結果を与えるためである。
【００１７】
次いで、ステップ２０３において、シーン・チェンジがなされたか、あるいは次のフレーム上に新しく現れたビデオ・オブジェクトがあるか否かを分析する。すなわち、ビデオ・オブジェクトを分割する前に、連続フレームにシーン・チェンジが発生しているか、あるいは分割されたビデオ・オブジェクト以外の新しく現れたビデオ・オブジェクトが存在するか否かが検出される。
【００１８】
分析の結果、シーン・チェンジがあり、あるいはフレーム中に新しいオブジェクトが存在するならば、新しく現れた、あるいはチェンジしたシーンに存在するオブジェクトを、ユーザーの補助により手動、または半手動で分割する（ステップ２０１）。
【００１９】
分析の結果、シーン・チェンジがなく、フレーム中に自動分割されたオブジェクト以外の新しいオブジェクトがなければ、ステップ２０４において、前のフレームに対するオブジェクト・トラッキングによる自動オブジェクト分割結果が満足されるものであるか否かを決定する（ステップ２０４）。これは、オブジェクト・トラッキングによる分割が前のフレームから分割されたビデオ・オブジェクトを利用して分割するため、前の結果として誤って分割された場合、その以後のオブジェクト・トラッキングによる分割結果に累積的に影響を与え、不正確な結果となるためである。ここで、オブジェクト・トラッキングによる分割結果に対する満足度検査は、ユーザーの決定に基づいて手動で実行することも、または自動で実行することもできる。
【００２０】
検査の結果、オブジェクト・トラッキングによる分割結果が満足なものでなければ、ステップ２０１で、ユーザーの補助による分割処理を行ない、分割結果が満足するものであれば、ステップ２０２において、次のフレームに対してオブジェクト・トラッキングによる分割処理を行う。
【００２１】
本発明の好ましい実施形態にかかるビデオ・オブジェクト分割方法は、ユーザーの補助、空間情報及びオブジェクト・トラッキングによる時間情報など多様な情報を利用してビデオ・シーケンスからビデオ・オブジェクトを分割することにより、手動分割による分割所要時間及びユーザーの努力を減少させ、自動分割によるビデオ・オブジェクト分割の正確さを向上させることができる。
【００２２】
上述したように、本発明によれば、ユーザーの補助、空間情報、及びオブジェクト・トラッキングの時間情報などを利用して、ビデオ・シーケンスから所望のオブジェクトを效果的に分割し得る。また、境界を定めること、または分割することがし難いビデオ・オブジェクトをユーザーの補助により、手動または半手動で分割し、そして、このように分割されたビデオ・オブジェクトをオブジェクト・トラッキングにより自動に分割する。すなわち、手動及び自動分割法を效果的に結合することによって、正確なビデオ・オブジェクト分割が可能となり、ユーザーの時間及び努力を低減することができる。このように本発明の方法は、ビデオ編集、ビデオ生成及び複合装置、オブジェクト・ベースのビデオ・コーデックなどに適用し得るという効果がある。
【００２３】
本発明の好ましい実施形態を、図示し、記述したが、色々な代替案、改造型、均等なものを利用することができる。したがって、前述した記述は、特許請求の範囲に定義した本発明の視点に制限されるものではない。
【図面の簡単な説明】
本発明および本発明の有利性のより完全な理解のために、付随した図と共に以下の記述が参照される。
【図１Ａ】  本発明の方法が適用される例示的なビデオ・コーデックを示す図である。
【図１Ｂ】  本発明の方法が適用される例示的なビデオ・コーデックを示す図である。
【図２】  本発明によるビデオ・オブジェクト分割方法の好適実施例を示すフローチャートである。
【図１Ａ】
0004302891.tif 000002
【図１Ｂ】
0004302891.tif 000003
【図２】
0004302891.tif 000004