(57)【要約】【課題】既に物体抽出に成功したフレームのアルファデータを上書きしてしまうことなく、正しいアルファデータを生成できる動画像内オブジェクト抽出装置を提供する。【解決手段】動画像内の物体領域を表すアルファデータを該動画像のフレーム毎に順次生成するオブジェクト抽出を行う際、互いに異なる複数のパラメータを用いてフレーム毎にそれぞれ複数のアルファデータを生成し（ステップＳ３１）、フレーム毎に生成された複数のアルファデータのうちの一つを選択する（ステップＳ３３）。【選択図】  図５
2006120170.tif 000002
【特許請求の範囲】
【請求項１】
動画像内の物体領域を表すアルファデータを該動画像のフレーム毎に順次生成するオブジェクト抽出を行う動画像内オブジェクト抽出方法において、
互いに異なる複数のパラメータを用いてフレーム毎にそれぞれ複数のアルファデータを生成するアルファデータ生成ステップと、
前記フレーム毎に前記アルファデータ生成ステップで生成された複数のアルファデータのうちの一つを選択する選択ステップと
を有することを特徴とする動画像内オブジェクト抽出方法。
【請求項２】
動画像内の物体領域を表すアルファデータを該動画像のフレーム毎に順次生成するオブジェクト抽出を行う動画像内オブジェクト抽出装置において、
互いに異なる複数のパラメータを用いてフレーム毎にそれぞれ複数のアルファデータを生成するアルファデータ生成手段と、
前記フレーム毎に前記アルファデータ生成部で生成された複数のアルファデータのうちの一つを選択する選択手段と
を有することを特徴とする動画像内オブジェクト抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像内の物体領域を表すアルファデータをフレーム毎に生成することで動画像内のオブジェクトを抽出する方法及び装置に関する。
【背景技術】
【０００２】
動画像内の物体（オブジェクト）を自動抽出することは、動画像を物体毎に編集・加工したり、動画像の背景を別の背景に置き換えたりする処理を行うために有用である。
【０００３】
一般に、動画像内の物体領域を表すには、物体領域と背景領域とで互いに異なる画素値（アルファ値）を持つ画像を原画像と併せて用意する。このようなアルファ値から構成される画像のデータをアルファデータと呼び、このアルファデータをフレーム毎に生成する処理を動画像内オブジェクト抽出と呼ぶ。アルファデータは、原画像データとは別のデータであったり、原画像データに含まれるように構成される場合もある。後者の場合、画素毎にＲ値、Ｇ値、Ｂ値に加えＡ値（アルファ値）を設定するフォーマットが用いられることが多い。
【０００４】
従来より用いられているオブジェクト抽出法として、クロマキー法がある。クロマキー法では、予め登録した色を背景色とし、画像データ中で背景色と近い色を持つ画素の領域を背景領域、それ以外の色の画素の領域を物体領域とそれぞれ判定する。アドビ社の「プレミア」という画像処理ソフトには、クロマキー法により動画像から物体を抽出する機能が備えられている。
【０００５】
この機能を使って物体抽出を行う場合、まずあるフレームの画像を表示し、その背景上の画素をユーザがクリックすることで背景色を登録する。次に、背景か否かの判定を行うための閾値を設定した後、この閾値と背景色を用いて動画像シーケンス全体からフレーム毎に物体を自動抽出する。しかし、クロマキー法では処理対象画像の背景に多くの色が存在していたり、物体に背景と同じ色があると正しく物体を抽出することができないという問題がある。
【０００６】
このしたクロマキー法の欠点を解消するために、任意の背景上にある物体を抽出する方法としては、本発明者らが“フレーム間差分とブロックマッチングを併用した動画像の物体抽出”（三本杉，井田，渡邊、第５回 画像センシングシンポジウム 講演論文集、C-4，PP.61-66,June 1999）で開示した、差分法とブロックマッチング法を併用するハイブリッド法と呼ばれる方法がある。このハイブリッド法では、まず動画像の最初のフレームにおいてユーザが抽出したい物体のアルファデータをマニュアル操作で設定する。２フレーム目以降では、設定された最初のフレームのアルファデータを基にして物体の動きなどを追跡しながら、アルファデータを自動生成する。その際、動き検出のための動きベクトルの探索範囲や、フレーム間差分に対して設定される物体か背景かの判定のための閾値などの抽出パラメータをユーザがマニュアル操作で設定する。
【０００７】
ハイブリッド法を用いた物体抽出においては、前述のプレミアと同様に最初のフレームにおいて抽出パラメータを設定し、２フレーム目以降では同じパラメータを用いて物体抽出を行う方法が考えられる。この方法では、あるフレームまでは正確に物体抽出ができても、それ以降のフレームでは正しく物体抽出を行うことができなくなることがある。ハイブリッド法が対象とするような任意の背景を持つ画像では、物体抽出に必要な抽出パラメータがフレームの経過によって変化するからである。
【０００８】
このため、ハイブリッド法のような前フレームの抽出結果や物体の動きを利用して物体抽出を行う方法では、抽出に失敗したフレームについては抽出パラメータを切り替えて抽出をやり直し、アルファデータを上書きする必要がある。しかし、ある抽出パラメータで物体抽出に失敗したフレームについて、別の抽出パラメータで物体抽出を行っても、必ずしも正しい抽出が行われるとは限らず、既に正しく物体抽出が行われたフレームが、抽出に失敗したアルファデータによって上書きがなされてしまうことがある。特に、現処理フレームとは別のフレームのアルファデータと物体の動きを利用する物体抽出法では、同じ抽出パラメータであっても、別のフレームのアルファデータの状況によって現処理フレームでの物体抽出結果が変化してしまう。従って、単に抽出パラメータを記憶保持しておいても、既に得られたアルファデータを再現できるわけではない。
【非特許文献１】“フレーム間差分とブロックマッチングを併用した動画像の物体抽出”（三本杉，井田，渡邊、第５回 画像センシングシンポジウム 講演論文集、C-4，PP.61-66,June 1999）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述したように、最初のフレームで設定した抽出パラメータ２フレーム目以降でも用いて物体抽出を行うことでアルファデータを生成し、物体抽出に失敗したとき抽出パラメータを変更した後に抽出し直して既に得られたアルファデータ上に上書きする従来の動画像内オブジェクト抽出技術では、既に正しく物体抽出がなされたフレームが抽出に失敗したアルファデータにより上書きされて失われてしまう場合があった。
【００１０】
本発明は、動画像内の物体を確実に抽出してアルファデータを生成できる動画像内オブジェクト抽出方法及び装置を提供することを目的とする。
【００１１】
本発明のより具体的な目的は、例えばハイブリッド法を用いた場合に、既に物体抽出に成功したフレームのアルファデータを上書きしてしまうことなく、正しいアルファデータを生成できる動画像内オブジェクト抽出方法及び装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記の課題を解決するため、本発明では動画像内の物体領域を表すアルファデータが動画像のフレーム毎に生成され、この生成されたフレーム毎のアルファデータについて上書き許可モードまたは上書き不許可モードのいずれかのモードがそれぞれ設定される。現処理フレームについて設定されたモードが上書き許可モードまたは上書き不許可モードのいずれであるかが判定され、上書き許可モードのときは現処理フレームのアルファデータが新たに生成される。そして、この新たに生成されたアルファデータが現処理フレームと同一フレームの既に生成されたアルファデータ上に上書きされる。判定されたモードが上書き不許可モードのときは、現処理フレームについて新たなアルファデータの生成を行うことなく処理が進められるか、あるいは処理が終了する。
【００１３】
このようにすることで、既に物体抽出に成功したフレームのアルファデータを上書きしてしまうことなく、フレーム毎にアルファデータを生成できる。
【００１４】
また、本発明では互いに異なる複数のパラメータを用いてフレーム毎にそれぞれ複数のアルファデータが生成され、フレーム毎にこれら異なるパラメータに基づいて生成された複数のアルファデータのうちの一つが選択される。
【００１５】
さらに、本発明では動画像内の物体、背景及び動画像全体の少なくとも一つの動きを示す動きパラメータが入力され、この動きパラメータを用いてフレーム毎にアルファデータが生成される。
【発明の効果】
【００１６】
本発明によれば動画像内の物体を確実に抽出してアルファデータを生成でき、特にハイブリッド法などで物体抽出を行う場合に、既に物体抽出に成功したフレームのアルファデータを上書きしてしまうことなく、正しいアルファデータを生成することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の実施の形態を説明する。  
（動画像内オブジェクト抽出装置の全体構成）  
図１は、本発明の一実施形態に係る動画像内オブジェクト抽出装置の構成を示している。この動画像内オブジェクト抽出装置は、例えばパーソナルコンピュータを用いて実現され、大きく分けてキーボード及びマウスのようなポインティングデバイスを含む入力部１と、ＣＰＵ２と、ハードディスク装置やメモリなどの記憶部３、及び液晶ディスプレイやＣＲＴモニタなどの表示部４から構成される。
【００１８】
また、図１では動画像内オブジェクト抽出装置を実現する要素としてアルファデータ設定部５、モード設定部６、アルファデータ生成部７及び制御部８が設けられており、アルファデータ設定部５とモード設定部６の機能は入力部１によって実現され、アルファデータ生成部７と制御部８の機能はＣＰＵ２によって実現されている。
【００１９】
アルファデータ設定部５では、本装置を利用するユーザによるマニュアル操作によって、動画像の例えば最初のフレームのアルファデータが設定される。設定されたアルファデータは、制御部８による制御下で記憶部３に書き込まれる。モード設定部６では、ユーザによるマニュアル操作で、または自動的に動画像のフレーム毎に上書き許可モード・上書き非許可モードのいずれかのモードが制御部８に対して設定される。アルファデータ生成部７では、制御部８による制御下で記憶部３に記憶されている既処理フレームのアルファデータを用いて、現処理フレームのアルファデータが生成される。制御部８は、アルファデータ生成部７の制御と記憶部３の書き込み／読み出し制御を行う。
【００２０】
（動画像内オブジェクト抽出用表示画面について）  
図２は、動画像内オブジェクト抽出時の表示部４での表示画面の具体例を示している。同図に示されるように、表示画面１０には動画像表示レーン１１、フレームポインタ１２、画像表示ウィンドウ１３、表示フレーム切替ボタン類１４、アルファデータデータ設定ボタン１５、フィッティングボタン１６、物体抽出ボタン１７及びモード設定レーン１８が配置されている。
【００２１】
動画像表示レーン１１には、動画像を構成する各フレームの画像がフレーム順に縮小表示される。フレーム数が多いときは、適当に間引いて表示される。動画像表示レーン１１のうち、フレームポインタ１２によって指し示される位置のフレームの画像が画像表示ウィンドウ１３に大きく表示される。表示フレーム切り替えボタン類１４のいずれかをクリックすることによって、画像表示ウィンドウ１３上で「動画再生」、「再生停止」、「１フレーム前に移動」、「１フレーム後に移動」、「最初のフレームに移動」、「最後のフレームに移動」といった操作ができ、それに合わせてフレームポインタ１２も自動的に移動する。
【００２２】
フレームポインタ１２を左右にドラッグすることにより、画像表示ウィンドウ１３に表示される画像のフレームが切り替わる。そこで、まず最初のフレーム（動画像表示レーン１１の左端のフレーム）の画像を画像表示ウィンドウ１３に表示した状態で、物体入力と背景入力の２種類の入力切り替えを行うためのアルファデータ設定ボタン１５をクリックすることで、物体ペンあるいは背景ペンを選択し、その物体ペンあるいは背景ペンによって画像表示ウィンドウ１３内で物体領域や背景領域を塗る。これは図１のアルファデータ設定部５での設定操作に相当し、これにより大まかなアルファデータが設定される。
【００２３】
次に、フィッティングボタン１６をクリックすることで、例えば自己相似モデルによってアルファデータの輪郭が動画像内の物体の輪郭にフィッティングされる。この後、物体抽出ボタン１７をクリックすることで、ハイブリッド法によってそれ以降のフレームのアルファデータが生成される。この生成されたアルファデータに基づいて、物体抽出画像が画像表示ウィンドウ１３内に表示される。この物体抽出画像は、例えば背景部分を所定の色で塗りつぶすか、所定の色で半透明に塗りつぶした形態をとるものとする。このとき、動画像表示レーン１１で表示される画像も左から順に元の動画像に代えて物体抽出画像に切り替わり、フレームポインタ１２もそれに合わせて右側に移動する。物体抽出画像が最後のフレームに到達すると、物体抽出は終了する。
【００２４】
この段階では、必ずしも全てのフレームで物体抽出が成功しているとは限らないので、ユーザはフレームポインタ１２などを用いながら、物体抽出画像を表示して結果を確認する。そして、この物体抽出画像の表示から物体抽出が成功した区間のフレームに対しては、モード設定レーン１８においてマウスでドラッグするなどにより指定して、斜線で示すように上書き不許可モードを設定し、それ以外の物体抽出が成功しなかった区間のフレームに対しては、上書き許可モードを設定する。これは図１のモード設定部６での操作に相当する。
【００２５】
ハイブリッド法など、既処理フレームのアルファデータを用いて現処理フレームのアルファデータを生成する方法では、一度物体抽出に失敗すると、それが以降のフレームにも影響し、連続して物体抽出に失敗する傾向がある。従って、物体抽出に成功するフレームと抽出に失敗するフレームは、図２の上書き不許可モードと上書き許可モードの区間にそれぞれ示したように、いずれも連続することが多い。
【００２６】
次に、ユーザは物体抽出に失敗した最初のフレームを画像表示ウィンドウ１３に表示し、アルファデータ設定ボタン１５で選択した物体ペンあるいは背景ペンや、フィッティングボタン１６を用いて修正を加える。この後、物体抽出ボタン１７を再度クリックすることにより、以降のフレームのアルファデータが自動生成され、上書き許可モードのフレームのアルファデータが記憶部３上で上書きされる。この場合、物体抽出に失敗した最初のフレームを修正することになるので、以降のフレームでは高い確率で正しく物体抽出を行うことができる。
【００２７】
なお、上書き不許可モードを設定する際のマニュアル操作を軽減するために、物体抽出に成功したと推定されるフレームを自動的に上書き不許可モードに設定する方法を用いてもよい。例えば、ハイブリッド法における動きベクトル検出時の誤差が小さい、動きの影響が少ない、物体の輪郭線の両側の画素値の段差が大きい、といったフレームについては、物体抽出が成功したと見なして上書き不許可モードに自動的に設定する。ユーザは、その設定結果が正しいかどうかをモード設定レーン１８の表示から確認し、誤っていれば適宜修正する。
【００２８】
（動画像内オブジェクト抽出の処理手順について）  
次に、図３〜図６に示すフローチャートを用いて、本実施形態における動画像内オブジェクト抽出の種々の処理手順について説明する。
【００２９】
図３は、アルファデータ設定部５により動画像の最初のフレームのアルファデータが設定され、さらにアルファデータ生成部７で動画像の処理対象の全フレームのアルファデータが生成されて記憶部４に記憶された後の処理を示している。まず、動画像のフレーム毎に上書き許可モードか上書き不許可モードのいずれかのモードが設定される（ステップＳ１１）。具体的には、例えばユーザが図２に示した表示画面１０の画像表示ウィンドウ１３上で、アルファデータを用いて表示される物体抽出画像からアルファデータの出来映えをフレーム毎に確認し、物体抽出が正しくなされているフレームでは上書き不許可モードに、そうでないフレームでは上書き許可モードに設定する。このモード設定の具体的な手法については、後に詳しく述べる。
【００３０】
ステップＳ１１における他のモード設定の方法としては、前述したようにハイブリッド法における動きベクトル検出時の誤差が小さい、動きの影響が少ない、物体の輪郭線の両側の画素値の段差が大きいといったフレームについては上書き不許可モードとし、それ以外のフレームは上書き許可モードとするように自動的にモード設定を行ってもよい。
【００３１】
次に、制御部８において動画像の最初のフレームが上書き許可モードか否かが判定され（ステップＳ１２）、上書き許可モードであったときは、アルファデータ生成部７で該当フレームのアルファデータが生成される（ステップＳ１３）。ステップＳ１２において上書き許可モードでないとき、つまり上書き不許可モードであったときはステップＳ１４に進み、全てのフレームの処理が終了したか否かが判定され、未処理のフレームが残っているときは、次のフレームを現処理フレームとしてステップＳ１２〜Ｓ１４の処理が繰り返される。これにより２フレーム目以降が順次処理される。ステップＳ１４で最後のフレームと判定されたときは、動画像内オブジェクト抽出処理は終了する。
【００３２】
図４は、図３と同様にアルファデータ設定部５により動画像の最初のフレームのアルファデータが設定され、さらにアルファデータ生成部７で動画像の処理対象の全フレームのアルファデータが生成されて記憶部４に記憶された後の処理を示している。ステップＳ２１のモード設定処理、ステップＳ２２の上書き許可／不許可判定処理、ステップＳ２３のアルファデータ生成処理及びステップＳ２４の全フレーム終了判定処理は、図３の場合と基本的に同様であるが、ステップＳ２２において上書き不許可と判定した場合に、次のフレームに処理を進めず、フレームが残っていても直ちに動画像内オブジェクト抽出処理を終了する点が図３と異なっている。
【００３３】
この図４の処理手順によると、ある区間のフレームのみから物体抽出を行う場合には、物体抽出を行いたい区間だけ上書き許可モードにしておくことで、区間の終端に達した時点で動画像内オブジェクト抽出処理を自動的に終了することができる。
【００３４】
図５は、アルファデータ生成部７でのアルファデータ生成処理について示している。まず、予め定められた異なる複数の抽出パラメータを用いて、フレーム毎に複数のアルファデータが同時に生成される（ステップＳ３１）。次に、全てのフレームについてアルファデータ生成処理が終了したか否かが判定され（ステップＳ３２）、アルファデータ未生成のフレームが残っているときは、次のフレームを現処理フレームとしてステップＳ３１の処理が繰り返される。ステップＳ３２で最後のフレームと判定されたときは、フレーム毎に複数個ずつ生成されたアルファデータの中から、例えばユーザによって一つずつ選択されたアルファデータが最終的にアルファデータ生成部７の出力として以後の処理に用いられる。
【００３５】
図６は、アルファデータ生成部７での他のアルファデータ生成処理について示している。まず、物体抽出に用いられる動きパラメータが設定される（ステップＳ４１）。動きパラメータは、例えばユーザが表示画面上で物体や背景や画面全体の動きの方向及び大きさの少なくとも一方を入力した結果から算定される。この動きパラメータの具体的な設定方法については、後に詳しく説明する。
【００３６】
次に、ステップＳ４１で設定された動きパラメータを用いてアルファデータが生成される（ステップＳ４２）。そして、全てのフレームのアルファデータ生成処理が終了したか否かが判定され（ステップＳ４３）、アルファデータ未生成のフレームが残っているときは、次のフレームを現処理フレームとしてステップＳ４２の処理が繰り返されることにより、全てのフレームについて、設定された動きパラメータを用いたアルファデータの生成が行われる。
【００３７】
（アルファデータ設定部５について）  
次に、アルファデータ設定部５での具体的な設定方法について説明する。アルファデータ設定の具体的な手法としては、例えば表示画面１０の画像表示ウィンドウ１３上で最初のフレームの画像を表示し、この画像をユーザが見ながら画像内の所望の物体をマウスのポインタなどを用いて塗りつぶし、その塗りつぶした領域を物体領域としてアルファデータを設定する方法が最も簡単である。
【００３８】
その際、塗りつぶした領域では塗りつぶした色を半透明で表示するようにすれば、塗りつぶした領域内の物体の画像を確認できるので、確実に所望の物体領域のアルファデータを生成することができるという利点がある。物体領域に色を付けるのではなく、背景領域に色を付けるようにしても、物体の画像を良く認識することができる。
【００３９】
また、物体の輪郭に沿って正確に塗りつぶす操作が煩雑であるときは、大まかな塗りつぶしを行った後に、本発明者らが“自己相似法による輪郭線のフィッティング（井田，三本杉、第５回 画像センシングシンポジウム 講演論文集、C-15，PP.115-120,June 1999）”で提案した自己相似モデル法を用いて、自動的にアルファデータの輪郭を物体の輪郭にフィッティングすれば、少ない手間でアルファデータを設定することができる。
【００４０】
アルファデータの他の設定方法として、図７（ａ）に示すように制御点（〇印で示す）を持つ輪郭線を表示し、これらの制御点をマウスのポインタでドラッグすることにより移動させ、輪郭線を図７（ｂ）に示すように所望の物体を近似するように変形させるようにすると、物体の形状によってはより簡単にアルファデータを設定することができる。この場合は、輪郭線の内側を物体領域としてアルファデータを設定することになる。また、物体の輪郭線上を適当な間隔を空けて次々とクリックすることで、クリックした点を制御点として順にスプライン曲線などで滑らかに連結することにより輪郭線を設定し、アルファデータを設定する方法でもよく、比較的簡単にアルファデータを設定できる。
【００４１】
さらに、図８に示すように予め楕円などの所定形状のテンプレートを複数種類か用意しておき、それらを物体２１の部分を覆うように配置することで、アルファデータを設定することもできる。図８の例では、４つの楕円２２，２３，２４，２５によって物体２１を覆っている。楕円の画面２０からはみ出した領域は廃棄される。これらの楕円２２，２３，２４，２５の和を物体領域としてフィッティングを行う。この場合、例えば図８に示したように物体が人間の上半身であって、頭部を囲む楕円２２を配置した瞬間に、フィッティングボタン１６をクリックせずとも自動的にフィッティングを行うようにすれば、物体の抽出結果を確認しながら楕円の配置作業を進めることができる。
【００４２】
次に、例えば楕円２３を配置したときは、楕円２３を用いてフィッティングを行い、その結果と先に楕円２２を用いた結果の和を物体領域として表示する。以下、楕円２４，２５を配置する場合についても同様である。この際、既に正しく設定された輪郭部分がその後の処理で変更されないように、別に用意する岩垣禁止ペンでなぞっておくようにする。上書き禁止ペンでなぞられた部分のアルファデータは、上書きされないようにすれば、せっかく正確に入力した輪郭を綾ままって上書きしてしまうことがなくなる。上書き禁止ペンでなぞられた部分については、一目で分かるように別の色で半透明に着色しておくことが望ましい。
【００４３】
（アルファデータ生成部７について）  
上述のようにしてアルファデータ設定部５で最初のフレームのアルファデータが設定され、記憶部３に書き込まれた後、この最初のフレームのアルファデータと画像データが記憶部３から読み出されてアルファデータ生成部５に送られる。アルファデータ生成部５では、例えば先に述べたハイブリッド法によって２フレーム以降のフレームのアルファデータが生成される。
【００４４】
すなわち、記憶部３から読み出された画像データのフレーム間の動き検出を行い、その動き検出結果に基づき既処理フレームのアルファデータについて変形（動き補償）を施すことで、動き補償に基づくアルファデータが作られる。これと同時に、記憶部３から読み出された画像データのフレーム間差分が大きい部分を物体領域とすることで、差分に基づくアルファデータが作られる。そして、画面の部分毎に、動き補償によるアルファデータと差分によるアルファデータのいずれかのより適切な方を適応的に選択することで、現処理フレームのアルファデータが最終的に生成される。
【００４５】
このような方法によりアルファデータはフレーム毎に順次生成され、必要に応じて記憶部３に書き込まれ、また必要に応じて記憶部３から読み出されて表示部４で画像として表示される。
【００４６】
（モード設定部６について）  
上述したようなアルファデータの生成方法では、全てのフレームのアルファデータが一度で正確に生成されるとは限らず、例えば幾つかのフレームで物体抽出に失敗し、実際の物体とは大きく隔たったアルファデータが生成されることもあり得る。そのようなときは、物体抽出に失敗したフレームにおいてアルファデータ設定部５を用いてマニュアル操作でアルファデータを再度入力した後に物体抽出をし直し、物体抽出に失敗したフレームの記憶部３に記憶されているアルファデータを上書きするようにする。
【００４７】
ここで、正しく物体領域が抽出されているフレームのアルファデータについては記憶部３で上書きされないように、ユーザによってモード設定部６を用いてフレーム毎に上書き許可モードと上書き不許可モードのいずれかのモードに設定される。
【００４８】
モード設定部６による設定結果は制御部８で判定され、上書き許可モードが設定されたフレームでは、アルファデータ設定部５によって設定されるか、あるいはアルファデータ生成部７で生成され、記憶部３に記憶されている当該フレームのアルファデータが制御部８による制御下で上書きされるが、上書き不許可モードが設定されたフレームでは上書きはなされない。
【００４９】
アルファデータ生成部７における物体領域の自動抽出によるアルファデータの生成がフレーム順に進み、上書き不許可モードが設定されたフレームに達すると、そのフレームを飛ばして次に上書き許可モードが設定されているフレームのアルファデータの生成が行われるか（図３）、または移動物体抽出処理はそこで終了する（図４）。また、上書き不許可モードが設定されたフレームでは物体抽出処理を省略し、記憶部３に記憶されているアルファデータが当該フレームで抽出されたものと見なして処理を進めてもよい。
【００５０】
（モード設定の他の方法について）  
次に、図９を用いてモード設定部６でのモード設定の他の方法について説明する。図９は、図２に示したようなモード設定レーン１８を用いずに、動画像表示レーン１１上でモード設定を行う例である。すなわち、図９（ａ）に示すように動画像表示レーン１１に対してユーザの指示により抽出開始ポインタと抽出終了ポインタを設定し、これら抽出開始ポインタと抽出終了ポインタの間のフレームを上書き許可モードとし、それ以外のフレームを上書き不許可モードとする。この状態でユーザが図２の物体抽出ボタン１７をクリックすると、抽出開始ポインタが指し示すフレームから物体抽出が始まり、抽出終了ポインタが指し示すフレームで物体抽出が終了する。
【００５１】
図９（ｂ）は、抽出開始ポインタが指し示すフレームより時間的に前のフレームに抽出終了ポインタを設定した例であり、この場合にはフレームの時間順とは逆順で物体抽出が行われることになる。
【００５２】
このように例えば抽出開始ポインタと抽出終了ポインタにより上書き許可開始フレームと上書き不許可終了フレームを指定してもよいし、上書き不許可開始フレームと上書き不許可開始フレームを指定することによっても、上書き不許可モードと上書き許可モードの設定を行うことができる。
【００５３】
次に、図１０を用いてモード設定部６でのモード設定の他の方法について説明する。図１０では、図２に示したような動画像表示レーン１１を１１Ａ，１１Ｂ，１１Ｃで示すように複数列設定し、これらの各動画像表示レーン１１Ａ，１１Ｂ，１１Ｃでそれぞれ異なる抽出パラメータを用いて同時に物体抽出を行った結果を表示する。
【００５４】
抽出パラメータとは、例えば動きベクトルの探索範囲、フレーム間差分に対して物体領域か背景領域かを判定する際に用いる閾値、動き補償に基づくアルファデータか、差分に基づくアルファデータのいずれを適応的に選択する際に用いる閾値などである。これら抽出パラメータの値を固定しておくと、これまで述べたように、あるフレームでは正しく物体領域が抽出されるが、別のフレームでは抽出に失敗することがある。
【００５５】
そこで、図１０に示すように異なる抽出パラメータを用いて物体検出を行った結果を異なる複数の動画像表示レーン１１Ａ，１１Ｂ，１１Ｃ上に並べて表示しておく。ユーザは、フレーム毎に動画像表示レーン１１Ａ，１１Ｂ，１１Ｃのうち最も正確に物体が抽出されたレーンを選び、そのレーン上の画像をクリックするようにする。図１０では、選択された画像が〇印で示されている。
【００５６】
一方、画像の性質が全フレームで余り変化しないために、単一の抽出パラメータ値で物体抽出ができる場合でも、最適な抽出パラメータを見出すことが困難な場合がある。これに対しては、例えば抽出パラメータを物体抽出の途中でも変更可能にすることで、最適な抽出パラメータを探る方法が考えられる。抽出パラメータがユーザによって変更されたら、そのフレーム以降は変更後の抽出パラメータを用いて物体抽出が行われるようにする。ユーザは１回目の物体抽出では抽出結果を確認しながら抽出パラメータを適宜変更して抽出パラメータの最適な値を探る。この方法によると動的に抽出パラメータを切り替えることができるので、短時間で最適な抽出パラメータを見出すことが可能である。そして、２回目以降はその最適な抽出パラメータの値に固定して、全フレームまたは抽出に失敗したフレームの抽出をやり直すことができる。
【００５７】
（アルファデータの他の生成方法について）  
ハイブリッド法では物体や背景の動きを自動的に検出するが、予めそれらの動きが分かっていれば、アルファデータ生成時に動き方向の情報を用いることで処理量を少なくしたり、動き検出精度の向上を図ることができる。図６に示したアルファデータ生成手順は、この考えを応用してステップＳ４１で動きパラメータを設定した後に、この動きパラメータを用いてアルファデータを生成している。
【００５８】
図１１は、このようなアルファデータ生成時に物体の動く方向などをユーザがマニュアル操作で入力する例を示している。最初のフレームの画像を表示している段階で、ユーザが物体３２上をマウスでドラッグして物体３２の動き方向３３を入力する。また、動画像を撮像するカメラにパニングがあったために背景３１が動く場合には、背景３１の動き方向３４を同様に入力する。
【００５９】
物体抽出の際には、これらの動き方向３３，３４についてのみ動きベクトル探索を行うようにすれば、全方向について動きベクトル探索を行うよりも動き検出のための処理量を削減でき、また入力された動きの周辺だけで細かく動きベクトルを探索すれば、処理量を増やさずにより正確な動き検出が可能となる。その結果、物体抽出の処理時間を短縮でき、あるいは抽出精度を高めることができる。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施形態に係る動画像からの動画像内オブジェクト抽出装置の概略構成を示すブロック図
【図２】同実施形態における動画像内オブジェクト抽出時の表示画面例を示す図
【図３】同実施形態における最初のフレームのアルファデータ生成後の処理例を示すフローチャート
【図４】同実施形態における最初のフレームのアルファデータ生成後の他の処理例を示すフローチャート
【図５】同実施形態におけるアルファデータ生成の処理例を示すフローチャート
【図６】同実施形態におけるアルファデータ生成の他の処理例を示すフローチャート
【図７】同実施形態におけるアルファデータ設定部での輪郭線の設定と変形によるアルファデータ設定方法について説明する図
【図８】同実施形態における同実施形態におけるアルファデータ設定部でのテンプレートを用いたアルファデータ設定方法について説明する図
【図９】同実施形態におけるモード設定部での上書きモード設定方法の他の例を説明する図
【図１０】同実施形態における異なる複数の抽出パラメータを用いてアルファデータを生成する方法について説明する図
【図１１】物体の動き方向を入力してアルファデータを生成する方法について説明する図
【符号の説明】
【００６１】
１…入力部
２…ＣＰＵ
３…記憶部
４…表示部
５…アルファデータ設定部
６…モード設定部
７…アルファデータ生成部
８…制御部
【図１】
2006120170.tif 000003
【図２】
2006120170.tif 000004
【図３】
2006120170.tif 000005
【図４】
2006120170.tif 000006
【図５】
2006120170.tif 000007
【図６】
2006120170.tif 000008
【図７】
2006120170.tif 000009
【図８】
2006120170.tif 000010
【図９】
2006120170.tif 000011
【図１０】
2006120170.tif 000012
【図１１】
2006120170.tif 000013