(57)【特許請求の範囲】
【請求項１】
コンピュータを、
動画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像を表示させる表示制御手段、
前記表示されたフレーム画像に含まれる物体領域を抽出するための手がかりとなる線分であって、前記物体領域上と前記物体領域以外の領域上に別々に引かれる線分の指定をユーザから受け付ける受付手段、
前記指定された手がかりとなる線分に基づいて、そのフレーム画像から物体領域を抽出する物体領域抽出手段、および、
前記手がかりとなる線分が指定されたフレーム画像以外の他のフレーム画像において、前記指定された手がかりとなる線分の移動を追跡する手がかり追跡手段として機能させ、
前記物体領域抽出手段は、さらに、前記追跡された手がかりとなる線分に基づいて、そのフレーム画像から物体領域を抽出することを特徴とする物体領域抽出処理プログラム。
【請求項２】
請求項１に記載の物体領域抽出処理プログラムにおいて、
前記物体領域抽出手段は、前記他の複数のフレーム画像において、前記指定された手がかりとなる線分の移動を連続的に追跡することを特徴とする物体領域抽出処理プログラム。
【請求項３】
請求項１又は２に記載の物体領域抽出処理プログラムにおいて、
前記コンピュータを、前記追跡された手がかりとなる線分に基づく前記物体領域の抽出が失敗したフレーム画像を検出する失敗検出手段として更に機能させることを特徴とする物体領域抽出処理プログラム。
【請求項４】
請求項３に記載の物体領域抽出処理プログラムにおいて、
前記コンピュータを、前記検出されたフレーム画像を示す情報を提示する情報提示手段として更に機能させることを特徴とする物体領域抽出処理プログラム。
【請求項５】
請求項３に記載の物体領域抽出処理プログラムにおいて、
前記表示制御手段は、前記検出されたフレーム画像を表示させ、
前記受付手段は、当該表示されたフレーム画像に対して前記手がかりとなる線分の再指定をユーザから受け付け、
前記物体領域抽出手段は、前記手がかりとなる線分が再指定されたフレーム画像から物体領域を抽出することを特徴とする物体領域抽出処理プログラム。
【請求項６】
請求項３乃至５の何れか一項に記載の物体領域抽出処理プログラムにおいて、
前記失敗検出手段は、基準となるフレーム画像において抽出された物体領域と、当該フレーム画像以外の他のフレーム画像において抽出された物体領域と、を比較してそれらの一致度を算出することにより前記物体領域の抽出が失敗したフレーム画像を検出することを特徴とする物体領域抽出処理プログラム。
【請求項７】
請求項１に記載の物体領域抽出処理プログラムにおいて、
前記物体領域抽出手段は、前記手がかりとなる線分が指定されたフレーム画像以外の他の複数のフレーム画像において、前記指定された手がかりとなる線分の移動を連続的に追跡し、
前記物体領域抽出手段は、前記追跡された夫々の手がかりとなる線分に基づいて、夫々のフレーム画像から物体領域を抽出するものであって、
前記コンピュータを、前記手がかりとなる線分が指定されたフレーム画像において抽出された物体領域と、当該フレーム画像以外の他の複数のフレーム画像の夫々において抽出された物体領域と、を夫々比較して夫々の一致度を算出する一致度算出手段として更に機能させ、
前記表示制御手段は、前記算出された一致度が所定の閾値以下である前記フレーム画像を表示させることを特徴とする物体領域抽出処理プログラム。
【請求項８】
請求項７に記載の物体領域抽出処理プログラムにおいて、
前記表示制御手段は、前記算出された一致度が前記所定の閾値以下である前記フレーム画像の当該一致度がユーザにより視覚的に把握可能な表示物を、当該フレーム画像に対応させて表示させることを特徴とする物体領域抽出処理プログラム。
【請求項９】
請求項８に記載の物体領域抽出処理プログラムにおいて、
前記表示制御手段は、前記算出された一致度が前記所定の閾値より小さい失敗検出閾値以下である前記フレーム画像に対応する前記表示物と、前記算出された一致度が前記失敗検出閾値より大きい前記フレーム画像に対応する表示物と、を互いに異なる表示態様で表示させることを特徴とする物体領域抽出処理プログラム。
【請求項１０】
請求項１に記載の物体領域抽出処理プログラムにおいて、
前記物体領域抽出手段は、前記手がかりとなる線分が指定されたフレーム画像以外の他の複数のフレーム画像において、前記指定された手がかりとなる線分の移動を連続的に追跡し、
前記物体領域抽出手段は、前記追跡された夫々の手がかりとなる線分に基づいて、夫々のフレーム画像から物体領域を抽出するものであって、
前記コンピュータを、前記手がかりとなる線分が指定されたフレーム画像において抽出された物体領域と、当該フレーム画像以外の他の複数のフレーム画像の夫々において抽出された物体領域と、を夫々比較して夫々の一致度を算出する一致度算出手段として更に機能させ、
前記表示制御手段は、前記算出された一致度が最も小さい方から選定した所定数の前記フレーム画像を表示させることを特徴とする物体領域抽出処理プログラム。
【請求項１１】
請求項１０に記載の物体領域抽出処理プログラムにおいて、
前記表示制御手段は、前記算出された一致度がユーザにより視覚的に把握可能な表示物を、前記所定数の前記フレーム画像の夫々に対応させて表示させることを特徴とする物体領域抽出処理プログラム。
【請求項１２】
請求項１１に記載の物体領域抽出処理プログラムにおいて、
前記表示制御手段は、前記算出された一致度が失敗検出閾値以下である前記フレーム画像に対応する前記表示物と、前記算出された一致度が前記失敗検出閾値より大きい前記フレーム画像に対応する表示物と、を互いに異なる表示態様で表示させることを特徴とする物体領域抽出処理プログラム。
【請求項１３】
請求項１に記載の物体領域抽出処理プログラムにおいて、
前記物体領域抽出手段は、前記手がかりとなる線分が指定されたフレーム画像以外の他の複数のフレーム画像において、前記指定された手がかりとなる線分の移動を連続的に追跡し、
前記物体領域抽出手段は、前記追跡された夫々の手がかりとなる線分に基づいて、夫々のフレーム画像から物体領域を抽出するものであって、
前記コンピュータを、前記手がかりとなる線分が指定されたフレーム画像において抽出された物体領域と、当該フレーム画像以外の他の複数のフレーム画像の夫々において抽出された物体領域と、を夫々比較して夫々の一致度を算出する一致度算出手段として更に機能させ、
前記表示制御手段は、前記一致度が算出された各フレーム画像を表示させると共に、当該算出された一致度がユーザにより視覚的に把握可能な表示物を、前記各フレーム画像に対応させて表示させることを特徴とする物体領域抽出処理プログラム。
【請求項１４】
請求項１３に記載の物体領域抽出処理プログラムにおいて、
前記表示制御手段は、前記算出された一致度が失敗検出閾値以下である前記フレーム画像に対応する前記表示物と、前記算出された一致度が前記失敗検出閾値より大きい前記フレーム画像に対応する表示物と、を互いに異なる表示態様で表示させることを特徴とする物体領域抽出処理プログラム。
【請求項１５】
請求項６乃至１４の何れか一項に記載の物体領域抽出処理プログラムにおいて、
前記比較には、前記物体領域のカラーヒストグラム、前記物体領域の面積、前記物体領域の形状、前記物体領域のテクスチャ、および前記物体領域の重心位置の少なくとも何れか一つが用いられることを特徴とする物体領域抽出処理プログラム。
【請求項１６】
請求項１乃至１５の何れか一項に記載の物体領域抽出処理プログラムにおいて、
前記コンピュータを、前記追跡された手がかりとなる線分に基づいて抽出された物体領域に対して、当該物体領域に表される物体に関する情報を含むメタデータを付与するメタデータ付与手段として更に機能させることを特徴とする物体領域抽出処理プログラム。
【請求項１７】
請求項１６に記載の物体領域抽出処理プログラムにおいて、
前記メタデータ付与手段は、前記抽出された複数の物体領域に対して夫々前記メタデータを付与することを特徴とする物体領域抽出処理プログラム。
【請求項１８】
請求項１６又は１７に記載の物体領域抽出処理プログラムにおいて、
前記メタデータには、前記抽出された物体領域の前記フレーム画像上における位置を示す位置情報が含まれることを特徴とする物体領域抽出処理プログラム。
【請求項１９】
請求項１８に記載の物体領域抽出処理プログラムにおいて、
前記位置情報は、前記抽出された物体領域上又はその近傍に描かれる線分上の少なくとも一点の座標であることを特徴とする物体領域抽出処理プログラム。
【請求項２０】
動画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像を表示させる表示制御手段と、
前記表示されたフレーム画像に含まれる物体領域を抽出するための手がかりとなる線分であって、前記物体領域上と前記物体領域以外の領域上に別々に引かれる線分の指定をユーザから受け付ける受付手段と、
前記指定された手がかりとなる線分に基づいて、そのフレーム画像から物体領域を抽出する物体領域抽出手段と、
前記手がかりとなる線分が指定されたフレーム画像以外の他のフレーム画像において、前記指定された手がかりとなる線分の移動を追跡する手がかり追跡手段と、
を備え、
前記物体領域抽出手段は、さらに、前記追跡された手がかりとなる線分に基づいて、そのフレーム画像から物体領域を抽出することを特徴とする物体領域抽出装置。
【請求項２１】
コンピュータにより行われる物体領域抽出方法であって、
動画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像を表示させる工程と、
前記表示されたフレーム画像に含まれる物体領域を抽出するための手がかりとなる線分であって、前記物体領域上と前記物体領域以外の領域上に別々に引かれる線分の指定をユーザから受け付ける工程と、
前記指定された手がかりとなる線分に基づいて、そのフレーム画像から物体領域を抽出する物体領域抽出工程と、
前記手がかりとなる線分が指定されたフレーム画像以外の他のフレーム画像において、前記指定された手がかりとなる線分の移動を追跡する工程と、
を含み、
前記物体領域抽出工程においては、さらに、前記追跡された手がかりとなる線分に基づいて、そのフレーム画像から物体領域を抽出することを特徴とする物体領域抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像中の物体領域を追跡するシステムおよび方法等の技術分野に関する。
【背景技術】
【０００２】
従来から、動画像中の物体領域を抽出する技術が、動画の加工、編集などの要素技術として盛んに研究されている。かかる技術では、例えば、動画像中の最初のフレーム画像(或いは幾つかのキーフレーム画像)において目的の物体領域を抽出し、それを基に他のフレーム画像における物体領域を追跡することで、動画中の各フレーム画像において物体領域を抽出するようになっている。なお、フレーム画像（静止画像）中の物体領域を抽出する技術としては、例えば、非特許文献１〜３に開示された技術が知られている。
【０００３】
ところで、これまでの物体領域の追跡に関する研究では、例えば非特許文献４及び５や特許文献１に開示されるように、自動追跡の精度向上を目的としていた。例えば、特許文献１に開示された技術では、動画像中の非追跡対象の影響を受けなくなるような追跡対象（物体領域）の特徴づけを行うことで、より失敗の少ない物体領域の追跡を可能とし、追跡枠の再設定を行う手間を軽減することができるとしている。
【非特許文献１】Y. Li, J. Sun, C. K. Tang and H. Y. Shum, “Lazy Snapping, ” ACM Transactions on Graphics (TOG), Vol.23, Issue.3, pp.303-308, Aug.2004.
【非特許文献２】Y. Y. Boykov and M. P. Jolly, “Interactive graph cuts for optimal boundary & regionsegmentation of objects in N-D images, ” Proc. ICCV’01, Vol.1, pp.105-112, Jul.2001.
【非特許文献３】C. Rother, V. Kolmogorov and A. Blake, “GrabCut : interactive foreground extraction using iterated graph cuts, ” ACM Transactions on Graphics (TOG), Vol.23, Issue.3, pp.309-314, Aug.2004.
【非特許文献４】岡田隆三, 白井良明, 三浦純, 久野義徳, “オプティカルフローと距離情報に基づく動物体追跡, ” 信学論(D-II), Vol.J80-D-II, No.6, pp.1530-1538, Jun.1997.
【非特許文献５】M. J. Black and A. D. Jepson, “EigenTracking: Robust Matching and Tracking of Articulated Objects Using a View-Based Representation,” International Jounal of Computer Vision, Vol.26, No.1, pp.63-84, Jan.1998.
【特許文献１】特開２００３−６６５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、全フレーム画像を通して追跡ミス（失敗）を無くすことは困難である。そのため、追跡ミスが発生したフレーム画像において再度人手による物体抽出作業（修正作業）が必要になる。追跡ミスが少なからず発生することを前提として、人手による作業負担を軽減するためには、追跡精度を向上させ追跡ミスの回数を減らすというアプローチと、修正作業自体の負担をインターフェース面から軽減するというアプローチとの２つが考えられるが、従来、これら双方のアプローチから人手による作業負担を軽減させることを可能とした技術は知られていなかった。
【０００５】
本発明は、このような点に鑑みてなされたものであり、その課題の一例は、人手による作業負担を低減させること等が可能な物体領域抽出処理プログラム、物体領域抽出装置、および物体領域抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の物体領域抽出処理プログラムの発明は、コンピュータを、動画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像を表示させる表示制御手段、前記表示されたフレーム画像に含まれる物体領域を抽出するための手がかりとなる線分であって、前記物体領域上と前記物体領域以外の領域上に別々に引かれる線分の指定をユーザから受け付ける受付手段、前記指定された手がかりとなる線分に基づいて、そのフレーム画像から物体領域を抽出する物体領域抽出手段、および、前記手がかりとなる線分が指定されたフレーム画像以外の他のフレーム画像において、前記指定された手がかりとなる線分の移動を追跡する手がかり追跡手段として機能させ、前記物体領域抽出手段は、さらに、前記追跡された手がかりとなる線分に基づいて、そのフレーム画像から物体領域を抽出することを特徴とする。
【０００７】
この発明によれば、手がかりとなる線分が指定されたフレーム画像以外の他のフレーム画像において物体領域を追跡するのではなく、手がかりとなる線分を追跡し、各フレーム画像において追跡された手がかりとなる線分に基づき物体領域を抽出するように構成したので、より高い精度での物体領域の抽出を行うことができると共に、あるフレーム画像で物体領域抽出に失敗したとしても、その物体領域抽出の失敗が次のフレーム画像での物体画像抽出には影響しないという効果を有する。さらに、抽出された物体領域自体を追跡する場合と比べて、失敗したフレーム画像内で手がかりとなる線分を追加、削除する修正作業をすれば良く、ユーザ（人手）による作業負担を低減させることができる。
【０００８】
また、手がかりとなる線分を追跡するので、物体領域を追跡するときより小さいデータ量で追跡できるため、追跡処理を高速化することができる。
【０００９】
請求項２に記載の発明は、請求項１に記載の物体領域抽出処理プログラムにおいて、前記物体領域抽出手段は、前記他の複数のフレーム画像において、前記指定された手がかりとなる線分の移動を連続的に追跡することを特徴とする。
【００１０】
この発明によれば、連続的に追跡された手がかりとなる線分に基づき、夫々のフレーム画像から物体領域を抽出することができる。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の物体領域抽出処理プログラムにおいて、前記コンピュータを、前記追跡された手がかりとなる線分に基づく前記物体領域の抽出が失敗したフレーム画像を検出する失敗検出手段として更に機能させることを特徴とする。
【００１２】
この発明によれば、物体領域の抽出が失敗したフレーム画像内で手がかりとなる線分を追加、削除する修正作業を効率化、迅速化することができる。
【００１３】
請求項４に記載の発明は、請求項３に記載の物体領域抽出処理プログラムにおいて、前記コンピュータを、前記検出されたフレーム画像を示す情報を提示する情報提示手段として更に機能させることを特徴とする。
【００１４】
この発明によれば、物体領域の抽出が失敗したフレーム画像内で手がかりとなる線分を追加、削除する修正作業を効率化、迅速化することができる。
【００１５】
請求項５に記載の発明は、請求項３に記載の物体領域抽出処理プログラムにおいて、前記表示制御手段は、前記検出されたフレーム画像を表示させ、前記受付手段は、当該表示されたフレーム画像に対して前記手がかりとなる線分の再指定をユーザから受け付け、前記物体領域抽出手段は、前記手がかりとなる線分が再指定されたフレーム画像から物体領域を抽出することを特徴とする。
【００１６】
この発明によれば、物体領域の抽出が失敗したフレーム画像において手がかりとなる線分を追加、削除する修正作業を行うだけで再指定が実現され、物体領域の再抽出が行われるので、少ない修正量で物体領域の抽出失敗を修正することができ、ユーザによる作業負担を低減させることができる。
【００１７】
請求項６に記載の発明は、請求項３乃至５の何れか一項に記載の物体領域抽出処理プログラムにおいて、前記失敗検出手段は、基準となるフレーム画像において抽出された物体領域と、当該フレーム画像以外の他のフレーム画像において抽出された物体領域と、を比較してそれらの一致度を算出することにより前記物体領域の抽出が失敗したフレーム画像を検出することを特徴とする。
【００１８】
この発明によれば、物体領域の抽出が失敗したフレーム画像を容易に検出することができる。
【００１９】
請求項７に記載の発明は、請求項１に記載の物体領域抽出処理プログラムにおいて、前記物体領域抽出手段は、前記手がかりとなる線分が指定されたフレーム画像以外の他の複数のフレーム画像において、前記指定された手がかりとなる線分の移動を連続的に追跡し、前記物体領域抽出手段は、前記追跡された夫々の手がかりとなる線分に基づいて、夫々のフレーム画像から物体領域を抽出するものであって、前記コンピュータを、前記手がかりとなる線分が指定されたフレーム画像において抽出された物体領域と、当該フレーム画像以外の他の複数のフレーム画像の夫々において抽出された物体領域と、を夫々比較して夫々の一致度を算出する一致度算出手段として更に機能させ、前記表示制御手段は、前記算出された一致度が所定の閾値以下である前記フレーム画像を表示させることを特徴とする。
【００２０】
この発明によれば、ユーザは一目で修正対象のフレーム画像を把握することができ、ユーザによる修正作業を効率化、迅速化することができる。
【００２１】
請求項８に記載の発明は、請求項７に記載の物体領域抽出処理プログラムにおいて、前記表示制御手段は、前記算出された一致度が前記所定の閾値以下である前記フレーム画像の当該一致度がユーザにより視覚的に把握可能な表示物を、当該フレーム画像に対応させて表示させることを特徴とする。
【００２２】
この発明によれば、ユーザは一目で修正対象のフレーム画像を把握することができ、ユーザによる修正作業を効率化、迅速化することができる。
【００２３】
請求項９に記載の発明は、請求項８に記載の物体領域抽出処理プログラムにおいて、前記表示制御手段は、前記算出された一致度が前記所定の閾値より小さい失敗検出閾値以下である前記フレーム画像に対応する前記表示物と、前記算出された一致度が前記失敗検出閾値より大きい前記フレーム画像に対応する表示物と、を互いに異なる表示態様で表示させることを特徴とする。
【００２４】
この発明によれば、物体領域の抽出が失敗したフレーム画像とそうでない（例えばこれに近いフレーム画像をユーザは一目で把握することができ、ユーザによる修正作業を効率化、迅速化することができる。
【００２５】
請求項１０に記載の発明は、請求項１に記載の物体領域抽出処理プログラムにおいて、前記物体領域抽出手段は、前記手がかりとなる線分が指定されたフレーム画像以外の他の複数のフレーム画像において、前記指定された手がかりとなる線分の移動を連続的に追跡し、前記物体領域抽出手段は、前記追跡された夫々の手がかりとなる線分に基づいて、夫々のフレーム画像から物体領域を抽出するものであって、前記コンピュータを、前記手がかりとなる線分が指定されたフレーム画像において抽出された物体領域と、当該フレーム画像以外の他の複数のフレーム画像の夫々において抽出された物体領域と、を夫々比較して夫々の一致度を算出する一致度算出手段として更に機能させ、前記表示制御手段は、前記算出された一致度が最も小さい方から選定した所定数の前記フレーム画像を表示させることを特徴とする。
【００２６】
この発明によれば、ユーザは一目で修正対象のフレーム画像を把握することができ、ユーザによる修正作業を効率化、迅速化することができる。
【００２７】
請求項１１に記載の発明は、請求項１０に記載の物体領域抽出処理プログラムにおいて、前記表示制御手段は、前記算出された一致度がユーザにより視覚的に把握可能な表示物を、前記所定数の前記フレーム画像の夫々に対応させて表示させることを特徴とする。
【００２８】
この発明によれば、ユーザは一目で修正対象のフレーム画像を把握することができ、ユーザによる修正作業を効率化、迅速化することができる。
【００２９】
請求項１２に記載の発明は、請求項１１に記載の物体領域抽出処理プログラムにおいて、前記表示制御手段は、前記算出された一致度が失敗検出閾値以下である前記フレーム画像に対応する前記表示物と、前記算出された一致度が前記失敗検出閾値より大きい前記フレーム画像に対応する表示物と、を互いに異なる表示態様で表示させることを特徴とする。
【００３０】
この発明によれば、物体領域の抽出が失敗したフレーム画像とそうでない（例えばこれに近い）フレーム画像をユーザは一目で把握することができ、ユーザによる修正作業を効率化、迅速化することができる。
【００３１】
請求項１３に記載の発明は、請求項１に記載の物体領域抽出処理プログラムにおいて、前記物体領域抽出手段は、前記手がかりとなる線分が指定されたフレーム画像以外の他の複数のフレーム画像において、前記指定された手がかりとなる線分の移動を連続的に追跡し、前記物体領域抽出手段は、前記追跡された夫々の手がかりとなる線分に基づいて、夫々のフレーム画像から物体領域を抽出するものであって、前記コンピュータを、前記手がかりとなる線分が指定されたフレーム画像において抽出された物体領域と、当該フレーム画像以外の他の複数のフレーム画像の夫々において抽出された物体領域と、を夫々比較して夫々の一致度を算出する一致度算出手段として更に機能させ、前記表示制御手段は、前記一致度が算出された各フレーム画像を表示させると共に、当該算出された一致度がユーザにより視覚的に把握可能な表示物を、前記各フレーム画像に対応させて表示させることを特徴とする。
【００３２】
この発明によれば、ユーザは一目で修正対象のフレーム画像を把握することができ、ユーザによる修正作業を効率化、迅速化することができる。
【００３３】
請求項１４に記載の発明は、請求項１３に記載の物体領域抽出処理プログラムにおいて、前記表示制御手段は、前記算出された一致度が失敗検出閾値以下である前記フレーム画像に対応する前記表示物と、前記算出された一致度が前記失敗検出閾値より大きい前記フレーム画像に対応する表示物と、を互いに異なる表示態様で表示させることを特徴とする。
【００３４】
この発明によれば、物体領域の抽出が失敗したフレーム画像とそうでない（例えばこれに近い）フレーム画像をユーザは一目で把握することができ、ユーザによる修正作業を効率化、迅速化することができる。
【００３５】
請求項１５に記載の発明は、請求項６乃至９の何れか一項に記載の物体領域抽出処理プログラムにおいて、前記比較には、前記物体領域のカラーヒストグラム、前記物体領域の面積、前記物体領域の形状、前記物体領域のテクスチャ、および前記物体領域の重心位置の少なくとも何れか一つが用いられることを特徴とする。
【００３６】
この発明によれば、物体領域の抽出が失敗したフレーム画像を容易に検出することができる。
【００３７】
請求項１６に記載の発明は、請求項１乃至１５の何れか一項に記載の物体領域抽出処理プログラムにおいて、前記コンピュータを、前記追跡された手がかりとなる線分に基づいて抽出された物体領域に対して、当該物体領域に表される物体に関する情報を含むメタデータを付与するメタデータ付与手段として更に機能させることを特徴とする。
【００３８】
この発明によれば、動画像中に含まれる物体領域に対して直接メタデータを付与することができる。
【００３９】
請求項１７に記載の発明は、請求項１６に記載の物体領域抽出処理プログラムにおいて、前記メタデータ付与手段は、前記抽出された複数の物体領域に対して夫々前記メタデータを付与することを特徴とする。
【００４０】
この発明によれば、動画像中に複数の物体領域が存在する場合でも、夫々の物体領域夫々に対して直接メタデータを付与することができる。
【００４１】
請求項１８に記載の発明は、請求項１６又は１７に記載の物体領域抽出処理プログラムにおいて、前記メタデータには、前記抽出された物体領域の前記フレーム画像上における位置を示す位置情報が含まれることを特徴とする。
【００４２】
この発明によれば、メタデータが付与された物体領域の位置を後から容易に特定することができる。
【００４３】
請求項１９に記載の発明は、請求項１８に記載の物体領域抽出処理プログラムにおいて、前記位置情報は、前記抽出された物体領域上又はその近傍に描かれる線分上の少なくとも一点の座標であることを特徴とする。
【００４４】
この発明によれば、物体領域の外枠の座標（又は、物体領域全体の座標）を位置情報とする場合と比較して、データ量を減らすことができる。
【００４５】
請求項２０に記載の発明は、動画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像を表示させる表示制御手段と、前記表示されたフレーム画像に含まれる物体領域を抽出するための手がかりとなる線分であって、前記物体領域上と前記物体領域以外の領域上に別々に引かれる線分の指定をユーザから受け付ける受付手段と、前記指定された手がかりとなる線分に基づいて、そのフレーム画像から物体領域を抽出する物体領域抽出手段と、前記手がかりとなる線分が指定されたフレーム画像以外の他のフレーム画像において、前記指定された手がかりとなる線分の移動を追跡する手がかり追跡手段と、を備え、前記物体領域抽出手段は、さらに、前記追跡された手がかりとなる線分に基づいて、そのフレーム画像から物体領域を抽出することを特徴とする。
【００４６】
請求項２１に記載の発明は、コンピュータにより行われる物体領域抽出方法であって、動画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像を表示させる工程と、前記表示されたフレーム画像に含まれる物体領域を抽出するための手がかりとなる線分であって、前記物体領域上と前記物体領域以外の領域上に別々に引かれる線分の指定をユーザから受け付ける工程と、前記指定された手がかりとなる線分に基づいて、そのフレーム画像から物体領域を抽出する物体領域抽出工程と、前記手がかりとなる線分が指定されたフレーム画像以外の他のフレーム画像において、前記指定された手がかりとなる線分の移動を追跡する工程と、を含み、前記物体領域抽出工程においては、さらに、前記追跡された手がかりとなる線分に基づいて、そのフレーム画像から物体領域を抽出することを特徴とする。
【発明の効果】
【００４７】
本発明によれば、手がかりとなる線分が指定されたフレーム画像以外の他のフレーム画像において物体領域を追跡するのではなく、手がかりとなる線分を追跡し、各フレーム画像において追跡された手がかりとなる線分に基づき物体領域を抽出するように構成したので、より高い精度での物体領域の抽出を行うことができると共に、あるフレーム画像で物体領域抽出に失敗したとしても、その物体領域抽出の失敗が次のフレーム画像での物体画像抽出には影響しないという効果を有する。さらに、抽出された物体領域自体を追跡する場合と比べて、失敗したフレーム画像内で手がかりとなる線分を追加、削除する修正作業をすれば良く、ユーザ（人手）による作業負担を低減させることができる。また、手がかりとなる線分を追跡するので、物体領域を追跡するときより小さいデータ量で追跡できるため、追跡処理を高速化することができる。
【発明を実施するための最良の形態】
【００４８】
以下、図面を参照して本発明の最良の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、動画像中の物体領域を抽出するための手がかりとなる手がかり領域（以下、「手がかり」と称する）であってユーザにより指定された手がかりに基づく物体領域の抽出、上記手がかりの追跡による物体領域の追跡、並びに抽出した物体領域に対するメタデータの付与等を行う画像編集装置に対して本発明を適用した場合の実施形態である。
［Ｉ．画像編集装置の構成および機能］
先ず、本実施形態に係る画像編集装置Ｓの構成および機能について、図１等を用いて説明する。
【００４９】
図１は、本実施形態に係る画像編集装置Ｓの概要構成例を示す図である。
【００５０】
図１に示すように、画像編集装置Ｓは、操作部１、表示部２、通信部３、ドライブ部４、記憶部５、入出力インターフェース部６、およびシステム制御部７等を備えており、システム制御部７と入出力インターフェース部６とは、システムバス８を介して接続されている。なお、画像編集装置Ｓとしてはパーソナルコンピュータを適用することができる。
【００５１】
操作部１は、例えば、キーボードおよびマウス等からなり、ユーザからの操作指示を受け付け、その指示内容を指示信号としてシステム制御部７に出力する。
【００５２】
表示部２は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ等からなり、文字や画像等の情報を表示する。
【００５３】
通信部３は、インターネットやイントラネット等のネットワークＮＷ（通信回線およびルーター等の中継機器等により構成される）に接続して例えば情報提供サーバとの通信状態を制御する。
【００５４】
ドライブ部４は、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等のディスクＤＫ（記録媒体）からデータ等を読み出す一方、当該ディスクＤＫ（記録媒体）に対してデータ等を記録する。
【００５５】
入出力インターフェース部６は、操作部１乃至記憶部５とシステム制御部７との間のインターフェース処理を行う。
【００５６】
記憶部５は、例えば、ハードディスクドライブ等からなり、オペレーティングシステム（Ｏ／Ｓ），各種プログラムおよびデータ等を記憶する。ここで、記憶部５に記憶されるプログラムには、動画像編集アプリケーションプログラム（本発明の物体領域抽出処理プログラムを有する）等が含まれる。また、記億部５には、例えばＭＰＥＧ（Moving Picture Expert Group）等の形式の動画像ファイルが記憶されている。
【００５７】
なお、動画像編集アプリケーションプログラムは、例えばＣＤ−ＲＯＭ等のディスクＤＫに記録されて提供されるか、或いはネットワークＮＷに接続された情報提供サーバからのダウンロードにより提供され、インストールされて利用される。
【００５８】
システム制御部７は、ＣＰＵ（Central Processing Unit）７ａ，ＲＯＭ（Read Only Memory）７ｂ，およびメインメモリと画像メモリとして使用されるＲＡＭ（Random Access Memory）７ｃ等を備えて構成されている。そして、システム制御部７は、上記動画像編集アプリケーションプログラムを実行することにより、本発明における表示制御手段、受付手段、物体領域抽出手段、手がかり領域追跡手段、一致度算出手段、失敗検出手段、情報提示手段、およびメタデータ付与手段等として機能し、画像編集装置Ｓが、（１）物体領域探索支援機能、（２）物体領域抽出機能、（３）手がかり追跡による物体領域追跡機能、（４）物体領域抽出失敗検出機能、および（５）メタデータ付与支援機能を有するようになっている。
【００５９】
以下、これらの各機能について、図２乃至図９を参照して具体的に説明する。
【００６０】
図２乃至図９は、動画像編集アプリケーションプログラムの実行過程において表示部２におけるディスプレイ上に表示される表示画面例を示す図である。
【００６１】
（１）物体領域探索支援機能は、動画像を複数のフレーム画像により構成されるシーン単位に分割し、当該動画像の各シーンの先頭フレーム画像を一覧表示し、ユーザによる物体領域表示区間の探索を支援する機能である。
【００６２】
物体領域探索支援機能では、システム制御部７により動画像ファイルが記憶部５から読み込まれ、画像メモリ上で展開された後、シーン分割処理、シーン一覧表示処理が順に実行される。図２（Ａ）の表示例は、シーン分割処理により分割された各シーンの先頭フレーム画像が、シーン一覧表示処理により一覧表示（図中、破線５１で囲まれるフレーム画像）された例を示している。図２（Ａ）の表示状態において、ユーザが、先頭フレーム画像の一つ（例えば、図２（Ａ）の先頭フレーム画像Ｆ４）を選択（例えば、マウスによりクリック）、つまり、当該先頭フレーム画像を含むシーンを選択すると、図２（Ｂ）に示すように、選択されたシーンに含まれる複数のフレーム画像が一覧表示（図中、破線５２で囲まれるフレーム画像）される。このとき、読み込む動画像のフレーム数によって、例えばフレーム画像Ｆ４からフレーム画像Ｆ５までのフレーム数も異なってくるので、図中、破線５２内には、フレーム画像Ｆ４からフレーム画像Ｆ５までの全てのフレーム画像ではなく、そのうちの一部のフレーム画像が所定のフレーム数ごとに表示される場合もある。
【００６３】
なお、図２（Ｂ）において、破線５２で囲まれるフレーム画像は、先頭フレーム画像Ｆ４と先頭フレーム画像Ｆ５との間に挟まれたフレーム画像である。また、表示画面上部の拡大されたフレーム画像（符号５０部）は、破線５１で囲まれるフレーム画像及び破線５２で囲まれるフレーム画像のうちからユーザにより選択されたフレーム画像である。また、ユーザが、新規作成ボタン５３ａおよび編集ボタン５３ｂを指定することにより、図３（Ａ）に示す表示画面に遷移される。
【００６４】
（２）物体領域抽出機能は、一覧表示の中からユーザにより選択されたフレーム画像上で、当該ユーザにより指定された手がかりに基づいて、そのフレーム画像から物体領域を抽出する機能である。
【００６５】
物体領域抽出機能では、ユーザが追跡を行う範囲を特定することから始められる。図３（Ａ）に示す表示画面は、ユーザが、抽出したい物体が表示されているフレーム画像の区間を特定するために利用される物体領域表示区間選択インターフェースを担っており、ユーザが開始フレーム画像指定ボタン５４ａと終了フレーム画像指定ボタン５４ｂを指定（例えば、マウスによりクリック）することで、物体領域表示区間（つまり、追跡区間）の開始および終了フレーム画像を選択することができる。すなわち、これにより、追跡を行う範囲を特定することができる。このとき、ユーザは、開始および終了フレーム画像を発見するために、シーン内の任意のフレーム画像を効率的に探索するためのフレーム探索スライドバー５５ａあるいはフレーム送り、フレーム戻しボタン５５ｂを使用することができる。こうして、追跡を行う範囲が特定された後、ユーザが、決定ボタン５４ｃを指定（例えば、マウスによりクリック）すると、図３（Ｂ）に示すように、領域指定ボタン５６が表示される。
【００６６】
そして、ユーザが、当該領域指定ボタン５６を指定（例えば、マウスによりクリック）すると、図４（Ａ）に示すように、当該ユーザにより選択された開始フレーム画像６１ａが表示された領域抽出画面６１が表示される。この領域抽出画面６１は、手がかり入力インターフェースを担っている。このような領域抽出画面６１における開始フレーム画像６１ａ上に、ユーザにより手がかりが指定（入力）されると、当該指定を受け付けたシステム制御部７により物体領域抽出処理が実行され、指定された手がかりに基づいて（例えば、位置情報を利用して）物体領域が自動的に抽出される。ユーザは、手がかりを最低２つ指定するだけでよく、１つが所望の物体領域上に（図４（Ｂ）の破線６１ｂ）、もう１つが背景領域に（上記物体領域以外の領域、図４（Ｂ）の一点鎖線６１ｃ）上にあればよい。図４（Ｂ）の表示例では、手がかりとして、直線状の線分を利用しているが、曲線状、円形状、又は矩形状の線分であっても良く、或いは、点であってもよい。また、物体領域及び背景領域を指定する線分は、任意の本数、任意の順番で指定することができる。
【００６７】
なお、手がかりを指定するには、例えばユーザがマウスを操作して、領域抽出画面６１におけるフレーム画像６１ａ上における所望の位置にポインタを移動させ、マウスの左ボタンを押したままドラッグすることで物体領域を指定する手がかり６１ｂを、マウスの右ボタンを押したままドラッグすることで背景領域を指定する手がかり６１ｃを、夫々引けばよい。また、ユーザは、例えば誤った線分を引いた場合、物体領域を指定する線分、背景領域を指定する線分にかかわらず、マウスの中ボタンを押したまま、削除したい線分をポインタでなぞることで、当該線分の削除を行うことができる。また、マウスの左右ボタンで物体領域及び背景領域を指定する代わりに、ユーザは、手がかり入力インターフェースに設けられるメニューより、物体（例えば図４（Ａ）の「foreground」）、背景（例えば図４（Ａ）の「background」）、削除（例えば図４（Ａ）の「delete」）を先に指定してから任意のマウスボタンを押したままドラッグすることでも指定が可能である。
【００６８】
また、図４（Ｂ）の表示例において、実線６１ｄで囲まれた領域が抽出された物体領域である。物体領域の抽出は、当該物体領域を指定する手がかり６１ｂと背景領域を指定する手がかり６１ｃが夫々一本引かれた時点で行われ、実線６１ｄに示されるように、抽出結果が表示される。その後、ユーザが、物体領域を指定する手がかり、あるいは背景領域を指定する手がかりを指定する度に、物体領域の再抽出が行われ、その抽出結果が表示されることになる。こうして、ユーザは最終的な抽出結果を確認した後、完了ボタン６１ｅを指定（例えば、マウスによりクリック）すると、上記抽出結果が、図５に示す表示画面上に反映されることになる。
【００６９】
ところで、手がかりを利用した物体領域抽出処理には、物体領域上に引いた手がかりと、背景領域上に引いた手がかりから、物体領域を抽出する技術である、例えばLazy Snappingのロジック等の公知技術を利用することができる。Lazy Snappingは、物体領域の背景からの分離と、分離後の境界線の画素単位での修正の２つのステップで構成されるが、本発明において、Lazy Snappingを利用する場合には、物体領域の背景からの分離ステップのみ採用される。Lazy Snappingの特徴は、領域内に数本線を引くだけで物体領域抽出を実現している点にあり、また、線を１本追加する度に、逐次的に物体領域の再抽出が行われるため、ユーザは抽出結果を見ながら線の追加、削除を行うことができ、インタラクティブな物体領域抽出が可能となる。
【００７０】
また、Lazy Snappingなどのグラフカットに基づく物体領域抽出手法は、画像をグラフG=(V,E)に置換し、物体領域抽出の問題を、各頂点に対するラベリング問題へと帰着させ解くという特徴がある。ここで、Vは全ての頂点集合であり、Eは全ての辺集合である。画像をグラフに置換するとき、各画素を頂点に、各画素の周囲４方向あるいは８方向の隣接関係を辺に対応させる。ラベリング問題とは、グラフGの各頂点i∈Vに対してラベルxi∈{物体領域(＝１),背景(＝０)}を割り当てる問題である。この問題の最適解Ｘ＝{xi}は、次式で定義されるエネルギー関数Ｃ(Ｘ)を最小化する。
【００７１】
【数１】
0004998787.tif 000002
ここで、Ｃ１(xi)は頂点iがxiである尤度、Ｃ２(xi, xj)は頂点i, jがそれぞれxi, xjであるときのコストを表す。エネルギー最小化の方法にはグラフカットアルゴリズムが使用される。なお、Lazy Snappingで使用されるエネルギー関数の定義については非特許文献１を参照されたい。
【００７２】
このようなエネルギー最小化による物体領域抽出の原理は、Lazy Snappingだけでなく、非特許文献２や非特許文献３の手法でも使用されている。ユーザが指定した手がかりをもとにエネルギー計算によって物体領域を抽出するものであれば、本発明で適用可能な物体領域抽出手法はLazy Snappingに限定されるものではなく、その他の手法を適用しても良い。
【００７３】
（３）手がかり追跡による物体領域追跡機能は、ユーザにより手がかりが指定されたフレーム画像以外の他のフレーム画像において、当該指定された手がかりの移動を追跡する機能（つまり、指定された手がかりが、他のフレーム画像内のどの位置に移動するかを追跡する機能）である。
【００７４】
手がかり追跡による物体領域追跡機能では、システム制御部７により手がかり追跡処理が実行されて手がかりの移動位置が追跡され、各フレーム画像においてその手がかりをもとに物体領域抽出処理が行われることで、物体領域表示区間内の全フレーム画像での物体領域抽出を自動化するようになっている。例えば、ユーザがマウスを操作して、図５に示す表示画面上で追跡方向（再生方向又は逆（巻き戻し）方向）を追跡方向指定部５８にて指定し、追跡開始ボタン５７を指定すると、例えば上記物体領域表示区間における開始フレーム画像から、これに連続する他の複数のフレーム画像における手がかりの移動の連続（所定（例えば一つ）数のフレーム画像を飛び越えた場合（つまり、手がかりの移動が追跡されたフレーム画像間に手がかりの移動を追跡しないフレーム画像を含んでもよい））的な追跡が開始され、各フレーム画像において追跡された手がかりに基づいて各フレーム画像から物体領域が抽出される。なお、当該手がかりの追跡は、物体領域表示区間における開始フレーム画像と終了フレーム画像の間に位置する中間のフレーム画像からも開始することができる。
【００７５】
このように、手がかりの移動を追跡し、当該追跡された手がかりに基づいて各フレーム画像から物体領域を抽出することで、追跡に失敗した場合、つまり、あるフレーム画像で物体領域抽出に失敗したとしても、その物体領域抽出の失敗が次のフレーム画像での物体画像抽出には影響しないため、抽出された物体領域自体を追跡する場合と比べて、失敗したフレーム画像内で手がかりを追加、削除する修正作業をすれば良く、当該修正作業を迅速かつ効率化することができる。
【００７６】
ところで、手がかり追跡処理には、画面上の各点の速度場を表すオプティカルフローのロジック等の公知技術を利用することができる。なお、オプティカルフローの計算手法の詳細については非特許文献４及び５を参照されたい。
【００７７】
（４）物体領域抽出失敗検出機能は、追跡に失敗（追跡ミス）した（つまり、追跡された手がかり領域に基づく物体領域の抽出が失敗した）フレーム画像を検出し、検出したフレーム画像等を示す情報をユーザに提示（例えば図６に示すように表示、あるいは音声出力）する機能である。
【００７８】
物体領域抽出失敗検出機能では、システム制御部７により失敗検出処理が実行されて、基準となるフレーム画像（例えば、手がかりが指定された開始フレーム画像）において抽出された物体領域と、当該フレーム画像から連続するフレーム画像（つまり、当該フレーム画像以外の他のフレーム画像）において抽出（追跡された手がかりに基づく抽出）された物体領域と、が比較されてそれらの一致度が算出されることにより物体領域の抽出が失敗したフレーム画像が検出される。
【００７９】
すなわち、当該一致度は、基準となるフレーム画像を除く夫々のフレーム画像について計算されることになり、その上で、算出された一致度が、例えばユーザにより予め設定された失敗検出閾値以下であるフレーム画像が物体領域の抽出が失敗した失敗フレーム画像として検出される。なお、当該比較には、例えば、物体領域のカラーヒストグラム、物体領域の面積、物体領域の形状、物体領域のテクスチャ、及び物体領域の重心位置の少なくとも何れか一つが用いられるが、その他の比較方法を適用しても構わない。
【００８０】
更に、物体領域抽出失敗検出機能では、システム制御部７により追跡結果表示処理が実行されて、算出された一致度が最も小さい（低い）方から選定した所定数（例えば、一致度が低いものから順に１０個）のフレーム画像を表示させるようになっている。例えば、失敗フレーム画像が所定数より少なければ失敗フレーム画像でないフレーム画像も表示されることになる（もちろん、失敗フレーム画像のみを表示させても良い）。また、物体領域抽出失敗検出機能では、上記所定数のフレーム画像を表示させると共に、上記一致度がユーザにより視覚的に把握可能な棒グラフ（表示物の一例）を当該所定数のフレーム画像の夫々に対応させて表示させるようになっている。
【００８１】
図６の表示例は、一致度が最も小さい方から選定された１０個のフレーム画像に対応する棒グラフ（グラフ表示領域５９内に表示）が当該フレーム画像に対応させて表示された例を示している。かかる棒グラフとフレーム画像との対応付けは、フレーム画像と棒グラフとを結ぶ直線６０によりなされており、これにより、ユーザはどの位置にあるフレーム画像の一致度が高いかを一目で把握することができる。更に、図６の表示例では、一致度が失敗検出閾値以下であるフレーム画像に対応する棒グラフ５９ａと、一致度が失敗検出閾値より大きいフレーム画像に対応する棒グラフ５９ｂと、は互いに異なる表示態様（例えば色や模様等が異なる）で表示されている。
【００８２】
例えば、棒グラフ５９ａは例えば目立つ色(例えば赤色)とし、棒グラフ５９ｂは目立たない色（例えば緑色）とするように表示させる。これにより、ユーザは一目で失敗フレーム画像を把握することができる。
【００８３】
なお、上記表示例では、一致度が失敗検出閾値以下であるフレーム画像に対応する棒グラフ５９ａ（例えば赤色）と、一致度が失敗検出閾値より大きいフレーム画像に対応する棒グラフ５９ｂ（例えば緑色）と、は互いに異なる表示態様で表示させるように構成したが、一致度が失敗検出閾値より大きいフレーム画像であり、且つ該一致度が失敗フレーム画像に近いフレーム画像(例えば、一致度が「失敗検出閾値＋α」以下のフレーム画像)に対応する棒グラフも、一致度が失敗検出閾値以下であるフレーム画像に対応する棒グラフと同じ表示態様（例えば赤色）で表示しても良い。これにより、ユーザは一目で失敗フレーム画像を把握することができると共に、失敗フレーム画像に近いフレーム画像についても一目で把握することができる。
【００８４】
こうして一致度を示す棒グラフと共に表示されたフレーム画像は、ユーザにより選択可能になっており、選択されたフレーム画像は、表示画面上部に拡大されて表示される（符号５０部）。このような表示状態において、ユーザが例えば失敗フレーム画像を選択し、領域指定ボタン５６を指定すると、図７（Ａ）に示すように、当該ユーザにより選択された失敗フレーム画像７１ａが表示された領域抽出画面７１が表示される。図７（Ａ）の表示例では、抽出された物体領域７１ｂがユーザの意図する領域ではないので、当該ユーザは失敗フレーム画像７１ａ上に手がかりを再指定（手がかりの追加、削除）すると、当該再指定を受け付けたシステム制御部７により物体領域抽出処理が実行され、再指定された手がかりに基づいて物体領域が抽出され、図７（Ｂ）の実線７１ｃに示すように抽出結果として表示されることになる。このとき、当該フレーム画像上に追加された手がかりは、そこから再追跡することで、これに連続するフレーム画像に反映することができる。
【００８５】
なお、システム制御部７により追跡結果表示処理において表示（例えば、図６に示すグラフ表示領域５９内に表示）されるフレーム画像は、算出された一致度が失敗検出閾値よりも大きい所定の閾値以下であるフレーム画像としても良い。この場合、表示されるフレーム画像の数は、最大表示可能フレーム画像数以内となる一方、上記所定の閾値以下であるフレーム画像が無ければ、表示されるフレーム画像も無いということになる。また、この場合も、当該所定の閾値以下であるフレーム画像に対応する棒グラフが当該フレーム画像に対応付けられて表示される。従って、一致度が所定の閾値より大きい（かなり一致している）フレーム画像に対応する棒グラフ（例えば緑色）は表示させずに済む。
【００８６】
また、上記閾値とは無関係に、最大表示可能フレーム画像数以内の全てのフレーム画像とこれに対応する棒グラフ（一致度の大きさに比例したグラフ）を表示させるようにしても良い。
【００８７】
そして、ユーザは最終的な抽出結果を確認した後、完了ボタン７１ｄを指定すると、上記抽出結果が反映されつつ図６に示す表示状態に戻ることになる。なお、このような再指定による物体領域の抽出は、失敗フレーム画像であるかどうかにかかわらず、各フレーム画像毎に行うことが可能である。
【００８８】
その後、ユーザがマウスを操作して、図６に示す表示画面上で追跡方向（再生方向又は逆（巻き戻し）方向）を追跡方向指定部５８にて指定し、追跡開始ボタン５７を指定すると、上記再指定により物体領域が抽出されたフレーム画像から連続する他の複数のフレーム画像における手がかりの移動の連続的な再追跡が開始され、各フレーム画像において再追跡された手がかりに基づいて各フレーム画像から物体領域が抽出されることになる。
【００８９】
このように追跡に失敗した失敗フレーム画像を含む一致度が小さい（低い）フレーム画像を表示させ修正可能とすることで、物体領域の抽出をより正確に行うことができると共に、ユーザの修正負荷を軽減することができる。
【００９０】
（５）メタデータ付与支援機能は、抽出された物体領域に対して付与すべき、当該物体領域に表される物体に関する情報を含むメタデータの入力を支援するための機能である。
【００９１】
メタデータ付与支援機能では、例えば、図６に示す表示画面上で、ユーザが、テキスト編集ボタン６０ａを指定すると、図８（Ａ）に示すように、テキスト情報入力画面８１が表示される。このテキスト情報入力画面８１は、メタデータ入力インターフェースを担っている。このようなテキスト情報入力画面８１において、ユーザは例えばキーボードにより、図８（Ｂ）に示すように、タグ名データとして、例えば物体領域を識別するためのテキストデータ（例えば、「ジャケット」）をタグ名入力欄８１ａに入力し、タグ内容データとして、任意のテキストデータ（例えば、「ブランド名」、「価格」、及びジャケットを購入することができる「ショッピングサイトのＵＲＬ」）をタグ内容入力欄８１ｂに入力して、完了ボタン８１ｃを指定すると、システム制御部７によりメタデータ付与処理が実行されて、上記入力されたタグ名データ及びタグ内容データとがメタデータとして当該物体領域に対して付与される。当該付与は、例えば、物体領域のフレーム画像上における位置を示す位置情報である物体領域位置データ（例えば、当該フレーム画像の番号と、当該フレーム画像上における物体領域の座標とが含まれる）に対して上記メタデータが関連付けられることよりなされる。
【００９２】
ここで、上記物体領域位置データは、より少ないデータ量で表すために、物体領域の外枠（例えば、図７（Ｂ）に示す実線７１ｃ）の座標とするのではなく、例えば抽出された物体領域を囲む円や外接円の中心の座標と半径により定義されることが望ましい。例えば、図６に示す表示画面上で、ユーザが、結果表示ボタン６０ｂを指定すると、図９（Ａ）に示すように、フレーム画像５０中に物体領域を囲む円５０ａが表示されるが、当該円５０ａの中心の座標と半径が物体領域位置データとなる。これにより、物体領域の外枠の座標（又は、物体領域全体の座標）を物体領域位置データとする場合と比較して、データ量を減らすことができる。なお、物体領域位置データの表現として、抽出された物体領域を囲む円や外接円の他、例えば、当該抽出された物体領域上又はその近傍に描かれる線分（直線、曲線、矩形等）上の少なくとも一点（全点でもよい）の座標としても、より少ないデータ量で表すことができる。
【００９３】
また、図９（Ｂ）の表示例は、メタデータ付与後に表示される例であるが、メタデータ表示部５０ｂには、上記付与されたメタデータが表示される。なお、図９（Ｂ）に示す保存ボタン６０ｃがユーザにより指定されると、上記メタデータは、物体領域位置データと共に例えばＸＭＬファイルに格納され、当該ＸＭＬファイルは動画像ファイルのあるディレクトリに保存されることになる。
【００９４】
こうして、保存されたＸＭＬファイルは動画像ファイルに関連付けられて、例えばインターネット上の所定のサイトを構成するＷｅｂサーバに登録される。これにより、Ｗｅｂサーバはクライアント（Ｗｅｂブラウザ）からのリクエストに応じて動画像のデータ及びメタデータをクライアントに提供することで、当該クライアントでは動画像を表示し当該動画像中の物体領域がユーザにより例えばマウスで指定されると、当該物体領域に対応するメタデータが表示されることになる。
［II．画像編集装置Ｓの動作］
次に、本実施形態に係る画像編集装置Ｓの動作について、図１０及び図１１等を用いて説明する。
【００９５】
図１０は、本実施形態に係る画像編集装置Ｓのシステム制御部７における処理を示すフローチャートであり、図１１は、図１０に示すメタデータ付与処理の詳細を示すフローチャートである。なお、図１０及び図１１に示す処理は、画像編集装置Ｓの動作の流れを簡略化して示す一例であり、当該処理に限定されるものではない。
【００９６】
図１０に示す処理は、上記動画像編集アプリケーションプログラムの起動後、ユーザにより所望の動画像ファイルが指定された場合に開始される。
【００９７】
図１０において、先ず、システム制御部７は、ユーザにより指定された動画像ファイルを記憶部５から読み込み（ステップＳ１）、画像メモリ上に展開する。
【００９８】
次いで、システム制御部７は、シーン分割処理を行い、読み込んだ動画像をシーン毎に分割する（ステップＳ２）。
【００９９】
次いで、システム制御部７は、シーン一覧表示処理を行い、分割された各シーンの先頭フレーム画像を、例えば図２（Ａ）に示すように一覧表示する（ステップＳ３）。
【０１００】
次いで、システム制御部７は、メタデータ入力受付準備処理を行う（ステップＳ４）。このメタデータ入力受付準備処理では、例えば図２（Ａ）または（Ｂ）示す表示画面上に表示された各種ボタンの選択に応じた処理が実行される。
【０１０１】
次いで、システム制御部７は、物体領域表示区間の開始フレーム画像および終了フレーム画像の指定（例えば図３（Ａ）に示す表示画面上に表示された開始フレーム画像指定ボタン５４ａが指定され、さらに終了フレーム画像指定ボタン５４ｂが指定されることによる）を受け付ける（ステップＳ５）。
【０１０２】
次いで、システム制御部７は、上記指定された開始フレーム画像上における物体領域を抽出するための手がかりの指定（例えば図４（Ｂ）に示す領域抽出画面６１上に表示されたフレーム画像上で線分が引かれることによる）を受け付ける（ステップＳ６）。
【０１０３】
次いで、システム制御部７は、物体領域抽出処理を行い、上記指定された手がかりに基づいて、上述したように、物体領域を抽出する（ステップＳ７）。
【０１０４】
次いで、システム制御部７は、物体領域の抽出結果（例えば、図４（Ｂ）に示す領域抽出画面６１上に表示された実線６１ｄ）を表示する（ステップＳ８）。
【０１０５】
次いで、システム制御部７は、ユーザから追跡開始指示があったか否かを判別し（ステップＳ９）、追跡開始指示がない場合には（ステップＳ９：ＮＯ）、ステップＳ６に戻り、追跡開始指示があった場合（例えば、例えば図４（Ｂ）に示す領域抽出画面６１上に表示された完了ボタン６１ｅが指定され、その後、図５に示す表示画面上に表示された追跡開始ボタン５７が指定されることによる）には（ステップＳ９：ＹＥＳ）、ステップＳ１０に進む。
【０１０６】
ステップＳ１０では、システム制御部７は、上記手がかりの追跡対象のフレーム画像を一つ特定する。例えば、１回目のステップＳ１０の処理では、ステップＳ６〜ステップＳ８の処理で物体領域が抽出されたフレーム画像の次のフレーム画像が特定される。
【０１０７】
次いで、システム制御部７は、手がかり追跡処理を行い、上記特定されたフレーム画像において、上記開始フレーム画像で指定された手がかりの移動を追跡する（ステップＳ１１）。
【０１０８】
次いで、システム制御部７は、物体領域抽出処理を行い、上記追跡された手がかりに基づいて、上述したように、物体領域を抽出する（ステップＳ１２）。
【０１０９】
次いで、システム制御部７は、上記ステップＳ１２で物体領域が抽出されたフレーム画像が終了フレーム画像であるか否かを判別し（ステップＳ１３）、終了フレーム画像でない場合には（ステップＳ１３：ＮＯ）、ステップＳ１０に戻り、次のフレーム画像を特定し上記と同様の処理を行い、終了フレーム画像でない場合には（ステップＳ１３：ＹＥＳ）、ステップＳ１４に進む。こうして、開始フレーム画像から終了フレーム画像に向かって順に特定され、夫々のフレーム画像において物体領域が抽出されることになる。
【０１１０】
ステップＳ１４では、システム制御部７は、失敗検出処理を行い、上述したように、基準となるフレーム画像において抽出された物体領域と、手がかりが追跡された各フレーム画像において抽出された物体領域と、を比較して一致度を算出し、算出した一致度が失敗検出閾値以下であるフレーム画像を失敗フレーム画像として検出する。
【０１１１】
次いで、システム制御部７は、追跡結果表示処理を行い、例えば図６に示すように、算出された一致度が最も小さい方から選定した所定数（例えば、１０個）のフレーム画像を一覧表示させると共に各フレーム画像上に物体領域の抽出結果（物体領域の外枠）を表示し、更に、各フレーム画像の一致度を示す棒グラフを各フレーム画像に対応させて表示させる（ステップＳ１５）。
【０１１２】
次いで、システム制御部７は、ユーザから手がかりの修正（再指定）指示があったか否かを判別し（ステップＳ１６）、修正指示があった場合（ユーザが修正対象のフレーム画像を選択し、領域指定ボタン５６を指定することによる）には（ステップＳ１６：ＹＥＳ）、ステップＳ６に移行し、上記と同様の処理を行う。なお、この場合において、ステップＳ１０〜Ｓ１３では、当該手がかりが修正され物体領域が抽出されたフレーム画像の次のフレーム画像から終了フレーム画像まで手がかりの再追跡が行われることになるが、このとき、ユーザは、ステップＳ５で指定した終了フレーム画像とは異なる終了フレーム画像（例えば、追跡区間を狭めるため）を新たに指定することも可能である。
【０１１３】
一方、上記修正指示がない場合には（ステップＳ１６：ＮＯ）、システム制御部７は、ユーザからメタデータ付与指示があったか否かを判別し（ステップＳ１７）、当該メタデータ付与指示があった場合（例えば、図６に示す表示画面上に表示されたテキスト編集ボタン６０ａが指定されることによる）には（ステップＳ１７：ＹＥＳ）、ステップＳ１８に進み、当該メタデータ付与指示がない場合には（ステップＳ１７：ＮＯ）、ステップＳ１６に戻る。
【０１１４】
ステップＳ１８では、システム制御部７は、メタデータ付与処理を行う。このメタデータ付与処理においては、システム制御部７は、図１１に示すように、メタデータ入力インターフェース（例えば、図８（Ａ）に示すテキスト情報入力画面８１）を表示し（ステップＳ１８１）、タグ名データ及びタグ内容データをメタデータとして入力受け付け（ステップＳ１８２）、当該メタデータをＲＡＭ７ｃに一時的に記憶（ステップＳ１８３）すると共に画面表示（ステップＳ１８３）し、図１０の処理に戻る。なお、メタデータ付与処理は、上記メタデータ入力受付準備処理以降、任意のタイミングで実行可能である。
【０１１５】
図１０に示すステップＳ１９では、図９（Ｂ）に示す保存ボタン６０ｃがユーザにより指定されると、システム制御部７は、メタデータの書き出し処理を実行し、上記一時的に記憶されたメタデータと、上述した物体領域位置データとを対応付け、これらのデータ含むＸＭＬファイルを動画像ファイルのあるディレクトリに保存（ユーザにより指定された任意のディレクトリに保存されても良い）する。
【０１１６】
なお、メタデータと物体領域位置データは、ＸＭＬファイル形式で格納されることに限定されるものではなく、その他のファイル形式で格納されるものであっても良い。また、メタデータの書き出し処理は、上記メタデータ入力受付準備処理以降、任意のタイミングで実行可能である。
【０１１７】
次いで、ステップＳ２０では、システム制御部７は、ユーザから当該動画像において別の物体領域の抽出指示があったか否かを判別し、当該抽出指示があった場合（例えば、図６に示す表示画面上に表示された保存ボタン６０ｃが指定された後に表示される図２（Ｂ）に示す表示画面上に表示された新規作成ボタン５３ａが指定されることによる）には（ステップＳ２０：ＹＥＳ）、ステップＳ４に移行し上記と同様の処理を行い、当該抽出指示がない場合には（ステップＳ２０：ＮＯ）、当該処理を終了する。
［III．評価実験例］
次に、物体領域追跡の性能評価として、上述した本発明による方法と、従来方法とを比較した評価実験例について、図１２を用いて説明する。なお、従来方法には、物体領域内の全ての画素をオプティカルフローにより追跡（つまり、物体領域自体を追跡）する基本的な手法を用いる。また、この性能評価では、動画像中の各フレーム画像で追跡（本発明では手がかり追跡による物体領域追跡）された物体領域（本発明による方法と従来方法で同じ物体領域）の正確さ（言い換えれば、精度）をprecision及びrecallにより評価する。なお、precision SPとrecall SRは次式で例えば定義される。
【０１１８】
【数２】
0004998787.tif 000003
【０１１９】
【数３】
0004998787.tif 000004
ここで，N(R)は領域Rの画素数，Rhは真の物体領域，Rcは抽出された物体領域，Rh∧RcはRh とRcの共通領域を表す。precision SPは、追跡された物体領域内で真の物体領域が占める割合を表し、recall SRは、真の物体領域内で追跡できた物体領域の割合を表す。真の物体領域とは各フレーム画像で予め人手により抽出しておいた物体領域である。
【０１２０】
図１２（Ａ）は、動画像中のあるフレーム画像を示す図であり、図１２（Ｂ）は、本発明による方法の評価実験結果を表すグラフであり、図１２（Ｃ）は、従来方法の評価実験結果を表すグラフである。なお、図１２（Ａ）のフレーム画像において、符号１０１部の太線で表された物体領域（この例では、帽子）が追跡（抽出）対象である。また、図１２（Ｂ），（Ｃ）に示すグラフにおいて、横軸がフレーム数（フレーム画像の数であり、この例では、５０枚とした）、縦軸がprecision（図中、実線）とrecall（図中、点線）を表す。
【０１２１】
従来方法では、図１２（Ｃ）に示すように、フレーム数の増加に伴いprecision及びrecallが次第に低下することが確認された。従来方法において、recallが次第に且つ大きく低下しているのは、物体領域内の全画素を追跡する際、異なる複数の画素を同一の場所に追跡してしまうことにより、物体領域を示す画素数が減少してしまうことが原因であると考えられる。
【０１２２】
一方、本発明による方法では、図１２（Ｂ）に示すように、precisionが次第に低下するということが見られないが、４７枚目のフレーム画像においてのみprecisionが大きく低下（追跡に失敗）していることが確認された。precisionが次第に低下しないのは、手がかりを追跡してから、それをもとに物体領域を抽出するという２段階の処理を行っているため、手がかりの追跡の誤差が直接的にはprecisionに影響しないということが原因として考えられる。また、４７枚目のフレーム画像においてprecisionが大きく低下している原因は、物体領域を指定した手がかりが境界付近にあることとその境界のエッジ強度が小さいことにあると考えられる。同様の手がかりでありながら成功と失敗に分かれるのは、フレーム画像間で明度や彩度などに多少の違いが生じ、それによってエッジ強度が変化することが原因と考えられる。
【０１２３】
以上の評価実験より、本発明による方法は、追跡の誤差が直接物体領域抽出の誤差に影響しないため、従来方法による物体領域自体を追跡する手法と比べ、精度の良い追跡が可能となると言える。また、追跡に失敗した場合には、従来方法に比べて急激なprecision低下が生じることも確認できたが、追跡に失敗した場合に極端なprecisionの低下が生じることは、物体領域の面積に急激な変化があったことを示している。従って、上述したように、物体領域の面積変化を測定（一致度を算出）することで、コンピュータ（システム制御部７）が追跡に失敗したフレーム画像を自動検知でき、ユーザに対して修正すべきフレーム画像を容易に提示することも可能になり、より修正作業の負担の少ないシステムが実現可能である。
【０１２４】
また、本発明による方法では、局所的に追跡ミスが発生するのは、最初のフレーム画像で与えた手がかりとしての例えば線の情報が少ないことに起因すると考えられる。そこで、検証として最初のフレーム画像において、線を数本追加し、再度追跡を行った結果、最初のフレーム画像では物体領域の抽出結果は変わらないが、線の追加をした場合ではprecisionとrecallの局所的な低下が見られず、精度が向上した追跡結果であることが確認された。数本の線の追加により追跡結果を改善できることは、コンピュータによる追跡結果の自動修正を可能とする。上述のように追跡に失敗したフレーム画像を自動検知することができれば、修正できたかどうかをコンピュータで判断することができるため、例えばユーザにより指定された線から予め設定しておいた距離内に線の追加などを自動的に行うことで自動修正が可能となる。
【０１２５】
また、上記自動修正の他の例として、誤っている手がかりを修正して変更するように構成しても良い。
【０１２６】
図１３は、誤っている手がかりが自動修正される例を示す図である。例えば、ｎフレーム画像での手がかりを追跡した結果であるｎ＋１フレーム画像での手がかりをもとに、ｎ＋１フレーム画像での物体領域の抽出で失敗したことが検出されたとき、手がかり自動修正が実行され、ｎ＋１フレーム画像での手がかりにおける曲率、座標分布などにより、特異である点、領域などが判別され、予め指定した閾値に収まるように、特異点あるいは特異領域の削除、追加、修正が行われる。例えば、図１３（右側）に示すように、手がかりが複数の直線からなるポリラインである場合は、システム制御部７は、曲率などにより特異点を判断し、その点を削除し、削除した点に接続している点を直線で結び、その中間に点を置くことで修正を行う。
【０１２７】
かかる自動修正後は、図示の如く、ｎ＋１フレーム画像から後のフレーム画像において手がかり追跡処理が継続されても良い。
【０１２８】
なお、上記実験結果は、あくまでも一例であり、その結果は、物体領域の大きさや、物体領域と背景領域との境界のエッジ強度等により変わりうるものであるが、上記実験結果は、本発明による方法と従来方法の結果の違いがより顕著に現れた例を示したものである。
［IV．効果］
以上説明したように、上記実施形態によれば、手がかりが指定されたフレーム画像以外の他のフレーム画像において物体領域を追跡するのではなく、手がかりを追跡し、各フレーム画像において追跡された手がかりに基づき物体領域を抽出するように構成したので、上記評価実験からも分かるように追跡の誤差が直接物体領域抽出の誤差に影響せず、従来方法による物体領域自体を追跡する手法と比べ、より高い精度での物体領域の抽出を行うことができると共に、追跡失敗が発生することを前提とし、あるフレーム画像で物体領域抽出に失敗した（追跡に失敗した）としても、その失敗が次のフレーム画像での物体画像抽出には影響しないという効果を有する。さらに、抽出された物体領域自体を追跡する場合と比べて、失敗したフレーム画像内で手がかりを追加、削除する修正作業をすれば良く、ユーザ（人手）による作業負担を低減させることができる（追跡失敗のユーザによる修正作業が容易となる）。
【０１２９】
また、手がかりを追跡するので、物体領域を追跡するときより小さいデータ量で追跡できるため、追跡処理を高速化することができる。
【０１３０】
また、追跡に失敗した場合には、従来方法に比べて急激な精度低下が生じうるので、例えば、物体領域の面積を測定して一致度を算出すれば、容易に失敗フレーム画像を検出することができ、ユーザに対して修正すべきフレーム画像を容易に提示することも可能になり、ユーザによる手がかりを追加、削除する修正作業を効率化、迅速化することができると共に、修正作業の負担をより低減させることができる。
【０１３１】
また、追跡に失敗したフレーム画像において手がかりを追加、削除する修正作業を行うだけで再指定が実現され、物体領域の再抽出が行われるので、少ない修正量で物体領域の抽出失敗を修正することができ、ユーザによる作業負担をより低減させることができる。
【０１３２】
また、図６に示すように、上述した一致度が失敗検出閾値以下である失敗フレーム画像を含む一致度が小さいフレーム画像と共に、夫々のフレーム画像の一致度を表す棒グラフを夫々のフレーム画像に対応付させて表示するようにしたので、ユーザはどの位置にあるフレーム画像の一致度が低いかを一目で把握することができ、ユーザによる修正作業を効率化、迅速化することができる。
【０１３３】
更に、一致度が失敗検出閾値以下である失敗フレーム画像に対応する棒グラフと、一致度が失敗検出閾値より大きいフレーム画像に対応する棒グラフと、を互いに異なる表示態様（例えば色や模様等が異なる）で表示するようにしたので、ユーザは一目で失敗フレーム画像を把握することができる。
【０１３４】
また、動画像中のシーン全体に対してメタデータを付与するのではなく、シーンの中に含まれる物体領域に直接メタデータを付与することができ、シーンに複数の物体領域が存在する場合でも、複数の物体領域それぞれに対応するメタデータを直接付与することができる。
【０１３５】
更に、メタデータに付加される物体領域位置データとして、物体領域の外枠の座標とするのではなく、例えば抽出された物体領域を囲む円や外接円の中心の座標と半径により定義するように構成すれば、保存されるデータの量を減らすことができる。
【図面の簡単な説明】
【０１３６】
【図１】本実施形態に係る画像編集装置Ｓの概要構成例を示す図である。
【図２】動画像編集アプリケーションプログラムの実行過程において表示部２におけるディスプレイ上に表示される表示画面例を示す図である。
【図３】動画像編集アプリケーションプログラムの実行過程において表示部２におけるディスプレイ上に表示される表示画面例を示す図である。
【図４】動画像編集アプリケーションプログラムの実行過程において表示部２におけるディスプレイ上に表示される表示画面例を示す図である。
【図５】動画像編集アプリケーションプログラムの実行過程において表示部２におけるディスプレイ上に表示される表示画面例を示す図である。
【図６】動画像編集アプリケーションプログラムの実行過程において表示部２におけるディスプレイ上に表示される表示画面例を示す図である。
【図７】動画像編集アプリケーションプログラムの実行過程において表示部２におけるディスプレイ上に表示される表示画面例を示す図である。
【図８】動画像編集アプリケーションプログラムの実行過程において表示部２におけるディスプレイ上に表示される表示画面例を示す図である。
【図９】動画像編集アプリケーションプログラムの実行過程において表示部２におけるディスプレイ上に表示される表示画面例を示す図である。
【図１０】本実施形態に係る画像編集装置Ｓのシステム制御部７における処理を示すフローチャートである。
【図１１】図１０に示すメタデータ付与処理の詳細を示すフローチャートである。
【図１２】（Ａ）は、動画像中のあるフレーム画像を示す図であり、（Ｂ）は、本発明による方法の評価実験結果を表すグラフであり、（Ｃ）は、従来方法の評価実験結果を表すグラフである。
【図１３】誤っている手がかりが自動修正される例を示す図である。
【符号の説明】
【０１３７】
１  操作部
２  表示部
３  通信部
４  ドライブ部
５  記憶部
６  入出力インターフェース部
７  システム制御部
７ａ  ＣＰＵ
７ｂ  ＲＯＭ
７ｃ  ＲＡＭ
８  システムバス
Ｓ  画像編集装置
【図１】
0004998787.tif 000005
【図１０】
0004998787.tif 000006
【図１１】
0004998787.tif 000007
【図１２】
0004998787.tif 000008
【図１３】
0004998787.tif 000009
【図２】
0004998787.tif 000010
【図３】
0004998787.tif 000011
【図４】
0004998787.tif 000012
【図５】
0004998787.tif 000013
【図６】
0004998787.tif 000014
【図７】
0004998787.tif 000015
【図８】
0004998787.tif 000016
【図９】
0004998787.tif 000017