(57)【要約】【課題】  ユーザの負担を軽減しつつ、画像中の精度良くオブジェクト領域を抽出するオブジェクト抽出装置及び方法並びにプログラムを提供する。【解決手段】  操作に応じて画像中に閉曲線からなるオブジェクト指定線を設定するオブジェクト指定線設定手段と、オブジェクト指定線の内部領域を第１領域として設定する第１領域設定手段と、第１領域を内部に含む拡大領域から第１領域を差し引いた領域を第２領域として設定する第２領域設定手段と、画像の第１領域及び第２領域における支配的パラメータを抽出する支配的パラメータ抽出手段と、支配的パラメータに基づいてオブジェクト特徴量を抽出する特徴量抽出手段と、オブジェクト特徴量に基づいて画像中のオブジェクト領域を抽出する領域抽出手段と、を備える。【選択図】  図１
2010224592.tif 000002
【特許請求の範囲】
【請求項１】
画像中のオブジェクト領域を抽出するオブジェクト抽出装置であって、
操作に応じて前記画像中に閉曲線からなるオブジェクト指定線を設定するオブジェクト指定線設定手段と、
前記オブジェクト指定線の内部領域を第１領域として設定する第１領域設定手段と、
前記第１領域を内部に含む拡大領域から前記第１領域を差し引いた領域を第２領域として設定する第２領域設定手段と、
前記画像の前記第１領域及び前記第２領域における支配的パラメータを抽出する支配的パラメータ抽出手段と、
前記支配的パラメータに基づいてオブジェクト特徴量を抽出する特徴量抽出手段と、
前記オブジェクト特徴量に基づいて前記画像中の前記オブジェクト領域を抽出する領域抽出手段と、を備えることを特徴とするオブジェクト抽出装置。
【請求項２】
前記第１領域の面積と前記第２領域の面積とはほぼ等しいことを特徴とする請求項１記載のオブジェクト抽出装置。
【請求項３】
前記第２領域は前記画像の前記第１領域の近傍の部分であることを特徴とする請求項１記載のオブジェクト抽出装置。
【請求項４】
前記支配的パラメータは、前記画像の色、輝度及びテクスチャのうちの少なくとも１であることを特徴とする請求項１記載のオブジェクト抽出装置。
【請求項５】
前記特徴量抽出手段は、前記第１領域における前記支配的パラメータを前記オブジェクト特徴量とすることを特徴とする請求項１記載のオブジェクト抽出装置。
【請求項６】
前記特徴量抽出手段は、前記第１領域及び第２領域における前記支配的パラメータに基づいてサポートベクタマシンを含む機械による学習結果によって前記オブジェクト特徴量を抽出することを特徴とする請求項１記載のオブジェクト抽出装置。
【請求項７】
前記領域抽出手段は、抽出した前記オブジェクト領域の集合部分毎にパーツとし、パーツが第１領域内に占める割合に基づいてそのパーツを前記オブジェクト領域に含むか否かを判別する手段を有することを特徴とする請求項１記載のオブジェクト抽出装置。
【請求項８】
前記画像は動画像であり、
前記オブジェクト指定線設定手段、前記第１領域設定手段、前記第２領域設定手段、前記支配的パラメータ抽出手段、前記特徴量抽出手段、及び前記領域抽出手段は前記動画像の第１フレームの画像について動作し、
前記領域抽出手段は前記動画像の第２フレーム以降のフレームの画像については前フレームの画像の前記オブジェクト領域を拡大した領域内において前記オブジェクト特徴量に基づいて現フレームの画像中の前記オブジェクト領域を抽出することを特徴とする請求項１記載のオブジェクト抽出装置。
【請求項９】
画像中のオブジェクト領域を抽出するオブジェクト抽出方法であって、
操作に応じて前記画像中に閉曲線からなるオブジェクト指定線を設定するオブジェクト指定線設定ステップと、
前記オブジェクト指定線の内部領域を第１領域として設定する第１領域設定ステップと、
前記第１領域を内部に含む拡大領域から前記第１領域を差し引いた領域を第２領域として設定する第２領域設定ステップと、
前記画像の前記第１領域及び前記第２領域における支配的パラメータを抽出するステップと、
前記支配的パラメータに基づいてオブジェクト特徴量を抽出する特徴量抽出ステップと、
前記オブジェクト特徴量に基づいて前記画像中の前記オブジェクト領域を抽出する領域抽出ステップと、を備えることを特徴とするオブジェクト抽出方法。
【請求項１０】
画像中のオブジェクト領域を抽出するためのプログラムであって、コンピュータに、
操作に応じて前記画像中に閉曲線からなるオブジェクト指定線を設定するオブジェクト指定線設定ステップと、
前記オブジェクト指定線の内部領域を第１領域として設定する第１領域設定ステップと、
前記第１領域を内部に含む拡大領域から前記第１領域を差し引いた領域を第２領域として設定する第２領域設定ステップと、
前記画像の前記第１領域及び前記第２領域における支配的パラメータを抽出するステップと、
前記支配的パラメータに基づいてオブジェクト特徴量を抽出する特徴量抽出ステップと、
前記オブジェクト特徴量に基づいて前記画像中の前記オブジェクト領域を抽出する領域抽出ステップと、を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像からオブジェクト領域を抽出するオブジェクト抽出装置及び方法に関する。
【背景技術】
【０００２】
画像中においてユーザが指定した人物や動物等のオブジェクト（物体）の部分を抽出する方法として、市販のパソコン用画像編集ソフトでは、ユーザが表示された画像中のオブジェクトの輪郭線をマウスの操作でなぞって指定することによりその指定領域をオブジェクトとして抽出する方法が一般に用いられている。
【０００３】
また、色及び視覚的テクスチャに基づいたオブジェクト抽出する方法が知られている（特許文献１参照）。この抽出方法では、ユーザは画像中のオブジェクト及び背景の一部を指定し、この指定位置の色情報に基づいた学習を行い、オブジェクトの特徴量を得ることが行われる。
【０００４】
更に、物体の輪郭の始点がユーザに指定され、始点として指定された画素から所定の範囲の領域に含まれる各画素を輪郭候補点とし、物体の連続した輪郭を自動的に抽出する方法がある（特許文献２参照）。
【０００５】
また、抽出したいオブジェクトの輪郭に沿って、ユーザが大まかな初期輪郭を設定する方法がある（非特許文献１参照）。この方法では、その初期輪郭の周辺で、一辺の長さが数画素程度の矩形（小領域）と、これを少し拡大した領域（中領域）とを考え、オブジェクト輪郭上の点では、両領域内の画像で相似性（フラクタル性）が見られる傾向が高いので、これを元にオブジェクト輪郭を抽出することが行われる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１２９０６５号公報
【特許文献２】特開平５−３２４８３０号公報
【非特許文献】
【０００７】
【非特許文献１】"Self-Affine Mapping System and Its Application to Object Contour Extraction", IEEE Transaction on Image Processing, vol.9, No.11, November, 2000
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記した従来のオブジェクト領域の抽出の技術では、ユーザはオブジェクトの輪郭を指定する作業を慎重に行わないと、オブジェクトの一部が欠けたり、逆に背景画素がオブジェクトに含まれたりして見苦しいものになる。このように、オブジェクト抽出の精度を上げるには、ユーザの負担が大きくなるという問題があった。
【０００９】
そこで、本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、ユーザの負担を軽減しつつ、画像中の精度良くオブジェクト領域を抽出するオブジェクト抽出装置及び方法並びにプログラムを提供することを本発明の目的とする。
【課題を解決するための手段】
【００１０】
請求項１に係る本発明のオブジェクト抽出装置は、画像中のオブジェクト領域を抽出するオブジェクト抽出装置であって、操作に応じて前記画像中に閉曲線からなるオブジェクト指定線を設定するオブジェクト指定線設定手段と、前記オブジェクト指定線の内部領域を第１領域として設定する第１領域設定手段と、前記第１領域を内部に含む拡大領域から前記第１領域を差し引いた領域を第２領域として設定する第２領域設定手段と、前記画像の前記第１領域及び前記第２領域における支配的パラメータを抽出する支配的パラメータ抽出手段と、前記支配的パラメータに基づいてオブジェクト特徴量を抽出する特徴量抽出手段と、前記オブジェクト特徴量に基づいて前記画像中の前記オブジェクト領域を抽出する領域抽出手段と、を備えることを特徴としている。
【００１１】
請求項９に係る本発明のオブジェクト抽出方法は、画像中のオブジェクト領域を抽出するオブジェクト抽出方法であって、操作に応じて前記画像中に閉曲線からなるオブジェクト指定線を設定するオブジェクト指定線設定ステップと、前記オブジェクト指定線の内部領域を第１領域として設定する第１領域設定ステップと、前記第１領域を内部に含む拡大領域から前記第１領域を差し引いた領域を第２領域として設定する第２領域設定ステップと、前記画像の前記第１領域及び前記第２領域における支配的パラメータを抽出するステップと、前記支配的パラメータに基づいてオブジェクト特徴量を抽出する特徴量抽出ステップと、前記オブジェクト特徴量に基づいて前記画像中の前記オブジェクト領域を抽出する領域抽出ステップと、を備えることを特徴としている。
【００１２】
請求項１０に係る本発明のプログラムは、画像中のオブジェクト領域を抽出するためのプログラムであって、コンピュータに、操作に応じて前記画像中に閉曲線からなるオブジェクト指定線を設定するオブジェクト指定線設定ステップと、前記オブジェクト指定線の内部領域を第１領域として設定する第１領域設定ステップと、前記第１領域を内部に含む拡大領域から前記第１領域を差し引いた領域を第２領域として設定する第２領域設定ステップと、前記画像の前記第１領域及び前記第２領域における支配的パラメータを抽出するステップと、前記支配的パラメータに基づいてオブジェクト特徴量を抽出する特徴量抽出ステップと、前記オブジェクト特徴量に基づいて前記画像中の前記オブジェクト領域を抽出する領域抽出ステップと、を実行させることを特徴としている。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施例を示すブロック図である。
【図２】図１の装置のオブジェクト抽出動作を示すフローチャートである。
【図３】オブジェクト領域抽出の対象画像を示す図である。
【図４】対象画像中のオブジェクト指定線を示す図である。
【図５】対象画像中の初期オブジェクト領域及び初期背景領域を示す図である。
【図６】対象画像中の抽出範囲を示す図である。
【図７】対象画像から抽出されたオブジェクトを示す図である。
【図８】本発明の第２の実施例として動画像のオブジェクト抽出動作を示すフローチャートである。
【図９】動画像の第１〜第３フレームの画像、オブジェクト領域及び次フレーム抽出範囲を示す図である。
【図１０】初期オブジェクト領域内のパーツの削除を示す図である。
【発明を実施するための形態】
【００１４】
請求項１に係る本発明のオブジェクト抽出装置、請求項９に係る本発明のオブジェクト抽出方法及び請求項１０に係る本発明のプログラムにおいては、操作に応じて画像中に閉曲線からなるオブジェクト指定線を設定し、そのオブジェクト指定線の内部領域を第１領域として設定し、第１領域を内部に含む拡大領域から第１領域を差し引いた領域を第２領域として設定し、画像の第１領域及び第２領域における支配的パラメータを抽出し、支配的パラメータに基づいてオブジェクト特徴量を抽出し、オブジェクト特徴量に基づいて画像中のオブジェクト領域を抽出することが行われる。よって、画像からオブジェクト領域を抽出する際にユーザは画像中にオブジェクト指定線を指定するための操作だけを行えば良いので、ユーザの負担を軽減することができる。また、オブジェクト指定線の内部領域の第１領域及び外部領域の第２領域における支配的パラメータに基づいてオブジェクト特徴量を抽出することによりオブジェクト領域を決定するので、より精度の高いオブジェクト抽出を実現することができる。
【実施例】
【００１５】
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
【００１６】
図１は本発明の第１の実施例としてオブジェクト抽出装置を示している。このオブジェクト抽出装置は、画像入力手段１０１、画像蓄積手段１０２、画像表示部１０３、操作部１０４、制御部１０５、及びオブジェクト抽出部１１０を備えている。画像入力手段１０１、画像蓄積手段１０２、画像表示部１０３、操作部１０４、及びオブジェクト抽出部１１０は制御部１０５に接続されている。
【００１７】
画像入力手段１０１は、画像データを入力してそれを制御部１０５に供給する部分であり、例えば、放送波を受信復号するチューナ、インターネット接続部、或いはカメラ等の撮影機器である。画像蓄積手段１０２は入力された画像データを制御部１０５を介して蓄積し、その画像データの書き込み及び読み出しは制御部１０５によって制御される。なお、ここで使用される画像データについては画像サイズ、カラーフォーマット、及びＪＰＥＧ、ＧＩＦ等の圧縮形式は特に限定されない。
【００１８】
画像表示部１０３は制御部１０５から供給された画像データが示す画像を表示する。操作部１０４はユーザが操作するキーボード、マウス、タッチペン等の入力機器からなり、ユーザの操作に応じた指令を制御部１０５に供給する。
【００１９】
オブジェクト抽出部１１０は画像表示部１０３に表示された画像のうちのオブジェクト領域を抽出する部分である。
【００２０】
制御部１０５は操作部１０４の操作に応じて画像入力手段１０１、画像蓄積手段１０２、画像表示部１０３及びオブジェクト抽出部１１０を制御する。
【００２１】
オブジェクト抽出部１１０は、ハードウエアとして示すと、図１に示したように、初期オブジェクト／背景領域決定部１０６、支配色推定部１０７、オブジェクト特徴量抽出部１０８及びオブジェクト領域決定部１０９からなる。
【００２２】
初期オブジェクト／背景領域決定部１０６は、画像表示部１０３に表示された画像に対してユーザの操作部１０４の操作によって指定されたオブジェクト指定線で囲まれた初期オブジェクト領域（第１領域）を決定する。また、初期オブジェクト／背景領域決定部１０６は初期オブジェクト領域に基づいて初期背景領域（第２領域）を決定する。オブジェクト指定線、初期オブジェクト領域及び初期背景領域については後述する。
【００２３】
支配色推定部１０７は、初期オブジェクト／背景領域決定部１０６によって決定された初期オブジェクト領域及び初期背景領域の支配色（支配パラメータ）を抽出する。
【００２４】
オブジェクト特徴量抽出部１０８は、支配色推定部１０７によって抽出された支配色に基づいてオブジェクト特徴量を抽出する。
【００２５】
オブジェクト領域決定部１０９は、オブジェクト特徴量抽出部１０８によって抽出されたオブジェクト特徴量に基づいて最終的なオブジェクト領域を決定する。
【００２６】
なお、制御部１０５は初期オブジェクト／背景領域決定部１０６、支配色推定部１０７、オブジェクト特徴量抽出部１０８及びオブジェクト領域決定部１０９に対して制御を行うと共にそれらに画像表示部１０３に表示されている画像データを供給することができる。
【００２７】
次に、かかる構成のオブジェクト抽出装置のオブジェクト抽出動作を説明する。
【００２８】
オブジェクト抽出動作においては、図２に示すように、先ず、制御部１０５が画像表示部１０３に画像を表示させる（ステップＳ１）。このステップＳ１においては、制御部１０５はユーザの操作部１０４の操作に応じて画像データを画像蓄積手段１０２から読み出してその画像データを画像表示部１０３に供給する。ユーザの操作部１０４の操作に応じて制御部１０５は画像入力手段１０１に入力された画像データを画像表示部１０３に供給しても良い。画像表示部１０３は供給された画像データに応じて画像を表示する。ここで表示される画像がオブジェクト抽出の対象画像であり、対象画像は図３に示された如き画像であるとして説明する。
【００２９】
ステップＳ１の実行後、ユーザは画像表示部１０３に表示された対象画像を見ながら、抽出したいオブジェクト領域を操作部１０４の操作により指定する。指定方法としては、オブジェクトを大まかに囲むような線を描く方法がとられる。この線を「オブジェクト指定線」と呼ぶことにする。オブジェクト指定線の内部に抽出したいオブジェクトが完全に包含されるのが望ましいが、オブジェクトが僅かにはみ出す程度でも問題は無い。オブジェクト指定線が閉曲線でない場合には、線の始点と終点とを結んで閉曲線にすることが行われる。制御部１０５は操作部１０４の操作より指定されたオブジェクト指定線を受け入れる（ステップＳ２）。図３の対象画像に対しては例えば、図４に示すようにオブジェクト指定線が形成される。
【００３０】
ステップＳ２の実行後、初期オブジェクト／背景領域決定部１０６は制御部１０５からデータとして供給されるオブジェクト指定線に基づいて初期オブジェクト領域を決定する（ステップＳ３）。具体的には初期オブジェクト領域はオブジェクト指定線で囲まれる内部領域である。
【００３１】
初期オブジェクト／背景領域決定部１０６は続いて初期背景領域を決定する（ステップＳ４）。初期オブジェクト領域を拡大した領域から、初期オブジェクト領域を差し引いた領域を初期背景領域として決定する。すなわち、初期背景領域はオブジェクト領域を囲む領域である。初期オブジェクト領域をどのくらい拡大するかは特に限定されないが、初期オブジェクト領域の面積と初期背景領域の面積とがほぼ等しくなるようにすることが好ましい。例えば、図５に示すように初期オブジェクト領域に対しては初期背景領域が決定される。
【００３２】
初期オブジェクト／背景領域決定部１０６において初期オブジェクト領域及び初期背景領域が決定されると、支配色推定部１０７は画像データから初期オブジェクト領域及び初期背景領域の支配色を抽出する（ステップＳ５）。
【００３３】
初期オブジェクト領域の支配色とは、対象画像で初期オブジェクト領域に多く現れ、初期背景領域にはあまり現れない画素の色を指す。初期背景領域の支配色は、この反対となる。最も単純な支配色抽出方法としては、対象画像から初期オブジェクト領域及び初期背景領域各々の色ヒストグラムを生成し、色毎のビン数の大小をもとに支配色を求めれば良い。例えば、対象画像がＲＧＢ８bitのカラー画像データによる画像の場合に[R,G,B]=[[0,0,0]〜,[255,255,255]]からなる16,777,216色各々のビン数（画素数、ただし、ＲＧＢで１画素とする）が求められ、16,777,216色各々のビン数の大小に応じて支配色が求められる。
【００３４】
この支配色の抽出の際には、ビン数の単純比較ではなく、両者の割合が大きく異なる色のみを支配色としても良い。例えば、大きい方のビン数をCb、小さい方のビン数をCsとすると、Cb＞Cs*Thを満足する色のみをCb側の支配色とすることができる。ここでThは1.0以上の実数値であり、例えば、Thを1.2のように設定することで、ビン数の差が僅かである色を除去し、より適切な支配色を求めることができる。なお、初期オブジェクト領域の面積と初期背景領域の面積とが互いに異なる場合には、ビン数をそれぞれの面積で割って正規化してから比較することが行われる。
【００３５】
支配色抽出方法は上記に限定されるものではなく、例えば、ビン数を比較した差が僅差の場合は支配色としない等の処理を加えても良い。また色だけでなく、輝度(主にモノクロ画像の場合)やテクスチャなど対象画像から得られる特徴に基づいて支配的なパラメータ（つまり支配輝度や支配テクスチャ）を抽出しても良い。支配的パラメータとしては画像の色、輝度及びテクスチャのうちの少なくとも１であれば良い。
【００３６】
支配色が抽出されると、オブジェクト特徴量抽出部１０８がその抽出された支配色に基づいてオブジェクト特徴量を抽出する（ステップＳ６）。最も単純なオブジェクト特徴量は、ステップＳ５で抽出された初期オブジェクト領域の支配色となる。例えば、対象画像がＲＧＢ８bitのカラー画像データによる画像の場合に、オブジェクト特徴量は[R,G,B]=[[0,0,0], [128,0,128], [64, 32,192], …]のようにＲＧＢのデータ群で表されることになる。
【００３７】
オブジェクト特徴量は上記に限定されるものではなく、サポートベクタマシン等の機械学習により、初期オブジェクト領域及び初期背景領域各々の支配色に応じて、オブジェクト及び背景の２クラス分類（クラスタリング）を行い、その結果に基づいてオブジェクト特徴量を抽出しても良い。
【００３８】
オブジェクト特徴量が抽出されると、オブジェクト領域決定部１０９が最終的なオブジェクト領域を決定する（ステップＳ７）。具体的には、ステップＳ６で抽出されたオブジェクト特徴量を満たす画素が、図６に示すように、初期オブジェクト領域と初期背景領域とを合わせた領域（以降、「抽出領域」と呼ぶ）から抽出される。抽出された画素群そのものをオブジェクト領域として決定しても良いが、クロージング等のモルフォロジー処理による整形を施したものをオブジェクト領域としても良い。
【００３９】
ステップＳ７の実行後、図２には示していないが、制御部１０５がオブジェクト領域を受け取り、対象画像からオブジェクト領域を切り取った画像を画像表示部１０４に表示させ、オブジェクト領域データそのものを出力する。画像表示部１０４には例えば、図７に示すようにオブジェクト領域の画像が表示される。オブジェクト領域のデータ或いはそのオブジェクト領域部分の画像データの出力先は画像表示部１０４に限らず画像蓄積手段１０２へ出力しても良く、更にはインターネットを介した配信をしても良く、特に範囲を限定しない。
【００４０】
上記のステップＳ１〜Ｓ７の処理を行うことにより、対象画像に対してオブジェクト領域を抽出する際のユーザの操作負担を軽減しつつ、より精度の高いオブジェクト抽出を実現することができる。特に、第１の実施例ではオブジェクトを大まかに囲むように指定すれば良いだけなので、ユーザへの負担は小さくなる。特許文献２の一点指定に比べ、より直感的なオブジェクト指定が可能となる。また、初期オブジェクト領域及び初期背景領域各々の支配色に基づいてオブジェクト特徴量を決定するので、処理負荷が非常に軽くて済む。
【００４１】
なお、ステップＳ４の初期背景領域の決定においては、初期背景領域があまりに小さいと、ユーザによるオブジェクト指定線がオブジェクトの実際の範囲内を通っている場合に、初期背景領域内にオブジェクト色が含まれる割合が多くなってしまい、オブジェクト領域の抽出精度が悪くなる。逆に、画面全体のように初期背景領域があまりに大きくなると、オブジェクトから離れた箇所にオブジェクト色が含まれる場合において、やはりオブジェクト領域の抽出精度が悪くなる。更にパラメータ抽出領域が大きくなると、処理負荷も大きくなる。精度と処理負荷のバランスを考えても、初期オブジェクト領域と初期背景領域の面積がほぼ等しくなるようにすることがより好ましい。
【００４２】
上記した第１の実施例においては対象画像が静止画像であるとしてオブジェクト領域を抽出する場合について説明したが、対象画像を動画像の各フレームとしフレーム毎にオブジェクト領域を抽出するようにしても良い。
【００４３】
次に、本発明の第２の実施例として動画像からオブジェクト領域を抽出する場合のオブジェクト抽出動作を説明する。
【００４４】
図１のオブジェクト抽出装置においては少なくとも画像入力手段１０１、画像蓄積手段１０２、画像表示部１０３、及び制御部１０５が動画像を扱うための機能を有するとする。動画像を示す画像データが画像入力手段１０１から入力され、その画像データは制御部１０５を介して画像蓄積手段１０２又は画像表示部１０３に供給される。画像蓄積手段１０２は供給された動画像を示す画像データを蓄積し、画像表示部１０３は供給された動画像を示す画像データに応じて動画像を表示する。
【００４５】
オブジェクト抽出動作においては、図８に示すように、先ず、制御部１０５が画像表示部１０３に動画像の第１フレームを表示させ（ステップＳ１１）、操作部１０４の操作より指定されたオブジェクト指定線を受け入れる（ステップＳ１２）。ステップＳ１２の実行後、初期オブジェクト／背景領域決定部１０６は制御部１０５からデータとして供給されるオブジェクト指定線に基づいて初期オブジェクト領域を決定し（ステップＳ１３）、続いて初期背景領域を決定する（ステップＳ１４）。ステップＳ１４の実行後、支配色推定部１０７は画像データから初期オブジェクト領域及び初期背景領域の支配色を抽出し（ステップＳ１５）、支配色が抽出されると、オブジェクト特徴量抽出部１０８がその抽出された支配色に基づいてオブジェクト特徴量を抽出する（ステップＳ１６）。そして、オブジェクト領域決定部１０９が第１フレームの最終的なオブジェクト領域を決定する（ステップＳ１７）。このステップＳ１１〜Ｓ１７の動作は対象画像が動画像の第１フレームになった以外については図２に示したステップＳ１〜Ｓ７の動作と同一である。
【００４６】
ステップＳ１７の実行終了時点では、第１フレームのオブジェクト領域が抽出されているので、これに基づいて第２フレーム以降のフレームのオブジェクト領域を抽出することが行われる。
【００４７】
先ず、制御部１０５はフレーム番号ｋを２に等しくさせ（ステップＳ１８）、第(ｋ−１)フレームのオブジェクト領域を拡張させる（ステップＳ１９）。すなわち、前フレーム（ｋ＝２の場合には第１フレーム）のオブジェクト領域を中心とした拡張領域が設定される。拡張領域の大きさは、隣接フレーム（第(ｋ−１)フレーム及び第ｋフレーム）間でオブジェクトが動く範囲をカバーできれば十分である。
【００４８】
次に、オブジェクト領域決定部１０９が第ｋフレーム（現フレーム）に対して、ステップＳ１９で設定された拡張範囲内からステップＳ１６で抽出したオブジェクト特徴量に応じてオブジェクト領域を抽出する（ステップＳ２０）。このステップＳ２０の処理は、オブジェクト拡張領域をステップＳ７における「抽出範囲」（図６参照）と見なしてオブジェクト領域を抽出する処理と全く同等のものである。よって、このオブジェクト拡張領域を「次フレーム抽出範囲」と呼ぶ。
【００４９】
ステップＳ２０の実行後、制御部１０５は動画像の全フレームについてのオブジェクト領域の抽出が終了したか否かを判別する（ステップＳ２１）。次のフレームが存在するならば、フレーム番号ｋを１つ増加させ（ステップＳ２２）、ステップＳ１９及びＳ２０が同様に実行されてオブジェクト領域が抽出される。全フレームについてのオブジェクト領域の抽出が終了したならばオブジェクト抽出動作が終了される。
【００５０】
例えば、動画像が図９(a)に示すように第１フレーム〜第３フレームで変化するものであるとき、それらに対するオブジェクト抽出結果は図９(b)に示すようになる。先ず、第１フレームの画像からユーザが指定したオブジェクト、すなわち球状の物体を囲むようにオブジェクト指定線を描くことが行われる。このオブジェクト指定線から初期オブジェクト領域及び初期背景領域が設定され、ステップＳ１１〜Ｓ１６の実行によりオブジェクト特徴量が得られる。ここでオブジェクト特徴量を満たす画素群領域が第１フレームでのオブジェクト領域とされる。このオブジェクト領域を中心として拡張したオブジェクト拡張領域が次フレーム抽出範囲として設定される。次に、第２フレームの画像においてこの次フレーム抽出範囲内でオブジェクト領域が抽出され、以降の第３フレーム，第４フレーム，…についても第２フレームに対する処理と同様の処理が行われ、オブジェクト領域が各々抽出される。
【００５１】
このように、動画像からオブジェクト領域を抽出するオブジェクト抽出動作においては、静止画像の場合と同様にユーザが１フレームずつオブジェクト指定線を指定する手法では、ユーザへの負担が大きくなってしまうので、それに対処した抽出動作が実行されている。一般的な動画像では、隣接フレーム間ではオブジェクトが移動する範囲が狭く、また、隣接フレーム間では背景及びオブジェクトの色変化が少ないとう特徴があるため、上記した第２の実施例のオブジェクト抽出動作ではこれらの特徴が利用されている。よって、第１フレームだけユーザによるオブジェクト指定線の指定操作を行えば、第２フレーム以降のオブジェクト指定線の指定操作を行わずに済むので、ユーザへの負担を静止画像からオブジェクト領域を抽出する際の負担程度に軽減しつつ、動画像からオブジェクトを確実に抽出することができる。
【００５２】
上記のステップＳ７又はＳ１７のオブジェクト特徴量（オブジェクト支配色）に基づいてオブジェクト領域を抽出する際、初期オブジェクト領域と比較することで、より抽出精度の向上が期待できる。例えば、図１０(a)に示すように、対象画像についてオブジェクト指定線が指定され（図４と同一である）、図１０(b)に示すように、図中の黒で示された箇所が、上記した第１の実施例で抽出されたオブジェクト領域であると仮定する。このオブジェクト領域を画素連結成分毎に分類し、ａ〜ｄまでラベル付けを行ってパーツａ〜パーツｄとする。画素連結成分はオブジェクト領域において１つのパーツと見なすことができる集合部分である。ここでパーツ毎に、初期オブジェクト領域にパーツ面積の何％が含まれるかを算出し、それが閾値より小さい場合は、そのパーツをオブジェクト領域から削除するようにする。閾値を例えば、５０％として設定した場合には、図１０(b)の例ではパーツｂが５０％より小さいので、パーツｂは図１０(c)に示すようにオブジェクト領域から削除されることになる。このとき残ったパーツａ，ｃ，ｄに基づいてオブジェクト特徴量（オブジェクト支配色）を再学習しても良い。このように抽出されたオブジェクト領域のパーツが、初期オブジェクト領域に含まれる割合を算出し、その値が小さいパーツを削除することにより、オブジェクト領域抽出の精度をより向上させることができる。
【００５３】
なお、図１の装置中の制御部１０５及びオブジェクト抽出部１１０をコンピュータによって構成し、メモリに記憶されたプログラムに従ってコンピュータが上記したオブジェクト抽出動作を実行するようにしても良いことは勿論である。
【００５４】
本発明はパソコン用の画像編集ソフト等のアプリケーションソフト、及びＤＶＤレコーダ、カメラ、ＴＶ電話等の機器に適用することができる。
【符号の説明】
【００５５】
１０１  画像入力手段
１０２  画像蓄積手段
１０３  画像表示部
１０４  操作部
１０５  制御部
１０６  初期オブジェクト／背景領域決定部
１０７  支配色推定部
１０８  オブジェクト特徴量抽出部
１０９  オブジェクト領域決定部
１１０  オブジェクト抽出部
【図１】
2010224592.tif 000003
【図２】
2010224592.tif 000004
【図３】
2010224592.tif 000005
【図４】
2010224592.tif 000006
【図５】
2010224592.tif 000007
【図６】
2010224592.tif 000008
【図７】
2010224592.tif 000009
【図８】
2010224592.tif 000010
【図９】
2010224592.tif 000011
【図１０】
2010224592.tif 000012