(57)【要約】【課題】ユーザが指定する注目オブジェクトを高精度に追跡、抽出することが可能なオブジェクト抽出装置の提供。【解決手段】オブジェクト抽出装置１は、時系列画像から注目するオブジェクト領域を抽出するものであって、時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出部２０と、前記時系列画像における参照画像上のオブジェクト領域内の特徴点と時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定部３０と、推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と識別特徴量との対比によって、推定した処理対象画像におけるオブジェクトの領域を修正確定する。【選択図】図１
2013120504.tif 000002
【特許請求の範囲】
【請求項１】
時系列画像から注目するオブジェクト領域を抽出するオブジェクト抽出装置であって、
時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出部と、
前記時系列画像における参照画像上のオブジェクト領域内の特徴点と前記時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定部と、
前記推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と前記算出した識別特徴量との対比によって、前記推定した処理対象画像におけるオブジェクトの領域を修正確定するオブジェクト領域確定部と、を備えることを特徴とするオブジェクト抽出装置。
【請求項２】
前記識別特徴量算出部は、前記基準画像におけるオブジェクト領域を示すシルエット画像に基づいて、オブジェクト領域とオブジェクト周辺領域との識別のための画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定部と、
設定した特徴量算出範囲において、所定サイズの小領域毎に前記画像特徴量を算出する画像特徴量算出部と、
前記画像特徴量のうち、オブジェクト領域上の画像特徴量をクラスタリングし、オブジェクト領域の画像特徴量を表現するＫ個の異なる代表画像特徴量を算出する代表画像特徴量算出部と、
小領域毎に、該小領域の画像特徴量とＫ個の異なる代表画像特徴量とから、画像特徴量と代表画像特徴量との類似度ベクトルを算出する類似度ベクトル算出部と、
該算出したオブジェクト領域上の類似度ベクトル及びオブジェクト周辺領域の類似度ベクトルから、小領域が特徴量空間上においてオブジェクト領域に属するか否かのクラス境界を表す識別関数を算出する識別関数算出部と、を備え、前記識別特徴量として前記Ｋ個の異なる代表画像特徴量と前記識別関数を出力することを特徴とする請求項１に記載のオブジェクト抽出装置。
【請求項３】
前記オブジェクト領域確定部は、
前記推定されたオブジェクト領域を示す推定シルエット画像に基づいて、画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定部と、
該設定した特徴量算出範囲において、所定サイズの小領域毎に画像特徴量を算出する画像特徴量算出部と、
小領域毎に、該小領域の画像特徴量と、前記基準画像におけるＫ個の異なる代表画像特徴量とから、前記類似度ベクトルを算出する類似度ベクトル算出部と、を備え、
該算出した類似度ベクトルと、前記識別関数に基づいて、各小領域を特徴量空間上においてオブジェクト領域に属するか否かを識別し、該オブジェクト領域に含まれると判定された小領域の集合を前記処理対象画像上のオブジェクト領域と確定することを特徴とする請求項２に記載のオブジェクト抽出装置。
【請求項４】
前記オブジェクト領域推定部は、
前記参照画像と該参照画像上のオブジェクト領域を示すシルエット画像とから、前記参照画像上のオブジェクト領域内の特徴点を算出する特徴点算出部と、
該算出した参照画像上のオブジェクト領域内の特徴点と、前記参照画像上のオブジェクト領域を示すシルエット画像と、前記処理対象画像とから、前記参照画像上のオブジェクト領域内の特徴点と対応する処理対象画像上の特徴点を算出する対応点算出部と、
前記参照画像上のオブジェクト領域内の特徴点と、該特徴点と対応する処理対象画像上の特徴点とから、前記参照画像上のオブジェクト領域内の特徴点を該特徴点と対応する処理対象画像上の特徴点へ射影する変換行列を算出する変換行列算出部と、を備え、
前記変換行列と、前記参照画像上のオブジェクト領域を示すシルエット画像とから、処理対象画像上の各画素について、変換行列の逆行列を乗じ参照画像上のオブジェクト領域に含まれるか否かを判定し、該オブジェクト領域に含まれると判定された画素の集合を前記処理対象画像上のオブジェクト領域と推定することを特徴とする請求項１〜３のいずれか１項に記載のオブジェクト抽出装置。
【請求項５】
時系列画像から注目するオブジェクト領域を抽出するオブジェクト抽出方法であって、
時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出ステップと、
前記時系列画像における参照画像上のオブジェクト領域内の特徴点と前記時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定ステップと、
前記推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と前記算出した識別特徴量との対比によって、前記推定した処理対象画像におけるオブジェクトの領域を修正確定するオブジェクト領域確定ステップと、を含むことを特徴とするオブジェクト抽出方法。
【請求項６】
前記識別特徴量算出ステップは、前記基準画像におけるオブジェクト領域を示すシルエット画像に基づいて、オブジェクト領域とオブジェクト周辺領域との識別のための画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定ステップと、
設定した特徴量算出範囲において、所定サイズの小領域毎に前記画像特徴量を算出する画像特徴量算出ステップと、
前記画像特徴量のうち、オブジェクト領域上の画像特徴量をクラスタリングし、オブジェクト領域の画像特徴量を表現するＫ個の異なる代表画像特徴量を算出する代表画像特徴量算出ステップと、
小領域毎に、該小領域の画像特徴量とＫ個の異なる代表画像特徴量とから、画像特徴量と代表画像特徴量との類似度ベクトルを算出する類似度ベクトル算出ステップと、
該算出したオブジェクト領域上の類似度ベクトル及びオブジェクト周辺領域の類似度ベクトルから、小領域が特徴量空間上においてオブジェクト領域に属するか否かのクラス境界を表す識別関数を算出する識別関数算出ステップと、
前記識別特徴量として前記Ｋ個の異なる代表画像特徴量と前記識別関数を出力するステップと、を含むことを特徴とする請求項５に記載のオブジェクト抽出方法。
【請求項７】
前記オブジェクト領域確定ステップは、
前記推定されたオブジェクト領域を示す推定シルエット画像に基づいて、画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定ステップと、
該設定した特徴量算出範囲において、所定サイズの小領域毎に画像特徴量を算出する画像特徴量算出ステップと、
小領域毎に、該小領域の画像特徴量と、前記基準画像におけるＫ個の異なる代表画像特徴量とから、前記類似度ベクトルを算出する類似度ベクトル算出ステップと、
該算出した類似度ベクトルと、前記識別関数に基づいて、各小領域を特徴量空間上においてオブジェクト領域に属するか否かを識別し、該オブジェクト領域に含まれると判定された小領域の集合を前記処理対象画像上のオブジェクト領域と確定するステップと、を含むことを特徴とする請求項６に記載のオブジェクト抽出方法。
【請求項８】
前記オブジェクト領域推定ステップは、
前記参照画像と該参照画像上のオブジェクト領域を示すシルエット画像とから、前記参照画像上のオブジェクト領域内の特徴点を算出する特徴点算出ステップと、
該算出した参照画像上のオブジェクト領域内の特徴点と、前記参照画像上のオブジェクト領域を示すシルエット画像と、前記処理対象画像とから、前記参照画像上のオブジェクト領域内の特徴点と対応する処理対象画像上の特徴点を算出する対応点算出ステップと、
前記参照画像上のオブジェクト領域内の特徴点と、該特徴点と対応する処理対象画像上の特徴点とから、前記参照画像上のオブジェクト領域内の特徴点を該特徴点と対応する処理対象画像上の特徴点へ射影する変換行列を算出する変換行列算出ステップと、
前記変換行列と、前記参照画像上のオブジェクト領域を示すシルエット画像とから、処理対象画像上の各画素について、変換行列の逆行列を乗じ参照画像上のオブジェクト領域に含まれるか否かを判定し、該オブジェクト領域に含まれると判定された画素の集合を前記処理対象画像上のオブジェクト領域と推定するステップと、を含むことを特徴とする請求項５〜７のいずれか１項に記載のオブジェクト抽出方法。
【請求項９】
コンピュータを、請求項１〜４のいずれか１項に記載のオブジェクト抽出装置の各処理部として機能させるためのオブジェクト抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが所望する注目オブジェクトを映像中より抽出するオブジェクト抽出装置、オブジェクト抽出方法に関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話など撮像機能付き端末が急速に普及している。また、これらのカメラによって撮影された映像に対して、加工や処理を施し、新たな映像を生成する装置がある。例えば、映像中の特定の画像領域を抽出し、抽出した画像領域を部品として映像の加工に利用することや、映像を個々の画像領域毎に抽出し、抽出した映像を元の映像の管理や検索に利用することが知られている。
【０００３】
映像からユーザが指定する注目オブジェクトを追跡し、抽出する手法として、例えば、特許文献１記載の技術がある。
特許文献１では、背景差分に基づいて取得したオブジェクト領域を示すシルエット画像とオブジェクト固有の画像特徴量（色情報）とに基づいて、前記オブジェクトが存在する領域の部分領域を検出し、前記部分領域を前記シルエット画像に基づいて領域を成長させることでオブジェクト領域全体を抽出するオブジェクト抽出装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−４４８６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１は、背景差分に基づいてオブジェクト領域を示すシルエット画像を取得するため、カメラワークや、シーンチェンジにより背景に変化を伴う場合は、オブジェクト領域を示すシルエット画像内に、背景領域を誤ってオブジェクト領域として抽出することがある。
【０００６】
本発明は上記の点に鑑みてなされたものであり、ユーザが指定する注目オブジェクトを高精度に追跡、抽出することが可能なオブジェクト抽出装置、オブジェクト抽出方法、及びプログラムを提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の第１の技術手段は、時系列画像から注目するオブジェクト領域を抽出するオブジェクト抽出装置であって、時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出部と、前記時系列画像における参照画像上のオブジェクト領域内の特徴点と前記時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定部と、前記推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と前記算出した識別特徴量との対比によって、前記推定した処理対象画像におけるオブジェクトの領域を修正確定するオブジェクト領域確定部と、を備えることを特徴としたものである。
【０００８】
本発明の第２の技術手段は、第１の技術手段において、前記識別特徴量算出部が、前記基準画像におけるオブジェクト領域を示すシルエット画像に基づいて、オブジェクト領域とオブジェクト周辺領域との識別のための画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定部と、設定した特徴量算出範囲において、所定サイズの小領域毎に前記画像特徴量を算出する画像特徴量算出部と、前記画像特徴量のうち、オブジェクト領域上の画像特徴量をクラスタリングし、オブジェクト領域の画像特徴量を表現するＫ個の異なる代表画像特徴量を算出する代表画像特徴量算出部と、小領域毎に、該小領域の画像特徴量とＫ個の異なる代表画像特徴量とから、画像特徴量と代表画像特徴量との類似度ベクトルを算出する類似度ベクトル算出部と、該算出したオブジェクト領域上の類似度ベクトル及びオブジェクト周辺領域の類似度ベクトルから、小領域が特徴量空間上においてオブジェクト領域に属するか否かのクラス境界を表す識別関数を算出する識別関数算出部と、を備え、前記識別特徴量として前記Ｋ個の異なる代表画像特徴量と前記識別関数を出力することを特徴としたものである。
【０００９】
本発明の第３の技術手段は、第２の技術手段において、前記オブジェクト領域確定部が、前記推定されたオブジェクト領域を示す推定シルエット画像に基づいて、画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定部と、該設定した特徴量算出範囲において、所定サイズの小領域毎に画像特徴量を算出する画像特徴量算出部と、小領域毎に、該小領域の画像特徴量と、前記基準画像におけるＫ個の異なる代表画像特徴量とから、前記類似度ベクトルを算出する類似度ベクトル算出部と、を備え、該算出した類似度ベクトルと、前記識別関数に基づいて、各小領域を特徴量空間上においてオブジェクト領域に属するか否かを識別し、該オブジェクト領域に含まれると判定された小領域の集合を前記処理対象画像上のオブジェクト領域と確定することを特徴としたものである。
【００１０】
本発明の第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記オブジェクト領域推定部が、前記参照画像と該参照画像上のオブジェクト領域を示すシルエット画像とから、前記参照画像上のオブジェクト領域内の特徴点を算出する特徴点算出部と、該算出した参照画像上のオブジェクト領域内の特徴点と、前記参照画像上のオブジェクト領域を示すシルエット画像と、前記処理対象画像とから、前記参照画像上のオブジェクト領域内の特徴点と対応する処理対象画像上の特徴点を算出する対応点算出部と、前記参照画像上のオブジェクト領域内の特徴点と、該特徴点と対応する処理対象画像上の特徴点とから、前記参照画像上のオブジェクト領域内の特徴点を該特徴点と対応する処理対象画像上の特徴点へ射影する変換行列を算出する変換行列算出部と、を備え、前記変換行列と、前記参照画像上のオブジェクト領域を示すシルエット画像とから、処理対象画像上の各画素について、変換行列の逆行列を乗じ参照画像上のオブジェクト領域に含まれるか否かを判定し、該オブジェクト領域に含まれると判定された画素の集合を前記処理対象画像上のオブジェクト領域と推定することを特徴としたものである。
【００１１】
本発明の第５の技術手段は、時系列画像から注目するオブジェクト領域を抽出するオブジェクト抽出方法であって、時系列画像における基準画像上のオブジェクト領域の画像とその周辺領域の画像より、オブジェクト領域とオブジェクト周辺領域とを識別する識別特徴量を算出する識別特徴量算出ステップと、前記時系列画像における参照画像上のオブジェクト領域内の特徴点と前記時系列画像における処理対象画像の特徴点との対応により処理対象画像上のオブジェクト領域を推定するオブジェクト領域推定ステップと、前記推定されたオブジェクト領域とその周辺領域の画像の特徴量を算出し、該算出した特徴量と前記算出した識別特徴量との対比によって、前記推定した処理対象画像におけるオブジェクトの領域を修正確定するオブジェクト領域確定ステップと、を含むことを特徴としたものである。
【００１２】
本発明の第６の技術手段は、第５の技術手段において、前記識別特徴量算出ステップが、前記基準画像におけるオブジェクト領域を示すシルエット画像に基づいて、オブジェクト領域とオブジェクト周辺領域との識別のための画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定ステップと、設定した特徴量算出範囲において、所定サイズの小領域毎に前記画像特徴量を算出する画像特徴量算出ステップと、前記画像特徴量のうち、オブジェクト領域上の画像特徴量をクラスタリングし、オブジェクト領域の画像特徴量を表現するＫ個の異なる代表画像特徴量を算出する代表画像特徴量算出ステップと、小領域毎に、該小領域の画像特徴量とＫ個の異なる代表画像特徴量とから、画像特徴量と代表画像特徴量との類似度ベクトルを算出する類似度ベクトル算出ステップと、該算出したオブジェクト領域上の類似度ベクトル及びオブジェクト周辺領域の類似度ベクトルから、小領域が特徴量空間上においてオブジェクト領域に属するか否かのクラス境界を表す識別関数を算出する識別関数算出ステップと、前記識別特徴量として前記Ｋ個の異なる代表画像特徴量と前記識別関数を出力するステップと、を含むことを特徴としたものである。
【００１３】
本発明の第７の技術手段は、第６の技術手段において、前記オブジェクト領域確定ステップが、前記推定されたオブジェクト領域を示す推定シルエット画像に基づいて、画像特徴量を算出する特徴量算出範囲を設定する特徴量算出範囲設定ステップと、該設定した特徴量算出範囲において、所定サイズの小領域毎に画像特徴量を算出する画像特徴量算出ステップと、小領域毎に、該小領域の画像特徴量と、前記基準画像におけるＫ個の異なる代表画像特徴量とから、前記類似度ベクトルを算出する類似度ベクトル算出ステップと、該算出した類似度ベクトルと、前記識別関数に基づいて、各小領域を特徴量空間上においてオブジェクト領域に属するか否かを識別し、該オブジェクト領域に含まれると判定された小領域の集合を前記処理対象画像上のオブジェクト領域と確定するステップと、を含むことを特徴としたものである。
【００１４】
本発明の第８の技術手段は、第５〜第７のいずれか１の技術手段において、前記オブジェクト領域推定ステップが、前記参照画像と該参照画像上のオブジェクト領域を示すシルエット画像とから、前記参照画像上のオブジェクト領域内の特徴点を算出する特徴点算出ステップと、該算出した参照画像上のオブジェクト領域内の特徴点と、前記参照画像上のオブジェクト領域を示すシルエット画像と、前記処理対象画像とから、前記参照画像上のオブジェクト領域内の特徴点と対応する処理対象画像上の特徴点を算出する対応点算出ステップと、前記参照画像上のオブジェクト領域内の特徴点と、該特徴点と対応する処理対象画像上の特徴点とから、前記参照画像上のオブジェクト領域内の特徴点を該特徴点と対応する処理対象画像上の特徴点へ射影する変換行列を算出する変換行列算出ステップと、前記変換行列と、前記参照画像上のオブジェクト領域を示すシルエット画像とから、処理対象画像上の各画素について、変換行列の逆行列を乗じ参照画像上のオブジェクト領域に含まれるか否かを判定し、該オブジェクト領域に含まれると判定された画素の集合を前記処理対象画像上のオブジェクト領域と推定するステップと、を含むことを特徴としたものである。
【００１５】
本発明の第９の技術手段は、第１〜第４のいずれか１の技術手段のオブジェクト抽出装置の各処理部として機能させるためのオブジェクト抽出プログラムである。
【発明の効果】
【００１６】
本発明によれば、ユーザが指定する注目オブジェクトを高精度に追跡、抽出することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係るオブジェクト抽出装置の構成を表すブロック図である。
【図２】図１のオブジェクト抽出装置の動作を表すフローチャートである。
【図３】図１のオブジェクト抽出装置の識別特徴量算出部の構成を表すブロック図である。
【図４】図１のオブジェクト抽出装置の識別特徴量算出部の動作を表すフローチャートである。
【図５】オブジェクト領域及びオブジェクト周辺領域の特徴量の算出範囲の設定について説明する図である。
【図６】図１のオブジェクト抽出装置の識別特徴量算出部において、識別関数を求める模式図である。
【図７】図１のオブジェクト抽出装置の識別特徴量算出部の動作を表す模式図である。
【図８】図１のオブジェクト抽出装置のオブジェクト領域推定部の構成を表すブロック図である。
【図９】図１のオブジェクト抽出装置のオブジェクト領域推定部の動作を表すフローチャートである。
【図１０】図１のオブジェクト抽出装置のオブジェクト領域推定部の動作を表す模式図である。
【図１１】図１のオブジェクト抽出装置のオブジェクト領域確定部の構成を表すブロック図である。
【図１２】図１のオブジェクト抽出装置のオブジェクト領域確定部の動作を表すフローチャートである。
【図１３】時刻ｔ１の画像（処理対象画像）とその推定シルエット画像、及び時刻ｔ２の画像（参照画像）とそのシルエット画像を示す一例である。
【図１４】時刻ｔ１の画像（処理対象画像）における特徴量算出範囲と、その特徴量算出範囲においてオブジェクト領域を識別した結果を示す一例である。
【図１５】勾配ヒストグラムの算出方法を表す模式図である。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。
【００１９】
図１は、本発明に係るオブジェクト抽出装置の概略構成を表すブロック図である。この図において、オブジェクト抽出装置１は、識別特徴量算出部２０、オブジェクト領域推定部３０及びオブジェクト領域確定部４０を備えている。また図２は、図１のオブジェクト抽出装置１の動作例を説明するフロー図である。
【００２０】
図１のオブジェクト抽出装置１は、時刻ｔ０の画像Ｆ（ｔ０）（以降、基準画像ともいう）と、予め作成された、抽出対象となるオブジェクトの基準画像上の領域を示すシルエット画像Ｓ（ｔ０）を外部より取得し、識別特徴量算出部２０へ入力する（図２のステップＳ１−１）。ここで、シルエット画像Ｓ（ｔ）とは、「Ｓ（ｘ，ｙ｜ｔ）＝１」となる画素の集合をオブジェクト領域（前景領域ともいう）、「Ｓ（ｘ、ｙ｜ｔ）＝０」となる画素の集合を背景領域として示す２値画像である。また、オブジェクト領域を示す情報として、シルエット画像を用いているが、本発明はこれに限定されない。シルエット画像の代わりに、オブジェクト領域の輪郭線をチェインコードで表現した輪郭情報を用いても良い。なお、チェインコードとは、ある点Ａに対して隣接する点Ｂの位置を数値化し、さらに、その隣接する点Ｂに対して隣接する点Ｃ（点Ａではない点）の位置を数値化する、ことを繰り返し、それらの数値の結合によって、線を表すものである。
【００２１】
（識別特徴量算出部２０について）
識別特徴量算出部２０は、入力された画像Ｆ（ｔ０）と、画像Ｆ（ｔ０）上の抽出対象オブジェクトＯＦＧの領域を示すシルエット画像Ｓ（ｔ０）に基づいて、オブジェクト領域ＯＦＧを表現するＮ個の代表画像特徴量（代表ローカル特徴量）と、画像Ｆ（ｔ０）における各小領域の画像特徴量（ローカル特徴量）を算出し、その代表ローカル特徴量と各小領域のローカル特徴量とから、小領域が抽出対象オブジェクトであるか否かを特徴量空間上で識別する識別関数（オブジェクト領域とそれ以外の領域との境界）を算出し、算出した識別特徴量（代表ローカル特徴量と識別関数）をオブジェクト領域確定部４０へ出力する（図２のステップＳ１−２）。以下では、画像特徴量の一例として、色ヒストグラムを用いる場合の識別特徴量算出部２０について、図３〜図７を用いて説明する。
【００２２】
図３に示すように、識別特徴量算出部２０は、特徴量算出範囲設定部２０１、ローカル特徴量算出部２０２、代表ローカル特徴量算出部２０３、類似度ベクトル算出部２０４、及び識別関数算出部２０５とで構成されている。図４は、識別特徴量算出部２０の動作例を説明するフロー図である。
【００２３】
特徴量算出範囲設定部２０１は、入力されたシルエット画像Ｓ（ｔ）（図３の例ではシルエット画像Ｓ（ｔ０））に基づいて、オブジェクト領域とオブジェクト周辺領域のそれぞれのローカル特徴量を算出する範囲を設定し、設定した特徴量算出範囲をローカル特徴量算出部２０２及び識別関数算出部２０５へ出力する（図４のステップＳ２０−１）。オブジェクト領域、及びオブジェクト周辺領域の特徴量の算出範囲の設定について、図５を用いて説明する。
【００２４】
図５（Ａ）は時刻ｔ０のオブジェクト領域ＯＦＧを表すシルエット画像Ｓ（ｔ０）であるとする。まず、特徴量算出範囲設定部２０１は、図５（Ｂ）に示すように、オブジェクト領域ＯＦＧを所定のカーネルによりモルフォロジー演算である膨張処理をＫ回行い、領域を拡張したオブジェクト領域ＯＫｄｉｌａｔｅｄを求める。続いて、特徴算出範囲設定部２０１は、図５（Ｃ）に示す拡張オブジェクト領域ＯＫｄｉｌａｔｅｄからオブジェクト領域ＯＦＧを除いた領域（オブジェクト周辺領域ＯＡｒｏｕｎｄ）を求める。このとき、オブジェクト領域とそれ以外の領域（オブジェクト周辺領域）から取得する特徴量のサンプル数を同程度にするため、オブジェクト領域ＯＦＧの面積と同程度になるようオブジェクト周辺領域ＯＡｒｏｕｎｄを設定することが望ましい。例えば、Ｋ回目の膨張処理により得られる拡張オブジェクト領域の面積をＳ（Ｏｋｄｉｌａｔｅｄ）、オブジェクト領域ＯＦＧの面積をＳ（ＯＦＧ）とすれば、式（２０−１）を最初に満たす拡張オブジェクト領域ＯＫｄｉｌａｔｅｄより、オブジェクト領域ＯＦＧを除いた領域を取得すればよい。
【００２５】
【数１】
2013120504.tif 000003
【００２６】
図３のローカル特徴量算出部２０２は、入力された画像Ｆ（ｔ）（図３の例ではＦ（ｔ０））と、特徴量算出範囲設定部２０１で設定された特徴量算出範囲に基づいて、オブジェクト領域ＯＦＧとオブジェクト周辺領域ＯＡｒｏｕｎｄに含まれる各小領域のローカル特徴量を算出する（図４のステップＳ２０−２）。ここで、ローカル特徴量として、色ヒストグラムを例に算出方法を説明する。なお、小領域は画素（ｘ，ｙ）を中心とする半径ｒの円であるとする。まず、ローカル特徴量算出部２０２は、小領域内の画素毎に量子化ステップサイズＱにより量子化した画素値ＣＱ（ｒ，ｇ，ｂ）を取得する（式（２０−２））。なお、本例では、小領域を、画素（ｘ,ｙ）を中心とする半径ｒの円として説明しているが、これに限定されない。例えば、画素（ｘ、ｙ）を中心とするＮ×Ｍ画素単位の矩形領域であってよい。
【００２７】
【数２】
2013120504.tif 000004
【００２８】
なお、式（２０−２）において、演算子‘／／’は整数除算である。続いて、量子化した画素値ＣＱ（ｒ，ｇ，ｂ）の出現頻度を数え上げ、ヒストグラムの各要素を小領域の面積で正規化した色ヒストグラムＨＣ（ｘ，ｙ）を算出する。また、ローカル特徴量２０２は、画像の色空間としてＲＧＢを用いてローカル特徴量を算出するが、本発明はこれに限らず、ＹＣｂＣｒ（ＹＵＶ）、ＣＩＥ  Ｌ＊ａ＊ｂ＊、ＣＩＥ  Ｌ＊ｕ＊ｖ＊であっても良いし、他の色空間であってもよい。
【００２９】
図３の代表ローカル特徴量算出部２０３は、入力されたオブジェクト領域、及びオブジェクト周辺領域の各小領域のローカル特徴量をクラスタリングし、オブジェクト領域を表現するＫ個の代表ローカル特徴量を算出する（図４のステップＳ２０−３）。例えば、ローカル特徴量にＫ−ｍｅａｎｓ法を適用し、Ｋ個の代表ローカル特徴量を取得すればよい。
【００３０】
図３の類似度ベクトル算出部２０４は、各小領域のローカル特徴量（色ヒストグラム）と、オブジェクト領域の画像特徴量を表す代表ローカル特徴量（色ヒストグラム）より、オブジェクト領域、オブジェクト周辺領域の小領域毎のローカル特徴量と、オブジェクト領域のＫ個の代表ローカル特徴量との類似度を算出し、その類似度ベクトルを出力する（図４のステップＳ２０−４）。ここで、小領域の色ヒストグラムＨｃ（ｘ、ｙ）と代表色ヒストグラムＨｃ，ｋ（ＯＦＧ）との類似度ｄ（ＨＣ（ｘ，ｙ），  ＨＣ，ｋ（ＯＦＧ））は、例えば、式（２０−３）に示すヒストグラムインターセクションにより算出する。類似度の値域は０〜１であり、１に近いほどヒストグラムの形状が似ており、０に近いほどヒストグラムの形状が異なることを示す。
【００３１】
【数３】
2013120504.tif 000005
【００３２】
図３の識別関数算出部２０５は、入力されたオブジェクト領域ＯＦＧの代表ローカル特徴量と、オブジェクト領域ＯＦＧ、及びオブジェクト周辺領域ＯＡｒｏｕｎｄの各小領域のローカル特徴量との類似度ベクトルより、図６に示すように特徴量空間においてオブジェクト領域ＯＦＧとオブジェクト周辺領域ＯＡｒｏｕｎｄとを識別（分類）する識別関数「φ（ｘ）＝０」を算出する（図３のステップＳ２０−５）。
【００３３】
図７において、画像Ｆ（ｔ０）上の点線Ｕに囲まれている領域内の各小領域を、オブジェクト領域とオブジェクト周辺領域との２クラスへ分類する問題を考える。２クラスへの分類問題は、Ｎ個の特徴量ベクトルｘと教師信号ｙからなるデータＤ＝｛（ｘｕ，ｙｕ），ｕ＝１，２，．．．，Ｎ｝を与えられて、式（２０−４）に示す二乗和誤差を最小にする識別関数φ（ｘ）を求める問題として定式化される。
【００３４】
【数４】
2013120504.tif 000006
【００３５】
式（２０−４）において、ｓｇｎ（・）は符号関数である。ここで、データＤにおいて、ｘｕは、図７の領域Ｕ上のｕ番目の小領域における特徴量ベクトルを表し、ｙｕはｕ番目の小領域がオブジェクト領域ＯＦＧに属するか否かの正解を与える２×１のベクトルで表される教師信号である。なお、教師信号ｙｕは、ｕ番目の小領域がオブジェクト領域ＯＦＧに属する場合（小領域の中心となる画素（ｘ，ｙ）のシルエット画像Ｓ（ｔ）の値が「Ｓ（ｘ、ｙ｜ｔ）＝１」のとき）、「ｙｕ＝（１，０）」とし、それ以外の場合（小領域の中心となる画素（ｘ，ｙ）のシルエット画像Ｓ（ｔ）の値が「Ｓ（ｘ、ｙ｜ｔ）＝０」のとき）、「ｙｕ＝（０，１）」であるとする。ここで、識別関数φ（ｘ）を式（２０−５）で与えられると仮定すれば、式（２０−４）は式（２０−６）を最小化する重みｗを求める問題となる。
【００３６】
【数５】
2013120504.tif 000007
【００３７】
【数６】
2013120504.tif 000008
【００３８】
式（２０−６）を最小二乗法により解くと、式（２０−７）として重みｗは与えられる。
【００３９】
【数７】
2013120504.tif 000009
【００４０】
以上、識別特徴量算出部２０によれば、基準となる画像Ｆ（ｔ０）とそのシルエット画像Ｓ（ｔ０）から、オブジェクト領域の画像特徴量を表現するＮ個の代表ローカル特徴量と、オブジェクト領域、及びオブジェクト周辺領域の小領域毎のローカル特徴量との類似度ベクトルから、各小領域がオブジェクト領域、オブジェクト周辺領域のいずれのクラスに属するかを識別する識別関数を算出することができる。なお、本例では、識別特徴量算出部２０では、識別関数を線形分離可能であると仮定し、最小二乗法により算出する場合について説明したが、これに限定されない。例えば、最小二乗法の代わりに、非線形サポートベクトルマシン（support vector machine）、決定木、多層パーセプトロンなどの機械学習によって識別関数を算出してもよい。
【００４１】
なお、図７には、小領域のローカル特徴量の一例である色ヒストグラムＨｃ（ｘ、ｙ）と、オブジェクト領域のＫ個の代表ローカル特徴量の一例である代表色ヒストグラムＨｃ，１（ｘ、ｙ）〜Ｈｃ，Ｋ（ｘ、ｙ）も示されている。
【００４２】
図２に戻って、図１のオブジェクト抽出装置１は、時刻ｔ１の画像Ｆ（ｔ１）（以降、処理対象画像ともいう）と、時刻ｔ１の直前に算出した時刻ｔ２におけるオブジェクト領域を示すシルエット画像Ｓ（ｔ２）とその画像Ｆ（ｔ２）（以降、参照画像ともいう）を外部より取得し、オブジェクト領域推定部３０へ入力する（図２のステップＳ１−３）。
【００４３】
（オブジェクト領域推定部３０について）
図２に戻って、図１のオブジェクト領域推定部３０は、入力された画像Ｆ（ｔ１）と、外部で記憶されている、１つ前の画像Ｆ（ｔ２）とその画像Ｆ（ｔ２）上のオブジェクト領域を示すシルエット画像Ｓ（ｔ２）とから、時刻ｔ２のオブジェクト領域上の特徴点を、時刻ｔ１の対応する特徴点へ射影する変換行列Ｈを求め、その変換行列から時刻ｔ１のオブジェクト領域を推定した推定シルエット画像Ｓｐｒｅｄ（ｔ１）を生成し、オブジェクト領域確定部４０へ出力する（図２のステップＳ１−４）。
【００４４】
続いて、図８〜図１０を参照して、本実施形態におけるオブジェクト領域推定部３０について詳細に説明する。図８はオブジェクト領域推定部３０の概略構成を表すブロック図である。図８に示すように、オブジェクト領域推定部３０は、特徴点算出部３０１、対応点算出部３０２、変換行列算出部３０３、及び推定シルエット画像生成部３０４とで構成されている。図９は、オブジェクト領域推定部３０の動作例を説明するフロー図である。また、図１０は、時刻ｔ１と時刻ｔ２の特徴点の対応関係から、時刻ｔ１におけるオブジェクト領域を推定する動作を表す模式図である。
【００４５】
図９のステップＳ３０−１において、図８の特徴点算出部３０１は、一つ前の画像Ｆ（ｔ２）のオブジェクト領域と、入力された画像Ｆ（ｔ１）との画像間の対応関係を求めるために画像Ｆ（ｔ２）におけるオブジェクト領域内のＮ個の特徴点Ｋｓ（ｔ２）（ｓ＝１，・・・，Ｎ）を算出し、その結果を対応点算出部３０２へ出力する（ステップＳ３０−１）。
なお、特徴点とは、画素間の色や輝度の変化等に基づいて被写体のエッジの一部や頂点として抽出される点である。例えば、ある画素（ｘ，ｙ）を中心とした局所領域Ｓの範囲内のｘ方向、ｙ方向の輝度の勾配ベクトルＧｉ（ｘ，ｙ）（ｉ＝ｘ，ｙ）を用いて表される二次モーメント行列Ａ（式（３０−１））の第一固有値λ１と第二固有値λ２を求め、式（３０−２）に示す条件を満たす画素（ｘ，ｙ）を特徴点として検出する。
【００４６】
【数８】
2013120504.tif 000010
【００４７】
【数９】
2013120504.tif 000011
【００４８】
つまり、二次モーメント行列Ａの第一固有値λ１、及び第二固有値λ２のうち小さい方の固有値が所定の閾値λｔｈより大きい（または以上）場合に特徴点とするものである（例えば、「J. Shi and C. Tomasi, “Good Features to Track,” 9th IEEE Conference on Computer Vision and Pattern Recognition, June 1994」参照）。なお、式（３０−１）において係数ｗ（ｕ，ｖ）は、画素（ｘ，ｙ）からｘ方向にｕ，ｙ方向にｖだけ離れた画素（ｘ＋ｕ，ｙ＋ｖ）に関する重み係数を表し、例えば、式（３０−３）の条件を満たすように定めた、局所領域Ｓの範囲内の２次ガウス分布の値を正規化した値を用いる。
【００４９】
【数１０】
2013120504.tif 000012
【００５０】
ここで、図１０（Ａ）に画像Ｆ（ｔ２）のオブジェクト領域上から、特徴点Ｋｓ（ｔ２）を検出した結果の一例を示す。
図９のステップＳ３０−２に進んで、図８の対応点算出部３０２は、入力された画像Ｆ（ｔ１）と外部より読みだした一つ前の画像Ｆ（ｔ２）と、ステップＳ３０−１で取得した画像Ｆ（ｔ２）の特徴点情報Ｋ（ｔ２）に基づいて、画像Ｆ（ｔ２）の各特徴点Ｋｓ（ｔ２）（ｓ＝１，・・・，Ｎ）と対応する画像Ｆ（ｔ１）上の点Ｋｓ（ｔ１）をオプティカルフローにより算出し、その特徴点Ｋｓの時刻ｔ１，時刻ｔ２における位置を記述した対応点情報Ｑ（ｔ１，ｔ２）を変換行列算出部３０３へ出力する（ステップＳ３０−２）。図１０（Ａ）には、画像Ｆ（ｔ２）のオブジェクト領域上の特徴点Ｋｓ（ｔ２）と画像Ｆ（ｔ１）上の対応する特徴点Ｋｓ（ｔ１）を検出した結果が示されている。また、画像Ｆ（ｔ２）のオブジェクト領域上の特徴点Ｋｓ（ｔ２）と一致する画像Ｆ（ｔ１）上の特徴点Ｋｓ（ｔ１）を結ぶ点線は、対応点情報Ｑ（ｔ１，ｔ２）を視覚的に表したものである。
【００５１】
なお、画像Ｆ（ｔ２）の各特徴点Ｋｓ（ｔ２）と対応する画像Ｆ（ｔ１）上の点Ｋｓ（ｔ１）は、例えば、式（３０−４）に示す勾配法によるオプティカルフローの拘束条件をＫｓ（ｔ１）について解くことで取得できる（例えば、「B. D. Lucas and T. Kanade, “An iterative image registration technique with an application to stereo vision,” Proceedings of the 1981 DARPA imaging Understanding Workshop (pp.121-130), 1981」参照）。
【００５２】
【数１１】
2013120504.tif 000013
【００５３】
ここで、式（３０−４）において、Ｇｉ（ｘ，ｙ｜ｔ１）（ｉ＝ｘ，ｙ，ｔ）は画像Ｆ（ｔ１）の輝度に関するｘ方向、ｙ方向、ｔ方向（時間方向）の勾配ベクトルを表し、Ｓは特徴点Ｋｓを中心とする所定サイズの局所領域を表す。
【００５４】
図９のステップＳ３０−３に進んで、図８の変換行列算出部３０３は、ステップＳ３０−２で取得した対応点情報Ｑ（ｔ１，ｔ２）から、特徴点Ｋｓ（ｓ＝１，・・・，Ｎ）を一つ前の画像Ｆ（ｔ２）上の位置から、画像Ｆ（ｔ１）上の位置へ射影する変換行列Ｈを算出し、その変換行列Ｈを記述した情報を推定シルエット画像生成部３０４へ出力する（ステップＳ３０−３）。
【００５５】
画像Ｆ（ｔ２）上のオブジェクト領域Ｏ（ｔ２）上の画素（ｘ，ｙ）を、変換行列Ｈによって、画像Ｆ（ｔ１）に射影した点の座標を（ｘｐｒｅｄ，ｙｐｒｅｄ）とすると、推定オブジェクト領域Ｏｐｒｅｄ（ｔ１）とオブジェクト領域Ｏ（ｔ２）の対応関係は、変換行列Ｈを用いて式（３０−５）により表される（例えば、「ＣＧ−ＡＲＴＳ協会，ディジタル画像処理  第２版，２００９」参照）。
【００５６】
【数１２】
2013120504.tif 000014
【００５７】
式（３０−５）において、記号「〜」は同値関係を表し、定数倍の違いを許して等しいことを意味する。また、変換行列Ｈは、一般的な変換を表現することができるため、射影変換と呼ばれる。ここで、時刻ｔ２と時刻ｔ１のオブジェクト領域間の対応関係を平行移動として表現できると仮定すると、式（３０−５）は、式（３０−６）として表現される。
【００５８】
【数１３】
2013120504.tif 000015
【００５９】
式（３０−６）中の係数ｔｘ、ｔｙはそれぞれｘ方向、ｙ方向への移動量を表す。また、画像間の対応関係を平行移動、回転、拡大・縮小を含めたアフィン変換として表現できると仮定すると、式（３０−５）は、式（３０−７）として表現される。
【００６０】
【数１４】
2013120504.tif 000016
【００６１】
式（３０−７）中の係数ａ，ｂ，ｃ，ｄは拡大・縮小、及び回転を表し、係数ｔｘ、ｔｙは式（３０−６）と同様である。なお、式（３０−５）乃至式（３０−７）における変換行列Ｈの各係数ｈｉｊ（ｉ，ｊ＝１，２，３）は、各変換モデル（平行移動、アフィン変換、射影変換）の拘束条件と対応点情報Ｑ（ｔ１，ｔ２）から導出される連立方程式を最小二乗法により解くことで算出する。なお、十分な対応点数が無く、変換行列Ｈを算出できない場合は、所定の変換行列Ｈ０を用いる。例えば、変換行列Ｈ０の具体例としては、一つ前の変換行列の算出結果を用いる。
【００６２】
図９のステップＳ３０−４に進んで、図８の推定シルエット画像生成部３０４は、変換行列Ｈとシルエット画像Ｓ（ｔ２）に基づいて、「時刻ｔ１におけるオブジェクト領域は、一つ前の画像Ｆ（ｔ２）上のオブジェクト領域を、図８の変換行列算出部３０３で算出した変換行列Ｈを用いて、画像Ｆ（ｔ１）上へ射影した領域にある」と仮定して、時刻ｔ１のオブジェクト領域を推定し、そのオブジェクト領域を表す推定シルエット画像Ｓｐｒｅｄ（ｔ１）を生成する（ステップＳ３０−４）。具体的には、画像Ｆ（ｔ１）上の各画素（ｘ，ｙ）（図１０（Ｂ）の点Ｐｎ）に関して、変換行列Ｈの逆行列Ｈ−１を乗じて画像Ｆ（ｔ２）上へ逆射影した位置の座標（ｘ’、ｙ’）（図１０（Ｂ）の点Ｐｎ´）が、時刻ｔ２のオブジェクト領域Ｏ（ｔ２）上に含まれるどうか判定する。なお、時刻ｔ２のオブジェクト領域Ｏ（ｔ２）とは、シルエット画像Ｓ（ｔ２）上で、「Ｓ（ｘ，ｙ｜ｔ２）＝１」となる画素の集合である。
【００６３】
【数１５】
2013120504.tif 000017
【００６４】
式（３０−８）に示すように、画像Ｆ（ｔ１）上の画素（ｘ，ｙ）を画像Ｆ（ｔ２）へ逆射影した位置がオブジェクト領域Ｏ（ｔ２）に含まれる場合、画素（ｘ，ｙ）は推定オブジェクト領域Ｏｐｒｅｄ（ｔ１）を構成する画素であると判定し、推定シルエット画像Ｓｐｒｅｄ（ｘ，ｙ｜ｔ１）に「１」を設定する。また、画像Ｆ（ｔ１）上の画素（ｘ，ｙ）オブジェクト領域Ｏ（ｔ２）に含まれない場合、画素（ｘ，ｙ）は推定オブジェクト領域Ｏｐｒｅｄ（ｔ１）を構成する画素ではないと判定し、推定シルエット画像Ｓｐｒｅｄ（ｘ，ｙ｜ｔ１）に「０」を設定する。ここで、図１０（Ｂ）にシルエット画像Ｓ（ｔ２）より求めた推定シルエット画像Ｓｐｒｅｄ（ｔ１）の一例を示す。
【００６５】
以上、オブジェクト領域推定部３０によれば、オブジェクト領域の固有の特徴点に基づいて、時刻ｔ１と時刻ｔ２のオブジェクト領域の対応関係を求めるため、カメラワーク、シーンチェンジなど背景に変化が伴う場合にも頑健なオブジェクト領域を推定することができる。
【００６６】
（オブジェクト領域確定部４０について）
再び図２に戻って、図１のオブジェクト領域確定部４０は、推定シルエット画像Ｓｐｒｅｄ（ｔ１）より特徴量を算出する範囲を設定し、画像Ｆ（ｔ１）上の小領域毎にローカル特徴量を算出し、そのローカル特徴量と、基準画像の識別特徴量（代表ローカル特徴量と識別関数φ（ｘ））とに基づいて、オブジェクト領域であるか否かを識別し、オブジェクト領域を示すシルエット画像Ｓ（ｔ１）を出力する（図２のステップＳ１−４）。
続いて、本実施形態におけるオブジェクト領域確定部４０について詳細に説明する。
【００６７】
図１１に示すように、オブジェクト領域確定部４０は、特徴量算出範囲設定部２０１、ローカル特徴量算出部２０２、類似度ベクトル算出部２０３、及びオブジェクト領域識別部４０４とで構成されている。図１２は、オブジェクト領域確定部４０の動作例を説明するフロー図である。また、図１３（Ａ）は時刻ｔ１の画像Ｆ（ｔ１）、図１３（Ｂ）は時刻ｔ２の画像Ｆ（ｔ２）、図１３（Ｃ）は時刻ｔ１のオブジェクト領域を推定した推定シルエット画像Ｓｐｒｅｄ（ｔ１）、図１３（Ｄ）は時刻ｔ２のオブジェクト領域を示すシルエット画像Ｓ（ｔ２）の一例である。なお、図１３（Ａ）の時刻ｔ１のオブジェクト領域において、点線で囲まれた領域Ｒ１は、図１３（Ｂ）の時刻ｔ２のオブジェクト領域上の点線で囲まれた領域Ｒ２の部分が形状変化したものとする。また、図１４（Ａ）は、図１３（Ｃ）上の点線で囲まれた領域Ｂ１の拡大図、図１４（Ｂ）は領域Ｂ１内の特徴量算出範囲ＯＫ，ｄｉｌａｔｅｄからオブジェクト領域とオブジェクト周辺領域を識別した結果の一例である。
【００６８】
図１１の特徴量算出範囲設定部２０１は、入力された時刻ｔ１の推定オブジェクト領域を示す推定シルエット画像Ｓｐｒｅｄ（ｔ１）に基づいて、ローカル特徴量を算出する範囲として、図１４（Ａ）に示すように推定オブジェクト領域Ｏｐｒｅｄを所定のカーネルによりモルフォロジー演算である膨張処理をＫ回行い、領域を拡張した領域ＯＫｄｉｌａｔｅｄを求めて、その算出範囲をローカル特徴量算出部２０２、オブジェクト領域識別部４０４へ出力する（図１２のステップＳ４０−１）。
【００６９】
図１１のローカル特徴量算出部２０２は、入力された画像Ｆ（ｔ１）と、特徴量算出範囲設定部２０１で設定された特徴量算出範囲上にある各小領域のローカル特徴量を算出する（図１２のステップＳ４０−２）。
【００７０】
図１１の類似度ベクトル算出部２０３は、各小領域のローカル特徴量と、オブジェクト領域の画像特徴量を表す代表ローカル特徴量より、オブジェクト領域、オブジェクト周辺領域の小領域毎のローカル特徴量と、オブジェクト領域のＫ個の代表ローカル特徴量との類似度を算出し、その類似度ベクトルｘを出力する（図１２のステップＳ４０−３）。
【００７１】
図１１のオブジェクト領域識別部４０４は、入力された各小領域の類似度ベクトルｘと、識別関数φ（ｘ）に基づいて、特徴量算出範囲ＯＫ，ｄｉｌａｔｅｄ上の各小領域がオブジェクト領域であるか、オブジェクト周辺領域であるかを識別し、図１３（Ｄ）に示すように確定したオブジェクト領域を示すシルエット画像Ｓ（ｔ１）を出力する（図１２のステップＳ４０−４）。具体的には、画素（ｘ，ｙ）を中心とする小領域の類似度ベクトルｘを識別関数φ（ｘ）に入力し、その応答値がオブジェクト領域を示す場合（φ（ｘ）＞０）、画素（ｘ，ｙ）はオブジェクト領域ＯＦＧを構成する画素であると判定し、シルエット画像Ｓ（ｘ，ｙ｜ｔ１）に「１」を設定する。また、応答値がオブジェクト周辺領域を示す場合（φ（ｘ）＜０）、画素（ｘ，ｙ）はオブジェクト領域ＯＦＧを構成する画素ではないと判定し、シルエット画像Ｓ（ｘ，ｙ｜ｔ１）に「０」を設定する。また、応答値が識別関数の境界上を示す場合（φ（ｘ）＝０）、ランダムにオブジェクト領域かオブジェクト周辺領域であるか選択し、シルエット画像Ｓ（ｘ，ｙ｜ｔ１）に該当する値を設定するものとする。なお、シルエット画像Ｓ（ｔ１）は「０」により初期化されているものとする。
【００７２】
図１４（Ｂ）は図１４（Ａ）において特徴量算出範囲ＯＫ，ｄｉｌａｔｅｄ上の各小領域に対して、オブジェクト領域であるか否かを識別した結果である。図１４（Ａ）において、時刻ｔ２上のオブジェクト領域を時刻ｔ１に射影変換して得た推定オブジェクト領域Ｏｐｒｅｄは、時刻ｔ１のオブジェクト領域のうち、時刻ｔ２の領域Ｒ２が形状変化した領域Ｒ１を含まない。つまり、時刻ｔ２のオブジェクト領域を時刻ｔ１へ射影変換するだけでは、形状変化を伴うオブジェクトの領域を精度良く抽出することができない。しかし、推定オブジェクト領域を拡張した特徴量算出範囲ＯＫｄｉｌａｔｅｄに領域Ｒ１が含まれている場合、オブジェクト領域であるか否かを識別することで、領域Ｒ１を抽出することができる。つまり、形状変化を伴うオブジェクトの領域を精度良く抽出することができる。
以上、オブジェクト領域確定部４０によれば、推定したオブジェクト領域より特徴量算出範囲を設定し、設定した特徴量算出範囲に対して、オブジェクト領域であるか、オブジェクト周辺領域であるか識別し、オブジェクト領域を確定することができる。そのため、特徴量算出範囲内であれば、形状変化を伴うオブジェクト領域を抽出することができる。また、特徴量算出範囲を、オブジェクト領域の周辺部分に限定するため、特徴量の算出に要する演算量を削減することができる。
【００７３】
図２に戻って、図１のオブジェクト抽出装置１は、時刻ｔ１の次の時刻（ｔ１＋１）の画像におけるオブジェクト抽出処理を行なうため、ステップＳ１−３へ戻る（図２のステップＳ１−６においてＹｅｓ）。時刻（ｔ１＋１）の画像がなければ、オブジェクト抽出処理を終了する（図２のステップＳ１−６においてＮｏ）。
【００７４】
（効果）
このように、オブジェクト抽出装置は、時系列画像上の第１の画像（基準画像）におけるオブジェクト領域を示すシルエット画像と、基準画像上の該オブジェクト領域とそのオブジェクト周辺領域の画像信号から、各小領域のローカル特徴量と、オブジェクト領域を代表するローカル特徴量（代表ローカル特徴量）を算出し、算出した代表ローカル特徴量と各小領域のローカル特徴量とに基づいて、各小領域がオブジェクト領域か否かを識別する識別関数を算出する。また、時系列画像上の第２の画像（処理対象画像）と、時系列画像上の第３の画像（参照画像）におけるオブジェクト領域を示すシルエット画像と参照画像とに基づいて、処理対象画像と参照画像間のオブジェクト領域の対応関係を算出し、その対応関係から参照画像上のオブジェクト領域を処理対象画像上へ射影変換する変換行列を算出する。算出した変換行列と参照画像のシルエット画像に基づいて、処理対象画像上のオブジェクト領域を推定し、推定シルエット画像を生成する。また、処理対象画像上の推定シルエット画像が示す推定オブジェクト領域と処理対象画像の画像信号から、各小領域のローカル特徴量を算出し、そのローカル特徴量と基準画像の代表ローカル特徴量と識別関数とに基づいて、各小領域がオブジェクト領域であるか否かを識別して、処理対象画像上のオブジェクト領域を確定する。これにより、ユーザが指定する注目オブジェクトを高精度に追跡、抽出することができる。
【００７５】
（ローカル特徴量算出部２０２の変形例）
上記実施形態において、ローカル特徴量算出部２０２では、画像特徴量の一例として、色ヒストグラムを用いる場合について説明したが、本発明はこれに限定されない。ローカル特徴量算出部２０２は、小領域における勾配ヒストグラムを算出してもよい。この場合のローカル特徴量算出部２０２において、勾配ヒストグラムの算出方法について、図１５を参照しながら説明する。図１５は、勾配ヒストグラムの算出方法を示す模式図である。
【００７６】
まず、ローカル特徴量算出部２０２は、小領域内の画素毎に、輝度成分に関して勾配ベクトルＧ（ｘ，ｙ）＝（Ｇｘ，Ｇｙ）を算出する。次に、算出した各画素の勾配ベクトルＧ（ｘ，ｙ）より、量子化ステップサイズＱにより量子化した勾配ベクトルの角度θＱを取得する（式（２０−８））。
【００７７】
【数１６】
2013120504.tif 000018
【００７８】
続いて、量子化した勾配ベクトルの角度θＱの出現頻度を数え上げ、図１５（Ａ）に示すヒストグラムの各要素を小領域の面積で正規化した勾配ヒストグラムＨθ（ｘ，ｙ）を算出する。続いて、算出した勾配ヒストグラムＨθ（ｘ，ｙ）より、出現頻度が最大となる勾配ベクトルの角度θｍを取得し、勾配ヒストグラムＨθ（ｘ，ｙ）と出現頻度が最大となる勾配ベクトル角度θｍに基づいて、図１５（Ｂ）に示す角度θｍを原点として正規化した勾配ヒストグラムＨθｍ，（ｘ，ｙ）を算出する。輝度の勾配ヒストグラムをローカル特徴量として用いることで、照明変化などの色変化に対して頑健となる。また、ローカル特徴量算出部２０２は、画像特徴量として、色ヒストグラム、勾配ヒストグラムのほかに、ウェーブレット特徴量、Ｈａｒｒ−ｌｉｋｅ特徴量、Ｅｄｇｅｌｅｔ特徴量、ＥＯＨ特徴量、ＨＯＧ特徴量を用いてもよい。また、各画像特徴量を異なる画像特徴量と組み合わせて用いてもよい。
【００７９】
（オブジェクト抽出装置１の変形例（オブジェクト抽出装置１ａ））
上記実施形態において、図１のオブジェクト抽出装置１は、基準画像において、抽出対象オブジェクトのシルエット画像と基準画像の画像信号より、抽出対象オブジェクトの画像特徴量を表現する代表ローカル特徴量と、小領域をオブジェクト領域であるか否かを識別する識別関数を算出しているが、これに限定されない。例えば、オブジェクト領域確定部４０より得られる、時刻ｔ１のオブジェクト領域を示すシルエット画像Ｓ（ｔ１）と画像Ｆ（ｔ１）を、時刻ｔ１の次の時刻（ｔ１＋１）にフィードバックし、基準画像、及び基準画像のシルエット画像として用いても良い。毎時刻におけるオブジェクト領域のローカル特徴量が微小に変化する場合にも、精度良く追跡、抽出をすることが可能となる。
【００８０】
なお、上述した実施形態におけるオブジェクト抽出装置１の一部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、オブジェクト抽出装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８１】
また、上述した実施形態におけるオブジェクト抽出装置１の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現しても良い。立体画像生成装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００８２】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００８３】
１…オブジェクト抽出装置、２０…識別特徴量算出部、３０…オブジェクト領域推定部、４０…オブジェクト領域確定部、２０１、４０１…特徴量算出範囲設定部、２０２、４０２…ローカル特徴量算出部、２０３…代表ローカル特徴量算出部、２０４…識別関数算出部、３０１…特徴点算出部、３０２…対応点算出部、３０３…変換行列算出部、３０４…推定シルエット画像生成部、４０３…オブジェクト領域識別部。
【図１】
2013120504.tif 000019
【図２】
2013120504.tif 000020
【図３】
2013120504.tif 000021
【図４】
2013120504.tif 000022
【図５】
2013120504.tif 000023
【図６】
2013120504.tif 000024
【図７】
2013120504.tif 000025
【図８】
2013120504.tif 000026
【図９】
2013120504.tif 000027
【図１０】
2013120504.tif 000028
【図１１】
2013120504.tif 000029
【図１２】
2013120504.tif 000030
【図１３】
2013120504.tif 000031
【図１４】
2013120504.tif 000032
【図１５】
2013120504.tif 000033