(57)【特許請求の範囲】
【請求項１】
動画からフレームを取得する取得部と、
前記フレームの一部の領域を示す複数の第１の部分領域を抽出する抽出部と、
前記第１の部分領域のそれぞれが、追跡対象物体を含む追跡対象領域であるか否かを、前記追跡対象領域を正例とし、前記追跡対象領域でない領域を負例とする訓練データにより学習された分類器により判定する判定部と、
複数の前記追跡対象領域から、前記追跡対象物体の推定位置を推定する推定部と、
前記推定位置から第１の閾値以内の距離にある第２の部分領域が、前記分類器により正例であると判定された場合、前記第２の部分領域を正例として前記訓練データに追加する正例追加部と、
正例として追加された前記第２の部分領域の位置から第２の閾値以上の距離にある第３の部分領域が、前記分類器により正例であると判定された場合、前記第３の部分領域を、負例として前記訓練データに追加する負例追加部と、
前記正例追加部と前記負例追加部とにより更新された前記訓練データを使用して前記分類器を更新する更新部と、
を備える画像処理装置。
【請求項２】
前記分類器は、線形判別分析に基づく２値分類を行う識別関数である、
請求項１に記載の画像処理装置。
【請求項３】
前記分類器は、サポートベクターマシンに基づく２値分類を行う識別関数である、
請求項１に記載の画像処理装置。
【請求項４】
前記分類器は、弱識別器の組み合わせに基づく２値分類を行う識別関数である、
請求項１に記載の画像処理装置。
【請求項５】
前記推定部は、前記識別関数の値が最大である前記追跡対象領域を、前記追跡対象物体の推定位置に推定する、
請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記推定部は、前記追跡対象領域の位置の平均により、前記追跡対象物体の推定位置を推定する、
請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項７】
前記推定部は、前記追跡対象領域の識別関数値に基づく加重平均により、前記追跡対象物体の推定位置を推定する、
請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項８】
前記抽出部は、パーティクルフィルタに基づいて前記第１の部分領域を抽出する、
請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
画像処理装置が、動画からフレームを取得するステップと、
画像処理装置が、前記フレームの一部の領域を示す複数の第１の部分領域を抽出するステップと、
画像処理装置が、前記第１の部分領域のそれぞれが、追跡対象物体を含む追跡対象領域であるか否かを、前記追跡対象領域を正例とし、前記追跡対象領域でない領域を負例とする訓練データにより学習された分類器により判定するステップと、
画像処理装置が、複数の前記追跡対象領域から、前記追跡対象物体の推定位置を推定するステップと、
画像処理装置が、前記推定位置から第１の閾値以内の距離にある第２の部分領域が、前記分類器により正例であると判定された場合、前記第２の部分領域を正例として前記訓練データに追加するステップと、
画像処理装置が、正例として追加された前記第２の部分領域の位置から第２の閾値以上の距離にある第３の部分領域が、前記分類器により正例であると判定された場合、前記第３の部分領域を、負例として前記訓練データに追加するステップと、
画像処理装置が、前記第２の部分領域を正例として前記訓練データに追加するステップと、前記第３の部分領域を、負例として前記訓練データに追加するステップと、により更新された前記訓練データを使用して前記分類器を更新するステップと、
を含む画像処理方法。
【請求項１０】
コンピュータを、
動画からフレームを取得する取得部と、
前記フレームの一部の領域を示す複数の第１の部分領域を抽出する抽出部と、
前記第１の部分領域のそれぞれが、追跡対象物体を含む追跡対象領域であるか否かを、前記追跡対象領域を正例とし、前記追跡対象領域でない領域を負例とする訓練データにより学習された分類器により判定する判定部と、
複数の前記追跡対象領域から、前記追跡対象物体の推定位置を推定する推定部と、
前記推定位置から第１の閾値以内の距離にある第２の部分領域が、前記分類器により正例であると判定された場合、前記第２の部分領域を正例として前記訓練データに追加する正例追加部と、
正例として追加された前記第２の部分領域の位置から第２の閾値以上の距離にある第３の部分領域が、前記分類器により正例であると判定された場合、前記第３の部分領域を、負例として前記訓練データに追加する負例追加部と、
前記正例追加部と前記負例追加部とにより更新された前記訓練データを使用して前記分類器を更新する更新部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
動画中の任意の物体を追跡する技術が従来から知られている。近年では、物体検出を物体追跡に取り入れたＴｒａｃｋｉｎｇ  ｂｙ  Ｄｅｔｅｃｔｉｏｎが成功を収めている。Ｔｒａｃｋｉｎｇ  ｂｙ  Ｄｅｔｅｃｔｉｏｎでは、追跡対象物体を正例、その背景領域を負例として、２クラスの分類器を学習し、この分類器に基づき追跡対象物体の位置を検出する。
【０００３】
非特許文献１には、動画中の任意の物体を追跡する方法の代表的な例が開示されている。また特許文献１、非特許文献３及び非特許文献４には、追跡対象物体をｂｏｏｓｔｉｎｇにより学習し、当該追跡対象物体を検出する方法が開示されている。また非特許文献２には、追跡対象物体を、サポートベクターマシン（ＳＶＭ）により学習し、当該追跡対象物体を検出する方法が開示されている。
【０００４】
これらの方法では追跡対象物体とともに背景領域を学習するので、背景との混同を低減しロバストな追跡を実現することができる。また、学習は物体追跡中にも逐次行われるため、追跡対象物体が時間的に変化する場合にも、その経時変化を分類器に反映させ追跡を行うことができる。さらに特許文献２では、追跡対象物体を一度見失い再追跡する際に、学習済みの背景の影響を受けないように認識モデル（分類器）を切り替える方法が開示されている。
【０００５】
前述の通り、Ｔｒａｃｋｉｎｇ  ｂｙ  Ｄｅｔｅｃｔｉｏｎに基づく従来の物体追跡方法では、物体追跡中に再学習を行うことで追跡対象物体の経時変化に追随することができる。再学習時に正例及び負例の訓練データを獲得する方法は、（１）追跡対象物体の存在領域のサンプルを正例、それ以外を負例とする方法と、（２）分類器で正例と判定されたサンプルを正例、負例と判定されたサンプルを負例として訓練データに新たに追加する方法と、が知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記（１），（２）の方法は、サンプリングした分だけ訓練データが増大し処理時間が増加する。具体的には、（１）の方法では、追跡対象物体の位置推定精度が低いと正例と負例の振り分けを間違えて精度低下につながる。また（２）の方法では、その時点までの分類器では識別できない追跡対象物体に類似する物体が現れた時に、それを正例として誤って訓練データに追加してしまう可能性がある。
【０００７】
本発明は、上記に鑑みてなされたものであって、処理時間を抑えるとともに、追跡対象物体に類似する物体の誤認識を低減することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、動画からフレームを取得する取得部と、前記フレームの一部の領域を示す複数の第１の部分領域を抽出する抽出部と、前記第１の部分領域のそれぞれが、追跡対象物体を含む追跡対象領域であるか否かを、前記追跡対象領域を正例とし、前記追跡対象領域でない領域を負例とする訓練データにより学習された分類器により判定する判定部と、複数の前記追跡対象領域から、前記追跡対象物体の推定位置を推定する推定部と、前記推定位置から第１の閾値以内の距離にある第２の部分領域が、前記分類器により正例であると判定された場合、前記第２の部分領域を正例として前記訓練データに追加する正例追加部と、正例として追加された前記第２の部分領域の位置から第２の閾値以上の距離にある第３の部分領域が、前記分類器により正例であると判定された場合、前記第３の部分領域を、負例として前記訓練データに追加する負例追加部と、前記正例追加部と前記負例追加部とにより更新された前記訓練データを使用して前記分類器を更新する更新部と、を備える。
【発明の効果】
【０００９】
本発明によれば、処理時間を抑えるとともに、追跡対象物体に類似する物体の誤認識を低減することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は第１実施形態の学習装置の機能構成の例を示す図である。
【図２】図２は第１実施形態の正例領域の例を示す図である。
【図３】図３は第１実施形態の負例領域の例を示す図である。
【図４】図４は第１実施形態の画像処理装置の機能構成の例を示す図である。
【図５】図５は第１実施形態の学習装置の動作例を示すフローチャートである。
【図６】図６は第１実施形態の画像処理装置の動作例を示すフローチャートである。
【図７】図７は第１及び第２実施形態の学習装置及び画像処理装置のハードウェア構成の例を示す図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、画像処理装置、画像処理方法及びプログラムの第１実施形態を詳細に説明する。
【００１２】
（第１実施形態）
はじめに第１実施形態の学習装置の機能構成の例について説明する。第１実施形態の学習装置は、第１実施形態の画像処理装置で使用される分類器の学習を行う。
【００１３】
図１は第１実施形態の学習装置１００の機能構成の例を示す図である。第１実施形態の学習装置１００は、記憶部１０、学習制御部２０、入力部３０及び表示部４０を備える。学習制御部２０は、取得部２１、指定部２２、正例取得部２３、負例取得部２４及び学習部２５を備える。
【００１４】
記憶部１０は処理対象の動画を記憶する。取得部２１は、記憶部１０から処理対象の動画に含まれるフレームを１つ取得する。取得部２１により取得されるフレームは任意でよい。取得部２１により取得されるフレームは、例えば処理対象の動画の最初のフレーム、及び、ユーザにより指定されたフレーム等である。取得部２１はフレームを指定部２２に入力する。
【００１５】
指定部２２は、取得部２１からフレームを受け付けると、当該フレームを表示部４０に表示する。入力部３０は、表示部４０に表示されたフレーム内で追跡の対象とする追跡対象領域を指定する入力を受け付ける。追跡対象領域の指定方法は任意でよい。追跡対象領域の指定方法は、例えば追跡対象物体を含む矩形を追跡対象領域として指定する方法でもよい。指定部２２は、入力部３０から追跡対象領域を示す追跡対象領域情報を受け付けると、当該追跡対象領域情報を正例取得部２３及び負例取得部２４に入力する。
【００１６】
正例取得部２３は、指定部２２から追跡対象領域情報を受け付けると、当該追跡対象領域情報が示す追跡対象領域の周辺の領域から正例領域を取得する。正例領域は、訓練データの正例を示す領域である。
【００１７】
図２は第１実施形態の正例領域２１０ａ〜２１０ｃの例を示す図である。図２の例は、正例取得部２３が、追跡対象領域２００を水平方向及び垂直方向に変動させた矩形を、正例領域２１０ａ〜２１０ｃとして取得する場合を示す。以下、正例領域２１０ａ〜２１０ｃを区別しない場合は、単に正例領域２１０という。正例領域２１０を取得する際の変動量は任意でよい。水平方向の変動量は、例えば追跡対象領域２００の横の長さの１０％である。また垂直方向の変動量は、例えば追跡対象領域２００の縦の長さの１０％である。
【００１８】
なお正例領域２１０の取得方法は図２の方法に限られず任意でよい。正例取得部２３は、例えば追跡対象領域２００を細かく分割することにより複数の分割領域を取得し、当該分割領域を正例領域２１０として取得してもよい。また正例領域２１０の形状は、追跡対象領域２００の形状と同一でなくてもよい。
【００１９】
図１に戻り、正例取得部２３は、正例領域２１０の特徴を示す第１の特徴量情報を算出する。第１の特徴量情報は任意でよい。第１の特徴量情報は、例えば正例領域の画素値を示す特徴ベクトルでもよい。この特徴ベクトルの次元は、例えば正例領域のサイズが１６×１６の場合、２５６次元である。また第１の特徴量情報は、色ヒストグラム、エッジ強度のヒストグラム、ＳＩＦＴ特徴量、ＨＯＧ特徴量、及び、ニューラルネットワークの出力値等でもよい。また、第１の特徴量情報は、これらの組み合わせでもよい。なお正例取得部２３は、正例領域のサイズを特定のサイズに正規化し、正規化された正例領域の第１の特徴量情報を算出してもよい。正例取得部２３は第１の特徴量情報を学習部２５に入力する。
【００２０】
一方、負例取得部２４は、指定部２２から追跡対象領域情報を受け付けると、当該追跡対象領域情報が示す追跡対象領域の外の領域から負例領域を取得する。負例領域は、訓練データの負例を示す領域である。
【００２１】
図３は第１実施形態の負例領域２２０ａ〜２２０ｎの例を示す図である。図２の例は、負例取得部２４が、追跡対象領域２００外の周囲の領域を格子状の領域に分割することにより、負例領域２２０ａ〜２２０ｎを取得する場合を示す。以下、負例領域２２０ａ〜２２０ｎを区別しない場合は、単に負例領域２２０という。
【００２２】
なお負例領域２２０の取得方法は図３の方法に限られず任意でよい。負例取得部２４は、例えば追跡対象領域２００外の周囲の領域を格子状の領域に分割してから、当該分割された格子状の領域の位置を、ランダム又は所定の割合だけ変動させた負例領域２２０ａ〜２２０ｎを取得してもよい。
【００２３】
図１に戻り、負例取得部２４は、負例領域２２０の特徴を示す第２の特徴量情報を算出する。第２の特徴量情報の説明は、正例領域２１０の場合の説明と同様なので省略する。負例取得部２４は、負例領域２２０の第２の特徴量情報を学習部２５に入力する。
【００２４】
学習部２５は、正例取得部２３から第１の特徴量情報を受け付け、負例取得部２４から第２の特徴量情報を受け付けると、当該第１及び第２の特徴量情報に基づいて分類器を学習する。第１実施形態の説明では、学習部２５が線形判別分析により分類器を学習する場合について説明する。また第１及び第２の特徴量情報が、上述の特徴ベクトルである場合について説明する。
【００２５】
正例領域２１０の特徴ベクトルの数をＮｐとする。負例領域２２０の特徴ベクトルの数をＮｎとする。学習部２５は、まず正例領域２１０の特徴ベクトルの平均ベクトルｍｐ及び変動行列Ｓｐ、並びに、負例領域２２０の特徴ベクトルの平均ベクトルｍｎ及び変動行列Ｓｎを算出する。そして学習部２５は、判別係数ベクトルａを次式（１）により算出する。
【００２６】
【数１】
0006613687.tif 000002
【００２７】
学習部２５は、（Ｎｐ，ｍｐ，Ｓｐ，Ｎｎ，ｍｎ，Ｓｎ，ａ）を学習結果情報として記憶部１０に記憶する。そして学習部２５は、特徴ベクトルｘにより特徴付けられる領域が、追跡対象領域であるか否かを識別する識別関数（判別関数）を次式（２）により構成する。
【００２８】
【数２】
0006613687.tif 000003
【００２９】
すなわち式（２）の識別関数ｈ（ｘ）が、学習部２５により学習された分類器である。ｈ（ｘ）が正の値の場合、当該特徴ベクトルｘにより特徴付けられる領域が追跡対象領域であることを示す。ｈ（ｘ）が負の値の場合、当該特徴ベクトルｘにより特徴付けられる領域が背景領域であることを示す。
【００３０】
次に第１実施形態の画像処理装置の機能構成の例について説明する。
【００３１】
図４は第１実施形態の画像処理装置３００の機能構成の例を示す図である。第１実施形態の画像処理装置３００は、記憶部３１０及び画像処理部３２０を備える。画像処理部３２０は、取得部３２１、抽出部３２２、判定部３２３、推定部３２４、正例追加部３２５、負例追加部３２６及び更新部３２７を備える。
【００３２】
記憶部３１０は処理対象の動画を記憶する。また記憶部３１０は学習結果情報及び分類器を記憶する。学習結果情報は、上述の（Ｎｐ，ｍｐ，Ｓｐ，Ｎｎ，ｍｎ，Ｓｎ，ａ）である。分類器は、上述の式（２）が示す識別関数ｈ（ｘ）である。
【００３３】
取得部３２１は、記憶部３１０から処理対象の動画に含まれるフレームを、カレントフレームとして１つ取得する。最初のイタレーションでは、取得部３２１は、追跡対象物体の追跡を開始するフレームを、カレントフレームとして１つ取得する。２回目以降のイタレーションでは、取得部３２１は、前回選択されたフレームよりも時系列順で新しいフレーム（典型的には次のフレーム）を、カレントフレームとして１つ取得する。取得部３２１はカレントフレームを抽出部３２２に入力する。
【００３４】
抽出部３２２は、取得部３２１からカレントフレームを受け付けると、当該カレントフレームから複数の第１の部分領域を抽出する。第１の部分領域の抽出の仕方は任意でよい。抽出部３２２は、例えば前フレームで推定された追跡対象物体の推定位置を基準にして、図２のように水平方向及び垂直方向に複数の変動を与えることにより抽出される複数の矩形領域を、複数の第１の部分領域として抽出する。
【００３５】
このとき、抽出部３２２が第１の部分領域を抽出する際の変動の大きさは、学習装置１００が分類器を学習する際の変動の大きさよりも大きくする。具体的には、抽出部３２２は、第１の部分領域を抽出する際の変動の大きさを、追跡対象物体の想定される速度に応じて設定する。
【００３６】
なお最初のイタレーションでは、前フレームの情報がないので、抽出部３２２は、カレントフレーム全体を複数の第１の部分領域に分割することにより複数の第１の部分領域を抽出してもよい。
【００３７】
以下、第１の部分領域を示す情報を第１の部分領域情報という。抽出部３２２は複数の第１の部分領域情報を判定部３２３に入力する。
【００３８】
判定部３２３は、抽出部３２２から複数の第１の部分領域情報を受け付けると、各第１の部分領域情報が示す第１の部分領域が、追跡対象物体を含む追跡対象領域であるか否かを判定する。具体的には、判定部３２３は、まず各第１の部分領域情報が示す第１の部分領域の特徴量情報を算出する。次に判定部３２３は、特徴量情報により特徴付けられる第１の部分領域が、学習装置１００により学習された上述の分類器（式（２）参照）を使用して、追跡対象領域であるか否かを判定する。次に判定部３２３は、第１の部分領域が追跡対象領域であると判定された場合、当該追跡対象領域を示す追跡対象領域情報を推定部３２４に入力する。
【００３９】
推定部３２４は、判定部３２３から追跡対象領域情報を受け付ける。推定部３２４は、判定部３２３から複数の追跡対象領域情報を受け付けた場合、各追跡対象領域情報が示す追跡対象領域に基づいて追跡対象物体の位置を推定する。
【００４０】
推定部３２４は、例えば各追跡対象領域情報が示す追跡対象領域の位置の平均により、追跡対象物体の位置を推定する。なお推定部３２４が、追跡対象物体の位置を推定する具体的な方法は任意でよい。
【００４１】
推定部３２４は、例えば上述の式（２）の識別関数ｈ（ｘ）の値を元にして加重平均を取ることにより、追跡対象物体の位置を推定してもよい。識別関数ｈ（ｘ）の値を元にした加重平均の重みｗｉは、例えば次式（３）により算出される。
【００４２】
【数３】
0006613687.tif 000004
【００４３】
ここでα（＞０）はパラメータである。このとき推定部３２４は、ｉ番目の第１の部分領域の中心位置を（ｘｉ，ｙｉ）として、追跡対象物体の推定位置を次式（４）により算出する。
【００４４】
【数４】
0006613687.tif 000005
【００４５】
また、より簡略な別の方法として、推定部３２４は、識別関数値ｈｉが最大のｉ番目の第１の部分領域の中心位置（ｘｉ，ｙｉ）を、そのまま追跡対象物体の推定位置としてもよい。
【００４６】
推定部３２４は、追跡対象物体の推定位置を含む推定領域が追跡対象領域であるか否かを、学習装置１００により学習された上述の分類器（式（２）参照）を使用して判定する。分類器による判定に使用される特徴量ｘは、例えば上述の特徴ベクトルである。また推定領域の形状は任意でよい。推定部３２４は、例えば追跡対象物体の推定位置を中心とした矩形を推定領域としてもよい。
【００４７】
また推定部３２４は、追跡対象物体の推定位置を中心とした矩形の位置を変動させることにより、複数の推定領域を取得してもよい。推定部３２４は、例えば推定位置から第１の閾値以内の距離にある第２の部分領域を、所定の数だけ推定領域として取得してもよい。なお推定位置と第２の部分領域との距離は、例えば推定位置を示す座標と、推定位置を中心とした矩形の位置を変動させることにより得られた第２の部分領域の中心の座標との距離である。
【００４８】
推定部３２４は、推定領域が追跡対象領域である場合、当該推定領域を示す推定領域情報を、正例追加部３２５及び負例追加部３２６に入力する。
【００４９】
なお処理時間を低減するため、推定部３２４は判定部３２３の処理結果を利用してもよい。具体的には、推定部３２４は、上述の判定部３２３により得られた追跡対象領域のうち、推定部３２４により推定された推定位置との距離が第１の閾値以下である追跡対象領域を示す追跡対象領域情報を、正例追加部３２５及び負例追加部３２６に入力してもよい。なお推定位置と追跡対象領域との距離は、例えば推定位置を示す座標と、追跡対象領域内の中心の座標との距離である。
【００５０】
正例追加部３２５は、推定部３２４から推定領域情報を受け付けると、当該推定領域情報が示す推定領域（第２の部分領域）の第１の特徴量情報を、正例として訓練データに追加する。第１の特徴量情報は、例えば推定領域を特徴付ける上述の特徴ベクトルである。
【００５１】
負例追加部３２６は、推定部３２４から推定領域情報を受け付けると、当該推定領域情報が示す推定領域に基づいて、負例を示す負例領域を決定する。負例追加部３２６は、推定部３２４から受け付けた推定領域情報が示す推定領域から第２の閾値以上の距離にある第３の部分領域を、所定の数だけ取得する。そして負例追加部３２６は、複数の第３の部分領域のうち、分類器により正例領域であると判定された第３の部分領域の第２の特徴量情報を、負例として訓練データに追加する。
【００５２】
正例領域であると判定された部分領域を、負例領域として訓練データに追加する理由は、“追跡対象物体の推定位置から第２の閾値以上の距離にある領域に追跡対象物体は存在しない”という前提条件による。すなわち追跡対象物体の推定位置から十分に離れた場所で追跡対象物体が検出された場合は、分類器の学習が不十分で類似物体を識別できていないとみなす。そこで、負例追加部３２６が、追跡対象物体と誤認識されるサンプルを負例として訓練データに追加する。具体的には、負例追加部３２６は、訓練データに正例として追加された第２の部分領域の位置から第２の閾値以上の距離にある第３の部分領域が、分類器により正例領域であると判定された場合、当該第３の部分領域を、負例領域として訓練データに追加する。これにより、後述の更新部３２７が、当該訓練データを使用して分類器を更新（再学習）することにより、追跡対象物体の識別精度を上げることができる。
【００５３】
なお処理時間を低減するため、負例追加部３２６は判定部３２３の処理結果を利用してもよい。具体的には、負例追加部３２６は、上述の判定部３２３により得られた追跡対象領域のうち、推定部３２４により推定された推定位置との距離が第２の閾値以上である追跡対象領域の特徴量情報を、負例として訓練データに追加してもよい。
【００５４】
更新部３２７は、正例追加部３２５と負例追加部３２６により更新された訓練データを使用して分類器を更新する。更新部３２７による分類器の更新方法を、分類器に線形判別分析法（線形判別分析に基づく２値分類）を用いる場合を例にして説明する。具体的には、更新部３２７は、更新された訓練データの正例及び負例を用いて、正例の特徴ベクトルのサンプル数Ｎｐ、平均ベクトルｍｐ及び変動行列Ｓｐ、負例の特徴ベクトルのサンプル数Ｎｎ、平均ベクトルｍｎ及び変動行列Ｓｎ、並びに、判別係数ベクトルａを更新する。更新部３２７は、（ｍｐ，ｍｎ，ａ）から、上述の式（２）の識別関数（分類器）を更新する。
【００５５】
なお更新部３２７は、（Ｎｐ，ｍｐ，Ｓｐ，Ｎｎ，ｍｎ，Ｓｎ）を記憶部３１０に記憶しておけば、過去の訓練データを破棄しても、新しい訓練データのみから（Ｎｐ，ｍｐ，Ｓｐ，Ｎｎ，ｍｎ，Ｓｎ）の値を更新して判別係数ベクトルａを求めることができる。また更新部３２７は、記憶部３１０のデータ量の削減のため、Ｓｐ及びＳｎを記憶する代わりにＳｐ及びＳｎの固有値が大きい方から特定個の固有ベクトルと対応する固有値を、記憶部３１０に記憶してもよい。
【００５６】
次に第１実施形態の画像処理方法について説明する。
【００５７】
図５は第１実施形態の学習装置１００の動作例を示すフローチャートである。はじめに、取得部２１が、記憶部１０から処理対象の動画に含まれるフレームを１つ取得する（ステップＳ１）。次に、指定部２２が、フレーム内で追跡の対象とする追跡対象領域を示す追跡対象領域情報を受け付ける（ステップＳ２）。次に、正例取得部２３が、追跡対象領域情報が示す追跡対象領域の周辺の領域（図２参照）から正例領域２１０を取得する（ステップＳ３）。次に、正例取得部２３が、正例領域２１０の特徴を示す第１の特徴量情報を算出する（ステップＳ４）。次に、負例取得部２４が、追跡対象領域情報が示す追跡対象領域の外の領域（図３参照）から負例領域２２０を取得する（ステップＳ５）。次に、負例取得部２４が、負例領域２２０の特徴を示す第２の特徴量情報を算出する（ステップＳ６）。次に、学習部２５が、第１及び第２の特徴量情報に基づいて分類器（式（２）参照）を学習する（ステップＳ７）。
【００５８】
図６は第１実施形態の画像処理装置３００の動作例を示すフローチャートである。はじめに、取得部３２１が、記憶部３１０から処理対象の動画に含まれるフレームを、カレントフレームとして１つ取得する（ステップＳ２１）。次に、抽出部３２２が、カレントフレームから複数の第１の部分領域を抽出する（ステップＳ２２）。次に、判定部３２３が、分類器（式（２）参照）により追跡対象領域であると判定された第１の部分領域を、追跡対象物体を含む追跡対象領域として検出する（ステップＳ２３）。次に、推定部３２４が、複数の追跡対象領域がある場合、各追跡対象領域に基づいて追跡対象物体の位置を推定する（ステップＳ２４）。
【００５９】
次に、正例追加部３２５が、追跡対象物体の推定位置から第１の閾値以内の距離にある第２の部分領域が、分類器により正例であると判定された場合、第２の部分領域を正例として訓練データに追加する（ステップＳ２５）。次に、負例追加部３２６が、正例として追加された第２の部分領域の位置から第２の閾値以上の距離にある第３の部分領域が、分類器により正例であると判定された場合、第３の部分領域を、負例として訓練データに追加する（ステップＳ２６）。
【００６０】
次に、更新部３２７が、ステップＳ２５で正例追加部３２５により更新された訓練データと、ステップＳ２６で負例追加部３２６により更新された訓練データを使用して分類器を更新する（ステップＳ２７）。
【００６１】
次に、更新部３２７が、カレントフレームが動画の最終フレームであるか否かを判定する。最終フレームでない場合（ステップＳ２８、Ｎｏ）、処理はステップＳ１に戻る。最終フレームである場合（ステップＳ２８、Ｙｅｓ）、処理は終了する。
【００６２】
以上説明したように、第１実施形態の画像処理装置３００によれば、追跡対象物体と背景とを学習した分類器を用いることで、追跡対象と背景の混同を低減し、ロバストな物体追跡を実現することができる。特に、各フレームで分類器の更新を行う際、追跡対象物体と誤判定されるサンプルのみを負例として訓練データに追加するので、訓練データに冗長なサンプルを増加させることがなく、かつ追跡対象物体に類似する物体との誤認識を低減させることができる。
【００６３】
（第１実施形態の変形例１）
次に第１実施形態の変形例１について説明する。変形例１では、分類器として２クラス分類のサポートベクターマシン（ＳＶＭ）が使用される場合について説明する。変形例１の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。
【００６４】
ＳＶＭによる学習では、Ｍ個のＤ次元サポートベクトルｓ（ｉ）（ｉ＝１，２，・・・，Ｍ）、対応するＭ個の実数の重みωｉ（ｉ＝１，２，・・・，Ｍ）、及び、オフセットｃ（ｃは実数）が求まり、次式（５）により識別関数ｈ（ｘ）が得られる。
【００６５】
【数５】
0006613687.tif 000006
【００６６】
領域の特徴を示すＤ次元特徴ベクトルｘに対して、ｈ（ｘ）が正であれば、当該Ｄ次元特徴ベクトルｘにより特徴付けられる領域に追跡対象物体が含まれると予測され、ｈ（ｘ）が負であれば、当該Ｄ次元特徴ベクトルｘにより特徴付けられる領域が背景である（追跡対象物体でない）と予測される。ここでＫはカーネル関数ＲＤ×ＲＤ→Ｒである。なおＲＤはＤ次元実ベクトル空間の集合を示す。Ｒは１次元実ベクトル空間の集合を示す。
【００６７】
カーネル関数は、例えば次式（６）のＲＢＦカーネルである。ここでγはパラメータである。なおＳＶＭの学習法の詳細は非特許文献２を参照されたい。
【００６８】
【数６】
0006613687.tif 000007
【００６９】
上述の式（５）の分類器の初期学習は、第１実施形態の学習装置１００と同様の順序で行われるが、分類器の具体的な学習処理がＳＶＭに置き換わる。
【００７０】
また変形例１の画像処理装置３００の動作は、第１実施形態の画像処理装置３００と同様であるが、第１実施形態の式（２）の分類器が、上述の式（５）の分類器に置き換わる。
【００７１】
しかしながらＳＶＭを使用する変形例１では、訓練データが増えるにつれて学習にかかる処理時間が増大する。そこで、変形例１の正例追加部３２５は、正例として新しく追加されたサンプルの数だけ、過去に追加されたサンプルを訓練データから削除する。
【００７２】
削減の具体的な方法は任意でよい。正例追加部３２５は、例えば過去に訓練データに追加されたサンプルのうち、古いサンプルから順に削減してもよい。また例えば、正例追加部３２５は、訓練データからサポートベクトル以外のサンプルを削除してもよい。また例えば、正例追加部３２５は、訓練データから新しく追加されたサンプルに類似するサンプルを削減してもよい。
【００７３】
同様に、変形例１の負例追加部３２６は、負例として新しく追加されたサンプルの数だけ、過去に追加されたサンプルを訓練データから削除する。
【００７４】
変形例１の更新部３２７は、正例追加部３２５及び負例追加部３２６により更新された訓練データを元に、分類器（ＳＶＭ）を更新（再学習）し、更新されたＳＶＭを記憶部３１０に記憶する。
【００７５】
変形例１によれば、分類器にＳＶＭを使用することにより、特徴空間で追跡対象物体と背景が線形分離不可能の場合でも、ＳＶＭの非線形分離能力により、追跡対象物体を背景から分離して追跡を行うことが可能となる。
【００７６】
（第１実施形態の変形例２）
次に第１実施形態の変形例２について説明する。変形例２では、分類器としてＡｄａＢｏｏｓｔが使用される場合について説明する。変形例２の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。
【００７７】
ＡｄａＢｏｏｓｔでは、Ｍ個の弱識別器ｈｉ（ｘ）（ｉ＝１，２，…，Ｍ）の重みωｉの線形和により、強識別器ｈ（ｘ）を次式（７）により構成する。
【００７８】
【数７】
0006613687.tif 000008
【００７９】
弱識別器の学習については、非特許文献３と同様の方法を取ることができる。
【００８０】
上述の式（７）の分類器の初期学習は、第１実施形態の学習装置１００と同様の順序で行われるが、分類器の具体的な学習処理がＡｄａＢｏｏｓｔに置き換わる。
【００８１】
また変形例２の画像処理装置３００の動作は、第１実施形態の画像処理装置３００と同様であるが、第１実施形態の式（２）の分類器が、上述の式（７）の分類器に置き換わる。
【００８２】
なお変形例２の更新部３２７は、正例追加部３２５及び負例追加部３２６により更新された訓練データを元に、分類器を更新（再学習）し、更新された弱識別器ｈｉ（ｘ）と、更新された重みωｉとを記憶部３１０に記憶する。
【００８３】
ＡｄａＢｏｏｓｔでは、非特許文献３のようなオンライン学習を行うことができるので、古い訓練データは破棄することができる。オンライン学習を行わない場合は、記憶部３１０が訓練データを記憶する必要がある。しかしながら、正例追加部３２５及び負例追加部３２６が、変形例１の場合と同様に、古いサンプルや類似するサンプルから順に記憶部３１０の訓練データを削減してもよい。
【００８４】
変形例２によれば、分類器にＡｄａＢｏｏｓｔを使用することにより、特徴空間で追跡対象物体と背景が線形分離不可能の場合でも、ＡｄａＢｏｏｓｔの非線形分離能力により、追跡対象物体を背景から分離して追跡を行うことが可能となる。
【００８５】
（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、追跡対象物体の動作予測にパーティクルフィルタを用いる場合について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。
【００８６】
パーティクルフィルタでは、追跡対称物体のパラメータを有するＮ個のパーティクルの集合により状態表現が行われる。第２実施形態の画像処理装置３００は、パーティクルの更新により追跡対象物体の動作を予測し、当該追跡対象物体の位置を推定する。以下ではパラメータとしてパーティクルの位置及び速度を用いる場合について説明する。ｎ番目のパーティクルの位置を（ｘ（ｎ），ｙ（ｎ））とする。またｎ番目のパーティクルの速度を（／ｘ（ｎ），／ｙ（ｎ））とする。ただし、”／”は、変数ｘ、ｙ上部の微分記号・を示す。またｎ番目のパーティクルの位置及び速度をまとめてｚ（ｎ）＝（ｘ（ｎ），ｙ（ｎ），／ｘ（ｎ），／ｙ（ｎ））と表記する。またｎ番目のパーティクルの重みをｗ（ｎ）と表記する。
【００８７】
第２実施形態の画像処理装置３００で使用される分類器の初期学習は、第１実施形態の学習装置１００と同様の順序で行われる。なお第２実施形態で使用される分類器は、線形判別法（第１実施形態参照）、ＳＶＭ（第１実施形態の変形例１参照）、及び、ＡｄａＢｏｏｓｔ（第１実施形態の変形例２参照）のいずれでもよい。また、これら以外の２クラス分類が可能なアルゴリズムを使用することもできる。
【００８８】
また第２実施形態の画像処理装置３００の動作は、第１実施形態の画像処理装置３００と同様であるが、抽出部３２２及び推定部３２４の動作が第１実施形態の画像処理装置３００の動作と異なる。
【００８９】
記憶部３１０は、パーティクルの初期位置及び初期速度を記憶する。パーティクルの初期位置は、学習装置１００で指定されたユーザ指定の追跡位置である。パーティクルの初期速度は０である。
【００９０】
抽出部３２２は、取得部３２１からカレントフレームを受け付けると、当該カレントフレームから複数の第１の部分領域をパーティクルフィルタに基づいて抽出する。抽出部３２２は、例えばＮ個のパーティクル｛ｚ（ｎ）｝Ｎｎ−１から重複を許してＮ個のパーティクルを再サンプリングすることにより、｛ｚ（ｎ）ｔｍｐ｝Ｎｎ−１を取得する。再サンプリングは各パーティクルの重みｗ（ｎ）の比率に応じて行われる。つまり、抽出部３２２は、ｎ番目のパーティクルを次式（８）の確率Ｐｎで選択する。
【００９１】
【数８】
0006613687.tif 000009
【００９２】
そして、抽出部３２２は、次式（９）〜（１２）により、Ｎ個のパーティクル（ｎ＝１，２，…，Ｎ）を更新する。
【００９３】
【数９】
0006613687.tif 000010
【００９４】
【数１０】
0006613687.tif 000011
【００９５】
【数１１】
0006613687.tif 000012
【００９６】
【数１２】
0006613687.tif 000013
【００９７】
ここでΔｔはパラメータであり、ε１，…，ε４は乱数である。抽出部３２２は、１つのパーティクルの位置を示す座標を中心に含む第１の部分領域を抽出する。
【００９８】
推定部３２４は、各パーティクルに対応する第１の部分領域の識別関数値ｈｉを元に重みｗ（ｉ）を算出する。識別関数値ｈｉから重みｗ（ｉ）を算出する式は、識別関数値ｈｉに対してｗ（ｉ）が単調増加する関数を用いることができる。次式（１３）は識別関数値ｈｉから重みｗ（ｉ）を算出する式の例である。
【００９９】
【数１３】
0006613687.tif 000014
【０１００】
ここでα（＞０）はパラメータである。そして、推定部３２４は、ｉ番目の第１の部分領域の中心位置を（ｘｉ，ｙｉ）として、次式（１４）により、追跡対象物体の推定位置を算出する。
【０１０１】
【数１４】
0006613687.tif 000015
【０１０２】
以上により、第２実施形態の画像処理装置３００によれば、パーティクルフィルタに基づく動作予測により追跡対象物体の追跡を行うことができる。第２実施形態の説明では、パーティクルのパラメータとして位置及び速度を用いたが、さらに加速度及び躍度、並びに、第１の部分領域のサイズ及び形状等をパラメータとして付加してもよい。
【０１０３】
第２実施形態の画像処理装置３００によれば、パーティクルフィルタを用いることで、複雑な動作を行う追跡対象物体を少ない処理コストでロバストに追跡することができる。
【０１０４】
最後に第１及び第２実施形態の学習装置１００及び画像処理装置３００のハードウェア構成の例について説明する。
【０１０５】
図７は第１及び第２実施形態の学習装置１００及び画像処理装置３００のハードウェア構成の例を示す図である。第１及び第２実施形態の学習装置１００及び画像処理装置３００は、制御装置４０１、主記憶装置４０２、補助記憶装置４０３、表示装置４０４、入力装置４０５及び通信装置４０６を備える。制御装置４０１、主記憶装置４０２、補助記憶装置４０３、表示装置４０４、入力装置４０５及び通信装置４０６は、バス４１０を介して接続されている。
【０１０６】
制御装置４０１は補助記憶装置４０３から主記憶装置４０２に読み出されたプログラムを実行する。主記憶装置４０２はＲＯＭ及びＲＡＭ等のメモリである。補助記憶装置４０３はメモリカード及びＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等である。
【０１０７】
表示装置４０４は情報を表示する。表示装置４０４は、例えば液晶ディスプレイである。入力装置４０５は、情報の入力を受け付ける。入力装置４０５は、例えばキーボード及びマウス等である。通信装置４０６は他の装置と通信する。
【０１０８】
第１及び第２実施形態の学習装置１００及び画像処理装置３００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。
【０１０９】
また第１及び第２実施形態の学習装置１００及び画像処理装置３００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１及び第２実施形態の学習装置１００及び画像処理装置３００が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
【０１１０】
また第１及び第２実施形態の学習装置１００及び画像処理装置３００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１１１】
第１及び第２実施形態の学習装置１００及び画像処理装置３００で実行されるプログラムは、上述の第１及び第２実施形態の学習装置１００及び画像処理装置３００の機能構成のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。
【０１１２】
プログラムにより実現される機能は、制御装置４０１が補助記憶装置４０３等の記憶媒体からプログラムを読み出して実行することにより、プログラムにより実現される機能が主記憶装置４０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置４０２上に生成される。
【０１１３】
なお第１及び第２実施形態の学習装置１００及び画像処理装置３００の機能の一部又は全部を、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。
【符号の説明】
【０１１４】
１０  記憶部
２０  学習制御部
２１  取得部
２２  指定部
２３  正例取得部
２４  負例取得部
２５  学習部
３０  入力部
４０  表示部
１００  学習装置
３００  画像処理装置
３１０  記憶部
３２０  画像処理部
３２１  取得部
３２２  抽出部
３２３  判定部
３２４  推定部
３２５  正例追加部
３２６  負例追加部
３２７  更新部
【先行技術文献】
【特許文献】
【０１１５】
【特許文献１】特許第５０５２６７０号公報
【特許文献２】特許第５７１９２３０号公報
【非特許文献】
【０１１６】
【非特許文献１】Ｙ．  Ｗｕ，  Ｊ．  Ｌｉｍ，  Ｍ．Ｈ．  Ｙａｎｇ，  “Ｏｂｊｅｃｔ  Ｔｒａｃｋｉｎｇ  Ｂｅｎｃｈｍａｒｋ，”  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  Ｐｒｅ−Ｐｒｉｎｔｓ，  ２０１５．
【非特許文献２】Ｓ．  Ａｖｉｄａｎ，  “Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｔｒａｃｋｉｎｇ，”  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  ｖｏｌ．  ２６，  ｎｏ．  ８，  ｐｐ．  １０６４−１０７２，  ２００４．
【非特許文献３】Ｈ．  Ｇｒａｂｎｅｒ，  ｅｔ  ａｌ．，  “Ｏｎ−ｌｉｎｅ  Ｂｏｏｓｔｉｎｇ  ａｎｄ  Ｖｉｓｉｏｎ，”  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ），  ２００６．
【非特許文献４】Ｂ．  Ｂａｂｅｎｋｏ，  ｅｔ  ａｌ．，  “Ｖｉｓｕａｌ  Ｔｒａｃｋｉｎｇ  ｗｉｔｈ  Ｏｎｌｉｎｅ  Ｍｕｌｔｉｐｌｅ  Ｉｎｓｔａｎｃｅ  Ｌｅａｒｎｉｎｇ，”  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ），  ２００９．
【図１】
0006613687.tif 000016
【図２】
0006613687.tif 000017
【図３】
0006613687.tif 000018
【図４】
0006613687.tif 000019
【図５】
0006613687.tif 000020
【図６】
0006613687.tif 000021
【図７】
0006613687.tif 000022