(57)【要約】  本発明の実施の形態の一例における画像処理装置は、所定の入力領域からスケーリングされたサンプルを生成する、スケール空間生成手段と、前記スケールサンプルから特徴を抽出する、特徴抽出手段と、所定のスケーリングされたサンプルおよび分布のパラメータに関して尤度を最大化することによって、スケーリングされたサンプルの推定確率分布を導出する、尤度推定手段と、モデルパラメータを、スケーリングされたサンプルの正しい分布に基づいて更新する、確率分布学習手段と、過去のいくつかの時点における対象物体の特徴を、前記対象物体の見え方を表す単一のテンプレートに結合する、テンプレート生成手段と、確率が閾値以下となるサンプルを除去する、外れ値除去手段と、所定のテンプレートとスケーリングされたサンプルとの間の類似度を取得し、類度が最大となるサンプルを最終出力として選択する、特徴マッチング手段と、を有する。
2019512821.tif 000002
【特許請求の範囲】
【請求項１】
サンプルを正規化した後に、所定の関心領域で生成された、スケーリング後のサンプルから、特徴を抽出する、特徴抽出部と、
前記スケーリングされたサンプルと確率分布モデルのパラメータとに関する尤度を最大化することによって、前記スケーリングされたサンプルの推定確率スコアを導出する、最尤推定部と、
過去のいくつかの時点における物体とその特徴とを前記物体の外観を表す単一のテンプレートに結合し、推定確率スコアが閾値を下回るサンプルを除去する、推定部と、
所与のテンプレートとスケーリングされたサンプルとの間の類似度を取得し、類似度が最大となるサンプルを最終出力として選択する、特徴マッチング部と、
を備えていることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
更に、スケーリングされたサンプルの分布及び過去のいくつかの時点で得られたテンプレートが与えられた、確率分布モデルのパラメータを更新する、学習部を備えている、
ことを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記最尤推定部は、確率分布モデルによって与えられた分布によってサンプルが生成される確率を求め、このモデルを新たに生成されたスケーリングサンプルに適用し、サンプルの距離に基づいて推定確率スコアを算出する、
ことを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記学習部は、１以上の一連の学習サンプルと、真のサンプルとして与えられ、且つ、過去のいくつかの時点で生成された、テンプレートとによって、確率分布モデルのパラメータを学習する、
ことを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれかに記載の画像処理装置であって、
推定部は、過去のいくつかの時点における物体とその特徴とを物体の外観を表す単一のテンプレートに結合する、
ことを特徴とする画像処理装置。
【請求項６】
（ａ）サンプルを正規化した後に、所定の関心領域で生成された、スケーリング後のサンプルから、特徴を抽出する、ステップと、
（ｂ）前記スケーリングされたサンプルと確率分布モデルのパラメータとに関する尤度を最大化することによって、前記スケーリングされたサンプルの推定確率スコアを導出する、ステップと、
（ｃ）過去のいくつかの時点における物体とその特徴とを前記物体の外観を表す単一のテンプレートに結合する、ステップと、
（ｄ）推定確率スコアが閾値を下回るサンプルを除去する、ステップと、
（ｅ）所与のテンプレートとスケーリングされたサンプルとの間の類似度を取得し、類似度が最大となるサンプルを最終出力として選択する、ステップと、
を有することを特徴とする画像処理方法。  
【請求項７】
請求項６に記載の画像処理方法であって、
（ｆ）スケーリングされたサンプルの分布及び過去のいくつかの時点で得られたテンプレートが与えられた、確率分布モデルのパラメータを更新する、ステップを、更に有する、
ことを特徴とする画像処理方法。
【請求項８】
請求項６または７に記載の画像処理方法であって、
前記（ｂ）のステップにおいて、確率分布モデルによって与えられた分布によってサンプルが生成される確率を求め、このモデルを新たに生成されたスケーリングサンプルに適用し、サンプルの距離に基づいて推定確率スコアを算出する、
ことを特徴とする画像処理方法。
【請求項９】
請求項７に記載の画像処理方法であって、
前記（ｆ）のステップにおいて、１以上の一連の学習サンプルと、真のサンプルとして与えられ、且つ、過去のいくつかの時点で生成された、テンプレートとによって、確率分布モデルのパラメータを学習する、
ことを特徴とする画像処理方法。
【請求項１０】
請求項６〜９のいずれかに記載の画像処理方法であって、
前記（ｃ）のステップにおいて、過去のいくつかの時点における物体とその特徴とを物体の外観を表す単一のテンプレートに結合する、
ことを特徴とする画像処理方法。
【請求項１１】
コンピュータを、
サンプルを正規化した後に、所定の関心領域で生成された、スケーリング後のサンプルから、特徴を抽出する、特徴抽出部、
前記スケーリングされたサンプルと確率分布モデルのパラメータとに関する尤度を最大化することによって、前記スケーリングされたサンプルの推定確率スコアを導出する、最尤推定部、
過去のいくつかの時点における物体とその特徴とを前記物体の外観を表す単一のテンプレートに結合し、推定確率スコアが閾値を下回るサンプルを除去する、推定部、
所与のテンプレートとスケーリングされたサンプルとの間の類似度を取得し、類似度が最大となるサンプルを最終出力として選択する、特徴マッチング部、
として動作させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
請求項１１に記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータを、
更に、スケーリングされたサンプルの分布及び過去のいくつかの時点で得られたテンプレートが与えられた、確率分布モデルのパラメータを更新する、学習部としても機能させる、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１３】
請求項１１または１２に記載のコンピュータ読み取り可能な記録媒体であって、
前記最尤推定部は、確率分布モデルによって与えられた分布によってサンプルが生成される確率を求め、このモデルを新たに生成されたスケーリングサンプルに適用し、サンプルの距離に基づいて推定確率スコアを算出する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１４】
請求項１２に記載のコンピュータ読み取り可能な記録媒体であって、
前記学習部は、１以上の一連の学習サンプルと、真のサンプルとして与えられ、且つ、過去のいくつかの時点で生成された、テンプレートとによって、確率分布モデルのパラメータを学習する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１５】
請求項１１〜１４のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
推定部は、過去のいくつかの時点における物体とその特徴とを物体の外観を表す単一のテンプレートに結合する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特には、追跡中の物体のスケールを推定するための画像処理技術に関する。
【背景技術】
【０００２】
ビデオデータ内の物体追跡は、重要なタスクであり、これには、監視等の多数の用途がある。追跡時の出力は、フレーム毎の物体の状態を示している。物体の状態は、通常、その位置、即ち、ＸＹ座標、スケール（幅、高さ）によって定義される。従来手法の１つは、スケール空間を作成し、最良の位置およびスケールを検索するマルチ解像度追跡である。スケール空間では、再スケーリングおよびローパスフィルタリングによって、関心領域から複数のサンプルが生成される。そして、これらのサンプルは、探索のための追跡アルゴリズムによって使用される。 スコアが最も高いスケールと位置が出力となる。
【０００３】
ロバストな追跡のためには、ドリフトを防止するために、位置とスケールとの両方を推定する必要がある。しかし、殆どの用途では、リアルタイムでトラッキングを行う必要がある。つまり、1つの入力ビデオフレームを処理するのに要する時間を短くする必要がある。このことは、検索可能なサンプル数に制限を設けることになる。
【０００４】
この問題に取り組むために、多くの方法は位置のみを推定し、スケールの変化は重要ではないと仮定している。このため、複数の位置での検索は可能となるが、それは、１スケール、つまり、固定された幅と高さとでの検索となる。従って、リアルタイムのパフォーマンスは、１つのスケールにおいてのみ、異なる場所での検索によって達成される。
【０００５】
スケール推定の方法の１つでは、非特許文献１に開示されているように、相関フィルタが使用される。非特許文献１では、スケール推定は、回帰問題として定式化され、この場合、フィルタはターゲットの外観を用いて学習され、フレーム毎に更新される。回帰問題を解くために、高速フーリエ変換が用いられる。
【０００６】
スケール推定のもう1つの方法では、非特許文献２に開示されているように、潜在サポートベクトルマシン（SVM）が使用される。非特許文献２では、物体のスケールは潜在変数、又は隠れ変数であると仮定され、問題は潜在SVMとして定式化される。最適化の解法は、反復座標上昇法を用いて行われる。
【０００７】
特許文献１では、物体のスケールは、３次元変換パラメータ、即ち、透視投影行列を計算することによって推定される。この方法では、実世界の３次元の点を、カメラ画像における２次元の点に変換するために、透視投影行列か学習される。
【０００８】
特許文献２は、各スケールサンプルでコントラスト対分散比を計算し、最良の近似値として最大値を選択することによって行って行われる、スケール推定を開示している。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許出願公開第２００９／００２８３８４号
【特許文献２】米国特許出願公開第２０１２／０３２８１６１号
【非特許文献】
【００１０】
【非特許文献１】Martin Danelljan, Gustav Hager, Fahad Shahbaz Khan and Michael Felsberg, "Accurate Scale Estimation for Robust Visual Tracking". Proceedings of the British Machine Vision Conference (BMVC), 2014
【非特許文献２】Jin Zhang; Kai Liu; Fei Cheng; Wenwen Ding, "Scale adaptive visual tracking with latent SVM," in Electronics Letters, vol.50, no.25, pp.1933-1934, 12 4 2014
【発明の概要】
【発明が解決しようとする課題】
【００１１】
トラッキングには、複数のスケールにわたる特定の関心領域（ＲＯＩ）内のオブジェクトを検索することが含まれる。従って、追跡アルゴリズムは、少なくとも、探索位置（Ｌ）と標本数（Ｓ）とを掛け算した回数だけ実行しなければならない。物体の動きが速い状況では、関心領域が増加して、‘Ｌ’が増加する。また、スケール変化が大きい場合には、‘Ｓ’もまた大きくなる。このことは、‘Ｓ’又は‘Ｌ’のいずれかが増加すると、アルゴリズムの実行時間も増加することを意味している。これは、アルゴリズムの実行時間に制限があるリアルタイムの用途にとって問題となる。
【００１２】
特許文献１では、位置の推定とスケールの推定との両方に相関フィルタが使用される。フィルタは、線形回帰によって設計され、回帰の出力変数はガウス分布になるように選択される。線形回帰は、高速フーリエ変換を使用して解くことができる。この方法における仮定は、スケールの増加又は減少は同じガウス分布に対応することである。即ち、ガウス分布のピークが正しいスケールに対応する一方で、より小さい又はより大きいスケールは、線対称となっている、ピークのいずれかの側に対応する。この仮定は真実ではない可能性がある。それは、スケールの減少及びスケールの増加が、異なる平均と分散とを持った異なるガウス分布に対応し得るからである。図８は、特許文献１を表示している。特許文献１では、ガウス分布は、入力スケール値に対応する出力回帰変数の値を表している。確認できるように、出力は対称であるが、スケールはそうではないため、この仮定は常に有効というわけではない。
【００１３】
特許文献２に開示された方法は、スケールを潜在変数としてモデル化し、サポートベクトルマシンを用いて結果として得られる最適化問題を解決する。 ビデオ入力の場合、フレームごとにスケールが変更される可能性があるため、このメソッドはフレームごとにモデルを更新する必要があります。 したがって、サポートベクターはすべてのフレームで生成され、理論的には大型ビデオでは非常に大きくなり、リアルタイムシナリオでの使用が困難になります。
【００１４】
特許文献１では、３次元データが２次元データに変換されるので、カメラをキャリブレーションし、現実世界の点の正しいX、Y、Z情報を取得する必要がある。但し、環境へのアクセス又は環境の制御は行われていないので、このことは必ずしも実現できるわけではない。キャリブレーションがなければ、変換を実行するために必要な投影行列を学習することは不可能である。
【００１５】
特許文献２に開示された方法は、様々なスケールでのＲＯＩのコントラスト対分散比を計算する。照明に変化がある場合、又は速い動きによって画像がぼやける場合は、正しいスケールに対応する比率を見つけることは困難となる。
【００１６】
本発明は、上記の問題を解決するために考案されたものである。上述のエンティティに加えて、本発明が克服することができる他の明白かつ明らかな欠点は、詳細な明細書および図面から明らかになるであろう。
【００１７】
本発明の目的は、物体のスケールを正確かつリアルタイムに推定し得る、画像処理装置を提供することにある。
【課題を解決するための手段】
【００１８】
本発明の実施の形態の一例における画像処理装置は、
所定の入力領域からスケーリングされたサンプルを生成する、スケール空間生成手段と、
前記スケールサンプルから特徴を抽出する、特徴抽出手段と、
所定のスケーリングされたサンプルおよび分布のパラメータに関して尤度を最大化することによって、スケーリングされたサンプルの推定確率分布を導出する、尤度推定手段と、
モデルパラメータを、スケーリングされたサンプルの正しい分布に基づいて更新する、確率分布学習手段と、
過去のいくつかの時点における対象物体の特徴を、前記対象物体の見え方を表す単一のテンプレートに結合する、テンプレート生成手段と、
確率が閾値以下となるサンプルを除去する、外れ値除去手段と、
所定のテンプレートとスケーリングされたサンプルとの間の類似度を取得し、類度が最大となるサンプルを最終出力として選択する、特徴マッチング手段と、
を有する。
【００１９】
本発明の一例における画像処理方法は、
所定の入力領域からスケーリングされたサンプルを生成する、スケール空間生成手段と、
前記スケールサンプルから特徴を抽出する、特徴抽出手段と、
所定のスケーリングされたサンプルおよび分布のパラメータに関して尤度を最大化することによって、スケーリングされたサンプルの推定確率分布を導出する、尤度推定手段と、
モデルパラメータを、スケーリングされたサンプルの正しい分布に基づいて更新する、確率分布学習手段と、
過去のいくつかの時点における対象物体の特徴を、前記対象物体の見え方を表す単一のテンプレートに結合する、テンプレート生成手段と、
確率が閾値以下となるサンプルを除去する、外れ値除去手段と、
所定のテンプレートとスケーリングされたサンプルとの間の類似度を取得し、類度が最大となるサンプルを最終出力として選択する、特徴マッチング手段と、
を有する。
【００２０】
本発明の実施の形態の一例におけるコンピュータ読み取り可能な記録媒体は、コンピュータを、
所定の入力領域からスケーリングされたサンプルを生成する、スケール空間生成手段、
前記スケールサンプルから特徴を抽出する、特徴抽出手段、
所定のスケーリングされたサンプルおよび分布のパラメータに関して尤度を最大化することによって、スケーリングされたサンプルの推定確率分布を導出する、尤度推定手段、
モデルパラメータを、スケーリングされたサンプルの正しい分布に基づいて更新する、確率分布学習手段、
過去のいくつかの時点における対象物体の特徴を、前記対象物体の見え方を表す単一のテンプレートに結合する、テンプレート生成手段、
確率が閾値以下となるサンプルを除去する、外れ値除去手段、および
所定のテンプレートとスケーリングされたサンプルとの間の類似度を取得し、類度が最大となるサンプルを最終出力として選択する、特徴マッチング手段、
として機能させるプログラムを記録している。
上記コンピュータ読み取り可能な記憶媒体に格納されたプログラムは、本発明の例示的な態様の１つを実現する。
【発明の効果】
【００２１】
本発明によれば、追跡されている物体のスケールを、正確且つリアルタイムに推定することができる。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明の実施の形態１における画像処理装置１００の構成の一例を示すブロック図である。
【図２】図２は、本発明の実施の形態１における画像処理装置１００の動作の一例を示すフロー図である。
【図３】図３は、本発明の実施の形態１における画像処理装置１００の学習段階での動作の一例を示すフロー図である。
【図４】図４は、物体が顔であるときの関心領域のスケール空間の一例を示す図である。
【図５】図５は、本発明の実施の形態１における画像処理装置１００の推定プロセスを示すフロー図である。
【図６】図６は、本発明の実施の形態２における画像処理装置１００Ａの一例を示すブロック図である。
【図７】図７は、本発明の実施の形態における画像処理装置を実現するためのコンピュータ１００におけるハードウェア構成の一例を示すブロック図である。
【図８】図８は、特許文献１を示す図であり、ガウス分布によって、入力スケール値に対応する出力回帰変数の値が示されている。
【発明を実施するための形態】
【００２３】
上記の技術的問題を解決するために、ここでは全体的なアプローチを要約します。 スケール推定プロセスは、位置推定プロセスから切り離され、追跡プロセスを高速化する。現在のフレーム内の物体の位置が与えられると、いくつかのスケーリングされたサンプルが生成される。これらのサンプルの丈度は、前のフレーム及びテンプレートを用いたパラメータ推定によって学習された、確率分布モデルを使用して評価される。テンプレートは、過去のいくつかの時点において抽出された特徴を用いて生成され、物体の外観を表すために結合される。尤度モデルを使用して、閾値を下回る確率を持った異常値を除去することができる。次に、特徴マッチングを使用して、サンプルのスコアを取得し、最高スコアを持つものを出力として選択する。
【００２４】
本発明によれば、追跡対象のスケールを正確且つリアルタイムに推定することができる。
【００２５】
本発明の別の有利な効果は、特許文献１と異なり、出力スコアとスケーリングされたサンプルとの間の関係には仮定がないことである。特許文献１では、フィルタによって計算されたスコアがスケーリングされたサンプルに関して対称であると仮定される。
【００２６】
本発明の更なる有利な効果は、特許文献２とは異なり、モデルパラメータの更新が、固定されたサイズのベクトル及び行列を含むことである。特許文献２では、サポートベクトルの数は、フレーム毎に増加している。
【００２７】
本発明の更なる有利な効果は、投影行列を計算する必要がなく、従って、キャリブレーション情報を知る必要がないことである。
【００２８】
本発明の別の有利な効果は、照明の変化がスケールの推定に影響を与えないことである。これは、全ての計算には、照明の変化に対して不変である特徴が含まれるからである。
【００２９】
（実施の形態１）
ここで、本発明の実施の形態１について詳細に説明する。
【００３０】
図１は、本発明の実施の形態１における画像処理装置の構成の一例を示すブロック図である。図１に示すように、画像処理装置１００は、入力部１０１と、物体追跡部１０２と、特徴抽出部１０３と、学習部１０４と、モデル格納部１０５と、最尤推定部１０６と、特徴マッチング部１０７と、推定部１０８と、テンプレート格納部１０９と、出力部１１０とを備えている。
【００３１】
入力部１０１は、一連のフレーム即ち、映像、例えば、ビデオのフレーム、静止画像等を、追跡段階で受け取る。入力部１０１は、例えば、学習段階、又は学習段階の前において、一連のフレーム、即ち、学習用のフレームを受信しても良い。以下の説明では、フレーム集合と、フレーム集合内の１フレームとを、それぞれ「画像集合」、「画像」と表記する。学習用のフレーム集合と、学習用のフレーム集合内の学習用の単一のフレームとは、それぞれ、「学習用画像集合」、「学習用画像」と表記する。
【００３２】
物体追跡部１０２は、フレーム内において、幾つかのパーツを含む顔又は他の物体の１つ等の物体の領域を追跡する。以下の説明では、物体追跡部１０２は、フレーム内における顔の領域を追跡する。物体追跡部１０２は、フレーム内の顔の位置、即ち、ｘｙ座標を提供する。
【００３３】
特徴抽出部１０３は、それに提供された関心領域から、特徴を抽出するために使用される。物体追跡部によって提供される位置を用いて、スケーリングされたサンプルが生成される。そして、これらのサンプルは、同じ座標系内に位置するように正規化される。座標は、フレーム内に予め設定された座標系で定義される。最後に、これらのサンプルから特徴が抽出される。これらの特徴は、サンプルからの、エッジ、テクスチャ、カラー及び／又は時間情報の組み合わせとすることができる。
【００３４】
学習部１０４は、１つ以上の一連の学習用のフレーム集合によってモデルを学習する。具体的には、学習部１０４は、学習用のフレーム集合から抽出された特徴量によって、将来のサンプルの尤度を算出するために用いられるモデルを学習する。学習部１０４は、モデルのパラメータ学習の一部として、サンプルの特徴から平均ベクトルおよび共分散行列を計算してもよい。
【００３５】
モデルは、基本的に、スケーリングされたサンプルにおける特徴の分布をキャプチャする。より具体的には、モデルは、イントラクラスの変動が与えられたサンプルの丈度をキャプチャする。イントラクラスの変化は、同じ物体の特徴間で異なっているが、他の物体の特徴によって引き起こされるイントラクラス間の変動は、物体追跡部１０２が既にその位置を与えているので、はずれ値と見なされる。モデル格納部１０５は、任意の入力サンプル上のモデルを評価するために使用される、モデルのパラメータを格納する。
【００３６】
最尤推定部１０６は、モデル格納部１０５に格納されているモデルパラメータを用いて、スケールサンプルの確率を導出する。この確率は、閾値処理によって外れ値を除去するために用いられる。この手順では、特徴で表される物体の外観と一致しないスケールサンプルが除去される。
【００３７】
最尤推定部１０６から渡されたサンプルは、特徴マッチング部１０７に入力される。特
徴マッチング１０７では、サンプルの各特徴は直接マッチングされ、それらの類似度が計算される。特徴マッチング部は、例えば、ヒストグラム交差カーネル、又はガウスカーネルを用いて、サンプルの類似度を算出することもできる。
【００３８】
推定部１０８は、スコアが最も高いサンプルを推定スケール出力として選択する。このスケールでの物体の特徴は、過去のいくつかの時点に組み合わされて線形に見積もられ、これがテンプレートを形成する。テンプレートは、テンプレート格納部１０９に格納される。
【００３９】
出力部１１０は、物体の最終的な出力状態、即ち、位置及びスケールを出力する。出力部１１０は、フレーム上のｘｙ座標で表される位置に、所定のマークを描画し、更に、マークが描画されたフレームの出力において、物体のスケール（幅及び高さ）も描画する。
【００４０】
次に、実施の形態１における画像処理装置１００の動作を、図を参照しながら詳細に説明する。
【００４１】
図２は、本発明の実施の形態１における画像処理装置１００の動作の一例を示すフロー図である。
【００４２】
本発明の実施の形態１における画像処理装置１００の動作は、学習段階と評価段階とに大別することができる。本段落では、本発明の概要を、図２を参照して説明する。また、評価段階について説明する。物体の追跡は、最初のフレームでの物体の検出と、後続の各フレームでの物体の追跡とによって開始される。図２から分かるように、フレームがシステムに入力されると（ステップＳ１０１）、物体追跡ユニット１０２は、過去のいくつかの時点でテンプレート（又はテンプレート特徴）が存在するかどうかを調べる（ステップＳ１０２）。前のテンプレートは、受信したフレームの前のフレームに基づいて推定される。前のテンプレートが存在していない場合（ステップＳ１０２でＮＯの場合）、物体追跡部１０２は、物体を含む受信フレームの一部の領域で検出される、物体の位置を特定する（ステップＳ１０３）。物体追跡部１０２は、一般的なオブジェクトトラッカーの特定の実装であってもよい。検出された物体の領域は、その特徴によって、テンプレートとして表される（ステップＳ１０４）。テンプレートが存在する場合（ステップＳ１０２でＹＥＳの場合）、現フレームを用いて特徴が更新される（ステップＳ１０５）。 テンプレートは、推定処理に用いられる（ステップＳ１０６）。
【００４３】
推定処理の詳細については、図５に沿って詳細に後述する。以下は、推定部の簡単な説明である。推定部は、現在のフレームから生成されたサンプル毎にスコアを算出する。出力スケールは、最大スコアを有するものである。
【００４４】
次に、出力部１１０は、推定されたスケール、即ち、上述した最終出力を出力する（ステップＳ１０７）。画像処理装置１００の処理が終了していない場合（ステップＳ１０８でＮＯの場合）、入力部１０１は、次のフレームを受信する（ステップＳ１０１）。入力装置（図示せず）を介して画像処理装置１００のユーザからの指示により、画像処理装置１００の処理が終了すると（ステップＳ１０８でＹＥＳの場合）、画像処理装置１００は、図２に示す処理を終了する。
【００４５】
次に、実施形態１に係る画像処理装置１００の学習段階における動作について、図面を参照して詳細に説明する。
【００４６】
図３は、本発明の実施の形態１における画像処理１００の学習段階での動作の一例を示すフロー図である。
【００４７】
上述したように、モデルには学習を行う必要がある。 そこで、スケールの推定を適用する前に、学習段階が必要となり、その上で、本実施の形態１では、モデルが学習される。フレームおよび対象の位置が与えられると、ステップＳ２０１で、スケーリングされたサンプルが生成される。これらのサンプルは、物体の位置及び前のフレームのスケールによって与えられた領域の周辺で抽出される。次に、これらのサンプルから、特徴が抽出される（ステップＳ２０２）。抽出される特徴は、ＨＯＧ（Histogram of Oriented Gradients）、ＬＢＰ（Local Binary Patterns）、正規化勾配等である。ステップＳ２０３では、テンプレートが既に存在するか否か、即ち、最初のフレームであるかどうかが確認される。テンプレートが存在しない場合（ステップＳ２０３でＮＯの場合）、このことは最初のフレームであることを意味し、テンプレートを作成する必要がある（ステップＳ２０４）。テンプレートは、トラッカーによって与えられた、現在の位置及びスケールから抽出された特徴で構成されている。テンプレートと、サンプルの特徴とを用いて、モデルパラメータは更新される（ステップＳ２０５）。 このことは、次のようにして行われる。
【００４８】
【数１】
2019512821.tif 000003
【００４９】
数１に示す式において、‘x bar’は、サンプルの平均を示している。また、‘x bar’は 、モデル化に使用される多変量ガウス分布のパラメータの１つである。‘xi’はi番目のサンプルの特徴ベクトルを示し、‘N’はスケーリングされたサンプルの総数を示している。
【００５０】
【数２】
2019512821.tif 000004
【００５１】
数２に示す式において、‘Σ’は、共分散行列であり、‘T’はベクトル転置を意味している。これらの２つの式を使用して、モデルパラメータを更新することができる。また、既に、テンプレートが存在する場合、即ち、ステップＳ２０５でＹＥＳお場合は、以下の式を用いて線形補間により、テンプレートを更新する必要がある（ステップＳ２０６）。
【００５２】
【数３】
2019512821.tif 000005
【００５３】
数３において、‘Ii’は現在のフレームからのテンプレートを示しており、‘Ii-1’は前のフレームからのテンプレートである。 ここで、‘α’は、実験的に選択される減衰係数である。
【００５４】
次に、モデル格納部１０５において、モデルパラメータが格納される（ステップＳ２０７）。
【００５５】
図４は、物体が顔であるときの関心領域のスケール空間の一例を示す図である。関心領域のスケール空間は、学習段階のステップＳ２０１及び評価段階のステップＳ３０１において生成される。
【００５６】
次に、推定処理工程で構成された評価段階について説明する。画像処理装置１００の推定処理について、図５を参照して説明する。
【００５７】
図５は、本発明の実施の形態１における画像処理装置１００の推定処理を示すフロー図である。図５を参照すると、ステップＳ３０１に示したように、スケーリングされたサンプルが生成される。特徴抽出部１０３は、ステップＳ３０２に示しめしたように、サンプルの特徴を取得するために用いられる。テンプレートとスケーリングされたサンプルの特徴が与えられると、最尤推定が実行される（ステップＳ３０３）。これは次のように行われる。
【００５８】
【数４】
2019512821.tif 000006
【００５９】
数４の式は、テンプレートとi番目のスケーリングされたサンプルとの間のサンプル差 ‘Β’を示している。これは、個人差としても知られている。数４によれば、以下の式に示すように、変化のクラス、即ち、個人差‘Ω’が定義される。
【００６０】
【数５】
2019512821.tif 000007
【００６１】
数５に示す式においては、個人差を考慮した個人差の確率Ｐ（β｜Ω）が、多変量正規分布Ｎ（μ，Σ）と定義される。この分布のパラメータは、‘μ’と‘Σ’とによって与えられる。観察の尤度‘β’は、下記のように示される。
【００６２】
【数６】
2019512821.tif 000008
【００６３】
数６に示す式において、‘d’は、特徴ベクトルの次元である。数６を用いることで、サンプルの尤度を得ることができる。次のステップ、即ち、ステップＳ３０４では、いずれの尤度も閾値未満であるかどうかが確認される。外れ値があれば、ステップＳ３０４でＹＥＳとなり、ステップＳ３０５において、異常値が除去され、以降の処理からサンプルが取り除かれる。ステップＳ３０５では、サンプルを除去するために閾値処理が行われる。閾値は経験的に選択される。外れ値が存在しない場合は、ステップＳ３０４でＮＯとなり、ステップＳ３０６にて、最尤のサンプルが出力スケールとして選択され、推定処理が終了する。
【００６４】
次に、ステップＳ３０７において、テンプレートの特徴とサンプルとの間で特徴マッチ
ングが行われる。このマッチングは、交差カーネル、ガウスカーネル、多項式カーネルなどのカーネル法を用いて行われる。
【００６５】
【数７】
2019512821.tif 000009
【００６６】
数７に示した式は、テンプレート‘I’と特徴‘x’との間のマッチングスコア‘s’を与える。ここで、‘d’は、特徴の次元長さであり、‘j’は、次元のインデックスである。次のステップＳ３０８において、最大スコアを有するものが、出力として選択される。本実施の形態１の効果は、物体のスケールを正確且つリアルタイムに推定できることである。
【００６７】
以下、本実施の形態の他の効果について説明する。本実施形態の効果は、特許文献１のように、投影行列を計算する必要がないこと、又は既知の物体の３次元座標を使用する必要がないことである。また、特許文献２のように、コントラスト対分散比を計算する必要がないので、照明を変化させる必要もない。第２に、潜在的なサポートベクトルマシンのような重い最適化技術が必要とされないので、リアルタイムで操作が容易に行える。更に、剛体及び非剛体の形状を容易に追跡することができる。加えて、形状、姿勢及び部品の変更のための模範は不要である。
【００６８】
（実施の形態２）
次に、本発明の実施の形態２について図面を参照しながら詳細に説明する。
【００６９】
図６は、本発明の実施の形態２における画像処理装置１００Ａの一例を示すブロック図である。図６に示すように、画像処理装置１００Ａは、関心領域に基づく画像から特徴を抽出する、特徴抽出部１０３と、個人のバリエーションから与えられる個人差の確率を導出する、最尤推定部１０６と、スケーリングされたサンプルの特徴とテンプレート画像との間の類似性を検出する、特徴マッチング部１０７と、最大の尤度又は類似スコアを有するサンプルを最終出力として選択する、推定部１０８と、を備えている。
【００７０】
実施の形態２は、実施の形態１の第１の効果と同様の効果を有する。この理由は、実施の形態１の第1の効果におけるそれと同様である。
【００７１】
（他の実施の形態）
画像処理装置１００及びおよび画像処理装置１００Ａは、コンピュータとそれを制御するプログラムとを用いて、専用のハードウェアを用いて、又はコンピュータとそれを制御するプログラムと専用のハードウェアとの組合せを用いて、実現することができる。
【００７２】
図７は、上述した画像処理装置１００及び画像処理装置１００Ａを実現可能なコンピュータ１０００のハードウェア構成の一例を示すブロック図である。図７に示すように、コンピュータ１０００は、プロセッサ１００１、メモリ１００２、記憶装置１００３、及びインタフェース１００４を含み、これらは、バス１００６を介して通信可能に接続されている。コンピュータ１０００は、記憶媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３とは、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等の記憶装置であれば良い。記憶媒体１００５は、ＲＡＭ、ハードディスクドライブ等の記憶装置、ＲＯＭ（Read Only Memory）、又は可搬型の記憶媒体等であれば良い。
記憶装置１００３は、記憶媒体１００５として動作することができる。プロセッサ１０００は、メモリ１００２及び記憶装置１００３から、データ及びプログラムを読み出し、メモリ１００２及び記憶装置１００３にデータ及びプログラムを書き込む。プロセッサ１０００は、プロセッサ１０００にフレームを提供するサーバ（図示せず）と、最終的な出力形状が出力される端末（図示せず）等とに、インタフェース１００４を介して接続されている。プロセッサ１０００は、記憶媒体１００５にアクセスすることができる。記憶媒体１００５は、コンピュータ１０００を画像処理装置１００又は画像処理装置１００Ａとして動作させるためのプログラムを格納している。
【００７３】
プロセッサ１０００は、記憶媒体１００５に格納されており、且つ、コンピュータ１０００を、画像処理装置１００又は画像処理装置１００Ａとして動作させる、プログラムを、メモリ１００２にロードする。プロセッサ１０００は、メモリ１００２にロードされたプログラムを実行することによって、画像処理装置１００又は画像処理装置１００Ａとして動作する。
【００７４】
入力部１０１、物体追跡部１０２、特徴抽出部１０３、学習部１０４、最尤推定部１０６、特徴マッチング部１０７、推定部１０８、及び出力部１１０は、専用のプログラムによっても実現できる。この専用のプログラムは、記憶媒体１００５からメモリ１００２にロードされ、上記各部を実現する。プロセッサ１００１は、専用のプログラムを実行する。モデル記憶部１０５、及びテンプレート記憶部１０９は、メモリ１００２及び／又はハードディスク装置等の記憶装置により実現することができる。入力部１０１、物体追跡部１０２、特徴抽出部１０３、学習部１０４、モデル記憶部１０５、最尤推定部１０６、特徴照合部１０７、推定部１０８、テンプレート格納部１０９及び出力部１１０は、上述した各部の機能を実現する専用の回路によって実現することもできる。
【００７５】
最後の点として、本明細書で説明及び図示された、プロセス、技法、及び方法論は、特定の装置に限定されたり、又は関連したり、するものではないことは明らかである。これらは、コンポーネントの組み合わせを使用して実装することもできる。また、本明細書の指示に従って様々なタイプの汎用装置を使用することができる。本発明は、また、特定のセットの例を用いて記述されている。しかし、これらは単なる例示であり、限定的なものではない。例えば、説明されたソフトウェアは、C ++、Java（登録商標）、Python、Perlなどの多種多様な言語で実装されても良い。さらに、本発明の技術の他の実装形態は、当業者には明らかであろう。
【００７６】
本発明は、その例示的な実施形態を参照して具体的に示され、記載されたが、本発明はこれらの実施形態に限定されない。 当業者であれば、特許請求の範囲によって規定される本発明の精神および範囲から逸脱することなく、形態および詳細の様々な変更を行うことができることが理解されよう。
【符号の説明】
【００７７】
１００  画像処理装置
１００Ａ  画像処理装置
１０１  入力部
１０２  物体追跡部
１０３  特徴抽出部
１０４  学習部
１０５  モデル格納部
１０６  最尤推定部
１０７  特徴マッチング部
１０８  推定部
１０９  テンプレート格納部
１１０  出力部
１０００  コンピュータ
１００１  プロセッサ
１００２  メモリ
１００３  記憶装置
１００４  インタフェース
１００５  記憶媒体
１００６  バス
【図１】
2019512821.tif 000010
【図２】
2019512821.tif 000011
【図３】
2019512821.tif 000012
【図４】
2019512821.tif 000013
【図５】
2019512821.tif 000014
【図６】
2019512821.tif 000015
【図７】
2019512821.tif 000016
【図８】
2019512821.tif 000017
【手続補正書】
【提出日】平成30年10月10日(2018.10.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
サンプルを正規化した後に、所定の関心領域で生成された、スケーリング後のサンプルから、特徴を抽出する、特徴抽出部と、
前記スケーリングされたサンプルと確率分布モデルのパラメータとに関する尤度を最大化することによって、前記スケーリングされたサンプルの推定確率スコアを導出する、最尤推定部と、
過去のいくつかの時点における物体とその特徴とを前記物体の外観を表す単一のテンプレートに結合し、推定確率スコアが閾値を下回るサンプルを除去する、推定部と、
所与のテンプレートとスケーリングされたサンプルとの間の類似度を取得し、類似度が最大となるサンプルを最終出力として選択する、特徴マッチング部と、
を備えていることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
更に、スケーリングされたサンプルの分布及び過去のいくつかの時点で得られたテンプレートが与えられた、確率分布モデルのパラメータを更新する、学習部を備えている、
ことを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記最尤推定部は、確率分布モデルによって与えられた分布によってサンプルが生成される確率を求め、このモデルを新たに生成されたスケーリングサンプルに適用し、サンプルの距離に基づいて推定確率スコアを算出する、
ことを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記学習部は、１以上の一連の学習サンプルと、真のサンプルとして与えられ、且つ、過去のいくつかの時点で生成された、テンプレートとによって、確率分布モデルのパラメータを学習する、
ことを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれかに記載の画像処理装置であって、
推定部は、過去のいくつかの時点における物体とその特徴とを物体の外観を表す単一のテンプレートに結合する、
ことを特徴とする画像処理装置。
【請求項６】
（ａ）サンプルを正規化した後に、所定の関心領域で生成された、スケーリング後のサンプルから、特徴を抽出する、ステップと、
（ｂ）前記スケーリングされたサンプルと確率分布モデルのパラメータとに関する尤度を最大化することによって、前記スケーリングされたサンプルの推定確率スコアを導出する、ステップと、
（ｃ）過去のいくつかの時点における物体とその特徴とを前記物体の外観を表す単一のテンプレートに結合する、ステップと、
（ｄ）推定確率スコアが閾値を下回るサンプルを除去する、ステップと、
（ｅ）所与のテンプレートとスケーリングされたサンプルとの間の類似度を取得し、類似度が最大となるサンプルを最終出力として選択する、ステップと、
を有することを特徴とする画像処理方法。  
【請求項７】
請求項６に記載の画像処理方法であって、
（ｆ）スケーリングされたサンプルの分布及び過去のいくつかの時点で得られたテンプレートが与えられた、確率分布モデルのパラメータを更新する、ステップを、更に有する、
ことを特徴とする画像処理方法。
【請求項８】
請求項６または７に記載の画像処理方法であって、
前記（ｂ）のステップにおいて、確率分布モデルによって与えられた分布によってサンプルが生成される確率を求め、このモデルを新たに生成されたスケーリングサンプルに適用し、サンプルの距離に基づいて推定確率スコアを算出する、
ことを特徴とする画像処理方法。
【請求項９】
請求項７に記載の画像処理方法であって、
前記（ｆ）のステップにおいて、１以上の一連の学習サンプルと、真のサンプルとして与えられ、且つ、過去のいくつかの時点で生成された、テンプレートとによって、確率分布モデルのパラメータを学習する、
ことを特徴とする画像処理方法。
【請求項１０】
請求項６〜９のいずれかに記載の画像処理方法であって、
前記（ｃ）のステップにおいて、過去のいくつかの時点における物体とその特徴とを物体の外観を表す単一のテンプレートに結合する、
ことを特徴とする画像処理方法。
【請求項１１】
コンピュータを、
サンプルを正規化した後に、所定の関心領域で生成された、スケーリング後のサンプルから、特徴を抽出する、特徴抽出部、
前記スケーリングされたサンプルと確率分布モデルのパラメータとに関する尤度を最大化することによって、前記スケーリングされたサンプルの推定確率スコアを導出する、最尤推定部、
過去のいくつかの時点における物体とその特徴とを前記物体の外観を表す単一のテンプレートに結合し、推定確率スコアが閾値を下回るサンプルを除去する、推定部、
所与のテンプレートとスケーリングされたサンプルとの間の類似度を取得し、類似度が最大となるサンプルを最終出力として選択する、特徴マッチング部、
として動作させるプログラム。
【請求項１２】
請求項１１に記載のプログラムであって、
前記コンピュータを、
更に、スケーリングされたサンプルの分布及び過去のいくつかの時点で得られたテンプレートが与えられた、確率分布モデルのパラメータを更新する、学習部としても機能させる、
ことを特徴とするプログラム。
【請求項１３】
請求項１１または１２に記載のプログラムであって、
前記最尤推定部は、確率分布モデルによって与えられた分布によってサンプルが生成される確率を求め、このモデルを新たに生成されたスケーリングサンプルに適用し、サンプルの距離に基づいて推定確率スコアを算出する、
ことを特徴とするプログラム。
【請求項１４】
請求項１２に記載のプログラムであって、
前記学習部は、１以上の一連の学習サンプルと、真のサンプルとして与えられ、且つ、過去のいくつかの時点で生成された、テンプレートとによって、確率分布モデルのパラメータを学習する、
ことを特徴とするプログラム。
【請求項１５】
請求項１１〜１４のいずれかに記載のプログラムであって、
推定部は、過去のいくつかの時点における物体とその特徴とを物体の外観を表す単一のテンプレートに結合する、
ことを特徴とするプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明の実施の形態の一例におけるプログラムは、コンピュータを、
所定の入力領域からスケーリングされたサンプルを生成する、スケール空間生成手段、
前記スケールサンプルから特徴を抽出する、特徴抽出手段、
所定のスケーリングされたサンプルおよび分布のパラメータに関して尤度を最大化することによって、スケーリングされたサンプルの推定確率分布を導出する、尤度推定手段、
モデルパラメータを、スケーリングされたサンプルの正しい分布に基づいて更新する、確率分布学習手段、
過去のいくつかの時点における対象物体の特徴を、前記対象物体の見え方を表す単一のテンプレートに結合する、テンプレート生成手段、
確率が閾値以下となるサンプルを除去する、外れ値除去手段、および
所定のテンプレートとスケーリングされたサンプルとの間の類似度を取得し、類度が最大となるサンプルを最終出力として選択する、特徴マッチング手段、
として機能させる。
上記プログラムは、本発明の例示的な態様の１つを実現する。
【国際調査報告】
2019512821.tif 000018