(57)【要約】【課題】画像内の対象または対象の構造部を識別する方法およびシステム。【解決手段】テンプレートのセットを複数の対象部分それぞれに対して作製し、テンプレートを対象部分が存在すると仮定された画像における関心領域に適用する。画像を分析し、それが対象部分を含む確率を判定する。その後、画像における別の関心領域に別のテンプレートを適用し、この関心領域が対応する対象部分に属する確率を判定する。次に、テンプレートを輪郭内に配置し、輪郭が対象または対象の構造部を表す尤度を計算する。他の輪郭についてもこれを計算し、対象または対象の構造部を表す可能性が最も高い輪郭を判定する。方法およびシステムは、マーカレス運動捕捉システムの作製に応用でき、画像処理におけるその他の用途を有する。
2006523878.tif 000002
【特許請求の範囲】
【請求項１】
画像内の対象または対象の構造部を識別する方法において、
テンプレートのセットを作製するステップであって、セットには
複数の所定の対象部分それぞれに対するテンプレートを含み、対象部分が存在すると仮定される画像内の関心領域に前記テンプレートを適用するステップと、
関心領域内の画像ピクセルを分析して、対象部分を含む確率を判定するステップと、
テンプレートのセットから別のテンプレートを画像内の他の関心領域に適用して前記の関心領域が対応する対象部分に属する確率を判定し、輪郭の中にテンプレートを配置するステップと、
輪郭が対象または対象の構造部を表す尤度を計算するステップ、および
他の輪郭を計算し、前記輪郭と比較して対象または対象の構造部を表す可能性が最も高い輪郭を判定するステップとを含むことを特徴とする方法。
【請求項２】
関心領域内のピクセルの座標からテンプレートへの変換を計算することにより、関心領域が対象部分を含む確率を計算することを特徴とする、請求項１に記載の方法。
【請求項３】
前記関心領域を分析するステップは、変換確率領域の前景と背景との間の非類似性を識別するステップを更に含むことを特徴とする、請求項１または２のいずれかに記載の方法。
【請求項４】
前記関心領域を分析するステップは、変換テンプレートの前景の特徴と背景の特徴との間の非類似性の判定に基づいて尤度比を計算するステップを更に含むことを特徴とする、先行請求項のいずれかに記載の方法。
【請求項５】
前記テンプレートは、その中心、２次元または３次元における配向、およびスケールを画像の関心領域に整列させることにより適用されることを特徴とする、先行請求項のいずれかに記載の方法。
【請求項６】
前記テンプレートは、値が対象部分に対応するピクセルを見いだす確率を指示する確率領域マスクであることを特徴とする、先行請求項のいずれかに記載の方法。
【請求項７】
前記確率領域マスクを、訓練画像の分割により推定することを特徴とする、先行請求項のいずれかに記載の方法。
【請求項８】
画像が、無拘束シーンであることを特徴とする、先行請求項のいずれかに記載の方法。
【請求項９】
輪郭が対象または対象の構造部を表す尤度を計算するステップは、各対象部分の尤度比を計算するステップと、前記尤度比の積を計算するステップとを含むことを特徴とする、先行請求項のいずれかに記載の方法。
【請求項１０】
前記輪郭が対象を表す尤度を計算するステップは、対象部分テンプレートの空間関係を判定するステップを含むことを特徴とする、先行請求項のいずれかに記載の方法。
【請求項１１】
前記対象部分テンプレートの空間関係を判定するステップは、輪郭を分析して、対をなす対象部分テンプレート間の共通境界を識別するステップを含むことを特徴とする、請求項１０に記載の方法。
【請求項１２】
前記対象部分テンプレートの空間関係を判定するステップは、類似特性を有する対象部分の識別およびそれらを対象部分テンプレートのサブセットとして定義することを要求することを特徴とする、請求項１１に記載の方法。
【請求項１３】
前記輪郭が対象または対象の構造部を表す尤度を計算するステップは、物理的に接続している対象部分のリンク値を計算することを含むことを特徴とする、先行請求項のいずれかに記載の方法。
【請求項１４】
前記輪郭を比較するステップは、対象部分を繰り返し組み合わせるステップと、本体部分のより大きな輪郭を推測するステップとを含むことを特徴とする、先行請求項のいずれかに記載の方法。
【請求項１５】
対象は、ヒトまたは動物の本体であることを特徴とする、先行請求項のいずれかに記載の方法。
【請求項１６】
画像内の対象または対象の構造部を識別するシステムであって、システムには
複数の所定の対象部分それぞれに対するテンプレートを含み、対象部分が存在すると仮定される画像内の関心領域に前記テンプレートを適用するテンプレートのセット、
関心領域が対象部分を含む確率を判定する分析手段、
適用されたテンプレートを輪郭内に配置することができる構成手段、
複数の輪郭に対して、輪郭が対象または対象の構造部を表す尤度を計算する計算手段、および
輪郭を比較し、対象または対象の構造部を表す可能性が最も高い輪郭を判定する比較手段を含む前記システム。
【請求項１７】
前記システムは、分析用の画像を提供できる画像化手段を更に含むことを特徴とする、請求項１６に記載のシステム。
【請求項１８】
前記画像化手段は、スチールカメラまたはビデオカメラであることを特徴とする、請求項１７に記載のシステム。
【請求項１９】
前記分析手段に、変換確率領域の前景および背景の間の非類似性を識別するための手段が備わっていることを特徴とする、請求項１６から１８のいずれかに記載のシステム。
【請求項２０】
前記分析手段は、関心領域内にあるピクセルの座標からテンプレートへの変換を計算することにより、関心領域が対象部分を含む確率を計算することを特徴とする、請求項１６から１９のいずれかに記載のシステム。
【請求項２１】
前記分析手段は、変換テンプレートの前景の特徴および背景の特徴との間の非類似性の判定に基づいて尤度比を計算することを特徴とする、請求項１６から２０のいずれかに記載の方法。
【請求項２２】
前記テンプレートは、その中心、配向（２次元または３次元における）、およびスケールを画像の関心領域に整列させることにより適用されることを特徴とする、請求項１６から２１のいずれかに記載のシステム。
【請求項２３】
前記テンプレートは、値が本体部分に対応するピクセルを見いだす確率を指示する確率領域マスクであることを特徴とする、請求項１６から２２のいずれかに記載のシステム。
【請求項２４】
前記確率領域マスクを訓練画像の分割により推定することを特徴とする、請求項１６から２２のいずれかに記載のシステム。
【請求項２５】
前記画像は、無拘束シーンであることを特徴とする、請求項１６から２４のいずれかに記載のシステム。
【請求項２６】
前記計算手段は、各対象部分に対する尤度比を計算し、前記尤度比の積を計算することを特徴とする、請求項１６から２５のいずれかに記載のシステム。
【請求項２７】
前記輪郭が対象を表す前記尤度は、対象部分テンプレートの空間関係を判定するステップを含むことを特徴とする、請求項２６に記載のシステム。
【請求項２８】
前記対象部分テンプレートの空間関係を、輪郭の分析により計算して、対をなす対象部分テンプレートの間の共通境界を識別することを特徴とする、請求項２７に記載のシステム。
【請求項２９】
前記対象部分テンプレートの空間関係を、類似の特性を有する対象部分を識別すること、およびこれらを対象部分テンプレートのサブセットとして定義することにより判定することを特徴とする、請求項２８に記載のシステム。
【請求項３０】
前記計算手段は、物理的に接続している対象部分のリンク値を計算できることを特徴とする、先行請求項のいずれかに記載のシステム。
【請求項３２】
前記計算手段は、本体部分のより大きな輪郭を予測するために対象部分を繰り返し組み合わせることができることを特徴とする、請求項１６から３１のいずれかに記載のシステム。
【請求項３３】
前記対象は、ヒトまたは動物の本体であることを特徴とする、請求項１６から３２のいずれかに記載の方法。
【請求項３４】
前記コンピュータに、請求項１から１５のいずれかの方法を実行させるためのプログラム命令を含むことを特徴とする、コンピュータ・プログラム。
【請求項３５】
前記コンピュータ・プログラムは、コンピュータ可読媒体に組み入れられていることを特徴とする、請求項３４に記載のコンピュータ・プログラム。
【請求項３６】
その上に、請求項１から１５のいずれかの方法をコンピュータに実行させるためのコンピュータ実行可能命令を含むコンピュータ・プログラムを有するキャリア。
【請求項３７】
請求項１６から３３のいずれかに記載の、画像中の対象または対象の構造部を識別するための画像化手段およびシステムを含む、マーカレス運動捕捉システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止写真やフイルム等の画像から対象ポーズを判定する方法とシステムに関する。特に、本発明は、無拘束の画像特徴を有する実在の画像から本体、特にヒトの身体のポーズをユーザーが詳細に推定できるように設計される。
【背景技術】
【０００２】
ヒトの身体の場合、ヒトの外観における大きなバラツキのために、ポーズ情報を得るのは困難な作業である。バラツキの原因は、スケール、視点、表面テクスチャ、照明、自己オクルージョン、対象オクルージョン、身体構造と衣服の形状を含む。これら多数の複雑な因子に対応するために、従来技術では、この形状モデル上の点を画像計測と結びつける高レベル手作り形状モデルを使用することが一般的である。スコアを計算し、最良のソリューションを見付けるための調査を行って、身体のポーズを判定できる。
【０００３】
第二の方法は、身体部分を識別し、これらを最良の輪郭に組み立てる。この方法は自己オクルージョンをモデル化しない。両方法は、パラメータ化された部分の定数に依存する傾向がある。更に、多数のヒトのポーズの推定法は、錐体や球体等の剛体の幾何学的プリミティブを使用して、身体部分をモデル化する。
【０００４】
更に、既存の方法は、前景と背景の特徴の間のエッジを検出することにより、画像内で本体部分が位置する前景とシーンの他部分を含む背景との間の境界を識別する。
【０００５】
一連の画像を通して本体のポーズをフレーム毎の基準で追跡する場合、あらゆる次元のポーズ空間において画像の局所的なサンプリングを使用する。この方法は通常、手動での初期化を必要とし、著しいトラッキングエラーから回復できない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、画像内における既定の対象(対象ポーズ)部分の相対位置を識別する改良された方法とシステムを供給し、この識別を使用して多数の技術応用分野で画像を分析することである。
【課題を解決するための手段】
【０００７】
本発明の第一の視点に従って、画像内の対象または対象の構造部を識別する方法を備え、その方法とは
テンプレートのセットを作製するステップであって、セットには
複数の所定の対象部分それぞれに対するテンプレートを含み、対象部分が存在すると仮定される画像内の関心領域に前記テンプレートを適用するステップと、
関心領域内の画像ピクセルを分析して、対象部分を含む確率を判定するステップと、
テンプレートのセットから別のテンプレートを画像内の他の関心領域に適用して前記の関心領域が対応する対象部分に属する確率を判定し、輪郭の中にテンプレートを配置するステップと、
輪郭が対象または対象の構造部を表す尤度を計算するステップ、および
他の輪郭を計算し、前記輪郭と比較して対象または対象の構造部を表す可能性が最も高い輪郭を判定するステップとを含む。
【０００８】
望ましくは、関心領域内のピクセルの座標からテンプレートへの変換を計算することにより、関心領域が対象部分を含む確率を計算する。
【０００９】
望ましくは、前記関心領域を分析するステップは、テンプレートの前景と背景との間の非類似性を識別するステップを更に含む。
【００１０】
望ましくは、前記関心領域を分析するステップは、変換テンプレートの前景の特徴と背景の特徴との間の非類似性の判定に基づいて尤度比を計算するステップを更に含む。
【００１１】
望ましくは、前記テンプレートは、その中心、２次元または３次元における配向、およびスケールを画像の関心領域に整列させることにより適用される。
【００１２】
望ましくは、前記テンプレートは、値が対象部分に対応するピクセルを見いだす確率を指示する確率領域マスクである。
【００１３】
随意的に、前記確率領域マスクを、訓練画像の分割により推定する。
随意的に、マスクはバイナリマスクである。
【００１４】
望ましくは、画像は無拘束シーンである。
望ましくは、輪郭が対象または対象の構造部を表す尤度を計算するステップは、各対象部分の尤度比を計算するステップと、前記尤度比の積を計算するステップとを含む。
【００１５】
望ましくは、前記輪郭が対象を表す尤度を計算するステップは、対象部分テンプレートの空間関係を判定するステップを含む。
【００１６】
望ましくは、前記対象部分テンプレートの空間関係を判定するステップは、輪郭を分析して、対をなす対象部分テンプレート間の共通境界を識別するステップを含む。
【００１７】
随意的に、前記対象部分テンプレートの空間関係を判定するステップは、類似特性を有する対象部分の識別およびそれらを対象部分テンプレートのサブセットとして定義することを要求する。
【００１８】
望ましくは、前記輪郭が対象または対象の構造部を表す尤度を計算するステップは、物理的に接続している対象部分のリンク値を計算することを含む。
【００１９】
望ましくは、前記輪郭を比較するステップは、対象部分を繰り返し組み合わせるステップと、本体部分のより大きな輪郭を推測するステップとを含む。
【００２０】
望ましくは、対象はヒトまたは動物の本体である。
本発明の第二の視点に従って、画像内の対象または対象の構造部を識別するシステムを備え、システムには
複数の所定の対象部分それぞれに対するテンプレートを含み、対象部分が存在すると仮定される画像内の関心領域に前記テンプレートを適用するテンプレートのセット、
関心領域が対象部分を含む確率を判定する分析手段、
適用されたテンプレートを輪郭内に配置することができる構成手段、
複数の輪郭に対して、輪郭が対象または対象の構造部を表す尤度を計算する計算手段、および
輪郭を比較し、対象または対象の構造部を表す可能性が最も高い輪郭を判定する比較手段を含む。
【００２１】
望ましくは、前記システムは、分析用の画像を提供できる画像化手段を更に含む。
更に望ましくは、前記画像化手段は、スチールカメラまたはビデオカメラである。
【００２２】
望ましくは、前記分析手段に、テンプレートの前景および背景の間の非類似性を識別するための手段が備わっている。
【００２３】
望ましくは、前記分析手段は、関心領域内にあるピクセルの座標からテンプレートへの変換を計算することにより、関心領域が対象部分を含む確率を計算する。
【００２４】
望ましくは、前記分析手段は、変換テンプレートの前景の特徴および背景の特徴との間の非類似性の判定に基づいて尤度比を計算する。
【００２５】
望ましくは、前記テンプレートは、その中心、配向（２次元または３次元における）、およびスケールを画像の関心領域に整列させることにより適用される。
【００２６】
望ましくは、前記テンプレートは、値が対象部分に対応するピクセルを見いだす確率を指示する確率領域マスクである。
【００２７】
随意的に、前記確率領域マスクを訓練画像の分割により推定する。
随意的に、マスクはバイナリマスクである。
【００２８】
望ましくは、前記画像は無拘束シーンである。
望ましくは、前記計算手段は、各対象部分に対する尤度比を計算し、前記尤度比の積を計算する。
【００２９】
望ましくは、前記輪郭が対象を表す前記尤度は、対象部分テンプレートの空間関係を判定するステップを含む。
【００３０】
望ましくは、前記対象部分テンプレートの空間関係を、輪郭の分析により計算して、対をなす対象部分テンプレートの間の共通境界を識別する。
【００３１】
望ましくは、前記対象部分テンプレートの空間関係を、類似の特性を有する対象部分を識別すること、およびこれらを対象部分テンプレートのサブセットとして定義することにより判定する。
【００３２】
望ましくは、前記計算手段は、物理的に接続している対象部分のリンク値を計算できる。
【００３３】
望ましくは、前記計算手段は、本体部分のより大きな輪郭を予測するために対象部分を繰り返し組み合わせることができる。
【００３４】
望ましくは、前記対象はヒトまたは動物の本体である。
本発明の第三の視点に従って、前記コンピュータに、本発明の第一の視点の方法を実行させるためのプログラム命令を含むコンピュータ・プログラムを備える。
【００３５】
望ましくは、前記コンピュータ・プログラムは、コンピュータ可読媒体に組み入れられている。
【００３６】
本発明の第四の視点に従って、本発明の第一の視点の方法をコンピュータに実行させるためのコンピュータ実行可能命令を含むコンピュータ・プログラムを有するキャリアを備える。
【００３７】
本発明の第五の視点に従って、本発明の第二の視点の画像中の対象または対象の構造部を識別するための画像化手段およびシステムを含む、マーカレス運動捕捉システムを備える。
【発明を実施するための最良の形態】
【００３８】
本発明を、添付の図を参照して一例として記述する。
本発明は画像内の本体等の対象を識別する方法とシステムを供給する。この結果を達成するために使用する技術は、典型的に、コンピュータハードウェアとソフトウェアの組合せである。
【００３９】
図１ａは、本発明の実施例の流れ図を示し、対象の位置、この例ではシーン内のヒトの身体、を識別するために無拘束シーンの静止写真を分析する。
【００４０】
最初に、標準の写真技法またはデジタル写真を使用して画像を形成し（３）、画像を本発明の方法で動作するコンピュータ・システムに転送する（５）。「以前の輪郭」は、既知の以前の本体のポーズ、またはヒトがゴルフのスイングをする前にとる基本スタンス等の身体のポーズに対する既知の拘束に基づく、予想される本体の輪郭に関するデータである。このデータを、本体のポーズの全体的な分析を支援することに使用できる。
【００４１】
既知の種類の輪郭仮説生成器は形成された輪郭１０を形成する。尤度モジュール１１はスコアまたは尤度１４を形成し、これは輪郭仮説生成器９にフィードバックされる。ポーズ仮説を形成し、典型的に最良のポーズであるポーズ出力が選択される。
【００４２】
図１ｂは尤度生成器の動作をより詳細に示す。幾何学的分析モジュール１４を、輪郭の各部分に対するマスクを見付け、輪郭を使用して部分のマスクから画像への各部分の変換を判定して、この変換を反転することにより、本体部分の幾何学形状を分析するのに使用する。
【００４３】
外観構築モジュール１６を、画像内のピクセルを以下の方法で分析するのに使用する。画像内の全ピクセルに対して、逆変換を使用して各部分のマスクに対応する位置を見付け、マスクからの確率を使用してその画像位置における画像特徴を特徴分布に加える。
【００４４】
外観評価モジュール１８を、単一部分の尤度を得るために各部分に対する前景と背景の特徴分布を比較するのに使用する。対称尤度を得るために前景分布を各対称部と比較する。合計尤度を得るためにキューを結合する。
【００４５】
本発明の上記の実施例を実施する方法の詳細を、図２〜９を参照しながら説明する。
多数の各本体部分の形状を以下の方法でモデル化する。ｉ（ｉは１〜Ｎ）で示す本体部分を、単一の確率領域テンプレート、Ｍiを使用して表す。Ｍiは、形状の実例を正確に再構築しようとしない、部分の形状の不確定性を表す。この方法により、対象がゆったりとした衣服を身に着ける等、被覆で形状が不明瞭な場合に、身体部分の形状の効率的なサンプリングが可能となる。
【００４６】
位置（ｘ，ｙ）における画像内のピクセルが仮定された本体部分ｉに属する確率は、Ｍi（Ｔi（ｘ，ｙ））で算出できる。ここで、Ｔiは、画像座標からテンプレートまたは部分の中央（ｘｃ、ｙｃ）、画像面回転Ｑ、伸びｅとスケールｓにより判定されるマスク座標への一次変換である。伸びパラメータはテンプレートのアスペクト比を変更し、部分軸の一つの深さ回転を概算することに使用される。
【００４７】
テンプレート内の確率は、伸びが最大（すなわち部分の長軸が像面に対して平行な状態）である、訓練用画像の手動分割によって得るバイナリマスク形式の形の実例から推定される。これら訓練用の実例を、その中心、配向、およびスケールを明確にすることにより整列させる。非パラメータ化されたポーズのバラツキは無視され、状態空間の規模の減少は許容される。特に、各脚の長軸周辺の回転は、これら回転が観察困難なため無視される。テンプレートはその短軸周辺に対称になるように制約される。
【００４８】
図２ａ（i）〜（viii）は、ヒトの身体部分のマスクを有するテンプレートを示す。図２ａ（i）は頭部のマスク、図２ａ（ii）は胴体のマスク、図２ａ（iii）は上腕のマスク、図２ａ（iv）は前腕のマスク、図２ａ（v）は手のマスク、図２ａ（vi）は上肢のマスク、図２ａ（vii）は下肢のマスク、図２ａ（viii）は足のマスクである。
【００４９】
この例では、上腕と前腕および脚部分は、単一テンプレートを使用することにより合理的に表される。この減少した数のマスクにより、サンプリング効率を大きく改善できる。
【００５０】
図２ｂ（i）〜（iii）は得られた確率領域テンプレートを示す。図２ｂ（i）は頭部マスクを示し、図２ｂ（ii）は胴体マスクを示し、図２ｂ（iii）はこの例に使用される脚マスクを示す。
【００５１】
衣服の変更と身体の独自性による３次元の形状のバラツキ（i）、長軸周辺の深さ回転（ii）、および訓練画像の配列と手動分割における不正確さ（iii）のために、これらテンプレートに不確定な領域が存在する。
【００５２】
画像内における本体部分を検出するために、図３に図解したように、変換確率領域の前景外観と背景外観との間の非類似性が判定される。これら外観は、強度と色度画像特徴の確率密度関数（ＰＤＦ）として表され、結果として３次元の確率分布が生じる。
【００５３】
一般的に、局所フィルタ応答が外観を表すのに使用される。テクスチャがしばしば多モード分布になるので、各ＰＤＦはヒストグラムとして符号化される（位置は無視される）。本体部分が小さく表示されるシーンに対し、混合ガウス分布モデル等のセミパラメトリック密度推定方法を使用する。
【００５４】
Ｆiで示す、部分ｉの前景外観ヒストグラムは、Ｍi（Ｔi（ｘ，ｙ））に比例する部分の支援領域から画像特徴を付け加えることにより、形成される。同様に、隣接背景の外観分布Ｂiは、１−Ｍi（Ｔi（ｘ，ｙ））に比例する特徴を付け加えることにより推定される。
【００５５】
前景外観は、正しくない輪郭（ｏｎで示す）よりも正しい輪郭（ｏｎで示す）の場合に、より背景外観に類似しない。従って、方程式（１）によるＢｈａｔｔａｃｈａｒｙａ測定(確率密度関数の発散の測定)のＰＤＦは、ｏｎおよびｏｎの輪郭に対して得られる。
【００５６】
ｏｎ分布は、オクルージョンも重複も無い部分に対して確率領域テンプレートを整列させるために変換パラメータを特定して得るデータから、推定される。ｏｎ分布は、屋外および屋内のシーンのサンプル画像以外においてランダム配列を起こすことにより、推定される。
【００５７】
ｏｎ  ＰＤＦはガウス分布によって適切に表される。方程式（２）はｏｎ分布およびｏｎ分布の比率としてＳＩＮＧＬＥiを規定する。これは、単一の本体部分の輪郭を得点するのに使用され、図３に描画される。
【００５８】
【数１】
2006523878.tif 000003
【００５９】
図４ａは頭部テンプレートのｏｎ部分輪郭およびｏｎ部分輪郭用の前景外観と背景外観の確率密度を比較するグラフであり、図４ｂは結果として生じた尤度比の対数グラフである。ｏｎ分布およびｏｎ分布用の確率密度分布が良好に分離しているということが、図３ａから明白である。
【００６０】
本発明により、隣接する領域と隣接しない領域を規定することで本体部分の判別を強化できる。
【００６１】
単一の本体部分の検出は、背景外観が前景外観と異なる可能性が最も高い位置を見分けることにより改良できる。例えば上腕の検出時に、衣服の構造により、腕の付け根周辺の隣接する背景領域はしばしば前景外観に類似する。このため、提案されたヒストグラムモデルは、位置に対する外観を無視し、この情報を最適に使用しない。
【００６２】
判別を促進するために、隣接する領域用と隣接しない領域用の二つの個別の隣接背景ヒストグラムを構築する。このモデルでは、隣接しない領域の外観は前景外観に対して隣接する領域の外観よりも類似しないと見込まれる。
【００６３】
隣接する領域と隣接しない領域はハード閾値を規定することにより訓練中に手動で特定できる。代案として、確率方法を使用して、低次元のモデルを得るために隣接する部分の間の相対ポーズを無視して領域を推定することができる。
【００６４】
隣接する領域からの情報の使用は、本体部分のボトムアップ識別を必要とする場合、特に有益である。
【００６５】
図５ａ〜５ｃは、本発明を用いた（図５ｂ）、および従来の方法を用いた（図４ｃ）、部分検出を目的として分析される画像のセット（図５ａ）を示す。図５ａは屋外および屋内環境の代表的な画像を縦に並べたものであり、図５ｂは本体部分が存在する尤度が最も高い部分を示している、マスクまたはテンプレートからの正の対数尤度の投影を縦に並べたものであり、図５ｃは従来のエッジベースモデルによる正の対数尤度の投影を縦に並べたものである。
【００６６】
縦図５ｂは、有意な背景情報またはクラッタを含む典型的な画像に式（２）を用いて計算した尤度比の投影を示す。図５ｂの最上段の画像は、頭部に関する応答を示しているが、残り２つの画像は垂直方向の肢フィルタの応答を示している。
【００６７】
本発明の技術は高い判別能力を持ち、従来のシステムに比べ疑似最大点の発生が比較的少ない。画像は各種カメラを用いて取得し、いくつかはノイズの多い色信号を伴うが、システムパラメータは全ての試験画像に対し固定されていた。
【００６８】
他の方法と比較するために、仮定された部分の境界とエッジ応答とを比較して得た応答を計算した。これらを図５ｃに示す。前景および背景の輪郭に関して有意なエッジ応答の配向を習得し（確率領域テンプレートの導関数を用いて）、独立事象として処理し、スケールに対し標準化した。コントラスト標準化は用いなかった。他の公式化（例えば平均化）は、対象シーンについて劣っていることが証明された。この方法を用いた応答は、明らかに判別能力が劣っていた。
【００６９】
図６ａおよび６ｂは、頭部に関する、本発明および先行技術であるエッジベース尤度系を用いて獲得した尤度比の、対数の空間の変化を比較する。図６ａおよび６ｂでは、正しい位置は共に中心であり、垂直線２５で示している。図６ａおよび６ｂの水平線２７は、対象が頭部でないよりはむしろ頭部であるらしいことの基準である、１より大きい尤度比を表している。図６ａおよび６ｂの比較から明らかなように、図６ｂは尤度が１より大きな位置が多数あるのに対し、図６ａでは尤度が１より大きな位置は１カ所のみ発生している。
【００７０】
エッジ応答は、本体部分の正しい位置を指示するが、疑似の正の尤度比が大きい。本発明に用いた部分尤度計算は、費用はより多くかかるものの、判別能力に非常に優れており、結果としてポーズ探索実行時に必要となるサンプルが少なくなり、全体としての計算処理能力に利益をもたらすことになる。更に、集められた前景ヒストグラムは、以下に記載するように、他の尤度計測に役立てることができる。
【００７１】
単一の本体部分の尤度は、誤って正となることが多いため、本発明では本体部分間のより高次な関係をコード化して、判別能力を改善している。これは前景の外観の中にある構造の期待値および本体部分の空間関係をコード化することで達成される。
【００７２】
１より多い本体部分を含む輪郭は、上記の確率領域法を外挿することで表すことができる。自己オクルージョンに対応するために、ポーズ空間は、共通のスケールパラメータｓを共有する部分を持つ確率領域を、深度順序付けセットＶによって表す。これらを一つにして、テンプレートは、特定の画像の特徴が特定部分の前景または背景に属する確率を判定する。より具体的には、位置（ｘ，ｙ）にある画像の特徴が部分ｉの前景外観に属する確率は、Ｍi（Ｔi（ｘ，ｙ））×Πｊ（Ｔj（ｘ，ｙ））で表され、このときｊは近くにある、例示された部分を標識付けする。
【００７３】
それゆえに、対を成す本体部分のリストが特定され、Πｋ（１−Ｍｋ（Ｔｋ（ｘ，ｙ））によって重み付けされた特徴から背景外観のヒストグラムを構築するが、このときｋは、ｉおよびｉと対を成すものを除いた全ての例示された部分を標識付けする。
【００７４】
このようにすれば、単一の画像の特徴を、複数の部分の前景および隣接する背景外観に役立てることができる。前景または隣接する背景ヒストグラムを予想するのに十分なデータが得られない場合は（領域閾値を用いて判定したとき）、対応する尤度比は１に設定される。
【００７５】
部分間の拘束を定義するために、部分ｉおよびｊが物理的に接続した近傍部分であるとき、そのときに限り、それら部分にリンクを導入する。各部分は、それをその近傍部分にリンクする制御点のセットを有する。リンクは、次式で表される関連値ＬＩＮＫi,jを有する：
【００７６】
【数２】
2006523878.tif 000004
【００７７】
式中δi,jは、対の制御点の間の画像間隔であり、Δi,jは最大無ペナルティー間隔であり、σはペナルティーの強さと関係する。近傍部分が直接リンクしていない場合、介在部分が例示されないため、無ペナルティー間隔は、完成した鎖全体の無ペナルティー間隔から推測して見いだされる。これは、両端にスプリングの付いた伸縮ロッドに等しい、部分間に働く力と類似であると解釈できる。
【００７８】
システムの単純化の特徴は、本体部分のある対は、互いに類似した前景外観を持つと期待できることである。例えばヒトの左上腕は、ほぼ常にヒトの右上腕に類似した色および質感を持つであろう。本発明のシステムでは、肢はそれらの対向する部分と対をなす。この知識をコード化するために、対をなす部分と対をなさない部分の、前景外観ヒストグラム間の発散（式（１）を用いて計算する）のＰＤＦが学習される。
【００７９】
式（４）は得られた尤度比を示し、図７ａおよび７ｂは、この比をグラフにして示している。図７ａは、対をなす輪郭と対をなさない輪郭に関する、前景と外観の類似度について学習したＰＤＦのグラフを示す。得られた尤度比の対数を図７ｂに示す。対をなす輪郭ほど、類似する確率が高いことが分かる。
【００８０】
図８は、この比の代表的な画像投影を示しており、またこの技術が高い判別能力を有することを示している。もし一方の肢を高い信頼度で見いだすことができれば、可能な輪郭が限定されて、誤った大きな組み立ての尤度を下げるのに役立つ。
【００８１】
【数３】
2006523878.tif 000005
【００８２】
尤度比を学習することにより、各種のキューを法則化して融合すること、および各種の仮定された輪郭を法則化して比較することが可能となる。個々の尤度比は、個々の尤度比が相互に独立しているものとして取り扱うことで、一つに結合される。全体の尤度比は、式（５）で与えられる。これは正確度の低い寸法輪郭に、より正確度の高い寸法輪郭を与える。
【００８３】
【数４】
2006523878.tif 000006
【００８４】
上式から明らかなように、本発明は、別々に仮定された輪郭に異なる数の部分を持たせることができ、更にそれらを比較して、どちらの（部分）輪郭が、与えられた像の証拠を示しているか決定できるようにする。
【００８５】
推定輪郭の中にある部分は、直接物理的に接続していなくともよい（例えば推定輪郭は、他の部分が遮蔽されているか、またはそれらの境界線が画像から容易に読みとれないために、与えられたシーンでは下肢、腕および頭部から構成されている可能性がある）。
【００８６】
本発明と共に使用できるサンプリング計画の例を以下に記載する。
頭部および肢の画像を、おおざっぱに、標準的にスキャンし、次にその結果を局所的に最適化する。得られた分布から部分輪郭をサンプリングして、結合し、より大きな輪郭を作り、次にそれを一定時間、全次元ポーズ空間の中で最適化する。
【００８７】
パラメータ化の柔軟性により、遺伝的な形態の組合せ、予測、局所調査、並び替えおよび再分類といった最適化の方法のセットを、スケジューリングアルゴリズムおよび共通サンプル集合を用いて結合し、迅速で、強固で、包括的で、高次元のポーズ推定を行うことができる。
【００８８】
図９は部分ポーズの輪郭の調査結果を示す。白線３１、３３、３５、３７、３９、４１、４３、４５、４７および４９で囲まれた領域は、これらポーズの輪郭を識別する。この例では部分間のリンクは視覚化されていないが、これらの結果は別々に検出された部分とは対照的に、部分間を接続したポーズの輪郭の推定を表す。モデルのスケールは固定され、伸びパラメータは０．７を越すように拘束された。
【００８９】
上記の本発明のシステムは、実在の画像におけるヒトのポーズの詳細で効率的な推定を可能にする。
【００９０】
発明は、部分（低次元の）解の表示と比較を可能にして他の対象オクルージョンをモデル化する公式（i）、および効率的な本体部分の検出を可能にする確率領域に基づく高い判別能力を有する尤度（ii）を提供する。
【００９１】
尤度は、仮定された部分の前景外観と、隣接する背景外観との間にある違いにのみ依存している。本発明は、シーン特有の背景モデルを利用せず、本発明自体が一般的で無拘束シーンに適用できる。
【００９２】
システムは、単一の単眼画像の中にヒトのポーズを見つけ出して、推定するのに用いることができる。他の例では、本発明は、事前に他の画像から送られた一時的なポーズを順番通りに組み合わせることによって、連続する画像の中でヒトを追跡するのに用いることができる。この例では、部分的または全体的なオクルージョンの後、または別の理由によって特定の身体部分の追跡に一時的に失敗した後、その身体部分の追跡を再初期化することができる。
【００９３】
更なる態様では、本発明は、マルチカメラシステムにおいて使用することにより、同時に捕捉した複数の風景からヒトのポーズを推定できる。
【００９４】
画像内の本体または本体の構造部を識別するこの能力（本体のポーズ情報）から、その他の多くの用途が得られる。本発明の態様の一つでは、判定された本体のポーズ情報は、コンピュータゲームを動かす制御入力として、またはその他の運動駆動式またはジェスチャ駆動式のヒト−コンピュータのインターフェイスとして、用いることができる。
【００９５】
本発明の別の態様では、本体のポーズの情報は、コンピュータ・グラフィックス、例えばアバターの制御に用いることができる。
【００９６】
本発明の別の態様では、画像から得たヒトの身体のポーズに関する情報は、ヒトの身体の動きにインタラクティブに応答するためのインストレーションを可能とするアート・インストレーション又はミュージアム・インストレーションの一環として用いることができる。
【００９７】
本発明の別の態様では、特にビデオ画像中のヒトの検出とポーズの推定は、安全管理または老人のケアといった自動モニタリングおよび監視用途の一部として用いることができる。
【００９８】
本発明の別の態様では、システムは、娯楽向けアニメーションおよび歩行分析に用いるためのマーカレス運動捕捉システムの一部として用いることができる。具体的には、ゴルフのスイングまたはその他スポーツ活動の分析に用いることができる。システムはまた、画像／ビデオアーカイブの分析に、または画像索引システムの一部として、使用できる。
【００９９】
発明の特徴の幾つかは、変更したり代替物により置き換えたりすることができる。例えば、ヒストグラムの使用は、頻度分布（例えば混合モデル、Ｐａｒｚｅｎウインドウ）または特徴描写を推定する幾つかの別の方法により置き換えることができる。特徴描写の比較には様々な方法（例えばカイ二乗法、ヒストグラムインターセクション）を用いることができる。
【０１００】
部分検出装置は、他の特徴を用いることができる（例えば、グラディエントフィルタ、ガウス導関数、またはガボール関数、といった局所フィルタの応答）。
【０１０１】
部分をパラメータ化して、見込みのある投影をモデル化することができる。輪郭の調査は、上記の方法に代わって、または上記の方法と組み合わせて、高次元調査に関する周知の方法をいくつでも組み込むことができる。
【０１０２】
集団ベースの調査は、調査をブートストラップするのを助けるためにいくつもの経験則を用いることができる（例えば背景減算、皮膚の色、又はその他の先行の外観モデル、変化／動作検出）。
【０１０３】
ここに示したシステムは、様々な点で新規である。式は、異なる多数の部分のパラメータ化を可能にし、得られた尤度比に基づいて、様々な次元のポーズを法則化された様式で比較できる。現在の方法と違って、これは自己オクルージョンが存在する状態で部分をベースとした調査を可能にする。さらに、他の対象オクルージョンに法則化された自動的な方法をもたらす。視覚情報をベースとする本体部分の形状の確率モデルは、個人内および個人間のバラツキを表すことが知られている（剛体の幾何学的プリミティブとは対照的に）。
【０１０４】
各部分の確率領域テンプレートは、輪郭仮説を用いて画像に変換される。確率領域はまた、部分の前景および隣接背景に対する外観分布の収集にも用いられる。単一部分の尤度比は、前景および隣接背景の外観分布の非類似性から得られる。この技術は、前景／背景の制限された特定のモデル化を用いない。
【０１０５】
本発明は、エッジ整合技術による輪郭の表示に比べ、実在の画像における本体部分の判別をよりよく説明する。さらに、尤度の使用はそれほど希薄ではなくて雑音も少なく、粗いサンプリングと局所調査がより効果的になる。
【０１０６】
改良および変更は、本発明の範囲から逸脱することなしに、ここに組み込むことができる。
【図面の簡単な説明】
【０１０７】
【図１ａ】本発明の実施例の実行に使用される操作手順を示す流れ図である。
【図１ｂ】本発明の尤度モジュールに供給される手順の詳細な流れ図である。
【図２ａ】多数の本体部分に対するテンプレートのセットを示す。
【図２ｂ】減少したテンプレートのセットを示す。
【図３】（３ａ）は下肢テンプレートを、（３ｂ）は画像上の下肢テンプレートを、（３ｃ）はテンプレートにおける、またはテンプレート近辺の画像の背景領域と前景領域の特徴分布を図示する。
【図４ａ】頭部テンプレートのon及びonの部分輪郭（onは部分上ではない事を意味する）に対する前景外観および背景外観の確率密度を比較するグラフである。
【図４ｂ】結果として生じた尤度比の対数グラフである。
【図５ａ】屋外環境と屋内環境の両方からの典型的な画像の列である。
【図５ｂ】マスクまたはテンプレートからの正の対数尤度を投影した列である。
【図５ｃ】従来技術のエッジベースモデルからの正の対数尤度を投影したものである。
【図６ａ】本発明で得た対数尤度比の空間の変化のグラフである。
【図６ｂ】従来技術のエッジモデルで得た対数尤度比の空間の変化のグラフである。
【図７ａ】対をなす輪郭および対をなさない輪郭の確率密度のグラフである。
【図７ｂ】結果として生じた尤度比の対数のプロットである。
【図８ａ】無拘束の背景における本体の画像を描写する。
【図８ｂ】ヒトの右下肢画像に対して対をなす応答の尤度比の投影を図示する。
【図９ａ】部分的なポーズの輪郭を調査した結果を示す。
【図９ｂ】部分的なポーズの輪郭を調査した結果を示す。
【図９ｃ】部分的なポーズの輪郭を調査した結果を示す。
【図９ｄ】部分的なポーズの輪郭を調査した結果を示す。
【図１ａ】
2006523878.tif 000007
【図１ｂ】
2006523878.tif 000008
【図２ａ】
2006523878.tif 000009
【図２ｂ】
2006523878.tif 000010
【図３】
2006523878.tif 000011
【図４ａ】
2006523878.tif 000012
【図４ｂ】
2006523878.tif 000013
【図５ａ】
2006523878.tif 000014
【図５ｂ】
2006523878.tif 000015
【図５ｃ】
2006523878.tif 000016
【図６ａ】
2006523878.tif 000017
【図６ｂ】
2006523878.tif 000018
【図７ａ】
2006523878.tif 000019
【図７ｂ】
2006523878.tif 000020
【図８ａ】
2006523878.tif 000021
【図８ｂ】
2006523878.tif 000022
【図９ａ】
2006523878.tif 000023
【図９ｂ】
2006523878.tif 000024
【図９ｃ】
2006523878.tif 000025
【図９ｄ】
2006523878.tif 000026
【国際調査報告】
2006523878.tif 000027
2006523878.tif 000028
2006523878.tif 000029