(57)【特許請求の範囲】
【請求項１】
背景ピクセルおよび前景ピクセルを有するイメージの中の関心対象を特定する方法であって、前記背景ピクセルは第１の色のピクセルを含み、：
色に関する確率情報を用いてラベル付けされ連結されたピクセルのグループの領域を特定することによって、前記前景ピクセルを前記イメージから抽出するステップ；
前記前景ピクセルの中の領域を特定するステップ；
前記領域の範囲が第１の範囲閾値より大きく、かつ、前記領域の前記第１の色のピクセルの比率が第１の色ピクセル比率閾値以下の場合、スケルトンを生成するために前記領域を処理するステップ；
前記スケルトンの最大の厚みの長さが、長さ閾値より小さい場合、前記領域を、人間の対象を含む前記関心対象と決定するステップ；および
フィールドラインの断片を含むアーチファクトを切り離すために前記スケルトンをプルーニングするステップ、
を有し、
前記プルーニングするステップは：
前記スケルトンの位置に関連するピクセルの前記第１の色のピクセルのピクセル比率が充分な強度を呈しかつ正規化された他の色構成要素の強度が不十分な強度を呈する場合、前記位置をプルーニングしかつ前記位置に関連するピクセルを取り除き；
前記スケルトンの位置における前記領域の厚みが、少なくとも部分的には、前記スケルトンの最大厚みに基づく閾値より小さい場合、前記位置をプルーニングしかつ前記位置に関連するピクセルを取り除き；
前記スケルトンの位置から、最大のピクセル数に関連する前記スケルトンの他の位置への距離が、少なくとも部分的には、前記スケルトンの最大厚みに基づく各々の垂直および水平の閾値より大きい場合、前記位置をプルーニングしかつ前記位置に関連するピクセルを取り除く；
方法。
【請求項２】
前記決定するステップは、前記スケルトンの前記長さが前記長さ閾値より小さく、かつ前記スケルトンのアスペクト比がアスペクト比閾値より小さい場合、前記領域を人間の対象であると決定するステップを含む、請求項１記載の方法。
【請求項３】
コンピュータに命令を実行させるプログラムであって、
前記命令は、背景ピクセルおよび前景ピクセルを有するイメージの中の関心対象を特定する命令であって、前記背景ピクセルは第１の色のピクセルを含み、前記命令は：
色に関する確率情報を用いてラベル付けされ連結されたピクセルのグループの領域を特定することによって、前記前景ピクセルを前記イメージから抽出するステップ；
前記前景ピクセルの中の領域を特定するステップ；
前記領域の範囲が第１の範囲閾値より大きく、かつ、前記領域の前記第１の色のピクセルの比率が第１の色ピクセル比率閾値以下の場合、スケルトンを生成するために前記領域を処理するステップ；
前記スケルトンの最大の厚みの長さが、長さ閾値より小さい場合、前記領域を少なくとも人間の対象を含む前記関心対象と決定するステップ；および
フィールドラインの断片を含むアーチファクトを切り離すために前記スケルトンをプルーニングするステップ、
を有し、
前記プルーニングするステップは：
前記スケルトンの位置に関連するピクセルの前記第１の色のピクセルのピクセル比率が充分な強度を呈しかつ正規化された他の色構成要素の強度が不十分な強度を呈する場合、前記位置をプルーニングしかつ前記位置に関連するピクセルを取り除き；
前記スケルトンの位置における前記領域の厚みが、少なくとも部分的には、前記スケルトンの最大厚みに基づく閾値より小さい場合、前記位置をプルーニングしかつ前記位置に関連するピクセルを取り除き；
前記スケルトンの位置から、最大のピクセル数に関連する前記スケルトンの他の位置への距離が、少なくとも部分的には、前記スケルトンの最大厚みに基づく各々の垂直および水平の閾値より大きい場合、前記位置をプルーニングしかつ前記位置に関連するピクセルを取り除く；
プログラム。
【請求項４】
前記命令を実行することによって動作する前記決定するステップは、前記スケルトンの前記長さが前記長さ閾値より小さく、かつ前記スケルトンのアスペクト比がアスペクト比閾値より小さい場合、前記領域を人間の対象であると決定するステップを含む、請求項３記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、ビデオフレームの対象を検出するための方法および装置に関する。より詳細には、本発明は、一般に、色分割、および、形状解析技術を用いて、サッカービデオにおいて、プレーヤ、および、ボールを検出するための方法と装置に関する。
【背景技術】
【０００２】
［関連出願についてのクロス・リファレンス］
この特許出願は、２００７年３月２６日に出願した米国仮出願（番号６０／９１９，９７１）の利益を享受する。それは明示的に本願明細書に引用したものとする。
【０００３】
サッカービデオにおいては、サッカー・プレーヤおよびボールは、ゲームの各瞬間において、大量の情報を示すという点で、最も重要な対象である。プレーヤ、およびボールの検出、およびトラッキングは、さまざまなアプリケーションによって試みられてきた。アプリケーションの例としては、イベント検出、戦術分析、自動インデキシング／サマライゼーション、およびオブジェクトベースの圧縮がある。サッカービデオにおいて、ボールおよびプレーヤの位置を検出する周知の方法は、以下の２つに分けられる。方法の第１のグループは、固定されたカメラを使用するもので、事前にキャリブレーションが行われる。方法の第２のグループは、通常のブロードキャストされたビデオを使用するものである。前者は、より良好なパフォーマンスを提供するが、後者はより柔軟性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
サッカーは、観客が観戦するスポーツであるので、競技場、ライン、ボールおよびプレーヤのユニフォームは、視覚的に特徴的なデザインとなっている。このように視覚的に特徴的であるにもかかわらず、プレーヤ、および、ボールの検出には誤差を有する。方法の第２のグループにおける一部のアプローチは、色分割を使用して、まず草のプレーフィールドを見つけ、検出の難易度を低減させる。そして、処理後において、形態学的（ｍｏｒｐｈｏｌｏｇｉｃａｌ）な処理を行う。たとえば、検出範囲を限定するために、連結構成要素分析（ｃｏｎｎｅｃｔｉｏｎ  ｃｏｍｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ）が用いられる。しかし、誤差は、依然として生ずる。誤差は、少なくとも、フォールスアラーム（ｆａｌｓｅ  ａｌａｒｍ）として、および、アーチファクトとして分類することができる。フォールスアラームとは、ノンプレーヤをプレーヤとして、ノンボールをボールとして認識および検出することをいう。アーチファクトは、例えば、プレーフィールド上の線が、検出されたプレーヤの部分によって重なる部分で起こる。
【０００５】
したがって、サッカービデオにおいてサッカー・プレーヤおよび、サッカーボールの検出の際に生じる誤差を実質的に除去するための方法が必要とされる。
【課題を解決するための手段】
【０００６】
少なくとも一つの本発明の態様に従って、サッカービデオのサッカー・プレーヤおよびサッカーボールの検出、および、位置の特定が達成される。本発明の態様は、色分割、および、連結構成要素分析によって大まかに取得された前景からプレーヤおよびボール特定するための、形状解析に基づくアプローチによってなされる。この処理は、前景の対象のスケルトンを抽出するために、ユークリッドの距離変換を実行することによって、フォールスアラーム（ノンプレーヤ、ノンボール）を取り除くために、形状解析を実行し、かつ、主に試合会場のラインによって生じるアーチファクトを取り除くために、逆ユークリッド距離変換を実行する。
【０００７】
本発明、および、他の特徴および効果は、本発明の実施例に係る説明および添付の図面とともに理解される。
【０００８】
本願明細書において提示される例示的実施形態は本発明の好ましい実施例を例示するものであり、かつ、この種の例示的実施形態はいかなる方法によっても本発明の範囲を制限するように解釈されてはならない。
【図面の簡単な説明】
【０００９】
【図１】本発明の原理に従うプレーフィールド検出、および、前景の対象の抽出のための例示的な方法を示す図である。
【図２】本発明の原理に従ってアーチファクトを除去すると共に孤立したプレーヤ、および、孤立したボールを検出する例示的な方法を示す図である。
【図３】本発明の原理に従うアーチファクト除去のための詳細な方法を示すフローである。
【発明を実施するための形態】
【００１０】
「プレーフィールド」、「プレーイングフィールド」、および、「サッカーフィールド」等の語は、サッカーの試合がなされる場所（ｐｉｔｃｈ）を表現する語として、同義に扱われる。「プレーヤ」とは、プレーヤおよび／またはレフェリ等を含む。本発明の原理は、サッカーフィールドに限られることはなく、他のプレーの場面、例えばバスケットボール、野球、フットボール、テニス、および、バレーボール等のフィールドに適用されてもよい。それらは、同様に登山の場面に適用されてもよい。
【００１１】
上述したように、おそらく、サッカービデオにおいて最も有益な特徴は、色である。プレーフィールドは緑であり、線は白く、ボールは通常、白いか明るい。および、チームは少なくともレフェリと同様に、それらが容易に区別されることができるジャージを着ている。他のシーンにおいて、プレーフィールド（背景）の色とプレーフィールドでない（前景）の色とは異なる。例えば、サッカーボールの色は通常白い、しかし、バスケットボールの色は通常オレンジである。プレーの間に、全ての関心対象（ＯＯＩ：Ｏｂｊｅｃｔ  ｏｆ  Ｉｎｔｅｒｅｓｔ）がプレーフィールド域内にあると理解される。したがって、色分割に基づくプレーフィールドの抽出は、自動サッカービデオ分析法において必須の役割を果たす。
【００１２】
プレーフィールドの色を表す多くの方法がある。サッカーフィールドの色を表す１つの比較的単純な方法は、大きいデータセットの過去において統計上取得された一定の平均の色値を用いることである。ビデオフレームの選ばれたピクセルの色と、フィールドの平均値の色との間の距離は、その選ばれたピクセルがプレーフィールドのピクセルのセットに帰属するか否かを決定するために用いられる。サッカーフィールドは、ほぼ緑であるため、スミスの六角形の円錐モデルにおいて定められる色相要素が、特定の範囲内の緑色のピクセルを検出するために用いることができる。サッカーフィールドは、一般に緑の彩色を有しているが、色相には変化が生じる。例えば、証明のパターン（例えば、自然光と人工照明、日なたと日陰等）、すり切れた領域、草刈りのパターン、草の生育パターン等が挙げられる。
【００１３】
ヒストグラムが、プレーフィールドに対するノンパラメトリックカラー・モデルとして使用されてもよい。特定のアプリケーションにおいては、優位な色を選定して、フィールドが緑の均一の色を有し、かつ、各々のフレームで最も大きな領域を占有すると仮定することが好ましい。単一ガウスの統計または混合ガウス（ＭｏＧ：Ｍｉｘｔｕｒｅ  ｏｆ  Ｇａｕｓｓｉａｎ）の統計は、プレーフィールドのカラーモデルを表すために使われてもよく、そしてインクリメンタルに期待値最大化（ＥＭ：Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムによって構成されてもよい。
【実施例】
【００１４】
ここで図面を参照する、特に図１を参照する。サッカー・ビデオピクチャフレームからプレーフィールドを検出し、抽出するための例示的な方法が示されている。読者が発明の方法を全体にわたって理解できるようにするため、見出しが付けられている。
［プレーフィールドピクセル検出］
プレーフィールド検出は、図１に示される方法のステップ１１０において行われる。検出は、ピクチャフレームにおけるプレーフィールドピクセルに適用される単純なヒストグラム学習手法によって達成される。この技術において、一般的なカラーモデル、赤／緑／青（ＲＧＢ）色空間のチャネルにつきＮ個のビン（ｂｉｎ）を有するカラー・ヒストグラムが定められる。この場合、チャネルは、赤・緑・青の構成要素に関連する。この一般的なカラーモデルは、サッカー・ゲーム・ビデオの訓練セットに基づいた例えば従来技術における演繹的（ａ  ｐｒｉｏｒｉ）な学習によって公知であり、さまざまな方法で開発されてもよい。ビデオのこの種の訓練セットにおいて、プレーフィールドピクセル、および、非プレーフィールドピクセルは、それぞれマニュアルまたは部分的に指示する方式で、ラベルをつけられてもよい。その後、そのＲＧＢ色ベクトルに基づいて、各々のラベルをつけられたプレーフィールドピクセルは、プレーフィールドヒストグラムの適切なビンに入れられる。類似した方法が、非プレーフィールドとして分類されるピクセルに対しても行われる。ヒストグラムのカウントは、以下の式に従って通常の方式の離散的な条件つき確率分布に変換される。
【００１５】
【数１】
0005465657.tif 000002
ここで、ｆ（ｒｇｂ）はプレーフィールドヒストグラムのビンｒｇｂのカウントを表す。ｎ（ｒｇｂ）は非プレーフィールドヒストグラムのビンｒｇｂのカウントを表す。ＴｆおよびＴｎは、それぞれ、プレーフィールド、および、非プレーフィールドヒストグラムの全てのビンの個々のカウントを合計することによって得られる総数カウントである。
【００１６】
上述の確率情報を用いて、プレーフィールドピクセル・クラシファイヤは、条件付き確率を使用して、標準の尤度比アプローチを用いて実現されてもよい。例えば、特定のＲＧＢ値は、以下の式を満たす場合には、プレーフィールドにラベル付けされる。
【００１７】
【数２】
0005465657.tif 000003
ここで、０＜＝φ＜＝１は、閾値であり、この閾値は、リミットの間に調整され、正しい認識と、正しいのに正しくないとした認識（ｆａｌｓｅ  ｐｏｓｉｔｉｖｅ）との間を勘案し適切なトレードオフを達成するように調整される。明らかな誤りは、たとえば、非プレーフィールドピクセルがプレーフィールドピクセルにラベル付けされる場合である。これに対して、正しくないのに正しいとした認識（ｆａｌｓｅ  ｎｅｇａｔｉｖｅ）は、たとえば、プレーフィールドピクセルが非プレーフィールドピクセルにラベル付けされた場合である。
【００１８】
閾値φは、アプリオリ確率（ａ  ｐｒｉｏｒｉ  ｐｒｏｂａｂｉｌｉｔｉｅｓ）、正しいのに正しくないとした認識および正しくないのに正しいとした認識の関数とし表現され、以下のように表される。
【００１９】
【数３】
0005465657.tif 000004
ここでｃｐおよびｃｎは、それぞれ正しいのに正しくないとした認識および正しくないのに正しいとした認識の応用依存コスト（ａｐｐｌｉｃａｔｉｏｎ−ｄｅｐｅｎｄｅｎｔ  ｃｏｓｔ）である。プレーフィールドのアプリオリ確率は、Ｔｆ／（Ｔｆ＋Ｔｎ）として得られる。また、非プレーフィールドのアプリオリ確率は、Ｔｎ／（Ｔｆ＋Ｔｎ）として得られる。
【００２０】
チャネル毎のビンの数Ｎおよび検出閾値φおよび受信者動作特性曲線（ＲＯＣカーブ：  ｒｅｃｅｉｖｅｒ  ｏｐｅｒａｔｉｎｇ  ｃｈａｒａｃｔｅｒｉｓｔｉｃ  ｃｕｒｖｅ）に基づいて選択される。受信者動作特性曲線とは、誤った検出の確率に対する正しい検出の確率をプロットしたものであり、チャネル毎のビンの数は、例えばＮが３２から２５６までのように、その値のとり得る範囲の値で変化する。正しい検出の確率は、プレーフィールドとして正しく分類され、ラベル付けされたピクセルの率（ｆｒａｃｔｉｏｎ）として定義される。誤った検出の確率は、ノンプレーフィールドとして誤って分類され、ラベル付けされたピクセルの率（ｆｒａｃｔｉｏｎ）として定義される。受信者動作特性曲線（ＲＯＣカーブ）の下の領域が増加するにつれて、検出パフォーマンスは改善される。実験の結果によると、Ｎ＝１２８ビンが適切な結果を与えることが分かっている。それから、正しい検出の確率と、誤った検出の確率（すなわち、正しいのに正しくないとした認識）との間の応用依存トレードオフ（ａｐｐｌｉｃａｔｉｏｎ  ｄｅｐｅｎｄｅｎｔ  ｔｒａｄｅｏｆｆ）の適切な動作位置を選択することが可能である。上述の数式における動作位置に対応する検出閾値φがピクセル分類のために使われる。ビンの数Ｎ＝１２８、および、閾値φ＝０とした１つの実験的な実例において、正しい検出の確率は０．９３５、誤った検出の確率は０．０５７が達成された。
【００２１】
ステップ１１０のプレーフィールドピクセル検出の結果として、各々のフレームは、バイナリマスクを生成するために処理される。ピクセル値は、二進数の「１」または二進数の「０」に分類される。
［プレーフィールドの抽出］
浸食（ｅｒｏｓｉｏｎ）および拡張（ｄｉｌａｔｉｏｎ）処理を含む形態学的（ｍｏｒｐｈｏｌｏｇｉｃａｌ）なフィルタリングが、ステップ１２０においてノイズを排除するために、バイナリマスクに適用される。形態学的なフィルタリングは、ピクチャ強調のための周知の方法である。これは、イメージを単純化する傾向があり、これによって関心対象の検索を容易にする。これは、通常、イメージの中の対象の空間形状または構造を変形させる。拡張および浸食の二つは、形態学的なフィルタリング処理の基本である。拡張によって対象が拡大する。このように潜在的に、小さな穴が埋まり、離れている対象が結合する。浸食は、拡張の相補的な操作を行い、浸食によって、対象の境界をエッチングするように取り去り、対象を収縮させる。これらの操作は、アプリケーションによりカスタマイズでき、対象をどのように拡張および浸食するかを正確に定める構成要素を適切に選択することによってなされる。
【００２２】
ステップ１３０の連結構成要素分析（ＣＣＡ：ｃｏｎｎｅｃｔｅｄ  ｃｏｍｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ）は、バイナリマスクをスキャンし、ピクセルの接続に基づいて、マスクピクセルを連結構成要素に分類するために使用される。すなわち、連結構成要素において特定されるピクセルは同じ二進値を持ち、何らかの形で連結している。例えば、４−連結または８−連結（それぞれ、４−点、および８−点隣接システム）という。連結構成要素解析ツール、およびその技術は、従来技術として公知であるため、更に本願明細書において詳述しない。
【００２３】
イメージの中で、プレーフィールドはいくつかの連結構成要素を含む。それらの各々の大きさは、ステップ１４０で与えられた範囲閾値より大きい。このステップによって全てのプレーフィールド構成要素が閾値に対してテストされるため、より小さいプレーフィールド構成要素は取り除かれることになる。ステップ１５０において、連結構成要素境界によって形成した各々のより大きい連結構成要素の内部を満たすことによって、プレーフィールドマスクが取得される。ステップ１６０において、プレーフィールド域のマスクを生成するために、ステップ１４０、および５０の出力マスクに排他論理和の関数が適用される。
［前景の小塊の検出（Ｆｏｒｅｇｒｏｕｎｄ  Ｂｌｏｂ  Ｄｅｔｅｃｔｉｏｎ）］
そしてステップ１７０、および、ステップ１８０において、前景の小塊の抽出が実行される。小塊とは、単に連結されたピクセルのグループの領域をいう。理想的には、ステップ１６０から得られるプレーフィールド域内部の非プレーフィールドピクセルは、連結構成要素解析によって、異なる前景の小塊に分類される前景のピクセルである可能性がある。ボールは比較的小さい関心対象であり通常３０ピクセル未満のサイズである。このため、異なる小塊にグループ化をする前に拡張を行うことだけが可能である。これによって領域が均一（ｈｏｍｏｇｅｎｅｏｕｓ）になる。この段階で形態的なフィルタリングステップである浸食を実行すると、ボールを消してしまい、イメージにダメージを与えることになる。イメージの特定の領域のノイズは、形状解析（ｓｈａｐｅ  ａｎａｌｙｓｉｓ）、および真の対象の外観モデル（ａｐｐｅａｒａｎｃｅ  ｍｏｄｅｌ）の使用によって、後において取り除かれなければならない。
［対象の外観（Ｏｂｊｅｃｔ  Ａｐｐｅａｒａｎｃｅ）］
フィールドの全景において、たとえばタッチ、センター、ペナルティーエリア、および、バイラインのような、プレーする面における線および円弧は、白または白に近い色である。同様に、フィールドのこの種の全景において、ボールは、いかなるパターンまたはロゴがあったとしても、ほとんど白く見える。前景の各々の小塊の白色ピクセルを特定するための単純な方法は、下式の通りである。
【００２４】
【数４】
0005465657.tif 000005
ここで、ｒ（ｘ，ｙ）およびｂ（ｘ，ｙ）は、特定のピクセル（ｘ，ｙ）の正規化された赤および青の構成要素であり、ｌ（ｘ，ｙ）は、そのピクセル（ｘ，ｙ）の強度を表し、Ｗ（ｘ，ｙ）は、ピクセル（ｘ，ｙ）の白色ピクセル・マスクである。閾値、ａおよびｂは、経験的に決定される。
［基本的形状分析（Ｂａｓｉｃ  Ｓｈａｐｅ  Ａｎａｌｙｓｉｓ）］
各々の小塊の領域の特性は、以下のように幾つかの基本的な形状ディスクリプタによって分類され得る。
１．周辺部、Ｐ、境界のピクセル数；
２．面積、Ａ、ピクセル数；
３．長／短軸、ＣＬ、および、ＣＳ、ＣＬは一番長い線（ｃｈｏｒｄ）であり、ＣＳはＣＬに垂直な線である；
４．真円度、Ｆ、ここでＦ＝Ｐ２／４πＡである；
５．偏心度、Ｅ、ここでＥ＝ＣＬ／ＣＳである。
【００２５】
各々の小塊の領域の特性は、後述するように分離されたボールの検出のための本願発明の方法で、主に使われる。
［スケルトンおよび距離変換（Ｓｋｅｌｅｔｏｎｓ  ａｎｄ  ｔｈｅ  Ｄｉｓｔａｎｃｅ  Ｔｒａｎｓｆｏｒｍ）］
スケルトンは、形状の直観的でコンパクトな表現を提供する。スケルトンの重要な特徴のうちの１つは、形状の幾何学的特徴から、その形状の形態的特徴を分離することである。スケルトンは、その名前が意味するように、関心対象の形状の局部的な対称軸に近い一組のカーブである。スケルトンの他の定義は、距離変換に基づくものである。
【００２６】
距離変換または距離マップとは、形状内部の与えられた位置に対して、与えられた位置から、その形状の外形の位置のうち一番近い位置からの距離を計算する関数を意味する
サイズｍ＊ｎの前景バイナリマスクＷに対して、
【数５】
0005465657.tif 000006
数５は、マスクＷの補完的（ｃｏｍｐｌｅｍｅｎｔａｒｙ）なマスクを意味し、背景のピクセルの集合を有する。その二乗距離変換（ＳＤＴ：ｓｑｕａｒｅｄ  ｄｉｓｔａｎｃｅ  ｔｒａｎｓｆｏｒｍ）は、以下の通りに形状マップＨ＝｛ｈ（ｘ，ｙ）｝によって下式によって与えられる：
【００２７】
【数６】
0005465657.tif 000007
前景のピクセル集合Ｖ、および、サイズｍ×ｎのピクチャＦ＝｛ｆ（ｘ，ｙ）｝に対して、ピクセル（ｘ，ｙ）が前景のピクセル集合Ｖに帰属している場合、ｆ（ｘ，ｙ）は、二乗距離変換値ｈ（ｘ，ｙ）に設定され、それ以外の場合は、ｆ（ｘ，ｙ）は、０に設定される。その結果、Ｖの逆ユークリッドの距離変換（ＲＥＤＴ）は、下式を満たすように位置の集合Ｗから構成される。
【００２８】
【数７】
0005465657.tif 000008
したがって、形状マップＨ＝｛ｈ（ｘ，ｙ）｝は、以下の通りにピクチャＦを使用して計算できる。
【００２９】
【数８】
0005465657.tif 000009
厳密に正の値の全てのピクセルを上述の式で計算される形状マップＨから取り出すことによってＷを取得することが可能である。
［スケルトンディスクリプタ（Ｓｋｅｌｅｔｏｎ  Ｄｅｓｃｒｉｐｔｏｒ）］
形状Ｈ＝｛ｈ（ｘ，ｙ）｝で二乗距離変換が与えられ、このスケルトンＳｋｅは、以下のように定義される。
【００３０】
【数９】
0005465657.tif 000010
上述の式を上述のＲＥＤＴの定義と比較することによって、逆ユークリッドの距離変換オペレーションを上包楕円放物面（ｕｐｐｅｒ  ｅｎｖｅｌｏｐｅ  ｅｌｌｉｐｔｉｃ  ｐａｒａｂｏｌｏｉｄｓ）だけがマークされる形状の二乗距離変換に適用することによってスケルトンＳｋｅを取得することが可能であることが理解できる。
【００３１】
この逆ユークリッドの距離変換とは、以下の通りにパワーダイアグラム構造（ｐｏｗｅｒ  ｄｉａｇｒａｍ  ｃｏｎｓｔｒｕｃｔｉｏｎ）に基づいている。
【００３２】
サイトＳ＝｛ｓｉ｝の集合が与えられたとき、ボロノイ図（ｖｏｒｏｎｏｉ  ｄｉａｇｒａｍ）は、各々のオープンセルｃｉの位置ｐに対して、ｐが他のいかなるサイトｓｊよりもサイトｓｉに近くなるように（ｉ≠ｊ）、平面をセルＣ＝｛ｃｉ｝（サイトにつき１つのセル）へ分割することとなる。
【００３３】
パワー図は、下式で定義されるパワー関数で導かれる基準値に基づくボロノイ図の一種である。
【００３４】
【数１０】
0005465657.tif 000011
ここでｆ（ｉ）は、各々のＳｉに関連した半径であり、ｄ（・）はユークリッド距離関数である。平面の各々の位置に、パワーラベリングが、パワー図（Ｐｏｗｅｒ  ｄｉａｇｒａｍ）においてそれを含んでいるセルのインデックスを割り当てる。
【００３５】
逆ユークリッドの距離変換が、パワーラベリングが空でないセルの計算にリンクされている。その結果、スケルトンは、パワー図の空でないセルに対応することとなる。
【００３６】
抽出されたスケルトンに基づいて、形状解析に役立つ付加的なディスクリプタが、以下に示すように計算され得る。
１．スケルトンの長さ、ＬＳ
２．カバー（ｃｏｖｅｒｉｎｇ）、ＣＳｋｅ、これは、スケルトンの位置に関連するパワーラベリングのピクセル数として定義される。
３．スケルトンの最大の厚み、ｄｍａｘ、これは対応する小塊の最大厚みである。
４．長さ、Ａ／（２ｄｍａｘ）２
５．アスペクト比、ＬＳ／ｄｍａｘ
抽出されたスケルトン、および、そのディスクリプタが、後述するようにスケルトンプルーニング（ｓｋｅｌｅｔｏｎ  ｐｒｕｎｉｎｇ（スケルトンを切り詰めること））によってプレーヤ検出、および、アーチファクト除去のための本願発明の方法で主に使用される。
［孤立したボールの検出（Ｉｓｏｌａｔｅｄ  Ｂａｌｌ  Ｄｅｔｅｃｔｉｏｎ）］
基本的な形状解析は、孤立したボール検出のための、より重要なツールである。遠い距離からのビデオのフレームにおいて、ボールは、小さい小塊として表示される。このため、スケルトンディスクリプタを使用したレンダリングは信頼性に欠けることとなる。
【００３７】
あらかじめ定められた範囲の領域Ａの小塊がボールを表しているとする。その範囲は、プレーフィールドに関連したカメラ構成に依存する。さらに、ボールに対応する小塊のカラーモデルによって検出される白いピクセルＷ（ｘ，ｙ）の比率が、その小塊がボールである可能性を示す。その小塊がボールであると認識するためには、関心対象の小塊の真円度Ｆ、および偏心度Ｅは、略１．０でなければならない。後者の２つの特徴は、フィールドラインの分離されたセグメントのＥ、および、Ｆとは別のものである。
【００３８】
これを考慮して、以下の通りに関数Ｂを計算することによって、特定の小塊をボールとして検出することが可能である。
【００３９】
【数１１】
0005465657.tif 000012
ここで、ｐＷ＝Ｃ｛（ｘ，ｙ）｜Ｗ（ｘ，ｙ）＝１｝／Ａ，Ｃ｛・｝は白いピクセルのカウントである。そして、ｒＷ、ａｒｍｉｎ、ａｒｍａｘ、ｆｍａｘ、およびｅｍａｘの全ての閾値は、経験的に決定される。関数Ｂが１に等しいときに、小塊はボールとして検出される。それ以外の場合には、小塊はボールでないと検出される。
【００４０】
孤立したボールの検出に適用される形状解析方法が図２に示されている。図２の方法は、以下のように各々の小塊に適用される。ステップ２１０において、ボールとしてはあまりに小さい小塊、および人間の対象を取り除くために、小塊領域Ａは、最小閾値ａｒｍｉｎと比較され得る。小塊領域Ａが閾値を上回る場合、小塊の処理はステップ２２０へと続く。それ以外の場合には、小塊は、ステップ２１１に示すように取り除かれる（すなわちＢ＝０）。ステップ２２０において、小塊領域Ａは、最大の閾値ａｒｍａｘと比較される。小塊領域Ａが閾値より小さい場合、小塊の処理はステップ２３０へと続く。それ以外の場合には、小塊は、更なる処理のためにステップ２４０に送られる。
【００４１】
ステップ２３０において、上述の式に示すように、小塊の白の比率ｐＷ、真円度Ｆ、および、偏心度Ｅは、それらのそれぞれの閾値、ｒｗ、ｆｍａｘ、およびｅｍａｘによってテストされる。ステップ２３０において全てのテストされた特徴が図示されたようにそれぞれの基準を満たす場合、ステップ２３２において、関心対象の小塊がボール（すなわちＢ＝１）であると決定される。それ以外の場合には、小塊は、ステップ２３１に示すように取り除かれる（すなわちＢ＝０）。
［孤立したプレーヤ、およびレフェリ検出（Ｉｓｏｌａｔｅｄ  Ｐｌａｙｅｒ  ａｎｄ  Ｒｅｆｅｒｅｅ  Ｄｅｔｅｃｔｉｏｎ）］
一般に、孤立したプレーヤまたはレフェリの小塊は、楕円形状を呈する。プレーヤの小塊は、それ自身がスケルトンによって表される場合、限られた長さ（ｅｌｏｎｇａｔｉｏｎ）、および、限られたアスペクト比によって認識される。また、これらの制約は、プレーヤの小塊として誤って含まれてしまったフィールドラインまたはカーブの一部の断片を取り除く際に役立つ。
【００４２】
フィールドラインは白いかほとんど白く見え、かつ、同様に色のついたボールが検出されるため、白いピクセルの比率は、ノンプレーヤの小塊を検出するためのインデックスとして使用することができる。ボールに関する説明で既に述べたように、プレーヤまたはレフェリの小塊の領域の範囲は、カメラ構成に従ってあらかじめ定義できる。その範囲は、プレーフィールドに対するカメラ構成に依存する。フィールドラインの除去、およびプレーヤまたはレフェリの検出、および取り除きは、図２の右側のステップ２４０〜２７０に示されている。ステップ２４０において、関心対象の小塊の白いピクセルの比率が閾値ｙＷと比較される。閾値より大きい場合、関心対象の小塊は、ステップ２４１においてノンプレーヤであるとして取り除かれる。一方、ステップ２４０において、白の比率が閾値以下の場合、関心対象の小塊はステップ２５０において更に処理される。ステップ２５０において、スケルトンの抽出は、上述したように関心対象の小塊に対して実行される。付加的なディスクリプタが関心対象の小塊のスケルトンのために測定されたあと、ステップ２６０に示すように、小塊の長さ（ｅｌｏｎｇａｔｉｏｎ）および／またはアスペクト比がそれぞれの閾値、ｇｍａｘ、および、ｔｍａｘによってテストされる。どちらかまたは両方のディスクリプタがそれぞれの閾値より小さい場合、ステップ２６２に示すように、プレーヤまたはレフェリが検出される。一つまたは両方のディスクリプタが、それぞれの閾値以上である場合、関心対象の小塊は、ステップ２６１に示すように取り除かれる。
【００４３】
この時点で、スケルトンプルーニングが、ステップ２７０において行われ、図３においてアーチファクトによって生じる誤差が取り除かれる。
［スケルトンプルーニング（Ｓｋｅｌｅｔｏｎ  Ｐｒｕｎｉｎｇ）］
プレーヤ（レフェリ）の小塊がフィールドラインまたは曲線の断片（例えば、ミドルフィールド、またはペナルティーエリア上での曲線）と合併した場合、形状解析は、小塊を正しく認識した結果を生成することができない。この場合、グローバルな形状ディスクリプタを用いてノンプレーヤの小塊として、関心対象の小塊は誤って取り除かれてしまう。フィールドラインの断片によって生じたアーチファクトは、プレーヤの位置を隠すバイアスとなってしまう。
【００４４】
本発明の態様に従って、フィールドライン、および、カーブによって生じるアーチファクトは、事前の外観（ａｐｐｅａｒａｒａｎｃｅ  ｐｒｉｏｒｓ）、および、スケルトンの情報、および、プルーニング（切り取り）を利用することによって、分離され削除される。図２のステップ２７０は、スケルトンプルーニングのステップを示す。図３は、更に詳細に、ステップ２７０のスケルトンプルーニングを実行するためのステップのセットを有する例示的な方法を示す。
【００４５】
一般的に、ロングビューショットの場合、フィールドラインまたはカーブの幅は、プレーヤボディの幅がより狭い。その結果、最大スケルトンの厚みと比較して、そこでの厚みが狭いかどうかについて関心対象の小塊のあらゆるスケルトンの位置で調べることが、可能である。具体的には、その位置の小塊のスケルトンの厚みが計測され、かつ、ｃ・ｄｍａｘの結果に対してテストされる、ここでｃは、厚みファクタである。スケルトンの幅がｃ・ｄｍａｘの結果未満である場合、このスケルトンの位置によってカバーされる全てのピクセルのＲＧＢ構成要素の平均値（パワーラベリング）が算出される。このスケルトンの位置がフィールドラインの断片に対応するときには、スケルトンの位置の平均ＲＧＢ構成要素値は白色に近くなることが、実験的な実施において観察された。
【００４６】
領域を誤ってプルーニングすることを回避するために、少なくとも一つの実施例の方法に距離制約が付加される。実験的な実施から、プルーニングされたスケルトンは比較的人体重心からはるかに間隔をおいて配置されることがわかっている。そして、人体重心は最大限に値をカバーしているスケルトンの位置に対応する。すなわち、プルーニングされたスケルトンの位置から、最大に値をカバーしているスケルトンの位置への距離は、各々の水平距離ｄｈ・ｄｍａｘ、および、垂直距離ｄｖ・ｄｍａｘより大きい。ここで、ｄｖ、およびｄｈは、距離ファクタであり、ｄｍａｘは上述の通りのスケルトンの最大厚みである。
【００４７】
図３に示されるプロセスのステップは、各々の小塊の個々のスケルトンの位置またはピクセルに対して実行される。この方法は、次のピクセルのためのステップ３０９に移る。そして、制御は、ステップ３１０に移行する。
【００４８】
ステップ３１０において、関心対象の小塊の各々のスケルトンの位置に対してスケルトンの位置から最大の値をカバーしてスケルトンの位置への距離が計測され、それが各々の水平距離ｄｈ・ｄｍａｘ、および、垂直距離ｄｈ・ｄｍａｘを上回るかどうかがテストされる。最大の値をカバーしているスケルトンの位置は、通常、小塊の重心と一致する。最大の値をカバーしている複数のスケルトンの位置がある場合は、小塊の重心に最も近いものを選ぶ。水平距離または垂直距離が、特定のスケルトンの位置から最大のものを有するスケルトンの位置までの距離を上回る場合、ステップ３２０へ進む。それ以外の場合には、関心対象の小塊をテストするために、新しいスケルトンの位置が、計測およびテストのために選択され、ステップ３０９が再開される。
【００４９】
ステップ３２０において、テストを行っているスケルトンの位置の小塊の厚みは、ｃ・ｄｍａｘの結果によってチェックされる。厚さが、ｃ・ｄｍａｘの結果未満の場合、この方法の処理は、ステップ３３０へ進む。ここで、このスケルトンの位置によってカバーされる全てのピクセルのＲＧＢ構成要素（パワーラベリング）の平均強度値が算出される。厚みがｃ・ｄｍａｘの結果以上の場合、関心対象の小塊の測定およびテストのために、新しいスケルトンの位置が選択され、ステップ３０９でのテストが再開される。
【００５０】
ステップ３４０において、ステップ３３０からの強度が、閾値ｂＳに対してテストされる。また、スケルトンの位置の正規化された赤、および青の構成要素値が、閾値に対して以下の式に従ってテストされる。
【００５１】
【数１２】
0005465657.tif 000013
両方のテストが真の場合、この方法はステップ３５０へ進む。ここで、テストされているスケルトンの位置がプルーニングされ、そのカバーリング（Ｃｏｖｅｒｉｎｇ（覆い））が取り除かれる。ステップ３４０のいずれかのテスト、または両方のテストが失敗した場合、関心対象の小塊の位置の測定およびテストのために、新しいスケルトンの位置が選択され、ステップ３０９のテストが再開される。ステップ３４０は、スケルトンの位置をカバーする白いピクセルの割合を使用し、スケルトンの一部をプルーニングするべきか決定する。
【００５２】
別の実施例において、ステップ３１０、３２０、および、３４０の３つのテストの一つ以上で適合している場合、スケルトンの位置はプルーニングされ、そのカバーリングが取り除かれる。
【００５３】
本願明細書において記載されている実施例は、例えば、方法またはプロセス、装置またはソフトウェアプログラムとしてインプリメントされてもよい。本発明の特徴の提示が方法として説明されている場合であっても、当業者は、例えば、本発明が装置またはソフトウェアプログラムとして実施されてもよいことを認識する。例えば、装置は、適切なハードウェア、ソフトウェア、および、ファームウェアによってインプリメントされてもよい。例えば、方法は、例えば装置（例えばコンピュータまたは他の処理デバイス）によってインプリメントされてもよい。加えて、方法は処理デバイスまたは他の装置によって実行されている命令によってインプリメントされてもよい。および、この種の命令は例えば、計算機可読の媒体、ＣＤまたは他の計算機可読の記憶装置、および集積回路に保存されてもよい。
【００５４】
本願明細書において言及された定数／閾値のために使われ得る例示的な値の一覧を下記に示す。
【００５５】
【表１】
0005465657.tif 000014
更なる、他の実施例は、この開示によって考察される。例えば、他の実施例は、開示された実施例のさまざまな特徴を結合するか、削除するか、修正するかまたは、補充することによって作成されてもよい。
【００５６】
好ましい実施例を有するように本発明が記載されているが、本発明はこの開示の範囲内で更に修正されてもよい。本出願は、したがって、その一般法則を用いた本発明のいかなるバリエーションも、使用または改作をカバーすることを目的とする。例えば、他形式の対象は場所が特定され、かつ、追跡されてもよい。また、他の形式の対象のフォールスアラーム、および、アーチファクトが、他方式のゲーム・ビデオのために特定されてもよい。本出願は、現在の開示から発展した本技術の周知の慣習的なプラクティスを包含し、かつ添付の請求項の限定事項に包含される。
【図１】
0005465657.tif 000015
【図２】
0005465657.tif 000016
【図３】
0005465657.tif 000017