(57)【要約】【課題】  サッカー競技を撮影した映像から、オフサイドラインの位置を検出するオフサイドライン検出装置を提供する。【解決手段】  オフサイドライン検出装置１は、入力映像を選手領域と背景領域とに分割するシルエット映像生成手段１１と、選手の３次元推定選手座標を推定する３次元選手座標推定手段１２と、入力映像内の選手の２次元選手領域を設定する２次元選手領域設定手段１３と、２次元選手領域における色の統計量を測定する色統計量測定手段１４と、所属チームの服色に基づく色の統計量を記憶した色統計量記憶手段１５と、色の統計量に基づいて選手を所属チーム毎に分類する分類手段１６と、選手毎の所属チームと３次元選手推定座標とに基づいて、オフサイドラインの位置を特定して出力するオフサイドライン位置出力手段２０と、を備えていることを特徴とする。【選択図】      図２
2005209148.tif 000002
【特許請求の範囲】
【請求項１】
スポーツ競技をカメラで撮影した入力映像から、チーム別に選手の位置を検出する選手位置検出装置であって、
前記入力映像から、時系列に選手領域と背景領域とに分割したシルエット映像を生成するシルエット映像生成手段と、
このシルエット映像生成手段で生成されたシルエット映像における前記選手領域の位置と、前記カメラが設置された位置及び撮影時の焦点距離とに基づいて、前記選手領域の位置を３次元座標上で追跡することで、前記選手の位置を３次元推定選手座標として推定する３次元選手座標推定手段と、
この３次元選手座標推定手段で推定された３次元推定選手座標と、前記カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、前記入力映像内における、前記選手が存在する２次元選手領域を設定する２次元選手領域設定手段と、
この２次元選手領域設定手段で設定された２次元選手領域と、前記シルエット映像内の前記選手領域との共通する領域内における、前記入力映像の色の統計量を測定する色統計量測定手段と、
前記選手が属するチームの服色に基づく色の統計量を少なくとも記憶した色統計量記憶手段と、
この色統計量記憶手段に記憶されている色の統計量と、前記色統計量測定手段で測定された色の統計量とに基づいて、前記選手をチーム別に分類する分類手段と、
を備えていることを特徴とする選手位置検出装置。
【請求項２】
前記３次元選手座標推定手段は、
予め定めた前記選手の大きさに基づいて、前記シルエット映像における前記選手領域が、前記選手の領域として有効かどうかを判定する面積判定手段を備え、
この面積判定手段によって有効と判定された選手領域について、前記３次元推定選手座標を推定することを特徴とする請求項１に記載の選手位置検出装置。
【請求項３】
前記３次元選手座標推定手段は、
前記カメラの位置及び焦点距離に基づいて、前記シルエット映像における前記選手領域毎の２次元座標を３次元座標に変換する３次元座標変換手段と、
この３次元座標変換手段で変換された３次元座標と、前記カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、前記入力映像内における、前記選手が存在する２次元選手領域を設定する第二の２次元選手領域設定手段と、
この第二の２次元選手領域設定手段で設定された２次元選手領域の大きさに基づいて、前記選手領域が、前記選手の領域として有効かどうかを判定する閾値を生成する面積閾値生成手段と、
この面積閾値生成手段で生成された閾値に基づいて、前記シルエット映像における前記選手領域が、前記選手の領域として有効かどうかを判定する可変面積判定手段とを備え、
この可変面積判定手段によって有効と判定された選手領域について、前記３次元推定選手座標を推定することを特徴とする請求項１又は請求項２に記載の選手位置検出装置。
【請求項４】
前記３次元選手座標推定手段は、
１単位時間過去に予測された前記選手領域の３次元座標である３次元予測選手座標と、現在の前記選手領域の３次元座標である３次元選手座標との距離に基づいて、前記選手領域を前記選手毎に検出し、追跡する検出・追跡手段と、
この検出・追跡手段で検出し、追跡された前記選手毎の３次元選手座標を、時間方向に平滑化して、３次元推定選手座標とするとともに、１単位時間後の前記選手領域の３次元座標を前記３次元予測選手座標として予測する予測・推定手段と、
この予測・推定手段で予測された３次元予測選手座標を１単位時間遅延させる遅延手段と、
を備えていることを特徴とする請求項１乃至請求項３のいずれか一項に記載の選手位置検出装置。
【請求項５】
前記色統計量記憶手段に、審判の服色の統計量を記憶しておくことで、前記分類手段は、前記選手に加え、前記審判を分類の対象とすることを特徴とする請求項１乃至請求項４のいずれか一項に記載の選手位置検出装置。
【請求項６】
サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するオフサイドライン検出装置であって、
スポーツ競技として前記サッカー競技をカメラで撮影した入力映像から、チーム別に選手の位置を検出する請求項１乃至請求項４のいずれか一項に記載の選手位置検出装置と、
この選手位置検出装置における、前記分類手段で分類された選手毎のチームと、前記３次元選手座標推定手段で推定された３次元推定選手座標とに基づいて、前記オフサイドラインの位置を特定して出力するオフサイドライン位置出力手段と、
を備えていることを特徴とするオフサイドライン検出装置。
【請求項７】
前記オフサイドライン位置出力手段は、
前記チームを識別する種別情報に対応付けて前記３次元推定選手座標を記憶する座標記憶手段と、
この座標記憶手段に記憶されている前記３次元推定選手座標における、前記チームに区分された選手の特定の座標成分に基づいて、前記オフサイドラインの位置を推定するオフサイドライン座標推定手段と、
を備えていることを特徴とする請求項６に記載のオフサイドライン検出装置。
【請求項８】
サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するオフサイドライン検出装置であって、
スポーツ競技として前記サッカー競技をカメラで撮影した入力映像から、少なくとも選手及び審判の位置を検出する請求項５に記載の選手位置検出装置と、
この選手位置検出装置における、前記分類手段で分類されたチーム別の選手及び審判と、前記３次元選手座標推定手段で推定された３次元推定選手座標とに基づいて、前記オフサイドラインの位置を特定して出力するオフサイドライン位置出力手段とを備え、
前記オフサイドライン位置出力手段は、
前記チーム別の選手及び前記審判を識別する種別情報に対応付けて、前記３次元推定選手座標を記憶する座標記憶手段と、
この座標記憶手段に記憶されている前記３次元推定選手座標における、前記チームに区分された選手及び審判の特定の座標成分に基づいて、前記オフサイドラインの位置を推定するオフサイドライン座標推定手段と、
を備えていることを特徴とするオフサイドライン検出装置。
【請求項９】
前記選手位置検出装置で検出された３次元推定選手座標の中で、予め定めた範囲内に存在する座標のみを前記座標記憶手段に記憶するフィルタ手段を備えていることを特徴とする請求項７又は請求項８に記載のオフサイドライン検出装置。
【請求項１０】
サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するオフサイドライン検出装置であって、
前記入力映像から、時系列に選手又はボールを示すオブジェクト領域と背景領域とに分割したシルエット映像を生成するシルエット映像生成手段と、
このシルエット映像生成手段で生成されたシルエット映像における前記オブジェクト領域の位置及び大きさと、前記カメラが設置された位置及び撮影時の焦点距離とに基づいて、前記オブジェクト領域の位置を３次元座標上で追跡することで、前記選手及び前記ボールの位置を３次元推定選手座標及び３次元推定ボール座標として推定する３次元オブジェクト座標推定手段と、
この３次元オブジェクト座標推定手段で推定された３次元推定選手座標と、前記カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、前記入力映像内における、前記選手が存在する２次元選手領域を設定する２次元選手領域設定手段と、
この２次元選手領域設定手段で設定された２次元選手領域と、前記シルエット映像内の前記オブジェクト領域との共通する領域内における、前記入力映像の色の統計量を測定する色統計量測定手段と、
前記選手が属するチームの服色に基づく色の統計量を少なくとも記憶した色統計量記憶手段と、
この色統計量記憶手段に記憶されている色の統計量と、前記色統計量測定手段で測定された色の統計量とに基づいて、前記選手をチーム別に分類する分類手段と、
この分類手段で分類された選手毎のチームと、前記３次元推定選手座標及び３次元推定ボール座標とに基づいて、前記オフサイドラインの位置を特定して出力するオフサイドライン位置出力手段と、
を備えていることを特徴とするオフサイドライン検出装置。
【請求項１１】
前記色統計量記憶手段に、審判の服色の統計量を記憶しておくことで、前記分類手段は、前記選手に加え、前記審判を分類の対象とし、
前記オフサイドライン位置出力手段は、
前記選手、前記審判及び前記ボールを識別する種別情報に対応付けて、前記３次元推定選手座標及び前記３次元推定ボール座標を記憶する座標記憶手段と、
この座標記憶手段に記憶されている前記３次元推定選手座標における、前記チームに区分された選手、審判及びボールの特定の座標成分に基づいて、前記オフサイドラインの位置を推定するオフサイドライン座標推定手段と、
を備えていることを特徴とする請求項１０に記載のオフサイドライン検出装置。
【請求項１２】
サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するために、コンピュータを、
前記入力映像から、時系列に選手領域と背景領域とに分割したシルエット映像を生成するシルエット映像生成手段、
このシルエット映像生成手段で生成されたシルエット映像における前記選手領域の位置と、前記カメラが設置された位置及び撮影時の焦点距離とに基づいて、前記選手領域の位置を３次元座標上で追跡することで、前記選手の位置を３次元推定選手座標として推定する３次元選手座標推定手段、
この３次元選手座標推定手段で推定された３次元推定選手座標と、前記カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、前記入力映像内における、前記選手が存在する２次元選手領域を設定する２次元選手領域設定手段、
この２次元選手領域設定手段で設定された２次元選手領域と、前記シルエット映像内の前記選手領域との共通する領域内における、前記入力映像の色の統計量を測定する色統計量測定手段、
前記選手が属するチームの服色に基づく色の統計量を少なくとも記憶した色統計量記憶手段に記憶されている前記色の統計量と、前記色統計量測定手段で測定された色の統計量とに基づいて、前記選手をチーム別に分類する分類手段、
この分類手段で分類された選手毎のチームと、前記３次元選手座標推定手段で推定された３次元推定選手座標とに基づいて、前記オフサイドラインの位置を特定して出力するオフサイドライン位置出力手段、
として機能させることを特徴とするオフサイドライン検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スポーツ映像用のＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）合成技術に関し、より詳細には、サッカー競技映像から、ＣＧ合成に使用するためのオフサイドラインの位置を検出するオフサイドライン検出装置及びそのプログラム、並びに、選手位置検出装置に関する。
【背景技術】
【０００２】
従来、スポーツ映像用のＣＧ合成技術としては、アメリカンフットボールにおける攻撃の単位となる１０ヤードラインを、映像上に仮想的に重畳して可視化する装置が実用化されている。また、ゴルフにおけるティーショットの飛距離を見やすくするために、特定の距離に直線等の図形をスケールとして映像上に仮想的に重畳する装置が存在する。また、競泳やスピードスケートにおいて、過去の泳者又は走者の実映像を、現在の競技映像に重畳して視覚化する技術が存在する。
さらに、スポーツ競技者に電磁読み取り用のタグを取り付けることで、スポーツ競技者（選手）の位置を検出し、その位置によって、サーカー競技のオフサイドライン等を可視化する技術が開示されている（特許文献１、特許文献２参照）。
【特許文献１】特開平７−５６９９０号公報（段落００１６〜００２８、図１〜３）
【特許文献２】特開２００１−１０４５３３号公報（段落００１７〜００２７、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来のスポーツ映像用ＣＧ合成技術では、例えば、アメリカンフットボールにおける１０ヤードラインを映像に重畳する場合、その１０ヤードラインは一方のチームの攻撃期間中、静的な物理量であって、その期間中、１０ヤードラインを示すＣＧを映像上に固定的に重畳するだけでよい。また、ゴルフの飛距離をスケールとして映像に重畳する場合、そのスケールは完全に静的な物理量であって、例えば、１０ヤード間隔、５０ヤード間隔等の固定的なスケールをＣＧとして映像上に重畳すればよい。
【０００４】
一方、競泳やスピードスケートの例のように、過去の泳者又は走者の実映像を、現在の競技映像に重畳する場合、扱うＣＧのデータ（過去の泳者又は走者の実映像）は、動的なものであるが、予め蓄積された過去の物理量である。
すなわち、従来のスポーツ映像用ＣＧ合成技術では、例えば、サッカー競技のオフサイドラインのように、実時間で変化する物理量を映像に重畳することができないという問題がある。
【０００５】
また、スポーツ競技者に電磁読み取り用のタグを取り付けることで、サッカー競技のオフサイドライン等を可視化する技術では、スポーツ競技者（選手）にタグを取り付けなければならず、取り扱いが面倒であるとともに、ユニフォームの材質感に対して異物感を与えることとなり、選手に負担をかけてしまうという問題がある。さらに、選手の転倒等による衝撃によっては、タグが損傷して誤作動を起こしてしまうという問題がある。
【０００６】
本発明は、以上のような問題点に鑑みてなされたものであり、スポーツ競技を撮影した映像から、動的に変化する選手の位置をチーム別に検出することが可能な選手位置検出装置と、電磁読み取り用のタグを取り付けることなく、チーム別に選手の位置を検出することで、サッカー競技のオフサイドラインの位置を動的に検出することが可能なオフサイドライン検出装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の選手位置検出装置は、スポーツ競技をカメラで撮影した入力映像から、チーム別に選手の位置を検出する選手位置検出装置であって、シルエット映像生成手段と、３次元選手座標推定手段と、２次元選手領域設定手段と、色統計量測定手段と、色統計量記憶手段と、分類手段とを備える構成とした。
【０００８】
かかる構成によれば、選手位置検出装置は、シルエット映像生成手段によって、入力映像から、時系列に選手領域と背景領域とに分割したシルエット映像を生成する。例えば、入力映像の色情報（色ベクトル等）によって、入力映像を２値化する。あるいは、フレーム毎に動きのある領域を選手領域として検出することで、入力映像を２値化することとしてもよい。これによって、入力映像から、選手領域の候補となる領域が抽出される。
【０００９】
そして、選手位置検出装置は、３次元選手座標推定手段によって、シルエット映像における選手領域の位置（例えば、重心位置）と、カメラが設置された位置及び撮影時の焦点距離とに基づいて、選手領域の位置を３次元座標上で追跡することで、前記選手の位置を推定する。すなわち、３次元選手座標推定手段は、カメラで撮影した２次元画像を、カメラの位置及び焦点距離に基づいて、実空間（３次元座標）上に逆投影し、その３次元座標上で選手領域の位置を追跡することで、選手の位置を３次元推定選手座標として推定する。これによって、入力映像上に映っている選手の実空間上の位置が特定される。また、選手が重なって同一のシルエットとなった選手領域であっても、その重なり（隠蔽）を検出することができる。なお、この段階では、選手のチーム等の区別は行われていない。
【００１０】
さらに、選手位置検出装置は、２次元選手領域設定手段によって、３次元選手座標推定手段で推定された選手領域毎の３次元推定選手座標を、カメラの位置及び焦点距離に基づいて投影変換することで、２次元座標に変換し、予め定めた選手の大きさにより、入力映像内における、選手が存在する２次元選手領域、例えば、矩形領域を設定する。これによって、個々の３次元推定選手座標で特定された選手領域と、２次元の選手領域とを対応付ける。
そして、選手位置検出装置は、色統計量測定手段によって、２次元選手領域設定手段で設定された２次元選手領域と、シルエット映像内の選手領域との共通する領域内で、入力映像の色の統計量を測定する。このように、色の統計量を、２次元選手領域と、シルエット映像内の選手領域との共通する領域内で測定することで、シルエットとして重なっている選手であっても、別々の選手として色の統計量を測定することが可能になる。
【００１１】
また、選手位置検出装置は、少なくとも選手が属するチームの服色に基づく色の統計量を記憶した色統計量記憶手段を備えている。このため、選手位置検出装置は、分類手段によって、色統計量記憶手段に記憶されている色の統計量と、色統計量測定手段で測定された色の統計量とに基づいて、選手をその選手が属するチーム毎に分類することが可能になる。
【００１２】
さらに、請求項２に記載の選手位置検出装置は、請求項１に記載の選手位置検出装置において、前記３次元選手座標推定手段が、面積判定手段を備え、この面積判定手段によって有効と判定された選手領域について、前記３次元推定選手座標を推定することを特徴とする。
【００１３】
かかる構成によれば、選手位置検出装置は、３次元選手座標推定手段において、面積判定手段によって、予め定めた選手の大きさに基づいて、シルエット映像における選手領域が、選手の領域として有効かどうかを判定する。すなわち、面積判定手段は、シルエット映像生成手段による２値化の際に、選手の色に類似した領域を選手領域として抽出してしまっても、その領域の大きさ（面積）が予め定めた選手の大きさの範囲に含まれない場合は、当該領域を選手領域ではないと判定する。
【００１４】
また、請求項３に記載の選手位置検出装置は、請求項１又は請求項２に記載の選手位置検出装置において、前記３次元選手座標推定手段が、３次元座標変換手段と、第二の２次元選手領域設定手段と、面積閾値生成手段と、可変面積判定手段とを備え、この可変面積判定手段によって有効と判定された選手領域について、前記３次元推定選手座標を推定することを特徴とする。
【００１５】
かかる構成によれば、選手位置検出装置は、３次元座標変換手段によって、カメラの位置及び焦点距離に基づいて、シルエット映像における選手領域毎の２次元座標を３次元座標に変換する。そして、選手位置検出装置は、第二の２次元選手領域設定手段によって、３次元座標変換手段で変換された３次元座標と、カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、入力映像内に選手が存在する２次元選手領域を設定する。さらに、面積閾値生成手段によって、２次元選手領域の大きさを基準として、選手領域が、選手の領域として有効かどうかを判定する閾値を生成する。すなわち、２次元選手領域の大きさに対して、予め定めた幅を持たせることで、閾値の上限値及び下限値とする。
【００１６】
これによって、選手領域が選手の領域として有効か否かを判定する際の閾値が、映像上で選手の大きさが変化した場合であっても、その大きさに適応して変化するため、最適な閾値を設定することができる。
そして、選手位置検出装置は、可変面積判定手段によって、面積閾値生成手段で生成された閾値に基づいて、シルエット映像における選手領域が、選手の領域として有効かどうかを判定する。これによって、選手領域の中で有効な領域を精度よく抽出することができる。
【００１７】
さらに、請求項４に記載の選手位置検出装置は、請求項１乃至請求項３のいずれか一項に記載の選手位置検出装置において、前記３次元選手座標推定手段が、検出・追跡手段と、予測・推定手段と、遅延手段とを備えていることを特徴とする。
【００１８】
かかる構成によれば、選手位置検出装置は、検出・追跡手段によって、１単位時間過去に予測された選手領域の３次元座標である３次元予測選手座標と、現在の選手領域の３次元座標である３次元選手座標との距離に基づいて、選手領域を選手毎に検出し、追跡する。例えば、検出・追跡手段は、３次元予測選手座標と３次元選手座標との距離が最も短いものが、同一の選手領域であると判定することで、選手を追跡することができる。また、当該距離が長い場合は、その映像内に新規に選手が映ったと判定することで、新たな選手領域を検出することができる。
【００１９】
そして、選手位置検出装置は、予測・推定手段によって、選手追跡手段で検出し、追跡された選手毎の３次元選手座標を、時間方向に平滑化して、３次元推定選手座標とするとともに、１単位時間後の選手領域の３次元座標を３次元予測選手座標として予測する。ここで時間方向の平滑化とは、時間毎に入力される３次元選手座標を、雑音等を考慮した滑らかな移動軌跡に変換することである。例えば、予測・推定手段をカルマンフィルタとして機能させることで、雑音等を考慮した滑らかな移動軌跡に変換することである。
【００２０】
そして、選手位置検出装置は、遅延手段によって、予測・推定手段で予測された３次元予測選手座標を１単位時間遅延させる。ここで、遅延された３次元予測選手座標は、予測・推定手段で用いられる。これによって、選手位置検出装置は、選手を追跡することが可能になり、選手領域が重なった場合であっても、精度よく選手位置を特定することができる。
【００２１】
また、請求項５に記載の選手位置検出装置は、請求項１乃至請求項３のいずれか一項に記載の選手位置検出装置において、前記色統計量記憶手段に、審判の服色の統計量を記憶しておくことで、前記分類手段は、前記選手に加え、前記審判を分類の対象とすることを特徴とする。
【００２２】
かかる構成によれば、選手位置検出装置は、統計量記憶手段に、審判の服色の統計量を記憶しておくことで、審判を選手と区別して認識することが可能になる。これによって、映像内において、選手だけでなく、審判の位置を検出することが可能になる。
【００２３】
また、請求項６に記載のオフサイドライン検出装置は、サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するオフサイドライン検出装置であって、請求項１乃至請求項４のいずれか一項に記載の選手位置検出装置と、オフサイドライン位置出力手段とを備える構成とした。
【００２４】
かかる構成によれば、オフサイドライン検出装置は、選手位置検出装置によって、入力映像から、選手の位置を３次元推定選手座標として推定する。そして、その３次元推定選手座標に対応する２次元の選手領域を特定し、その２次元の選手領域（２次元選手領域）について、色の統計量を測定することで、選手とチームとを対応付けて検出する。これによって、入力映像上に映っている選手の３次元座標上の位置（３次元推定選手座標）と、その選手が属するチームとを対応付けて検出することができる。そして、オフサイドライン検出装置は、オフサイドライン位置出力手段によって、入力映像における個々の選手の３次元推定選手座標と、選手が属するチームとに基づいて、オフサイドラインの位置を特定することができる。例えば、オフサイドライン位置出力手段は、ゴールキーパを含む守備側の後方から２人目の選手の位置で、ゴールラインに平行なラインをオフサイドラインの位置とする。
【００２５】
さらに、請求項７に記載のオフサイドライン検出装置は、請求項６に記載のオフサイドライン検出装置において、前記オフサイドライン位置出力手段が、座標記憶手段と、オフサイドライン座標推定手段とを備える構成とした。
【００２６】
かかる構成によれば、オフサイドライン検出装置は、オフサイドライン位置出力手段の座標記憶手段にチームを識別する種別情報に対応付けて３次元推定選手座標を記憶する。これによって、ある時刻のフレーム内における選手の位置がすべて記憶されることになる。そして、オフサイドライン検出装置は、オフサイドライン座標推定手段によって、座標記憶手段に記憶されている３次元推定選手座標における、チームに区分された選手の特定の座標成分（例えば、ｘ座標）の大きさの順番で、所定番目となる座標成分の値をオフサイドラインの位置として推定する。例えば、ｘ座標が大きいほど、ホームチーム側のゴールラインに近づく座標系の場合、ｘ座標が２番目に大きい選手の位置をオフサイドラインの位置として推定することができる。
【００２７】
また、請求項８に記載のオフサイドライン検出装置は、サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するオフサイドライン検出装置であって、選手及び審判の位置を検出する請求項５に記載の選手位置検出装置と、オフサイドライン位置出力手段とを備え、このオフサイドライン位置出力手段が、座標記憶手段と、オフサイドライン座標推定手段とを備える構成とした。
【００２８】
かかる構成によれば、オフサイドライン検出装置は、選手位置検出装置によって、入力映像から、選手及び審判の位置を３次元推定選手座標として推定する。そして、オフサイドライン検出装置は、オフサイドライン位置出力手段の座標記憶手段に選手及び審判を識別する種別情報に対応付けて３次元推定選手座標を記憶する。これによって、ある時刻のフレーム内における選手及び審判の位置がすべて記憶されることになる。そして、オフサイドライン検出装置は、オフサイドライン座標推定手段によって、座標記憶手段に記憶されている３次元推定選手座標において、種別情報と、特定のチームにおける特定の座標成分の大きさの順番とに基づいて、選手又は審判で所定番目となる座標成分の値をオフサイドラインの位置として推定する。例えば、ｘ座標が大きいほど、ホームチーム側のゴールラインに近づく座標系の場合、ｘ座標が２番目に大きい選手の位置をオフサイドラインの位置として推定した場合であっても、審判の位置がさらにゴールラインに近い場合は、審判が、映像内に映っていない選手を追跡していると想定し、その審判の位置をオフサイドラインの位置として推定する。
【００２９】
さらに、請求項９に記載のオフサイドライン検出装置は、請求項７又は請求項８に記載のオフサイドライン検出装置において、前記選手位置検出装置で検出された３次元推定選手座標の中で、予め定めた範囲内に存在する座標のみを前記座標記憶手段に記憶するフィルタ手段を備えていることを特徴とする。
【００３０】
かかる構成によれば、オフサイドライン検出装置は、フィルタ手段によって、選手位置検出装置が検出した３次元推定選手座標が予め定めた範囲内に存在する場合は、座標記憶手段に記憶し、その範囲内に存在しない場合は、座標記憶手段に記憶しない。例えば、ゴールキーパがゴールから予め定めた距離以上離れている場合は、そのゴールキーパは、誤検出である可能性が高いため、その座標を座標記憶手段に記憶しない。これによって、オフサイドラインを検出するための、選手等の位置のみが座標記憶手段に記憶されることとなる。
【００３１】
また、請求項１０に記載のオフサイドライン検出装置は、サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するオフサイドライン検出装置であって、シルエット映像生成手段と、３次元オブジェクト座標推定手段と、２次元選手領域設定手段と、色統計量測定手段と、色統計量記憶手段と、分類手段と、オフサイドライン位置出力手段とを備えていることを特徴とする。
【００３２】
かかる構成によれば、オフサイドライン検出装置は、シルエット映像生成手段によって、入力映像から、時系列に選手又はボールを示すオブジェクト領域と背景領域とに分割したシルエット映像を生成する。
そして、オフサイドライン検出装置は、３次元オブジェクト座標推定手段によって、シルエット映像におけるオブジェクト領域の位置（例えば、重心位置）と、カメラが設置された位置及び撮影時の焦点距離とに基づいて、オブジェクト領域の位置を３次元座標上で追跡することで、前記選手又はボールの位置を推定する。
さらに、オフサイドライン検出装置は、２次元選手領域設定手段によって、３次元オブジェクト座標推定手段で推定された選手の３次元推定選手座標を、カメラの位置及び焦点距離に基づいて投影変換することで、２次元座標に変換し、予め定めた選手の大きさにより、入力映像内における、選手が存在する２次元選手領域、例えば、矩形領域を設定する。そして、オフサイドライン検出装置は、色統計量測定手段によって、２次元選手領域設定手段で設定された２次元選手領域と、シルエット映像内のオブジェクト領域との共通する領域内で、入力映像の色の統計量を測定する。
【００３３】
また、オフサイドライン検出装置は、少なくとも選手が属するチームの服色に基づく色の統計量を記憶した色統計量記憶手段を備えている。このため、選手位置検出装置は、分類手段によって、色統計量記憶手段に記憶されている色の統計量と、色統計量測定手段で測定された色の統計量とに基づいて、選手を、その選手が属するチーム毎に分類することが可能になる。
そして、オフサイドライン検出装置は、オフサイドライン位置出力手段によって、入力映像における個々の選手の３次元推定選手座標及びその選手が属するチームと、ボールの位置座標とに基づいて、オフサイドラインの位置を特定することができる。例えば、入力映像にボールが映っていない場合は、選手の位置からオフサイドラインの位置を推定し、ボールが映っている場合は、そのボールの位置をオフサイドラインの位置として推定する。
【００３４】
さらに、請求項１１に記載のオフサイドライン検出装置は、請求項１０に記載のオフサイドライン検出装置において、前記色統計量記憶手段に、審判の服色の統計量を記憶しておくことで、前記分類手段は、前記選手に加え、前記審判を位置検出の対象として分類し、前記オフサイドライン位置出力手段が、座標記憶手段と、オフサイドライン座標推定手段とを備えていることを特徴とする。
【００３５】
かかる構成によれば、オフサイドライン検出装置は、審判の服色の統計量を記憶しておくことで、審判を選手と区別して認識することが可能になる。これによって、入力映像内において、選手だけでなく、審判の位置を検出することが可能になる。
そして、オフサイドライン検出装置は、オフサイドライン位置出力手段の座標記憶手段に、選手、審判及びボールを識別する種別情報に対応付けて、３次元推定選手座標及び３次元推定ボール座標を記憶する。そして、オフサイドライン検出装置は、オフサイドライン座標推定手段によって、種別情報と特定の座標成分（例えば、ｘ座標）の大きさの順番とに基づいて、選手、審判又はボールで所定番目となる座標成分の値をオフサイドラインの位置として推定する。
【００３６】
さらに、請求項１２に記載のオフサイドライン検出プログラムは、サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するために、コンピュータを、シルエット映像生成手段、３次元選手座標推定手段、２次元選手領域設定手段、色統計量測定手段、分類手段、オフサイドライン位置出力手段として機能させることを特徴とする。
【００３７】
このようにコンピュータを機能させることで、オフサイドライン検出プログラムは、シルエット映像生成手段によって、入力映像から、時系列に選手領域と背景領域とに分割したシルエット映像を生成する。
そして、オフサイドライン検出プログラムは、３次元選手座標推定手段によって、シルエット映像における選手領域の位置（例えば、重心位置）と、カメラの位置及び焦点距離とに基づいて、選手領域の位置を３次元座標上で追跡することで、前記選手の位置を推定する。
さらに、オフサイドライン検出プログラムは、２次元選手領域設定手段によって、３次元選手座標推定手段で算出された選手領域毎の３次元推定選手座標と、カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、入力映像内に選手が存在する２次元選手領域を設定する。
【００３８】
そして、オフサイドライン検出プログラムは、色統計量測定手段によって、２次元選手領域設定手段で設定された２次元選手領域と、シルエット映像内の選手領域との共通する領域内で、入力映像の色の統計量を測定する。
そして、オフサイドライン検出プログラムは、分類手段によって、少なくとも選手が属するチームの服色に基づく色の統計量を記憶した色統計量記憶手段に記憶されている色の統計量と、色統計量測定ステップにおいて測定された色の統計量とに基づいて、選手をチーム毎に分類する。
また、オフサイドライン検出プログラムは、オフサイドライン位置出力手段によって、分類手段で分類された選手毎のチームと、３次元選手座標推定手段で推定された３次元推定選手座標とに基づいて、オフサイドラインの位置を特定する。
【発明の効果】
【００３９】
請求項１に記載の発明によれば、スポーツ競技をカメラで撮影した入力映像から、チーム別に選手の３次元空間上の位置を検出して出力することができ、さらに、フレーム毎に選手の位置を追跡するため、選手同士が重なり合っても精度よく選手の位置を検出することができる。
【００４０】
請求項２に記載の発明によれば、シルエット映像として抽出した領域の大きさ（面積）が、予め定めた選手の大きさの範囲に含まれない場合は、当該領域を選手領域ではないと判定するため、ノイズや誤検出による領域を排除することができ、精度よく選手を検出することができる。
【００４１】
請求項３に記載の発明によれば、シルエット映像として抽出した領域の大きさ（面積）が、選手の動きによって大きく変化する場合であっても、その選手の大きさによって、シルエット映像として抽出した領域が、選手の領域として有効かどうかを判定する閾値を変化させることができるので、選手領域の有効性を正確に判定することができる。
【００４２】
請求項４に記載の発明によれば、選手領域を３次元座標上で検出、追跡することができるので、選手がシルエット映像において重なっている場合であっても、個々の選手を追跡することが可能になる。このように、映像上の選手を区別することができるため、オフサイドラインの位置を精度よく検出することが可能になる。
請求項５に記載の発明によれば、選手と同様に、審判の位置を３次元座標上で検出、追跡することができる。
【００４３】
請求項６又は請求項１２に記載の発明によれば、サッカー競技をカメラで撮影した入力映像から、サッカー競技のフィールド内におけるチーム別の選手の３次元空間上の位置により、時々刻々と変化するオフサイドラインの位置（座標）を推定することができる。これによって、このオフサイドラインの位置（座標）を、入力映像に対してコンピュータグラフィックスにより合成することで、オフサイドラインを視覚化して提示することが可能になる。
【００４４】
請求項７に記載の発明によれば、時系列の映像（フレーム等）毎に、その映像内に映っている選手の位置をチーム毎に分類して記憶しておくため、その映像内において、あるチームの選手が、ゴールから何番目に位置するかを推定することができ、その順番により、オフサイドラインの位置を推定することができる。
請求項８に記載の発明によれば、選手と同様に、審判の位置を３次元座標上で検出、追跡することができ、時系列の映像（フレーム等）毎に、その映像内に映っている選手や審判を分類して記憶しておくため、選手のみでオフサイドラインの位置を推定する場合に比べ、精度よくオフサイドラインの位置を推定することができる。
【００４５】
請求項９に記載の発明によれば、オフサイドラインを検出するために必要となる選手等の位置のみが座標記憶手段に記憶されることになるため、オフサイドラインの位置を推定する精度を高めることができる。
請求項１０に記載の発明によれば、サッカー競技をカメラで撮影した入力映像から、サッカー競技のフィールド内におけるチーム別の選手やボールの３次元空間上の位置により、時々刻々と変化するオフサイドラインの位置（座標）を推定することができる。
請求項１１に記載の発明によれば、選手、審判及びボールの位置に基づいて、オフサイドラインの位置を推定するため、精度よくオフサイドラインの位置を推定することができる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の実施の形態について図面を参照して説明する。
［オフサイドライン検出装置の概要］
まず、図１を参照して、本発明に係るオフサイドライン検出装置の概要について説明する。図１は、サッカー競技のルールに規定されたオフサイドラインを検出するオフサイドライン検出装置の概要を説明するための説明図である。
図１に示すように、オフサイドライン検出装置１は、サッカー競技場Ｆを撮影するカメラＣから出力される映像と、そのカメラＣが設置された位置及び撮影時の焦点距離とに基づいて、オフサイドラインの位置を検出するものである。ここで、オフサイドラインとは、ハーフウェイラインＨＬとゴールラインＧＬとの間において、ゴールキーパを含む守備側の後方から２人目の選手を通る、ゴールラインＧＬに平行なラインである。
ここでは、オフサイドライン検出装置１は、サッカー競技場ＦにおけるタッチラインＴＬ方向をｘ（ｘW）軸、ハーフウェイラインＨＬ方向をｙ（ｙW）軸、天頂方向をｚ（ｚW）軸とするワールド座標系（ｘW，ｙW，ｚW）としたときのオフサイドラインの位置、すなわち、ｘ座標を出力する。
【００４７】
なお、カメラＣは、ワールド座標系（ｘW，ｙW，ｚW）において、カメラの位置Ｔ（ｔx，ｔy，ｔz）に配置されているものとし、カメラＣの座標系は、ワールド座標系（ｘW，ｙW，ｚW）とは異なるカメラ座標系（ｘC，ｙC，ｚC）となっているものとする。ここで、カメラ座標系とは、ワールド座標に対し、入力映像を見たときの視点となる位置を原点とした座標系である。また、カメラＣは固定カメラである必要はなく、移動カメラでサッカー競技場Ｆを撮影してもよい。
【００４８】
＜第一の実施の形態］＞
［オフサイドライン検出装置の構成］
次に、図２を参照して、本発明の第一の実施の形態に係るオフサイドライン検出装置の構成について説明する。図２は、本発明の第一の実施の形態に係るオフサイドライン検出装置の構成を示したブロック図である。
図２に示すように、オフサイドライン検出装置１は、サッカー競技を撮影した映像（入力映像）から、チーム毎の選手の位置を検出することで、オフサイドラインの位置（座標）を検出するものである。ここでは、オフサイドライン検出装置１は、選手位置検出手段１０と、オフサイドライン位置出力手段２０とを備えて構成している。
【００４９】
選手位置検出手段（選手位置検出装置）１０は、入力されたスポーツ映像（ここではサッカー競技を撮影した入力映像）から、その入力映像内におけるチーム毎の選手の位置を検出するものである。ここでは、選手位置検出手段１０は、シルエット映像生成手段１１と、３次元選手座標推定手段１２と、２次元選手領域設定手段１３と、色統計量測定手段１４と、色統計量記憶手段１５と、分類手段１６とを備えて構成している。
【００５０】
シルエット映像生成手段１１は、入力映像として時系列に入力されるフレーム毎に、そのフレームを複数の選手領域と背景領域とに分割することでシルエット映像を生成するものである。ここでは、シルエット映像生成手段１１は、選手領域を画素値「１」、背景領域を画素値「０」としてフレームを２値化する。例えば、図３に示した入力映像（ある時刻におけるフレーム）を２値化することで、図４に示したシルエット映像を生成する。この図４では、選手領域を「黒色」、背景領域を「白色」で示している。また、この図４では、選手領域の中に、選手とは関係のない領域Ｈが、誤検出された例を示している。なお、ここで生成されたシルエット映像は、図示していない記憶手段に一時的に記憶され、３次元選手座標推定手段１２及び色統計量測定手段１４によって参照される。
【００５１】
このシルエット映像生成手段１１は、例えば、一般的なハードクロマキーによって実現することができる。ここで入力映像をカラー映像としたとき、入力映像の（ｘ，ｙ）座標位置の画素値Ｉ（ｘ，ｙ）は、色空間内におけるベクトル値（色ベクトル）をとる。そこで、ここでは、ハードクロマキーとして、入力された色ベクトルを｛０，１｝の２値に変換するものとする。すなわち、ハードクロマキーは、以下の（１）式に示すように、入力映像Ｉ（ｘ，ｙ）をシルエット映像（２値画像）Ｓ（ｘ，ｙ）に変換する関数ｃとすることができる。
【００５２】
【数１】
2005209148.tif 000003
【００５３】
例えば、背景となる芝生や、土の領域における色ベクトルの平均値、共分散等の統計量を予め求めておき、入力映像の画素の色ベクトルが、その統計量に近い場合には「０」、それ以外の場合に「１」を出力する関数ｃを、ハードクロマキーとする。ここで、色ベクトルと統計量との距離は、マハラノビス距離を用いることができる。このマハラノビス距離が予め定めた閾値以下の場合には、前記（１）式の関数ｃは「０」を出力し、閾値を超える場合には、関数ｃは「１」を出力するものとする。
【００５４】
また、シルエット映像生成手段１１は、背景差分法によって実現することも可能である。例えば、選手が映っていない、若しくは選手を除去した背景画像Ｂ（ｘ，ｙ）を予め準備しておき、以下に示す（２）式に示すように、入力映像Ｉ（ｘ，ｙ）と、予め準備した背景画像Ｂ（ｘ，ｙ）との色ベクトルの大きさの差分が、予め定めた閾値θ以下の場合は「０」、それ以外の場合は「１」とすることで、シルエット映像（２値画像）Ｓ（ｘ，ｙ）としてもよい。
【００５５】
【数２】
2005209148.tif 000004
【００５６】
なお、シルエット映像生成手段１１は、フレーム毎に動きのある領域を検出し、その動きのある領域を選手領域としてもよい。
【００５７】
３次元選手座標推定手段１２は、シルエット映像生成手段１１で生成されたシルエット映像における選手領域の位置と、入力映像を撮影したカメラが設置された位置及び撮影時の焦点距離とに基づいて、それぞれの選手領域の３次元座標を推定した３次元推定選手座標を算出するものである。この３次元選手座標推定手段１２では、個々の選手領域内における特定の一点である重心位置を基準に３次元推定選手座標を求めることとする。なお、重心座標以外で、選手領域内の特定の一点、例えば、最上位点等を用いることもできるが、選手領域全体の位置を特徴付ける重心座標を用いることが好ましい。この３次元選手座標推定手段１２で推定された３次元推定選手座標は、選手領域毎に識別番号が付与されて２次元選手領域設定手段１３に出力される。なお、ここでは、３次元選手座標推定手段１２は、ラベリング手段１２ａと、面積判定手段１２ｂと、逆投影変換手段１２ｃと、検出・追跡手段１２ｄと、予測・推定手段１２ｅと、遅延手段１２ｆとを備えて構成している。
【００５８】
ラベリング手段１２ａは、シルエット映像生成手段１１で生成されたシルエット映像における選手領域に対して、番号付け（ラベル付け）を行うものである。例えば、図４に示したシルエット映像に対してラベル付けを行うことで、図５に示すように、単連結領域である選手領域毎に、ラベル番号（ここでは、Ｌ１〜Ｌ９）が付与される。このラベル付けは、一般的な２値画像のラベリングアルゴリズムにより行うことができる。なお、ここでは、ラベリング手段１２ａは、ラベル付けされたラベル番号毎に、単連結領域（選手領域）の面積及び重心座標も算出するものとする。以下、このラベル番号、面積及び重心座標を領域情報と呼ぶ。このラベリング手段１２ａで生成された情報である領域情報は、面積判定手段１２ｂに出力される。
【００５９】
面積判定手段１２ｂは、ラベリング手段１２ａで生成された領域情報内の面積が、特定の範囲内であるかどうかを判定し、面積が特定の範囲にある領域情報のみを出力する面積フィルタとして機能するものである。例えば、予め選手の大きさに相当する面積の下限値Ａmin及び上限値Ａmaxを、閾値として定めておく。そして、面積判定手段１２ｂは、ラベル番号ｍ（１≦ｍ≦Ｍ）（Ｍは単連結領域の数）に対応する領域情報の面積Ａmが、閉区間［Ａmin，Ａmax］に含まれるかどうかを判定し、Ａm∈［Ａmin，Ａmax］を満たす場合にのみ、領域情報を出力する。ここで条件を満たした領域情報は、逆投影変換手段１２ｃに出力される。
これによって、図４に示した、選手とは関係のない領域Ｈの領域情報は、出力されないことになる。
【００６０】
逆投影変換手段１２ｃは、面積判定手段１２ｂから出力される領域情報に含まれる選手領域毎の２次元座標である重心座標を、図１で説明したワールド座標系における３次元座標（３次元選手座標）に変換するものである。ここで、重心座標を（ｇx，ｇy）、ワールド座標系におけるカメラの位置を（ｔx，ｔy，ｔz）、カメラ座標系からワールド座標系への回転行列をＲ、カメラの焦点距離をｆ、ワールド座標系における選手の仮想身長をｈとすると、ワールド座標系における、重心座標に対応する３次元選手座標（ｗx，ｗy，ｗz）は、以下の（３）式により求めることができる。
【００６１】
【数３】
2005209148.tif 000005
【００６２】
この（３）式によって、算出された３次元選手座標（ｗx，ｗy，ｗz）は、選手領域、すなわち、ラベル番号に対応付けられて検出・追跡手段１２ｄに出力される。
【００６３】
検出・追跡手段１２ｄは、逆投影変換手段１２ｃでワールド座標系の座標位置に変換された選手領域毎の３次元選手座標と、後記する遅延手段１２ｆで遅延されて出力される選手領域毎の３次元予測選手座標との距離（例えば、ユークリッド距離）に基づいて、選手領域を選手毎に対応付けて追跡するものである。
この検出・追跡手段１２ｄでは、選手領域毎の３次元選手座標と３次元予測選手座標との距離を、全ての組み合わせで算出し、３次元予測選手座標との距離が最も近い３次元選手座標の選手領域を、３次元予測選手座標と同じ選手の領域であると判定し、同一の識別番号を付与する。
すなわち、検出・追跡手段１２ｄは、まず、遅延手段１２ｆで遅延された識別番号ｉの選手領域の３次元予測選手座標ｐiに最も近い３次元選手座標ｗm（ｗx，ｗy，ｗz）のラベル番号ｋ（ｉ）を、以下の（４）式により求める。なお、Ｍfは、面積判定手段１２ｂで条件を満たした（フィルタリングされた）領域情報のラベル番号ｍの集合である。
【００６４】
【数４】
2005209148.tif 000006
【００６５】
ここで、以下の（５）式に示す、ラベル番号ｋ（ｉ）の３次元選手座標ｗk(i)と、識別番号ｉの選手領域の３次元予測選手座標ｐiとの距離ｄ（ｉ）が、予め定めた閾値以下であった場合、検出・追跡手段１２ｄは、追跡が成功したものと判断し、識別番号ｉと３次元選手座標ｗk(i)とを対として予測・推定手段１２ｅに出力する。これによって、映像上の同一の選手の領域（選手領域）は、同一の識別番号を付与されて、追跡されることになる。
【００６６】
【数５】
2005209148.tif 000007
【００６７】
一方、検出・追跡手段１２ｄは、距離ｄ（ｉ）が予め定めた閾値以下となる識別番号ｉの集合をＪとし、遅延手段１２ｆから出力される全ての識別番号ｉに関して、前記（４）式により最近傍のラベル番号ｋ（ｉ）を求めた後、いずれの識別番号ｉ（∈Ｊ）の最近傍とはならなかったラベル番号の集合Ｎを以下の（６）式により求める。
【００６８】
【数６】
2005209148.tif 000008
【００６９】
ここで（６）式の集合Ｎが空集合でない場合、検出・追跡手段１２ｄは、集合Ｎを構成する全てのラベル番号ｎ（∈Ｎ）に対し、集合Ｊに含まれない新規の識別番号を割り当て、その新規の識別番号とラベル番号ｎの３次元選手座標ｗnとを対として予測・推定手段１２ｅに出力する。これによって、新しく映像上に出現した選手が検出され、その選手の領域（選手領域）に新規の識別番号が付与されることになる。
【００７０】
予測・推定手段１２ｅは、検出・追跡手段１２ｄで新規に検出された、あるいは、追跡された選手（選手領域）毎の３次元選手座標を、時間方向に平滑化して、３次元推定選手座標とするとともに、１単位時間後の選手領域の３次元座標を３次元予測選手座標として予測するものである。ここで時間方向の平滑化とは、時間毎に入力される３次元選手座標を、フィルタリングにより、雑音等を考慮した滑らかな移動軌跡に変換することである。この予測・推定手段１２ｅで予測された３次元予測選手座標は、選手領域を特定する識別番号とともに遅延手段１２ｆに出力される。また、ここで推定された３次元推定選手座標は、選手領域を特定する識別番号とともに２次元選手領域設定手段１３及びオフサイドライン位置出力手段２０に出力される。
【００７１】
この予測・推定手段１２ｅは、例えば、カルマンフィルタとして構成することができる。ここで、数式を参照して、予測・推定手段１２ｅが行う、カルマンフィルタによる予測及び推定の手法について説明する。なお、ここでは、予測・推定手段１２ｅに入力される３次元選手座標の中で、１つの識別番号ｉの選手に注目して説明を行うこととする。また、以下の説明では、３次元座標系は、図１に示したように、サッカー競技場ＦにおけるタッチラインＴＬ方向をｘ軸、ハーフウェイラインＨＬ方向をｙ軸、天頂方向をｚ軸とする右手系を構成しているものとする。さらに、カルマンフィルタでは、３次元座標の内、ｘ、ｙの両成分、及びｘ、ｙの単位時間差分を内部状態にとり、等速運動モデルによるモデル化を行うこととする。
【００７２】
ここで、内部状態とシステム雑音の共分散である状態共分散をＰ、観測時に混入する観測雑音の共分散である観測雑音共分散行列をＲ、プロセス雑音の共分散であるプロセス雑音共分散行列をＱ、内部状態と観測状態との関係を表す観測行列をＨ、状態遷移行列をＦとすると、時刻ｊにおけるカルマンゲインＫjは、以下の（７）式により算出される。なお、Ｔは転置を示す。
【００７３】
【数７】
2005209148.tif 000009
【００７４】
そして、予測・推定手段１２ｅは、以下の（８）式及び（９）式により、内部状態の更新及び伝搬の演算を順次実行する。なお、ｗjは時刻ｊにおける３次元選手座標を示す。
【００７５】
【数８】
2005209148.tif 000010
【００７６】
【数９】
2005209148.tif 000011
【００７７】
そして、予測・推定手段１２ｅは、以下の（１０）式により、時刻ｊにおける３次元推定選手座標ｓj、及び、３次元予測選手座標ｐjを算出する。なお、Ｉは単位行列、Ｏは零行列を示す。
【００７８】
【数１０】
2005209148.tif 000012
【００７９】
なお、前記（７）式乃至（１０）式に示したｘj|j及びＰj|j等は、予測・推定手段１２ｅ（カルマンフィルタ）の内部状態を示し、以下の手順で初期化を行うものとする。
まず、予測・推定手段１２ｅに、時刻ｊ0において、初めて３次元選手座標ｗj0が入力されたとする。このとき、予測・推定手段１２ｅは、以下の（１１）式によって、ｘj0|j0-1を設定する。
【００８０】
【数１１】
2005209148.tif 000013
【００８１】
一方、状態共分散Ｐは、例えば、以下の（１２）式に示すような対角行列を用いることができる。なお、σx、σy、σu、σvは、正の整数とする。
【００８２】
【数１２】
2005209148.tif 000014
【００８３】
そして、予測・推定手段１２ｅは、時刻（ｊ0＋１）以降は、前記（７）式乃至（１０）式の演算を逐次実行し、３次元推定選手座標ｓj、及び、３次元予測選手座標ｐjを算出する。
なお、前記（７）式乃至（９）式において、観測行列Ｈ、状態遷移行列Ｆ、プロセス雑音共分散行列Ｑ及び観測雑音共分散行列Ｒは、以下の（１３）式乃至（１６）式とする。
【００８４】
【数１３】
2005209148.tif 000015
【００８５】
【数１４】
2005209148.tif 000016
【００８６】
【数１５】
2005209148.tif 000017
【００８７】
【数１６】
2005209148.tif 000018
【００８８】
なお、（１６）式のλを、正の値をとる変数とし、選手の位置に応じて値を変化させることとしてもよい。例えば、前記（４）式のラベル番号ｋ（ｉ）に注目し、ｋ（ｉ）＝ｋ（ｊ）を満たすｊがｊ＝ｉの他にも存在する場合、予測・推定手段１２ｅは、選手同士の隠蔽が発生していると判断し、λの値を大きくする。また、ｊがｊ＝ｉのみの場合、予測・推定手段１２ｅは、選手同士の隠蔽が発生していないと判断し、λの値を小さくする。これによって、予測・推定手段１２ｅは、選手同士の隠蔽を考慮して、精度よく選手を追跡することが可能になる。
このように、予測・推定手段１２ｅをカルマンフィルタで構成することで、選手を滑らかに追跡することが可能になる。
図２のオフサイドライン検出装置１の構成について、説明を続ける。
【００８９】
遅延手段１２ｆは、予測・推定手段１２ｅで予測された１単位時間後の選手領域毎の３次元予測選手座標を、１単位時間、すなわち、１フレーム分遅延させるものである。ここで遅延された３次元予測選手座標は、選手領域を特定する識別番号とともに検出・追跡手段１２ｄに出力される。
【００９０】
２次元選手領域設定手段（投影変換手段）１３は、３次元選手座標推定手段１２で算出された３次元推定選手座標と、入力映像を撮影したカメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、入力映像内に選手が存在する２次元領域である２次元選手領域を設定するものである。
この２次元選手領域設定手段１３は、ワールド座標系における３次元座標（３次元選手座標）を基準とした選手の領域を、入力映像内の２次元座標の領域（２次元選手領域）に変換するものである。なお、２次元選手領域設定手段１３は、３次元選手座標を基準とした一人一人の選手の領域を円柱近似し、その円柱を２次元座標に投影し、その投影された領域を含む矩形領域（以下、バウンディングボックスという）を選手の２次元選手領域として設定する。ここで設定された２次元選手領域（バウンディングボックス）は、識別番号とともに色統計量測定手段１４に出力される。
【００９１】
以下、数式を参照して、２次元選手領域設定手段１３におけるバウンディングボックスの設定手法について説明する。ここでは、ワールド座標系における３次元選手座標をｗ＝（ｗx，ｗy，ｗz）、ワールド座標系におけるカメラの位置をｔ＝（ｔx，ｔy，ｔz）、ワールド座標系からカメラ座標系への回転行列をＲT、カメラの焦点距離をｆ、ワールド座標系における予め定めた選手の大きさとして、円柱近似した選手の仮想身長をｈ、その円柱の半径をｒとする。
このとき、ワールド座標系における３次元選手座標ｗを２次元座標に変換する透視投影式Ｔ（ｗ）は、以下の（１７）式で表すことができる。
【００９２】
【数１７】
2005209148.tif 000019
【００９３】
そこで、２次元選手領域設定手段１３は、３次元選手座標ｗに対して、ｘ軸方向に半径ｒずらした座標ｗ1，ｗ2、ｙ軸方向に半径ｒずらした座標ｗ3，ｗ4、及びｚ軸方向に仮想身長ｈの１／２ずらした座標ｗ5，ｗ6を、以下の（１８）式乃至（２３）式により算出する。
【００９４】
【数１８】
2005209148.tif 000020
【００９５】
【数１９】
2005209148.tif 000021
【００９６】
【数２０】
2005209148.tif 000022
【００９７】
【数２１】
2005209148.tif 000023
【００９８】
【数２２】
2005209148.tif 000024
【００９９】
【数２３】
2005209148.tif 000025
【０１００】
また、２次元選手領域設定手段１３は、（２４）式に示すように、前記（１８）式乃至（２３）式で算出した各座標ｗ1〜ｗ6を、前記（１７）式のｗへ代入することで、各座標ｗ1〜ｗ6を２次元座標に投影変換する。
【０１０１】
【数２４】
2005209148.tif 000026
【０１０２】
そして、２次元選手領域設定手段１３は、（２５）式に示すように、前記（２４）式で算出された２次元座標の中で、ｘ軸方向の最小値から最大値までの範囲と、ｙ軸方向の最小値から最大値までの範囲とに含まれる領域をバウンディングボックスＤとする。
【０１０３】
【数２５】
2005209148.tif 000027
【０１０４】
図２のオフサイドライン検出装置１の構成について、説明を続ける。
色統計量測定手段１４は、２次元選手領域設定手段１３で設定されたバウンディングボックス（２次元選手領域）と、シルエット映像生成手段１１で生成されたシルエット映像の選手領域（例えば、画素値「１」の領域）との共通する領域内で、入力映像の色の統計量を測定するものである。ここで、測定された色の統計量は、識別番号とともに分類手段１６に出力される。
なお、色の統計量としては、例えば、色ベクトルを領域内で平均化した平均色ベクトルを用いることができる。すなわち、バウンディングボックスとシルエット映像の選手領域（画素値「１」）との共通する領域をＥとし、（ｘ，ｙ）座標における色ベクトルをＩ（ｘ，ｙ）とすると、平均色ベクトルμは、（２６）式で求めることができる。
【０１０５】
【数２６】
2005209148.tif 000028
【０１０６】
これによって、各バウンディングボックスは、色の統計量によって特徴付けされることになる。
【０１０７】
色統計量記憶手段１５は、少なくとも選手が属するチームの服色に基づく色の統計量を予め記憶したデータベースである。ここでは、色統計量記憶手段１５に、オブジェクト種別（種別情報）と、色の統計量とを対にして記憶しておく。ここで、オブジェクト種別とは、人物がどのチームに所属するか、ゴールキーパであるか、審判であるか等を表す識別子とする。この色統計量記憶手段１５に記憶されているオブジェクト種別及び色の統計量は、分類手段１６によって参照される。
【０１０８】
ここで、図６を参照して、色統計量記憶手段１５に記憶されているデータベースについて説明する。図６は、色統計量記憶手段１５に記憶されているデータベースの内容の一例を示す図である。このデータベースＤＢには、人物を６つのオブジェクト種別１００（ゴールキーパ以外のホームチーム選手、ホームチーム側ゴールキーパ、ゴールキーパ以外のアウェイチーム選手、アウェイチーム側ゴールキーパ、審判、その他）に分類し、識別子１〜６を付している。また、このデータベースＤＢには、色の統計量として、選手の平均色ベクトル１０１と、色共分散行列１０２とを、オブジェクト種別１００に対応付けて記憶している。なお、平均色ベクトル１０１及び色共分散行列１０２は、選手のユニフォームの色（服色）、あるいは、選手全身の色を予め測定することで求めておく。
図２に戻って説明を続ける。
【０１０９】
分類手段１６は、色統計量測定手段１４で測定された識別番号毎の色の統計量と、色統計量記憶手段１５に記憶されている色の統計量とに基づいて、選手をチーム毎に分類するものである。ここでは、分類手段１６は、色統計量記憶手段１５において、色統計量測定手段１４で測定された色の統計量と最も近いオブジェクト種別を検索し、該当するオブジェクト種別を、識別番号とともにオフサイドライン位置出力手段２０に出力する。
例えば、色統計量測定手段１４で測定された色の統計量をμ、色統計量記憶手段１５に記憶されている色の統計量である平均色ベクトル及び色共分散行列を（μn，Σn）（ｎ
＝１，２，…）とすると、統計量の距離Ｃは、（２７）式に示すように、マハラノビス距離を用いて算出することができる。
【０１１０】
【数２７】
2005209148.tif 000029
【０１１１】
なお、ここでは、分類手段１６が、映像の一単位（例えば、フレーム）毎の分類作業が終了した段階で、オフサイドライン位置出力手段２０に対して、オフサイドラインを検出するタイミングを示すオフサイドライン出力指示を通知するものとする。
以上説明したように、選手位置検出手段１０は、入力映像から、個々の選手の３次元座標（３次元推定選手座標）と、その選手のオブジェクト種別とを認識し、出力することができる。
ここでは、この選手位置検出手段１０に、オフサイドライン位置出力手段２０を付加することで、選手の位置に基づいて、オフサイドラインの位置を検出するオフサイドライン検出装置１を構成している。
【０１１２】
オフサイドライン位置出力手段２０は、分類手段１６で分類された選手毎のオブジェクト種別（所属チーム等の種別情報）と、３次元選手座標推定手段１２で推定された３次元推定選手座標とに基づいて、オフサイドラインの位置を特定（推定）して出力するものである。
例えば、オフサイドライン位置出力手段２０は、３次元推定選手座標の中で、サッカー競技におけるホームチーム又はアウェイチームの注目するチームの、守備側の後方から数えて２番目の選手の位置を探索する。
【０１１３】
そして、ホームチームに注目する場合、オフサイドライン位置出力手段２０は、オブジェクト種別（オブジェクトの識別子）がゴールキーパ以外のホームチームの選手を示す“１（ホーム側非ゴールキーパ選手）”、又は、ホームチームのゴールキーパを示す“２（ホーム側ゴールキーパ）”（図６参照）に分類されている識別番号の選手のみに注目し、守備側の後方から数えて２番目の選手の位置を探索する。
また、アウェイチームに注目する場合、オフサイドライン位置出力手段２０は、オブジェクト種別（オブジェクトの識別子）がゴールキーパ以外のアウェイチームの選手を示す“３（アウェイ側非ゴールキーパ選手）”、又は、アウェイチームのゴールキーパを示す“４（アウェイ側ゴールキーパ）”（図６参照）に分類されている識別番号の選手のみに注目し、守備側の後方から数えて２番目の選手の位置を探索する。
なお、選手の３次元座標（３次元推定選手座標）で、守備側の後方からの人数を求めるには、３次元座標のタッチライン方向成分（ｘ座標）の大小を判定することで行う。すなわち、ゴールがｘ軸正方向にある場合、ｘ座標が２番目に大きい位置を探索する。逆に、ゴールがｘ軸負方向にある場合、ｘ座標が２番目に小さい位置を探索する。オフサイドラインの基準となるタッチラインに対する位置（座標）が特定されることになる。
【０１１４】
ここで、図７を参照（適宜図２参照）して、オフサイドライン位置出力手段２０の詳細な構成について説明する。図７は、オフサイドライン位置出力手段の構成を示したブロック図である。ここでは、オフサイドライン位置出力手段２０は、座標記憶手段２１と、オフサイドライン座標推定手段２２とを備えて構成している。
【０１１５】
座標記憶手段２１は、選手位置検出手段１０で検出された３次元推定選手座標と、オブジェクト種別とを、識別番号に対応付けて記憶するものである。例えば、図９に示すように、識別番号に対応付けて、オブジェクト種別ｃi、３次元推定選手座標（ｘ座標ｘi、ｙ座標ｙi、ｚ座標ｚi）を記憶する。
【０１１６】
オフサイドライン座標推定手段２２は、座標記憶手段２１に記憶されている３次元推定選手座標と、オブジェクト種別とに基づいて、オフサイドラインの座標を推定するものである。ここでは、オフサイドライン座標推定手段２２は、座標探索手段２２ａと、座標特定手段２２ｂとを備えて構成している。
【０１１７】
座標探索手段２２ａは、後記する座標特定手段２２ｂから、オブジェクト種別を通知されることで、座標記憶手段２１から、該当する座標を検索するものである。なお、座標探索手段２２ａは、オブジェクト種別に加え、特定の座標成分（例えば、ｘ座標）の大きさの順番を通知された場合は、座標記憶手段２１から、該当する座標のみを検索する。この座標探索手段２２ａで検索された座標は、座標特定手段２２ｂに出力される。
なお、座標探索手段２２ａは、座標特定手段２２ｂから要求のあった段階で、該当する座標を全検索するのではなく、座標記憶手段２１に、例えば、１フレーム分のデータ（３次元推定選手座標及びオブジェクト種別）が記憶された段階で、データをオブジェクト種別毎に、特定座標成分（例えば、ｘ座標）の大きさの昇順又は降順に配列し直す座標ソート手段として機能させることとしてもよい。これによって、例えば、図９に示した座標記憶手段２１の内容は、図１０の（ａ）〜（ｅ）に示すように、オブジェクトの種別毎に、ｘ座標の大きさの順番（ここでは、降順）で配列したデータ構造となる。
【０１１８】
座標特定手段２２ｂは、選手、あるいは、選手と審判との位置関係に基づいて、オフサイドラインを特定（推定）するものである。なお、ここでは、座標特定手段２２ｂは、分類手段１６からオフサイドライン出力指示が通知された段階で起動するものとする。起動後、座標特定手段２２ｂは、座標探索手段２２ａに対して、オブジェクト種別により選手あるいは審判の位置座標を要求し、その位置座標を取得することで、オフサイドラインを特定する。この選手、あるいは、選手と審判との位置関係に基づいて、オフサイドラインを特定する手法の説明は、オフサイドライン検出装置１の動作の説明で行うこととする。
なお、オフサイドライン位置出力手段２０は、図８に示すように、フィルタ手段２３を付加して、オフサイドライン位置出力手段２０2として構成してもよい。
【０１１９】
フィルタ手段２３は、選手位置検出手段１０で検出された３次元推定選手座標の中で、オブジェクト種別の人物（選手、審判）が、その存在位置として妥当であるかどうかを判定するものである。そして、フィルタ手段２３は、妥当であると判断した場合に限って、座標記憶手段２１に３次元推定選手座標とオブジェクト種別とを、識別番号に対応付けて記憶する。
例えば、フィルタ手段２３は、以下に示す種々の判定条件を設けて、入力されたデータが妥当であるかどうかを判定する。
【０１２０】
（判定条件  例１）
一般に、サッカー競技において、線審は、オフサイドラインの近傍に位置している。すなわち、審判のうちでオフサイドラインの推定に有効な審判は、線審であるといえる。そこで、フィルタ手段２３は、入力されたオブジェクト種別ｃが、審判を示す“５”（図６参照）である場合に限り、その審判が所定の範囲以外に存在する場合（例えば、以下の（２８）式で示したように、ｙ座標が３３メートル未満又は３５メートルを超える場合）は、当該審判を線審ではないと判定し、入力されたデータを破棄する（座標記憶手段２１に記憶しない）。
【０１２１】
【数２８】
2005209148.tif 000030
【０１２２】
（判定条件  例２）
また、一般に、ゴールキーパは、ゴールライン付近に存在することが多い。そこで、フィルタ手段２４は、入力されたオブジェクト種別ｃが、ゴールキーパを示す“２”又は“４”（図６参照）である場合に限り、そのゴールキーパがゴールラインから所定距離より離れた位置に存在する場合（例えば、以下の（２９）式で示したように、各ゴールキーパのｘ座標が自ゴールから３０ｍを超える場合）は、当該ゴールキーパの座標は誤りであると判定し、入力されたデータを破棄する（座標記憶手段２１に記憶しない）。
【０１２３】
【数２９】
2005209148.tif 000031
【０１２４】
このように、オフサイドライン位置出力手段２０2内に、フィルタ手段２３を備えることで、オフサイドラインの推定精度を高めることができる。
以上説明したように、オフサイドライン検出装置１は、サッカー競技を撮影した映像（入力映像）から、チーム毎の選手や、審判の位置を検出することで、オフサイドラインの座標を検出することができる。このように検出されたオフサイドラインの座標は、ワールド座標系における座標であるため、従来のＣＧ合成技術によって、サーカー競技のオフサイドラインを画面上に可視化することが可能になる。
【０１２５】
以上、オフサイドライン検出装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、オフサイドライン検出装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（オフサイドライン検出プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
また、ここでは、面積判定手段１２ｂは、予め定めた２次元座標上の選手の大きさに相当する領域情報のみを出力するものとして構成したが、面積判定手段１２ｂの代わりに、映像上に出現する３次元座標上の選手の大きさに適応させて、判定するための面積を変化させる適応面積判定手段を組み込むこととしてもよい。
【０１２６】
ここで、図１１を参照（他の構成については適宜図２参照）して、適応面積判定手段について説明する。図１１は、適応面積判定手段の詳細な構成を示したブロック図である。ここでは、適応面積判定手段１７は、３次元座標変換手段１７ａと、２次元選手領域設定手段１７ｂと、面積閾値生成手段１７ｃと、可変面積判定手段１７ｄとを備えて構成している。
【０１２７】
３次元座標変換手段（逆投影変換手段）１７ａは、カメラの位置及び焦点距離に基づいて、ラベリング手段１２ａで生成された領域情報に含まれる選手領域毎の２次元座標である重心座標を、ワールド座標系における３次元座標に変換するものである。なお、３次元座標変換手段１７ａは、図２で説明した逆投影変換手段１２ｃと同一のものとして実現することができる。すなわち、前記（３）式により、重心座標を３次元座標に変換する。ここで変換し、算出された３次元座標は、２次元選手領域設定手段１７ｂに出力される。また、前記（３）式で「無効」となった場合は、その旨２次元選手領域設定手段１７ｂに通知される。
【０１２８】
２次元選手領域設定手段（投影変換手段）１７ｂは、３次元座標変換手段１７ａで変換された３次元座標と、カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、入力映像内に選手が存在する２次元選手領域を設定するものである。この２次元選手領域設定手段１７ｂは、図２で説明した２次元選手領域設定手段１３と同一のものとして実現することができる。すなわち、２次元選手領域設定手段１７ｂは、３次元座標を基準とした選手の領域を円柱近似し、その円柱を２次元座標に投影し、その投影された領域を含むバウンディングボックス（前記（２５）式参照）を選手の２次元選手領域として設定する。ここで設定された２次元選手領域（バウンディングボックス）は、面積閾値生成手段１７ｃに出力される。なお、２次元選手領域設定手段１７ｂは、３次元座標変換手段１７ａから、「無効」が通知された場合には、当該ラベル番号に対応付けて、面積閾値生成手段１７ｃに「無効」を通知する。
【０１２９】
面積閾値生成手段１７ｃは、２次元選手領域設定手段１７ｂで設定されたバウンディングボックスの大きさに基づいて、選手領域が、選手の領域として有効かどうかを判定する閾値を生成するものである。この面積閾値生成手段１７ｃは、可変面積判定手段１７ｄで用いる選手領域の有効な範囲を示す閾値を、下限値Ａmin及び上限値Ａmaxとして算出する。例えば、バウンディングボックスＤの面積をＤSとし、予め定めた定数ρmin及びρmaxを面積ＤSにすることで、（３０）式に示すように、下限値Ａmin及び上限値Ａmaxを算出する。
【０１３０】
【数３０】
2005209148.tif 000032
【０１３１】
なお、面積閾値生成手段１７ｃは、２次元選手領域設定手段１７ｂから「無効」を通知された場合、ラベル番号に対応付けて、可変面積判定手段１７ｄに「無効」を通知する。
【０１３２】
可変面積判定手段１７ｄは、面積閾値生成手段１７ｃで生成された閾値に基づいて、シルエット映像における選手領域が、選手の領域として有効かどうかを判定するものである。この可変面積判定手段１７ｄは、面積閾値生成手段１７ｃで生成された選手領域の有効な範囲を示す下限値Ａmin及び上限値Ａmaxを閾値として、ラベル番号ｍ（１≦ｍ≦Ｍ）に対応する領域情報の面積Ａmが、閉区間［Ａmin，Ａmax］に含まれるかどうかを判定し、Ａm∈［Ａmin，Ａmax］を満たす場合にのみ、領域情報を出力する。ここで条件を満たした領域情報は、逆投影変換手段１２ｃに出力される。なお、可変面積判定手段１７ｄは、面積閾値生成手段１７ｃから「無効」を通知された場合、そのラベル番号に対応する領域情報を出力しない。
【０１３３】
以上説明したように、面積判定手段１２ｂを適応面積判定手段１７とすることで、３次元座標における選手の大きさに基づいて、シルエット映像における選手領域が有効であるかどうかを判定することができる。これによって、選手の動きによって、映像上に映っている選手の大きさが変わっても、選手の領域であるかどうかを判断でき、より正確に選手の領域を特定することができる。
なお、面積判定手段１２ｂの代わりに適応面積判定手段１７を用いる場合、逆投影変換手段１２ｃを省略して、３次元座標変換手段１７ａの出力を再利用することとしてもよい。すなわち、可変面積判定手段１７ｄは、３次元座標変換手段１７ａで出力される３次元座標の中で、Ａm∈［Ａmin，Ａmax］を満たす領域情報に対応する３次元座標を、ラベル番号とともに、３次元選手座標として、検出・追跡手段１２ｄに出力する。
【０１３４】
［オフサイドライン検出装置の動作］
次に、図１２を参照（適宜図２参照）して、オフサイドライン検出装置の動作について説明する。図１２は、本発明の第一の実施の形態に係るオフサイドライン検出装置の動作を示すフローチャートである。なお、図１２のフローチャートは、入力映像における１フレーム分の動作を示したものであって、逐次入力されるフレーム毎に、本動作が繰り返して実行される。
【０１３５】
（シルエット映像生成ステップ）
まず、オフサイドライン検出装置１は、シルエット映像生成手段１１によって、入力されるフレーム毎に、そのフレームを選手領域と背景領域とに分割してシルエット映像を生成する（ステップＳ１）。ここでは、シルエット映像生成手段１１は、選手領域を画素値「１」、背景領域を画素値「０」としてフレームを２値化する。
【０１３６】
（３次元選手座標推定ステップ）
そして、オフサイドライン検出装置１は、ラベリング手段１２ａによって、シルエット映像の選手領域（画素値「１」の領域）に対して、ラベル番号を付与する（ステップＳ２）。なお、ラベリング手段１２ａでは、ラベリング処理実行時に、選手領域（単連結領域）の面積及び重心座標を算出しておく。
そして、オフサイドライン検出装置１は、面積判定手段１２ｂによって、ラベル番号が付与された選手領域の中から、その選手領域の面積が、予め定めた選手の大きさに相当する面積の範囲内となる領域のみをフィルタリングする（ステップＳ３）。これによって、選手の大きさに相当しない領域を削除することができる。
【０１３７】
さらに、オフサイドライン検出装置１は、逆投影変換手段１２ｃによって、ステップＳ３でフィルタリングされた選手領域毎の重心座標を逆投影変換することで、３次元選手座標を算出する（ステップＳ４）。ここで、重心座標は２次元座標であり、算出される３次元選手座標は、ワールド座標系における３次元座標である。
そして、オフサイドライン検出装置１は、検出・追跡手段１２ｄによって、ステップＳ４で算出された３次元選手座標と、後記するステップＳ９で１単位時間（１フレーム）前に遅延された３次元予測選手座標との距離を、全ての組み合わせで算出し（ステップＳ５）、その距離に基づいて、３次元選手座標に識別番号を付与する（ステップＳ６）。
【０１３８】
すなわち、検出・追跡手段１２ｄは、ステップＳ５で算出された距離が、予め定めた閾値以下で、かつ、最も短い３次元予測選手座標に対応付けられている識別番号を、３次元選手座標に対して設定する。また、検出・追跡手段１２ｄは、識別番号が設定されなかった３次元選手座標に対して、新規の識別番号を付与する。
これによって、検出・追跡手段１２ｄは、同一の選手の領域（選手領域）を、追跡することができる。
【０１３９】
そして、オフサイドライン検出装置１は、予測・推定手段１２ｅによって、３次元選手座標を、時間方向に平滑化して、３次元推定選手座標を推定するとともに、１単位時間（１フレーム）後の選手領域の３次元座標を３次元予測選手座標として予測する（ステップＳ８）。ここでは、予測・推定手段１２ｅをカルマンフィルタとして機能させることで、オフサイドライン検出装置１は、選手を滑らかに追跡することが可能になる。
そして、オフサイドライン検出装置１は、遅延手段１２ｆによって、ステップＳ８で予測された３次元予測選手座標を、１単位時間遅延させる（ステップＳ９）。なお、ここで遅延された３次元予測選手座標は、１フレーム後の動作におけるステップＳ５において使用される。
【０１４０】
（２次元選手領域設定ステップ）
また、オフサイドライン検出装置１は、２次元選手領域設定手段１３によって、ステップＳ８で推定された３次元推定選手座標を、カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、入力映像内に選手が存在する２次元領域である２次元選手領域を設定する（ステップＳ１０）。
【０１４１】
（色統計量測定ステップ）
そして、オフサイドライン検出装置１は、色統計量測定手段１４によって、ステップＳ１０で設定された２次元選手領域と、シルエット映像生成手段１１で生成されたシルエット映像の選手領域との共通する領域内で、入力映像の色の統計量を測定する（ステップＳ１１）。ここでは、例えば、色の統計量としては、色ベクトルを領域内で平均化した平均色ベクトルを用いる
【０１４２】
（分類ステップ）
さらに、オフサイドライン検出装置１は、分類手段１６によって、ステップＳ１１で測定された識別番号毎の色の統計量と、色統計量記憶手段１５に記憶されている色の統計量とに基づいて、選手をチーム毎に分類する（ステップＳ１２）。
これによって、分類手段１６は、入力映像に映っている選手がどのオブジェクト種別に属しているかを分類することができ、サッカー競技のホームチーム側の選手、アウェイチーム側の選手の区別をつけることができる。
【０１４３】
（オフサイドライン位置出力ステップ）
そして、オフサイドライン検出装置１は、オフサイドライン位置出力手段２０によって、分類手段１６で分類された選手毎のオブジェクト種別（所属チーム等）と、３次元選手座標推定手段１２で推定された３次元推定選手座標とに基づいて、オフサイドラインの位置を推定して出力する（ステップＳ１３）。
【０１４４】
《オフサイドライン位置出力手段の動作》
ここで、図１３及び図１４を参照（適宜図７参照）して、図１２におけるステップＳ１３の動作（オフサイドライン位置出力手段２０の動作）について、具体的に説明する。図１３は、ホームチームの選手（ゴールキーパ及び非ゴールキーパ選手）の位置に基づいて、オフサイドラインを推定する動作を示すフローチャートである。図１４は、ホームチームの選手並びに審判の位置に基づいて、オフサイドラインを推定する動作を示すフローチャートである。なお、図１３及び図１４中、「ｍａｘ｛…｝」は、集合｛…｝の中で最大値を求める関数、「ｍａｘ２｛…｝」は、集合｛…｝の中で２番目に大きな値を求める関数とする。また、集合｛…｝の中に最大値を持つ要素が複数存在する場合は、ｍａｘ｛…｝＝ｍａｘ２｛…｝＝「集合｛…｝の中の最大値」とする。
また、ここでは、ステップＳ８において推定された３次元推定選手座標、及び、ステップＳ１２において分類されたオブジェクト種別は、それぞれ、識別番号に対応付けられて、オフサイドライン位置出力手段２０の座標記憶手段２１に記憶されているものとする。
【０１４５】
（オフサイドライン位置出力手段の動作〔ホーム側選手による推定〕）
最初に、図１３を参照（適宜図７参照）して、オフサイドライン位置出力手段２０におけるホームチームの選手の位置に基づいて、オフサイドラインの位置を推定する動作について説明する。
まず、オフサイドライン位置出力手段２０は、座標記憶手段２１にホームチームのゴールキーパ（ホーム側ゴールキーパ）の座標が記憶されているかどうかを検索することで、ホーム側ゴールキーパの人数が“０”であるかどうかを判定する（ステップＳ２０）。ここでは、オフサイドライン座標推定手段２２の座標特定手段２２ｂが、座標探索手段２２ａに対して、オブジェクト種別（ここでは、値“２” 〔ホーム側ゴールキーパ〕）を通知し、ホーム側ゴールキーパの座標の検索を指示する。そして、座標探索手段２２ａが、座標記憶手段２１から、ホーム側ゴールキーパの座標を検索し、その結果を座標特定手段２２ｂに通知する。すなわち、座標特定手段２２ｂは、座標探索手段２２ａからの検索結果に基づいて、ホーム側ゴールキーパの人数が“０”であるかどうかを判定する。
【０１４６】
ここで、ホーム側ゴールキーパの人数が“０”である場合（ステップＳ２０でＹｅｓ）、座標特定手段２２ｂは、ホームチームのゴールキーパ以外の選手であるホーム側非ゴールキーパ選手の位置で最も大きいｘ座標の値を変数Ｘdに代入する（ステップＳ２１）。すなわち、座標特定手段２２ｂが、座標探索手段２２ａに対して、オブジェクト種別（ここでは、値“１”〔ホーム側非ゴールキーパ選手〕）と、座標の大きさの順番（ここでは、１番目〔最大値〕）を通知し、検索を指示する。そして、座標探索手段２２ａが、座標記憶手段２１から、ホーム側非ゴールキーパ選手の位置で最も大きいｘ座標の値を検索し、その結果を座標特定手段２２ｂに通知する。これによって、座標特定手段２２ｂは、ホーム側非ゴールキーパ選手の位置で最も大きいｘ座標の値を得ることができる。そして、ステップＳ２４に進む。
【０１４７】
一方、ホーム側ゴールキーパの人数が“０”でない場合（ステップＳ２０でＮｏ）、座標特定手段２２ｂは、座標探索手段２２ａに対して、ホーム側非ゴールキーパ選手（オブジェクト種別“１”）の位置で最も大きいｘ座標及び２番目に大きいｘ座標と、ホーム側ゴールキーパ（オブジェクト種別“２”）の位置で最も大きいｘ座標との探索を要求し、それぞれの値を、変数Ｘd1，Ｘd2及びＸgに代入する（ステップＳ２２）。なお、最も大きいｘ座標が複数存在する場合は、「最も大きいｘ座標」と「２番目に大きいｘ座標」とは、ともに同じ値（最大値）を指すこととする。
【０１４８】
そして、座標特定手段２２ｂは、変数Ｘd1，Ｘd2及びＸgの中で２番目に大きい値を変数Ｘdに代入する（ステップＳ２３）。なお、ホーム側非ゴールキーパ選手の２番目に大きいｘ座標、すなわち、変数Ｘd2の値が存在しない場合は、変数Ｘd1及びＸgの小さい方の値を変数Ｘdに代入するものとする。この段階で、座標特定手段２２ｂは、変数Ｘdをオフサイドライン位置と推定する。
そして、座標特定手段２２ｂは、変数Ｘdの値をオフサイドライン位置（ｘ座標）として出力する（ステップＳ２４）。
【０１４９】
（オフサイドライン位置出力手段の動作〔ホーム側選手＋審判による推定〕）
次に、図１４を参照（適宜図７参照）して、オフサイドライン位置出力手段２０におけるホームチームの選手並びに審判の位置に基づいて、オフサイドラインの位置を推定する動作について説明する。
まず、オフサイドライン位置出力手段２０は、ホーム側選手の位置に基づいて、オフサイドラインの位置を推定する（ステップＳＡ１）。なお、このステップＳＡ１は、図１３で説明した、ステップＳ２０〜ステップＳ２３の動作と同じ動作であるため、説明を省略する。
【０１５０】
そして、オフサイドライン位置出力手段２０は、座標記憶手段２１に審判の座標が記憶されているかどうかを検索することで、審判の人数が“０”であるかどうかを判定する（ステップＳ３０）。ここでは、オフサイドライン座標推定手段２２の座標特定手段２２ｂが、座標探索手段２２ａに対して、オブジェクト種別（ここでは、値“５”〔審判〕）を通知し、審判の座標の検索を指示する。そして、座標探索手段２２ａが、座標記憶手段２１から、審判の座標を検索し、その結果を座標特定手段２２ｂに通知する。すなわち、座標特定手段２２ｂは、座標探索手段２２ａからの検索結果に基づいて、審判の人数が“０”であるかどうかを判定する。
【０１５１】
ここで、審判の人数が“０”である場合（ステップＳ３０でＹｅｓ）、座標特定手段２２ｂは、ステップＳＡ１で推定したオフサイドライン位置のｘ座標（変数Ｘdの値）を変数Ｘpに代入する（ステップＳ３１）。この段階では、審判が映像上に存在しないため、座標特定手段２２ｂは、ステップＳＡ１で推定した、ホーム側選手の位置から推定したオフサイドラインの位置をそのまま使用する。そして、ステップＳ３５に進む。
【０１５２】
一方、審判の人数が“０”でない場合（ステップＳ３０でＮｏ）、座標特定手段２２ｂは、審判の位置で最も大きいｘ座標の値を持つ審判をホーム側オフサイドライン上の線審とみなし、そのｘ座標を変数Ｘrに代入する（ステップＳ３２）。すなわち、座標特定手段２２ｂが、座標探索手段２２ａに対して、オブジェクト種別（ここでは、値“５”〔審判〕）と、座標の大きさの順番（ここでは、１番目〔最大値〕）を通知し、検索を指示する。そして、座標探索手段２２ａが、座標記憶手段２１から、審判の位置で最も大きいｘ座標の値を検索し、その結果を座標特定手段２２ｂに通知する。これによって、座標特定手段２２ｂは、審判の位置で最も大きいｘ座標の値を得ることができる。
【０１５３】
続けて、座標特定手段２２ｂは、ステップＳ３２で得た審判の位置で最も大きいｘ座標（変数Ｘr）と、ステップＳＡ１でホーム側選手から推定したオフサイドラインのｘ座標（変数Ｘd）とを比較する。なお、審判の位置が、ホーム側の選手の位置に対して、ホーム側のゴールライン（ゴールポスト）に、より大きく近づいている場合は、審判の位置の方がオフサイドラインの位置に近いといえる。そこで、ここでは、座標特定手段２２ｂは、ホーム側選手から推定したオフサイドラインの位置のｘ座標（変数Ｘd）に予め定めた閾値θ（例えば、１ｍ）を加算し、審判の位置のｘ座標（変数Ｘr）と比較する（ステップＳ３３）。
【０１５４】
ここで、審判の位置のｘ座標（変数Ｘr）が、ステップＳＡ１で推定したオフサイドライン位置のｘ座標よりも十分大きい場合（ステップＳ３３でＹｅｓ）、座標特定手段２２ｂは、審判の位置をオフサイドラインの位置と推定し、変数Ｘpに変数Ｘrの値を代入する（ステップＳ３４）。なお、座標特定手段２２ｂは、ステップＳ３４において、Ｘp＝（Ｘd＋Ｘr）／２の演算を行うことで、選手の位置から得られたオフサイドライン位置（Ｘd）と、審判の位置から得られたオフサイドライン位置（Ｘr）との相加平均値を、オフサイドライン位置（Ｘp）と推定することとしてもよい。
【０１５５】
一方、審判の位置のｘ座標（変数Ｘr）が、ステップＳＡ１で推定したオフサイドライン位置のｘ座標よりも十分大きくない場合（ステップＳ３３でＮｏ）、ステップＳ３１の動作を実行する。
そして、座標特定手段２２ｂは、変数Ｘpの値をオフサイドライン位置（ｘ座標）として出力する（ステップＳ３５）。
このように、オフサイドライン位置出力手段２０は、選手の位置だけでなく、審判の位置を加味することで、精度よくオフサイドラインの位置を推定することができる。
なお、ここでは、ホーム側のオフサイドラインの位置を推定しているが、ｘ座標が小さいほど、アウェイ側のゴールラインに近づくため、座標の大小関係を逆にすることで、アウェイ側のオフサイドラインの位置を推定することも可能である。
【０１５６】
以上の動作によって、オフサイドライン検出装置１は、サッカー競技を撮影した入力映像から、選手の動きに応じて変化するオフサイドラインの位置（座標）を、逐次出力することができる。これによって、このオフサイドライン検出装置１から出力されるオフサイドラインの位置（座標）を、従来のＣＧ合成技術で使用することで、リアルタイムでサーカー競技のオフサイドラインを画面上に可視化することが可能になる。
【０１５７】
＜第二の実施の形態］＞
［オフサイドライン検出装置の構成］
次に、図１５を参照して、本発明の第二の実施の形態に係るオフサイドライン検出装置の構成について説明する。図１５は、本発明の第二の実施の形態に係るオフサイドライン検出装置の構成を示したブロック図である。図１５に示すように、オフサイドライン検出装置１Ｂは、オブジェクト位置検出手段１０Ｂと、オフサイドライン位置出力手段２０Ｂとを備えて構成している。
【０１５８】
オブジェクト位置検出手段１０Ｂは、入力されたスポーツ映像（ここではサッカー競技を撮影した入力映像）から、その入力映像内におけるチーム毎の選手、審判、あるいはボールの位置を検出するものである。ここでは、オブジェクト位置検出手段１０Ｂは、シルエット映像生成手段１１と、３次元オブジェクト座標推定手段１２Ｂと、２次元選手領域設定手段１３と、色統計量測定手段１４と、色統計量記憶手段１５と、分類手段１６とを備えて構成している。なお、３次元オブジェクト座標推定手段１２Ｂ以外の構成は、図２で説明した選手位置検出手段１０の構成と同じものであるため、同一の符号を付し、説明を省略する。
【０１５９】
３次元オブジェクト座標推定手段１２Ｂは、シルエット映像生成手段１１で生成されたシルエット映像から、人物である選手（審判を含む）及びボールの各オブジェクトの３次元座標を推定するものである。なお、３次元オブジェクト座標推定手段１２Ｂは、図２で説明した３次元選手座標推定手段１２に、ボールの３次元座標を推定する機能を付加したものであって、選手（審判を含む）の３次元座標の推定は、３次元選手座標推定手段１２と同一の構成で実現できる。ここでは、３次元選手座標推定手段１２に、ボールの３次元座標を推定する機能を付加することで異なった構成となる面積判定手段１２Ｂｂ及び予測・推定手段１２Ｂｅのみについて説明を行う。
【０１６０】
面積判定手段１２Ｂｂは、ラベリング手段１２ａで生成された領域情報内の面積が、特定の範囲内であるかどうかを判定し、面積が特定の範囲にある領域情報のみを出力する面積フィルタとして機能するものである。ここでは、予め選手（審判を含む）の大きさに相当する面積の下限値Ａmin及び上限値Ａmaxと、ボールの大きさに相当する面積の下限値Ｂmin及び上限値Ｂmaxとを、閾値として定めておく。
【０１６１】
そして、面積判定手段１２Ｂｂは、ラベル番号ｍ（１≦ｍ≦Ｍ）（Ｍは単連結領域の数）に対応する領域情報の面積Ａmが、閉区間［Ａmin，Ａmax］又は閉区間［Ｂmin，Ｂmax］に含まれるかどうかを判定し、Ａm∈［Ａmin，Ａmax］又はＡm∈［Ｂmin，Ｂmax］を満たす場合にのみ、領域情報を出力する。ここで条件を満たした領域情報は、逆投影変換手段１２ｃに出力される。また、面積判定手段１２Ｂｂは、領域が選手（審判を含む）として判定されたものか、ボールとして判定されたものかを示す人物・ボール判定情報を、逆投影変換手段１２ｃに出力し、その情報は、さらに、検出・追跡手段１２ｄ、予測・推定手段１２Ｂｅに順次通知されるものとする。
なお、面積判定手段１２Ｂｂは、ボールの領域の面積をＳ、周囲長をｌとしたとき、以下の（３１）式に示すような円形度ｅを算出し、より円形に近いもののみをボールの領域として選択することとしてもよい。
【０１６２】
【数３１】
2005209148.tif 000033
【０１６３】
これによって、図４に示した、ボールの大きさに近似するような領域Ｈを、ボールとして判定することがなくなる。
【０１６４】
予測・推定手段１２Ｂｅは、検出・追跡手段１２ｄで新規に検出された、あるいは、追跡された選手、ボールといったオブジェクトの３次元座標（３次元オブジェクト座標）を、時間方向に平滑化して、３次元推定オブジェクト座標とするとともに、１単位時間後のオブジェクトの３次元座標を３次元予測オブジェクト座標として予測するものである。
この予測・推定手段１２Ｂｅで予測された３次元予測オブジェクト座標は、オブジェクトを特定する識別番号とともに遅延手段１２ｆに出力される。また、予測・推定手段１２Ｂｅは、人物・ボール判定情報に基づいて、３次元推定オブジェクト座標が選手の座標であるのかボールの座標であるのかを判定し、選手の座標である場合は、３次元推定オブジェクト座標を３次元推定選手座標として２次元選手領域設定手段１３及びオフサイドライン位置出力手段２０Ｂに出力し、ボールの座標である場合は、３次元推定オブジェクト座標を３次元推定ボール座標として、オフサイドライン位置出力手段２０Ｂに出力する。
【０１６５】
なお、予測・推定手段１２Ｂｅは、３次元推定ボール座標をオフサイドライン位置出力手段２０Ｂに出力する場合には、識別番号と、オブジェクトがボールであることを示すオブジェクト種別とを合わせて出力することとする。
これによって、オブジェクト位置検出手段１０Ｂは、入力映像から、選手（審判を含む）、ボールといったオブジェクトの３次元座標（３次元推定選手座標）を検出することができる。
【０１６６】
オフサイドライン位置出力手段２０Ｂは、３次元オブジェクト座標推定手段１２Ｂで推定された３次元推定選手座標及び３次元推定ボール座標とに基づいて、オフサイドラインの位置を推定して出力するものである。また、選手のオブジェクト種別は、分類手段１６から通知され、ボールのオブジェクト種別は、３次元オブジェクト座標推定手段１２Ｂの予測・推定手段１２Ｂｅから通知されるものとする。
なお、オフサイドライン位置出力手段２０Ｂの詳細な構成については、図７及び図８で説明したオフサイドライン位置出力手段２０と同様の構成とすることができる。ただし、オフサイドライン位置出力手段２０Ｂの座標記憶手段２１には、選手、審判の位置情報に加え、ボールの位置情報（３次元推定ボール座標）が記憶される。
【０１６７】
例えば、座標記憶手段２１には、図１６（ａ）に示すように、３次元推定ボール座標（ここでは、オブジェクト種別＝“７”の座標）を含んだ、識別番号に対応付けられた、オブジェクト種別ｃi、座標（ｘ座標ｘi、ｙ座標ｙi、ｚ座標ｚi）が記憶される。
さらに、オブジェクト座標推定手段２２の座標探索手段２２ａが、座標記憶手段２１に記憶されているデータをオブジェクト種別毎に、特定座標成分（例えば、ｘ座標）の大きさの昇順又は降順に配列し直す座標ソート手段として機能させることも可能である。この場合、座標探索手段２２ａは、図１４に示した各オブジェクト種別以外に、図１６（ｂ）に示すように、ボールのオブジェクト種別（ここでは“７”）の座標を、特定座標成分（例えば、ｘ座標）の大きさの昇順又は降順に配列して、座標記憶手段２１に記憶することとしてもよい。
【０１６８】
［オフサイドライン検出装置の動作］
次に、オフサイドライン検出装置１Ｂの動作について説明する。なお、オブジェクト位置検出手段１０Ｂの動作については、図１２で説明した選手位置検出動作に、ボールの検出を付加したことのみが異なっているため、全体の動作については説明を省略し、オフサイドライン位置出力手段２０Ｂの動作について、具体的に説明する。
【０１６９】
（オフサイドライン位置出力手段の動作〔ホーム側選手＋審判＋ボールによる推定〕）
ここでは、図１７を参照（適宜図７参照）して、オフサイドライン位置出力手段２０Ｂの動作について説明する。図１７は、オフサイドライン位置出力手段におけるホームチームの選手、審判及びボールの位置に基づいて、オフサイドラインの位置を推定する動作を示すフローチャートである。
【０１７０】
まず、オフサイドライン位置出力手段２０Ｂは、ホーム側選手及び審判の位置に基づいて、オフサイドラインの位置を推定する（ステップＳＡ２）。なお、このステップＳＡ２は、図１４で説明した、ステップＳＡ１及びステップＳ３０〜ステップＳ３４の動作と同じ動作であるため、説明を省略する。
そして、オフサイドライン位置出力手段２０Ｂは、座標記憶手段２１にボールの座標が記憶されているかどうかを検索することで、ボールの個数が“０”であるかどうかを判定する（ステップＳ４０）。ここでは、オフサイドライン座標推定手段２２の座標特定手段２２ｂが、座標探索手段２２ａに対して、オブジェクト種別（ここでは、値“７”〔ボール〕）を通知し、ボールの座標の検索を指示する。そして、座標探索手段２２ａが、座標記憶手段２１から、ボールの座標を検索し、その結果を座標特定手段２２ｂに通知する。すなわち、座標特定手段２２ｂは、座標探索手段２２ａからの検索結果に基づいて、ボールの個数が“０”であるかどうかを判定する。
【０１７１】
ここで、ボールの個数が“０”である場合（ステップＳ４０でＹｅｓ）、座標特定手段２２ｂは、ステップＳＡ２で推定したオフサイドライン位置のｘ座標（変数Ｘpの値）を変数Ｘに代入する（ステップＳ４１）。この段階では、ボールが映像上に存在しないため、座標特定手段２２ｂは、ステップＳＡ２で推定した、ホーム側選手及び審判の位置から推定したオフサイドラインの位置をそのまま使用する。そして、ステップＳ４５に進む。
【０１７２】
一方、ボールの個数が“０”でない場合（ステップＳ４０でＮｏ）、座標特定手段２２ｂは、ボールの位置で最も大きいｘ座標の値を変数Ｘbに代入する（ステップＳ４２）。すなわち、座標特定手段２２ｂが、座標探索手段２２ａに対して、オブジェクト種別（ここでは、値“７”〔ボール〕）と、座標の大きさの順番（ここでは、１番目〔最大値〕）を通知し、検索を指示する。そして、座標探索手段２２ａが、座標記憶手段２１から、ボールの位置で最も大きいｘ座標の値を検索し、その結果を座標特定手段２２ｂに通知する。これによって、座標特定手段２２ｂは、ボールの位置で最も大きいｘ座標の値を得ることができる。
【０１７３】
続けて、座標特定手段２２ｂは、ステップＳ４２で得たボールの位置で最も大きいｘ座標（変数Ｘb）と、ステップＳＡ２でホーム側選手及び審判から推定したオフサイドラインのｘ座標（変数Ｘp）とを比較する（ステップＳ４３）。
ここで、ボールの位置のｘ座標（変数Ｘb）が、ステップＳＡ２で推定したオフサイドライン位置のｘ座標よりも大きい場合（ステップＳ４３でＹｅｓ）、座標特定手段２２ｂは、ボールの位置をオフサイドラインの位置と推定し、変数Ｘに変数Ｘbの値を代入する（ステップＳ４４）。
一方、ボールの位置のｘ座標（変数Ｘb）が、ステップＳＡ２で推定したオフサイドライン位置のｘ座標以下の場合（ステップＳ４３でＮｏ）、ステップＳ４１の動作を実行する。
【０１７４】
そして、座標特定手段２２ｂは、変数Ｘの値をオフサイドライン位置（ｘ座標）として出力する（ステップＳ４５）。
このように、オフサイドライン位置出力手段２０Ｂは、選手及び審判の位置だけでなく、ボールの位置を加味することで、さらに精度よくオフサイドラインの位置を推定することができる。
なお、ここでは、ホーム側のオフサイドラインの位置を推定しているが、ｘ座標が小さいほど、アウェイ側のゴールラインに近づくため、座標の大小関係を逆にすることで、アウェイ側のオフサイドラインの位置を推定することも可能である。
【図面の簡単な説明】
【０１７５】
【図１】本発明に係るオフサイドライン検出装置の概要を説明するための説明図である。
【図２】本発明の第一の実施の形態に係るオフサイドライン検出装置の構成を示したブロック図である。
【図３】本発明に係るオフサイドライン検出装置に入力される入力映像の一例を示す図である。
【図４】図３の入力映像を２値化したシルエット映像を示す図である。
【図５】図４のシルエット映像の選手領域にラベル番号を付与した概念を示す図である。
【図６】色統計量記憶手段に記憶されているデータベースのデータの一例を示す図である。
【図７】オフサイドライン位置出力手段の構成を示したブロック図である。
【図８】オフサイドライン位置出力手段の他の構成を示したブロック図である。
【図９】座標記憶手段の記憶内容の一例を示すデータ構造図である。
【図１０】特定座標成分でオブジェクト種別毎にソートした座標記憶手段の記憶内容の一例を示すデータ構造図である。
【図１１】適応面積判定手段の構成を示すブロック図である。
【図１２】本発明の第一の実施の形態に係るオフサイドライン検出装置の動作を示すフローチャートである。
【図１３】オフサイドライン位置出力手段がホームチームの選手の位置に基づいて、オフサイドラインを推定する動作を示すフローチャートである。
【図１４】オフサイドライン位置出力手段がホームチームの選手並びに審判の位置に基づいて、オフサイドラインを推定する動作を示すフローチャートである。
【図１５】本発明の第二の実施の形態に係るオフサイドライン検出装置の構成を示したブロック図である。
【図１６】本発明の第二の実施の形態に係るオフサイドライン検出装置の座標記憶手段の記憶内容を示し、（ａ）はその記憶内容の一例を示すデータ構造図、（ｂ）はボールの座標のみを抽出した例を示すデータ構造図である。
【図１７】オフサイドライン位置出力手段におけるホームチームの選手、審判及びボールの位置に基づいて、オフサイドラインの位置を推定する動作を示すフローチャートである。
【符号の説明】
【０１７６】
１、１Ｂ  オフサイドライン検出装置
１０    選手位置検出手段（選手位置検出装置）
１０Ｂ  オブジェクト位置検出手段
１１    シルエット映像生成手段
１２    ３次元選手座標推定手段
１２Ｂ  ３次元オブジェクト座標推定手段
１２ａ  ラベリング手段
１２ｂ  面積判定手段
１２ｃ  逆投影変換手段
１２ｄ  検出・追跡手段
１２ｅ  予測・推定手段
１２ｆ  遅延手段
１３    ２次元選手領域設定手段
１４    色統計量測定手段
１５    色統計量記憶手段
１６    分類手段
１７    適応面積判定手段
１７ａ  ３次元座標変換手段
１７ｂ  ２次元選手領域設定手段（第二の２次元選手領域設定手段）
１７ｃ  面積閾値生成手段
１７ｄ  可変面積判定手段
２０、２０Ｂ  オフサイドライン位置出力手段
２１    座標記憶手段
２２    オフサイド座標推定手段
２２ａ  座標探索手段
２２ｂ  座標特定手段
２３    フィルタ手段
【図１】
2005209148.tif 000034
【図２】
2005209148.tif 000035
【図３】
2005209148.tif 000036
【図４】
2005209148.tif 000037
【図５】
2005209148.tif 000038
【図６】
2005209148.tif 000039
【図７】
2005209148.tif 000040
【図８】
2005209148.tif 000041
【図９】
2005209148.tif 000042
【図１０】
2005209148.tif 000043
【図１１】
2005209148.tif 000044
【図１２】
2005209148.tif 000045
【図１３】
2005209148.tif 000046
【図１４】
2005209148.tif 000047
【図１５】
2005209148.tif 000048
【図１６】
2005209148.tif 000049
【図１７】
2005209148.tif 000050