(57)【要約】      （修正有）【課題】サッカー映像などにおいて広角画像から、撮像領域（撮影画面中に存在する競技フィールドの領域）を自動的に特定する。【解決手段】フィールドテンプレート作成手段１１０は、フィールドラインをワイヤーフレームとして配置したフィールドテンプレートを作成する。投影パラメータ群生成手段１２０は、投影パラメータを各々独立に変化させ投影パラメータ群を生成する。透視変換手段１３０は、投影パラメータ群の各々を用いて、フィールドテンプレートをワールド座標からスクリーン座標に透視変換して複数のテンプレート投影画像を得る。画像マッチング手段１５０は、２値フィールド画像と複数のテンプレート投影画像の各々とを比較して最もマッチするテンプレート投影画像を求める。フィールド検出手段１６０は、最大一致パラメータを求め、これに基づきフィールド画像中の競技フィールド領域を検出する。【選択図】図１
2005182402.tif 000002
【特許請求の範囲】
【請求項１】
競技フィールド領域を検出するフィールド領域検出方法であって、
競技フィールドのフィールドラインを規定する規格に基づき、ワールド座標に前記フィールドラインをワイヤーフレームとして配置したフィールドテンプレートを作成すフィールドテンプレート作成ステップと、
前記ワールド座標からスクリーン座標に透視変換するときに用いる投影パラメータに含まれるパラメータを各々独立に変化させ、それぞれが異なる投影画像を生成し得る投影パラメータを含む投影パラメータ群を生成する投影パラメータ群生成ステップと、
前記投影パラメータ群の各々を用いて、前記フィールドテンプレートを前記ワールド座標から前記スクリーン座標に透視変換して、複数のテンプレート投影画像を得る透視変換ステップと、
前記競技フィールドが撮影されているフィールド画像を２値フィールド画像に変換してフィールドラインを抽出する２値化ステップと、
前記２値フィールド画像と前記複数のテンプレート投影画像の各々とを比較して最もマッチするテンプレート投影画像を求める画像マッチングステップと、
前記の最もマッチするテンプレート投影画像の投影パラメータを最大一致パラメータとし、この最大一致パラメータに基づき前記フィールド画像中の競技フィールド領域を検出するフィールド検出ステップと、
を含むフィールド領域検出方法。
【請求項２】
請求項１に記載のフィールド領域検出方法において、
前記２値フィールド画像に膨張処理を施すステップをも含む、
ことを特徴とするフィールド領域検出方法。
【請求項３】
請求項１または２に記載のフィールド領域検出方法において、
前記フィールド画像にカメラ撮影時情報を関連付けた形式で画像データベースに格納する格納ステップと、
前記画像データベースから前記フィールド画像及びこれに関連付けられたカメラ撮影時情報を読み出し、前記カメラ撮影時情報に基づき広角画像を含む前記フィールド画像を検出する広角画像検出ステップと、
を含むことを特徴とするフィールド領域検出方法。
【請求項４】
請求項１または２に記載のフィールド領域検出方法において、
前記フィールド画像にカメラ撮影時情報を関連付けた形式で画像データベースに格納する格納ステップと、
前記画像データベースから前記フィールド画像及びこれに関連付けられたカメラ撮影時情報を読み出し、前記カメラ撮影時情報に基づき、前記投影パラメータ群を限定する限定ステップと、
を含むことを特徴とするフィールド領域検出方法。
【請求項５】
競技フィールド領域を検出するフィールド領域検出システムであって、
競技フィールドのフィールドラインを規定する規格に基づき、ワールド座標に前記フィールドラインをワイヤーフレームとして配置したフィールドテンプレートを作成すフィールドテンプレート作成手段と、
前記ワールド座標からスクリーン座標に透視変換するときに用いる投影パラメータに含まれるパラメータを各々独立に変化させ、それぞれが異なる投影画像を生成し得る投影パラメータを含む投影パラメータ群を生成する投影パラメータ群生成手段と、
前記投影パラメータ群の各々を用いて、前記フィールドテンプレートを前記ワールド座標から前記スクリーン座標に透視変換して、複数のテンプレート投影画像を得る透視変換手段と、
前記競技フィールドが撮影されているフィールド画像を２値フィールド画像に変換してフィールドラインを抽出する２値化手段と、
前記２値フィールド画像と前記複数のテンプレート投影画像の各々とを比較して最もマッチするテンプレート投影画像を求める画像マッチング手段と、
前記の最もマッチするテンプレート投影画像の投影パラメータを最大一致パラメータとし、この最大一致パラメータに基づき前記フィールド画像中の競技フィールド領域を検出するフィールド検出手段と、
を含むフィールド領域検出システム。
【請求項６】
請求項５に記載のフィールド領域検出システムにおいて、
前記２値フィールド画像に膨張処理を施す手段をも含む、
ことを特徴とするフィールド領域検出システム。
【請求項７】
請求項５または６に記載のフィールド領域検出システムにおいて、
前記フィールド画像にカメラ撮影時情報を関連付けた形式で画像データベースに格納する格納手段と、
前記画像データベースから前記フィールド画像及びこれに関連付けられたカメラ撮影時情報を読み出し、前記カメラ撮影時情報に基づき広角画像を含む前記フィールド画像を検出する広角画像検出手段と、
を含むことを特徴とするフィールド領域検出システム。
【請求項８】
請求項５または６に記載のフィールド領域検出システムにおいて、
前記フィールド画像にカメラ撮影時情報を関連付けた形式で画像データベースに格納する格納手段と、
前記画像データベースから前記フィールド画像及びこれに関連付けられたカメラ撮影時情報を読み出し、前記カメラ撮影時情報に基づき、前記投影パラメータ群を限定する限定手段と、
を含むことを特徴とするフィールド領域検出システム。
【請求項９】
競技フィールド領域を検出するフィールド領域検出方法をコンピュータに実行させるためのプログラムであって、
競技フィールドのフィールドラインを規定する規格に基づき、ワールド座標に前記フィールドラインをワイヤーフレームとして配置したフィールドテンプレートを作成すフィールドテンプレート作成ステップと、
前記ワールド座標からスクリーン座標に透視変換するときに用いる投影パラメータに含まれるパラメータを各々独立に変化させ、それぞれが異なる投影画像を生成し得る投影パラメータを含む投影パラメータ群を生成する投影パラメータ群生成ステップと、
前記投影パラメータ群の各々を用いて、前記フィールドテンプレートを前記ワールド座標から前記スクリーン座標に透視変換して、複数のテンプレート投影画像を得る透視変換ステップと、
前記競技フィールドが撮影されているフィールド画像を２値フィールド画像に変換してフィールドラインを抽出する２値化ステップと、
前記２値フィールド画像と前記複数のテンプレート投影画像の各々とを比較して最もマッチするテンプレート投影画像を求める画像マッチングステップと、
前記の最もマッチするテンプレート投影画像の投影パラメータを最大一致パラメータとし、この最大一致パラメータに基づき前記フィールド画像中の競技フィールド領域を検出するフィールド検出ステップと、
を含むプログラム。
【請求項１０】
請求項９に記載のプログラムにおいて、
前記２値フィールド画像に膨張処理を施すステップをも含む、
ことを特徴とするプログラム。
【請求項１１】
請求項９または１０に記載のプログラムにおいて、
前記フィールド画像にカメラ撮影時情報を関連付けた形式で画像データベースに格納する格納ステップと、
前記画像データベースから前記フィールド画像及びこれに関連付けられたカメラ撮影時情報を読み出し、前記カメラ撮影時情報に基づき広角画像を含む前記フィールド画像を検出する広角画像検出ステップと、
を含むことを特徴とするプログラム。
【請求項１２】
請求項９または１０のいずれか１項に記載のプログラムにおいて、
前記フィールド画像にカメラ撮影時情報を関連付けた形式で画像データベースに格納する格納ステップと、
前記画像データベースから前記フィールド画像及びこれに関連付けられたカメラ撮影時情報を読み出し、前記カメラ撮影時情報に基づき、前記投影パラメータ群を限定する限定ステップと、
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィールド領域検出方法、そのシステム、及びプログラムに関するものであり、より詳細には、スポーツ競技を撮影した映像データ中の競技フィールド領域を自動的に検出するフィールド領域検出方法、そのシステム、及びプログラムに関する。
【背景技術】
【０００２】
ケーブルテレビ、デジタルテレビ放送、地上波テレビなどでは多数のスポーツ番組が放送されており、特にケーブルテレビやデジタルテレビなどでは多チャンネル化が進み、これらのスポーツ番組の映像資料は膨大なものとなっている。そして高速ネットワークの普及により、これらの大量のスポーツ映像がオンラインで閲覧可能となっている。このような膨大な映像ライブラリーから、ユーザーが希望するシーンを効率よく検索できるシステムの実現が必要とされており、特に、サッカーは人気があり映像データは膨大であり、サッカー映像に関する手法はそのニーズが高い。従来、サッカーの試合の映像（TV放送を目的として撮影されたものを指し、以下「サッカー映像」と称する。）から選手やボール、コーナーエリアを検出し、それらの位置関係からコーナーキックのシーンの抽出を実現する手法、フィールド上の固定された範囲を撮影するカメラの映像から選手を検出し、各チームの勢力範囲を算出する手法などが提案されている。しかしながら、どの手法も、解決すべき間違が多く、単なる提案のみにとどまり実用には至っていない。
【０００３】
従来技術として、サッカー映像からコーナーキックのシーンを取り出す手法がある（非特許文献１を参照されたい。）。これは、サッカーの試合の映像（以下、サッカー映像）から選手やボール、コーナーエリアを検出し、それらの位置関係からコーナーキックのシーンを抽出するという手法である。この従来手法は、「ゴールポスト」を基準としてコーナーエリアを検出しているため、ゴールポストが選手によって隠蔽された場合、コーナーエリア（即ち、撮影画像内の競技フィールド領域）が検出できず、コーナーキックのシーンが検出できないという問題がある。
【０００４】
また、他の従来技術として、フィールド上の固定された範囲を撮影するカメラの映像から選手の位置を検出し、各チームの勢力範囲を特定する手法（非特許文献１を参照されたい。）。この従来手法では、フィールド上の固定された範囲を撮影するカメラの映像を対象としているため、パンやズームを含む映像（即ち、カメラの移動やズームなどで撮影映像中の競技フィールド領域（グラウンド、コート、ピッチなど）の変化を含む映像）への適用は非常に困難である。一般にTV放送を目的としてサッカー映像が撮像される場合、パンやズームなどのような映像効果を含むことは避けられない。従って、ＴＶ中継用の映像には、この手法は適用できない。
【非特許文献１】丸尾二郎、岩井儀雄、谷内田正彦、越後富夫、飯作俊一著、「サッカー映像からの特定映像イベントの抽出」（信学技報I，IE99−17，PRMU99−41，MVE99−37，Ju1y 1999．）
【非特許文献２】瀧剛志、長谷川純一著「チームスポーツにおける集団行動解析のため特徴量とその応用」（電子情報通信学会論文誌Ｄ−II，vol.J81−DII，pp．1802−1811，August 1998．）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したような従来手法をテレビ放送のために取得された映像のインデキシングや試合内容の分析目的として実用化するためには、サッカー映像などにおいて広角画像から、撮像領域（撮影画面中に存在する競技フィールドの領域）を自動的に特定する手法が必要である。即ち、カメラ位置の移動、さらに撮影効果（パンやズームなど）を含む場合においては、上述した従来技術は適用できない。また、通常のスポーツ中継の映像では、「競技フィールド領域の特定」が困難である場面が多く、上述した従来技術を使用するためには、例えば、人間が撮影画像を観察してその中から広角画像を探し出し、画面上で、競技フィールドを規定する幾つかの点（或いは線）をコントロールポイント（例えば、競技フィールドの４隅の点など）として人手で指示することによって競技フィールド領域を特定する方法などが考えられるが、人的労力が多大であり自動化が困難であった。
【課題を解決するための手段】
【０００６】
本発明によるフィールド領域検出方法は、
競技フィールド領域を検出するフィールド領域検出方法であって、
競技フィールドのフィールドラインを規定する規格に基づき、ワールド座標に前記フィールドラインをワイヤーフレームとして配置したフィールドテンプレートを作成すフィールドテンプレート作成ステップと、
前記ワールド座標からスクリーン座標に透視変換するときに用いる投影パラメータに含まれるパラメータを各々独立に変化させ、それぞれが異なる投影画像を生成し得る投影パラメータを含む投影パラメータ群を生成する投影パラメータ群生成ステップと、
前記投影パラメータ群の各々を用いて、前記フィールドテンプレートを前記ワールド座標から前記スクリーン座標に透視変換して、複数のテンプレート投影画像を得る透視変換ステップと、
前記競技フィールドが撮影されているフィールド画像を２値フィールド画像に変換してフィールドラインを抽出する２値化ステップと、
前記２値フィールド画像と前記複数のテンプレート投影画像の各々とを比較して最もマッチするテンプレート投影画像を求める画像マッチングステップと、
前記の最もマッチするテンプレート投影画像の投影パラメータを最大一致パラメータとし、この最大一致パラメータに基づき、所定の式を使用して前記フィールド画像中の競技フィールド領域を検出（演算）するフィールド検出ステップと、
を含む方法である。
本発明によれば、サッカー（或いは、ラグビー、バスケットボール、アメリカンフットボールなど）を代表とする何本かのラインで規定された競技フィールド内で競技するスポーツの映像データ中の競技フィールド領域を人手を介さずに自動的かつ高精度に検出する（即ち、画像中のフィールドラインに基づき、撮影画面中のどこにフィールド領域が占めるかを求め、この求めたフィールド領域が競技フィールド全体においてどこに存在するのかを検出する）ことが可能となる。このようにして撮影領域を自動的に求めることは、その他の映像解析手法の前処理として最適であり、広く応用可能である。例えば、サッカーなどのスポーツ影像データベースの検索や、試合内容の分析の前処理として本発明を実施することが可能であり、本発明の処理により、効率的に、かつ高精度にインデキシングが実現され、試合内容の分析をスムースに行うことが可能となる。
【０００７】
また、本発明によるフィールド領域検出方法は、
前記２値フィールド画像に少なくとも１回の膨張処理を施すステップをも含む、
ことを特徴とする。
本発明によれば、フィールドライン上のゴミやかすれなどのノイズや２値化のときに混入した様々な画素ノイズを低減して、競技フィールドを構成するフィールドライン（例えば、サッカーではゴールライン、ハーフライン、またはタッチラインなど）の検出誤差を顕著に減少させ、より高精度に領域を検出することが可能となる。
【０００８】
さらにまた、本発明によるフィールド領域検出方法は、
前記２値フィールド画像にクロージング処理（少なくとも１回の膨張処理及び少なくとも１回の収縮処理）を施すステップをも含む、
ことを特徴とする。
本発明によれば、フィールドライン上のゴミやかすれなどのノイズや２値化のときに混入した様々な画素ノイズを低減して競技フィールドを構成するフィールドラインの検出誤差をさらに顕著に減少させ、より高精度に領域を検出することが可能となる。画面上のフィールドラインが細すぎる場合、或いはテレビ画像などのようにアスペクト比が横長の場合などには、横方向のラインが消えてしまう恐れもあるが、画面上のラインが十分に太い場合には本構成は効果的に機能する。
【０００９】
さらにまた、本発明によるフィールド領域検出方法は、
前記フィールド画像にカメラ撮影時情報を関連付けた形式で画像データベースに格納する格納ステップと、
前記画像データベースから前記フィールド画像及びこれに関連付けられたカメラ撮影時情報を読み出し、前記カメラ撮影時情報に基づき広角画像を含むような前記フィールド画像を検出する広角画像検出ステップと、
を含むことを特徴とする。
本発明は、画像中のフィールドライン（ゴールラインやサイドライン）に基づき領域を検出する手法であるため、競技フィールド全体が広範囲にわたり画像に適用する場合に最も精度が高く効果的である。最近のデジタル映像データには、焦点距離、像面サイズ、画角、被写体距離などのカメラ撮影時の様々なデータが一体として保持されている場合もあり、このカメラ撮影時データを利用して画像データベースから広角で撮影された画像を自動的に検出することによって、領域の検出をより高精度かつ効果的にに行うことが可能となる。例えば、焦点距離と像面サイズの情報に基づき、画角を求めることができるため、この求めた画角に基づき広角画像のみを抽出することが可能となる。
【００１０】
さらにまた、本発明によるフィールド領域検出方法は、
前記フィールド画像に、カメラ撮影時情報を関連付けた形式で画像データベースに格納する格納ステップと、
前記画像データベースから前記フィールド画像及びこれに関連付けられたカメラ撮影時情報を読み出し、前記カメラ撮影時情報に基づき、前記投影パラメータ群を限定する限定ステップと、
を含むことを特徴とする。
本発明によれば、例えば、競技フィールドに対するカメラの相対的な位置、撮影角度、画角、焦点距離、像面サイズ、被写体距離などのカメラ撮影時情報に基づいて、パラメータ群をそれぞれが取り得る範囲内に限定することができるため、大量のコンピューティングパワーを消費する透視変換処理やその後のマッチング処理を顕著に低減させることが可能となり、全体的な検出処理の迅速化を達成できる。
【００１１】
上述したように本発明の解決手段を方法として説明してきたが、本発明はこれらに実質的に相当するシステム（装置）、プログラム、プログラムを記録した記憶媒体としても実現され得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
例えば、本発明をシステムとして実現させると、本発明によるフィールド領域検出システムは、
競技フィールド領域を検出するフィールド領域検出システムであって、
競技フィールドのフィールドラインを規定する規格に基づき、ワールド座標に前記フィールドラインをワイヤーフレームとして配置したフィールドテンプレートを作成すフィールドテンプレート作成手段と、
前記ワールド座標からスクリーン座標に透視変換するときに用いる投影パラメータに含まれるパラメータを各々独立に変化させ、それぞれが異なる投影画像を生成し得る投影パラメータを含む投影パラメータ群を生成する投影パラメータ群生成手段と、
前記投影パラメータ群の各々を用いて、前記フィールドテンプレートを前記ワールド座標から前記スクリーン座標に透視変換して、複数のテンプレート投影画像を得る透視変換手段と、
前記競技フィールドが撮影されているフィールド画像を２値フィールド画像に変換してフィールドラインを抽出する２値化手段と、
前記２値フィールド画像と前記複数のテンプレート投影画像の各々とを比較して最もマッチするテンプレート投影画像を求める画像マッチング手段と、
前記の最もマッチするテンプレート投影画像の投影パラメータを最大一致パラメータとし、この最大一致パラメータに基づき前記フィールド画像中の競技フィールド領域を検出（演算）するフィールド検出手段と、
を含むフィールド領域検出システムである。
【００１２】
また、本発明によるフィールド領域検出システムは、
前記２値フィールド画像に膨張処理を施す手段と、
前記２値フィールド画像にクロージング処理を施す手段と、
前記フィールド画像に、カメラ撮影時情報を関連付けた形式で画像データベースに格納する格納手段と、
前記画像データベースから前記フィールド画像及びこれに関連付けられたカメラ撮影時情報を読み出し、前記カメラ撮影時情報に基づき広角画像を含む前記フィールド画像を検出する広角画像検出手段と、
を含むことを特徴とする。
さらにまた、本発明によるフィールド領域検出システムは、
前記フィールド画像に、カメラ撮影時情報を関連付けた形式で画像データベースに格納する格納手段と、
前記画像データベースから前記フィールド画像及びこれに関連付けられたカメラ撮影時情報を読み出し、前記カメラ撮影時情報に基づき、前記投影パラメータ群を限定する限定手段と、
を含むことを特徴とする。
【００１３】
また、本発明によるプログラムは、
競技フィールド領域を検出するフィールド領域検出方法をコンピュータに実行させるためのプログラムであって、
競技フィールドのフィールドラインを規定する規格に基づき、ワールド座標に前記フィールドラインをワイヤーフレームとして配置したフィールドテンプレートを作成すフィールドテンプレート作成ステップと、
前記ワールド座標からスクリーン座標に透視変換するときに用いる投影パラメータに含まれるパラメータを各々独立に変化させ、それぞれが異なる投影画像を生成し得る投影パラメータを含む投影パラメータ群を生成する投影パラメータ群生成ステップと、
前記投影パラメータ群の各々を用いて、前記フィールドテンプレートを前記ワールド座標から前記スクリーン座標に透視変換して、複数のテンプレート投影画像を得る透視変換ステップと、
前記競技フィールドが撮影されているフィールド画像を２値フィールド画像に変換してフィールドラインを抽出する２値化ステップと、
前記２値フィールド画像と前記複数のテンプレート投影画像の各々とを比較して最もマッチするテンプレート投影画像を求める画像マッチングステップと、
前記の最もマッチするテンプレート投影画像の投影パラメータを最大一致パラメータとし、この最大一致パラメータに基づき前記フィールド画像中の競技フィールド領域を検出（演算）するフィールド検出ステップと、
を含むプログラム。
【００１４】
さらにまた、本発明によるプログラムは、
前記２値フィールド画像に膨張処理を施すステップと、
前記２値フィールド画像にクロージング処理を施すステップと、
前記フィールド画像に、カメラ撮影時情報を関連付けた形式で画像データベースに格納する格納ステップと、
前記画像データベースから前記フィールド画像及びこれに関連付けられたカメラ撮影時情報を読み出し、前記カメラ撮影時情報に基づき広角画像を含む前記フィールド画像を検出する広角画像検出ステップと、
を含むことを特徴とする。
さらにまた、本発明によるプログラムは、
前記フィールド画像に、カメラ撮影時情報を関連付けた形式で画像データベースに格納する格納ステップと、
前記画像データベースから前記フィールド画像及びこれに関連付けられたカメラ撮影時情報を読み出し、前記カメラ撮影時情報に基づき、前記投影パラメータ群を限定する限定ステップと、
を含むことを特徴とする。
【発明を実施するための最良の形態】
【００１５】
以降、諸図面を参照しつつ、本発明の実施態様を詳細に説明する。
図１は、本発明によるフィールド領域検出システムの基本的な構成を示すブロック図である。図に示すように、本発明のフィールド領域検出システム１００は、フィールドテンプレート作成手段１１０、投影パラメータ群生成手段１２０、透視変換手段１３０、２値化手段１４０、画像マッチング手段１５０、及びフィールド検出手段１６０を具える。
フィールドテンプレート作成手段１１０は、競技フィールドのフィールドラインを規定する規格に基づき、ワールド座標に前記フィールドラインをワイヤーフレームとして配置したフィールドテンプレートを作成する。投影パラメータ群生成手段１２０は、前記ワールド座標からスクリーン座標に透視変換するときに用いる投影パラメータに含まれるパラメータを各々独立に変化させ、それぞれが異なる投影画像を生成し得る投影パラメータを含む投影パラメータ群を生成する。透視変換手段１３０は、前記投影パラメータ群の各々を用いて、前記フィールドテンプレートを前記ワールド座標から前記スクリーン座標に透視変換して、複数のテンプレート投影画像を得る。２値化手段１４０は、前記競技フィールドが撮影されているフィールド画像を画像データベースから読み出し、読み出した画像を２値フィールド画像に変換してフィールドラインを抽出する。画像マッチング手段１５０は、前記２値フィールド画像と前記複数のテンプレート投影画像の各々とを比較して最もマッチするテンプレート投影画像を求める。フィールド検出手段１６０は、前記の最もマッチするテンプレート投影画像の投影パラメータを最大一致パラメータとし、この最大一致パラメータに基づき前記フィールド画像中の競技フィールド領域を検出する。検出したフィールド領域は当該画像と関連付け、その他の画像検出システム（図示せず）に渡し、その後の処理に利用される。
【００１６】
図２は、本発明によるフィールド領域検出方法を説明するフローチャートである。
テンプレート作成ステップＳ１１０は、競技フィールドのフィールドラインを規定する規格に基づき、ワールド座標に前記フィールドラインをワイヤーフレームとして配置したフィールドテンプレートを作成する。投影パラメータ群生成ステップＳ１２０は、前記ワールド座標からスクリーン座標に透視変換するときに用いる投影パラメータに含まれるパラメータを各々独立に変化させ、それぞれが異なる投影画像を生成し得る投影パラメータを含む投影パラメータ群を生成する。透視変換ステップＳ１３０は、前記投影パラメータ群の各々を用いて、前記フィールドテンプレートを前記ワールド座標から前記スクリーン座標に透視変換して、複数のテンプレート投影画像を得る。２値化ステップＳ１４０は、フィールドラインを抽出するために、前記競技フィールドが撮影されているフィールド画像を画像データベースから読み出し、読み出した画像を２値フィールド画像に変換する。画像マッチングステップＳ１５０は、前記２値フィールド画像と前記複数のテンプレート投影画像の各々とを比較して最もマッチするテンプレート投影画像を求める。フィールド検出ステップＳ１６０は、前記の最もマッチするテンプレート投影画像の投影パラメータを最大一致パラメータとし、この最大一致パラメータに基づき前記フィールド画像中の競技フィールド領域を検出する。
【００１７】
スポーツ中継番組ではサッカーが特に人気があり、そして、サッカー映像中で重要なシーンは得点が入るようなシュートシーンであるが、このようなシーンは全体から見てごく僅かであり、このようなシーンを膨大な映像データから抽出する様々な技法の前処理に、本発明の検出技法を適用することが好適である。本発明は、様々なスポーツに適用可能であるが、上述した点を踏まえて、スポーツ競技の例示としてサッカー映像を取り上げ、サッカー映像のサッカー競技フィールド領域の検出する方法・システムとして説明する。
まず、サッカー映像における試合内容の分析を際には、事前に、サッカー映像において多くを占めるフィールドが広範囲に撮影された画像（以下、広角画像）から、撮像領域を特定する必要がある。本発明は、カメラ位置や撮影効果（パンやズームなど）に制限を与えずに撮影された映像において、フィールド領域検出を実現するものである。
【００１８】
本発明は、サッカー映像中の広角映像から、サッカーフィールドにおける撮影領域を特定する。実施のために下記の構成を持つ。
1）サッカー映像から広角映像を抽出する。
2）広角画像からフィールドラインを抽出する。
3）フィールドラインをワイヤーフレームモデル（以下、フィールドテンプレート）として用い、このフィールドテンプレートを透視変換により平面に投影した画像を得る。
4）2）で得られたフィールドラインと3）で得られた画像とを比致し、両者の位置が最も近くなる投影パラメータを検出する。
5）得られた投影パラメータを用いて撮影されたフィールドの領域を特定する。
【００１９】
本発明によって、サッカー映像の分析およびインデキシングのために、必要不可欠な広角影像における現像フィールド領域を特定することが可能となる。本発明は、一般にテレビ映像の編集で行われる撮影効果（パンやズームなど）を含む場合においても、それを実現することが可能であり、汎用性がある。
本発明は、パンとズームを行うカメラによってフィールドが広範囲に撮影された画像（以下、広角画像）について、撮影されたフィールドの範囲を検出する手法を提供する。本発明では，フィールドラインをワイヤーフレームモデル（以下、フィールドテンプレートと称する。）として用いる。このフィールドテンプレートを透視変換により平面に投影した画像と、広角画像から抽出きれたフィールドラインを比較し、両者の位置が最も近くなる投影パラメータを検出する。得られた投影パラメータを用いて提影されたフィールドの領域が特定できる。
本発明による方法では、フィールドテンプレートを透視変換により平面に投影した画像と、広角画像からフィールドラインを構成する画策を抽出した画像を、画素ごとに比較する。比較により、画像の一致の度合が最も高くなる投影パラメータを検出し、その値を用いて撮影された領域を算出する。本発明で用いるフィールドテンプレートは複数のラインにより構成されているため、選手による隠蔽の影響を受けずに撮影された領域を検出可能である。以下で各処理について説明する。
【００２０】
フィールドテンプレートの投影
日本サッカー協会および国際サッカー連盟により、日本国内での国際試合、国民体育大会等の全国的規模の大会（例えば、ウールドカップ、オリンピック、ワールドユース大会等）では図３に示すフィールドを使用することが定められている（「サッカー競技規則、1999／2000」を参照されたい。（財団法人日本サッカー協会審判委員会、”財団法人日本サッカー協会，pp，6−10，1999））。そこで、本発明では図３に示すモデルをフィールドテンプレートとして採用する。
【００２１】
フィールドテンプレートの投影像を表現するために、ワールド座標ｘ，y，ｚおよびスクリーン座標X,Yをそれぞれ図４のＡ、Ｂに示すように設定する。フィールドテンプレートをワールド座標のｘy平面上に、タッチラインとゴールラインがそれぞれｘ，y軸に並行になるように配置し、さらに視点をPv（ｘv，yv，zv）、投影方向をPｆ（ｘｆ，yｆ，0）、視点からスクリーンまでの距離をｒで表す。ただし、PvPｆを通る直線はスクリーンに対し垂直である。また、線分PvPｆをｘｙ平面に投影した線分ｌとｘ軸がなす角をθ，線分lと線分PvPｆのなす角を、ワールド座標におけるスクリーンの中心の点をPｓ（ｘｓ，yｓ，zｓ）、線分PvPｓの長さをr′とおく。このとき、ワールド座標からスクリーン座標への透視変換は式（1）および（2）で表される。
【数１】
2005182402.tif 000003
である。以降、上の座標変換によって得られた画像をテンプレート投影画像と呼ぶ。ただし、テンプレート投影画像において、ラインを1，それ以外を0で表現する。
【００２２】
テンプレート投影画像の生成に用いる投影パラメータPvPｆrは、実際のサッカー映像から推測されるカメラの状態に基づいて、投影パラメータのそれぞれが取り得る範囲を次のように限定できる。視点Pvは、サッカーの試合で広角画像を撮影するカメラが、タッチライン側の観客席の中央付近に設置されることを利用して
【数２】
2005182402.tif 000004
の範囲に限定できる。即ち、この式は、サッカースタジアムの外にカメラは設置されないこと、及び、サッカーフィールドの中にカメラは設置されないことを意味する。このように設定された範囲は、可能な設定値を網羅するよう十分に大きく設定されている。従って、競技場によるカメラの設置位置の違いにより、フィールド領域の検出結果に劣化が生じる危険性は少ない。投影方向はカメラの撮影角度を表しているので、カメラが常にフィールド内を撮影しているとすれば、フィールドの大きさの規格より
【数３】
2005182402.tif 000005
の範囲に限定される。スクリーンまでの距離ｒはカメラの画角に関係しているので、フィールドがスクリーン内に納まるように範囲を定める。このように投影パラメータの取り得る範囲を限定して、投影パラメータ群を構成する数を減少させれば、透視変換やマッチング処理などの計算負荷を顕著に低減でき、処理の迅速化、ひいては検出精度の向上も図れる。
【００２３】
広角画像からフィールドラインの抽出
次に、広角画像からフィールドラインを構成する画素を抽出する方法を説明する。
多くの競技ではフィールドラインは白色であり、白色は輝度が高いという特徴を持つ。また、フィールドラインは緑色の芝の上に引かれることが多いため、画像上でフィールドラインを構成する画素は白色と緑色の混色となる。そこで、YIQ表色系のy（輝度）とHSV表色系の方（色相）を用いて
【数４】
2005182402.tif 000006
を満たす画素をフィールドラインとする。ただし、ThYは閾値であり、2／5π、πはマンセル表色系でそれぞれ5Y（yellow）,5BG（bluegreen）を表している。この処理により得られたラインを1、それ以外を0とした画像を以降、2値フィールド画像と呼ぶ。また、2値フィールド画像に膨張処理を施した画像（以下、膨張2値フィールド画像）を準備し、以降で行われるフィールド投影画像の比較の対象とすることにより、ラインの検出誤差の影響を軽減する。
【００２４】
テンプレート投影画像と膨張2値フィールド画像の比較による撮影範囲の検出
上述したように限定した範囲において、Yv，Zv，xf，yf，rをそれぞれ独立に刻みδyz，δyv，δyf，δｒで変化させ、各パラメータのすべての値の組み合わせについて、テンプレート投影画像と膨張2値フィールド画像の比較を行う。このとき比較の指標として、テンプレート投影画像と膨張2値フィールド画像の論理積を取ることにより得られる画像において、値が1である画素の数を用いる（以下、テンプレート一致度と称する。）。この処理により、最も高いテンプレート一致度が得られたときのPv，Pｆ，rを、本明細書では以降、最大一致パラメータと呼ぶ。ただし、カメラ操作のパンとズームによって変化する投影パラメータはPｆ，r，のみなので、動画を対象に最大一致パラメータを検出する際は、初めのフレームでPvを算出すれば、以降はPｆ，rのみの探索となる。また、カメラが常にボールを追っていると仮定すると、ボールの速さはシュート時に40m／sであるから、Ｎfpsでサンプリングされた映像において、隣接フレームでのPｆが既知であれば、その40／Nm近傍のみを探索すればよい。同様にrも隣接フレームでは変化が少ないことを用いて、探索の範囲が縮小できる。
【００２５】
次に、最大一致パラメータから、撮影されたフィールドの領域を算出する方法を示す。スクリーンの4隅を頂点とした矩形は撮影範囲に対応している。そこで、この4点に投影されるxy平面上の点の座標を以下で求める。Z＝0とおいて式（1）および（2）を変形し、スクリーン座標からワールド座標へ変換を行う式を得る。
【数５】
2005182402.tif 000007
【数６】
2005182402.tif 000008
式（10）および（11）にスクリーンの4隅の座標を代入し、xy平面上に撮影された領域を算出する。
【００２６】
本発明の有効性を確認するため、以下の実験を行い、その結果を示す。実験にはサッカー映像を10fpsでサンプリングした約14秒間（137フレーム）のRGB形式の広角画像（360×240）を用いた。実験に用いた閾値はThy＝0.47、膨張処理の回数は3回、ｒの探索範囲はr∈［800，1300］，Pv，Pｆ，rの刻み幅はδyz，δyv，δyf，δｒ＝10とした。実験結果の一部を図５（Ａは広角画像、Ｂは投影画像、Ｃは本発明によって検出した撮影領域を示す図）に示す。図より、実際の競技フィールドを撮影した広角画像（Ａ）とテンプレート投影画像（Ｂ）のフィールドラインが一致しており、撮影された領域（Ｃ）が正しく検出されていることが確認できる。本発明による検証システムの検出結果の正誤を目視により判定すると、撮影された領域が正しく検出されたのは137フレーム中131フレームであった。従って、本発明によれば、映像データに何ら手作業を加えずにかなりの高精度でフィールド領域を検出することが可能であることが判明した。
【産業上の利用可能性】
【００２７】
本発明は、スポーツ映像分析などを必要とする、放送業界やスポーツ映像データベースなどを扱う産業で利用が期待される。
【００２８】
本明細書では、様々な実施態様で本発明の原理を説明してきたが、本発明は上述した実施例に限定されず、当業者であれば幾多の変形および修正を施すことが可能であり、これら変形および修正されたものも本発明に含まれることを理解されたい。
例えば、実施例ではマッチング処理は、画素毎に比較した形式のものを挙げたが下記のような様々なマッチング処理を本発明では利用することが可能である。
マッチング処理の変形例1
フィールドテンプレートに透視変換を適用した結果(ワイヤーフレームモデルのままでビットマップ画像にはしないもの) の各線分について、2値フィールド画像中でその線分のd画素近傍に存在する値が1の画素数を算出し、全線分の総和をテンプレート一致度とする。
マッチング処理の変形例２
2値フィールド画像について既存の線抽出手法を適用し、得られた線分とフィールドテンプレートの投影像を比較する。
【００２９】
上述した実施例では、一般的なサッカー競技スタジアムのサイズで一般的なカメラ配置を想定してパラメータの探索範囲を限定したが、撮影時にカメラによって自動的に取得されたカメラ撮影時情報、または人手で付加されたカメラ撮影時情報を得ることができれば、さらに、パラメータの探索範囲を限定することが可能であり、迅速に領域検出をすることができるようになる。カメラ撮影時情報としては、例えば、競技フィールドに対するカメラの相対的な位置、撮影角度、画角、焦点距離、像面サイズ、被写体距離などがあり、これらの情報の一部を得ることができれば、パラメータの探索範囲を相当限定することが可能となる。
【図面の簡単な説明】
【００３０】
【図１】本発明によるフィールド領域検出システムの基本的な構成を示すブロック図である。
【図２】本発明によるフィールド領域検出方法を説明するフローチャートである。
【図３】サッカーフィールドに対応するフィールドテンプレートを示す平面図である。
【図４】Ａはフィールドテンプレートの投影像を3次元で表現するワールド座標ｘ，y，ｚを示す図であり、Ｂはフィールドテンプレートの投影像を２次元で表現するスクリーン座標ｘ，yを示す図である。
【図５】Ａは実際のフィールドを撮影した広角画像を示す図であり、Ｂはテンプレート投影画像を示す図であり、Ｃは本発明によって検出した撮影領域を示す図である。
【符号の説明】
【００３１】
１００  フィールド領域検出システム
１１０  フィールドテンプレート作成手段
１２０  投影パラメータ群生成手段
１３０  透視変換手段
１４０  ２値化手段
１５０  画像マッチング手段
１６０  フィールド検出手段
【図１】
2005182402.tif 000009
【図２】
2005182402.tif 000010
【図３】
2005182402.tif 000011
【図４】
2005182402.tif 000012
【図５】
2005182402.tif 000013