(57)【特許請求の範囲】
【請求項１】
映像処理システムにおいて映像を処理する方法であって、
映像信号から複数の画像を分析するステップと、
前記複数の画像のそれぞれの特徴の少なくとも１つのサイズに応じて、前記映像信号からの前記複数の画像のそれぞれの画像の視野を分類するステップと、
隣接する画像の基準の比較に基づいて、前記映像信号からの前記複数の画像から画像系列のセットを作成するステップと、
前記画像系列のセットのそれぞれの視野を分類するステップと、
特定のタイプの視野を表している少なくとも画像系列のセットに画像処理アルゴリズムを選択的に適用するステップと、を含み、
前記画像系列のセットのそれぞれの視野を分類するステップは、前記セットにおける画像の分類の統計的な分析を含む、方法。
【請求項２】
前記映像信号からの前記複数の画像のそれぞれはフレームである、請求項１記載の方法。
【請求項３】
前記サイズは、長さ、幅又は領域である、請求項１記載の方法。
【請求項４】
前記基準は、カラーヒストグラムデータを含む、請求項１記載の方法。
【請求項５】
前記複数の画像のそれぞれの画像の視野を分類するステップは、前記画像が遠い視野のショットを表すか、又は遠い視野のショットを表わさないかを示すデータを前記画像と関連付けするステップを含む、請求項１記載の方法。
【請求項６】
前記複数の画像のそれぞれの画像の視野を分類するステップは、試合をしているフィールドを表す画像の領域を表すマスクを作成するステップを含む、請求項１記載の方法。
【請求項７】
前記複数の画像のそれぞれの画像の視野を分類するステップは、前記マスクの計算された領域を少なくとも１つの閾値と比較するステップを含む、請求項６記載の方法。
【請求項８】
前記複数の画像のそれぞれの画像の視野を分類するステップは、前記マスクの境界におけるプレーヤのようなオブジェクトの領域を識別して計算するステップを含む、請求項６記載の方法。
【請求項９】
前記複数の画像のそれぞれの画像の視野を分類するステップは、前記少なくとも１つのオブジェクトの最大の計算された領域又は中間の計算された領域をある閾値と比較するステップを含む、請求項８記載の方法。
【請求項１０】
前記統計的な分析は、前記セットにおける前記映像信号からの半分の画像を超える画像に関連する分類を識別するステップを含む、請求項１記載の方法。
【請求項１１】
映像処理システムにおいて映像を処理する装置であって、
映像信号から複数の画像を分析する手段と、
前記複数の画像のそれぞれの特徴の少なくとも１つのサイズに応じて、前記映像信号からの前記複数の画像のそれぞれの画像の視野を分類する手段と、
隣接する画像の基準の比較に基づいて、前記映像信号からの前記複数の画像から画像系列のセットを作成する手段と、
前記画像系列のセットのそれぞれの視野を分類する手段と、
特定のタイプの視野を表している少なくとも画像系列のセットに画像処理アルゴリズムを選択的に適用する手段と、を備え、
前記画像系列のセットのそれぞれの視野を分類する手段は、前記セットにおける画像の分類の統計的な分析を行う、装置。
【請求項１２】
前記映像信号からの前記複数の画像のそれぞれはフレームである、請求項１１記載の装置。
【請求項１３】
前記複数の画像のそれぞれの画像の視野を分類する手段は、前記画像が遠い視野のショットを表すか、又は遠い視野のショットを表わさないかを示すデータを前記画像と関連付ける、請求項１１記載の装置。
【請求項１４】
前記複数の画像のそれぞれの画像の視野を分類する手段は、試合をしているフィールドを表す画像の領域を表すマスクを作成する、請求項１１記載の装置。
【請求項１５】
前記複数の画像のそれぞれの画像の視野を分類する手段は、前記マスクの計算された領域を少なくとも１つの閾値と比較する、請求項１４記載の装置。
【請求項１６】
前記複数の画像のそれぞれの画像の視野を分類する手段は、前記マスクの境界におけるプレーヤのようなオブジェクトの領域を識別して計算する、請求項１４記載の装置。
【請求項１７】
映像を処理するために映像処理システムが実行する方法であって、
映像信号に含まれる連続するＮ個の画像フレーム各々の視野のタイプを、前記映像信号に映っているオブジェクトの分析に基づいて、遠くからの視野（ＦＶ）、多分遠くからの視野（ＭＦＶ）及び遠くからではない視野（ＮＦＶ）に分類するステップであって、前記Ｎ個の画像フレームは、画素の統計値により決定された連続する複数のチャンクに分類されている、ステップと、
前記複数のチャンク各々に含まれる１つ以上の画像フレームの視野のタイプに従って、前記複数のチャンク各々を、前記ＦＶ、前記ＭＦＶ及び前記ＮＦＶに分類するステップと、
前記ＭＦＶに分類されたチャンクのうち、前記ＦＶに分類されたチャンクに隣接していないチャンクを前記ＮＦＶに分類し直す一方、前記ＦＶに分類されたチャンクに隣接するチャンクを前記ＦＶに分類し直すステップと、
前記ＦＶに分類されたチャンクに属する画像フレームには所定の画像処理アルゴリズムを適用し、前記ＮＦＶに分類されたチャンクに属する画像フレームには前記所定の画像処理アルゴリズムを適用せずに、前記Ｎ個の画像フレームについての出力ビットストリームを生成するステップと
を有する方法。
【請求項１８】
映像信号に含まれる連続するＮ個の画像フレーム各々の視野のタイプを、前記映像信号に映っているオブジェクトの分析に基づいて、遠くからの視野（ＦＶ）、多分遠くからの視野（ＭＦＶ）及び遠くからではない視野（ＮＦＶ）に分類する手段であって、前記Ｎ個の画像フレームは、画素の統計値により決定された連続する複数のチャンクに分類されている、手段と、
前記複数のチャンク各々に含まれる１つ以上の画像フレームの視野のタイプに従って、前記複数のチャンク各々を、前記ＦＶ、前記ＭＦＶ及び前記ＮＦＶに分類する手段と、
前記ＭＦＶに分類されたチャンクのうち、前記ＦＶに分類されたチャンクに隣接していないチャンクを前記ＮＦＶに分類し直す一方、前記ＦＶに分類されたチャンクに隣接するチャンクを前記ＦＶに分類し直す手段と、
前記ＦＶに分類されたチャンクに属する画像フレームには所定の画像処理アルゴリズムを適用し、前記ＮＦＶに分類されたチャンクに属する画像フレームには前記所定の画像処理アルゴリズムを適用せずに、前記Ｎ個の画像フレームについての出力ビットストリームを生成する手段と
を有する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スポーツ映像における遠くからの眺めのシーンを検出するためにビデオを分析して、所定の画像処理アルゴリズムが適用されるときを決定する方法及び関連する装置に関する。本方法は、映像信号からの視野を分析及び分類し、画像系列のセットの視野を作成及び分類し、特定のタイプの視野を表している画像系列のセットに画像処理アルゴリズムを選択的に適用することを含む。  
本出願は、2009年7月20日に提出され、整理番号61/271381号が割り当てられた米国特許商標庁で提出された仮出願から得られる優先権及び全ての利益を特許請求するものである。
【背景技術】
【０００２】
この節は、以下に記載される本発明の様々な態様に関連する様々な従来技術に読者を導くことを意図している。この説明は、本発明の様々な態様の良好な理解を容易にするため、読者に背景技術を提供するのに役立つ。従って、これらの説明はこの点に照らして読まれるべきであり、従来技術の認定として解釈されるべきではないことを理解されたい。
【０００３】
携帯機器が益々能力が高まり、携帯デジタルテレビ規格が進化するとき、係る装置で映像番組を視聴することが益々実用的となる。しかし、これらの装置の小型スクリーンは、特にスポーツイベントの視聴について幾つかの制限を提示する。スポーツイベントにおけるボールのような小さなオブジェクトは、見る事が困難である。高い圧縮率の利用は、遠くからの眺めのシーンにおけるボールのような小さなオブジェクトの外観を著しく低減することで、状況を悪化させる可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これらのオブジェクトの外観を改善することは可能であるが、係るアルゴリズムは、計算上費用がかかるか、必要とされないときに適用された場合に全体の画質を低下させる。アルゴリズムが選択的に適用されるように、オブジェクトエンハンスメントアルゴリズムからの利益を得る特定のタイプのシーンを検出できることが望まれる。本明細書で記載される発明は、この課題及び／又は他の課題に対処するものである。
【課題を解決するための手段】
【０００５】
上述された課題を解決するため、本発明は、映像を分析して、スポーツ映像における遠くからの眺めのシーンを検出し、所定の画像処理アルゴリズムが適用されるときを決定することに関する。本方法は、映像信号からの画像の視野を分析して分類すること、画像系列のセットの視野を形成及び分類すること、及び特定のタイプの視野を表している画像系列のセットの画像処理アルゴリズムを選択的に適用することを含む。
【図面の簡単な説明】
【０００６】
添付図面と共に行われる本発明の実施の形態の以下の記載を参照することで、本発明の上述された特徴及び利点、他の特徴及び利点、並びにこれらに属する方式は、より明らかとなり、本発明は、良好に理解されるであろう。
【図１】オブジェクトの位置特定及びエンハンスメントによる従来の映像処理システムの図である。
【図２】遠くからの眺めのシーンの検出を利用したオブジェクトの位置特定及びエンハンスメントによる映像処理システムの図である。
【図３】フレームで表現される視野を分類する方法のフローチャートである。
【図４】フレームにより表現される視野を分類する方法の適用部分の結果を例示する図である。
【図５】映像系列をチャンクにセグメント化する方法のフローチャートである。
【図６】映像系列のチャンクの視野を分類する方法のフローチャートである。
【図７】チャンクレベルの分類を利用した遠くからの眺めのシーンを検出する方法のフローチャートである。  本明細書で述べる例示は、本発明の好適な実施の形態を例示するものである。係る例示は、任意のやり方で本発明の範囲を制限するものとして解釈されるべきではない。
【発明を実施するための形態】
【０００７】
本実施の形態で記載されるように、本発明は、映像を分析してスポーツ映像における遠くからの眺めのシーン（far-view  scene）を検出し、所定の画像処理アルゴリズムが適用されるべきかを決定する方法及び関連する装置を提供するものである。本方法は、映像信号からの画像の視野を分析及び分類し、画像系列のセットの視野を形成及び分類し、及び、特定のタイプの視野を表している画像系列のセットに画像処理アルゴリズムを選択的に適用することを含む。
【０００８】
本発明は好適な設計を有するものとして記載されるが、本発明は、この開示の精神及び範囲において更に変更することができる。本出願は本発明の一般的な原理を使用した任意の変形、使用又は適応をカバーすることが意図される。さらに、本出願は、本発明が属する技術分野であって、特許請求の範囲の制限に含まれる当該技術分野における既知又は習慣的なやり方に含まれるとして、本明細書の開示からの逸脱をカバーすることが意図される。
【０００９】
好適な実施の形態では、本発明はテレビ制作又は伝送環境における信号処理ハードウェアで実現される。本方法は、サッカー映像における例示的な応用による、スポーツ映像における遠くからの眺めのシーンを検出するために使用される。遠くからの眺めのシーンは、試合を行うフィールドの広角度カメラのビューに対応するものであり、例えばプレーヤ及びボールといった、関心のあるオブジェクトは、映像圧縮により容易に品質が低下するか又は明らかに目に見えないように十分に小さい。
【００１０】
図１は、特定のシーンの視野にかかわらず、ある映像の全ての部分に適用されるオブジェクトの位置特定及びエンハンスメントによる従来の画像処理システム１００を例示する。入力画像１１０は、ボール又はパックのような検出されたオブジェクトに関する情報１３０を生成するために、オブジェクト位置特定アルゴリズム１２０を通して最初に処理される。関心のあるオブジェクトの特性に対応するフィルタの使用のような、係るオブジェクトを検出するための当該技術分野における様々な技術が知られている。
【００１１】
識別されたオブジェクトに関する情報１３０は、オブジェクトエンハンスメントステージ１５０及びオブジェクト認識エンコーダ１７０に送出される。この情報は、例えばボールの位置、サイズ、軌跡又はマスクを含む。ビデオフレーム１４０は、識別されたオブジェクトに関する情報１３０を使用して、オブジェクトエンハンスメントステージ１５０で処理される。例えば、視聴者がその位置を容易に識別するのを可能にするため、ボール又はパックの位置を通してハイライトカラーが配置される。
【００１２】
検出されたオブジェクトに適用されるエンハンスメントによる結果として得られるビデオフレーム１６０は、次いで、オブジェクト認識エンコーダ１７０によりエンコードされ、出力ビットストリーム１８０が得られる。オブジェクト認識エンコーダ１７０によるオブジェクト情報１３０の使用により、プレーヤ又はボールのような、遠くからの眺めのシーンにおける識別されたオブジェクトの可視性及び外観を保持するために、エンコードを調節することができる。例えば、低圧縮率が使用される。ボールが小さなオブジェクトとして見えるシーンについて使用されるか、又はボールが現れるフレームの特定の領域について使用される。
【００１３】
システム１００のようなシステムでは、処理されているフレームで表されるビューのタイプを問わず、オブジェクトの位置特定及びエンハンスメントが実行される。従って、幾つかのタイプのシーンに関して不要な処理が実行される、浪費した時間、浪費した処理リソース、又は画質の低下となる。
【００１４】
図２は、本発明に係る映像処理システムにおけるデータフローを例示する。入力ビデオ２１０は、以下に詳細に記載される、遠くからの眺めのシーンを検出するアルゴリズム２２０により最初に処理される。遠くからの眺めのシーンの検出２２０に加えて、遠くからの眺め（far-view）として分類されるシーン２３０は、遠くからの眺めではないとして分離されるシーン２４０とは別に処理される。これは、時間的な節約、処理リソースにおける節約、又は画質における改善を提供する場合がある。
【００１５】
遠くからの眺めのシーン２３０は、オブジェクトの位置特定及びエンハンスメント処理２５０に送出される。この処理は、検出されたボールのハイライト処理、ボールの軌道の例示、又は他のエンハンスメントを含む。遠くからの眺めではないシーン２４０は、オブジェクトの位置特定とエンハンスメントステージを迂回し、オブジェクト認識エンコーダ２８０にダイレクトに送出される。オブジェクトの位置特定及びエンハンスメントステージ２５０により生成されたオブジェクト情報２６０及びエンハンスされた遠くからの眺めのシーン２７０は、オブジェクト認識エンコーダ２８０に送出され、このエンコーダは、エンコードされた出力ビットストリームを生成する。
【００１６】
先に記載されたように、オブジェクト認識エンコーダ２８０によるオブジェクト情報２６０の使用により、例えば遠くからの眺めのシーンにおいて、サッカーボールのような識別されたオブジェクトの可視性及び外観を保持するため、エンコードを調節するのを可能にする。例えば、ボールが現れるシーンについて低圧縮率が使用されるか、又はボールが現れるフレームの特定の領域について低圧縮率が使用される。
【００１７】
ステップ２２０の遠くからの眺めのシーンの検出は、以下のステージを含む。  
１．図３に関して以下に記載される、遠くからの眺め（FV）、多分遠くからの眺め（MFV）、又は遠くからではない眺め（NFV）として、系列におけるそれぞれのフレームの分類すること。  
２．図５を参照して以下に記載される、系列を多数のチャンク（部分）に分割すること。それぞれのチャンクは、「見た目が似ている」フレームの連続したセットである。  
３．図６に関して以下に記載される、FV，MFV又はNFVとしてそれぞれのチャンクを分類すること。  
４．図７に関して以下に記載される、チャンクをマージして再分類することにより、遠くからの眺めのシーンを検出すること。
【００１８】
図３は、サッカー映像の例示的な応用に関して記載される、遠くからの眺めのフレームの分類の方法３００のフローチャートである。サッカー映像からの入力フレームは、サッカーフィールド検出ステップ３２０で、２値のフィールドマスクに処理される。簡単なケースでは、サッカーフィールドの画素は、芝生又は芝生の色の材料で一般に覆われているという情報を使用して識別される。結果は、全てのフィールドの画素を値１で、フィールドのオブジェクトを含むフィールドでない画素を値０で分類する２値マスクである。様々な画像処理技術が使用され、試合が行われているフィールドの境界を識別し、前景のオブジェクトを無視し、ソリッドフィールドマスクを形成する。例えば、所定の領域の閾値を超えるフィールド画素の全ての連続する領域を包含するシンプルなバウンディングボックスにおける全ての画素は、フィールドマスクに含まれる。フィルタの使用を含む他の技術は、フィールドを識別し、フィールドマスクから前景のオブジェクトを除去するために使用される。
【００１９】
ステップ３３０で、前景のオブジェクトの分析を通して、ステップ３２０において識別されたフィールドの境界におけるフィールドではない画素の接続されたセットである、「プレーヤのような」オブジェクトが識別される。構成画素｛（ｘi,ｙi）｝をもつ前景のオブジェクトoについて、以下のオブジェクトパラメータが計算される。
【００２０】
【数１】
0005686800.tif 000002
領域、コンパクト性及びアスペクト比のそれぞれがサッカー映像におけるプレーヤの既知の特性に関連する閾値を超えるときに「プレーヤに似ている」と考えられる。言い換えれば、（ａ0>ｔa），（ｃ0>ｔc）及び（ｒ0>ｔr）の場合、オブジェクトoは、「プレーヤに似ている」と考えられる。320×240画素のサッカー映像に向けられる好適な実施の形態では、ｔa＝10，tc＝0.1及びtr＝0.5の閾値が使用される。
【００２１】
ステップ３４０で、全てのプレーヤに似たオブジェクトの最大領域Ａmax及び中間領域Ａmedが計算される。上述したように、特定のオブジェクトの領域は、オブジェクトを含む画素の数としてシンプルに計算される。同様に、フィールドＡfieldの領域は、フィールドマスクを有する画素数として計算される。
【００２２】
ステップ３５０で、フィールドの領域、プレーヤのオブジェクトの中間領域及びプレーヤオブジェクトの最大領域は、遠くからの眺めのシーンにおける期待された領域に関連する閾値に比較される。（Ａfield>Ｔfield），（Ａmed<Ｔmed）及び（ｔmax<Ａmax<Ｔmax）の場合、ステップ３６０でフレームはFVとしてラベル付けされる。すなわち、フレームにおけるフィールド領域が大きく、中間のプレーヤ領域が小さい場合、最大のプレーヤの領域は、期待される範囲内にあり、シーンの視野は広く又は遠い。
【００２３】
フレームがFVとしてラベル付けされない場合、フレームが遠くからの眺めであるか、又はおそらく遠くからの眺めではないかに関する判定が行われる。ステップ３７０で基準（Ａfield>ｔfield）及び（Ａmax≦ｔmax）が合致する場合、ステップ３８０でフレームはMFVとして分類される。言い換えれば、フィールド領域が下の閾値を越えるが、プレーヤに似たオブジェクトの最大の領域が最小の閾値を超えない場合、単一のフレームに基づいて信頼できる判定を行うことができない。フレームがFV又はMFVとしてラベル付けされない場合、ステップ３９０でNFVとして分類される。
【００２４】
320×240画素のサッカー映像に向けられる好適な実施の形態では、Ｔfield＝0.4×H×W（フレーム領域の40%）、ｔfield＝0.3×H×W（フレーム領域の30%）、Ｔmed＝600、ｔmax＝100及びＴmax＝2400の閾値が使用され、H及びWは、画素におけるフレームの高さ及び幅である。
【００２５】
本方法３００のステップは、系列におけるそれぞれのフレームについて繰り返される。従って、フレームについて１つの視野の分類の系列が得られる。
【００２６】
図４は、ステップ３２０及び３３０のフィールド検出及びプレーヤに似たオブジェクトの検出を例示する。フレーム４１０が与えられると、サッカーフィールドの検出により、２値のマスク４２０が得られ、このマスクは、全てのフィールドのカラーの画素を値１に分類し、フィールドにおけるオブジェクトを含む全てのフィールドではない画素を値０に分類する。プレーヤ、ライン及びボールのようなフィールド上のオブジェクトは、フィールドにおいて期待される色ではないので、マスクにおけるホールとして現れる。サッカーフィールドの境界の判定の結果は、４３０で示される。プレーヤ、ライン及びボールからのマスクにおけるホールが除かれ、大きな連続したフィールドマスクが形成される。画像４４０は、検出された前景のオブジェクト、４３０に示されるフィールドの境界におけるフィールドではない画素の接続されたセットを示す。これらは、例えば、プレーヤ、フィールドライン及びボールからなる２値のマスクを含む。画像４５０は、プレーヤに似たオブジェクトの検出の結果を表す。フィールドのラインのような、領域、コンパクト性又はアスペクト比の閾値に合致しないオブジェクトが除かれる。
【００２７】
方法３００のフレームレベルの分類は、幾つかの誤ったフレーム分類を生成する。係るエラーの影響を和らげるため、「チャンク“chunk”」と呼ばれる「似ている」フレームのセットに映像が分割される。チャンクを識別するプロセスは、図５に関して以下に記載される。次いで、それぞれのチャンクの視野は、図６に関して以下に記載されるように、その構成フレームの分類の統計値に基づいて全体として分類される。
【００２８】
図５は、フレームの連続する系列のカラーヒストグラムの類似性に基づいて多数のチャンクに映像系列５１０を分割するために使用される方法５００を概説する。カラーヒストグラムは、色値の様々な範囲内のフレームにおける画素数をカウントすることからなる。同じシーンからのフレームは、一定の色を一般に有する同じオブジェクトにカメラが向けられているとき、類似のヒストグラムを有する可能性が高い。シーンの変化は、視野内に異なる色の異なるオブジェクトを配置し、これによりカラーヒストグラムが変化する。
【００２９】
ステップ５１５で、チャンクＣのリストは空である。フレーム番号ｊについて、構築中のチャンクにおける、ビデオ系列における最初のフレームは、値１に初期化される。
【００３０】
ステップ５２０で、ｊ番目のフレームのカラーヒストグラムが計算される。好適な実施の形態では、Ｈjは、フレームｊにおける画素のグレイスケール値の256ビンのヒストグラムである。ヒストグラムの比較の計算上の強度を低減するため、少数の大きなヒストグラムビンが使用される。ｊ番目のフレームのカラーヒストグラムは、チャンクのアセンブリの基礎としての役割を果たす。
【００３１】
ステップ５２５で、フレームｉ＝ｊ＋１，．．．，Ｎについてループが開始し、Ｎは系列における最後のフレームの番号である。フレームｊに続くフレームは、フレームｊで開始するチャンクに含まれるべきかを判定するため、フレームｊとの類似について１つずつ分析される。
【００３２】
ステップ５３０で、ｉ番目のフレームのカラーヒストグラムＨiは、ステップ５２０で使用された同じ技術を使用して計算される。次いで、ステップ５３５で、ｉ番目のフレームとｊ番目のフレームとの間のヒストグラムの違いが計算される。この違いは、ｄij＝‖Ｈi−Ｈj‖1として計算され、ここで‖‖1は、ノルム１又は２つのベクトル間の絶対差分（SAD）の総和を示す。
【００３３】
ステップ５４０で、フレームｉのカラーヒストグラムがフレームｊで開始するチャンクに含まれるために、フレームｉについてフレームｊのカラーヒストグラムと十分に類似しているかに関して、ステップ５３５からの差ｄijに基づいて判定が行われる。フレームは、それらのカラーヒストグラムＨiとＨjとの間の距離ｄijが閾値Ｔchunk以下である場合に十分に類似していると考えられる。好適な実施の形態では，Ｔchunk＝0.4である。
【００３４】
ｄij>Ｔchunkである場合、すなわちフレームｉのフレームｊからのカラーヒストグラムの違いが、フレームｉについて余りに大きく、チャンクに含むことができない場合、ステップ５４５でチャンクのリストに間隔[j,i-1]が追加される。従って、現在のチャンクは、前のフレームであるフレームｉ−１で終了され、最後のフレームは、類似性の閾値を満足させる。新たなチャンクについて開始フレーム番号ｊは、ステップ５６５でｉの現在の値に設定され、プロセスは、次のチャンクの構築のためにステップ５２０に戻る。
【００３５】
しかし、ｄijがＴchunk未満であるか又はＴchunkに等しい場合、フレームｉは、現在のチャンクに追加するため、チャンクｊの最初のフレームに十分に類似していると考えられる。次いで、ステップ５５５で、ｉ＝Ｎであるか（すなわち映像における最後のフレームに到達したか）に関して判定が行われる。ｉ＝Ｎでない場合、プロセスは、ステップ５２５でループの開始に戻り、次のフレームは、現在のチャンクにおける包含のために考慮される。
【００３６】
構築中のチャンクの終了のフレーム番号は、十分に似ていないフレームが配置されるか、又は最後のフレームに到達するまで増加される。最後のフレームに到達した場合、すなわちｉ＝Ｎである場合、最後のフレームを構成している間隔[j,N]は、ステップ５７０でチャンク５７５のリストに追加され、プロセスは終了する。
【００３７】
このプロセスの終わりで、チャンクＣのリストが生成される。それぞれのチャンクは、ペア[b,e]により表され、ｂはチャンクの開始フレームであり、ｅは、終了フレームである。
【００３８】
図６は、それぞれのチャンクの視野をFV，MFV又はNFVとして分類するために使用される方法６００を示す。好適な実施の形態では、チャンクの分類は、チャンクにおけるフレームのラベルのうちで多数決を行うこと、フレームレベルの分類で生じるラベリングエラーを軽減することの厳密な形式に基づいている。
【００３９】
ステップ６２０で、入力ビデオチャンク６１０のそれぞれのフレームは、FV，MFV又はNFVとして分類される。このフレームレベルの分類は、上述された方法３００を使用して実行される。
【００４０】
ステップ６３０で、FVフレームのパーセンテージは、チャンクについて計算される。ステップ６４０でチャンクにおける50%を超えるフレームがFVであると判定された場合、ステップ６５０で、全体のチャンクはFVとして分類される。すなわち、構成フレームの大部分が遠くからの眺めである場合、チャンクは遠くからの眺めであると見なされる。
【００４１】
FVフレームのパーセンテージが50%を超えない場合、ステップ６６０で、チャンクにおけるMFVフレームのパーセンテージが計算される。ステップ６７０でフレームのうちの50%を超えるフレームがMFVであると判定された場合、ステップ６８０でチャンクはMFVとして分類される。何れの基準も満足されない場合、ステップ６９０でチャンクは、NFVであるとして分類される。代替的な実施の形態では、チャンクは、フレームカウントが所定の閾値以下である場合にNFVとして分類される。
【００４２】
図７は、全体の遠くからの眺めのシーンの検出プロセスで使用される方法７００のフローチャートである。ステップ７２０で、図５に関して上述されたように、入力映像系列７１０は、チャンクに分割される。ステップ７３０で、図６に関して上述されたように、それぞれのチャンクは、FV，MFV又はNFVとして分類される。
【００４３】
ステップ７４０で、MFVチャンクがFVチャンクに隣接する場合、FVとして再び分類される。すなわち、ステップ７３０で視野に関する判定が行われない場合、チャンクは遠くからの眺めとして見なされる。ｂ1＝ｅ2＋１又はｅ1＝ｂ2−１である場合、チャンク[ｂ1，ｅ1]は、チャンク[ｂ2，ｅ2]に隣接すると呼ばれる。好適な実施の形態では、オリジナルのFVチャンクに隣接するMFVチャンクのみが再び分類され、他の再び分類されるFVチャンクに近接していることに基づく再分類が許可されない。
【００４４】
ステップ７５０で、全ての残りのMFVチャンクはNFVとして再分類される。すなわち、ステップ６２０でチャンクの視野に関する判定が行われ、チャンクが遠くからの眺めとして識別されたチャンクに隣接していない場合、チャンクは、遠くからの眺めではないとされる。
【００４５】
ステップ７６０で、プロセスは、互いに隣接する全てのFVチャンクをより大きなチャンクに融合する。ｅ1＝ｂ2−１として、２つの隣接するFVチャンク[ｂ1，ｅ1]及び[ｂ2，ｅ2]をマージすることで、Ｃは、これら２つのチャンクを除き、[ｂ1，ｅ2]をそれらの位置に追加することで変更される。新たなチャンクは、その構成部分のFVラベルを受ける。この結合プロセスは、反復的であり、隣接するFVチャンクが残されていないときまで実行される。
【００４６】
FVチャンクがＮmin個のフレームよりも少ない場合、FVチャンクは、NFVとして分類される。１つの特定の実施の形態では、Ｎminは30フレームとなるように選択される。従って、短いシーンの処理が回避される。
【００４７】
最後に、ステップ７８０で、Ｃにおける全ての残りのFVチャンクは、遠くからの眺めのシーンとして分類される。それぞれのFVチャンクの開始及び終了フレームは、対応する遠くからの眺めのシーンの境界７９０を示す。同様に、全ての残りのNFVチャンクは、（上述されたように隣接するチャンクを結合した後）遠くからの眺めではないシーンとして分類される。
【００４８】
このプロセスの終わりで、遠くからの眺めのシーンＳFVのリスト及び遠くからの眺めではないシーンＳNFVのリストが得られる。それぞれのシーンは、ペア[ｂ,ｅ]により表され、ｂは、シーンの開始フレームであり、ｅは、その終了フレームである。これらのシーンの境界は、次いで、所定のビューにのみ適用可能な画像処理技術の適用を制御するため、図２に示されるオブジェクトハイライトシステムにより使用される。遠くからの眺めのシーンは、オブジェクトの位置特定及びエンハンスメントのモジュールに送出され、このモジュールは、関心のあるオブジェクトをエンハンスし、オブジェクト認識エンコーダのオブジェクトメタデータを生成する。遠くからの眺めではないシーンは、オブジェクトをハイライトすることなしにエンコードするため、エンコーダにダイレクトに送出される場合がある。
【００４９】
本発明は、特定の実施の形態の観点で記載されたが、本発明の範囲に含まれる変更が行われる場合があることを理解される。例えば、様々な処理ステップは個別に実現されるか又は結合される場合があり、汎用目的で実現されるか又は専用のデータ処理ハードウェア又はソフトウェアで実現される場合がある。本方法の全体の複雑度は、意思決定で考慮されるべきフィールドにおけるオブジェクトの基準を緩和することで低減される。たとえば、プレーヤのようなオブジェクトを検出する代わりに、ある閾値領域よりも大きい全てのオブジェクトが考慮される場合がある。また、チャンク分割の間にヒストグラムを計算するためにグレイスケールの画素値を使用する代わりに、フルカラー値（例えばRGB，YUV）を使用することが可能である。さらに、SAD以外の距離の測度は、ヒストグラムを比較するために使用される。フレームの分類の閾値に基づいた基準を使用する代わりに、分類子（例えばサポートベクトルマシン）がFV，MFV及びNFVフレームのラベル付けされたトレーニングセットから学習される場合がある。さらに、提案される方法は、関心のある移動するオブジェクトをもつ他のスポーツ又はイベントに適用される場合がある。最終的に、本方法は、専用の処理のために遠くからの眺め以外の他のタイプのシーンを検出するために使用される場合がある。
【図１】
0005686800.tif 000003
【図２】
0005686800.tif 000004
【図３】
0005686800.tif 000005
【図４】
0005686800.tif 000006
【図５】
0005686800.tif 000007
【図６】
0005686800.tif 000008
【図７】
0005686800.tif 000009