(57)【要約】  本発明は、基本的に固定背景の前のすばやいボールの移動を含むスポーツシーンを表すビデオ信号の生成に関する。シーンの一連の元画像（ＩＭＧ）が登録される。この一連の元画像の各画像（ＩＭＧ）について移動するボールの初期画像位置（ｐ１）が自動的に識別され、画像（ＩＭＧ）とこれに続く画像の間の差分画像が生成される。差分画像においては、閾値レベルより低い内容変更を表す全画像要素には第１の値の値が割り当てられ、閾値レベル以上の内容変更を表す全画像要素には第２の値の値が割り当てられる。その後、ボール候補のセットが識別される。各ボール候補は全て第２の値を含む近傍の画像要素群によりあらわされる。画像要素群は、ボールサイズ基準も満たさなければならない。初期画像位置（ｐ１）は、ボール選択アルゴリズムに基づいてボール候補のセットから選択される。その後、ボールが追跡され、移動するボールの軌道を表す合成形跡（ПＢ）が連続する追加画像データ（ｐ１、ｐ２、ｐ３、ｐ４）として示される合成画像シーケンスが生成される。【選択図】図５
2008545194.tif 000002
【特許請求の範囲】
【請求項１】
少なくともある期間の間、ボール（１５０）が基本的に固定的な背景の前を移動するスポーツシーンを表すビデオ信号を生成するシステムであって、
前記シーンの一連の元画像（ＶＳ（ＩＭＧ）、ＶＤＶ（ＩＭＧ））を登録するよう構成された画像記録手段（１１０）と、
前記一連の画像の少なくとも１つのサブセットを通じて移動する前記ボール（１５０）の軌道を追跡するよう構成された追跡手段（１２２、４２２）であって、前記追跡は、先に登録された画像に対して後で登録された画像内の更新されたことで識別された画像領域において、連続して登録された画像の間の差分を取ることを含む、追跡手段と、
当該元画像（ＶＳ（ＩＭＧ）、ＶП（ＩＭＧ））に基づいて合成画像シーケンス（ＶＣ（ＩＭＧ））を生成するよう構成されたグラフィックジェネレータ（１２４）であって、合成画像要素が前記一連の画像と、移動する前記ボール（１５０）の軌道を表す形跡（ПＢ）が前記一連の画像の画像内容に連続的にオーバーレイされ加えられた画像データの形で示されるように組合される、グラフィックジェネレータとを備え、
前記追跡手段（１２２、４２２）は移動する前記ボール（１５０）についての初期画像位置（ｐ１）を自動的に識別するよう構成され、この識別は、
当該一連の画像における各画像（ＩＭＧ）について、前記画像とそれに続く画像との間の差分画像の生成であって、前記差分画像において、閾値レベルより低い内容変更を表す全ての画像要素には第１の値が割り当てられ、前記閾値レベル以上の内容変更を表す全ての画像要素には第２の値が割り当てられる生成と、
ボール候補のセット（ｂＣ１１、ｂＣ１２、ｂＣ１３、ｂＣ２１、ｂＣ２２、ｂＣ２３、ｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４）の識別であって、それぞれのボール候補は全て前記第２の値を含む近傍の画像要素群によって表され、当該画像要素群はボールサイズ基準を満たす識別と、
ボール選択アルゴリズムに基づいて前記ボール候補のセット（ｂＣ１１、ｂＣ１２、ｂＣ１３、ｂＣ２１、ｂＣ２２、ｂＣ２３、ｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４）からの前記初期画像位置（ｐ１）の選択とによってなされることを特徴とするシステム。
【請求項２】
前記画像記録手段（１１０）が接続されたデジタル処理部（１２０）を備え、前記デジタル処理部（１２０）が前記追跡手段（１２２、１４２）を備える請求項１に記載のシステム。
【請求項３】
前記デジタル処理部（１２０）が前記グラフィックジェネレータ（１２４）を備える請求項２に記載のシステム。
【請求項４】
前記画像記録手段（１１０）が主カメラ（１１１）と副カメラ（１１２）とを備え、前記カメラ（１１１、１１２）は同一場所に配置されて互いに機械的に固定されており、前記デジタル処理部（１２０）が当該カメラ（１１１、１１２）に対して視差調整を実現するよう構成されている、請求項２および３のいずれかに記載のシステム。
【請求項５】
前記追跡手段（１２２、１４２）は前記ボール選択アルゴリズムの基礎を形成するために距離パラメータ（ｓ（Ｄ））を受け取るよう構成されており、前記距離パラメータ（ｓ（Ｄ））は前記画像記録手段（１１０）と推定初期ボール位置（ｐ’１）の間の距離（Ｄ）を反映し、前記距離パラメータ（ｓ（Ｄ））は前記ボールサイズ基準を決定する、請求項１から４のいずれかに記載のシステム。
【請求項６】
前記追跡手段（１２２、１４２）は、焦点距離信号の形で前記距離パラメータ（ｓ（Ｄ））を受け取るよう構成される前記画像記録手段へのマシンインターフェース（１２）を含む、請求項５に記載のシステム。
【請求項７】
前記追跡手段（１２２、１４２）は、手動入力された距離パラメータ（ｓ（Ｄ））を受け取るよう構成されるユーザインターフェース（１３）を含む、請求項５および６のいずれかに記載のシステム。
【請求項８】
前記デジタル処理部（１２０）は、
遅延期間の間に前記主カメラ（１１１）によって登録された画像（ＩＭＧ）をバッファするよう構成されるバッファ手段を備え、
前記遅延期間の間に前記副カメラ（１１２）によって登録された画像のセットに基づいて、前記遅延期間の間に登録された前記画像の少なくともサブセットに対して、前記形跡（ПＢ）を生成するよう構成される、請求項４から７のいずれかに記載のシステム。
【請求項９】
前記画像記録手段（１１０）はセンサ要素のアレーを含むイメージセンサを含み、前記イメージセンサは前記センサ要素の選択されたサブセットにより記録された画像データを読み出すことができるよう構成される、請求項１から８のいずれかに記載のシステム。
【請求項１０】
少なくともある期間の間、ボール（１５０）が基本的に固定的な背景の前を移動するスポーツシーンを表すビデオ信号を生成する方法であって、
前記シーンの一連の元画像（ＩＭＧ）の登録と、
前記一連の画像の少なくともサブセットを通じて移動する前記ボール（１５０）の軌道の追跡であって、先に登録された画像に対して後で登録された画像内の更新されたことで識別された画像領域において、連続して登録された画像の間の差分を取ることを含む、追跡と、
当該元画像（ＶＳ（ＩＭＧ）、ＶП（ＩＭＧ））に基づく合成画像シーケンス（ＶＣ（ＩＭＧ））の生成であって、合成画像要素が当該一連の画像における前記画像と、移動する前記ボール（１５０）の軌道を表す形跡（ПＢ）が当該一連の画像における前記画像の画像内容に連続的にオーバーレイされ加えられた画像データの形で示されるように組合される生成とを含み、
前記方法は移動する前記ボール（１５０）についての初期画像位置（ｐ１）の自動的な識別を含み、この識別は、
当該一連の画像における各画像（ＩＭＧ）について、前記画像とそれに続く画像との間の差分画像の生成であって、前記差分画像において、閾値レベルより低い内容変更を表す全ての画像要素には第１の値が割り当てられ、前記閾値レベル以上の内容変更を表す全ての画像要素には第２の値が割り当てられる生成と、
ボール候補のセット（ｂＣ１１、ｂＣ１２、ｂＣ１３、ｂＣ２１、ｂＣ２２、ｂＣ２３、ｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４）の識別であって、それぞれのボール候補は全て前記第２の値を含む近傍の画像要素群によって表され、当該画像要素群はボールサイズ基準を満たす識別と、
ボール選択アルゴリズムに基づいて前記ボール候補のセット（ｂＣ１１、ｂＣ１２、ｂＣ１３、ｂＣ２１、ｂＣ２２、ｂＣ２３、ｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４）からの前記初期画像位置（ｐ１）の選択とによってなされることを特徴とする方法。
【請求項１１】
前記ボールサイズ基準は画像要素の特定の間隔に相当するボール画像領域の範囲を指定する、請求項１０に記載の方法。
【請求項１２】
前記ボール選択アルゴリズムが、
回転対称要件、および
前記近傍の画像要素群の最大径と前記画像要素群の前記画像要素の合成領域との間の関係に関する要件の、
少なくとも１つを満たさないボール候補を廃棄する、真円度推定ステップを含む、請求項１０および１１のいずれかに記載の方法。
【請求項１３】
前記主領域（ＡＰ）は前記元画像（ＩＭＧ）の下３分の２を表す、請求項１０から１２のいずれかに記載の方法。
【請求項１４】
前記主領域（ＡＰ）が前記元画像（ＩＭＧ）を通る中央垂直線（Ｃ）の周囲５０％の部分を表す、請求項１３に記載の方法。
【請求項１５】
前記ボール選択アルゴリズムは打撃推定手順のことであり、前記ボール候補のセット内の前記ボール候補（ｂＣ１１、ｂＣ１２、ｂＣ１３、ｂＣ２１、ｂＣ２２、ｂＣ２３、ｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４）が連続して登録された３つの画像で分析される、請求項１０から１４のいずれかに記載の方法であって、
前記打撃推定手順は、
第１の登録画像内の各ボール候補（ｂＣ１１、ｂＣ１２、ｂＣ１３）と第３の登録画像内の各ボールボール候補（ｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４）の間にまっすぐに伸びる軌道線候補をそれぞれ定義し、
前記第１および第３の登録画像の間で登録された第２の画像において、前記軌道線候補からの閾値範囲にボール候補（ｂＣ２１、ｂＣ２２、ｂＣ２３）が見つからないボール候補を廃棄し、
その他の軌道線候補全てについて仮ボール軌道（ＢＰＴ１、ＢＰＴ２）を定義する、方法。
【請求項１６】
前記打撃推定手順は、さらに、垂直線（Ｌｖ）に対して、閾値角度（αｔｈ）を超える角度をなす仮ボール軌道（ＢＰＴ２）を有するボール候補（ｂＣ１２、ｂＣ２３、ｂＣ３４）を全て廃棄する、請求項１５に記載の方法。
【請求項１７】
前記ボール選択アルゴリズムに適合するボール候補（ｂＣ１１、ｂＣ２１、ｂＣ３２）に対して前記合成画像シーケンス（ＶＣ（ＩＭＧ））における移動する前記ボール（１５０）の前記軌道を表す前記形跡（ПＢ）のみを生成する、請求項１０から１６のいずれかに記載の方法。
【請求項１８】
第１の所定数の画像を通して少なくとも１個のボールが追跡された後は移動する前記ボール（１５０）についての初期画像位置（ｐ１）識別を制限する、請求項１０から１７のいずれかに記載の方法。
【請求項１９】
前記連続して登録された３つの画像の後、前記追跡は特定の元画像におけるボール位置（（ｘＰ４，ｙＰ４））を予測する運動ベクトルの推定を含み、前記運動ベクトルは、
前記特定の元画像に先立つ第１の元画像内の前記ボール（１５０）についての第１の画像位置（（ｘ１，ｙ１））と、
前記第１の元画像に続くが前記特定の元画像に先立つ第２の元画像内の前記ボール（１５０）についての第２の画像位置（（ｘ２，ｙ２））と、
前記第２の元画像に続くが前記特定の元画像に先立つ第３の元画像内の前記ボール（１５０）についての第３の画像位置（（ｘ３，ｙ３））とに基づく、請求項１５から１８のいずれかに記載の方法。
【請求項２０】
３を越える最初の第２の数の登録画像の後、前記特定の画像の直前に登録された２つの画像における前記ボール（１５０）についての位置（（ｘｎ−１，ｙｎ―１）、（ｘｎ−２，ｙｎ−２））の間の直線関係に基づいて、前記特定の元画像内の前記ボール位置（（ｘＰｎ，ｙＰｎ））を予測する、請求項１９に記載の方法。
【請求項２１】
前記追跡を前記予測されたボール位置（（ｘＰｎ＋１，ｙＰｎ＋１））からの閾値距離（ｄｔｈ）内にボール候補が見つからなくなるまで続ける、請求項１５から２０のいずれかに記載の方法。
【請求項２２】
コンピュータの内部メモリに直接ロード可能なコンピュータプログラムであって、当該プログラムが前記コンピュータ上で動作するとき、記請求項１０から２１のいずれかに記載のステップを制御するソフトウェアを含むコンピュータプログラム。
【請求項２３】
プログラムが記録されたコンピュータ読み取り可能な媒体であって、前記プログラムは請求項１０から２１のいずれかに記載のステップをコンピュータに制御させるコンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概ね、スポーツシーンにおける動画のレジストレーションに関連した自動画像処理に関する。より詳細には、本発明は、請求項１のプリアンブルにかかるシステムと、請求項１０のプリアンブルにかかるビデオ信号生成方法とに関する。本発明は、請求項２２にかかるコンピュータプログラムおよび請求項２３にかかるコンピュータ読み取り可能な媒体にも関する。
【背景技術】
【０００２】
スポーツイベントの記録や放送は、ますます重要なマーケット領域となってきており、視聴者がそのようなイベントを見て満足できるようにするための競争が激化している。しかしながら、ある種のスポーツでは、例えばテレビ放送においては、その試合の重要な局面を全て適切に反映することが難しい。ゴルフや野球は、いずれも比較的小さなボールが短時間で比較的長距離を飛ぶスポーツの例である。用いられる伝送媒体およびカメラの技術的な限界により、視聴者がボールの経路を追うことが難しく、スポーツマンのパフォーマンスを十分に味わうことができないことがある。
【０００３】
例えば、ゴルフにおいては、３０〜７０メートル飛んだあとにはもう、飛んでいくボールは従来のテレビ画面の１ピクセル以下の大きさにまで小さくなってしまう。言うまでもなく、これにより、とりわけ白いボールが明るい空を背景に飛んでいく場合には、ボールを見分けることが非常に難しくなる。ほとんどの場合、空は画像のその他の部分、すなわち、ゴルファー／バッターおよび背景よりも明るい。したがって、ゴルファー／バッターの露光を正確にすると空が露光過多となるが、これは、空がほとんど飽和された白で表現され、これを背景にすると白い（そしておそらくは同様に露光過多となった）ボールは簡単に「消失」することを意味する。したがって、少なくとも試合のシーン／状況のビデオ記録／伝送においては、ボールの視覚的印象を補うことが大変望ましい。
【０００４】
特許文献１では、ゴルフボールを表すデータを生成するビデオカメラと、カメラのビデオフレーム内のゴルフボール画像位置を判断するビデオフレーム処理部とを備えるゴルフボール追跡装置が開示される。これにより、自動的にボールの動きを追いかける、すなわち空中におけるボールの実際の飛行を追跡するよう、カメラを制御することができる。
【０００５】
特許文献２には、ボールやパックなどをカメラで追跡することによる解決策が開示される。ここでは、ボールの経験的色データと推定運動ベクトルとを用いてボール軌跡を特定する。これにより、１つ以上のカメラを介してボールの動きに追従する基礎となる。
【０００６】
特許文献３には、移動するボールを追跡することによりスポーツイベントの表示を改良するシステムが記載されている。ここでは、ボール軌道を示すオーバーレイビデオ画像が生成され、オーバーレイ画像は、視聴者が容易にボール軌道についていくことができるように、スポーツシーンを表す背景ビデオ画像に連続的に重ねられる。
【０００７】
特許文献４には、スポーツの試合において対象（すなわち、ボールやパック）のテレビ表示を向上させるシステムが開示されており、ここでは対象物内の１つ以上のセンサを用いる。センサ支援により、テレビカメラに関連付けられたプロセッサが対象物の位置を判別し、その結果、テレビ信号の編集または拡張が可能となり対象物の提示を向上させる。
【０００８】
上記の解決策によりある種のスポーツイベントの放送または記録の視聴者経験を向上させることができるが、画像処理をより効率的で信頼性があり強固なものとするためには重要な問題が今後の課題となる。すなわち、最初にボールを手動で識別することが必要であるか、またはボール内のセンサ／トランスデューサがこれの追跡をすることができる必要がある。しかしながら、このために与えられた時間内での十分な精度での手動識別は困難であることもある。さらに、コストの問題から、一般には手動介入の量をできるだけ減らすことが望ましい。一方、センサまたはトランスデューサをボール内に含めると、少なくとも心理的なレベルで、ゲーム自体に影響する危険性がある。したがって、これは許されないか、いずれにしても好ましくない。
【特許文献１】米国特許第５，４８９，０９９号
【特許文献２】米国特許第６，２３３，００７号
【特許文献３】米国特許第５，９５３，０５６号
【特許文献４】米国特許第５，９１２，７００号
【発明の開示】
【０００９】
したがって、本発明の目的は、上述の問題を低減し追跡対象のボールの完全に自動的な取得を行える画像処理の解決策を提供することである。
【００１０】
本発明の一局面によれば、この目的は最初に述べたシステムによって実現するこができ、追跡手段は移動するボールの初期画像位置を自動的に識別するよう構成される。具体的には、この追跡手段は当該一連の画像における各画像について、前記画像とそれに続く画像との間の差分画像を生成する。前記差分画像において、閾値レベルより低い内容変更を表す全ての画像要素には第１の値が割り当てられ、前記閾値レベル以上の内容変更を表す全ての画像要素には第２の値が割り当てられる。この追跡手段は、ボール候補のセットの識別も行い、それぞれのボール候補は全て前記第２の値を含む近傍の画像要素群によって表され、当該画像要素群はボールサイズ基準を満たす。さらに、この追跡手段は、ボール選択アルゴリズムに基づいて、前記ボール候補のセットから前記初期画像位置を選択する。
【００１１】
このシステムの重要な利点は、ボールの修正（すなわち、センサの包含など）を必要とすることなく、信頼性があり強固な移動するボールの識別が可能となることにある。この識別に基づいて、その後ボール軌道が高精度で追跡される。
【００１２】
本発明のこの局面の１つの好適な実施形態によれば、このシステムは、前記画像記録手段が接続されたデジタル処理部を備える。デジタル処理部が前記追跡手段を備える。そして、デジタル処理部は、ＰＣなどの汎用コンピュータに含まれていてもよい。これにより、柔軟かつコスト効率のよい解決法が実現できる。さらにコスト効果を高めるために、前記デジタル処理部は、グラフィックジェネレータを含んでもよい。
【００１３】
本発明のこの局面の別の好適な実施形態によれば、前記画像記録手段は主カメラと副カメラとを備える。これらのカメラは同一場所に配置されて互いに機械的に固定される。さらに、このデジタル処理部が当該カメラに対して視差調整を実現するよう、すなわち、視野、光学系、および解像度におけるあらゆる差を補正して前記副カメラによって記録された各画像位置を前記主カメラの画像位置にマップする（またはその逆）よう構成されている。したがって、前記副カメラからのこの画像データを前記主カメラにより登録（レジスター）された画像と正しく合成することができる。
【００１４】
本発明のこの局面の好適な実施形態によれば、この追跡手段は前記ボール選択アルゴリズムの基礎を形成するために距離パラメータを受け取るよう構成されている。具体的には、この距離パラメータは前記画像記録手段と推定初期ボール位置の間の距離を反映する。この距離パラメータは、例えば比較的短い距離では比較的大きいボール、またその逆を予想するよう、前記ボールサイズ基準を決定する。
【００１５】
本発明のこの局面のさらに別の好適な実施形態によれば、前記追跡手段は、前記画像記録手段へのマシンインターフェースを含む。このインターフェースは、焦点距離信号の形で前記距離パラメータを受け取るよう構成される。したがって、前記ボールサイズ基準は自動的に調整される。代替的に、またはこれを補完するものとして、この追跡手段は手動入力された距離パラメータを受け取るよう構成されるユーザインターフェースを含んでもよい。これは画像記録手段にオートフォーカス機能がない場合、または光条件がこの機能を信頼性が低いものとするような場合に有用である。
【００１６】
本発明のこの局面のさらに別の好適な実施形態によれば、前記デジタル処理部は、遅延期間の間に前記主カメラによって登録された画像をバッファするよう構成されるバッファ手段を備える。このデジタル処理部は、また、前記遅延期間の間に前記副カメラによって登録された画像のセットに基づいて合成されたボール形跡を生成するように構成されている。これにより、このバッファ手段は識別されたボール候補が実際にボールであるのかを確認し、そうであれば形跡を生成するための必要な遅延を与える。
【００１７】
本発明のこの局面の別の好適な実施形態によれば、前記画像記録手段はセンサ要素のアレーを含む例えばＣＭＯＳ（相補型金属酸化膜半導体）タイプのイメージセンサを含む。このイメージセンサは前記センサ要素の選択されたサブセットにより記録された画像データを読み出すことができるよう構成される。したがって、データ読み出しが関連性のある、すなわち現在ボールの提示が含まれていると推定されている画像領域に制限される。
【００１８】
本発明のさらに別の局面によれば、この目的は最初に述べた方法によって実現するこができ、移動する前記ボールについての初期画像位置が追尾により自動的に識別される。当該一連の画像における各画像について、前記画像とそれに続く画像との間の差分画像が生成される。前記差分画像において、閾値レベルより低い内容変更を表す全ての画像要素には第１の値が割り当てられ、前記閾値レベル以上の内容変更を表す全ての画像要素には第２の値が割り当てられる。そして、ボール候補のセットが識別されて、それぞれのボール候補は全て前記第２の値を含む近傍の画像要素群によって表され、当該画像要素群は好ましくはボール画像領域の範囲を指定するボールサイズ基準を満たす。移動するボールの初期画像位置は、ボール選択アルゴリズムに基づいて前記ボール候補のセットから選択される。これにより、強固かつ信頼性のあるボール検出が実現される。
【００１９】
本発明のこの局面の好適な実施形態によれば、前記ボール選択アルゴリズムは、回転対称要件、および／または前記近傍の画像要素群の最大径と前記画像要素群の前記画像要素の合成領域との間の関係に関する要件を満たさないボール候補を廃棄する真円度推定ステップを含む。したがって、多数の非ボール人工物を除外することができる。
【００２０】
本発明のこの局面の別の好適な実施形態によれば、前記ボール選択アルゴリズムは前記元画像の主領域の外に位置するボール候補を廃棄する位置推定ステップを含む。前記主領域は元画像の下３分の２、すなわちゴルフシーンではボールがかなり高確率で位置する画像部分を表す。したがって、リソースがもっとも有用であると予想される場所に画像処理を集中させることができる。
【００２１】
本発明のこの局面の別の好適な実施形態によれば、前記主領域が、追加的または代替的に、前記元画像を通る中央垂直線の周囲５０％の部分を表す。これにより、画像処理効率がさらに向上する。
【００２２】
本発明のこの局面の別の好適な実施形態によれば、前記ボール選択アルゴリズムは打撃推定手順のことであり、前記ボール候補のセット内の前記ボール候補が連続して登録された３つの画像で分析される。この打撃推定手続きは、以下を含む。第１の登録画像内の各ボール候補と第３の登録画像内の各ボールボール候補の間にまっすぐに伸びる軌道線候補をそれぞれ定義する。前記第１および第３の登録画像の間で登録された第２の画像において、前記軌道線候補からの閾値範囲にボール候補が見つからない各ボール候補は廃棄される。しかしながら、その他の軌道線候補全てについては、仮ボール軌道が定義される。通常、非常に限られた軌道線候補のみがこの基準を満たすため、これにより画像処理は効率的に関連性のある画像要素に集中することができる。
【００２３】
本発明のこの局面のさらに別の好適な実施形態によれば、打撃推定手順は、さらに仮ボール軌道が垂直線に対して閾値角度を超える角度をなすボール候補の廃棄を含む。すなわち、登録されるスポーツイベントとは関係なく、実際のボール軌道はカメラ方向に対して特定の角度でしか生じない。その結果、他の全てのボール軌道を廃棄することができる。
【００２４】
本発明のこの局面の別の好適な実施形態によれば、この移動するボールの初期画像位置の識別は、第１の所定数の画像を通して少なくとも１個のボールが追跡された後は制限される。したがって、例えば合成されたボール形跡が第１のボールに対して生成される間、前記アルゴリズムは第２のボールの探索を行わない。
【００２５】
本発明のこの局面のさらなる好適な実施形態によれば、前記連続して登録された３つの画像の後、前記追跡は特定の元画像におけるボール位置を予測する運動ベクトルの推定を含む。前記運動ベクトルは、前記特定の元画像に先立つ第１の元画像内の前記ボールについての第１の画像位置と、前記第１の元画像に続くが前記特定の元画像に先立つ第２の元画像内の前記ボールについての第２の画像位置と、前記第２の元画像に続くが前記特定の元画像に先立つ第３の元画像内の前記ボールについての第３の画像位置とに基づく。したがって、比較的初期の追跡段階において確実にこのボール軌道の後を追うことができる。
【００２６】
本発明のこの局面のさらに別の好適な実施形態によれば、最初の第２の数（＞３）の登録画像の後、前記特定の画像の直前に登録された２つの画像における前記ボールについての位置の間の直線関係に基づいて、前記特定の元画像内の前記ボール位置を予測する。したがって、定常状態追跡においては、最小の画像処理でボールを追いかけることができる。
【００２７】
本発明のこの局面のさらに別の好適な実施形態によれば、この追跡は前記予測されたボール位置からの閾値距離内にボール候補が見つからなくなるまで続く。これにより、アルゴリズムがボール軌道を追跡できなくなると追跡は自動的に中止される。かわりに、このアルゴリズムは、その後、移動するボールの新たな初期画像位置の探索を続ける。
【００２８】
本発明のさらなる局面によれば、この目的はコンピュータの内部メモリに直接ロード可能なコンピュータプログラムによって実現でき、当該コンピュータプログラムは、コンピュータ上で動作するとき上記提案される方法を制御するソフトウェアを含む。
【００２９】
本発明の別の局面によれば、この目的はプログラムが記録されたコンピュータ読み取り可能な媒体によって実現でき、前記プログラムはコンピュータに上記提案される方法を行うよう制御する。
【００３０】
本発明の更なる利点、好適な特徴、および利用は、以下の説明および従属請求項からあきらかとなる。
【発明を実施するための最良の形態】
【００３１】
以下、例として開示される好適な実施形態により添付の図面を参照して本発明をより詳細に説明する。
【００３２】
まず図１を参照しながら、本発明の第１の実施形態にかかるシステムの概略図を示す。図１には、提案されるシステムによって一連のイメージが記録されるスポーツ選手１６０も示されている。具体的には、このシステムは、ボール１５０が、少なくとも短期間の間に、基本的に固定的な背景の前を移動させられるスポーツシーンを提示するビデオ信号を生成する。したがって、シーンにはゴルファー、バッター、またはボールを打つ類似のプレーヤーが含まれてもよい。
【００３３】
このシステムは、画像記録手段１１０と、追跡手段と、グラフィックジェネレータとを含む。好ましくは、例えばＰＣによって代表されるようなデジタル処理部１２０は、追跡手段およびグラフィックジェネレータの一方または両方を実現する。図２は、本発明の第１の実施形態にかかるデジタル処理部１２０のブロック図を示す。画像記録手段１１０は、シーンの画像を登録するよう構成される。ゴルフの実施例においては、画像記録手段１１０が、同一の画像においてゴルファー、ボール、ホール、および意図されたボール軌道が全て目に見えるように配されて方向付けられると都合がよい。したがって、打撃が高くなると予想される場合には、画像記録手段１１０は画像の比較的大きな部分を空が占めるよう方向付けられなければならない。
【００３４】
デジタル処理部１２０が画像記録手段１１０から物理的に分離、例えばユニット１２０が同一または類似の位置から２つ以上のショットがあわせて格納され処理される合成機関に配されるようになっていることが好ましい場合もある。したがって、例えばショットの比較が可能となる。
【００３５】
画像記録手段１１０は少なくとも１個のデータ取得用のカメラを含み、好ましくは、主カメラ１１１と副カメラ１１２とを含む。この場合には、主カメラ１１１がシーンの第１の一連の元画像ＶＳ（ＩＭＧ）を届け、副カメラ１１２がこのシーンの第２の一連の元画像ＶＤＶ（ＩＭＧ）を届ける。主カメラ１１１は、生放送用の信号を生成または記録するよう構成されたテレビカメラであってもよい。副カメラ１１２は、好ましくは、例えばＣＭＯＳイメージセンサを有する比較的高解像度のデジタルビデオカメラである。さらに、カメラ１１１および１１２は同一場所に配置されており、基本的に視野が同一になるように、互いに機械的に固定されている。
【００３６】
しかしながら、カメラ１１１および１１２のレンズの光学系の違い、解像度の違い、およびカメラ１１１および１１２のイメージセンサがわずかに異なる位置に配置されていることにより、通常、第１の一連の元画像ＶＳ（ＩＭＧ）、および第２の一連の元画像ＶＤＶ（ＩＭＧ）を互いに一致させるために視差調整が必要となる。本発明の好適な実施形態によれば、デジタル処理部１２０は、このような視差調整を実現するよう構成されている。さらに、カメラ１１１および１１２は、時刻同期が必要となるようにフレームレートおよび遅延が異なっていてもよい。
【００３７】
視差調整を実現する１つの方法としては、カメラ１１１および１１２の両方が離れた基本的には静止した対象物に向けることがある。そして、カメラの画像がどのくらい重なっているかの推定を行う。この重なりは、関数Ｆｏｖｅｒｌａｐで表すことができ、この関数は、第１の一連の画像の第１の画像内の各位置（ｘ，ｙ）から第２の一連の画像の対応する第２の画像内の各位置（ｘ’，ｙ’）への転移を反映する。この推定が画像間の重なりをどれくらい正しく表しているかを判断するには、第１の画像の（位置（ｘ，ｙ）における）第１の画像の各ピクセル／画像要素値と第２の画像の対応する（すなわち、位置（ｘ’，ｙ’）における）ピクセル／画像要素値との間で絶対差を計算する。そして、これら差の全ての合計を、関数Ｆｏｖｅｒｌａｐの全体的なフィットまたは品質尺度としてとして計算する。その後、別の重なり推定を行い、新たな差の合計を計算し、以下同様に続く。合計がもっとも小さい差と関連付けられた重なり関数Ｆｏｖｅｒｌａｐが、カメラ１１１および１１２間の視差関係を十分に表しているとみなされる。
【００３８】
視差調整の結果として、第２の一連の元画像ＶＤＶ（ＩＭＧ）に基づいて生成された合成画像要素を、移動するボール１５０の軌道を表す形跡が合成画像シーケンスＶＣ（ＩＭＧ）に連続的に加えられた画像データの形で示されるように、第１の一連の元画像ＶＳ（ＩＭＧ）と結合することができる。
【００３９】
ボール軌道の追跡を容易にするためには、画像記録手段１１０の露光を適切に調整することが重要である。例えば、関連性のあるダイヤフラムを手動で調整しなければならないようにしてもよい。また、最適の結果を得るために露光時間および／またはゲインの修正が必要であるようにしてもよい。概ね、これらのパラメータが露光過多でない最も明るい画像を実現するように選択されると都合がよい。すなわち、露光過多画像部分は、背景からボールを見分けることを難しくする。露光時間は運動によるぶれ効果を過剰とすることなくできるだけ長くする。すなわち、通常は露光時間が２ｍｓより短いことが好ましい。  
【００４０】
追跡手段１２２は、元画像の少なくともサブセットを通して移動するボール１５０の軌道を追跡するよう構成される。追跡手段１２２による追跡は、連続して登録された画像間の差分を取ることが含まれる。この差分によって先に登録された画像に対して後で登録された画像内の更新された画像領域を識別する。具体的には、第２の一連の元画像ＶＤＶ（ＩＭＧ）の各画像について、画像とその次の画像との間の差分画像が生成され、差分画像では閾値レベルより低い内容変更を表す全ての画像要素に、例えば黒と等価の第１の値が割り当てられる。残りの（すなわち、閾値レベル以上の内容変更を表す）画像要素には、例えば白と等価の第２の値が割り当てられる。閾値レベルは、これらの画像要素内に移動するボールが期待されるように設定される。さらに、とりわけ定常状態追跡では、画像内のボールの位置とサイズが比較的周知である場合、閾値レベルが適応できることが好ましい。すなわち、これにより、閾値レベルを自動的に適切な値にすることができる。例えば、特定の領域内の特定の割合または数の画像要素には第２の値が割り当てられる。
【００４１】
本発明によれば、追跡手段１２２は、いずれも第２の値を含む近傍の画像要素群によって表現されるボール候補のセットを識別することにより移動するボール１５０の初期画像位置を自動的に識別するよう構成される。したがって、ボール候補のセットは、多数の白いピクセル群または「ブロブ」を含んでもよい。このピクセル群は、後述するボールサイズ基準も満たさなくてはならない。その後、ボール選択アルゴリズムに基づいてボール候補のセットから初期画像位置が選択される。この選択に関する詳細は、図５から図８を参照して次に説明する。にもかかわらず、第２の一連の元画像ＶＤＶ（ＩＭＧ）に基づいて、追跡手段１２２は第２の一連の元画像ＶＤＶ（ＩＭＧ）内の画像の少なくともサブセットを通して検出された全てのボールの動きを表すボール軌道信号ＶП（ＩＭＧ）を生成する。
【００４２】
グラフィックジェネレータ１２４は、ボール軌道信号ＶП（ＩＭＧ）および第１の一連の元画像ＶＳ（ＩＭＧ）を受信するよう構成され、その受信に応じて合成画像シーケンスＶＣ（ＩＭＧ）を生成する。合成画像シーケンスＶＣ（ＩＭＧ）は、移動するボール１５０の軌道を表す形跡が、第１の一連の元画像ＶＳ（ＩＭＧ）の画像内容に連続的にオーバーレイされ加えられた画像データの形で示されるように、第１の一連の元画像ＶＳ（ＩＭＧ）内の画像と組合された合成画像要素を含む。図５に、そのような形跡ПＢの例を含む画像ＩＭＧを示す。
【００４３】
本発明の一つの好適な実施形態によれば、追跡手段１２２は、距離パラメータｓ（Ｄ）を受信するよう構成される。パラメータは、画像記録手段１１０と推定された物理的なボール位置ｐ’１との間の距離Ｄを反映することにより（すなわち、移動するボールがもっとも存在していそうだとみなされる画像の提示）、ボール選択アルゴリズムの基礎を形成する。
【００４４】
距離パラメータｓ（Ｄ）は、比較的長い距離Ｄが比較的小さいボールに相当するボールサイズ基準を与え、またその逆となるように、ボールサイズ基準を決定する。本発明の一つの好適な実施形態によれば、ボールサイズ基準は、許容範囲のボールサイズ間隔（ボール画像領域間隔に相当する）を指定する。距離パラメータｓ（Ｄ）の受信のためには、追跡手段１２２は、少なくとも１個のインターフェース１２または１３を含む。マシンインターフェース１２は、画像記録手段に向けて含まれても良い。このインターフェース１２を介して、距離パラメータｓ（Ｄ）を画像記録手段１１０におけるオートフォーカス機能からの焦点距離信号の形で自動的に受信することが可能となる。代替的に、またはこれを補完するものとして、追跡手段１２２は、手動で入力された距離パラメータｓ（Ｄ）、すなわちシステムの操作者によって設定された形状を受信するよう構成されたユーザインターフェース１３を含んでも良い。
【００４５】
図３および図４に、本発明の第２の実施形態にかかるデジタル処理部のブロック図を表すシステムの概略図を示す。ここで、図１および図２で用いられた参照符号と同一の参照符号はいずれも図１および図２を参照して上述したものと同一の要素、信号、パラメータを表す。したがって、まとめると、本発明の第２の実施形態にかかるシステムの画像登録手段１１０は、例えばテレビカメラなどに代表される１つのカメラのみを含む。そのため、１組の一連の元画像ＶＳ（ＩＭＧ）のみが生成され、したがって、提案される追跡手段４２２は、移動するボール１５０の軌道を追跡し、合成画像シーケンスＶＣ（ＩＭＧ）の画像内容を表す同一の画像に基づいてボール軌道信号ＶП（ＩＭＧ）を生成するよう構成される。それ以外は、追跡手段４２２の動作原則は図２の追跡手段１２２と同一である。
【００４６】
次に、図５に本発明の一実施形態にかかる合成画像シーケンスへの、移動するボールの軌道を示す形跡ПＢの提示方法を図示する。ゴルファーと背景に加えて、図５の画像ＩＭＧは、形跡ПＢ、すなわちボールの履歴位置を示す増補されたボール軌道画像からなる合成画像要素を含むが、これは、基本的にボールが打たれた（または他の方法によりすばやく動き始めた）からである。形跡ПＢは、合成画像データが連続的に追加されて一連の元画像（例えば主カメラ１１１により登録された）の画像の画像内容にオーバーレイされるように、ボールが移動するにしたがって徐々に生成される。好ましくは、形跡ПＢの色は、形跡ПＢと背景のコントラストが高くなるように、背景に対してアダプティブに割り当てられる。したがって、形跡ПＢは白、赤、黒、またはその他任意の適切な色であってよい。
【００４７】
本発明の好適な実施形態によれば、グラフィックジェネレータ１２４は、所定数、例えば１０の画像を通してボール位置の追跡が成功した後に形跡ПＢを生成するよう命令される。当然ながら、完全な（すなわち、初期位置ｐ１からの）形跡ПＢの視聴者への提示を可能とするためには、受信する一連の元画像ＶＳ（ＩＭＧ）およびＶＤＶ（ＩＭＧ）と送信される合成画像シーケンスＶＣ（ＩＭＧ）との間に一定の遅延時間が必要となる。この遅延は、同様に、画像記録手段１１０の関連性のあるフレームレートおよび追跡手段１２２または４２２の処理能力など、多数のパラメータに依存している。それにもかかわらず、第１の画像シーケンスＶS（ＩＭＧ）の第２の画像シーケンスＶＤＶ（ＩＭＧ）に対する約０．５ｓ〜１．０ｓの遅延は、所定数の画像を通じての追跡を可能とするには概ね十分である。当然ながら、これにより、合成画像シーケンスＶＣ（ＩＭＧ）も、実際のスポーツシーンイベントに対して少なくとも同程度遅延する。しかしながら、ほとんどの生放送では、これは全く許容範囲の遅延時間である。
【００４８】
遅延が画像記録手段１１０の技術的な特徴（例えば副カメラ１１２がその画像を主カメラ１１１よりも先に送る）の効果であるか、または人工的な遅延を導入する必要がある。これは、特に、カメラが１つだけ（すなわち、主カメラ１１１のみ）が用いられる場合には正しい。したがって、本発明の一つの好適な実施形態によれば、デジタル処理部１２０は、遅延期間の間に主カメラ１１１によって登録された画像（所定数の画像に相当）をバッファするよう構成されたバッファ手段を含む。デジタル処理部１２０は、さらに、遅延期間の間副カメラ１１２よって登録される画像のセット（画像記録手段１１０が２つのカメラを含む場合に）に基づいて、または（画像記録手段１１０が主カメラのみ含む場合には）遅延期間の間主カメラ１１１によって登録される画像のセットに基づいて、遅延期間の間登録された画像の少なくともサブセットに対する形跡ПＢを生成するよう構成されている。
【００４９】
第１および第２の画像シーケンスＶｓ（ＩＭＧ）およびＶＤＶ（ＩＭＧ）を確実に同期するためには、各シーケンスにおける画像それぞれにタイムスタンプがつくことが好ましい。さらに、ボール軌道を合成画像シーケンスＶＣ（ＩＭＧ）に適切に反映させるためには、上記の重なり関数Ｆｏｖｅｒｌａｐを用いて副カメラ１１２により登録された任意のボール位置を主カメラ１１１によって登録された画像の対応する位置に転移させると都合がよい。
【００５０】
移動するボールを自動的に検出する識別アルゴリズムによる処理負荷を低減するためには、移動するボールの初期画像位置ｐ１の識別は、第１の所定数、例えば１０の連続する画像を通じて少なくとも１個のボールが追跡された後には制限されることが好ましい。
【００５１】
打たれる前のボールは、原点ｐ０において静止している（または少なくともほとんど静止している）と推定する。その後、ボールが打たれるとこれが提案されるシステムによって検出され、ボールが位置ｐ１に到達すると、ボール選択アルゴリズムが関連性のある基準が満たされたと結論付けたと推定し、形跡ПＢが始まる。当然ながら、ボールは（ともかく）原点ｐ０と位置ｐ１との間も移動する。しかしながら、これは、原点ｐ０がシステムに知られていないし知られる必要もないため、形跡ПＢによっては示されない。したがって、ｐ１は移動するボールの初期画像位置として定義される。その後、移動するボールの更新されたボール位置が位置ｐ２、ｐ３、ｐ４、などで生成される。しかしながら、必要ならば、技術的には推定された原点ｐ０まで形跡ПＢを延ばすことは可能である。
【００５２】
図１から図３では画像記録手段１１０が三脚に据え付けられているが、本発明によれば、画像記録手段１１０は、同様に、画像安定手段を備える手荷物ユニットによって表されてもよいことに留意する必要がある。
【００５３】
以下、提案されるボール選択アルゴリズムの推定ステップの実施形態を図６を参照して説明する。同図には、完全な画像領域ＡＩＭＧが示され、ここにはサブ領域であり、移動するボールの初期画像位置が位置すると予想される主領域ＡＰが含まれる。したがって、好ましくは、ボール選択アルゴリズムは元画像の主領域ＡＰの外部に位置するボール候補が全て廃棄される位置推定ステップを含む。
【００５４】
ゴルフの場合では、主領域ＡPは元画像の領域ＡＩＭＧの下３分の２の部分ｈ２／３を表してもよい。主領域ＡＰは、また、選択的に、元画像の画像を通る中央垂直線Ｃの周囲５０％の部分ｂ１／２を表してもよい。
【００５５】
本発明の一つの好適な実施形態によれば、たとえば副カメラ１１２内の画像記録手段１１０は、センサ要素の選択されたサブセットによって記録された画像データの読み出しを可能とするよう構成されたセンサ要素のアレーを含むイメージセンサを含む。したがって、主領域ＡＰに相当するいわゆる関心領域（ＲｏＩ）を設定することができる。今日では、そのような画像データの読み出しを可能とする例えばＣＭＯＳタイプのイメージセンサが存在する。
【００５６】
すでに述べたように、移動するボールの初期画像位置はボール選択アルゴリズムとボールサイズ基準とに基づいてボール候補のセットから選択される。好ましくは、このアルゴリズム基準は、距離パラメータｓ（Ｄ）から得られる許容できるボール画像領域の範囲（すなわち、多数の画像要素の特定の間隔）を指定する。
【００５７】
したがって、好ましくは、ボール選択アルゴリズムは、回転対称要件を満たさない、および／または近傍の画像要素群の最大径とその画像要素群の中の画素要素の組み合わさった領域との関係に関する要件を満たさないボール候補は全て廃棄される丸み推定を含む。
【００５８】
したがって、ボールサイズ基準および上記の形状基準に基づいて、最初のボール候補のセットからかなりの量の非ボールが廃棄される。次に図７ａおよび図７ｂを参照し、本発明の実施形態にかかる提案されるボール選択アルゴリズムの更に詳細を説明する。
【００５９】
ボール選択アルゴリズムは、打撃推定手続きのことであり、ここではボール候補のセット内のボール候補が３つの連続する登録画像で分析される。図７ａに、第１の画像に登録された第１のボール候補のセットｂＣ１１、ｂＣ１２、ｂＣ１３、第２の画像に登録された第２のボール候補のセットｂＣ２１、ｂＣ２２、ｂＣ２３、第３の画像に登録された第３のボール候補のセットｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４を概略的に示す。
【００６０】
打撃推定手続きは、以下のステップを含む。まず、第１の登録画像内の各ボール候補ｂＣ１１、ｂＣ１２、ｂＣ１３と第３の登録画像内の各ボール候補ｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４の間にまっすぐに伸びる軌道線候補がそれぞれ定義される。そして、手続きは、各軌道線候補について、第２の登録画像のボール候補ｂＣ２１、ｂＣ２２、ｂＣ２３のいずれかが軌道線候補の閾値範囲にあるかどうかを調べる。ボール候補が見つからないボール候補は廃棄される。
【００６１】
しかしながら、残りの軌道線候補については仮ボール軌道ＢＰＴ１およびＢＰＴ２が定義される。図７ｂに、この例の適格な仮ボール軌道ＢＰＴ１およびＢＰＴ２を示す。更に誤登録を取り除くためには、打撃推定手続きは以下のステップを含んでもよい。図７ｂに、それぞれ仮ボール軌道ＢＰＴ１およびＢＰＴ２の第１の画像ボール候補ｂＣ１１、ｂＣ１２を説明のために横切る、２本の垂直線Ｌｖを示す。仮ボール軌道ＢＰＴ２は、垂直線Ｌｖに対して、可能と考えられる最も角度のついた打撃を表す閾値角度αｔｈを超える角度をなす。ゴルフの実施例では、閾値角度αｔｈは約４５度であってよい。
【００６２】
ここで、ｂＣ１２、ｂＣ２３、ｂＣ３４で表されるボール候補は、このステップで廃棄される。これにより、移動するボール候補はｂＣ１１、ｂＣ２１、ｂＣ３２により与えられる１つだけとなる。この候補が実際のボールのレジストレーションを示すと推定され、結果として移動するボールの軌道を表す形跡ПＢが生成される（図５参照）。本発明の一つの好適な実施形態によれば、このような合成画像シーケンスＶＣ（ＩＭＧ）における形跡ПＢは、ボール選択アルゴリズムに適合するボール候補に対してのみ生成される。
【００６３】
ボール候補のセットからさらに非ボールを取り除くために、ボール選択アルゴリズムに、第２のセットのボール候補ｂＣ２１、ｂＣ２３が、それぞれ、関連性のある第１のセットのボール候補ｂＣ１１、ｂＣ１２よりも関連性のある第３のセットのボール候補ｂＣ３２、ｂＣ３４の近くに位置するという要件を追加してもよい。これは、スポーツ選手に対する画像記録位置とボール軌道の方向により引き起こされるパースペクティブによって説明効果することができる。
【００６４】
さらに、ボール選択アルゴリズムは、以下のうち１つ以上を必要としてもよい。ボールの速度が特定の間隔にある（すなわち、第１および第３のセットのボール候補間の距離が特定の範囲にある）。ボール画像領域が減少する（例えば、第１のセットの領域は第３のセットの領域よりも大きく、第２のセットの領域は少なくとも第３のセットの領域の半分よりも大きい）。第３のセットのボール候補が第１のセットのボール候補の位置に対する特定の画像領域に位置する（例えば、第１のセットのボール候補が元画像の下３分の２にある場合、第３のセットのボール候補は元画像の上３分の２になくてはならない）。
【００６５】
それにもかかわらず、ボール選択アルゴリズムに適合するボール候補は、追跡手段１２２または４２２に追跡されるのに適格である。図８は、本発明の好適な実施形態にかかる追跡手段によって実行される追跡アルゴリズムの同一の局面を示す。図８に、一連の画像内のボールの実際の画像位置（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、（ｘｎ−２，ｙｎ−２）、（ｘｎ−１，ｙｎ−１）、（ｘｎ，ｙｎ）と、一連の画像内の推定ボール位置（ｘＰ４，ｙＰ４）、（ｘＰｎ−２，ｙＰｎ−２）、（ｘＰｎ−１，ｙＰｎ−１）、（ｘＰｎ，ｙＰｎ）、（ｘＰｎ＋１，ｙＰｎ＋１）を示す。
【００６６】
本発明の好適な実施形態によれば、ボールが３つの連続した登録画像内で追跡された後、追跡は、通常は次の画像である１つの未来画像内のボール位置を予測する運動ベクトルの推定を含む。
【００６７】
したがって、たとえば第４の画像など、特定の元画像において、ボール位置（ｘＰ４，ｙＰ４）を予測する運動ベクトルは、この特定の元画像に先立つ第１の元画像のボールについての第１の画像位置（ｘ１，ｙ１）、第１の元画像に続くがこの特定の元画像に先立つ第２の元画像のボールについての第２の画像位置（ｘ２，ｙ２）、第２の元画像に続くがこの特定の元画像に先立つ第３の元画像のボールについての第３の画像位置（ｘ３，ｙ３）に基づく。
【００６８】
具体的には、第１の運動ベクトルＶ１をＶ１＝（ｘ２，ｙ２）−（ｘ１，ｙ１）と計算し、これに対応して第２の運動ベクトルＶ２はＶ２＝（ｘ３，ｙ３）−（ｘ２，ｙ２）と計算して、第１および第２の元画像と第２および第３の元画像それぞれの間の運動を反映してもよい。すると、第４の画像の予測ボール位置（ｘＰ４，ｙＰ４）は、以下のように計算される
【００６９】
2008545194.tif 000003
【００７０】
次に、定常状態追跡において、最初の第２の数の登録画像（例えば１０）のあと、特定の元画像内のボール位置が特定の画像の直前に登録された２つの画像内のボールについての位置の間の直線関係に基づいて予測されることが好ましい。図８に示す例では、このような予測ボール位置（ｘＰｎ，ｙＰｎ）は、ボール位置が予測される画像の直前に登録された２つの画像内のボールについての位置（ｘｎ−１，ｙｎ−１）および位置（ｘｎ−２，ｙｎ−２）の間の直線関係に基づいている。ｎ＋１番目の画像におけるボール位置（ｘＰｎ＋１，ｙＰｎ＋１）が以下の式に基づいて予測されるならば、より信頼できる測定が得られる。
【００７１】
2008545194.tif 000004
【００７２】
したがって、ボール位置（ｘＰｎ＋１，ｙＰｎ＋１）は、ここでは比例速度変更ではなく先立つ画像間の絶対速度変更に基づく。
【００７３】
すでに述べたように、ボール候補に対して追跡が行われて形跡ПＢが生成される前に、一定の基準が満たされなければならない。しかしながら、ボール追跡には停止基準も必要である。したがって、本発明の一実施形態によれば、追跡は１〜３画像の間に予測ボール位置（ｘＰｎ＋１，ｙＰｎ＋１）から閾値距離ｄｔｈにボール候補が見つからなくなるまで続く。図８に、予測ボール位置（ｘＰｎ＋１，ｙＰｎ＋１）を中心とする半径ｄｔｈ点線の円でこれを示す。
【００７４】
まとめとして、本発明によるスポーツシーンを表すビデオ信号を生成するコンピュータ装置を制御する一般的な方法を、図９のフロー図を参照して説明する。
【００７５】
最初のステップ９１０では多数の連続する元シーンの画像を受け取る。その後、ステップ９２０で、一連の受け取られた画像の各画像について、その画像とその次の画像との間の差分画像を生成する。差分画像において、閾値レベルより低い内容変更を表す画像要素には全て第１の値が割り当てられ、閾値レベル以上の内容変更を表す画像要素には全て第２の値が割り当てられる。
【００７６】
続いて、ステップ９３０ではボール候補のセットを識別する。ここで各ボール候補は全て第２の値を含む近傍の画像要素群により表される。画像要素群はボールサイズ基準も満たさなければならない。続くステップ９４０では、ボール候補のセットとボール選択アルゴリズムに基づいて移動するボールの初期画像位置が選択される。移動するボールの初期画像位置が存在するならば、追跡手続きが開始される。次にステップ９５０で、移動するボールの初期画像位置からの軌道を表す形跡が連続的に追加される画像データとして示されるように、合成画像要素が元画像と合成される合成画像シーケンスが生成される。
【００７７】
上記の図９を参照して説明された全ての処理ステップおよびステップのサブシーケンスのいずれも、プログラムされたコンピュータ装置により制御されてよい。さらに、図面を参照して説明した本発明の実施形態はコンピュータ装置とコンピュータ装置で実行される処理を含むが、本発明は、本発明を実施するよう構成されたコンピュータプログラム、とりわけキャリア上または中のコンピュータプログラムにも拡張できる。プログラムは、ソースコード、オブジェクトコード、特にコンパイルされたソースとオブジェクトコードの中間コード、または本発明かかる処理の実施において用いるのに適切な形態であってもよい。プログラムは、オペレーティングシステムの一部であってもよいし、独立したアプリケーションであってもよい。キャリアはプログラムを実行することができるどのような構成要素もしくは機器であってもよい。例えば、キャリアは、フラッシュメモリのような記憶媒体、ＣＤ（コンパクトディスク）もしくは半導体ＲＯＭなどのＲＯＭ（リードオンリーメモリ）、ＥＰＲＯＭ（消去プログラム可能読取り専用メモリ）、ＥＥＰＲＯＭ（電気的消去プログラム可能読取り専用メモリ）、または例えばフロッピー（登録商標）ディスクやハードディスクなどの磁気記録媒体からなってもよい。さらに、キャリアは、電気または光ケーブル、無線、またはその他の方法により伝達することができる電気または光信号などの伝達可能なキャリアであってもよい。プログラムがケーブルやその他の機器または手段により直接伝達されることが可能な信号として実現される場合には、キャリアはそのようなケーブルまたは機器または手段によって構成されてもよい。代替的に、キャリアは、プログラムが埋め込まれた、関連する処理を実行するもしくはその実行に用いられるよう構成された集積回路であってもよい。
【００７８】
本明細書において「含む／からなる」という用語は、ここで述べる特徴、整数、ステップ、または要素を指定するために用いられる。しかしながら、この用語は、１つ以上の追加特徴、整数、ステップ、要素、もしくはその組み合わせの存在または追加を除外するものではない。
【００７９】
本発明は、図において説明した実施形態に限定されるものではなく、特許請求の範囲において自由に変更できるものである。
【図面の簡単な説明】
【００８０】
【図１】本発明の第１の実施形態にかかるシステムとこのシステムによって画像が記録されるスポーツ選手の概略図を示す図である。
【図２】本発明の第１の実施形態にかかるデジタル処理部のブロック図を示す図である。
【図３】本発明の第２の実施形態にかかるシステムの概略図を示す図である。
【図４】本発明の第２の実施形態にかかるデジタル処理部のブロック図を示す図である。
【図５】発明の一実施形態にかかる合成画像シーケンスにおいて移動するボールの軌道を示すトレースの表示の仕方を示す図である。
【図６】提案されるボール選択アルゴリズムの推定ステップを説明する画像領域を示す図である。
【図７】図７ａおよび図７ｂは、発明の実施形態にかかるボール選択アルゴリズムをさらに詳細に説明する図である。
【図８】提案される追跡アルゴリズムのある局面を示す図である。
【図９】本発明にかかるコンピュータ装置の一般的な制御方法を示すフロー図である。
【図１】
2008545194.tif 000005
【図２】
2008545194.tif 000006
【図３】
2008545194.tif 000007
【図４】
2008545194.tif 000008
【図５】
2008545194.tif 000009
【図６】
2008545194.tif 000010
【図７ａ】
2008545194.tif 000011
【図７ｂ】
2008545194.tif 000012
【図８】
2008545194.tif 000013
【図９】
2008545194.tif 000014
【手続補正書】
【提出日】平成19年1月5日(2007.1.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくともある期間の間、ボール（１５０）が基本的に固定的な背景の前を移動するスポーツシーンを表すビデオ信号を生成するシステムであって、
前記シーンの一連の元画像（ＶＳ（ＩＭＧ）、ＶＤＶ（ＩＭＧ））を登録するよう構成された画像記録手段（１１０）と、
前記一連の画像の少なくとも１つのサブセットを通じて移動する前記ボール（１５０）の軌道を追跡するよう構成された追跡手段（１２２、４２２）であって、前記追跡は、先に登録された画像に対して後で登録された画像内の更新されたことで識別された画像領域において、連続して登録された画像の間の差分を取ることを含む、追跡手段と、
当該元画像（ＶＳ（ＩＭＧ）、ＶП（ＩＭＧ））に基づいて合成画像シーケンス（ＶＣ（ＩＭＧ））を生成するよう構成されたグラフィックジェネレータ（１２４）であって、合成画像要素が前記一連の画像と、移動する前記ボール（１５０）の軌道を表す形跡（ПＢ）が前記一連の画像の画像内容に連続的にオーバーレイされ加えられた画像データの形で示されるように組合される、グラフィックジェネレータとを備え、
前記追跡手段（１２２、４２２）は移動する前記ボール（１５０）についての初期画像位置（ｐ１）を自動的に識別するよう構成され、この識別は、
当該一連の画像における各画像（ＩＭＧ）について、前記画像とそれに続く画像との間の差分画像の生成であって、前記差分画像において、閾値レベルより低い内容変更を表す全ての画像要素には第１の値が割り当てられ、前記閾値レベル以上の内容変更を表す全ての画像要素には第２の値が割り当てられる生成と、
ボール候補のセット（ｂＣ１１、ｂＣ１２、ｂＣ１３、ｂＣ２１、ｂＣ２２、ｂＣ２３、ｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４）の識別であって、それぞれのボール候補は全て前記第２の値を含む近傍の画像要素群によって表され、当該画像要素群はボールサイズ基準を満たす識別と、
ボール選択アルゴリズムに基づいて前記ボール候補のセット（ｂＣ１１、ｂＣ１２、ｂＣ１３、ｂＣ２１、ｂＣ２２、ｂＣ２３、ｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４）からの前記初期画像位置（ｐ１）の選択とによってなされることを特徴とするシステム。
【請求項２】
前記画像記録手段（１１０）が接続されたデジタル処理部（１２０）を備え、前記デジタル処理部（１２０）が前記追跡手段（１２２、１４２）を備える請求項１に記載のシステム。
【請求項３】
前記デジタル処理部（１２０）が前記グラフィックジェネレータ（１２４）を備える請求項２に記載のシステム。
【請求項４】
前記画像記録手段（１１０）が主カメラ（１１１）と副カメラ（１１２）とを備え、前記カメラ（１１１、１１２）は同一場所に配置されて互いに機械的に固定されており、前記デジタル処理部（１２０）が当該カメラ（１１１、１１２）に対して視差調整を実現するよう構成されている、請求項２および３のいずれかに記載のシステム。
【請求項５】
前記追跡手段（１２２、１４２）は前記ボール選択アルゴリズムの基礎を形成するために距離パラメータ（ｓ（Ｄ））を受け取るよう構成されており、前記距離パラメータ（ｓ（Ｄ））は前記画像記録手段（１１０）と推定初期ボール位置（ｐ’１）の間の距離（Ｄ）を反映し、前記距離パラメータ（ｓ（Ｄ））は前記ボールサイズ基準を決定する、請求項１から４のいずれかに記載のシステム。
【請求項６】
前記追跡手段（１２２、１４２）は、焦点距離信号の形で前記距離パラメータ（ｓ（Ｄ））を受け取るよう構成される前記画像記録手段へのマシンインターフェース（１２）を含む、請求項５に記載のシステム。
【請求項７】
前記追跡手段（１２２、１４２）は、手動入力された距離パラメータ（ｓ（Ｄ））を受け取るよう構成されるユーザインターフェース（１３）を含む、請求項５および６のいずれかに記載のシステム。
【請求項８】
前記デジタル処理部（１２０）は、
遅延期間の間に前記主カメラ（１１１）によって登録された画像（ＩＭＧ）をバッファするよう構成されるバッファ手段を備え、
前記遅延期間の間に前記副カメラ（１１２）によって登録された画像のセットに基づいて、前記遅延期間の間に登録された前記画像の少なくともサブセットに対して、前記形跡（ПＢ）を生成するよう構成される、請求項４から７のいずれかに記載のシステム。
【請求項９】
前記画像記録手段（１１０）はセンサ要素のアレーを含むイメージセンサを含み、前記イメージセンサは前記センサ要素の選択されたサブセットにより記録された画像データを読み出すことができるよう構成される、請求項１から８のいずれかに記載のシステム。
【請求項１０】
少なくともある期間の間、ボール（１５０）が基本的に固定的な背景の前を移動するスポーツシーンを表すビデオ信号を生成する方法であって、
前記シーンの一連の元画像（ＩＭＧ）の登録と、
前記一連の画像の少なくともサブセットを通じて移動する前記ボール（１５０）の軌道の追跡であって、先に登録された画像に対して後で登録された画像内の更新されたことで識別された画像領域において、連続して登録された画像の間の差分を取ることを含む、追跡と、
当該元画像（ＶＳ（ＩＭＧ）、ＶП（ＩＭＧ））に基づく合成画像シーケンス（ＶＣ（ＩＭＧ））の生成であって、合成画像要素が当該一連の画像における前記画像と、移動する前記ボール（１５０）の軌道を表す形跡（ПＢ）が当該一連の画像における前記画像の画像内容に連続的にオーバーレイされ加えられた画像データの形で示されるように組合される生成とを含み、
前記方法は移動する前記ボール（１５０）についての初期画像位置（ｐ１）の自動的な識別を含み、この識別は、
当該一連の画像における各画像（ＩＭＧ）について、前記画像とそれに続く画像との間の差分画像の生成であって、前記差分画像において、閾値レベルより低い内容変更を表す全ての画像要素には第１の値が割り当てられ、前記閾値レベル以上の内容変更を表す全ての画像要素には第２の値が割り当てられる生成と、
ボール候補のセット（ｂＣ１１、ｂＣ１２、ｂＣ１３、ｂＣ２１、ｂＣ２２、ｂＣ２３、ｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４）の識別であって、それぞれのボール候補は全て前記第２の値を含む近傍の画像要素群によって表され、当該画像要素群はボールサイズ基準を満たす識別と、
ボール選択アルゴリズムに基づいて前記ボール候補のセット（ｂＣ１１、ｂＣ１２、ｂＣ１３、ｂＣ２１、ｂＣ２２、ｂＣ２３、ｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４）からの前記初期画像位置（ｐ１）の選択とによってなされることを特徴とする方法。
【請求項１１】
前記ボールサイズ基準は画像要素の特定の間隔に相当するボール画像領域の範囲を指定する、請求項１０に記載の方法。
【請求項１２】
前記ボール選択アルゴリズムが、
回転対称要件、および
前記近傍の画像要素群の最大径と前記画像要素群の前記画像要素の合成領域との間の関係に関する要件の、
少なくとも１つを満たさないボール候補を廃棄する、真円度推定ステップを含む、請求項１０および１１のいずれかに記載の方法。
【請求項１３】
前記主領域（ＡＰ）は前記元画像（ＩＭＧ）の下３分の２を表す、請求項１０から１２のいずれかに記載の方法。
【請求項１４】
前記主領域（ＡＰ）が前記元画像（ＩＭＧ）を通る中央垂直線（Ｃ）の周囲５０％の部分を表す、請求項１３に記載の方法。
【請求項１５】
前記ボール選択アルゴリズムは打撃推定手順のことであり、前記ボール候補のセット内の前記ボール候補（ｂＣ１１、ｂＣ１２、ｂＣ１３、ｂＣ２１、ｂＣ２２、ｂＣ２３、ｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４）が連続して登録された３つの画像で分析される、請求項１０から１４のいずれかに記載の方法であって、
前記打撃推定手順は、
第１の登録画像内の各ボール候補（ｂＣ１１、ｂＣ１２、ｂＣ１３）と第３の登録画像内の各ボールボール候補（ｂＣ３１、ｂＣ３２、ｂＣ３３、ｂＣ３４）の間にまっすぐに伸びる軌道線候補をそれぞれ定義し、
前記第１および第３の登録画像の間で登録された第２の画像において、前記軌道線候補からの閾値範囲にボール候補（ｂＣ２１、ｂＣ２２、ｂＣ２３）が見つからないボール候補を廃棄し、
その他の軌道線候補全てについて仮ボール軌道（ＢＰＴ１、ＢＰＴ２）を定義する、方法。
【請求項１６】
前記打撃推定手順は、さらに、垂直線（Ｌｖ）に対して、閾値角度（αｔｈ）を超える角度をなす仮ボール軌道（ＢＰＴ２）を有するボール候補（ｂＣ１２、ｂＣ２３、ｂＣ３４）を全て廃棄する、請求項１５に記載の方法。
【請求項１７】
前記ボール選択アルゴリズムに適合するボール候補（ｂＣ１１、ｂＣ２１、ｂＣ３２）に対して前記合成画像シーケンス（ＶＣ（ＩＭＧ））における移動する前記ボール（１５０）の前記軌道を表す前記形跡（ПＢ）のみを生成する、請求項１０から１６のいずれかに記載の方法。
【請求項１８】
第１の所定数の画像を通して少なくとも１個のボールが追跡された後は移動する前記ボール（１５０）についての初期画像位置（ｐ１）識別を制限する、請求項１０から１７のいずれかに記載の方法。
【請求項１９】
前記連続して登録された３つの画像の後、前記追跡は特定の元画像におけるボール位置（（ｘＰ４，ｙＰ４））を予測する運動ベクトルの推定を含み、前記運動ベクトルは、
前記特定の元画像に先立つ第１の元画像内の前記ボール（１５０）についての第１の画像位置（（ｘ１，ｙ１））と、
前記第１の元画像に続くが前記特定の元画像に先立つ第２の元画像内の前記ボール（１５０）についての第２の画像位置（（ｘ２，ｙ２））と、
前記第２の元画像に続くが前記特定の元画像に先立つ第３の元画像内の前記ボール（１５０）についての第３の画像位置（（ｘ３，ｙ３））とに基づく、請求項１５から１８のいずれかに記載の方法。
【請求項２０】
３を越える最初の第２の数の登録画像の後、前記特定の画像の直前に登録された２つの画像における前記ボール（１５０）についての位置（（ｘｎ−１，ｙｎ―１）、（ｘｎ−２，ｙｎ−２））の間の直線関係に基づいて、前記特定の元画像内の前記ボール位置（（ｘＰｎ，ｙＰｎ））を予測する、請求項１９に記載の方法。
【請求項２１】
前記追跡を前記予測されたボール位置（（ｘＰｎ＋１，ｙＰｎ＋１））からの閾値距離（ｄｔｈ）内にボール候補が見つからなくなるまで続ける、請求項１５から２０のいずれかに記載の方法。
【請求項２２】
コンピュータの内部メモリに直接ロード可能なコンピュータプログラムであって、当該プログラムが前記コンピュータ上で動作するとき、記請求項１０から２１のいずれかに記載のステップを制御するソフトウェアを含むコンピュータプログラム。
【請求項２３】
プログラムが記録されたコンピュータ読み取り可能な媒体であって、前記プログラムは請求項１０から２１のいずれかに記載のステップをコンピュータに制御させるコンピュータ読み取り可能な媒体。
【国際調査報告】
2008545194.tif 000015
2008545194.tif 000016
2008545194.tif 000017
2008545194.tif 000018