(57)【要約】  【解決手段】  本発明は、単一の固定位置カメラを活用して、さもなければマルチカメラまたは移動カメラによる解決方法を必要とする物体追跡問題を解決する物体状態条件を識別することによって、既存のラインコールデバイスの欠点を克服する。自動化されたテニスラインコールデバイスという文脈で説明されるが、本発明は、移動カメラまたは複数のカメラを用いることなく物体状態条件を識別することによって解決され得る他の物体追跡問題に同様に適用可能である。テニスラインコールデバイスは、テニスコートのネットポストに取り付けられ（または少なくともそれに近接して位置付けられ）、それによって、静止物体（コートライン）及び移動物体（ボール、プレイヤなど）の両方の「拡大」視野を可能にする。一実施形態において、ラインコール機能とのビデオカメラシステムの統合は、いかなる外部ビデオカメラまたは処理機能も必要とせずに自動化されたラインコール機能を提供するために、任意のテニスネットポストに単一のすぐに使えるデバイスの取り付けを含む、追加の利点を提供する。  【選択図】      図１Ｃ
2019506917.tif 000002
【特許請求の範囲】
【請求項１】
複数のテニスプレイヤに対するラインコールを行うテニスラインコールシステムであって、前記複数のテニスプレイヤが、それぞれのテニスラケットでテニスボールを打ち、前記テニスボールをテニスコートの各サイドにわたって動かし、前記テニスラインコールシステムが、
（ａ）一体型テニスラインコールデバイスであって、
（ｉ）前記テニスコートのコートラインと、前記テニスコートの各サイドにわたって動く際の前記テニスボールとを網羅する連続ビデオフレームを生成するカメラシステム、及び
（ｉｉ）ラインコールアナライザであって、
（Ａ）前記ビデオフレームをリアルタイムで処理し、
（Ｂ）前記ビデオフレームの前記処理に基づいて、前記テニスボールが前記テニスコートのプレイ表面上で弾むときを判定し、
（Ｃ）前記テニスコートの前記コートラインのうちの１つ以上の位置に対して、前記テニスボールのその最初の弾みの際の位置を判定し、かつ
（Ｄ）前記テニスボールのその最初の弾みの際の位置と、前記テニスコートの前記１つ以上のコートラインとの相対位置に基づいてラインコールを行う、ラインコールアナライザ、
を含む、一体型テニスラインコールデバイスと、
（ｂ）前記一体型テニスラインコールデバイスがテニスコートのネットポストに、またはそれに近接して取り付けられることを可能にする取り付け機構と、を備える、テニスラインコールシステム。
【請求項２】
複数のテニスプレイヤに対するラインコールを行うテニスラインコールシステムであって、前記複数のテニスプレイヤが、それぞれのテニスラケットでテニスボールを打ち、前記テニスボールをテニスコートの各サイドにわたって動かし、前記テニスラインコールシステムが、
（ａ）ビデオ取得デバイスであって、
（ｉ）前記テニスコートのコートラインと、前記テニスコートの各サイドにわたって動く際の前記テニスボールとを網羅する連続ビデオフレームを生成するカメラシステム、及び
（ｉｉ）前記ビデオフレームをリアルタイムで外部テニスラインコールデバイスに無線転送する無線リアルタイム通信機、を含む、ビデオ取得デバイスと、
（ｂ）前記ビデオ取得デバイスがテニスコートのネットポストに、またはそれに近接して取り付けられることを可能にする取り付け機構と、
（ｃ）前記外部テニスラインコールデバイスであって、
（ｉ）前記ビデオ取得デバイスから転送された前記ビデオフレームを受信する無線受信機、及び  
（ｉｉ）ラインコールアナライザであって、
（Ａ）前記ビデオフレームをリアルタイムで処理し、
（Ｂ）前記ビデオフレームの前記処理に基づいて、前記テニスボールが前記テニスコートのプレイ表面上で弾むときを判定し、
（Ｃ）前記テニスコートの前記コートラインのうちの１つ以上の位置に対して、前記テニスボールのその最初の弾みの際の位置を判定し、かつ
（Ｄ）前記テニスボールのその最初の弾みの際の位置と、前記テニスコートの前記１つ以上のコートラインとの相対位置に基づいてラインコールを行う、ラインコールアナライザ、を含む、外部テニスラインコールデバイスと、を備える、テニスラインコールシステム。
【請求項３】
複数のテニスプレイヤに対するラインコールを行うテニスラインコールシステムであって、前記複数のテニスプレイヤが、それぞれのテニスラケットでテニスボールを打ち、前記テニスボールをテニスコートの各サイドにわたって動かし、前記テニスラインコールシステムが、
（ａ）一体型テニスラインコールデバイスであって、
（ｉ）前記テニスコートのコートラインと、前記テニスコートの各サイドにわたって動く際の前記テニスボールとを網羅する連続ビデオフレームを生成するカメラシステムであって、前記テニスコートの各サイドを網羅する単一の固定位置カメラを含む、カメラシステム、及び
（ｉｉ）ラインコールアナライザであって、
（Ａ）前記ビデオフレームをリアルタイムで処理し、
（Ｂ）前記ビデオフレームの前記処理に基づいて、前記テニスボールが前記テニスコートのプレイ表面上で弾むときを判定し、
（Ｃ）前記テニスコートの前記コートラインのうちの１つ以上の位置に対して、前記テニスボールのその最初の弾みの際の位置を判定し、
（Ｄ）前記テニスボールのその最初の弾みの際の位置と、前記テニスコートの前記１つ以上のコートラインとの相対位置に基づいてラインコールを行う、ラインコールアナライザ、を含む、一体型テニスラインコールデバイスと、
（ｂ）前記一体型テニスラインコールデバイスがテニスコートのネットポストに、またはそれに近接して取り付けられることを可能にする取り付け機構と、を備える、テニスラインコールシステム。
【請求項４】
テニスコートのラインを網羅するビデオフレームを生成する１つ以上のビデオカメラを有するカメラシステムを含むテニスラインコールシステムのための自動較正方法であって、
（ａ）前記カメラシステムによって生成された１つ以上のビデオフレームを抽出するステップであって、前記ビデオフレームが、テニスコートの前記ラインを網羅する、１つ以上のビデオフレームを抽出するステップと、
（ｂ）前記１つ以上のビデオフレーム上で前記テニスコートラインを構成する画素を識別するステップと、
（ｃ）既知のテニスコート寸法に基づいてコートマップを生成するステップであって、前記コートマップが、各コーナを表し、前記各コーナで２つ以上のテニスコートラインが、
（ｉ）画素単位で測定された、ビデオフレーム座標系内の座標を有する一組の画素、及び
（ｉｉ）物理距離の単位で測定された、コートマップ座標系内の座標を有する対応する一組の１つ以上の点、の両方として交差する、コートマップを生成するステップと、
（ｄ）画素を前記ビデオフレーム座標系から前記コートマップ座標系内の対応する点に変換するコートモデル関数を生成するステップと、を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）に従い、「Ｓｐｏｒｔｓ  ａｐｐａｒａｔｕｓ  ｔｏ  ｌｏｃａｔｅ  ａ  ｂａｌｌ  ａｎｄ  ｐｒｏｖｉｄｅ  ｆｅｅｄ−ｂａｃｋ  ｔｏ  ｐｌａｙｅｒｓ：Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  Ｔｅｎｎｉｓ」と題され、２０１５年１２月９日に出願された、米国仮特許出願第６２，２６５，３９２号の利益を主張し、これは、参照によって本明細書に組み込まれる。
【０００２】
本発明は、概して、コンピュータビジョンの分野、具体的には、単一の固定位置カメラの物体追跡能力を活用して、一定の３Ｄ物体追跡問題に対する平面解決方法をもたらす物体状態条件を識別することに関する。本発明は、テニスネットポストに（または近接して）数秒で取り付けられ、設定が容易である、携帯可能な一体型スタンドアロン自動較正デバイスを含むテニスラインコールシナリオを例示する。
【背景技術】
【０００３】
コンピュータビジョンの分野において、複数のカメラがデジタル画像から３Ｄ情報（相対深さ情報を含む）の抽出を可能にすることが概して理解される。例えば、３Ｄ空間内の物体の正確な位置は、レンズ歪み、ノイズ、及び他の関連要因の計算後に、２つ以上の変位されたカメラ（ヒトの「両眼視」の動作に類似する）によって生成された画像に「ステレオ写真」のプロセスを適用することによって判定され得る。同様に、複数のビデオカメラは、移動物体が３Ｄ空間を通して移動する際の移動物体の軌道を追跡するために用いられ得る。［例えば、「Ｃｏｍｐｕｔｅｒ  ｓｔｅｒｅｏ  ｖｉｓｉｏｎ」、「Ｔｒｉａｎｇｕｌａｔｉｏｎ」及び「Ｖｉｄｅｏ  ｔｒａｃｋｉｎｇ」に対するＷｉｋｉｐｅｄｉａの記事を参照されたい。］
【０００４】
３Ｄ物体追跡シナリオは、多くの場合、高速移動物体を含むので、リアルタイム意思判定能力が、頻繁に必要とされる。単一カメラ物体追跡アプローチは、探求されており（例えば、米国特許出願公開第ＵＳ／２００２／００９４１３５号、「Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ｉｎ  Ｓｐｏｒｔｓ」、Ｍｏｅｓｌｕｎｄ  ｅｔ  ａｌ，Ｓｐｒｉｎｇｅｒ  ２０１４，Ｃｈａｐｔｅｒ  ２、及び「Ｓｕｐｐｏｒｔｉｎｇ  ｔｈｅ  Ｔｅｎｎｉｓ  Ｃｏａｃｈ：Ａｕｔｏｍａｔｉｃａｌｌｙ  Ａｎａｌｙｚｉｎｇ  ａｎｄ  Ｅｖａｌｕａｔｉｎｇ  Ｔｅｎｎｉｓ  Ｆｏｏｔａｇｅ」，Ｍａｒｃ  Ｋｕｉｊｐｅｒｓ，Ｍａｓｔｅｒ'ｓ  ｔｈｅｓｉｓ，Ｄｅｌｆｔ  Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｔｅｃｈｎｏｌｏｇｙ，Ｏｃｔｏｂｅｒ  １３，２０１０を参照されたい）、かかる解決方法は、単一の移動カメラまたは物体軌道もしくはカメラ軌道の事前知識のいずれかに依拠する傾向がある。さらに、それらのほとんどは、記録された「プレイヤの後ろ」の放映映像の事後分析及び映像認識のために適合されており、これは、物体追跡及びリアルタイム判断とは全く異なる１組の目的及び制約を有する。
【０００５】
３Ｄ物体追跡シナリオでのリアルタイム判断は単一のカメラによる解決方法に一般に適さないため、マルチカメラ及び移動カメラによる解決方法が、最も多くの場合に好ましい。例えば、複数のカメラ、レーザ、ソナー及びレーダデバイス、ならびに様々な他のセンサを用いる、自動運転車両の最近の出現を考察されたい。完全自律に満たない「アシスト運転」車両でさえ、例えば、近くの歩行者、車両、及び他の物体を追跡すること、停止標識及び有色交通信号を認識すること、ならびに車両を転回、停止、加速、または減速するためにほとんど瞬時に判断を行うことを含む、多くのリアルタイムの物体追跡及び判断の問題を解決する。
【０００６】
テニスなどのプロフェッショナルスポーツも、３Ｄ空間内の高速移動物体（例えば、テニスボール）を追跡すること及びリアルタイム判断（例えば、ラインコール）を行うことの問題に対処するために複数のカメラを含むシステムを採用している。当然ながら、他のスポーツ（野球、フットボール、バスケットボール、アイスホッケー、サッカー、クリケット、スカッシュ、ハンドボール、ラケットボール、ピックルボール、バレーボール、バドミントンなど）及び活動は、同様の問題を提示する。
【０００７】
それでもなお、マルチカメラによる解決方法は、多くの場合、広範な事前設定、保守、及び動作障害を課し、時間及び費用の両方の観点から非実用的であり得る。例えば、プロフェッショナルテニスの分野において、チェアアンパイア及びラインアンパイアによって行われる一定のラインコール判断を確認するかまたは覆すために、「ＨＡＷＫ−ＥＹＥ」（商標）システムがＩＴＦ（国際テニス連盟）によって２００６年から採用されている。
【０００８】
図１Ａに例示されるこのＨＡＷＫ−ＥＹＥ（商標）システム１００ａは、テニスコート１２０ａの上及び周囲の固定位置に配置された、いくつかのビデオカメラ１１０ａを含む。これらのビデオカメラ１１０ａは、テニスコート１２０ａ（コートライン、ネットなどを含む）及び周囲エリア、ならびにプレイヤ１２２ａ（及びそのラケット）及び、当然ながら、テニスボール１２５ａなどの移動物体の完全な視野（複数の異なる角度及び視点から）を可能にする。ビデオカメラ１１０ａに加えて、システム１００ａはまた、ビデオカメラ１１０ａからの入力に基づいてラインコールを行う（例えば、ボールの軌道を追跡するために３Ｄ三角法を用いることによって）ため判断の、人間の監督及び介入を伴う外部処理デバイス１１６ａと、かかる判断の結果の図解的視覚化を表示するビデオ表示画面１１７ａと、を含む。
【０００９】
非常に正確であると考えられるが、ＨＡＷＫ−ＥＹＥ（商標）システム１００ａの費用は、１コート当たり＄５０，０００〜＄１００，０００の範囲と極めて高く、それによって、その有益性は、この初期費用のみならず、広範な関連する設置、設定、保守、及び動作の費用を賄う余裕がある、最高仕様のプロフェッショナルテニス会場のみに限定される。さらに、システム１００ａは、一定のその機能を実施するために人間のオペレータを必要とするため、完全に自動化されていない。それにもかかわらず、ＨＡＷＫ−ＥＹＥ（商標）システム１００ａは、クリケット、オーストラリアンフットボール、ゲーリックフットボール、及びハーリングなどの一定の他のスポーツで使用するために現在展開されているか、または開発中である。
【００１０】
ＨＡＷＫ−ＥＹＥ（商標）システムの限定的な有益性に対処するために、イスラエル企業の「ＰｌａｙＳｉｇｈｔ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｌｔｄ．」は、より自動化され、かつテニスプレイヤによって有用であるように設計された、同様であるがより低費用である「ＳｍａｒｔＣｏｕｒｔ」（商標）システムを最近開発した。これは、その費用が低いこと（１コート当たりおおよそ＄２０，０００＋月額料金）に加えて、自動化されたラインコール及び即時リプレイの他に、ストローク、戦術、及びプレイヤ統計の分析を含む、様々な特徴に焦点を当てている。これらの追加の特徴は、対話型分析が所望される、様々な他のスポーツ及び活動にその市場範囲を広げる。
【００１１】
ＨＡＷＫ−ＥＹＥ（商標）システム１００ａと同様に、図１Ｂに例示されるＰＬＡＹＳＩＧＨＴ（登録商標）（ＳｍａｒｔＣｏｕｒｔ（商標））システム１００ｂもまた、テニスコート１２０ｂの上及び周囲の固定位置に配置された複数のビデオカメラ１１０ｂを含む。これらのビデオカメラ１１０ｂは、同様に、テニスコート１２０ｂ（コートライン、ネットなどを含む）及び周囲エリア、ならびにプレイヤ１２２ｂ（及びそのラケット）及び、当然ながら、テニスボール１２５ｂなどの移動物体の完全な視野（複数の異なる角度及び視点から）を可能にする。ビデオカメラ１１０ｂに加えて、システム１００ｂはまた、ビデオカメラ１１０ｂからの入力に基づいて自動化されたラインコール判断を行う（例えば、ボールの軌道を追跡するために３Ｄ三角法を用いることによって）ための処理デバイス１１６ｂと、かかる判断の結果の図解的視覚化を表示するビデオ表示画面１１７ｂと、の両方を含む、外部対話型キオスク１１５ｂを含む。
【００１２】
処理デバイス１１６ｂ及びビデオ表示画面１１７ｂを単一の一体型キオスク１１５ｂに結合することによって、システム１００ｂは、プレイヤ１２２ｂ及び他者（例えば、コーチ及び友人）が、リアルタイムのラインコール及び即時リプレイのみならず、試合または練習の間及びその後の両方に、そのゲームの広範な対話型フィードバック及び分析も取得することを可能にする。加えて、システム１００ｂは、プレイヤ及び他者が、記録映像の結果を共有してそれと対話し、かつコート上（例えば、スマートフォン、タブレット、ラップトップなどを介して）及び遠隔（例えば、ソーシャルメディアを介することを含む、インターネットを介して家のコンピュータで）の両方で、詳細な統計的及び視覚的分析を実施することを可能にするためにネットワーク及びインターネット接続性１１８ｂを含む。
【００１３】
それでもなお、ＨＡＷＫ−ＥＹＥ（商標）システム１００ａ及びＰＬＡＹＳＩＧＨＴ（登録商標）（ＳｍａｒｔＣｏｕｒｔ（商標））システム１００ｂは、それらの市場をプロフェッショナルまたは最高仕様の会場に限定する著しい限定を保持している。複数のカメラは、システムのリアルタイム判断機能を実装するデバイスの外部の固定位置に設置されなければならない。前払いの費用とはさらに別に、実質的な設定及び保守が必要とされる。
【００１４】
したがって、より小さい会場（例えば、公共テニスコート、小さいテニスクラブなど）及びさらには個人に対して、これらの問題に対処し得る非常に低費用な自動化された解決方法の必要性が存在する。かかる解決方法はまた、テニスの他に、他のスポーツ及び活動、ならびに本質的に、移動物体及び静止物体の実際の位置または相対位置に関する判断を必要とする任意の３Ｄ物体追跡シナリオにも適用され得る。
【００１５】
例えば、上記の自動運転車両及びテニスラインコールシナリオによって必要とされるリアルタイム判断間の類似性を考察されたい（マルチカメラアプローチまたは移動カメラアプローチの高費用であるか、または別様に非実用的であるかどうかの問題とは独立して）。両方のシナリオにおいて、複数のカメラが、移動物体（例えば、道を渡る歩行者、またはコートにわたって移動するテニスプレイヤ及びそれらがネット越しに前後に打つボール）を検出及び追跡し、かつリアルタイム判断に必要な条件（例えば、車両が減速判断を行うことを必要とする黄色信号、またはラインコール判断を必要とするコート上で弾む黄色のテニスボール）を識別するために用いられる。
【００１６】
両方のシナリオにおいて、３Ｄ空間を通して動く物体の正確な軌道を固定位置から追跡することが単一のカメラでは一般的に不可能であることにかかわらず、自動化されたリアルタイム判断を可能にするために単一カメラアプローチが十分であるかどうかの疑問が生じる。以下に説明されるように、本発明によって提供される回答は、単一の固定位置カメラを活用して、さもなければマルチカメラまたは移動カメラによる解決方法を必要とするであろう３Ｄ物体追跡問題を、単一の固定位置カメラによって生成されたビデオフレームに依拠することによって解決可能である２Ｄ平面問題に有効に変換する「物体状態条件」を識別するその能力にある。
【００１７】
これらの物体状態条件を例示するために、図１Ｃのフローチャート１００ｃに例示される、既存のテニスラインコールシステム（ＨＡＷＫ−ＥＹＥ（商標）及びＰＬＡＹＳＩＧＨＴ（登録商標）ＳｍａｒｔＣｏｕｒｔ（商標）システム）によって現在用いられているマルチカメラアプローチを考察する。テニスの試合の各ポイントの開始時にステップ１１０Ｃから始まり、これらのシステムは、ステップ１２０ｃにおいて複数のビデオカメラの各々から連続「ビデオフレーム」を生成する。例えば、高速ビデオカメラは、非常に高いフレームレートで単一の高解像度ビデオフレームを生成し得る。レンズ曲率、照明条件、映像ノイズ、及び他の関連要因に対処するために、これらのシステムは、各ビデオフレーム内の移動物体及び静止物体の両方の正確な識別を容易にするために、ステップ１３０ｃにおいて「画像調節」を実施する。
【００１８】
ステップ１４０ｃにおいて、これらのシステムは、所与の瞬間で各カメラによって生成される「スナップショット」ビデオフレーム内でテニスボールを識別する。ステップ１５０ｃにおいて、これらのシステムは、各瞬間で、複数のカメラの各々がその既知の固定位置でその「視点」からビデオフレームを生成する事実を活用する。ステップ１５０ｃにおいて標準３Ｄ三角法を用いて（かつあるいは事前に生成されたビデオフレームから取得された情報にも依拠することによって）、これらのシステムは、３Ｄ空間内のテニスボールの正確な位置を計算する。
【００１９】
しかしながら、この正確な３Ｄボール位置の知識が、最終的なラインコール判断の必要性を必ずしも生じないことに留意されたい（即ち、ボールがテニスコートの表面上に最初に衝突するかまたは弾むまでラインコールがなされ得ないことによる）。したがって、ステップ１５５ｃにおいて、これらのシステムは、ボールの弾みが発生したかどうかを判断する。それでもなお、ステップ１５０ｃにおいて事前に計算された正確な３Ｄボール位置（例えば、標準Ｘ−Ｙ−Ｚ座標系）を考慮すると、このプロセスは些細なことであり、即ち、テニスボールの高さが０であること、及びしたがって、テニスコートの表面上で最初に弾んだことを示す、Ｚ＝０であるかどうかを単に確認するものである。そうでない場合、これらのシステムはステップ１２０ｃに戻って、次の瞬間に次の組のビデオフレームを生成する。一定の条件（例えば、ボールが弾み得る前にプレイヤによってボレーされるか、またはボールがカメラの視野の外側に及ぶ）が、この簡素化された高位のフローチャート１００ｃで対処されないことが留意されるべきである。
【００２０】
このプロセスは、最初のボールの弾みがステップ１５５ｃにおいて検出されるまで継続し、その時点で、これらのシステムは、その後、テニスボールのその最初の弾みの際の相対位置を、関連するコートラインの既知の位置（システムが稼働する前に図１Ｃに示されないステップにおいて事前に判定される）と比較することによって、ステップ１６０ｃにおいてラインコール判断（インまたはアウト）を行う。テニスボール及び全てのコートラインの両方の正確な３Ｄ位置（即ち、テニスコートの表面上のＸ−Ｙ座標系内の２Ｄ位置）を考慮すると、このプロセスも比較的簡単である。
【００２１】
ステップ１５５ｃでの最初のボールの弾みの検出がステップ１６０ｃでの重要な判断（ラインコール）の必要性を生じる重要な物体状態条件であることを考慮すると、このプロセス１００ｃは、ステップ１５０ｃでの正確な３Ｄボール位置の計算の必要性に対する疑問を生じさせることに留意されたい。以下に例示されるように、３Ｄ物体追跡シナリオで必要とされる判断に対する、マルチカメラ及び移動カメラ「解決方法」の不必要な適用から結果として生じる欠点に対処するシステムの必要性が存在する。
【発明の概要】
【課題を解決するための手段】
【００２２】
本発明の範囲は、移動物体及び静止物体の実際の位置または相対位置に関する判断を必要とするほとんどの任意の３Ｄ物体追跡シナリオに及ぶが、本発明の重要な概念、及びこれらの概念が上記の既存のアプローチの欠点を克服する方式は、特定の判断シナリオの文脈において最良に理解され得る。コンピュータビジョンの分野において、上述のように、これらの欠点の多くは、判断シナリオに対するマルチカメラ及び移動カメラアプローチの不必要な仕様から結果として生じ、かかる「解決方法」は、高費用であるか、または別様に非実用的である。
【００２３】
本発明は、単一の固定位置カメラを活用して、さもなければマルチカメラまたは移動カメラによる解決方法を必要とするであろう３Ｄ物体追跡問題を、単一の固定位置カメラによって生成されたビデオフレームによって解決可能である２Ｄ平面問題に有効に変換する物体状態条件を識別することによってこれらの欠点を克服する。以下の実施形態は、自動化されたテニスラインコールシナリオの文脈において説明されるが、他の３Ｄ物体追跡シナリオに同様に適用可能であり、かかる物体状態条件は、移動カメラまたは複数のカメラを用いることなく識別され得る。
【００２４】
本発明は、一実施形態において、テニスコートのネットポストに近接して位置する単一の固定位置カメラを含むラインコールデバイスとして実装される。一部の実施形態において、デバイスは、ネットポストのうちの１つに物理的に取り付けられるが、他の実施形態においては、それは、ネットポストのうちの１つの近くの三脚または他のスタンド（またはさらに可能であればアンパイヤチェア上）に位置付けられる。いずれにしても、ネットポストに近接してデバイスを位置付けることは、テニスコートの各サイドの比較的拡大された視野を提供する（用いられるカメラの数にかかわらず）。
【００２５】
デバイスは、一実施形態において、テニスコートの両サイドを網羅する視野を有する単一の固定位置カメラを含む。別の実施形態において、デバイスは、２つのかかるカメラを含み、各カメラが、テニスコートの２つのサイドの一方を網羅する視野を有する（より小さい領域を網羅することによってカメラ当たりのより高い解像度を効果的に提供する）。
【００２６】
様々な費用及びエンジニアリングトレードオフは、カメラの数のみならず、速さ、解像度、視野などのようなそれらの特性も判定することになる。これらのトレードオフに基づいて、追加のカメラは、テニスコートのさらに小さい区分を網羅する他の実施形態に含まれ得る。また他の実施形態において、動いているテニスボールの妨げられた（例えば、シングルスよりもダブルスでより可能性が高い、カメラのボールの視野の視野方向にいるプレイヤにより）視野の可能性を最小化する目的のために２つのデバイス（各ネットポストに１つが近接する）が用いられる。
【００２７】
しかしながら、用いられるカメラのタイプ及び数（またはさらに各ネットポストに近接したデバイスの数）にかかわらず、本発明のデバイスがまた、デバイスのラインコール機能を実装するために一体型処理機構も含むことを強調することが重要である。一実施形態において、この一体型処理機構は、任意の所与の瞬間で単一の固定位置カメラによって生成されたビデオフレームに依拠する（ボールがテニスコートの一方のサイドから他方に渡る際にどのカメラのビデオフレームを選択するかを判定するために、他のカメラからの以前のビデオフレームが考慮され得るが）。
【００２８】
言い換えると、３Ｄ三角法（所与の瞬間で所与の位置を視野に入れる複数のカメラを用いることによって可能になるものの）が、本発明の利益を達成するために不必要である。是認される場合、追加のカメラが他の利益（例えば、プレイヤの妨害を最小化すること、低解像度カメラを活用することなど）を得るために用いられる。一定の場合において、任意の３Ｄ三角法も用いられてもよいが、これは本発明の利益を達成するために不必要である。
【００２９】
本発明のデバイスの１つの重要な利点は、非常に簡単な設定プロセスである。これは、デバイスを数秒のうちにほとんどの任意のテニスネットポストに取り付けることができ、またさらにより容易に取り外すことができ、それを極めて携帯容易にする。別の重要な利点は、外部デバイスを必要とすることなくラインコール及び他の機能を実装するその一体型処理機構である。内部バッテリが、典型的な試合全体の長さに対して十分な電力を供給し、したがって、外部のコートサイド電力の存在に依拠する必要性を排除する。
【００３０】
加えて、自動較正特徴は、デバイスが、一実施形態において、数秒でコートラインを識別することを可能にし、初期設定プロセスを大幅に簡略化し、デバイスを、異なるテニスコート間でまさに携帯可能にする。この自動較正プロセスの結果として、（既知のテニスコート寸法に基づいて）コートライン、ネット及びカメラの既知の静止位置を反映する「コートマップ」が生成され、同様に、（ボールが弾み、したがって、それがテニスコートの２Ｄ表面と接触する仮定に基づいて）ビデオフレームからの２Ｄ座標をコートマップ上の３Ｄ座標に変換する機能を反映する「コートモデル」が生成される。
【００３１】
デバイスは完全に自動化されるため、いったんそれがその自動較正プロセスを実施すると、手動オペレータを必要とせずにテニスの試合の状態を追跡する。特に（以下により詳細に説明されるように）、各ポイントの開始を識別し、（例えば、各弾みの後、「アウト」コール時、クロスコール時、または他の所望の順列のみのいずれであっても、点滅する有色光及び／または音を介して）ラインコールを自動的に生成して指示する。「試合モード」に加えて、デバイスは、一実施形態において、練習または「フリープレイ」モードを有し、選択的ラインコール及び統計を可能にする（例えば、ラインコールをベースラインまたは特定のサービスラインもしくはサイドラインに限定する）。別の実施形態において、デバイスは、ラインコールの結果をウェアラブルデバイス（例えば、プレイヤのラケット、シャツ、ポケットなどに位置するブルートゥース（登録商標）バイブレータ）に無線で送信する。さらに別の実施形態において、デバイスは、各ポイント（または各ゲームの開始などの指定された間隔）の前に、スコアを表示及び／またはコールアウトする。
【００３２】
デバイスは、別の実施形態において「レットコード」を検出する一体型加速度計と、ボール及びプレイヤの検出を容易にする（例えば、コートのどちらのサイドにボールがあるかの検出の補助し、ならびにフーリエ変換によって音波の高調波を分析してショットタイプを区別するための）マイクロホンと、を含む。別の実施形態において、ラケットセンサからのデータが、プレイヤ及びボール検出の精度を向上させるために利用される。
【００３３】
デバイスは、一実施形態において試合統計及び他のデータならびに記録映像（これら全ては、例えば、取り外し可能なメモリカード上でローカルに記憶され、また有線ＵＳＢまたは他の接続を介してダウンロードされ、さらにブルートゥース（登録商標）もしくはローカルＷｉＦｉネットワークまたはインターネットを介して無線でスマートフォン、タブレット、ラップトップまたは他のデバイスにストリーミング／アップロードされ得る）を表示するための対話型一体型ビデオ表示画面を含む。プレイヤは、即時リプレイ（任意に交代及び他の「デッドタイム」をスキップする）及びボール弾み位置ならびに様々な試合統計及び要求に応じた視覚化を、一体型ビデオ表示画面または接続されたデバイスのいずれかを介して（コートサイドから、またはインターネットを介して遠隔に）閲覧することができる。かかる統計は、複数ゾーン内のボール位置割合、ボールの速さ及びＲＰＭ、プレイヤカバーマップなどのプロフェッショナルテレビテニスアナリストによって提供されるものと同様である。
【００３４】
別の実施形態において、追加のソフトウェア（例えば、ｉＯＳ、Ａｎｄｒｏｉｄもしくは他のスマートフォンアプリケーション、またはＭａｃＯＳ、Ｗｉｎｄｏｗｓもしくは他のデスクトップアプリケーション）が、デバイス内で直接統合されない範囲に対して、追加の長期記憶ならびに分析及び視覚化機能を提供する。例えば、かかる機能は、各プレイヤのショットの速さ、スピン、及び配置の分析、ならびに試合の記録映像に重なる拡張現実（３Ｄ視覚化を含む）を含む。オープンＡＰＩが、別の実施形態において、追加の分析、視覚化及び他の機能（例えば、以前の成績及びＡＩ／予測分析に基づいて、特定の相手またはプレイヤのタイプに対して推奨されたプレイヤ戦略）を提供するために、サードパーティに対する拡張性を提供するために含まれる。かかる追加の機能はまた、別の実施形態においてアプリケーション内購入としても提供され得る。
【００３５】
本発明のデバイスが、クラウドもしくはいかなるネットワーク接続、またはいかなる外部処理デバイスにも依存しない、一体型リアルタイムラインコール機能を提供することが強調されるべきである。それは、例えば、任意のラインの数センチメートル以内の高精度なラインコールを生成する。デバイスの精度は一体型カメラシステムのフレームレート及び解像度に本質的に比例するため、デバイスの精度は、カメラ技術の改善及び費用の低下に際してのみ経時的に改善することになる。
【００３６】
以下に詳細に論述されるように、一実施形態においてデバイスは単一の固定位置カメラを介して３Ｄ空間内のボール位置を追跡することができないため（コート全体またはコートの一方のサイドに限定されて網羅したとしても）、デバイスは代わりに、ラインコールを生じる重要な物体状態条件として「ボールの弾み」を検出することによって、ラインコールを行う。ボールの最初の弾みを検出すると、ラインコール判断が、ここで、２Ｄ平面問題、即ち、ボール（テニスコート表面の２Ｄ平面内にあることが既知）が任意の関連するライン（例えば、サービスライン、ベースラインまたはサイドラインのいずれか）に対して「アウト」であるかどうかを判断すること、に変換される。
【００３７】
ラインコール判断を行う様々な代替方法が、以下に論じられ、これらは、ボール座標位置をフレームからコートマップに変換するか（制御されたレーザデバイスの利益を有するかまたは有しない）、またはボールと関連するコートラインの相対位置をビデオフレーム自体上のみで代替的に分析することを含む。以下に強調されるように、これらの判断は、２Ｄコート平面内のボールの正確な位置が判定されることを必ずしも必要とさえしない。
【００３８】
最後に、以下に説明されるハードウェア及びソフトウェアの実施形態が、本発明の概念から逸脱せずに変更され得る、費用及びエンジニアリングトレードオフの結果であることが留意されるべきである。機能が、単にハードウェアもしくはソフトウェア内で実装されるか、または２つの組み合わせで実装されるかどうか（「ファームウェア」及び汎用ハードウェアとは異なるカスタムを含む）は、これらのトレードオフの機能であり、本発明の概念に対して必ずしも本質的ではない。さらに、特定のハードウェア構成要素またはソフトウェアモジュールへの機能の分割もまた、かかるトレードオフの結果である。機能は、そのため、本発明の概念から逸脱せずに以下の実施形態に例示されたものとは異なる物理的ハードウェア構成要素または概念的ソフトウェアモジュール内に割り当てられ得る（結合または分割され得る）。同様に、本発明は、デバイス配置及び取り付け機構、ならびにカメラ及び他のセンサのタイプ及び数の変形例によって実装され得る。最後に、本発明は、本発明の概念から逸脱せずに異なるスポーツまたは他の活動に実装され得、移動物体及び静止物体の実際の位置または相対位置に関する判断を必要とする、ほとんどの任意の３Ｄ物体追跡シナリオを本質的に網羅する。
【図面の簡単な説明】
【００３９】
【図１Ａ】テニス及び様々な他のスポーツでラインコール及び他の機能を実施する目的でボールの位置及び軌道を視覚的に追跡するために複数のカメラ及び外部処理を用いる既存システム（ＨＡＷＫ−ＥＹＥ（商標）として知られる）を例示する画像である。
【図１Ｂ】テニス及び様々な他のスポーツでラインコール及び他の機能を実施する目的でボールの位置及び軌道を視覚的に追跡するために複数のカメラ及び外部処理を用いる既存システム（ＰＬＡＹＳＩＧＨＴ（登録商標）ＳｍａｒｔＣｏｕｒｔ（商標）システムとして知られる）を例示する画像である。
【図１Ｃ】テニスラインコールシナリオでの既存マルチカメラシステム（ＨＡＷＫ−ＥＹＥ（商標）及びＰＬＡＹＳＩＧＨＴ（登録商標）ＳｍａｒｔＣｏｕｒｔ（商標）など）によって実施される重要なステップを例示する高位のフローチャートである。
【図２】テニスラインコールシナリオでの本発明の一体型デバイスの一実施形態を例示する画像であり、一体型デバイスは、テニスネットポストに近接している。
【図３Ａ】別個のカメラがテニスコートの各サイドに向いている、テニスネットポストに取り付けられた本発明の一体型デバイスの一実施形態の拡大図を例示する画像である。
【図３Ｂ】取り付け機構の一実施形態の拡大図を例示する画像であり、それにより本発明の一体型デバイスの一実施形態がテニスネットポストに取り付けられている。
【図３Ｃ】テニスネットポストに取り付けられ、内蔵対話型ビデオ表示画面を組み込む、本発明の一体型デバイスの一実施形態の拡大図を例示する画像である。
【図４Ａ】本発明の一体型デバイスの一実施形態の重要なハードウェア要素を例示するハードウェアブロック図である。
【図４Ｂ】本発明の一体型デバイスの一実施形態の重要なソフトウェア要素を例示するソフトウェアブロック図である。
【図５Ａ】本発明の一体型デバイスの一実施形態の「左サイド」カメラ構成要素によって生成されたビデオフレームの画像であり、これは、テニスコートの左サイドを網羅するカメラの視野を反映し、そのビデオフレーム内の個々の画素及び物体を識別するために一体型デバイスによって用いられた座標系を含む。
【図５Ｂ】本発明の一体型デバイスの一実施形態の「右サイド」カメラ構成要素によって生成されたビデオフレームの画像であり、これは、テニスコートの右サイドを網羅するカメラの視野を反映し、そのビデオフレーム内の個々の画素及び物体を識別するために一体型デバイスによって用いられた座標系を含む。
【図６】一体型デバイスの「左サイド」及び「右サイド」カメラ構成要素によって生成されたビデオフレームを処理することによって本発明の一体型デバイスの一実施形態によって生成され、かつビデオフレーム上の個々の画素及び物体をコートマップによって表されるテニスコートのプレイ表面上の対応する位置に変換するために一体型デバイスによって用いられる、テニスコートのコートマップの図解例示である。
【図７】コートマップによって表されるテニスコートのプレイ表面上の対応する位置へのビデオフレーム上の個々の画素及び物体の変換を容易にするコートマップ及びコートモデルを生成するために、本発明の一体型デバイスの一実施形態の自動較正構成要素によって実施される重要なステップを例示するフローチャートである。
【図８】テニスプレイヤの相対位置を識別し、かつテニスラインコールシナリオでの「ポイント状態」検出を容易にするために、本発明の一体型デバイスの一実施形態のプレイヤ検出構成要素によって実施される重要なステップを例示するフローチャートである。
【図９】一体型デバイスによるラインコール機能の性能を促進するために、テニスの試合の各ポイントが開始及び中断するときを識別し、かつテニスコート上の関連するラインを識別するように、本発明の一体型デバイスの一実施形態のポイント状態構成要素によって実施される重要なステップを例示するフローチャートである。
【図１０】テニスボールがテニスコートのプレイ表面上で弾むときを識別するために、本発明の一体型デバイスの一実施形態の弾み検出構成要素によって実施される重要なステップを例示するフローチャートである。
【図１１Ａ】一体型デバイスの弾み検出構成要素によるボールの弾みの検出に続く、本発明の一体型デバイスの一実施形態の変換ラインコール構成要素によって実施される重要なステップを例示するフローチャートである。
【図１１Ｂ】一体型デバイスの弾み検出構成要素によるボールの弾みの検出に続く、本発明の一体型デバイスの一実施形態の代替的ラインコール構成要素によって実施される重要なステップを例示するフローチャートである。
【図１１Ｃ】ボールの軌道を追い、かつテニスボールがテニスコートのプレイ表面上で弾むときにその位置をより正確に検出するためにレーザを用いる、本発明の一体型デバイスの一実施形態の改善された変換ラインコール構成要素によって実施される重要なステップを例示するフローチャートである。
【発明を実施するための形態】
【００４０】
図２の画像２００に例証される本発明の一実施形態において、自動化されたテニスラインコールデバイス２１０は、テニスコート２２０上のテニスネットポスト２２１に近接して位置付けられる（標準的なコートライン及び２つのネットポスト間に取り付けられたネットを含む）。画像２００は、テニスコート２２０全体及び周囲エリア、ならびにプレイヤ２２２（１人のみ示される）及びテニスボール２２５を含む。また画像２００に示されるものは、テニスコートの表面上のボールのその最初の弾みの際のボールの正確な位置特定を容易にするために、本発明の代替的実施形態で用いられるレーザ２１６（以下により詳細に論じられる）である。
【００４１】
ラインコールデバイス２１０は、ネットポスト２２１に物理的に取り付けられるように例示され、テニスコート２２０全体の両サイドの比較的近い「カメラ視野」を提供し、かつ全てのテニスコートがネットポストを有するため、極めて簡便な設定プロセスを促進する。他の実施形態において、ラインコールデバイス２１０は、ネットポスト２２１に近接して位置付けられるが、必ずしも物理的に取り付けられていない（例えば、三脚またはネットポスト２２１の近くの他のスタンド上にある）。ラインコールデバイス２１０をネットポスト２２１に近接して位置付けることの１つの重要な利点は（用いるカメラの数にかかわらず）、ラインコールデバイス２１０がテニスコート２２０全体の両サイドの比較的近い視野を得ることを可能にすることである。
【００４２】
図３Ａの画像３００ａは、テニスコートの２つのサイドの各々のための単一の固定位置カメラ（左サイド用のカメラ３１５Ｌａ及び右サイド用のカメラ３１５Ｒａ）を含むテニスラインコールデバイス３１０ａの一実施形態の拡大図を例示する。他の実施形態において、単一の固定位置カメラは、特にテニスコート３２０の遠いベースラインで潜在的により高い画像解像度を犠牲にするが、テニスコート全体（左及び右サイドの両方）を網羅する。また他の実施形態において、複数のカメラ（例えば、１つが他の上部にある）及び／または複数デバイス（例えば、１つが各ネットポスト上にあり、各デバイスが１つ以上のカメラを含む）が、用いられる。
【００４３】
これらの「コートのサイド毎の複数ビデオカメラ」の実施形態（複数のラインコールデバイスを含む）において、任意の３Ｄ三角法が用いられ得る。さらに、３Ｄ三角法なしであっても、一定の他の利点が明らかである。例えば、第２のラインコールデバイスは、プレイヤの妨害（例えば、単一のビデオカメラのテニスボールの視野を妨げるプレイヤの脚）を最小にすることになる。これは、ダブルステニスの試合に対して特に有用であり得る。さらに、より高い精度は、「より近い」ビデオカメラを使用することによって得ることができる（例えば、ラインコールデバイスからベースラインの遠いコーナまでの距離による誤差を最小にする）。最後に、計算は、２つのラインコールデバイス間で共有され得、パフォーマンスを向上させる。
【００４４】
ラインコールデバイス３１０ａはまた、一実施形態において、記録映像及び関連する統計データの取り外し可能なローカル記憶を可能にするメモリカードリーダ３１４ａも含む。以下により詳細に論じられるように、ラインコールデバイス３１０ａはまた、（別の実施形態において）記録映像及びデータを接続されたデバイス（例えば、スマートフォン、タブレット、ラップトップなど）に内蔵無線通信構成要素を介して送信し得るか、またはかかるデバイスが、有線接続を介して記録映像及びデータを（例えば、ラインコールデバイス３１０ａの内蔵ＵＳＢポートを介して）ダウンロードすることを可能にし得る。
【００４５】
物理的取り付け機構３１３ａは、ラインコールデバイス３１０ａが、ほとんどの任意のネットポスト３２１ａに数秒のうちに取り付けられることを可能にする。かかる「適合性」は、他の中心位置が、ほとんどの任意のテニスコートで利用可能であることが保証されない点で有意であり、このことからラインコールデバイスは、テニスコートの両サイドの比較的近い視野を提供し得る（用いられるカメラの数にかかわらず）。
【００４６】
図３Ｂの画像３００ｂは、ラインコールデバイス３１０ｂがほとんどの任意のネットポスト３２１ｂにすぐに取り付けられることを可能にする、この「共通」取り付け機構３１３ｂの一実施形態の拡大図を例示する。この実施形態において、取り付け機構３１３ｂは、ラインコールデバイス３１０ｂが取り付けられる、平坦レベル表面を提供する「Ｌ字形状スタンド」３１３−１ｂと、スタンド３１３−１ｂをネットポスト３２１ｂに取り付ける弾性ストラップ３１３−２ｂと、を含む。例えば、ラインコール機能を組み込む外部処理システムに通信するために複数ビデオカメラ用の機構を提供することに加えて、テニスコートの周囲の様々な位置で複数ビデオカメラを設置する、はるかに広範な設定タスクを比較されたい。
【００４７】
図３Ｃの画像３００ｃは、ラインコールデバイス３１０ｃ（ネットポスト３２１ｃに取り付けられた）の一実施形態の拡大上面図を例示し、プレイヤが（例えば、交代中に）最近のポイントの即時リプレイを閲覧することを可能にする、内蔵対話型ビデオ表示画面３５０ｃを明らかにし、テニスコートの表面上でのボール（及び近くのコートライン）のその最初の弾みの際のズームイン視野を含む。他の実施形態において、対話型ビデオ表示画面３５０ｃはまた、試合または練習の間及びその後の両方に、対話型図解例示、視覚化、統計データ及び戦略的分析をプレイヤに提供する。
【００４８】
図４Ａのブロック図４００ａは、ラインコールデバイス４１０ａの一実施形態の重要なハードウェア要素、ならびにテニスコートの表面上でのボールのその最初の弾みの際のボールの正確な位置特定を容易にするために代替的実施形態に用いられる、ネットポスト取り付け機構４１３ａ及び外部レーザ４７５ａを例示する。以下により詳細に論じられるように、外部レーザ４７５ａは、ラインコールデバイス４１０ａが、ボール（回転モータ４７６ａを介して）の軌道を追跡すること、及びテニスコートの表面上でボールが弾むときのその位置をより正確に検出すること（ラインコールデバイス４１０ａがボールまでの正確な距離を計算することを可能にする、エミッタ４７７ａ及びセンサ４７８ａを介して）を可能にする。
【００４９】
上記のように、ラインコールデバイス４１０ａは、カメラシステム４１５ａを含み、これは、この実施形態において、２つのカメラを含む（各カメラがテニスコートの一方のサイドのためのビデオフレームを生成する）。言い換えると、単一のビデオカメラは、コートの左サイドを網羅するビデオフレームを生成し、一方で別のビデオカメラは、コートの右サイドを網羅するビデオフレームを生成する。この様式において、以下により詳細に論じられるように（例えば、自動較正、弾み検出、及びラインコールプロセスに関して）、デバイス４１０ａは、ボールがコートの一方のサイドからコートの他方のサイドに渡る際、ボールの比較的拡大された視野を記録し得る（デバイス４１０ａが、ビデオフレーム処理のために２つのカメラのうちの１つを最初に選択し、ボールがネットに対する近接度閾値、即ち、ビデオフレームの縁に到達する際、他のカメラに切り換えることを含む）。上記のように、他の実施形態において、カメラシステム４１５ａは、コート全体を非常に広い角度で網羅する単一の固定位置カメラに限定され得る（特にコートの端部に向かって、解像度を犠牲にするが）。
【００５０】
任意の所与の瞬間で処理するためのビデオフレームを生成及び選択すると（及び以前のビデオフレームを取得すると）、画像処理ユニット４２０ａは、そのビデオフレーム上で画像調節を実施し、レンズ曲率、照明条件、映像ノイズ、及び他の関連要因を計算する。本質的に、ビデオフレームの個々の画素が修正され（または、例えば、物体認識の補助のために異なる閾値と比較される）、これに基づいて特定のアルゴリズムが用いられる。
【００５１】
異なるタイプのプロセッサ（例えば、ＩＳＰ４２２ａ、ＤＳＰ４２４ａ、及びＧＰＵ４２６ａ）は異なるタイプのハードウェア機能を提供するため、特定のプロセッサは、用いられる特定のアルゴリズムに対するその適正に基づいて、画像調節プロセスの特定の部分のために選択される。例えば、ＩＳＰ４２２ａが、ノイズ低減アルゴリズムで頻繁に繰り返されるステップのための専用ハードウェア支援を提供する場合、そのプロセッサは、画像調節プロセスのその態様のためにより高速（及び、したがって、より適切）であり得る。
【００５２】
低費用のスマートフォンチップセットがより利用可能かつ費用効果が高くなるにつれて、これらの様々な異なるタイプのプロセッサの使用は、比較的少ない全体設計及び実装費用を追加する。さらに、リアルタイムで（即ち、各ビデオフレームの生成の間に）処理されなければならない大量の画素を考慮すると、画像調節プロセスの一定のサブタスクを実施するために、複数のコプロッセッサが並列（一実施形態において）に用いられる。任意の事例において、当業者は、本発明の概念から逸脱することなく、並列処理の信頼性を含む、画像調節プロセスの異なる態様のためのプロセッサ選択に関して異なるトレードオフを行い得る。
【００５３】
いったんビデオフレームが画像処理ユニット４２０ａによって調整されると、ラインコールデバイス４１０ａは、アルゴリズム処理ユニット４３０ａを用いて、その状態に応じて、様々な物体検出、分析、及び判断プロセス（以下により詳細に説明される）を実施する。初期設定及びライブプレイフェーズ中、ラインコールデバイス４１０ａは、アルゴリズム処理ユニット４３０ａに依拠して様々なタスクを実施する。
【００５４】
例えば、テニスネットポストに対する取り付け後、ラインコールデバイス４１０ａは、図７を参照して以下により詳細に説明される、自動較正プロセスを実施する。いったん有効化されると（例えば、テニスの試合の開始時に）、ラインコールデバイス４１０ａは、試合の状態、特に、図９を参照して以下により詳細に説明されるように、各ポイントの状態を継続的に判定する（図８での各ポイントの開始時でのプレイヤ位置の検出を含む）。サーバがボールをプレイヤに移す際、ラインコールデバイス４１０ａは、ポイントエンド及びラインコール判断が、図１１Ａ、図１１Ｂ及び／または図１１Ｃを介してラインコールデバイス４１０ａによって行われるまで、図９とともに機能する図１０で各弾み（またはプレイヤボレーなど）を監視する。
【００５５】
一実施形態において、アルゴリズム処理ユニット４３０ａは、複数の汎用ＣＰＵ（ＣＰＵ＃１  ４３２ａ、ＣＰＵ＃２  ４３４ａ、．．．、ＣＰＵ＃ｎ  ４３６ａ）に依存して、これらのタスクを実装する。他の実施形態において、画像処理ユニット４２０ａからのプロセッサもまた、以前のビデオフレームから動いているエリアを識別することなどの、一定のサブタスクを補助するために利用される。画像調節プロセスと同様に、アルゴリズム処理ユニット４３０ａの複数のプロセッサは、一実施形態において、一定のこれらのタスクまたはサブタスクを並列に実施する。ここでもまた、当業者は、本発明の概念から逸脱することなく、並列処理の信頼性を含む、複数のプロセッサ（ＩＳＰ４２２ａ、ＤＳＰ４２４ａ及びＧＰＵ４２６ａを含む）間のタスクの割り当てに関して異なるトレードオフを行い得る。
【００５６】
ラインコールデバイス４１０ａは、システムメモリ４１４ａ、ならびに画像処理ユニット４２０ａ及び／またはアルゴリズム処理ユニット４３０ａ（またはそこに含まれたプロセッサ）に明確に割り当てられたメモリに依拠して、そのタスクの全てを容易にするためにデータを記憶し、これは、これらのタスクの動作を制御するソフトウェア及びファームウェアの記憶を含む（図５を参照して以下により詳細に説明される）。当業者は、本発明の概念から逸脱することなく、専用ハードウェアとかかるソフトウェア及びファームウェアとの間で異なる機能を割り当て得る。
【００５７】
一実施形態において、アルゴリズム処理ユニット４３０ａは、サーブまたはラリー中の「レットコード」のコールを補助するために、加速度計４１２ａから外部加速度データを入力（カメラシステム４１５ａによって生成されたビデオフレームに加えて）として取り込む。他の実施形態において、マイクロホン４１１ａからの入力が、コートのどちらのサイドにボールがあるかの判定を補助するためのボールの音の検出、ならびにショットタイプ検出（例えば、トップスピン、スライスなど）及びプレイヤ位置検出（例えば、サーブを行おうとするプレイヤの位置を判定するための）を含む、様々な目的のために使用される。１つのかかる実施形態において、これらの判定は、フーリエ変換の計算を介して抽出された検出音波の高調波に基づく。さらに別の実施形態において、プレイヤ及びボール位置精度は、外部ラケットセンサ（図示せず）からのデータとの統合によって改善される。
【００５８】
アルゴリズム処理ユニット４３０ａがラインコール判断を行うときは常に、ラインコールデバイス４１０ａは、そのラインコール判断の結果（即ち、インまたはアウト）をプレイヤに示すために信号ユニット４４０ａを用いる。一実施形態において、有色点滅ライトが用いられ（例えば、インに対して緑色、及びアウトに対して赤色）、一方で別の実施形態において音が、点滅光の代わりに、またはそれに加えて発せられる。他の実施形態において、信号ユニット４４０ａは、ボールがアウトをコールされるときのみ、またはボールが関連するラインの近くで弾むときのみ、ラインコール指示信号（光及び／または音）を生成する。
【００５９】
上記のように、ラインコールデバイス４１０ａは、試合統計及び他のデータ、ならびに記録映像を表示するための内蔵対話型ビデオ表示画面４５０ａを含む。プレイヤは、要求に応じて（例えば、交代中または試合もしくは練習後）即時リプレイ、ズームインボール弾み位置、様々な試合統計、ならびに対話型図解及び視覚化を閲覧することができる。一実施形態において、記録映像ならびに関連する統計及び戦略データはまた、無線通信ユニット４６０ａを介してネットワーク接続デバイス（例えば、スマートフォン、タブレットまたはラップトップ）にライブストリーミングされ得るか、またはかかる外部デバイスへのその後のダウンロードのために取り外し可能なローカル記憶ユニット４６７ａ（例えば、取り外し可能なメモリカード）上にローカルに記憶され得る。他の実施形態において、記録映像及び関連する統計データは、システムメモリ４１４ａ内に記録され、かかる外部デバイスにＵＳＢポート４６８ａなどの有線接続を介してダウンロードされる。
【００６０】
一実施形態において、電力ユニット４６５ａは、内蔵の取り外し可能なバッテリを含み、これは、テニスの試合全体（平均長）、例えば、２時間強を監視及び記録するために十分な電力をラインコールデバイス４１０ａに提供する。別の実施形態において、ラインコールデバイス４１０ａはまた、コート外での使用またはコートサイド電源が利用可能である事象について、外部電力（例えば、ＡＣプラグを介して）を受容する。他の実施形態において、ラインコールデバイス４１０ａはまた、延長使用のための外部バッテリパック（または付属太陽電池アレイ）を受容する。
【００６１】
図４Ｂのブロック図４００ｂは、ラインコールデバイス４１０ａの一実施形態の重要な概念的ソフトウェアモジュールを例示する。画像処理ユニット４２０ａと併せて、ビデオ画像プロセッサモジュール４２０ｂが、画像調節プロセスを制御する。ビデオフレーム生成器モジュール４２２ｂは、ビデオフレーム選択器モジュール４２４ｂが画像調節のためのビデオフレーム（左サイド及び右サイドビデオカメラによって生成されたビデオフレームから）を選択し得るように、カメラシステム４１５ａによって生成されたビデオフレームを抽出する。
【００６２】
一実施形態において、ビデオフレーム選択器モジュール４２４ｂは、最初にサーバのサイド上のカメラを選択し、その後のビデオフレームを継続的に分析して、ボールがネットに到達しているときを判定し、この時点でそれがビデオフレームを他のカメラから選択する。ビデオ画像調節器モジュール４２６ｂは、その後、上記（かつ図７及び１０を参照して以下により詳細に説明される）様々な画像調節アルゴリズムを実装して、レンズ曲率、照明条件、映像ノイズ及び他の関連要因を解決するために各ビデオフレームを修正する。
【００６３】
静止物体検出器モジュール４３０ｂは、テニスコートライン（ライン検出モジュール４３２ｂ）、テニスコートネット（ネット検出モジュール４３４ｂ）及び、他の実施形態において、例えば、サッカー場のゴールなどの他の用途の、他の静止物体（他の検出モジュール４３６ｂ）などの静止物体を検出するためのモジュールを含む。ラインコールデバイス４１０ａによって実施されるかかる静止物体検出プロセスの一実施形態の詳細は、図７に例示される自動較正プロセスに関連して以下に説明される。
【００６４】
テニスの試合の各ポイントのプレイ中、ラインコールデバイス４１０ａは、移動物体検出器モジュール４４０ｂに依拠して、テニスボールがテニスコートの一方のサイドから他方のサイドに動く際のテニスボール（ボール検出モジュール４４２ｂを介して）などの特定の動いている物体を識別する。一実施形態において、テニスの試合の各ポイントの開始時に（図９に例示されるプロセスによって判定される）、ラインコールデバイス４１０ａは、プレイヤ検出器モジュール４４４ｂに依拠して、コートのどちらのサイドにサーバがいるか（例えば、ラインコールデバイス４１０ａに対して左サイドまたは右サイド）、及びどちらのサービスボックスにサーバがサーブすることになるか（例えば、デュースまたはアドサービスボックス）を判定する目的のためにプレイヤの相対位置を識別する（図８に例示されるように）。
【００６５】
当業者は、本発明の概念から逸脱することなく、連続ビデオフレームからテニスボール及びテニスプレイヤを識別するために様々な周知の物体検出アルゴリズムから選択し得る。他の実施形態において、ラインコールデバイス４１０ａは、他の検出器モジュール４４６ｂに依拠して、他の用途で動いている物体、例えば、アイスホッケーのパック、複数のビリヤードボールなどを検出する。
【００６６】
上記のように、ラインコールデバイスがテニスネットポストに取り付けられた後、それは、図７を参照して以下により詳細に説明される、自動較正プロセスを実施する。自動較正モジュール４５０ｂは、この自動較正プロセスの２つの重要な態様、即ち、コートマップ及びコートモデルの生成を実施する。
【００６７】
コートマップ生成器モジュール４５２ｂは、既知のテニスコート寸法と、テニスコートの各サイドに対して生成されたビデオフレーム（以下の図５Ａ及び５Ｂ参照）から静止物体検出器モジュール４３０ｂによって検出されたテニスコートのライン及びコーナの分析に基づいて、静止コートマップ（以下の図６参照）を生成する。コートモデル生成器モジュール４５４ｂは、その後、一実施形態において、ビデオフレーム上の２Ｄ座標をコートマップの３Ｄ座標に変換する関数であるコートモデルを生成する（いったんテニスボールが弾むと、それがテニスコートの２Ｄ表面と接触するという仮定に基づく）。コートモデルは、したがって、ビデオフレームからの個々の画素及び物体位置（テニスコートの表面上にあると仮定される）の、コートマップによって表されたテニスコートの表面上の対応する位置への変換を容易にする。
【００６８】
いったん自動較正プロセスが完了してテニスの試合が開始されると、状態アナライザ４７０は、試合の状態、特に、各ポイントの開始及び終了を管理する（図９を参照して以下により詳細に説明されるように）。上記のように、いったん各ポイントが開始すると、ラインコールデバイス４１０ｂによって実施される自動ラインコール機能の重要な態様のうちの１つは、ボールがコートの一方のサイドから他方のサイドにネットを渡って動く際の各ボールの弾み（またはプレイヤボレー）の検出である。このプロセスは、ボール弾み検出器モジュール４６０ｂによって実施され以下に簡単に要約されるが、図９及び１０を参照して以下により詳細に説明される。
【００６９】
一実施形態において、方向性ボール追跡器モジュール４６２ｂは、ボールがコートの一方のサイドから他方のサイドにネットを渡って動く際のテニスボールの速度（即ち、速さ及び方向）を追跡する。上記のように、各瞬間での（即ち、関連するカメラによって生成された各ビデオフレーム上の）３Ｄ空間内のボールの正確な位置は、単一の固定位置カメラによって生成されたビデオフレームから判定され得ない。
【００７０】
しかしながら、「ボールの弾み」が、ボールの垂直方向の急変（その予想される「重力駆動」方向と比較して）を結果としてもたらすことを認識することによって、方向性ボール追跡器モジュール４６２ｂは、一実施形態において、かかる急変が起こったかどうかを判定し得る。そうである場合、その後、かかる変化が、ラインコールを必要とする「ボール弾み」事象と一致するかどうかを判定する。方向性ボール追跡器モジュール４６２ｂが、かかる急変が起こっていないか、または急変がボール弾み事象と一致しない（例えば、受けるプレイヤによるボレー）と判定した場合、その後、ボール弾み検出プロセスは、ボール弾み事象が発生するまで、またはポイントの終了が別途判定される（例えば、ボールが所定期間、ビデオカメラの視野から消える）まで継続する。
【００７１】
別の実施形態において、レーザボール追跡器４６４ｂが、最終的なラインコール判定を補助するために用いられる（例えば、図１０、１１Ａ及び１１Ｃを参照して以下により詳細に説明される）。本質的に、レーザボール追跡器４６４ｂは、連続ビデオフレーム（即ち、ボールが、予想される「重力駆動」方向に従って動いているが、まだ弾んでいない）からレーザ４７５ａの固定位置に対するボールの角度の変化を継続して判定する。レーザボール追跡器４６４ｂは、その後、ボールを継続して追跡するためにレーザ４７５ａの角度を調節する（ＰＩＤアルゴリズムによって制御される、回転モータ４７６ａを介して）。
【００７２】
いったん方向性ボール追跡器モジュール４６２ｂが、ボールが弾んだと判定すると、この弾みは、エミッタ４７７ａによって照射されたビームがレーザ４７５ａに戻る事実によって確認され、それによって、直接「飛行時間型」または「位相ベース」のレーザ走査のいずれかを介して、ボール（テニスコートの表面上でのその最初の弾みの際）とレーザ４７５ａとの間の正確な距離の計算を可能にする。この距離は、その後、ラインコールデバイス４１０ｂがより正確なラインコールを行うことを可能にするために利用される（以下に論じられる）。
【００７３】
方向性ボール追跡器４６２ｂによる、ボールが弾んだことの判定に際して、ラインコールアナライザモジュール４８０ｂが、実際のラインコールを行う。一実施形態において、コートモデル変換器モジュール４８２ｂは、コートモデルを利用して、ビデオフレーム上のボールの位置（テニスコートの表面上のその最初の弾みの際の）をコートマップ上のその対応する位置に変換し、これから、ラインコール判定が、ラインコールアナライザモジュール４８０ｂによって行われ得る（図１１Ａを参照してより詳細に以下に説明される）。
【００７４】
しかしながら、この変換が依然として、レーザ４７５ａが存在する場合に著しく低減され得る一定程度の誤差の対象となることに留意されたい。かかる実施形態において、レーザボール追跡器４６４ｂによって生成される正確な距離は、レーザボール位置更新器４８６ｂによって使用され、ラインコールアナライザモジュール４８０ｂがそのラインコール判定を行う前にコートモデル変換器モジュール４８２ｂによって判定されたコートマップ上の位置を更新する。
【００７５】
代替的実施形態において、ラインコールアナライザモジュール４８０ｂは、コートモデルを利用するコートモデル変換器モジュール４８２ｂに依拠しない。代わりに、それは、ビデオフレーム比較器４８４ｂに依拠して、テニスコートの表面上でのボールの最初の弾みの際に生成されたビデオフレーム上のボール及び関連するコートラインの相対位置のみに基づいて、ラインコールを行う。この実施形態は、レーザ４７５ａが存在せず、かつコートモデルに基づく変換の蓄積誤差が無視できないと仮定すると、ボールの弾みが関連するラインに非常に近いときに特に有用である。この実施形態は、図１１Ｂを参照して以下により詳細に論じられる。しかしながら、この実施形態は（図１１Ａ及び１１Ｃに例示される実施形態と比較して）、各ボール弾み事象の正確な位置を判定しない欠点を有し、これは、後続の統計分析及び視覚化に別途有用であり得ることが留意されるべきである。
【００７６】
最後に、通信モジュール４７７ｂが、ラインコールデバイス４１０ｂの様々な異なるタイプの外部との通信を管理する。一実施形態において、かかる通信は、例えば、信号ユニット４４０ａ（例えば、点滅する赤色及び緑色の光、音など）と、ディスプレイユニット４５０ａを介したズームインボール位置を含むポイントの即時映像リプレイ、統計、図解及び視覚化の表示と、記録映像、ならびに統計、視覚化及び他のデータの外部デバイス（例えば、スマートフォン、タブレット及びラップトップ）への、ローカルネットワーク上での及びインターネットを介しての（無線通信ユニット４６０ａを介しての）無線ストリーミングと、取り外し可能なローカル記憶装置４６７ａ及びＵＳＢポート４６８ａなどの有線接続を介した、かかる記録映像及びデータの物理的ダウンロードと、を含む。
【００７７】
上記を参照すると、ラインコールデバイス４１０ａの一実施形態は、テニスコートの各サイドに対して１つずつ、２つの高速、高解像度ビデオカメラを含むカメラシステム４１５ａを含む。各瞬間（ビデオカメラフレームレートに依存する）の間、各カメラは、ビデオフレームを生成し、そのうちの１つは、物体（ボール、プレイヤなど）を検出し、最終的にラインコール判断を行うために選択され使用される（そのカメラからの以前のビデオフレームと併せて）。これらのカメラの各々によって生成されたビデオフレームが、図５Ａ及び５Ｂにそれぞれ例示され、ビデオフレーム上の個々の画素及び物体の位置を識別するために用いられる座標系に関して以下に論じられる。
【００７８】
図５Ａを参照すると、画像５００ａは、カメラシステム４１５ａの左サイドカメラ構成要素によって生成されたビデオフレームを例示し、これは、テニスコートの左サイド５２０ａを網羅するそのカメラの視野を反映する。ビデオフレーム５００ａ上のテニスボール５２５ａの最下部の画素の位置が、Ｘ軸幅の「Ｗ」画素及びＹ軸高さの「Ｈ」画素を有するビデオフレーム座標系５０５ａ内の２Ｄ画素座標（ｘｐ、ｙｐ）を有する点「Ｂ」によって表される。
【００７９】
同様に、図５Ｂにおいて、画像５００ｂは、カメラシステム４１５ａの右サイドカメラ構成要素によって生成されたビデオフレームを例示し、これは、テニスコートの右サイド５２０ｂを網羅するそのカメラの視野を反映する。ビデオフレーム５００ｂ上のテニスボール５２５ｂの最下部の画素の位置が、Ｘ軸幅の「Ｗ」画素及びＹ軸高さの「Ｈ」画素を有するビデオフレーム座標系５０５ｂ内の２Ｄ画素座標（ｘｐ、ｙｐ）を有する点「Ｂ」によって表される。
【００８０】
一般的な問題として、３Ｄ空間内のテニスボールの実際の位置が、図５Ａの画像５００ａまたは図５Ｂの画像５００ｂなどのビデオフレーム内のその２Ｄ画素位置のみから判定することができないことが強調されるべきである。しかしながら、かかる判定は、そのシーンの幾何学的形状に関する所与の一定の知識を考慮して行われ得る。
【００８１】
例えば、図６及び７を参照して以下により詳細に説明されるように、テニスコートの寸法は、標準化されており、したがって周知である。さらに、ビデオフレームを生成するビデオカメラの位置（テニスコートの一方または両方の）は、既知である。したがって、テニスコートの表面上のコートラインの正確な位置は、カメラの視野内のそれらのコートラインを含むビデオフレームから再構築され得る。この情報を考慮して、コートマップによって表されるテニスコートの表面上の対応する位置へのビデオフレーム上の個々の画素及び物体位置の変換を容易にする機能または「コートモデル」として「コートマップ」が構築され得る（以下の図６に例示される）。
【００８２】
図６を参照すると、画像６００は、既知のコート寸法と、ラインコールデバイス４１０ａの左サイド及び右サイドのカメラによって生成されたビデオフレーム上のコーナ６３０（即ち、各サイド上の７つのコートライン交差）の２Ｄ画素座標から再構築された、テニスコートのコートマップ６２０の一実施形態の図解例示である。コートマップ６２０は、３Ｄコートマップ座標系６０６においてセンチメートルで表される（ｘｃｍ、ｙｃｍ、ｚｃｍ）点が、２Ｄビデオフレーム座標系６０５（ｘｐ、ｙｐ）内のそれらの対応する位置（画素単位で）上に「オーバレイ」されるという点で、「コートマップオーバレイ」として例示される。
【００８３】
しかしながら、コートマップ６２０の点が、カメラ６１５を除いて、高さが既知であるテニスコートの表面上に全て位置付けられる（即ち、ｚ＝０ｃｍ）ことに留意されたい（例えば、一実施形態において１０７ｃｍ）。カメラ６１５は、ラインコールデバイス４１０ａの左サイド及び右サイドのビデオカメラの正確な位置がわずかに異なり、これら２つのカメラによって生成されたそれぞれのビデオフレームから単一のコートマップ６２０を生成することに考慮されるが、例示的目的のために３Ｄコートマップ座標系６０６の原点で単一の点として例示される。
【００８４】
それらの座標が、図６に例示されないが、各コーナ６３０は、そのビデオフレーム内で点（ｘｐ、ｙｐ）として画素単位の２Ｄビデオフレーム座標系６０５内（例えば、図５Ａの画像５００ａまたは図５Ｂの画像５００ｂ）、及びテニスコートの表面上でセンチメートル（ｘｃｍ、ｙｃｍ、０ｃｍ）での３Ｄコートマップ座標系６０６内で説明され得る、単一の点（例えば、一実施形態において、２つ以上のコートラインの交差の中心で）として表され得る。これらの点は、それらが同一平面、即ち、テニスコートの表面内に存在するため、２Ｄビデオフレーム座標系６０５（ｘｐ、ｙｐ）及び３Ｄコートマップ座標系６０６（ｘｃｍ、ｙｃｍ、０ｃｍ）の両方に記載され得る。
【００８５】
結果として、ラインコールデバイス４１０ａは、これら２つの座標系（図７を参照して以下により詳細に説明されるように）の間のかかる点を変換する関数（本明細書でコートモデルと呼ばれる）を生成し得る。このコートモデル関数は、ビデオフレーム上の個々の画素及び物体位置を、コートマップ６２０によって表されるテニスコートの表面上の対応する位置に変換する（及びその逆も同様）ために用いられる。
【００８６】
ラインコールデバイス４１０ａはそのためまた、このコートモデル関数を用いて、これらの２つの座標系の間のテニスボールの位置を変換する（テニスコートの表面上でのその最初の弾みの際に）。いったんテニスボールがテニスコートの表面上で弾むと、テニスコートに最初に接触するテニスボールの最下部の画素を表す点「Ｂ」６２５は、２Ｄビデオフレーム座標系６０５内で、点（ｘｐ、ｙｐ）６２５ｐとして、及び３Ｄコートマップ座標系６０６内で、点（ａｃｍ、ｂｃｍ、０ｃｍ）としての両方で記載され、それによって、ラインコールデバイス４１０ａが、テニスコートの表面上のテニスボールの正確な位置を特定することを可能にする（以下に論じられる、一定程度の誤差の対象になる）。その位置を考慮して、ラインコールデバイス４１０ａは、その後、図１１Ａ及び１１Ｃを参照して以下により詳細に論じられるように、テニスボールが、任意の関連するライン（例えば、ベースライン、サービスライン、サイドラインなど）に対して「イン」または「アウト」であるかどうかを判定し得る。
【００８７】
図７を参照すると、フローチャート７００は、その自動較正プロセス中にラインコールデバイス４１０ａによって実施される重要なステップを説明する。一実施形態において、このプロセスは、ラインコールデバイス４１０ａがテニスコートのネットポストの１つに取り付けられた後に開始される。このプロセスの結果として、ラインコールデバイス４１０ａは、コートマップ及びコートモデルを生成して、ビデオフレーム上の個々の画素及び物体位置（特に、テニスコートラインコーナ及びテニスボールの最初の弾みの際のテニスボール）、コートマップによって表されたテニスコートの表面上の対応する位置への変換を容易にする。
【００８８】
いったんラインコールデバイス４１０ａが、ステップ７０５において自動較正プロセスを開始すると、ビデオフレーム生成器４２２ｂは、処理のためにカメラシステム４１５ａによって取得されたビデオフレーム（左サイド及び右サイドの両方のビデオカメラからの）を抽出する（ステップ７１０において）。ステップ７２０において、ビデオ画像調節器４２６ｂは、画像調節プロセスを開始する。特に、ステップ７２２において、それは、ビデオフレームをＹ８輝度レベルに変換して、環境の照明レベルの差を調節し、その後、ステップ７２４において、ビデオフレームの歪みを取り除き、各ビデオカメラの曲面レンズによる歪みを調節する（一実施形態において、用いられる特定のレンズに特有の「レンズモデル」に基づく）。当業者は、本発明の概念から逸脱することなく、ビデオ画像調節器４２６ｂが、この画像調節プロセスを実施することを可能にするために異なる画像調節アルゴリズムを用い得る。
【００８９】
ステップ７３０において、ライン検出器４３２ｂは、複数のステップからなるプロセスを開始して、ビデオ画像からテニスコートラインを識別し、これは、縁またはそれらのラインが交差するコーナを含む。このプロセスは、標準テニスコート寸法の知識によって容易になる。
【００９０】
ステップ７３２において、ライン検出器４３２ｂは、ビデオフレーム内のＸ及びＹ勾配上でＳｏｂｅｌオペレータを適用して、テニスコートラインの白色画素を検出し、またエッジ検出のための適合的閾値を用いる。ライン検出器４３２ｂは、ステップ７３４において影除外アルゴリズムを実施して、コート上の影から結果として生じる任意の「偽のライン」を除外する。ライン検出器４３２ｂはまた、一般に使用されるハフライン変換を用いて、ビデオ画像上のラインを検出する。ステップ７３６において、ライン検出器４３２ｂは、既知の標準テニスコート寸法と一致しない任意の「非コート」ライン（例えば、フェンス、隣のコートなど）を排除する。最後に、ステップ７３８において、ライン検出器４３２ｂは、標準テニスコート寸法のその知識を再び利用して、残りのテニスコートラインのコーナを判定する。画像調節プロセスに伴い、ライン及びエッジ検出における当業者は、本発明の概念から逸脱することなく、ライン検出器４３２ｂが、このライン検出プロセスを実施することを可能にするように異なるアルゴリズムを用い得る。
【００９１】
コートの両サイドを網羅するビデオ画像からテニスコートのライン及びコーナを検出すると、コートマップ生成器４５２ｂが、ステップ７４０において、図６に例示され上記に説明されたコートマップ６２０を生成する。特に、上記に説明されるように、３Ｄコートマップ座標系６０６（ｘｃｍ、ｙｃｍ、ｚｃｍ）で表される、既知のテニスコート寸法を考慮して、テニスコートのラインが、２Ｄビデオフレーム座標系６０５（ｘｐ、ｙｐ）上に「オーバレイ」され得る。
【００９２】
ライン検出器４３２ｂが、ビデオフレーム上のテニスコートのコーナ６３０を識別し、これらのコーナが両方の座標系内の点として表されることを可能にすることで、これが可能になる。これらの既知の共平面点（カメラシステム４１５ａ内のビデオカメラの既知の位置を含む）を考慮して、コートモデル生成器４５４ｂは、ステップ７５０のコートモデルを生成し、その後、ステップ７６０において自動較正プロセスが終了する。当業者は、本発明の概念から逸脱することなく、（単一の固定位置カメラによって生成されたビデオフレーム上の十分な数の共平面点の位置を考慮して）かかる変換をもたらすために様々な異なるアルゴリズムを用い得る。［例えば、「Ａ  Ｓｉｍｐｌｅ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｏｂｊｅｃｔ  Ｌｏｃａｔｉｏｎ  ｆｒｏｍ  ａ  Ｓｉｎｇｌｅ  Ｉｍａｇｅ  ｗｉｔｈｏｕｔ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ」，Ｂｅｎａｌｌａｌ  ａｎｄ  Ｍｅｕｎｉｅｒ，Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｓｃｉｅｎｃｅ  ａｎｄ  ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎｓ，Ｖｏｌｕｍｅ  ２６６７  ｏｆ  ｔｈｅ  ｓｅｒｉｅｓ  Ｌｅｃｔｕｒｅ  Ｎｏｔｅｓ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ，ｐｐ．９９−１０４，Ｓｐｒｉｎｇｅｒ，Ｊｕｎｅ  １８，２００３を参照されたい。］
【００９３】
上記のように、このコートモデルは、ビデオフレーム上の個々の画素及び物体位置の、コートマップによって表されるテニスコートのプレイ表面上の対応する位置への変換を容易にする関数である。この変換が、テニスコートの表面と同一平面内（即ち、地面上）であることが既知である画素及び物体のみに適用されることに留意されたい。以下に論じられるように、１つのかかる重要な物体は、テニスボールの最初の弾みの際のテニスボールである（これは、図１０を参照して以下に論じられるように別個に特定される）。
【００９４】
いったんラインコールデバイス４１０ａがテニスネットポストに取り付けられ、かつ数秒内でその自動較正プロセスが完了すると（上記の図７に説明されるように）、プレイヤは、その後、一実施形態において、任意のタイミングで試合を開始することができる。図９を参照して以下に論じられるように、状態アナライザ４７０ｂは、その後、試合の状態、特に、各ポイントの開始及び終了を追跡する。他の実施形態において、ラインコールデバイス４１０ａは、それが、選択的にラインコールを行い（例えば、ベースラインまたは特定のサービスラインもしくはサイドラインにラインコールを限定する）、関連する統計を抽出する、練習または「フリープレイ」モードなどの追加のモードを有する。
【００９５】
各ポイントの開始時に、サーバが、ボールをプレイする前に、プレイヤ検出器４４０ｂが、図８のプレイヤ検出プロセス８００を参照して以下に説明されるように、カメラシステム４１５ａ内のビデオカメラによって生成されたビデオフレーム内のプレイヤの各々を検出する。要するに、それは、プレイヤの相対位置を検出し、ラインコールデバイス４１０ａが、サーバ及び標的サービスボックスを識別することを可能にし（一実施形態において、各サーブの前に点数をコールアウトする）、これは、「ポイント状態」（図９を参照して以下に説明される）を監視し、かつボールの弾みを検出する（図１０を参照して以下に説明される）プロセスを容易にする。
【００９６】
ステップ８０５において、ラインコールデバイス４１０ａは、プレイヤ検出プロセスを開始する。ステップ８１０において、ビデオフレーム生成器４２２ｂは、処理のためにカメラシステム４１５ａによって取得されたビデオフレーム（左サイド及び右サイドの両方のビデオカメラからの）を抽出する。ステップ８２０において、ビデオ画像調節器４２６ｂは、図７の自動較正プロセス７００に関して上記に説明されたものと同様の画像調節プロセスを開始する。しかしながら、プレイヤ検出プロセス８００のステップが、静止テニスコートラインを処理する自動較正プロセス７００とは対照的に、プレイヤが地点間を動いている間に継続して実施されることが留意されるべきである。
【００９７】
ステップ８２２において、ビデオ画像調節器４２６ｂは、ビデオフレームをＹ８輝度レベルに変換して、環境の照明レベルの差を調節し、その後、ステップ８２４において、ビデオフレームの歪みを取り除き、各ビデオカメラの曲面レンズによる歪みを調節する（一実施形態において、用いられる特定のレンズに特有の「レンズモデル」に基づく）。
【００９８】
その後、ステップ８３０において、プレイヤ検出器４４４ｂは、以前のビデオフレームの間の経時的な差を検出し、そのため、ステップ８４０において、動いている領域が複数のビデオフレームにわたって検出され得る。ステップ８５０において、プレイヤ検出器４４４ｂは、これらの動いているエリアをフィルタリングして、最大のもの、即ち、テニスプレイヤを構成するものを単離する。この様式で、プレイヤ検出器４４４ｂは、１つ以上の連続ビデオフレーム上でプレイヤの位置を判定する（コートの特定のサイド上のプレイヤの位置に応じて、左サイドまたは右サイドのビデオカメラのいずれか一方によって生成されたビデオフレームを選択するビデオフレーム選択器４２４ｂを用いる）。
【００９９】
プレイヤ検出プロセス８００は、ステップ８５５において、全てのプレイヤが検出されるまで継続し、そのポイントで、ステップ８６０において、プレイヤ検出器４４４ｂは、カルマンフィルタアルゴリズムを適用して、プレイヤの相対位置を確認し、ステップ８７５でプレイヤ検出プロセス８００を終了し、図９のステップ９１２に戻る。ステップ８５５において１人以上の残りのプレイヤがまだ検出されるべき事象において、プレイヤ検出器４４４ｂは、ステップ８１０に戻って、ビデオフレーム生成器４２２ｂを呼び出し、後続のビデオフレームを抽出及び処理する。
【０１００】
一実施形態において、各プレイヤは、１つ以上の連続ビデオフレーム上の外接矩形によって画定され、その矩形内の最下部の画素が、テニスコートの表面上に接触しているプレイヤの一部（即ち、プレイヤの足）を表す。プレイヤ検出器４４４ｂは、その後、コートモデル変換器４８２ｂを呼び出して、ビデオフレーム上（及びテニスコートの表面上）のプレイヤの足の位置をコートマップ６２０上の対応する位置に変換する。
【０１０１】
この実施形態において、コートマップ６２０上の各プレイヤの位置は、以下に説明されるように、ステップ９１２においてプレイヤの相対位置の判定を容易にする（例えば、ダブルスのパートナーを含む、サーバ及びレシーバに対するデュース対アドサイド）。かかるプレイヤ位置もまた、一実施形態において、各プレイヤによるコート守備範囲などの様々な統計のために利用される。
【０１０２】
別の実施形態において、プレイヤ検出プロセス８００は、プレイヤラケット及びショットタイプ（例えば、フォアハンド、バックハンドなど）を検出するために、プロセスの一部として用いられる。しかしながら、かかる機能は、時間的に比較的頻繁に用いられない場合でさえ、比較的ＣＰＵ負荷が大きいことが留意されるべきである。
【０１０３】
当業者は、本発明の概念から逸脱することなく、プレイヤ検出器４４４ｂが、このプレイヤ検出プロセスを実施する（例えば、ビデオフレーム間の差を検出し、動いているエリアを識別し、かつテニスプレイヤなどの大きな物体を識別する）ことを可能にするために、異なるプレイヤ検出及び物体検出アルゴリズムを用い得る。
【０１０４】
図９の「ポイント状態」プロセス９００を参照すると、これは、ステップ９０５においていったんテニスの試合の各々以前のポイントが終了すると始まり、プレイヤ検出器４４４ｂが、ステップ９１０において、図８を参照して上記に説明されたプレイヤ検出プロセスを開始する。いったん全てのプレイヤが検出され、それらの相対位置が確認されると、制御がステップ９１２に戻り、状態アナライザ４７０ｂが、ポイントを開始するために、どのプレイヤがサーバであり、どのサービスボックス（デュースまたはアドサイド）に対してサーブが標的にされるかを判定する。
【０１０５】
ステップ９１４において、状態アナライザ４７０ｂは、ボール弾み検出器４６０ｂを呼び出して、第１のサーブまたは第２のサーブがテニスコートのプレイ表面上で弾むとき／弾むかどうかを判定する。この弾み検出プロセス１０００は、図１０を参照して以下により詳細に説明される。
【０１０６】
ステップ９１５において、状態アナライザ４７０ｂは、ボールの弾みが、実際のサーブに起因するものか、または単にサーバがボールをサーブする前にボールを弾ませていることに起因するものかどうかを判定する（ボールの弾みの位置を考慮すると比較的簡単な判定）。サーバが、サーブする前にボールを単に弾ませた場合、状態アナライザ４７０ｂは、この弾みを無視し、最終的に実際のサーブに起因するボールの弾みが検出されるまで、ボール弾み検出器４６０ｂを再び呼び出す。他の実施形態において、ラインコールデバイス４１０ａは、サーブ自体の開始をまず検出し（例えば、サーバのラケットとボールとの間の交差を検出することによって）、それによって、これらの「偽の弾み」を検出する必要性を排除する。
【０１０７】
いったん実際のサーブからのボールの弾みが検出されると、ラインコールアナライザ４８０ｂが呼び出され、ステップ９２０において、サービスラインコールを行う（図１１Ａ〜１１Ｃを参照して以下に説明されるように）。実際にボールが弾む以外に、サーブされたボールがカメラ４１５ａの視野から去り、弾みが全く検出されない（所定閾値期間内に）可能性があることに留意されたい。他の（比較的珍しい）シナリオとしては、別のプレイヤのラケット、フェンスなどを含む、弾む前の障害物が挙げられる。かかるシナリオにおいて（図９に例示されないが）、ラインコールアナライザ４８０ｂは、呼び出されない。
【０１０８】
いずれの事象においても、状態アナライザ４７０ｂは、ステップ９２２において、第１のサーブがアウトをコールされたか、または「タイムアウト」もしくは他の弾みのないシナリオによってアウトとみなされるかどうかを判定する。そのような場合、制御は、ステップ９１４に戻り、状態アナライザ４７０ｂは、ボール弾み検出器４６０ｂを再び呼び出して、第２のサーブが弾むとき／弾むかどうかを判定する。
【０１０９】
そうでない場合、状態アナライザ４７０ｂは、ステップ９２５において、ポイントが終了したかどうかを判定する。例えば、ポイントは、第２のサーブがアウトをコールされるか（または弾む代わりに「タイムアウト」）、または相手のプレイヤがサーブを打つなどの珍しいシナリオに際して終了する。ポイントが終了した場合、通信モジュール４７７ｂが呼び出され、ステップ９５０において、点数を更新してプレイヤに示し、制御をステップ９０５に戻して、次のポイントを開始する。
【０１１０】
しかしながら、ラインコールアナライザ４８０ｂが、ステップ９２５において、ポイントが終了していないと判定した場合（例えば、第１のサーブまたは第２のサーブがインをコールされ、それによって、ラリーが始まる場合）、その後、状態アナライザ４７０ｂは、ボール弾み検出器４６０ｂを呼び出し、ステップ９３０において、リレー中に次の弾み（または「タイムアウト」もしくは他の関連するシナリオ）を検出する。
【０１１１】
いったんラリーボール弾み事象が検出されると、ラインコールアナライザ４８０ｂが呼び出され、ステップ９４０において、ラリーラインコールを行う（図１１Ａ〜１１Ｃを参照して以下に説明されるように）。ここでもまた、実際のボールの弾み以外に、ボールがカメラシステム４１５ａの視野から去り、弾みが全く検出されない（所定閾値期間内に）可能性があり、この場合、ラインコールアナライザ４８０ｂが呼び出されないが、ボールは、アウトとみなされる。他のシナリオとしては、相手のプレイヤのボレーが挙げられるが、これもまた、ラインコールアナライザ４８０ｂを呼び出す必要性を不要にする。
【０１１２】
いずれにしても、制御は、その後、ステップ９２５に戻り、ラリーが終了したかどうかを判定する。そうでない場合、ステップ９３０（ボール弾み検出）及び９４０（ラインコール）が、ポイントが最終的に終了する（例えば、アウトラインコールによって）まで繰り返され、その後、通信モジュール４７７ｂが呼び出され、ステップ９５０において、点数を更新してプレイヤに示し、制御をステップ９０５に戻して、次のポイントを開始する。
【０１１３】
図９に例示されないが、状態アナライザ４７０ｂは、（他の実施形態において）テニスの試合、ならびに練習及び他の所定シナリオの状態を維持する。例えば、各ポイントの開始及び終了を監視することに加えて、状態アナライザ４７０ｂは、試合全体（または練習もしくは類似シナリオ用の他の所定点数付与システム）を通してゲームを維持し、点数を設定する。
【０１１４】
図１０を参照すると、フローチャート１０００は、上記で参照されたボール弾み検出プロセスの一実施形態を説明し、ステップ１００５で始まる（サーブ中及び後続のラリーのショットで呼び出される）。上記のように、この弾み検出プロセスは、ラインコールを行う最終的な目標における重要なステップである。
【０１１５】
ステップ１０１０において、ビデオフレーム生成器４２２ｂは、処理のためにカメラシステム４１５ａによって取得されたビデオフレーム（左サイド及び右サイドの両方のビデオカメラからの）を抽出する。ステップ１０２０において、ビデオ画像調節器４２６ｂは、それが継続的、この場合、ボールがテニスコートにわたって動く間、に実施されるという点で、上記のもの（図８に例示されているプレイヤ検出プロセスに関して）と同様である画像調節プロセスを開始する。しかしながら、テニスボールの拡大視野が正確な弾み検出を容易にするため、ビデオフレーム選択器４２４ｂは、左サイド及び右サイドのビデオカメラの「より近い方」によって生成されたビデオフレームを画像調節のために選択する。例えば、それは、サーバサイドのビデオカメラから始まり、ボールがネットに対する近接度の閾値、即ち、ビデオフレームの縁に到達する度に、他方のカメラに繰り返し切り換える。
【０１１６】
ステップ１０２２において、ビデオ画像調節器４２６ｂは、ビデオフレームをＹ８輝度レベルに変換して、環境の照明レベルの差を調節し、その後、ステップ１０２４において、ビデオフレームの歪みを取り除き、各ビデオカメラの曲面レンズによる歪みを調節する（一実施形態において、用いられる特定のレンズに特有の「レンズモデル」に基づく）。
【０１１７】
ステップ１０３０において、ボール検出器４４２ｂは、以前のビデオフレームの間の経時的な差を検出し、そのため、ステップ１０４０において、動いている領域が複数のビデオフレームにわたって検出され得る。ステップ１０４５において、ボール検出器４４２ｂは、テニスボールの既知の形状及びサイズを表し得る、小さい特有に動いているエリアを単離するためにこれらの動いているエリアをフィルタリングする。
【０１１８】
ステップ１０５０において、方向性ボール追跡器４６２ｂは、経時的な（連続ビデオフレームにわたって）テニスボールの経路を予測及び確認するために、重力モデルに基づいて、カルマンフィルタアルゴリズムを用いる。言い換えると、連続ビデオフレームにわたって動いている検出されたテニスボール「候補」の経路は、主に重力による影響を受けるテニスボールの経路を一致するという点で確認される。
【０１１９】
単一の固定ビデオカメラによってテニスボールの３Ｄ空間における正確な位置を判定することが不可能であるにもかかわらず、ボールの予測軌道（重力モデルに基づく）は、連続ビデオフレーム上で経時的に取得されるその実際の軌道と比較され得る（例えば、ボールの弾みと一致する垂直方向の予測されない変化を呈する）。さらに、重力モデルはまた、以下に説明されるように、ボールの弾みとボレーとの間の重要な区別を容易にする。
【０１２０】
他の環境要因（例えば、風）は、比較的高速に動くテニスボールに対して重力よりも著しく小さい影響を有する（ビデオフレーム間で）。速さ及び重力は別として、風力は、本質的に「三次」または最小要因である。重力モデルの使用はまた、映像ノイズからの「偽陽性」及び他の近くの動いている物体（例えば、木または鳥）を排除することを助ける。
【０１２１】
一実施形態において、任意の外部レーザ４７５ａは、テニスボールの各弾みの正確な位置を容易にするために用いられる（以下に説明されるように、特に、テニスボールが関連するコートラインの近くで弾むとき）。特に、ステップ１０７６（図１１Ｃを参照して以下により詳細に説明される）において、レーザボール追跡器４６４ｂは、レーザ４７５ａの角度を継続的に調節して、レーザ４７５ａによって放射されたビームがテニスボールと交差するまで動いているテニスボールを追跡し（即ち、ボールの弾みを確認する）、この地点で、レーザボール位置更新器４８６ｂは、コートマップ６２０上のテニスボールの正確な位置を判定し、制御をステップ１０７２に戻して、ラインコールプロセスを完了する（以下に説明されるように）。その間、ボールの弾みが確認されるまで、制御は、レーザ４７５ａが用いられなかった場合と同様、ステップ１０５５に戻る。
【０１２２】
ステップ１０５５において、方向性ボール追跡器４６２ｂは、ボールが方向の急変を経験したかどうかを判定する（重力モデルの文脈における連続ビデオフレームのその分析から）。否定的である場合（通常、テニスボールが各ショット後に、主に重力による影響を受けて飛んでいる場合）、その後、方向性ボール追跡器４６２ｂは、制御をステップ１００５に戻して、連続ビデオフレームに対して弾み検出プロセス１０００を繰り返す。
【０１２３】
いったん方向性ボール検出器４６２ｂが、ボールが方向の急変を経験したことを判定すると、その後、それは、ステップ１０６５において、方向の急変が実際のボールの弾みと一致するかどうかを判定する。言い換えると、テニスボールの角度、速さ及び方向を追跡することによって（その３Ｄ空間内の正確な位置を知らない場合でさえ）、方向性ボール追跡器４６２ｂは、テニスコートのプレイ表面上で弾むテニスボールの経路（主に重力による影響を受ける）を、例えば、ボレーまたは他の衝突（例えば、テニスプレイヤの身体との）に起因する代替経路から区別し得る。
【０１２４】
方向の急変がボールの弾みと一致しない事象において、その後、方向性ボール追跡器４６２ｂは、上記のように継続した「ポイント状態」分析のために、制御を図９のステップ９４０（または第１のサーブまたは第２のサーブの事象においてステップ９１５）に戻す。例えば、上記のステップ９２５を参照すると、検出された「ボレー」（または一実施形態において、サーブまたはラリー中の「レットコード」）は、ポイントの継続及びステップ９３０でのボール弾み検出の繰り返しをもたらすことになる。一方で、レシーブするプレイヤから検出された偏向は、ポイントを終了させることになり（レシーブするプレイヤが点数を失う）、フェンスまたは他の障害物から検出された偏向もまた、ポイントを終了させることになるが、レシーブするプレイヤに有利なものである。
【０１２５】
しかしながら、方向性ボール追跡器４６２ｂが、ボールが実際に弾んだと判定した場合、その後、ボール弾み検出器４６０ｂは、ステップ１０７０において、最初のボールの弾みを反映するビデオフレームを抽出し（例えば、後続のビデオフレームがボールの弾みを確認するために処理された場合でさえ）、ラインコールアナライザ４８０ｂを呼び出す。
【０１２６】
一実施形態において、ボール検出器４４２ｂは、共通のコンピュータビジョン「テンプレート照会」アルゴリズムを用いて、プレイヤ検出及びボール検出のプロセス（例えば、動いているエリアを識別し、かつテニスボール、人またはラケットなどの小さい特有の物体を識別するための）を容易にする。しかしながら、当業者は、本発明の概念から逸脱することなく、異なるボール検出アルゴリズムを用い得る。
【０１２７】
いったんラインコールアナライザ４８０ｂが呼び出されると、図１１Ａ〜１１Ｃを参照して以下に記載されるように、複数の代替的及び相補的なラインコール方法論が用いられ得る。
【０１２８】
一実施形態において、ボール弾み検出器４６０ｂは、コートモデル変換器４８２ｂを呼び出して、図１１Ａを参照して以下により詳細に説明されるように、ステップ１０７２において、「コートマップ変換」ラインコールを実施する。この方法を別の実施形態で捕捉すると、ステップ１０７６に関して上記かつ図１１Ｃを参照して以下により詳細に説明されるように、レーザボール位置更新器４８６ｂが、テニスボールが弾むときのそのより正確な位置を取得することを可能にするために外部レーザ（レーザ４７５ａ）が用いられる。そのシナリオにおいて、このより正確な位置は、ラインコールアナライザ４８０ｂによって利用されて、そのラインコールを改善する（ステップ１０７６と１０７２との間で矢印によって例示されるように）。
【０１２９】
代替的実施形態において、ボール弾み検出器４６０ｂは、ビデオフレーム比較器４８４ｂを呼び出して、ステップ１０７４において、図１１Ｂを参照して以下により詳細に説明されるように、「ビデオフレーム比較」ラインコールを実施する（対応するコートマップ６２０位置への変換なしで、１つ以上のビデオフレーム内の位置に基づいて）。
【０１３０】
他の実施形態において、これらのラインコール方法の異なる組み合わせが、本発明の概念から逸脱することなく、用いられ得る。例えば、一実施形態において、「コートマップ変換」及び「ビデオフレーム比較」のラインコール方法の両方が用いられる。別の実施形態において、他の方法に重ねた１つの方法の選択は、各方法について計算された、推定された「誤差の可能性」に基づき、例えば、ボール弾み位置の関連するラインへの「近さ」に部分的に基づく（最初のボール弾みビデオフレームから推定される）。
【０１３１】
図１１Ａを参照すると、「コートマップ変換」ラインコールプロセス１１００ａは、図１０のステップ１０７２においてボール弾み検出器４６０ｂによって呼び出されることに際して、ステップ１１０５ａで始まる。コートモデル変換器４８２ｂは、ステップ１１１０ａにおいて、コートモデル関数（最初のボール弾みを反映するビデオフレームに関する）を用いて、そのビデオフレーム上のボールの位置を、コートマップ６２０上のその対応する位置に変換する。
【０１３２】
上記のように、コートモデル変換は、例えば、ベースラインでの「離れた」画素及び遠いサイドライン（ラインコールデバイス４１０ａの位置に対して）の検出によって、ある程度の誤差（画像調節プロセス中に生成される任意の誤差に加えて）を結果として生じ得る。かかる誤差は、当然のことながら、ボール弾みの位置が関連するコートラインにより近いときにより有意である。レーザ４７５ａが存在する場合、その後、それが生成する、より正確なボール弾み位置が、一実施形態において、変換された位置の代わりに利用され得る。
【０１３３】
いずれにしても、ラインコールアナライザ４８０ｂは、ステップ１１２０ａにおいて、関連するコートラインを識別する。例えば、デュースコートへのサーブの事象において、関連するコートラインは、デュースサービスボックスの３つのライン（センターライン、サイドライン及びサービスライン）である。ラリーの事象において、関連するコートラインは、両方のサイドライン及びベースラインの全てである。他の実施形態において（例えば、ダブルスの試合）、アレーラインが同様に考慮される。コートラインの全ての位置が、上記の図７を参照して説明される、自動較正プロセス７００中のコートマップ６２０上の対応する位置に事前に変換されていることに留意されたい。
【０１３４】
ステップ１１３０ａにおいて、ラインコールアナライザ４８０ｂは、ステップ１１１０ａで判定されたボール弾み位置を、ステップ１１２０ａで生成された関連するライン位置と比較して、ラインコールを行う。例えば、一実施形態において、関連するコートラインの「イン」側の全ての点（コートライン自体を含む）は、「イン」の点として指定される。ボール弾み位置が、それらの「イン」の点のうちのいずれかと交差する場合、その後、ラインコールは、「イン」である。そうでなければ、「アウト」である。多くの他の類似のアルゴリズムが、本発明の概念から逸脱することなく、（弾んだボールのコートマップ６２０上の位置及び関連するコートラインを考慮して）ラインコールを行うために用いられ得る。
【０１３５】
最後に、ステップ１１３５ａにおいて、ラインコールアナライザ４８０ｂは、上記のように継続した「ポイント状態」分析のために、制御を図９のステップ９４０（または第１のサーブもしくは第２のサーブの事象においてステップ９１５）に戻す。上記のように、ボール弾み位置は、ショット位置及び関連する統計を通信し、かつ関連付けられた視覚化を生成することにおいて、通信モジュール４７７ｂによる使用のためにシステムメモリ４１４ａ内に記憶される。
【０１３６】
図１１Ｃを参照すると、フローチャート１１００ｃは、ステップ１１０５ｃで始まる、レーザ４７５ａが存在する事象で、より正確なボール弾み位置を計算するための方法の一実施形態を説明する。ステップ１１１０ａに関して上記のように、このより正確なボール弾み位置は、ラインコールアナライザ４８０ｂによって、そのラインコールを改善するために利用される（変換された位置の代わりに）。
【０１３７】
ステップ１１１０ｃにおいて、レーザボール追跡器４６４ｂは、ネット（レーザ４７５ａの既知の位置の代わり）とテニスボールとの間の角度を判定する（最初のボールの弾みを反映するビデオフレームに基づいて）。その後、ステップ１１２０ｃにおいて、レーザボール追跡器４６４ｂは、回転モータ４７６ａにレーザ４７５ａを回転させ、それをテニスボールの現在位置と整列させる。
【０１３８】
その後、ステップ１１２５ｃにおいて、レーザボール追跡器４６４ｂは、レーザ４７５ａによって放射されたビームがテニスボールと交差する（即ち、レーザ４７５ａが地面上に位置付けられている場合、ボールがテニスコートのプレイ表面上で弾んだことを示す）かどうかを判定する。別の実施形態において、レーザ４７５ａの高さが地面のわずかに上（例えば、１インチ）である場合、この高さは、ビームがテニスボールと交差したとみなされるときの判定に考慮される。
【０１３９】
レーザボール追跡器４６４ｂが、ビームがテニスボールとまだ交差していないと判定した場合（通常、テニスボールが弾む前に飛行している場合）、その後、制御が図１０のステップ１０５５に戻って（ステップ１１２７ｃにおいて）、上記のように、弾み検出プロセスを継続する。言い換えると、レーザボール追跡器４６４ｂは、レーザ４７５ａの角度を継続的に調節して、レーザ４７５ａによって放射されたビームがテニスボールと交差する（即ち、ボールの弾みを確認する）まで、動いているテニスボールを追跡する。
【０１４０】
いったんビームがテニスボールと交差すると、その後、レーザボール位置更新器４８６ｂは、その最初の弾みの際のテニスボールの位置を計算する（ステップ１１３０ｃにおいて）。直接「飛行時間型」または「位相ベース」のレーザ走査のどちらを用いるとしても、レーザボール位置更新器４８６ｂは、レーザ４７５ａの既知の位置とテニスボールとの間の距離を判定し、次いで、コートマップ６２０上のテニスボールの位置を取得する。
【０１４１】
最後に、ステップ１１３５ｃにおいて、制御は、図１０のステップ１０７２に戻って、上記のようにラインコールプロセスを完了する（即ち、テニスボールの変換された位置を、レーザボール位置更新器４８６ｂによって計算されたより正確な位置と置換することによって）。
【０１４２】
別の実施形態において（図１１Ｃに図示されない）、レーザ４７５ａは、コートラインが交差する各コーナの正確な位置を取得するために使用され、したがって、プロセス１１００ｃ（図１０のステップ１０７６で呼び出される）が、図１１Ａの「コートマップ変換」プロセス１１００ａ及び図１１Ｂの「ビデオフレーム比較」プロセス１１００ｂとは完全に独立して動作することを可能にする。自動化された事前較正プロセスを呼び出す前（例えば、試合または練習の開始前）に、プレイヤは、各コーナ（例えば、コートラインの外縁の交差点に）上に小さな反射性物体を配置し、レーザ４７５ａが、これらのコーナを識別し、各コーナまでの正確な距離を判定することを可能にする。この実施形態において、ラインコールアナライザ４８０ｂは、コートモデル変換器４８２ｂ（図１１Ａでの）及びビデオフレーム比較器４８４ｂ（図１１Ｂでの）からの補助を必要とせずに、（ボールの弾み及びコートラインの既知の位置を考慮して）ラインコールを行う。別の実施形態において、複数のレーザ４７５ａが用いられて（例えば、各ネットポストに１つ）、ボールの弾みのより正確な位置が三角法（即ち、２つの円の交差）を介して判定されることを可能にする。
【０１４３】
上記のように、代替的実施形態（例えば、ラインコールアナライザ４８０ｂが、ビデオフレーム上のボールの弾みの位置が関連するコートラインに十分に近いと判定するとき）において、ビデオフレーム比較器４８４ｂが呼び出されて、図１１Ｂを参照してステップ１１０５ｂで始まるフローチャート１１００ｂに説明されるように、「ビデオフレーム比較」を実施する（対応するコートマップ６２０位置への変換なしで）。
【０１４４】
上記のように、この方法は、ある程度の変換誤差（ラインコールがより近いときに増加する）を排除すること、及び例えば、変換を実施するために必要とされるＣＰＵ時間を回避することによる、より高速な性能を含む、「コートマップ変換」方法に勝る一定の利点を有する。さらに、ビデオフレームの小さい部分（即ち、ボール弾み位置に近接する、関連するコートラインの一部分）での少ない歪みを考慮すると、この方法はまた、誤差のより低い可能性を有する。ビデオフレーム内の全コートラインは、対照的に、より大きな曲率を有し、したがって、誤差のより高い可能性を呈する。しかしながら、これらの利点は、正確なボール弾み位置の消失によって相殺され、これは、そうでなければ、後続の統計分析及び視覚化にとって有用であり得る。したがって、どの方法を用いるかの判断は、当業者が、本発明の概念から逸脱することなく、異なって行い得るトレードオフである。
【０１４５】
いずれにしても、ステップ１１１０ｂにおいて、ビデオフレーム比較器４８４ｂは、ボール検出器４４２ｂを呼び出して、最初のボールの弾みを反映するビデオフレーム内のテニスボールの白色画素を検出する。ステップ１１２０ｂにおいて、ビデオフレーム比較器４８４ｂは、ライン検出器４３２ｂを呼び出して、図７のステップ７３０で上記のように全てのコートラインに対してなされるように、ビデオフレーム内の関連するコートラインを検出する（図１１Ａのステップ１１２０ａの上記の説明を参照）。
【０１４６】
ステップ１１２５ｂにおいて、ビデオフレーム比較器４８４ｂは、ボールの弾みと関連するコートラインとの相対位置を比較する。ステップ１０３０ｂにおいて、ビデオフレーム比較器４８４ｂはラインコールを行う。それがビデオフレーム上のボール弾み位置と任意の関連するコートラインの「アウト」側との間に少なくとも１つの画素をビデオフレーム上で識別し得る場合、ラインコールは、「アウト」である。そうでない場合、ラインコールは、「イン」である。最後に、ステップ１１３５ｂにおいて、ラインコールアナライザ４８０ｂは、上記のように継続した「ポイント状態」分析のために、制御を図９のステップ９４０（または第１のサーブもしくは第２のサーブの事象においてステップ９１５）に戻す。
【０１４７】
上記に説明された本発明の様々な実施形態に加えて、代替的実施形態が、本発明の概念から逸脱することなく、当業者にとって自明である。例えば、ビデオカメラ及びラインコール機能を含む完全一体型ラインコールデバイスを利用する代わりに、記録映像及びデータをラインコール及び他の機能のための外部スマートフォンアプリに送信する、既存のビデオカメラ（「ＧｏＰｒｏ」（登録商標）または類似のビデオカメラなど）をネットポストに取り付けてもよい。かかる実施形態は依然として、それが、テニスボールの「拡大」視野（ネットポストに対するビデオカメラの近接性による）及び物体状態条件（ボールの弾み）の充足に基づくラインコール機能を保持する点で本発明の概念内に収まることになり、物体状態条件は、この場合、単一の固定位置ビデオカメラから判定される（ラインコール処理デバイス、即ち、スマートフォンに一体化されていない場合でさえ）。
【０１４８】
最後に、本明細書及び参照によって本明細書に組み込まれる米国特許出願第６２，２６５，３９２号に説明されたリアルタイム及び事後の統計及び視覚化の処理の多くの変形例（ラインコールデバイス４１０ａによって外部または内部で実施されるとしても）が、本発明の概念を逸脱することなく、当業者にとって自明であろう。これらは、重力及び速さモデルに基づくボールの速さ及びＲＰＭ（「分単位の回転数」）の推定、プレイヤ戦略を最適化するためのＡＩベースの予測及び他のアルゴリズム、ショット検出及び分類（例えば、攻撃的及び守備的）、統計から自動的に得られる結論（例えば、特定の相手に対してより頻繁にボレーを行うときのより高い勝率、一般的または特定の得点シナリオ）、ならびに多くの他の変形例を含む。
【図１Ａ】
2019506917.tif 000003
【図１Ｂ】
2019506917.tif 000004
【図１Ｃ】
2019506917.tif 000005
【図２】
2019506917.tif 000006
【図３Ａ】
2019506917.tif 000007
【図３Ｂ】
2019506917.tif 000008
【図３Ｃ】
2019506917.tif 000009
【図４Ａ】
2019506917.tif 000010
【図４Ｂ】
2019506917.tif 000011
【図５Ａ】
2019506917.tif 000012
【図５Ｂ】
2019506917.tif 000013
【図６】
2019506917.tif 000014
【図７】
2019506917.tif 000015
【図８】
2019506917.tif 000016
【図９】
2019506917.tif 000017
【図１０】
2019506917.tif 000018
【図１１Ａ】
2019506917.tif 000019
【図１１Ｂ】
2019506917.tif 000020
【図１１Ｃ】
2019506917.tif 000021
【国際調査報告】
2019506917.tif 000022