(57)【要約】      （修正有）【課題】レーダー信号を用いてレーダーの視野内の物体を検出すること、レーダーの視野を通して物体の動きを追尾すること。【解決手段】物体の動きに基づいてカメラをトリガし、物体の複数の画像をキャプチャすること、複数の画像中で物体を検出すること、レーダー信号のデータを、カメラのデータと結合し、物体の位置を推定すること、結合されたデータに基づいて、物体の動きによって生成されたレーダー信号トラックを特定すること、レーダー信号トラックを特定することに基づいて物体の飛翔軌跡を推定すること、を含む方法。【選択図】図１
2020201269.tif 000002
【特許請求の範囲】
【請求項１】
レーダー信号を用いてレーダーの視野内の物体を検出すること、
前記レーダーの前記視野を通して前記物体の動きを追尾すること、
前記物体の前記動きに基づいてカメラをトリガし、前記物体の複数の画像をキャプチャすること、
前記複数の画像中で前記物体を検出すること、
前記レーダー信号から前記物体に関連する第１パラメータを抽出すること、
前記複数の画像から前記物体に関連する第２パラメータを抽出すること、
前記第１パラメータ及び前記第２パラメータを結合することによって第３パラメータを生成すること、
前記第３パラメータに基づいて、前記物体の前記動きによって生成されたレーダー信号トラックを特定すること、
前記レーダー信号トラックを特定することに基づいて前記物体の飛翔軌跡を推定すること、を含む方法。
【請求項２】
前記カメラをトリガすることは、
前記物体の動きの追尾の開始から所定量の期間が経過したことを判断すること、及び
前記カメラをトリガし、前記所定量の期間の経過に基づいて複数の画像をキャプチャすること
を含む、請求項１に記載の方法。
【請求項３】
前記カメラをトリガすることは、
前記物体の動きを追尾することに関連付けられたレーダー信号のパターンを求めること、
前記レーダー信号のパターンをメモリに記憶された以前から既知のパターンとマッチングすること、及び
前記カメラをトリガし、前記レーダー信号のパターンを既知のパターンとマッチングすることに基づいて複数の画像をキャプチャすること
を含む、請求項１に記載の方法。
【請求項４】
前記カメラをトリガすることは、
前記物体に関連付けられた第２物体の動きを検出すること、及び
前記カメラをトリガし、前記第２物体の動きを検出することに基づいて複数の画像をキャプチャすること
を含む、請求項１に記載の方法。
【請求項５】
前記レーダー信号トラックを特定することは、
前記物体の半径方向速度に対応するドップラーレーダー信号を発生すること
を含む、請求項１に記載の方法。
【請求項６】
前記物体の位置を推定することは、
３次元球座標における前記物体の仰角及び方位角を求めること
を含む、請求項１に記載の方法。
【請求項７】
前記物体の位置を３次元球座標からデカルト座標に変換すること
をさらに含む、請求項６に記載の方法。
【請求項８】
前記物体に関連付けられた対象点を求めること
をさらに含む、請求項１に記載の方法であって、
前記物体は不規則な形状を有し、
前記カメラをトリガすることは、
前記カメラ及び第２カメラをトリガすることで、前記物体の複数の画像をキャプチャすること
を含む、方法。
【請求項９】
前記物体を検出することは、
前記レーダーの視野に関連付けられたレーダーシステムに最も近く位置する物体を検出すること
を含む、請求項１に記載の方法。
【請求項１０】
プロセッサ、
前記プロセッサと電子的に通信するレーダー装置、
前記プロセッサと電子的に通信するカメラ、
前記プロセッサと電子的に通信するメモリ、
前記メモリに記憶された命令であって、前記命令は、前記プロセッサによって実行されることによって、
レーダー信号を用いてレーダーの視野内の物体を検出すること、
前記レーダーの前記視野を通して前記物体の動きを追尾すること、
前記物体の前記動きに基づいてカメラをトリガし、前記物体の複数の画像をキャプチャすること、
前記複数の画像中で物体を検出すること、
前記レーダー信号から前記物体に関連する第１パラメータを抽出すること、
前記複数の画像から前記物体に関連する第２パラメータを抽出すること、
前記第１パラメータ及び前記第２パラメータを結合することによって第３パラメータを生成すること、
前記第３パラメータに基づいて、前記物体の前記動きによって生成されたレーダー信号トラックを特定すること、
前記レーダー信号トラックを特定することに基づいて前記物体の飛翔軌跡を推定すること
を行う、システム。
【請求項１１】
前記プロセッサが前記カメラをトリガする時、前記命令は、
前記物体の動きの追尾の開始から所定量の期間が経過したことを判断すること、及び
前記カメラをトリガし、前記所定量の期間の経過に基づいて複数の画像をキャプチャすること
をさらに実行可能である、請求項１０に記載のシステム。
【請求項１２】
前記プロセッサが前記カメラをトリガする時、前記命令は、
前記物体の動きを追尾することに関連付けられたレーダー信号のパターンを求めること、
前記レーダー信号のパターンをメモリに記憶された以前から既知のパターンとマッチングすること、及び
前記カメラをトリガし、前記レーダー信号のパターンを既知のパターンとマッチングすることに基づいて複数の画像をキャプチャすること
をさらに実行可能である、請求項１０に記載のシステム。
【請求項１３】
前記プロセッサが前記カメラをトリガする時、前記命令は、
前記物体に関連付けられた第２物体の動きを検出すること、及び
前記カメラをトリガし、前記第２物体の動きを検出することに基づいて複数の画像をキャプチャすること
をさらに実行可能である、請求項１０に記載のシステム。
【請求項１４】
前記プロセッサが前記レーダー信号トラックを特定する時、前記命令は、
前記物体の半径方向速度に対応するドップラーレーダー信号を発生すること
をさらに実行可能である、請求項１０に記載のシステム。
【請求項１５】
前記プロセッサが前記物体の位置を推定する時、前記命令は、
３次元球座標における前記物体の仰角及び方位角を求めること
をさらに実行可能である、請求項１０に記載のシステム。
【請求項１６】
前記命令は、前記プロセッサによって前記システムが
前記物体の位置を３次元球座標からデカルト座標に変換すること
をさらに実行可能である、請求項１５に記載のシステム。
【請求項１７】
コンピュータで実行可能なコードを記憶する、非一時的なコンピュータで読み取り可能な媒体であって、前記コードは、システムに
レーダー信号を用いてレーダーの視野内の物体を検出すること、
前記レーダーの前記視野を通して前記物体の動きを追尾すること、
前記物体の前記動きに基づいてカメラをトリガし、前記物体の複数の画像をキャプチャすること、
前記複数の画像中で前記物体を検出すること、
前記レーダー信号から前記物体に関連する第１パラメータを抽出すること、
前記複数の画像から前記物体に関連する第２パラメータを抽出すること、
前記第１パラメータ及び前記第２パラメータを結合することによって第３パラメータを生成すること、
前記第３パラメータに基づいて、前記物体の前記動きによって生成されたレーダー信号トラックを特定すること、
前記レーダー信号トラックを特定することに基づいて前記物体の飛翔軌跡を推定すること
をさせるようプロセッサによって実行可能である、非一時的なコンピュータで読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
ここで説明される実施形態は、移動物体の軌跡を分析することに関する。
【背景技術】
【０００２】
場合によっては、移動物体のさまざまな特性を分析することが望ましいことがあり得る。ある例においては、物体の動きを分析する要望は、野球ボール、ゴルフボール、テニスボール、ホッケーのパック、クリケットボール、スキート又はターゲットシューティングのための弾薬など、移動する物体がスポーツ自体の一部であり得るようなスポーツに参加することに関連し得る。
【０００３】
しかし移動する物体の軌跡を分析することに伴う潜在的な問題としては、データを取得及び分析することの処理コスト及び困難さがある。データを処理するだけでなく、データを取得するための装置のためのコストは、移動する物体の特性を分析する方法を欲する個人にとっては、値段が高すぎて実現できないこともあり得る。
【０００４】
ここでクレームされた主題は、上述のもののような環境だけにおける欠点を解決したり、上述のもののような環境だけにおいて動作したりする実施形態には限定されない。むしろのこの背景は、ここで記載されるいくつかの実施形態が実施され得る、一つの例示的技術分野を示すために提供するに過ぎない。
【発明の概要】
【課題を解決するための手段】
【０００５】
本開示のある実施形態は、レーダー信号を用いてレーダーの視野内の物体を検出すること、レーダーの視野を通して物体の動きを追尾すること、物体の動きに基づいてカメラをトリガすることによって物体の複数の画像をキャプチャすること、カメラのデータとレーダー信号のデータとを結合して物体の位置を推定すること、及びレーダートラックをカメラ画像と結合することに基づいて物体の軌跡を推定することを含む方法を含み得る。
【０００６】
本開示の他の実施形態は、レーダー装置、カメラ、及びメモリに通信可能に結合され、レーダー信号を用いてレーダーの視野内の物体を検出すること、レーダーの視野を通して物体の動きを追尾すること、物体の動きに基づいてカメラをトリガすることによって物体の複数の画像をキャプチャすること、複数の画像中で物体を検出すること、カメラのデータとレーダー信号のデータとを結合して物体の位置を推定すること、結合されたデータに基づいて物体の動きによって生成されたレーダー信号トラックを特定すること、及びレーダー信号トラックを特定することに基づいて物体の軌跡を推定することを、プロセッサにさせるためにメモリに記憶された命令を読むよう構成されたプロセッサを含むシステムを含み得る。
【０００７】
本開示の他の実施形態は、コンピュータで実行可能なコードを記憶する、非一時的なコンピュータで読み取り可能な媒体であって、前記コードは、システムにレーダー信号を用いてレーダーの視野内の物体を検出すること、前記レーダーの前記視野を通して前記物体の動きを追尾すること、前記物体の前記動きに基づいてカメラをトリガし、前記物体の複数の画像をキャプチャすること、前記複数の画像中で前記物体を検出すること、前記レーダー信号のデータを、前記カメラのデータと結合し、前記物体の位置を推定すること、前記結合されたデータに基づいて、前記物体の前記動きによって生成されたレーダー信号トラックを特定すること、前記レーダー信号トラックを特定することに基づいて前記物体の飛翔軌跡を推定することをさせるようプロセッサによって実行可能である、非一時的なコンピュータで読み取り可能な媒体を含み得る。実施形態の目的及び優位性は、特許請求の範囲で明確に規定される要素、特徴、及び組み合わせによって、実現及び達成され得る。上の概要及び以下の詳細な説明は、説明目的であり、クレームされた本発明を限定するものではない。
【図面の簡単な説明】
【０００８】
例示的実施形態は、添付の図面の使用を通じてさらなる具体性及び詳細さで記載され説明される。
【図１】ある実施形態によるレーダー及びカメラベースのデータ融合のための例示的システムを示す図である。
【図２】ある実施形態による動く物体を分析する例示的システムの正面図である。
【図３】ある実施形態によるレーダー及びカメラベースのデータ融合のための例示的環境の正面図である。
【図４】ある実施形態によるレーダー及びカメラベースのデータ融合のための例示的処理方法のフローチャートである。
【図５】ある実施形態によるレーダー及びカメラベースのデータ融合のための例示的処理方法のフローチャートである。
【図６】ある実施形態によるレーダー及びカメラベースのデータ融合のための例示的環境の例示的な図である。
【図７】ある実施形態によるレーダー及びカメラベースのデータ融合のための例示的方法のフローチャートである。
【図８】ある実施形態によるレーダー及びカメラベースのデータ融合のための例示的コンピュータシステムの図である。
【発明を実施するための形態】
【０００９】
ここで記載されるいくつかの実施形態は、レーダー装置及びカメラシステムを用いて動く物体の特性を決定することに関する。高速度画像化データ（例えばカメラによって取得される）及びレーダーベースのデータを同時にキャプチャすることによって、キャプチャされたデータは、互いに融合され、分析されることによって、動く物体の軌跡の正確な再構築を決定し得る。キャプチャされたデータを用いて、動く物体の軌跡及び他の運動特性が再構築及び／又は推定され得る。例えば、取得されたキャプチャされたデータは、速さ、速度、回転、回転の軸、回転の速さ、垂直仰角、方位角、軌跡、放射角等を含み得る。運動特性は、後の分析のために動く物体のパスをさらに特徴づけるために用いられ得る。例えば、もし動く物体が野球ボールであるなら、飛行特性は、投球のタイプ（例えば速球、カーブボール、スライダー、又は変化球）又は投球の場所（例えばストライク又はボール）を特徴づけるのに用いられ得て、スポーツマンは、彼の又は彼女の投球又はバッティング戦略をこの分析に基づいて調整し得る。
【００１０】
他の実施形態では、レーダーデータは、利用不可能又は使用不可能であり得て（例えば物体の運動の角度に起因して）、よってこの方法は、レーダーデータを用いることなく３次元軌跡データを再構築することを含み得る。
【００１１】
本開示の実施形態は、日常的なコンピュータアルゴリズムを用いて日常的な問題を解くことに関するのではなく、むしろ、１つ以上のプロセッサによって制御されるレーダー装置及びカメラのような具体的なハードウェア要素を用いること、及び野球ボール、テニスボール、ゴルフボール、クリケットのボール等のような動く物体を分析することに関連する具体的な問題を解決するための手法に関し得る。加えて、ここで記載された方法及びシステムは、記載された方法の実行、及び記載されたシステムの処理速度及び効率を改良するために人工知能及び／又はコンピュータ学習と関連付けて用いられ得る。
【００１２】
図１は、ある実施形態によるレーダー及びカメラベースのデータ融合のための例示的システム１００を示す。システム１００は、レーダー装置１１０、カメラ１２０、プロセッサ１３０、メモリ１４０、通信装置１５０、及び加速度計１６０を含み得る。システム１００の動作は、プロセッサ１３０によって制御され得て、プロセッサ１３０は、システム１００の他の要素のそれぞれと通信する状態であり得る。システム１００の要素群は、レーダー装置１１０からのレーダー測定値、及びカメラ１２０によってキャプチャされた画像のうちの１つ又は両方を用いて、協同して動作することによって動く物体の特性を分析し得る。システム１００の全ての要素は、プロセッサ１３０と通信する状態であるように示され、互いに通信する状態であるようには示されていないが、他の要素のうちの任意のものが、互いに通信する状態であり得る。例えば、レーダー装置１１０は、カメラ１２０と通信する状態であり得て、カメラ１２０は、メモリ１４０及び通信装置１５０等と通信する状態であり得る。加えて、システム１００は、一体化した装置として示されているが、要素群のうちの１つ以上が分散されてもよく、又は複数の装置にまたがってもよい。
【００１３】
レーダー装置１１０は、１つ以上のマイクロ波又は他の電磁波を動く物体に向けて送信し、動く物体で反射された、送信された電磁波の反射を受信するよう構成された任意のシステム、要素、又は一連の要素群を含み得る。レーダー装置１１０は、送信機１１２及び受信機１１４を含み得る。送信機１１２は、動く物体に向けてアンテナを通じてマイクロ波を送信し得る。受信機１１４は、動く物体から反射されて戻ってくるマイクロ波を受信し得る。レーダー装置１１０は、この技術で知られるパルスドップラー、連続波ドップラー、周波数シフトキーイングレーダー、周波数変調連続波レーダー、又は他のレーダー手法に基づいて動作し得る。反射されたマイクロ波の周波数シフトは、動く物体の半径方向の速度を導くために、つまり換言すれば、動く物体がレーダー装置１１０に向かって飛行している速さを測定するために測定され得る。半径方向速度は、動く物体の速さを推定するのに用いられ得る。
【００１４】
レーダー装置１１０は、さまざまな信号処理又は調節要素のうちの任意のものも含み得る。例えばレーダー装置１１０は、動く物体及びレーダー装置１１０が用いられているコンテキストに依存して、高い周波数又は低い周波数を増幅及び／又は濾過することによって信号対ノイズ比（ＳＮＲ）を増すために、アナログフロントエンド増幅器及び／又はフィルタを含み得る。ある実施形態においては、信号処理又は調節要素は、低及び高周波数を分離し得て、低い周波数とは別個に独立して、高い周波数を増幅及び／又は濾過し得る。ある実施形態においては、物体の運動の範囲は、数メートルから数十メートルであり得て、よってレーダー帯域幅は狭いことがあり得る。
【００１５】
レーダー装置１１０は、最初、物体がレーダーの視野内にある時に、又は物体が最初にレーダーの視野内に入る時に、対象となる物体を検出し得る。ある実施形態では、レーダー信号は、所定の時間幅の間、追尾される。所定の時間の幅の間の、あるトリガリング点において、カメラ１２０は、写真を撮るようトリガされる。
【００１６】
システム１００のカメラ１２０は、画像をキャプチャするよう構成される任意の装置、システム、要素、又は要素の集合体を含み得る。図１では１つのカメラ１２０が示されているが、任意の個数のカメラが想定され得る。カメラ１２０は、例えば、レンズ、フィルタ、ホログラム、スプリッタ等のような光学要素、及びその上に画像が記録され得る画像センサを含み得る。そのような画像センサは、入射光によって表された画像を電子信号に変換する任意のデバイスを含み得る。画像センサは、画素アレイ（例えば画素要素の格子）の形に配置された複数の画素要素を含み得る。例えば画像センサは、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）の画像センサを備え得る。画素アレイは、１：１，４：３，５：４，３：２，１６：９，１０：７，６：５，９：４，１７：６等のアスペクト比、又は任意の他の比を持つ２次元アレイを含み得る。画像センサは、画素アレイに光を収束させるさまざまな光学要素、例えばレンズと光学的にアラインされ得る。任意の個数の画素、例えば８百万画素、１５００万画素、２０００万画素、５０００万画素、１億画素、２億画素、６億画素、１０億画素等の画素を含まれ得る。
【００１７】
カメラ１２０は、あるフレームレートにおいて動作し得て、つまり、与えられた時間の間にある個数の画像をキャプチャすることができる。カメラ１２０は、約３０フレーム毎秒以上のフレームレートで動作し得る。具体的な例では、カメラ１２０は、約１００フレーム毎秒及び約３００フレーム毎秒の間のフレームレートで動作し得る。ある実施形態では、画素アレイ中で利用可能な画素のうちのより少ないサブセットが用いられることによって、カメラ１２０は、より高いフレームレートにおいて動作し得る。例えば、もし動く物体が、画素アレイのある象限、領域、又は空間に位置することが既知であり、又は推定されるなら、その象限、領域、又は空間だけが画像をキャプチャするのに用いられ得て、それにより、より速いリフレッシュレートで他の画像をキャプチャできる。画素アレイ全体よりも少ない部分を用いることによって、より高い実効フレームレートを実現しつつも、より安価なカメラの使用が可能になり得る。
【００１８】
さまざまな他の要素もカメラ１２０中に含まれ得る。そのような要素には、フラッシュ又は他の光源、光ディフューザー、又は物体に光を照射する他の要素のような１つ以上の照射機能が含まれ得る。ある実施形態においては、光を照射する機能は、動く物体が画像センサの近傍にある時に、例えば、動く物体が画像センサから３メートル以内にある時に、動く物体に光を照射するよう構成され得る。
【００１９】
任意の個数のさまざまなトリガが用いられることによって、動く物体の１つ以上の画像をカメラ１２０がキャプチャするようにできる。非限定的な例として、動く物体がカメラ１２０の視野内にあることが既知であるか、又は推定される時に、動く物体がその飛翔を最初に始めるか、又は変化させるかの時に（例えば、野球ボールが投げられた時に、野球ボールが打たれた時に、ゴルフボールが打たれた時に、テニスボールがサーブされた時に、クリケットのボールが投げられた時に、等）、動く物体が画素アレイ中の画素の先頭のロウにおいて検出される時に、等の時に、カメラはトリガされ得る。トリガの他の例は、反射されたマイクロ波のスペクトル中の持続するピークであり得る。例えば、もし、所与の時間幅の間にわたって、予期される動く物体の周波数にあることが既知である所与の周波数において一貫してピークが存在しているなら、これは、トリガリングイベントとして振る舞い得る。
【００２０】
ある実施形態において、カメラ１２０は、画像がキャプチャされ得る視野を有し得る。視野は、画素アレイに対応し得る。ある実施形態において、視野は、動く物体が視野内で限られた長さの時間しか費やさないように限定され得る。そのような実施形態においては、カメラ１２０は、動く物体が視野の中にあるあいだに画像をキャプチャするようトリガされ得る。動く物体がカメラ１２０の視野内にある時間は、最適写真タイムフレームと呼ばれ得る。ある実施形態において、最適写真タイムフレームは、動く物体の全体が視野内に含まれる時を含み得て、又は動く物体の一部だけが視野内に含まれる時を含み得る。画像センサ及び動く物体の間の距離、照射機能等によって提供され得る照射の量のような他の要因も最適写真タイムフレームには寄与し得る。例えば、最適写真タイムフレームは、動く物体がカメラ１２０から３メートル及び１メートルの間を飛行する時に起こり得るが、これはその範囲でカメラ１２０のフラッシュによって動く物体に光が照射されるからである。
【００２１】
ある実施形態においては、カメラ及びレーダーの視野は、同じであってもよく、又は異なっていてもよい。カメラ及びレーダーの視野が異なる場合には、トリガ機構は、写真がキャプチャされている限りカメラの視野の中に動く物体が留まることを確実にするよう動作し得る。
【００２２】
プロセッサ１３０は、さまざまなコンピュータハードウェア又はソフトウェアモジュールを含む、任意の適切な専用又は汎用のコンピュータ、計算主体、又は処理装置を含み得て、任意の適用可能なコンピュータで読み取り可能な記憶媒体に記憶された命令を実行するよう構成され得る。例えばプロセッサ１３０は、プログラム命令を解釈及び／又は実行し、及び／又はデータを処理するよう構成された、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、現場でプログラム可能なゲートアレイ（ＦＰＧＡ）、又は任意の他のデジタル又はアナログ回路を含み得る。図１では単一のプロセッサとして図示されているが、プロセッサ１３０は、本開示で記載された任意の個数の操作を個別に、又は共同して実行するよう構成された任意の個数のプロセッサを含み得る。加えて、異なる装置が物理的に一緒に結合され、又は離れた場所で通信するように、１つ以上のプロセッサが１つ以上の異なる電子装置に存在し得る。例として、異なる装置にある１つ以上のプロセッサは、レーダー装置１１０、カメラ１２０、通信装置１５０、加速度計、又はシステム１００と結合された又は関連付けられた任意の他の装置のうちの１つ以上のものに関連付けられた処理サブ要素を含み得て、この処理サブ要素は、本開示で記載された操作のうちの１つ以上のものを実行するよう構成されたリモートディスプレイ装置又はリモート計算装置のような他の装置にあるプロセッサと協働する。
【００２３】
ある実施形態においては、プロセッサ１３０は、メモリ１４０に記憶されたプログラム命令を解釈及び／又は実行し、及び／又はメモリ１４０に記憶されたデータを処理し得る。ある実施形態においては、プロセッサ１３０は、プログラム命令をデータ記憶からフェッチし、プログラム命令をメモリ１４０にロードし得る。プログラム命令がメモリ１４０にロードされた後に、プロセッサ１３０は、プログラム命令を実行し得る。ある実施形態においては、プロセッサ１３０による命令の実行は、装置１００の動作を管理及び／又は制御し得る。例えばプロセッサ１３０は、カメラ１２０に対してある時刻において、例えば最適写真タイムフレームの間に、画像をキャプチャするよう指示し得る。
【００２４】
ある実施形態において、プロセッサ１３０は、レーダー装置１１０から受け取ったマイクロ波信号を利用して、動く物体の半径方向の速度を決定し得る。プロセッサ１３０は、ドップラー信号に対してスペクトル測定を実行することによって、動く物体が存在するかを決定し得る。例えば、投げられた野球ボールの例を挙げれば、スペクトル測定が利用されることによって、４０及び１００マイル／時の間で飛行する、マイクロ波を反射する物体が存在するかを決定し得る。スペクトル測定は、高速フーリエ変換（ＦＦＴ）を実行して、周波数ピークのうちのいずれかがある特定の閾値を超えるかを決定することを含み得る。プロセッサ１３０は、それからそのピークを利用して、動く物体の半径方向の速度を決定し得る。
【００２５】
プロセッサ１３０は、決定された半径方向の速度を１つのファクターとして利用することによって、カメラ１２０をトリガして動く物体の画像をキャプチャし得る。一つの例として、飛行経路距離（flight path distance）及び／又は飛翔軌跡（trajectory）は、動く物体の初期点及びシステム１００の間で推定され得る。ある実施形態においては、飛行経路距離は、動く物体の初期点及びカメラ１２０の視野の間の距離として推定され得る。例えば、もし動く物体が野球ボールであるなら、推定される飛行経路距離は、ピッチャーマウンド及びホームプレートの間の距離であり得る。それからプロセッサ１３０は、動く物体が飛行経路距離を横切って、カメラ１２０の視野に到着するのに必要な、又は最適写真タイムフレームまでの時間の量を決定し得る。プロセッサ１３０は、カメラ１２０が実際に画像をキャプチャするのに必要な任意の時間も特定し得る。
【００２６】
ある実施形態においては、プロセッサ１３０は、キャプチャされるべき画像の個数を決定し得る。キャプチャされるべき画像の個数は、ユーザからの入力、デフォールト設定、動く物体のコンテキストに基づき得て、又はカメラ１２０の視野及び動く物体の速さに基づいて選択され得る。画像の個数が多ければ多いほど、飛翔軌跡のような飛行特性のより正確な推定（extrapolation）が可能になり得る。ある実施形態においては、例示的デフォールト設定は、２つ、３つ、又は４つの画像をキャプチャすることを含み得る。プロセッサ１３０は、所望の個数の画像が所定の写真タイムフレームの間にキャプチャされるように、カメラ１２０をトリガして、動く物体の画像を所定の写真タイムフレームの間にキャプチャするよう構成され得る。例えばプロセッサ１３０は、２つの画像が望ましいことを決定し得て、動く物体の全体が視野に入るまで待機し、それからカメラ１２０をトリガすることによって、２つの連続する画像をカメラ１２０でなるべく速くキャプチャし得る。ここで、第１画像は、カメラ１２０のイメージセンサの１つの象限しか用いず、第２画像は、カメラのイメージセンサの異なる象限しか用いない。
【００２７】
プロセッサ１３０は、キャプチャされた画像の処理を実行するよう構成され得、又は通信装置１５０を用いて画像を他の装置に送信して、キャプチャされた画像の処理を実行し得る。キャプチャされた画像の処理は、動く物体の飛行特性を推定することを含み得る。例えば、プロセッサ１３０は、速さ、速度、回転、回転軸、回転の速さ、垂直仰角（vertical angle of elevation）、方位角、飛翔軌跡、放射角等を決定し得る。
【００２８】
ある実施形態においては、プロセッサ１３０は、１つ以上の飛行特性に基づいて、動く物体の他の特徴付けを実行し得る。投げられた野球ボールを例にすれば、プロセッサ１３０は、飛翔軌跡を利用して、投球がボールかストライクかについて決定し得る。他の例では、投球は、野球ボールの速さ、回転、飛翔軌跡等に基づいて速球、変化球、スライダー等として特徴づけられ得る。
【００２９】
プロセッサ１３０は、推定された飛行特性を、レーダー装置１１０から収集されたデータと比較し得る。例えば、推定された飛翔軌跡は、時間経過中の１つ以上の点において測定された実際のレーダー値と比較され得る。もしレーダー値と推定された飛翔軌跡との間に不一致が存在するなら、プロセッサ１３０は、湿度、風、雨等のような、その不一致を説明し得る１つ以上の環境ファクター又は大気条件を含み得る。追加で、又は代替として、プロセッサ１３０は、飛行特性を推定するために用いられるキャプチャされた画像の画質を検査し得る。例えば、もしキャプチャされた画像のうちのいずれかが特にぼやけているか、又は粒子が粗いなら、プロセッサ１３０は、推定された飛行特性を変更することによって、レーダー装置１１０からの測定された値により近く従うようにし得る。システム１００についてのプロセッサ１３０の他の操作は、以下に記載されるように本開示の他の図を参照して説明がなされる。
【００３０】
メモリ１４０は、カメラ１２０によってキャプチャされた１つ以上の画像を含む、記憶媒体に記憶されたコンピュータで実行可能な命令又はデータ構造を担持又は保有する、コンピュータで読み取り可能な記憶媒体を含み得る。そのようなコンピュータで読み取り可能な記憶媒体は、プロセッサ１３０のような汎用又は専用のコンピュータによってアクセスされ得る任意の利用可能な媒体を含み得る。例であって、限定されるわけではないが、そのようなコンピュータで読み取り可能な記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的に消去可能なプログラム可能なリードオンリーメモリ（ＥＥＰＲＯＭ）、コンパクトディスク――リードオンリーメモリ（ＣＤ−ＲＯＭ）又は他の光学ディスク記憶、磁気ディスク記憶、又は他の磁気記憶装置、フラッシャメモリデバイス（例えばソリッドステートメモリ装置）、又はコンピュータで実行可能な命令又はデータ構造の形態である所望のプログラムコードを担持又は記憶するのに用いられ得て、汎用又は専用コンピュータによってアクセスされ得る、任意の他の記憶媒体を含む、有形の又は非一時的なコンピュータで読み取り可能な記憶媒体を含み得る。上記の組み合わせもコンピュータで読み取り可能な記憶媒体の範囲に含まれ得る。コンピュータで実行可能な命令は、例えば、プロセッサ１３０にある操作又は一群の操作を実行させるよう構成される命令及びデータを含み得る。ある実施形態では、メモリ１４０は、単一の要素として叙述されているが、複数の要素であり得る。例えば、メモリ１４０は、ＲＡＭ、ＲＯＭ、及びフラッシュメモリの組み合わせとして実現され得る。
【００３１】
通信装置１５０は、データを送信又は受信するよう構成された任意の要素、装置、又はそれらの組み合わせであり得る。通信装置１５０は、これらに限定はされないが、モデム、ネットワークカード（無線又は有線）、赤外通信装置、無線通信装置（アンテナのような）、及び／又はチップセット（ブルートゥース（登録商標）装置、８０２．６の装置（例えばメトロポリタンエリアネットワーク（ＭＡＮ））、Wi-Fi（登録商標）装置、WiMax（登録商標）装置、セルラー通信設備等）等を含み得る。通信装置１５０は、データが、ネットワーク（単独又は任意の適切な組み合わせで、インターネット、イントラネット、ローカルWi-Fiネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、モバイルネットワーク（例えば３Ｇ、４Ｇ、５Ｇ、及び／又はＬＴＥネットワーク）、ＬＡＮ、ワイドエリアネットワーク（ＷＡＮ）、ＭＡＮ、ブルートゥース接続、又は任意の他の適切な通信ネットワーク）、及び／又はリモート装置を含む、ここで記載された任意の他の装置と交換されることを可能にし得る。
【００３２】
加速度計１６０は、レーダー装置１１０及び／又はカメラ１２０によって用いられることによって二次元等価のための正しい二次元情報を提供するための、システム１００の角度を測定し得る。加速度計は、例えば、カメラを較正し、カメラが所定の正確さを持ってティルト及びロールし得ることを確実にするよう用いられ得る。ある実施形態では、加速度計は、カメラ測定値の世界座標（例えば球座標又はデカルト座標）への変換を可能にするように、カメラを較正するために用いられ得る。加えて加速度計は、カメラデータをレーダーデータにアラインさせるのに用いられ得る。
【００３３】
システム１００に対しては、本開示の範囲から逸脱することなく、改変、追加、又は省略がなされ得る。例えばある実施形態では、システム１００は、明示的に図示又は記載されていない任意の個数の他の要素を含み得る。例えばシステム１００は、通信装置１５０を含まなくてもよく全ての画像処理をローカルでシステム１００において実行してもよい。システム１００は、任意の飛行特性又はシステム１００によって実行される他の特徴付けを表示するディスプレイも含み得る。
【００３４】
図２は、ある実施形態によるレーダー及びカメラベースのデータ融合についての例示的環境２００の立面図を示す。明確さ及び簡潔さのために、詳細な開示の残りの部分は、例として野球ボール２０６を動く物体の例として用い、ここで例示的環境は、野球のダイヤモンドである。図２において、システム装置１００の位置付けは、ホームプレートに配置され得て、ピッチャーが位置２０４に立っている。図２において、システム１００は、図１について記載されたシステム１００を表し得る。しかし任意の動く物体が想定され得て、本開示は、任意の他の動く物体、例えばテニスボール、ゴルフボール、ホッケーパック、クリケットボールのような他のスポーツ用品にも適用可能であることを理解されたい。
【００３５】
レーダー装置１１０及びカメラが、動く物体を、カメラで複数の画像をキャプチャするのに十分な時間の長さの間、視野２１０の中に有するような、さまざまな場所のうちの任意のものにシステム１００は配置され得る。ある実施形態において、システム１００は、参照点（ピッチングマウンド２０４のような）から既知の距離２１４だけ離れた場所に配置され得る。ある実施形態において、システム１００は、ホームプレート２０２におけるグラウンド上に、又はその近傍に、上方に何度か角度が付けられて（角度２１２によって図示されるように）配置され得る。ある実施形態において、システム１００は、ホームプレート２０２の後ろである高さ（図２では図示されない）だけ持ち上げられ得て、下方に向けて角度が付けられ得る。他の実施形態においては、システム１００は、ホームプレート２０２の片方の側部にあり、ピッチングマウンド２０４に向けて角度が付けられ得る。システム１００は、レーダー装置１１０及び１つ以上のカメラが、カメラで複数の画像をキャプチャするのに十分な時間、動く物体を視野２１０の中に有し得る、さまざまな位置のうちの任意の位置に配置され得る。
【００３６】
ある例示的実施形態において、野球ボール２０６は、ピッチングマウンド２０４から投げられ、時刻t0において始まり、野球ボールが時刻tN-1（ここで点線206-bによって図示される）において存在するパス２０８に沿って移動し得る。野球ボール２０６は、この例においては、システム１００について「入射する物体」として考えられ得る。他の例では、野球ボール206-cは、ホームプレート２０２に位置するバッターによって打たれ、時刻t0及び時刻tN-1（ここで点線206-dによって図示される）における野球ボール206-cの間にあるよう図示されるパス２１８に沿って移動し得る。野球ボール206-cは、この例では、システム１００について「出射する物体」として考えられ得る。
【００３７】
図３は、ある実施形態によるレーダー及びカメラベースのデータ融合についての例示的環境の立面図を示す。野球ボール２０６は、ピッチングマウンド２０４からホームプレート及びシステム１００に向けて投げられ得る。システム１００は、システム１００のカメラの視野２０６を増すために角度２１２で配置され得る。ある実施形態において、システム１００のレーダー装置及びカメラは、同じ平面へと傾けられ得る。レーダー装置及びカメラを同じ平面へと傾けることは、より容易な製造を促進し得る。ある実施形態では、システム１００のレーダー装置及びカメラは、異なる平面に傾けられ得る。
【００３８】
野球ボール２０６が投げられる時、システム１００は、野球ボール２０６に向かってマイクロ波を送信し得る。ある実施形態において、システム１００は、システム１００のレーダー装置のアンテナビームパターンによって記述される空間分布で全ての方向に、マイクロ波２１６を既に送信している状態であってもよい。送信されたマイクロ波２１６は、野球ボール２０６で反射され得て、野球ボール２０６の相対的速度のために、反射されたマイクロ波２１８は、送信されたマイクロ波２１６とは異なる周波数を有し得る。この周波数ドリフトは、ドップラー周波数と呼ばれ得て、半径方向速度２２０のファクターであり得る。
【００３９】
システム１００のレーダー装置１１０は、野球ボール２０６の半径方向速度２２０の決定を促進し得る。例えば、ベクトル図２２２は、野球ボール２０６の半径方向速度２２０を示し得る。野球ボール２０６は、半径方向速度２２０に貢献する成分ベクトル２２４及び２２６を有し得る。ある実施形態において、もし動く物体（例えば野球ボール２０６）の間の距離が、動く物体のグラウンド上での距離（例えばグラウンド上での野球ボール２０６の高さ）よりもずっと大きいなら、半径方向速度２２０は、動く物体の水平速度２２４と同じであると推定され得る。換言すれば、もし半径方向速度２２０の垂直方向速度２２６が、水平方向速度２２４よりもずっと小さいなら、半径方向速度２２０は、水平方向速度２２４と同じであると推定され得る。垂直方向速度２２６よりずっと大きい水平方向速度２２４の一例は、水平方向速度２２４が、垂直方向速度２２６よりも大きい大きさのオーダーである場合である。
【００４０】
規則的な形状の物体を追尾する（Tracking a Regularly Shaped Object）
図４は、ある実施形態によるレーダー及びカメラベースのデータ融合のための例示的処理方法のフローチャートを示す。ブロック４０２において、物体は、レーダー装置１１０の視野内で検出され得て、これが物体の写真を撮影し始めるようカメラをトリガする。所定の追尾条件が満足されるとき、写真を撮影することを始めるようカメラはトリガされる。ある例では、写真を撮影することを始める、このトリガは、投げられたボールがレーダーの視野に現れることである。同時に、ボールを投げる手の動きが検出され得て、よって、ボールの動きは、入射する物体及び出射する物体の両方として追尾され得る。追加の又は代替の例においては、写真を撮影することを始める、このトリガは、ティーから打つときに、ボールの動きを特定することであり得る。この例では、手の振り降ろしからのレーダー信号が検出され、その結果、カメラをトリガする。
【００４１】
追加の又は代替の例においては、写真を撮影することを始める、このトリガは、手の振りの検出であり得る。例えば、システム１００は、例えばバット又はゴルフクラブを振るユーザの手が見えるように、三脚上に配置され得る。手の振りは、追尾され得て、カメラは、写真を撮り始めるようにトリガされ得る。追加又は代替の例では、手の振りが追尾され得て、振りのデータは、閾値パラメータ（例えば振幅、速さ等）が満たされるまでの間、所定のマスクと相関され得る。この相関信号は、時間領域の参照信号であってもよい。
【００４２】
ある実施形態では、カメラが写真を撮り始めるようトリガされる時、システムは、Ｎ枚の写真を撮り得るが、ここでＮは、ユーザによって予め決定されてもよく、写真の前のラウンドに基づいてシステムによって計算されてもよく、メーカーによって決定されてもよく、及び／又は撮られる写真の枚数を変更し得る、任意の個数の条件によって決定されてもよい。
【００４３】
トリガ機構に基づいて、サンプリング間隔dtでＮ枚の画像が時刻to, t1,…tN-1において撮られ、
【００４４】
【数１】
2020201269.tif 000003
【００４５】
のようになる。
【００４６】
画像は、周期的な間隔dtにおいて撮られる必要はなく、画像は、非周期的時間間隔のような、任意の間隔で撮られてもよい。時間間隔にかかわらず、撮られる画像の総持続時間DT=tN-1-t0は、予期される最速の物体がカメラの視野内に留まるように選択されなければならない。
【００４７】
dtの下限は、カメラのシャッタースピード及び／又はハードウェアの制限のような、実際的な制限によって決定され得る。しかしカメラは、動く物体がまだカメラの視野内にある時に十分な画像をキャプチャするために、毎秒６０フレームより大きいフレームレートを持つハイスピードカメラでなければならない。画像処理アルゴリズムが、ここで記載されるようにこれらの画像に適用されることによって、それぞれの時刻tiにおける動く物体の位置情報を抽出し得る。それぞれの時刻サンプルにおける動く物体の位置は、列としてベクトルPnCを含む行列PCに以下のように記憶され得る。
【００４８】
【数２】
2020201269.tif 000004
【００４９】
トリガ機構が作動し、写真撮影が開始された後に、ブロック４０４において、システムは、ブロック４０２の間に撮られた写真中の物体（例えば野球ボール、一般的には動く物体）を検出するように動作する。場合によっては、もしシステムが単一のカメラを用いて動作するなら、物体の形状及び大きさについての以前の知識を有することが有用である。例えば、当該物体は、ゴルフボールやフットボールではなく、約２．５インチの直径を有する野球ボールであるという知識である。場合によっては、もしシステムが複数のカメラ（例えばステレオカメラシステム）を用いて動作するなら、対象の物体の形状及び大きさを予め知っておくことは必要ないかもしれないが、もしそのようなデータが予めシステムに提供されることが可能なら処理を高速化し得る。
【００５０】
ある実施形態では、システム１００は、動きベースのトリガ機構に基づいて、物体は、静止した背景に対して動いている、又はこれから動く（例えば、静止した野球場の環境を横切る打たれたボールの動き）という事前の知識を有する。よってある例では、対象となる物体を検出することは、キャプチャされた一連の写真群のうちの最初の写真を背景画像として用い、それから初期背景写真から、それぞれの後続の写真からの画像を減算することによってなされ得る。減算操作の後には、閾値処理及び／又はフィルタの適用がなされてノイズを除去し、よって物体を背景に対して検出し得る。
【００５１】
他の実施形態では、写真中の物体を検出することは、まず一連の写真群から一枚の写真を「開始」画像として選び出すことによって可能になされ得る。その後、写真からの画像は、「開始」画像より前に発生した写真、及び「開始」画像より後に発生した写真から減算される。異なる写真は、前及び後の画像の両方に共通な写真の部分をハイライトするために乗じられる。この乗算の結果は、動く物体が発見され得る、それぞれの写真の内部の興味のある領域をさらにハイライトする。もし物体がよく定義された特性（例えば円形状、楕円形状等）を有するなら、システム１００は、予め既知パターンを用いてパターンマッチングを利用することによって、画像中の物体を決定できる。
【００５２】
他の実施形態では、物体を検出することは、既知のパラメータを用いてパラメータ化され得る物体についてハフ変換を利用することをさらに含み得る。例えば、円は、３つのパラメータ（すなわち半径、円の中心の水平及び垂直位置）を有し、楕円は、４つのパラメータ（すなわち長径、短径、楕円の中心の水平及び垂直位置）を有する。いったん物体が画像中に存在していると検出されると、対象となるパラメータは、アレイ中に記憶され得て、それぞれのエントリは、物体のパスを追尾するのに助けになり得るタイムスタンプ（例えばシステム１００の内部クロック、又は他の時間計測装置を用いて）を有する。
【００５３】
いったん物体が検出されると、ブロック４０６において、システム１００は、３次元空間内での物体の位置を推定する。３次元空間内での物体の位置は、それぞれの撮られた写真について、それぞれのi番目の写真について時刻tiと関連付けられる。それぞれの時刻サンプルにおける物体の正確な位置が与えられ、内挿を用いれば、正確な飛翔軌跡が、観測時間期間（すなわち所定のタイムフレーム）の持続期間について再構築され得る。
【００５４】
場合によっては、物体の水平及び垂直位置は、正確に決定され得るが、奥行きについてのカメラの観測は正確ではないかもしれない。球座標においては、距離は、方位角及び高度角と比較して、より大きい誤差を有する。よって距離測定における誤差は、物体が動く速さ及び方向を見いだすのにおいて誤差につながり得る、全ての３次元上の位置の誤差に対して影響を有し得る。
【００５５】
ブロック４０８において、物体は、システム１００に最も近いカメラベースの測定に基づいて特定され得る。場合によっては、システム１００に最も近い物体が用いられ得るが、これは、距離を求めるのに伴う誤差が、システム１００から遠くに配置されている物体よりも、より少ない可能性があるからである。システムからより遠くに配置されていると、距離の解像度は指数関数的に悪化し得る。
【００５６】
ブロック４１０において、システム１００は、上のブロックで決定されたカメラベースの測定値を用いて、動く物体によって発生したレーダートラック（radar track）を特定し得る。レーダー装置１１０は、動く物体の半径方向速度に対応するドップラー信号を発生し得て、ここで半径方向速度は、飛翔軌跡を修正するのに用いられ得る。
【００５７】
ある実施形態では、レーダー装置１１０は、同相成分（つまりＩチャンネル）及び直交成分（つまりＱチャンネル）の２つのアナログ要素を備えるデータをキャプチャし得る。これらを合わせると、同相成分及び直交成分は、複素信号s(t)を形成し、ここで
【００５８】
【数３】
2020201269.tif 000005
【００５９】
である。同相成分及び直交成分は、サンプリング周波数FSにおいてアナログ・デジタル変換器を用いてサンプリングされる。これら要素は、サンプリングの前にプリフィルタリング及び増幅がなされ得る。サンプリングの後には、高次の有限インパルス応答（ＦＩＲ）デジタルフィルタがそれぞれのチャンネルに適用される。ある実施形態では、無限応答フィルタ（ＩＩＲ）がＦＩＲフィルタの代わりにサンプルに適用され得る。場合によっては、このフィルタは、例えば個人（例えばこの例ではピッチャー又はバッター）の動き、対象となる四肢の動き以外の四肢の動き等によって発生された低い周波数の動きを除去する。この時点では、データは、時間領域であり得て、動くウィンドウＮ点（moving window N-point）高速フーリエ変換（ＦＦＴ）を用いて、この時間領域データは、時間・周波数領域データに変換される。有限持続時間のウィンドウイングの少ないアーティファクト、及び低減されたスペクトルの漏れを持つ、スムーズなスペクトルを発生するために、ＦＦＴを行う前に時間領域のデータに予め乗算を施すために、ハミング、ブラックマン、カイザー等の窓関数が適用され得る。
【００６０】
システムによってキャプチャされた生データは、カメラ座標系でキャプチャされ得るが、世界座標系に変換されるべきであり、ここでそのような世界座標系は、例えば球座標又はデカルト座標であり得る。データを世界座標系に変換するためにカメラの位置及び向きが用いられることによって、カメラから世界座標への変換行列RCWを構築する。カメラから世界座標への変換行列は、カメラからの任意のベクトルを、選択された世界座標系へ変換するのに用いられる、関連する回転及び平行移動を含む４×４の行列であり得る。世界座標系でのベクトルは、以下の方程式によって得られる。
【００６１】
【数４】
2020201269.tif 000006
【００６２】
ベクトルは３次元であるが、RCWが４×４であるので、「１」は、第４次として追加されることによって、平行移動を実現する。
【００６３】
半径rbを有する規則的な形状の物体（例えば野球ボール、ゴルフボール）については、カメラの基準系における球座標ρn,θn,andφnは、以下によって与えられる。
【００６４】
【数５】
2020201269.tif 000007
【００６５】
ステップ４１２において、システム１００は、動く物体の飛翔軌跡を推定し、推定された飛翔軌跡から対象のパラメータを計算し得て、ここで対象のパラメータには、速さ、速度、回転、回転軸、回転の速さ、垂直仰角、方位角、飛翔軌跡、放射角等が含まれ得る。
【００６６】
複数の物体の追尾
図５は、ある実施形態によるレーダー及びカメラベースのデータ融合のための例示的処理方法５００のフローチャートを示す。ある実施形態では、１より多い物体が追尾され得るが、これは意図的であるか、又はレーダーが検出し得る複数の動く物体が存在する（例えば視野内の他のボール、鳥、飛行機、人）かのいずれかによる。複数の物体の場合、正しい物体を追尾することが難しいかもしれない。したがって１つの例としては、使用されるレーダーは、所定のビーム幅を有するナロービームレーダーであり得る。もし動く物体がレーダーのビームの中にあるなら、物体は、半径方向速度に等価なドップラー周波数を発生する。同時に追尾される物体群は、これらには限定されないが、ピッチャーの手、ボール、ピッチャー及び／又はバッターの腕、バット又はゴルフクラブのスイング等を含み得る。
【００６７】
検出は、ブロック５０２に示されるように、信号対ノイズ比（ＳＮＲ）の計算に基づき得る。ブロック５０４において、特定された周波数又は周波数群は、近接度に基づいて、レーダートラックプールに記憶されている既存の所定のレーダートラックと関連付けられ得る。関連付けが存在するかの決定は、ブロック５０６でなされ得る。ブロック５０８に示されるようにもし存在しないなら、新しいレーダートラックが作られ（ブロック５０８）、レーダートラックプールに保存される（ブロック５１０）。
【００６８】
もし既存のトラックとの関連付けがあると決定されるなら（ブロック５０６）、予め関連付けられたレーダートラックがレーダートラックプールに存在すると決定される（ブロック５１０）。それぞれの反復において、レーダートラックデータは、検出される次の予期される周波数を予測するのに用いられ得る（ブロック５１６）。もしあるレーダートラックについての検出が複数回の反復に失敗する（例えば複数の物体の中の１つの物体を検出すること、又は複数の物体を他の１つから区別することに失敗する）なら、レーダートラックは窮乏し（starved）（ブロック５１２）、その後に、当該レーダートラックは、レーダートラックプールから削除される（ブロック５１４）。逆に、もしレーダートラックが失敗しない（例えば物体が複数の物体のグループから検出されるか、又は複数の物体が互いに区別される）なら、当該レーダートラックはアップデートされ（ブロック５１０）、後の関連付けのためにレーダートラックプールの中に入れられる（５１０）。
【００６９】
ある実施形態では、複数の物体の追尾のために、以下の状態空間トラッカー（tracker）方程式が利用され得る。
【００７０】
xn=Pxn-1+G(y-HPxn-1)    （８）
ここでxは状態ベクトルである。
【００７１】
ベクトルxは、
【００７２】
【数６】
2020201269.tif 000008
【００７３】
によって表現され得る。
【００７４】
行列Gは、利得行列であり得る。Gを見つけるためにカルマンフィルタが利用され得て、又は代替として、以下のようにGを見つけるために、静的変数（static values）α、β、及びγが利用され得る。
【００７５】
【数７】
2020201269.tif 000009
【００７６】
行列Pは、以下のように状態遷移行列であり得る。
【００７７】
【数８】
2020201269.tif 000010
【００７８】
行列Hは、以下のように測定行列であり得る。
【００７９】
【数９】
2020201269.tif 000011
【００８０】
レーダートラックデータは、以下のように最小二乗当てはめを用いて方程式（１３）に当てはめられ得る。
【００８１】
v(t) = β0 + β1t + β2t2+ β3t3    （１３）
もし初期距離（initial range）がρt1と設定されるなら、時刻t1における距離ρt1は、以下の方程式（１４）を用いて求められ得る。
【００８２】
【数１０】
2020201269.tif 000012
【００８３】
物体の最も近い距離ρt０が与えられると、方程式（１４）は、t1及びt０の間の距離の差を求めるためにドップラー曲線を積分する。ある実施形態においては、距離ρt０における画素解像度に起因する最大測距誤差（maximum ranging error）は、dρである。よって、距離ρt１における誤差は、dρ+dv(t1-t０)である。３次曲線あてはめのために、誤差dvは、非常に小さくなり得て、誤差についての寄与要因はdρのままである。したがって測距誤差は、レーダーによって追尾されている間、野球ボールの飛行の期間の全体において、一定のままであり得る。
【００８４】
図６は、ある実施形態によるレーダー及びカメラベースのデータ融合のための例示的環境の例示的概観６００を示す。ある実施形態において、物体は、球体又は楕円体（又は他の予測可能に正則な（regular）形状）ではなくてもよく、その代わりに、ゴルフクラブのような不規則な形状であってもよい。ここでゴルフクラブは、その形状及び関連する形状に基づいたパラメータが予め知られていないかもしれないので、さらなる困難が伴い得る。
【００８５】
システム６０２は、２つのカメラ６０４及び６０６に加え、レーダーユニット６０８を含み得る。カメラ６０４及び６０６、及びレーダー６０８は、視野６１２、６１４、及び６１６をそれぞれ有し得る。ある実施形態では、対象となる点Ｐ６１８は、例えば、クラブヘッドの中心、又はレーダー信号の大部分を反射するであろう他の突出部であり得る。カメラ６０４及び６０６は、上述のように物体６１０上に配置された対象の点Ｐ６１８を決定するために、物体６１０（例えばゴルフクラブヘッド）の画像を撮るようトリガがかけられ得る。すなわち、対象の点Ｐ６１８がレーダーの視野６１６に入る時、カメラ６０４及び６０６は、トリガがかけられることによって、写真を撮影することが始まり得る。
対象の点Ｐの３次元座標が決定される。クラブのトゥ又はヒールのような、異なる場所からの複数のレーダー反射が存在する場合は、平均値が用いられ得る。
【００８６】
Ｐ６１８の座標が決定されると、それからＰ６１８は、レーダーユニット６０８から送られ、受け取られたレーダー信号と関連付けられる。それから対象の点Ｐ６１８は、ゴルフボールとの実際の接触の時（又は例えば野球のバットが野球ボールを打つ時）までステレオカメラ６０４及び６０８で撮られた複数の写真にわたって追尾される。例えば、Ｐ６１８の座標は、ゴルフクラブが振られる間に、時刻t0において、その後再び時刻tN-1において測定され得る。代替の又は追加の実施形態では、Ｐ６１８の座標は、時刻t0及びその後再び時刻tN-1の間において複数回、測定され得る。ある例では、時刻tN-1は、ゴルフクラブ６１０がゴルフボールと接触する時刻であり得る。その時点において、ゴルフボールの飛翔軌跡は、図１〜４について説明される方法のような、本記載で説明される方法を用いて推定され得る。
【００８７】
場合によっては、距離解像度は、物体がカメラ７０４及び７０６から離れるように動くうちに悪化し得る。距離解像度の悪化を低減するために、物体がカメラに最も近いと決定される時が、方程式（１４）について、開始時刻ρt0として選択される。方程式（１４）は、それから、さまざまな他の時間サンプルについての物体の距離を得るために用いられ得て、３次元飛翔軌跡は、前述の規則的な形状の物体の飛翔軌跡を再構築するのと同様のレベルの正確さで再構築され得る。
【００８８】
カメラのみの飛翔軌跡推定
ある実施形態では、物体は、レーダーに直角又はほぼ直角である方向に移動しているかもしれない。そのような場合、レーダーによって測定された半径方向速度は、ゼロに近いか、又はそうでなければ非常に小さいことがあり得る。しかしドップラー速度が絶対的にゼロでない限り、物体の半径方向速度を測定することは依然として可能である。
【００８９】
実際には、ドップラー速度は、物体の半径方向速度に対応する周波数を検出することで測定される。物体の周囲には、動き（例えばピッチャーの動き、バッターの動き、バットの動き、他の選手の動き等）が存在し、これらは、低い周波数において干渉を発生し得る。低いドップラー周波数を発生する動く物体を検出することは難しい場合があるので、動く物体の飛翔軌跡を推定するためには画像処理が用いられ得る。
【００９０】
ある速さを有する動く物体について、初期飛翔軌跡は、ほぼ直線的な動きを有し、一定の速さで動いていると仮定され得る。しかしドップラー速度は、発射物の位置及び動きの方向に依存する。ある実施形態において、動く物体の最も近い測定値は、時刻t0においてキャプチャされ得る。動く物体の距離ρ、方位角θ、及び仰角φは、図４について上で説明した方程式（５），（６），及び（７）を用いて得られる。
【００９１】
球座標（すなわち方程式（５），（６），及び（７））は、以下の方程式を用いてデカルト座標に変換され得る。
【００９２】
xn=ρk cosφn cosθn    （１５）
yn=ρksinφn    （１６）
xn=ρk cosφn sinθn    （１７）
距離ρ0は、画像化から方程式（５），（６），及び（７）を用いて計算され得る。残りの距離（すなわちρ1，…，ρn）は、前述の方程式（１４）を用いて計算され得る。方位角θ及び仰角φは、動く物体の中心を見つけることによって計算され得る。係数β0，…，β2は、レーダーデータの利益なしでは未知である（すなわち物体がレーダー測定値に対して垂直又はほぼ垂直であり得るので未知である）。よって係数は、以下の最適化方程式を用いて推定され得て、ここでmin βは、
【００９３】
【数１１】
2020201269.tif 000013
【００９４】
である。
【００９５】
ある実施形態では、方程式（１８）を解くは、パラメータβ0，β1，及びβ2についてグリッドサーチを用いて達成され得る。他の実施形態では、これらパラメータを決定するために、勾配降下アルゴリズムが用いられ得る。
【００９６】
勾配降下
勾配降下を用いてパラメータを決定する際に、この方法は、最適解β＊が見つかるまで、方程式（１８）の誤差関数のヤコブ行列、及びヤコビアンの方向の降下を求める。誤差関数は、方程式（１８）（上記）によって与えられ、以下に再掲する。
【００９７】
【数１２】
2020201269.tif 000014
【００９８】
勾配降下アルゴリズムは、以下によって提供される。
【００９９】
【数１３】
2020201269.tif 000015
【０１００】
停止条件は、｜｜J｜｜2＜ηであり、ここでηは、小さい正の定数である。バックトラッキング又は完全直線探索のアルゴリズムの具体的な詳細は、他の技術分野で見出され得る。いったん解β＊が見つかれば、方程式（１５）が用いられて全ての時刻tiについての物体の距離が求められる。この結果は、球座標で記述され得るので、カメラシステムにおいてデカルト座標に変換され得て、追加又は代替の実施形態では、それから世界座標に変換され得る。
【０１０１】
図６は、ある実施形態による例示的方法７００のフローチャートを示す。方法７００は、任意の適切なシステム、装置、又はデバイスによって実行され得る。例えば、図１、２、及び３のシステム１００は、方法７００に関連する操作の１つ以上のものを実行し得る。個別のブロックで図示されているが、方法７００のブロック１つ以上のものに関連するステップ及び操作は、所望の実現方法に依存して、さらなるブロックに分割されてもよく、より少ないブロックに組み合わせられてもよく、又は除去されてもよい。
【０１０２】
ブロック７０２において、この方法は、レーダー信号を用いてレーダーの視野内の物体を検出することを含み得る。例えばレーダー装置１１０は、物体（例えば野球ボール２０６）が視野に入る時に、反射されたドップラーレーダー信号を用いて物体を検出し得る。
【０１０３】
ブロック７０４において、この方法は、物体の動きをレーダーの視野を通して追尾することを含み得る。例えば、野球ボール２０６の動きは、野球ボール２０６が距離２１４を横切る時の時間期間にわたって、レーダー信号を用いて追尾され得る。
【０１０４】
ブロック７０６において、この方法は、カメラをトリガすることによって、物体の動きを追尾することに基づいて物体の複数の画像をキャプチャすることを含み得る。例えば、システム１００は、野球ボール２０６がレーダーの視野に入ることのような、所定のトリガ閾値が充足されていることを決定し得る。その結果、カメラ１２０は、野球ボールがレーダーの視野（及びカメラの視野でもあるが）にわたって動くことを続ける時に、一連の写真群を撮ることを始めるようトリガされ得る。
【０１０５】
ブロック７０８において、この方法は、複数の画像内の物体を検出することを含み得る。例えば、カメラ１２０は、所定の時間期間にわたって、又は所定の閾値が満たされるまで、一連の写真を撮り得る。これら写真は、一連の写真を通して野球ボール２０６の位置を決定するために、システム１００によって分析され得る。
【０１０６】
ブロック７１０において、この方法は、レーダー信号のデータと、カメラのデータとを結合することによって、物体の位置を推定することを含み得る。例えば、それぞれの推定された時刻における野球ボールの位置を推定するために、カメラデータ及びレーダーデータは、融合されることによって、野球ボールのパスの飛翔軌跡と関連付けられたパラメータとともに、ボールの座標を決定し得る。
【０１０７】
ブロック７１２において、この方法は、結合されたデータに基づいて、物体の動きによって発生されたレーダー信号トラックを特定することを含み得る。ブロック７１４において、この方法は、レーダー信号トラックを特定することに基づいて物体の飛翔軌跡を推定することを含み得る。例えば、融合されたデータ、及び計算され推定された位置及びパラメータに基づいて、野球ボール２０６の飛翔軌跡が推定され、後の分析のために記憶される。後の分析の場合、この計算は、飛翔軌跡推定をさらに調整し、後に改良するのに用いられ得る。
【０１０８】
したがって、方法７００は、動く物体を分析するのに用いられ得る。改変、追加、又は省略が方法７００に対して、本開示の範囲から逸脱することなくなされ得る。例えば、方法７００の操作は、異なる順序で実現され得る。追加又は代替として、２つ以上の操作は、同時に実行され得る。さらに、概説された操作及び行為は、例としてだけ挙げられており、操作及び行為のうちのいくつかは、開示された実施形態の本質を毀損することなく、オプションであってもよく、より少ない操作及び行為に結合されてもよく、又は追加の操作及び行為へと拡張されてもよい。上で挙げられた全ての例は、非限定的であり、単に本開示の柔軟性及び広さを示すためのものに過ぎない。
【０１０９】
図８は、超音波通信において採用され得る例示的コンピュータシステムを示す。ある実施形態において、コンピュータシステム８００は、本開示で記載された任意のシステム又は装置のうちの一部であり得る。例えば、コンピュータシステム８００は、図１〜３のシステム１００及び／又は図６のシステム６００のうちの任意のものの一部であり得る。
【０１１０】
コンピュータシステム８００は、プロセッサ８０２（図１のプロセッサ１３０を含み得る）、メモリ８０４（図１のメモリ１４０を含み得る）、ファイルシステム８０６、通信ユニット８０８、オペレーティングシステム８１０、ユーザインタフェース８１２、及びモジュール８１４を含み得て、これら全ては通信可能に結合され得る。ある実施形態においては、コンピュータシステムは、例えば、デスクトップコンピュータ、クライアントコンピュータ、サーバコンピュータ、携帯電話、ラップトップコンピュータ、スマートフォン、スマートウォッチ、タブレットコンピュータ、携帯音楽プレーヤー、ネットワーク機器、又は任意の他のコンピュータシステムを含み得る。
【０１１１】
一般的に、プロセッサ８０２は、任意のコンピュータ、計算主体、又はさまざまなコンピュータハードウェア又はソフトウェアモジュールを含む処理装置を含み得て、任意の適用可能なコンピュータで読み取り可能な記憶媒体上に記憶された命令を実行するように構成され得る。例えば、プロセッサ８０２は、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラム命令を解釈及び／又は実行し、及び／又はデータを処理するよう構成された任意の他のデジタル又はアナログ回路、又はこれらの任意の組み合わせを含み得る。ある実施形態では、プロセッサ８０２は、プログラム命令を解釈及び／又は実行し、及び／又はメモリ８０４及び／又はファイルシステム８０６に記憶されたデータを処理し得る。ある実施形態では、プロセッサ８０２は、プログラム命令をファイルシステム８０６からフェッチし、プログラム命令をメモリ８０４にロードし得る。プログラム命令がメモリ８０４にロードされた後に、プロセッサ８０２は、プログラム命令を実行し得る。ある実施形態では、これら命令は、図４及び７をそれぞれ参照して記載された方法４００及び／又は７００の１つ以上の行為を実行するプロセッサ８０２を含み得る。
【０１１２】
メモリ８０４及びファイルシステム８０６は、コンピュータで実行可能な命令又はデータ構造をその上に担持又は保存するコンピュータで読み取り可能な記憶媒体を含み得る。そのようなコンピュータ読み取り可能な記憶媒体は、プロセッサ８０２のような汎用又は専用コンピュータによってアクセス可能でありえる任意の利用可能な非一時的な媒体であり得る。限定ではなく例として、そのようなコンピュータ読み取り可能な記憶媒体は、
リードオンリーメモリ（ＲＯＭ）、電気的に消去可能なプログラム可能なリードオンリーメモリ（ＥＥＰＲＯＭ）、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、又は他の光学的ディスク記憶、磁気ディスク記憶、又は他の磁気記憶デバイス、フラッシュメモリデバイス（例えばソリッドステートメモリデバイス）、又は所望のプログラムコードをコンピュータで実行可能な命令又はデータ構造の形で担持又は記憶するのに用いられ得て、汎用又は専用コンピュータによってアクセス可能であり得る任意の他の記憶媒体を含む、非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。上記の組み合わせも、コンピュータで読み取り可能な記憶媒体の範囲内に含まれ得る。コンピュータで実行可能な命令は、例えば、図４及び７をそれぞれ参照して説明された方法４００及び／又は７００の行為のうちの１つ以上のもののような、ある操作又は一群の操作をプロセッサ８０２に実行させるよう構成された命令及びデータを含み得る。
【０１１３】
通信ユニット８０８は、ネットワーク上で情報を送信又は受信するよう構成された任意の要素、装置、システム、又はそれらの組み合わせを含み得る。ある実施形態では、通信ユニット８０８は、他の場所、同じ場所にある他の装置、又は同じシステム内の他の要素と通信し得る。例えば、通信ユニット８０８は、モデム、ネットワークカード（無線又は有線）、赤外光通信装置、無線通信装置（アンテナのような）、及び／又はチップセット（ブルートゥースデバイス、８０２．６デバイス（例えばメトロポリタンエリアネットワーク（ＭＡＮ））、WiFi装置、WiMax装置、セルラー通信装置等）等を含み得る。通信ユニット８０８は、データが、本開示で説明されたもののようなネットワーク及び／又は任意の他の装置又はシステムと交換されることを可能にし得る。
【０１１４】
オペレーティングシステム８１０は、コンピュータシステム８００のハードウェア及びソフトウェアリソースを管理するよう構成され、コンピュータシステム８００のための共通したサービスを提供するよう構成され得る。
【０１１５】
ユーザインタフェース８１２は、ユーザがコンピュータシステム８００とやりとりを行うことを可能にするよう構成された任意の装置を含み得る。例えば、ユーザインタフェース８１２は、ＬＣＤ、ＬＥＤ、又は他のディスプレイのような、映像、テキスト、アプリケーションユーザインタフェース、及び他のデータをプロセッサ８０２の指示に従って表示するよう構成されたディスプレイを含み得る。ユーザインタフェース８１２は、マウス、トラックパッド、キーボード、タッチスクリーン、ボリュームコントロール、その他のボタン、スピーカー、マイクロフォン、カメラ、任意の周辺機器、又は他の入力又は出力デバイスをさらに含み得る。ユーザインタフェース８１２は、ユーザからの入力を受け取り、その入力をプロセッサ８０２に提供し得る。同様に、ユーザインタフェース８１２は、出力をユーザに提供し得る。
【０１１６】
モジュール８１４は、プロセッサ８０２によって実行された時に、それぞれ図４及び７を参照して説明された方法４００及び／又は７００の行為のうちの１つ以上のものを行うよう構成された、メモリ８０４又はファイルシステム８０６のような、１つ以上の非一時的なコンピュータ読み取り可能な媒体上に記憶された１つ以上のコンピュータ読み取り可能な命令であり得る。ある実施形態では、モジュール８１４は、オペレーティングシステム８１０の一部であり得て、又はコンピュータシステム８００のアプリケーションの一部であり得て、又はそれらの組み合わせであり得る。
【０１１７】
本開示の範囲から逸脱することなく、改変、追加、又は省略がコンピュータシステム８００になされ得る。例えば、図８ではそれぞれが単一の要素として図示されているが、コンピュータシステム８００の要素８０２〜８１４のうちの任意のものは、全体として機能し、通信可能に結合された複数の同様の要素を含み得る。さらに、単一のコンピュータシステムとして図示されているが、コンピュータシステム８００は、クラウドコンピューティング環境、マルチテナンシー環境、又は仮想環境におけるような、互いにネットワークで結合された複数の物理的又は仮想的コンピュータシステムを含み得る。
【０１１８】
上述のように、ここで説明された実施形態は、以下により詳細に説明される、さまざまなコンピュータハードウェア又はソフトウェアモジュールを含むコンピュータの使用を含み得る。さらに上述のように、ここで説明された実施形態は、その上に記憶されたコンピュータで読み取り可能な命令又はデータ構造を担持又は保存するための、コンピュータで読み取り可能な媒体（例えばメモリ８０４又は図１のファイルシステム１４０）を用いて実現され得る。
【０１１９】
本開示で用いられるように、「モジュール」又は「要素」という語は、コンピューティングシステムのハードウェア（例えばコンピュータで読み取り可能な媒体、処理装置等）上に記憶され、及び／又はそれによって実行され得る、モジュール又は要素及び／又はソフトウェアオブジェクト又はソフトウェアルーチンの行為を実行するよう構成された具体的なハードウェアによる実現例を指し得る。ある実施形態では、本開示で説明された異なる要素、モジュール、エンジン、及びサービスは、コンピューティングシステム上で実行するオブジェクト又はプロセスとして（例えば別個のスレッドとして）実現され得る。本開示で説明されたシステム及び方法のいくつかは、ソフトウェア（ハードウェア上に記憶され、ハードウェアによって実行される）で実現され得るとして大まかには説明されているが、具体的なハードウェアの実現例又はソフトウェア及び具体的なハードウェアの実現例の組み合わせも可能であり、想定される。本説明では、「計算主体」とは、本開示で上に規定される任意のコンピューティングシステム、又はコンピューティングシステム上で走る任意のモジュール又はモジュール群の組み合わせであり得る。
【０１２０】
本開示において、特に添付の特許請求の範囲（例えば添付の請求項の本文）において用いられる語は、大まかには「開放的な」語（例えば「including」という語は、「含むがそれには限定されず」と解釈されるべきであり、「having」という語は、「少なくとも有する」と解釈されるべきであり、「includes」という語は、「含むがそれには限定されず」と解釈されるべきであり、「containing」という語は、「含むがそれには限定されず」と解釈されるべきである等）と意図されている。
【０１２１】
加えて、もし導入された請求項の記載についての具体的な数が意図されるなら、そのような意図は、明示的に請求項で記載され、そのような記載がない限り、そのような意図は存在しない。例えば、理解の補助として、以下の添付の特許請求の範囲は、クレームの記載を導入するために、「少なくとも１つの」及び「１つ以上の」という導入句の使用を含み得る。しかしそのような句の使用は、同じ請求項が「１つ以上の」又は「少なくとも１つの」という導入句、及び「a」又は「an」のような不定冠詞を含むときであっても、「a」又は「an」の不定冠詞による請求項の記載の導入が、そのような導入された請求項の記載を含む任意の特定の請求項を、そのような記載を１つしか含まない実施形態に限定することを含意するようには解釈されるべきではない（例えば「a」及び／又は「an」は、「少なくとも１つの」又は「１つ以上の」を意味するよう解釈されるべきである）。同じことは、請求項の記載を導入するのに用いられる定冠詞の使用についてもあてはまる。
【０１２２】
加えて、仮に、導入された請求項の記載について具体的な個数が明示的に記載されているとしても、当業者には、そのような記載は、少なくとも記載された個数を意味するよう解釈されるべきということが認識されるだろう（例えば、他の修飾語なしに「２個の記載」という無修飾の記載は、少なくとも２つの記載、つまり２つ以上の記載を意味する）。さらに、「Ａ、Ｂ、及びＣ等の少なくとも１つ」又は「Ａ、Ｂ、及びＣ等の１つ以上」と類似の慣習が用いられる場合においては、一般的に、Ａだけ、Ｂだけ、Ｃだけ、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、又はＡ、Ｂ、及びＣを一緒に、等を含む解釈が意図されている。
【０１２３】
さらに、２つ以上の代替の語を提示する任意の択一的な単語又は句は、明細書、特許請求の範囲、又は図面のいずれにおいても、それら語のうちの１つ、それら語のいずれか、又は両方の語を含む可能性を想定しているよう理解されなければならない。例えば、「Ａ又はＢ」という句は、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むとして理解されるべきである。
【０１２４】
本開示で記載された全ての例及び条件的文言は、技術を発展するために発明者によって寄与された開示及び概念を読者が理解するのを助けるための教育的対象として意図されており、そのような具体的に記載された例及び条件に限定されないと解釈されるべきである。本開示の実施形態は、詳細に説明されてきたが、さまざまな変更、置換、及び改変が、本開示の精神及び範囲から逸脱することなく、ここになされてもよい。
【図１】
2020201269.tif 000016
【図２】
2020201269.tif 000017
【図３】
2020201269.tif 000018
【図４】
2020201269.tif 000019
【図５】
2020201269.tif 000020
【図６】
2020201269.tif 000021
【図７】
2020201269.tif 000022
【図８】
2020201269.tif 000023