(57)【要約】本発明は、画像を生成するシステムに関し、当該システムは、ベース１にオーバラップする画像を供給する１以上のカメラ２，３，４，２ａ，３ａ，４ａを有しており、１以上にカメラにより供給された１以上のオーバラップする画像を複合画像６にマージするマージ手段５を有する。マージングプロセスは、ベースが回転速度ωで回転することを考慮する。
2008515264.tif 000002
【特許請求の範囲】
【請求項１】
画像を生成するシステムであって、
当該システムは、オーバラップする画像を供給する１以上のカメラをベース上に有し、１以上のカメラにより供給される１以上のオーバラップする画像を複合画像にマージするマージ手段を有し、
前記ベースの回転に依存して１以上のカメラにより画像が撮影される頻度を判定する画像の頻度の判定手段を有する、システム。
【請求項２】
前記判定手段は、前記ベースの回転周波数、並びに前記ベースの回転軸の向き及び移動速度に依存して、１以上のカメラにより画像が撮影される頻度を判定するために構成される、
請求項１記載のシステム。
【請求項３】
当該システムは、画像の頻度の関数として前記画像の解像度を選択するセレクタを有する、
請求項１記載のシステム。
【請求項４】
画像を生成するシステムであって、
当該システムは、オーバラップする画像を供給する複数のカメラをベース上に有し、
１以上のカメラにより供給された１以上のオーバラップする画像を複合画像にマージするマージ手段を有し、
それぞれのカメラで画像が撮影される瞬間を相互に調整するタイマを有する、システム。
【請求項５】
前記タイマは、少なくともあるカメラのセットを同期させるために構成される、
請求項４記載のシステム。
【請求項６】
前記カメラのセットは、多数のサブセットを有し、
前記タイマは、それぞれのサブセットの動作において、カメラが同時に画像を撮影し、前記サブセットのタイミングが異なるように構成される、
請求項５記載のシステム。
【請求項７】
当該システムは、前記ベースの回転速度を判定する手段を有し、前記タイマは、判定された回転速度に依存してタイミングを変えるために構成される、
請求項４記載のシステム。
【請求項８】
画像を生成するシステムであって、
当該システムは、ベースにオーバラップする画像を供給する複数のカメラを有し、
１以上のカメラにより供給された１以上のオーバラップする画像を複合画像にマージするマージ手段を有し、
それぞれのカメラで画像が撮影された瞬間のタイミングを確立するタイマを有する、システム。
【請求項９】
当該システムは、前記ベースの変形を判定するセンサを有する、
請求項１，４，８のいずれか記載のシステム。
【請求項１０】
画像を生成するシステムであって、
当該システムは、オーバラップする画像を供給する１以上のカメラをベース上に有し、
１以上のカメラにより供給される１以上のオーバラップする画像を複合画像にマージするマージ手段を有し、
前記マージ手段は、画像間の動きベクトルを予測する動き予測手段を有し、
前記動き予測手段は、前記ベースの回転パラメータの入力を有するように構成される、システム。
【請求項１１】
前記動き予測手段は、前記ベースの動きの入力を有する、
請求項１０記載のシステム。
【請求項１２】
回転可能なベースの１以上のカメラを使用して複合画像を生成する方法であって、
１以上のカメラによりオーバラップする画像が供給され、１以上のオーバラップする画像は複合画像にマージされ、画像の撮影の頻度は前記オブジェクトの回転に関連する、方法。
【請求項１３】
回転可能なベースの複数のカメラを使用して複合画像を生成する方法であって、
カメラによりオーバラップ画像が供給され、１以上のオーバラップ画像は複合画像にマージされ、カメラは相互に調整される、方法。
【請求項１４】
前記複数のカメラは、同期される少なくとも１セットのカメラを有する、
請求項１３記載の方法。
【請求項１５】
前記複数のカメラは、少なくとも２つのセットのカメラを有し、それぞれのサブセットについてカメラが同期され、前記サブセットのタイミングが異なる、
請求項１４記載の方法。
【請求項１６】
回転可能な１以上のカメラを使用して複合画像を生成する方法であって、オーバラップする画像は、１以上のカメラにより供給され、１以上のオーバラップする画像は複合画像にマージされ、動き予測が使用され、動き予測は前記ベースの回転に依存する、方法。
【請求項１７】
前記ベースの回転は、前記ベースにおけるセンサにより測定される、
請求項１２，１３又は１６のいずれか記載の方法。
【請求項１８】
プログラムがコンピュータで実行されたとき、請求項１２乃至１７のいずれか記載の方法を実行するプログラムコード手段を有するコンピュータプログラム。
【請求項１９】
プログラムがコンピュータで実行されたとき、請求項１２乃至１８のいずれか記載の方法を実行するコンピュータ読み取り可能な媒体に記憶されるプログラムコード手段を有するコンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を生成するシステムに関するものであり、当該システムは、オーバラップする画像を供給する１以上のカメラをベース上に有し、１以上のカメラにより供給されたオーバラップする画像を複合画像にマージするマージ手段を更に有している。
【０００２】
また、本発明は、１以上のカメラを使用して画像の生成の方法に関するものであり、オーバラップする画像が生成され、オーバラップする画像は複合画像にマージされる。
【背景技術】
【０００３】
かかるシステム及び方法は、米国特許第５，６５７，７０３号から知られている。かかる特許では、システム及び方法が開示されている。記載される画像システムは、ベースに複数のビデオカメラを有し、これらカメラのそれぞれは、画像を捕捉し、それぞれの画像のデータはデジタル又はアナログ出力のストリームを形成している。画像はオーバラップし、ストリームはマージされてパノラマ式、パノスフェリック式（panospheric）画像を形成する。また、システム及び装置は、全体の画像の一部を選択するためにイメージクリッパを有する。次いで、この一部はディスプレイに表示される。デジタルストレージ及び無線通信における進歩により、娯楽用にかかるビデオストリームを使用することが可能となる。  
この公知のシステムは、固定されたベースを使用している。  
カメラは、特にデジタルカメラであり、より小型になってきているが、安価かつロバストになってきている。これにより、大部分のオブジェクトにそれらを配置することが可能になっている。同じタイプのソリューションは、消費者市場に入り込む。
【０００４】
現代のＴＶエンターテインメントでは、たとえばレースの間の自転車、フォーミュラＩのドライバヘルメット、ギターのような固有のビューを提供する通常ではない位置にカメラを配置することに益々関心が高くなってきている。かかるオブジェクトは移動する。
【０００５】
本発明者は、スポーツに排他されないが、特にスポーツについて、回転可能なオブジェクトは、その内部及び表面にカメラを配置するため、すなわちカメラのベースとして使用されるべき非常に関心のあるオブジェクトであることを認識している。例としては、たとえば、サッカー、アメリカンフットボール、バスケットボールのようなボールである。かかる回転可能なオブジェクト、すなわち回転可能なベースにカメラを配置することで、固有な眺望が提供され、外側の観点からよりはむしろアクティビティの中心から直接的なビューが可能となる。１以上のカメラのベースオブジェクトが回転可能なオブジェクト、すなわち使用されたときに回転しやすいオブジェクトであるシステムについて、多数の要件が適合されることが好ましい。  
オブジェクトの本質的な特徴又はその使用は際立って変化しない。  
安定な画像が取得されるべきである。
【０００６】
米国特許第５，６５７，７０３号に記載されるシステムは、非移動型のカメラの使用に向けられる。ベースは、本質的に固定されたカメラのペデスタルであり、カメラは、固定された観点を有する。ボールのような回転可能なオブジェクトに搭載されたカメラについて、カメラは、それらが付属しないベース（たとえばボール）に関して移動しない場合であっても、撮影される画像に関して移動する。それぞれのカメラの視野は変化し、視野のオブジェクトの明らかな移動を引き起こす。かかる明らかな移動は、比較的に低速な回転速度についてさえ大きい場合がある。この明らかな動きは、１以上のカメラにより撮影されたオーバラップする画像の１つの大きな画像へのマージ（又はステッチ）における問題を生じる場合がある。本発明のフレームワーク内の「オーバラッピング」は、画像の少なくとも幾つかの部分が同じコンテンツ事項を有することを意味する。先験的に、回転（回転速度；回転軸）、移動速度及びオブジェクトの方向は未知であり、問題を複雑にする。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、少なくとも幾つかの上述された問題が低減されるシステム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、その様々な観点において以下の洞察に基づいている。  
米国特許ＵＳ５，６５７，０７３におけるカメラのスタティックなアレンジメントが使用されるとき、様々なカメラによりカバーされる視野及び視野のオーバラップは比較的良子に定義される。したがって、画像のオーバラップは、比較的良好に定義される。しかし、同じことが、１以上のカメラがボールのような回転するオブジェクトに位置されるときには当てはまらない。カメラの視野は、先験的に未知のやり方で一定に変化する。さらに、カメラは、連続的に画像を撮影しないが、毎秒５０画像を断続的に撮影する。たとえば毎秒２回転といった比較的小さいか又は控えめな回転速度でさえ、多数の問題が生じ、この問題は静止した複数のカメラで生じない。これらの問題の１つは、少なくとも幾つかの期間の間に不注意に画像が撮影されない全体の画像の一部である、パノラマ式画像におけるブラインドスポットの発生である。別の点は、オーバラップのフィールドの不確かさである。オーバラップのフィールドは、先験的に未知のやり方で一定に変動する。
【０００９】
かかる問題を低減するため、本発明の第一の態様に係るシステムは、ベースの回転に依存して１以上のカメラにより画像が撮影される頻度（frequency）を判定する画像の頻度の判定手段を有することを特徴とする。
【００１０】
先験的に、ベースの回転は未知である。回転速度が高くなると、すなわち１以上のカメラが付属されるベースの毎秒当たりの回転数が高くなると、問題が大きくなる。回転の関数として画像が撮影される頻度を判定することで、一般に画像が撮影される頻度、すなわち毎秒当たりの画像数が増加すると、回転の増加として増加する。オブジェクトが高速に回転するときに多くの画像を撮影することで、カメラにより撮影された後続する画像間の対応関係が増加し、画像のマージを容易にする。
【００１１】
画像が撮影される頻度は、オブジェクトの回転に依存して線形であり、又は、カメラは、たとえば低速、中速及び高速といった多数の設定を有する。システムが複数のカメラを有する実施の形態では、判定手段は、カメラの全てについて共通の画像の頻度を判定するか、又は、システムの洗練された実施の形態では、判定手段は、異なるカメラについて異なる画像の頻度を供給するディスクリミネータを有する。
【００１２】
オブジェクトの回転は、撮影された画像から決定され、たとえば回転周波数は、特定のオブジェクトがカメラの１つにより撮影された画像に存在する頻度により決定されるか、又は、たとえば回転するときにオブジェクト内で遠心力を測定する歪みゲージといった、回転可能なオブジェクト内のセンサにより決定されるか、若しくは、たとえばオブジェクトに追従する固定された個別のカメラといったオブジェクト外に位置されるセンサにより決定され、ここでオブジェクトには、マーキングが設けられており、センサは、このマーキングの動きに追従することで回転速度を測定する。
【００１３】
シンプルな実施の形態では、画像の頻度の判定手段は、ベースの回転周波数に依存して１以上のカメラにより画像が撮影された頻度を判定するために構成される。より洗練された実施の形態では、判定手段は、ベースの回転周波数、更には回転軸及び／又は移動速度の方向に依存して、１以上のカメラにより画像が撮影された頻度を判定するために構成される。
【００１４】
実施の形態では、システムは、画像の頻度の関数として画像の解像度を選択するためのセレクタを有する。画像の頻度が増加するとき、全体のデータ量も増加する。画像の精度を低減することで、すなわち低解像度で画像を撮影することで、全体のデータ量が境界でなお保持される。解像度を半減しつつ、回転が２倍にされたときに頻度を２倍にすることで、改善された結果が与えられる。これは、毎秒当たり全体のデータ量は同じに留まるが、画像間の差が小さく、マージが容易であるためである。
【００１５】
この本発明の態様は、画像が撮影される頻度、すなわち回転速度の関数として同じカメラにより撮影される画像間の時間遅延のタイミングに関連する。これは、画像のマージングで遭遇される少なくとも幾つかの問題を解決する。この発明の態様は、複数のカメラを有するシステムと同様に、１つのカメラを有するシステムに関連する。同じ洞察に基づいて、発明者は、複数のカメラが使用されるシステムにおいて、異なるカメラにより撮影される画像の撮影をタミング調整することで利点が得られることを認識している。
【００１６】
本発明の第二の態様に係るシステムは、システムが複数のカメラを有し、それぞれのカメラで画像が撮影される瞬間を相互にタイミング調整するタイマをシステムが有することを特徴とする。  
本発明のフレームワークで「相互に」とは、画像が撮影される瞬間は、互いに機能的に関連され、画像が撮影される前に予め決定される。
【００１７】
異なるカメラの画像の撮影をタイミング調整するためにタイマを使用することで、視野のオーバラップの範囲におけるブラインドスポット及び不確かさが回避されるか、少なくとも低減される。視野のブラインドスポット及び変動するオーバラップは、その瞬間的な視野がオーバラップする第一及び第二の隣接するカメラが幾つかの離れた時間で画像を撮影するときに生じる。この時間の間、実際に撮影された画像間でもはやオーバラップがないように、オブジェクトが回転され、ブラインドスポット又は非常に大きいか又は変動するオーバラップを生じる。全体の画像における一時的なブラインドスポットが生じる。かかるブラインドスポットは、画像のマージを困難にする。オーバラップの変動するフィールドも問題を生じる。画像が撮影される時間を判定し、集中してそのように行うことで、ブラインドスポットの発生及び視野のオーバラップの変動する範囲による問題が回避されるか、少なくとも低減される。
【００１８】
シンプルなアレンジメントでは、動作において、複数のカメラのうちの全てのカメラが同時に画像を撮影するようにタイマが構成される。このシンプルなアレンジメントでは、少なくともカメラのセットを同期させるためにタイマが構成され、前記セットについて、画像の撮影が同期される。これにより、ブラインドスポットの発生が低減される。オブジェクトは、画像が同時に撮影されるため、カメラのセットのうちの異なるカメラによる画像の撮影の間に回転することができない。  
このアレンジメントのバリエーションにおいて、カメラのセットは、多数のサブセットを有し、動作において、それぞれのサブセットについて、カメラは画像を同時に撮影するが、サブセットのタイミングが異なるようにタイマが構成される。
【００１９】
かかるアレンジメントの例は、６つのカメラの３つのサブセットを有するボールであり、それぞれのサブセットはパノスフェリック画像を供給する。画像が毎秒当たり５０回撮影されるとする。全てのサブセットが画像を同時に撮影する場合、高品質の５０の全体の画像が撮影される。サブセットのタイミングが異なる場合（たとえば毎秒１／１５０だけ）、１５０の全体の画像が（少数のカメラで）撮影される。オブジェクトを高速に移動又は回転するため、後者のアレンジメントが良好の結果を与える。各種カメラの画像が撮影される瞬間のコヒーレントタイミングはかかる利点を提供する。  
好適な実施の形態におけるシステムは、回転速度を判定する手段を有し、タイマは、判定された回転速度に依存してタイミングを変えるために構成される。
【００２０】
タイミングのバリエーションは、画像の撮影の頻度が回転速度に依存するように、すなわち、本発明の第一の態様におけるように、回転速度が高くなると、毎秒当たりより多くの画像が撮影される。回転速度が高くなると、画像におけるオブジェクトの見かけの速度が高くなる。画像が撮影された頻度を増加することで、画質が向上する。
【００２１】
タイミングのバリエーションは、僅かに異なるやり方で行われる場合がある。オブジェクトのマージは、個別の画像で共通のオブジェクトを発見することで最良に行うことができる。静止したカメラについて、かかる共通のオブジェクトは、比較的容易に発見される。しかし、視野が劇的に変化する回転オブジェクトについて、かかる点はそのように容易ではない。回転速度を判定し、それをタイミングに比較することで、画像を全体の画像にマージする助けとなる、様々な画像において共通のオブジェクトが発見される粗い判定を行うため、視野の粗い比較がなされる。この実施の形態は、全体の画像の一部を選択するためにクリッパのような手段をシステムが有するときに特に重要である。一部がカメラの視野に関して静止又は擬似静止する公知のシステムと対象的に、かかる点は、カメラがボールのような回転するオブジェクトに搭載されているケースではない。プレイイングフィールドのペデスタルビューイングについて、ゴールキーパの様々なカメラに関する位置は、幾つかの程度に知られている。しかし、ゴールキーパに向かって回転するボールスピードについて、どのカメラがゴールキーパを捕捉するかは先験的に知られていない。一方で回転速度（及びおそらく全体の速度）を決定し、視野内のゴールキーパの瞬間的な位置を決定することで、この実施の形態に係るシステムは、たとえば画像が撮影されたときにゴールキーパが視野の中央にあるように画像の撮影をタイミング調整する。
【００２２】
先に記載されたように、回転速度は、遠心力を測定することで、たとえば回転軸及び回転速度を判定する装置といった、回転速度の判定手段により判定されるか、又は、回転速度が前に撮影された画像から決定され、共通の静止オブジェクトを発見することで画像の系列の比較により、回転の速度を判定するのが可能である。
【００２３】
実施の形態では、時間差、回転速度及び／又は移動速度は、マージ手段の入力を形成する。  
実施の形態では、システムは、第一又は第二の態様のいずれかで、ベースの変形を判定するセンサを有する場合がある。  
ビールは、ヒットしたときに変形する場合がある。この変形は、様々なカメラの視野にその影響を有する。変形を測定することで、たとえばセンサにより、変形に関する情報が取得され、この情報は、画像のマージにおいて、又は撮影された画像のタイミング調整において使用されるために、マージ手段の入力を形成する。
【００２４】
本発明の実施の形態では、変形が閾値を超えるとき、システムは、実際の画像とは独立に視野を生成するために構成される。  
ボールがヒットされたとき、変形が余りに大きく、短時間の間で画像が形成するのが困難であるか、又は実際に、true-to-life画像が非常に混乱する。  
好適な実施の形態では、システムは、ボールのヒットの直前の画像とボールのヒットの直後の画像との間の滑らかな遷移を提供するために構成される。
【００２５】
本発明の第二の態様の第二の実施の形態に係るシステムは、それぞれのカメラで画像が撮影された瞬間のタイミング調整を確立するタイマを有することを特徴とする。  
本発明のフレームワーク内での「確立“establishing”」は、画像が撮影された後、様々なカメラ間での画像の撮影の間の時間差が確立される。ある程度にまで、この実施の形態は、第一の実施の形態にとって相補的である。しかし、タイミングの調整を予め決定する代わりに、システムは、どのような時間差が様々なカメラ間で生じるかに関する事実の後に判定する。これらの時間差は、マージ手段への入力である。本発明は、かかる手段が第二の態様に相応する限り、第二の態様との組み合わせで第一の態様に関して記載される好適な実施の形態を包含する。変形のセンサ、回転速度の変形のセンサ又は他の手段、全体の画像を選択する手段は、第二の態様のこの第二の実施の形態について使用される。
【００２６】
第一及び第二の態様は、様々な実施の形態において、画像の撮影のタイミング調整に関する。本発明の第三の態様は、マージ手段自身に関連する。  
本発明の第三の態様に係るシステムは、マージ手段が画像間の動きベクトルを予測する動き予測手段を有することを特徴としており、動き予測手段は、ベースの回転パラメータの入力を有するように構成される。  
動き予測は、共通のオブジェクトと、比較された画像間でかかるオブジェクトの見かけの動きを記述する動きベクトルとを発見するために画像が比較される公知の技術である。
【００２７】
かかる動き予測について、通常の使用は、動きベクトルのライブラリでできている。本発明者は、既知の動き予測技術が可能性のある動きベクトルにおいて非常に大きなレンジを必要とすることを認識している。固定されたシステムでは、オブジェクトの動きは、むしろ制限される。大部分の画像はスタティックであり、幾つかのオブジェクトのみが画像内で動く。動き予測がたとえば画像の振れ、又は画像のパニングを補償するために使用されるときでさえ、動きがむしろシンプルであり、全体の画像が振れるか、又は多かれ少なかれ規則的なやり方で動く。したがって、動きベクトルの選択は、むしろ制限され、通常は比較的シンプルである。しかし、本発明者は、ベースが先験的に未知の回転周波数及び先見的に未知の移動速度で回転しているとき、状況は非常に異なることを認識している。オブジェクトの外観的な動きは、時間及び空間的に広く変動する。結果的に、動き予測は、非常に困難になる。実際に、これは、画像のタイミングに関する。マージされるべき画像間の差は、広く変動する。オブジェクトの未知の回転のためにどの位多くの動きが存在するかは、先験的に既知ではない。本発明の第三の態様は、回転の特徴（回転速度及び／又は回転軸の方向）は、動き予測手段の入力を形成する。回転パラメータにより、レンジファインダを可能性のある動きベクトルのセットに向けることができ、これにより動きを予測する時間及び労力を必要としないことができる。ベースの回転の特性に加えて、動き予測手段は、移動の特性（速度及び／又は方向）に入力を有する。実際に、この本発明の第三の態様は、タイミングに関連し、（同一のカメラにより撮影された連続する画像間であるか、または異なるカメラにより撮影された画像間であるか）画像間の時間遅延（すなわちタイミング）の情報と結合される回転速度の入力は、動きベクトルの一次の予測を可能にする情報を供給する。これにより、比較的高速に、この動きベクトルの一次近似から開始して、動き予測手段が実際の動きベクトルを判定することが可能である。
【００２８】
好適な実施の形態では、予測技術は、カメラの向きとは独立である。標準的な動き予測技術では、予測手段は、水平方向及び垂直方向について異なるアルゴリズムを使用する。基本的に、垂直方向についてよりも水平方向における動きについて非常に高い確率があると通常想定される。カメラは、常に保持され、保持されると想定されるように指向され（すなわち底を下に）、大部分の動きは、左から右へ、及び右から左へ、である。したがって、最も効率的なやり方で利用可能な計算能力を使用し、水平及び垂直方向の間で区別することは、公知の動き予測システムにとって意味がある。
【００２９】
しかし、回転可能なオブジェクトについて、どのようにカメラが向けられるかは未知であり、全ての方向は、均等に扱われることが好ましい。  
好ましくは、カメラは、等しい解像度、並びに水平及び垂直方向における範囲で画像を撮影する。  
本発明のこれらの態様及び他の態様は、例示を通して、添付図面を参照して更に詳細に説明される。図面は、スケールするために描かれていない。一般に、同一のコンポーネントは、図面において同じ参照符号により示されている。
【発明を実施するための最良の形態】
【００３０】
図１は、本発明の第一及び／又は第二の態様に係るシステムを概念的に示す図である。システムは、たとえばボールのような回転可能なベース１からなり、このベースは、複数のカメラ２，３，４を有する。これらのカメラは、破線により概念的に示される、図１において、それらの視野をそれぞれ有する。視野は、少なくとも部分的にオーバラップする。カメラ２，３，４等からの信号は、マージ手段に供給され、このマージ手段は、丸い矢印により概念的に示される、図１において、様々な画像を全体の画像６にマージする。システムは、更に近く観察又は記録される、表示されるべき画像の一部６ａを選択する手段５ａを有する。視野は、回転なしにオーバラップする。
【００３１】
システムは、カメラ２，３，４等の画像の撮影を調整するタイマ７を有する。本発明の第一の態様におけるタイマは、画像の頻度（ｆ）、すなわちどの位多くの画像が毎秒当たり撮影されるかを判定する判定手段であり、及び／又は撮影された画像間の時間（Δｔ）を判定するためのタイマである。このため、タイマは、回転周波数ωについての入力、又はかかる回転に関連する他のデータを有する。
【００３２】
図２は、画像の撮影を例示するものであり、ｔ＝０でカメラ１が画像を撮影し、ある時間Δｔの後、カメラ２が画像を撮影し、その後、カメラ３が画像を撮影し、次いで、カメラ４が画像を撮影し、その後（この例では、４Δｔの遅延の後）、カメラ１が画像を撮影し、その後にサイクルがそれ自身を繰り返す。画像の撮影の間で、１つのカメラにより撮影された連続する画像に関連するか、又は異なるカメラにより撮影された画像に関連しており、ベースは回転しており、これにより、実際に、様々なカメラにより撮影された画像、又は同じカメラにより撮影された画像の視野は、オーバラップしないか、又は少なくともオーバラップは、先験的に既知である。したがって、一時的に、全体の画像においてブラックスポットが存在する。回転の速度に依存して、オーバラップのフィールドを大きく変える公称のオーバラップ及び回転の方向が得られる場合がある。画像のオーバラップの範囲が未知であるため、画像のマージは困難となる。本発明の第一の態様では、タイマ７は、オブジェクトの回転に関するデータの入力を有し、オブジェクトの回転に依存して、画像が撮影された頻度を判定する。回転が多くなると、頻度が高くなる。これは、ブラックスポットの発生を低減し、画像間のオーバラップの範囲及び可能性を増加する。画像が撮影される頻度は、オブジェクトの回転に線形依存するか、カメラは、多数の設定、たとえばロウ、ミドル及びハイを有する。システムが複数のカメラを有する実施の形態では、判定手段は、全てのカメラについて共通の画像の頻度を判定するか、又は、システムのより洗練された実施の形態では、判定手段は、異なるカメラについて異なる画像の頻度を供給するディスクリミネータを有する。たとえば、ベースの回転の軸に対して垂直に位置され、回転するカメラのオブジェクトの外観上の速度は、軸に関して位置されるカメラよりも実質的に大きい。たとえば、アメリカンサッカーボールを撮影して、ボールのフロント及びバックチップのカメラにより撮影された画像は、それが回転するが、次いでボールの円周に位置されるカメラについて内容的に変化しない。
【００３３】
オブジェクトの回転は、撮影された画像により決定され、たとえば、回転周波数ωは、特定のオブジェクトがカメラの１つにより撮影された画像に存在する周波数により決定されるか、又は、たとえばそれが回転するときにボール内で遠心力を測定するボール内のストレインゲージといった、回転可能なオブジェクト内のセンサにより決定されるか、又は、たとえばオブジェクトに続く固定された個別のカメラといった、オブジェクト外に位置されるセンサにより決定される。オブジェクトにはマーキングが設けられ、センサは、このマーキングの動きに追従することで回転速度を測定する。
【００３４】
シンプルな実施の形態では、画像の頻度の判定手段７は、ベースの回転周波数に依存して１以上のカメラにより画像が撮影された周波数を判定するために構成される。より洗練された実施の形態では、判定手段は、ベースの回転周波数、及び／又は回転軸の方向、及び／又は移動速度に依存して、１以上のカメラにより画像が撮影された周波数を判定するために構成され、判定手段は、画像の頻度を増加させると、移動速度が高くなる。移動速度は、前に撮影された画像から決定されるか、（たとえばグランドスピードを測定するために航空機で使用されるセンサ）ベース内のセンサから決定されるか、若しくは、個別のカメラ又はスピードガンにより決定される。
【００３５】
本発明の第二の態様に係るシステム及び方法は、異なるカメラにより画像の撮影の相互のタイミングに関連する。  
シンプルな実施の形態では、シンプルなタイミングのアレンジメントが使用され、このアレンジメントは、ベースの回転周波数とは独立であり、画像は同時に撮影される。様々なカメラの画像を同期させることで、少なくとも１つの問題となる回転の作用が除かれる。これは、画像間の時間差Δｔがなく、隣接するカメラにより撮影された画像と画像のオーバラップの程度が少なくとも既知の一次近似であるためである。これにより、画像のマージによる問題を低減し、ブラックスポットの発生を回避する。
【００３６】
好適な実施の形態は、図３に概念的に示される。  
システムは、カメラ２，３，４及び２ａ，３ａ，４ａの２つのサブセットを有する。両方のサブセットで、カメラが同期される。しかし、両方のサブセットの同期の間の時間差がある。これにより、システムは、画像の高いレートの撮影を提供することができる。セット間の時間差は、回転速度に依存し、ここで、本発明の第一及び第二の態様が結合されるシステム及び方法が実際に構成される。たとえば、サブセット間の時間差は、低い回転速度でゼロであるが（非常に高精細な画像を撮影するのを可能にし）、高い回転速度で、良好な画像再現を可能にするサブセット内の画像間のインターバルの半分に等しい両方のサブセットのトリガ間にインターバルが存在する。
【００３７】
図４は、好適な実施の形態を概念的に例示している。この実施の形態は、図１に示される実施の形態に類似しているが、システム自身は、回転速度ωを判定するための手段を有する。かかる手段は、たとえば遠心力、回転軸及び回転速度ωに依存する強度及び方向を測定する装置の形式で、回転可能なベースそれ自身に含まれる。概念的に、かかる装置８は、図４に示されている。代替的に、回転速度（及び方向）は、回転速度判定手段９により画像自身から推測される。回転速度は、たとえば、ゴールポスト、コーナ、５０ヤードライン、１０ヤードサイン、バスケットのような、固定された比較的遠く離れたオブジェクトを識別し、かかるオブジェクトが１以上のカメラにより捕捉される視野に入る又は視野から消失する頻度をカウントすることで判定される。回転軸は、遠く離れたオブジェクトが視野内の小さな円を実行するカメラを発見することで判定される。回転速度及び／又は回転軸はタイマ７の軸であり、カメラのタイミングは、回転速度に依存する。シンプルなアレンジメントは、画像を撮影する頻度（毎秒当たりの画像の数）回転速度に依存するアレンジメントであり、回転速度が高くなると、毎秒当たり多くの画像が撮影される。タイミングは、好適な実施の形態では、全体の画像の選択された部分６ａに依存する。たとえば、選択された部分に向けられていないか、選択された部分の近くの部分に向けられていないカメラが画像を撮影する頻度は、選択された部分に向けられるカメラについてよりも少ない。これは、画像の残りについてよりも選択された部分について、比較的多くの情報が収集されることを意味する。
【００３８】
図５Ａ，図５Ｂ及び図５Ｃは、本発明に係るシステムの様々な可能性のあるアレンジメントを例示している。  
図５Ａでは、システムは、カメラを有する、ボールのような回転可能なベースを有する。マージ手段５及びタイマ７は、たとえばベースコンピュータ１０において、ベースから離れている。利点は、マージャ及びタイマは、特に、たとえばサッカー又はアメリカンフットボールであるときにベースが受けるショック及びバウンドを受けないことである。問題点は、全てのデータがベースとベースコンピュータとの間で送信されることである。
【００３９】
図５Ｂは、タイマ７が回転可能なベースに含まれるシステムを示す。これは、たとえばタイミングが回転速度に依存するときに有利であり、かかるタイミングはボールそれ自身について測定される。  
図５Ｃは、マージがベース自身で行われる装置を例示している。利点は、ボールからコンピュータ１０にデータが転送されないことである。クリッパは、バースコンピュータに含まれる。
【００４０】
装置は、変形を測定する装置を有する。回転速度を測定する装置は、たとえば歪みが測定されたときに変形を測定する装置として２倍である。ボールの歪みを示す力、かかる力は、遠心力と同様に変形を示す。変形によってカメラは互いに関して移動されるため、変形に関する情報は、画像のマージについて有効な情報である。
【００４１】
本発明の先の態様は、前記画像の複合画像へのマージが実行される前に、オーバラップする画像の撮影のタイミング調整に関する。  
本発明の第三の態様は、マージ手段自身に関する。この態様では、マージ手段は、動き予測手段、すなわち異なる画像における共通のオブジェクトの外観上の動きが予測されるアルゴリズムを有する。かかる予測は、画像を複合画像にマージする助けとなる。本発明者は、回転可能なオブジェクトのカメラについて、回転速度と組み合わせて、画像のタイミングに関するデータは重要であり、使用することができる。
【００４２】
動き予測は、画像が比較され、共通のオブジェクトと、比較された画像間のかかるオブジェクトの外観上の動きを記述した動きベクトルを発見する公知の技術である。  
かかる動き予測について、通常の使用は動きベクトルのライブラリからなる。本発明者は、公知の動き予測技術が可能性のある動きベクトルにおいて非常に大きなレンジを必要とする。固定されたシステムでは、オブジェクトの動きは、むしろ制限されている。大部分の画像はスタティックであり、幾つかのオブジェクトのみが画像内で動く。動き予測がたとえば画像の振れ又は画像のパニングを補償するために使用されるときでさえ、動きはむしろシンプルであり、全体の画像は振れるか、又は多かれ少なかれ規則的なやり方で動く。したがって、動きベクトルの選択はむしろ制限され、通常は比較的シンプルである。しかし、本発明者は、先見的に未知の回転周波数及び先験的に未知の移動速度でベースが回転するとき、状況が非常に異なることを認識している。オブジェクトの外観上の動きは、時間及び空間的に広く変動する。結果的に、動き予測は、非常に困難である。実際に、これは、画像のタイミングにも関連する。マージされるべき画像間の違いは、広く変動する。オブジェクトの未知の回転のため、どの位多くの動きが存在するかは、先験的に既知ではない。本発明の第三の態様では、回転の特性（回転速度及び／又は回転軸の向き）は動き予測手段の入力を形成する。回転パラメータは、レンジファインダを可能な動きベクトルのセットに向けることを可能にし、動きを予測する時間及び努力を必要とする。ベースの回転の特性に加えて、動き予測は、移動の特性の入力（速度及び／又は方向）を有する。実際に、本発明の第三の態様は、タイミングに関し、画像間の時間遅延（すなわちタイミング）の情報と結合される回転速度の入力は（同一のカメラにより撮影された連続する画像の間であるか、又は異なるカメラにより撮影された画像の間であるか）、動きベクトルの一次の予測を可能にする情報を提供する。これにより、動きベクトルは、比較的高速に動きベクトルの一次近似から開始して、実際の動きベクトルを判定することができる。
【００４３】
本発明の概念で、「マージ手段“merger”」及び「タイマ“timer”」、並びに「記録手段“means  for  recording”」等は、広く理解されるべきであり、ハードウェア（かかるマージ手段、タイマ、レコーダ）の一部、画像をマージし、画像の撮影を調整し、記録する等のために設計する回路又はサブ回路を含み、記載されたように、上記又は下記の与えられた例示的な実施の形態に限定されることなしに、単独又は結合して作用するハードウェア又はソフトウェアの一部の結合と同様に、本発明に従う係る動作を行うように設計又はプログラムされたソフトウェアの一部（コンピュータプログラム又はサブプログラム又はコンピュータプログラムのセット、若しくはプログラムコード）を含む。
【００４４】
また、本発明は、本発明に特化した動作を実行するため、本発明に係るシステムでの使用のプログラムコード手段を有するプログラムプロダクトと同様に、プログラムがコンピュータで実行されたときに、本発明に係る方法を実行するコンピュータ読み取り可能な媒体で記憶されたプログラムコード手段を有する任意のコンピュータプログラムプロダクトにおけるのと同様に、プログラムがコンピュータで実行されたとき、本発明に係る方法を実行するためのプログラムコード手段を有するコンピュータプログラムで実施される。
【００４５】
当業者であれば、本発明が特に図示及び記載されたものにより制限されないことを理解されるであろう。本発明は、特定の新たな機能及び特定の機能のそれぞれの組み合わせにある。請求項における参照符号は、それらの保護の範囲に限定されない。動詞「有する“to  comprise”」及びその派生語の使用は、請求項に列挙された以外のエレメントの存在を排除するものではない。
【図面の簡単な説明】
【００４６】
【図１】本発明に係るシステムを概念的に例示する図である。
【図２】本発明が克服しようとする課題を説明する図である。
【図３】好適な実施の形態を例示する図である。
【図４】更なる好適な実施の形態を例示する図である。
【図５Ａ】システムの様々な実施の形態を例示する図である。
【図５Ｂ】システムの様々な実施の形態を例示する図である。
【図５Ｃ】システムの様々な実施の形態を例示する図である。
【図１】
2008515264.tif 000003
【図２】
2008515264.tif 000004
【図３】
2008515264.tif 000005
【図４】
2008515264.tif 000006
【図５Ａ】
2008515264.tif 000007
【図５Ｂ】
2008515264.tif 000008
【図５Ｃ】
2008515264.tif 000009
【国際調査報告】
2008515264.tif 000010
2008515264.tif 000011
2008515264.tif 000012
2008515264.tif 000013
2008515264.tif 000014