(57)【特許請求の範囲】
【請求項１】
ラインカメラの対象物画像フィールド内の対象物を検出する方法であって、
前記ラインカメラから、連続するライン画像フレームを読み込むステップにして、
各ライン画像フレームが、ラインカメラの対象物画像フィールドの個々の瞬間のライン部分を取り込んだ一列のピクセル値のラインとして表される該ステップと、
複数のサンプルを形成するステップにして、各サンプルが、複数の連続するライン画像フレームからなり、かつ複数のマルチピクセルのブロックに分割され、各ブロックが、前記複数の連続するライン画像フレームにわたり、かつ該ブロックのピクセル値に基づく光の強度を有する該ステップと、
前記複数のサンプルのうちの１つのサンプルの少なくとも１つのブロックの光の強度が、少なくともＹ個（Ｙは１より大きい整数）の直前のサンプルにおける対応するブロックの光の強度と、少なくとも第１の閾値だけ異なるときに前記対象物画像フィールド内に対象物が入ったとして検出するステップとを含む方法。
【請求項２】
前記Ｙが２である、請求項１に記載の方法。
【請求項３】
前記Ｙが２より大きい整数である請求項１に記載の方法。
【請求項４】
それぞれのブロックの光の強度が、前記ブロックを構成するピクセル値の合計と対応する請求項１に記載の方法。
【請求項５】
ラインカメラの対象物画像フィールド内に対象物が入ったことを検出した後、前記対象物を含む最初のサンプルの最初のライン画像フレームに対象物開始フラグ値を設定するステップを更に含む請求項１に記載の方法。
【請求項６】
前記対象物開始フラグ値をラインカメラから出力するステップを更に含む請求項５に記載の方法。
【請求項７】
前記ラインカメラの対象物画像フィールド内に対象物が入ったことを検出した後、
前記複数のサンプルのうちの別の１つのサンプルの各ブロックの光の強度が、少なくともＺ個（Ｚは１より大きい整数）の直前のサンプルにおける対応するブロックの有する光の強度と、第２の閾値に満たないときに前記ラインカメラの対象物画像フィールドから対象物が出たとして検出するステップ、
を更に含む請求項１に記載の方法。
【請求項８】
前記第２の閾値が前記第１の閾値よりも小さい請求項７に記載の方法。
【請求項９】
前記Ｚが２である請求項７に記載の方法。
【請求項１０】
前記Ｚが２より大きい整数である請求項７に記載の方法。
【請求項１１】
ラインカメラの対象物画像フィールド内に対象物が入ったことを検出した後、前記対象物を含む最初のサンプルの最初のライン画像フレームに対象物開始フラグ値を設定するステップと、
ラインカメラの対象物画像フィールドから対象物が出たことを検出した後、前記対象物をもはや含まなくなった最初のサンプルの最初のライン画像フレームに対象物終了フラグ値を設定するステップと、
を更に含む請求項７に記載の方法。
【請求項１２】
前記対象物開始フラグが設定され、次に前記対象物終了フラグが設定されるまでの間に対応したライン画像フレームだけ、ラインカメラから出力するステップを更に含む請求項１１に記載の方法。
【請求項１３】
前記対象物開始フラグが設定された時間よりもあらかじめ決められた値だけ前の時間から、前記対象物終了フラグが設定された時間よりもあらかじめ決められた値だけ後の時間までの間に対応したライン画像フレームだけ、ラインカメラから出力するステップを更に含む請求項１１に記載の方法。
【請求項１４】
前記対象物開始フラグが設定され、次に前記対象物終了フラグが設定されるまでの間に対応したライン画像フレームにだけ、アクティブであるとして注釈を付けるステップを更に含む請求項１１に記載の方法。
【請求項１５】
前記対象物開始フラグが設定された時間よりもあらかじめ決められた値だけ前の時間から、前記対象物終了フラグが設定された時間よりもあらかじめ決められた値だけ後の時間までの間に対応したライン画像フレームにだけ、アクティブであるとして注釈を付けるステップを更に含む請求項１１に記載の方法。
【請求項１６】
前記光の強度が、複数のカラー値を含み、ラインカメラの対象物画像フィールド内に対象物が入ったと検出する前記ステップが、ブロックのカラー値をその前に読み込まれた対応する他のブロックのカラー値と比較して、カラー値ごとに相違を検出するステップを含む請求項１に記載の方法。
【請求項１７】
ラインカメラの対象物画像フィールド内に対象物が入ったことを検出した後、前記対象物の少なくとも１つの特定の部分を認識するためにライン画像フレームを分析するステップと、
前記対象物の少なくとも１つの特定の部分から前記対象物がゴールラインを横切った時間を推定するステップと、
を更に含む請求項１に記載の方法。
【請求項１８】
ラインカメラの対象物画像フィールド内に対象物が入ったことを検出した後、前記対象物を識別するために、前記対象物のパターンまたは記号を検出するステップを更に含む請求項１に記載の方法。
【請求項１９】
前記対象物を含むライン画像フレームを、前記パターンまたは前記記号で索引付けするステップを更に含む請求項１８に記載の方法。
【請求項２０】
前記対象物を識別するために前記対象物の色を検出するステップを更に含む請求項１８に記載の方法。
【請求項２１】
前記推定するステップが、前記対象物の少なくとも１つの特定の部分を含むライン画像フレームの時間から、前記対象物がゴールラインを横切った時間を決定するステップを更に含む請求項１７に記載の方法。
【請求項２２】
前記推定するステップが、前記ライン画像フレームのフレームレートとイベント速度を修正するステップを含む請求項１７に記載の方法。
【請求項２３】
前記対象物の少なくとも１つの特定の部分が、前記対象物の物体の特徴であり、前記物体の特徴を正しい順番で決定することによって、ラインカメラの対象物画像フィールド内の前記対象物の存在を確認するステップを更に含む請求項１７に記載の方法。
【請求項２４】
前記対象物を識別するために、前記対象物のパターンまたは記号を検出するステップを更に含む請求項１７に記載の方法。
【請求項２５】
前記対象物を含むライン画像フレームを、前記パターンまたは前記記号で索引付けするステップを更に含む請求項１７に記載の方法。
【発明の詳細な説明】
【０００１】
（発明の分野）
本発明は、運動事象を監視し記録するためのシステムに関し、特定すると、数々の分野において応用を有する時間的逐次作像及び表示のためのカメラ及びシステムに関する。さらに詳しくは、計時されるスポーツ事象を測定し限定されたトラックに沿った様々な場所にて運動を作像するために有用な静止画像作製カメラ及びシステムを提供する。本発明はまた、本願出願人が有する米国特許第5,552,824号及び5,657,077号に記述されるように逐次走査されるライン対象物（または線状対象物）を編集することによって場面を生成するシステム及び方法に関する。
【０００２】
標準的な写真技術を採用してレースのゴールラインを監視するシステムは、従来周知である。この種のシステムにあっては、普通高解像作像のために用意された１つまたは複数のカメラで、ゴールラインを観察し、審判またはその他のインタープリータによる後での検査のため逐次の画像を高速度で捕捉する。しかしながら、このプロセスは、例えば写真用フィルム及びペーパ装置、処理薬剤、像拡大装置または投影光学系を、操作、現像及び仕上げのそれぞれの方法とともに採用されるべきことを要するという点において、厄介であり、不経済であり、時間を浪費する。したがって、殆どのレースは人間の審判員に頼り、極度に接近した事象または重要な事象だけ「フォトフィニッシュ」技術に帰る。Specialty Instrument Corporationは、Accultrackなる商標でこの形式の多数の電子、フォトフィニッシュシステムを市販している。米国特許第3,829,869号は、一つのこの種のAccutrackシステムを例示している。
【０００３】
「フォトフィニッシュ」技術には種々の問題があるので、競争事象を監視するための数々の他のシステムが開発された。しかしながら、スポーツ事象を計時するためのこれらの他の方法及びシステムは、新たな困難性をもたらす。標準的テレビジョンまたはビデオフォーマットでレースを記録し表示するビデオシステムは普及しているが、これらのシステムの特有な実施形態に拘わらず、電子像の一部は記録媒テープのようなアナログ媒体上に留まる。システムからのアナログデータは、時間に関する連続情報よりなるから、固有の時間間隔に正確に割り当てるのが比較的難しい。記録されたシーケンス内の特定の瞬間にアクセスするのはさらに一層困難である。何故ならば、関連するシステムは、普通、巻かれた型、例えばビデオカセット内に長い物理的長さを有する記録媒体をサーチしなければならない。これは、現在のレースを同時的に記録、観察し、そしてレースの前の部分（または先行のレース）を検討したいと思うユーザーに制限と困難性を与える。何故ならば、一人のユーザーしか任意の一時点に蓄積記録された情報の任意のものにアクセスできないからである。
【０００４】
アナログデータでの他の困難性は、それが表示される前にビデオ、テレビジョンまたはコンピューターに有効な信号に変換されねばならないことである。例えば、サーチの完了後、ビデオテープの選択された部分は、普通アクティブメモリに送られ、しかる後コンピューターにより、そしておそらく補助の複雑なグラフィックジェネレータにより処理される。概して、アナログフォーマット及び関連する処理は、レースを検討するに必要な時間を増し、それゆえ判断プロセスを長引かせる。
【０００５】
レースシステムにおいて直面する他の問題は、マラソンまたは自転車レースのような、長時間または参加者がゴールする迄続くことがある長時間事象の管理において起こる。ランナーまたは自転車競技者は、グループでゴールラインと交差する場合もあれば、長時間ゴールラインに人がいない場合もある。かくして、ゴールラインにおける関連情報は飛散的であり、相当の長さの「デッド時間」を包含する。アナログシステムにおいては、それにも拘わらず、「デッド時間」は画像記録と事象との時間同期を保つために、その他の理由において一般的に無用であると考えられていても、記録され蓄積され、レースを処理し観察するに必要な時間を増加させる。
【０００６】
数種のレースシステムは、記録された情報をデジタル形式に変換することによって、レース中に採取されるデータの管理及びアクセス可能性を改良しようとした。しかし、これらのシステムは、スクリーン上にレースを表示する前に、アナログ形式に戻すことが多かった。例として、米国特許第4,797,751号は、一般の陰極線管（ＣＲＴ）上に表示を行うためにデジタル及びアナログセクションを有するビデオ記録システムを開示している。米国特許第5,136,283号は、同様に、標準テレビジョンフォーマット上にレースを表示する一部デジタルのシステムを開示している。これらのアナログ／デジタルシステムは、全アナログシステムに固有の諸問題の多くをなお有している。
【０００７】
上述の本願出願人が所有する米国特許第5,552,824号及び米国特許第5,657,077号に詳述される線形センサアレイ（または、線状センサアレイ）またはラインカメラも、現在このような作像の目的に適用されている。これらのカメラは、アセンブリラインの作像ならびに体育競技ゴールライン作像に使用された。これらのカメラは、限定された領域、すなわちカメラにより作像された線形（または線状）のストリップについてきわめて正確な時間解像度を有するという利点を与え、そして固定の場所に向けられる時系列のフレームを採ることによって、場面の通例の光学的空間像またはｘ,ｙ次元像に対し容易に読み取り可能な類似性をもつ二次元の、線形／時間またはｔ,ｙ次元像が形成され得る。本願出願人の上述の米国特許に述べたように、この種のカメラから得たストリームは、高い時間的及び空間的解像度をリアルタイムで提供するように移動する対象物を検出し処理するように使用し得る。これは、ライン画像データ（または、線状画像データ）のほぼ連続的流れを処理システムへ伝送することを伴い、この処理システムが関係する視野の注釈付け、索引付け、圧縮及び記憶を扱い、それにより関係する視野の小部分が、デジタルアクセスメモリに記憶され、詳細な検査のため、原像の収集から数分または数秒以内に容易に再呼び出しされ得るようになされる。しかしながら、このようなライン作像カメラシステムの有効な使用は、システムを操作する熟練技師によるソフトウエアを介在した費用のかかるデータ処理を必要とし、画像の組み立て、時間同期及び画像フレーム記録及びアクセスを行うためのデータ伝送及び同期に大きな負担がかかる。
【０００８】
したがって、本発明の目的は、トラック上の平面と交差する物体の時間的に逐次の場面を記録し、表示するための改良されたカメラ及びシステムを提供することである。
【０００９】
（本発明の要約）
本発明のこれら及びその他の諸目的は、以下の記述から明らかとなろう。本発明は、一側面において、空間内の平面を横切る物体の時間的に逐次のシーンを形成するカメラであって、限定された領域内における対象物の出現を認識して画像出力ストリームをトリガする、またはそれにフラグ付けするカメラをその特徴とする。システムは、関与するラインと交差する画像を作像するように向けられる少なくとも一つカメラを備え、そしてこのカメラが、対象物を検出器要素配列上に作像することによって対象物を時間的に逐次的に捕捉し、サンプルされた信号をデジタルライン画像（または、デジタル線状画像）またはフレームに変換し、これがフレームバッファに送られる。各デジタル画像フレームは、時間的瞬間に移動する場面の固定のスライス（または、断片）を一意的に表す。カメラ内にはプロセッサが配置されており、バッファと通信して、時間オフセットされたフレームの対応するピクセルまたはより大きなブロックからの情報を処理して、ライン視野領域（または、線状視野領域）に入った対象物を検出し、それに応答して、画像データ出力ストリームを制御し、あるいは画像ストリームと統合されたデータを生ずる。例えば、一側面においては、カメラは、画像領域内への対象物の到達及び画像領域からの離脱を検出し、その際画像データ出力ストリームを発生またはイネーブルするように、あるいは、ストリームに注釈付けしそしてかかる検出を指示することによってその情報内容を改善させるように動作する。基本的側面においては、カメラは画像領域における、あり得る対象物の進入または離脱を検出し、画像ストリームの関係する部分に注釈付けまたはそれをイネーブルしてもよい。他の側面においては、カメラは検出された画像データに作用して、対象物に基づく判断をなしてもよい。本発明のこの側面においては、プロセッサは、現れている特徴物の形状や配向のような像の特徴、または特徴の継続時間を検査し、対象物の存在を確認する。そのとき対象物の識別しや対象物の可能性の高い交差時間のような他の判断を行って、情報または結果に注釈を施す出力データストリームを出力し、事象データの処理及び結果のリアルタイムの発表を大幅に容易化してもよい。
【００１０】
基本的具体例においては、プロセッサは、ゴールラインと交差する１つまたは複数の対象物の開始（すなわち、画像領域に対象物が入ってくること）を検出し、その領域がアクティブな期間中（すなわち、対象物が領域に存在する期間中）のみカメラからの画像データ出力ストリームをイネーブルする。静的（すなわち、動きの無い）または背景の画像フレームは、別個または非重要な処理のためにフラグ付けしてもよいし、データローカルメモリユニットとインターフェースされる別個のポートに送ってもよいし、あるいは単に圧縮し後で、前後のフレームから再構成してもよい。かくして、１つの具体例においては、情報を加えない表示場面のフレームは、一時的または恒久的に除去され、残りのフレームに対する時間基準を保持しながら、平面と交差する物体が存在しないフレームをストリームから効果的に抑制し、それにより、連続的な場面の可視的変化の全てを一括して表示する。あるいは、画像ストリームの静的部分を抑制しあるいは出力ストリームのオン／オフ制御のとして作用するのでなく、プロセッサが、ストリームのアクティブ（またはスタティック）フレームに単にフラグ付けし、それによりカメラ出力を受信する外部プロセッサが、適宜、アクセス、検査またはその他の処理または再構成のため、関係する画像フレームをより有効にコード化し、索引付けしそして適当なメモリ位置に記憶するように動作し得るようになされる。
【００１１】
他の具体例においては、フレームの変化により作像領域に競争者の存在が指示されたときフレームデータを処理して、フォトセルの判断を遂行する。この処理は、馬の頭または体、またはランナーの腕、脚及び胴のような特徴物に対応するフレームデータのブロックを分類または比較して、ゴールライン交差の存在及び位置を確認する。プロセッサは、代表的には補間または後補間によりゴールラインの交差時間を求める。ゴールライン交差時間は、例えば馬の鼻やランナーの胴と関連したものとし得る。これらの判断は普通ソフトウエアの特徴点チェックルーチンによりなされるのであるが、このルーチンにより、対象物の本体サイズを事象の予測される速度及びカメラのフレーム速度に係数倍し、正確なゴールライン時間を推定する。ゴールライン時間の判断をトリガする前に物体の特徴を正しい順序で決定することによって、あるいは他の方法で対象物の存在を確認することによって、例えば実際の交差に先行することがある照明によるランナーの影等で誤ってトリガするのを回避する。
【００１２】
さらに他の具体例においては、プロセッサはフレームデータを処理して、競争者を識別する番号のような作像対象物上のパターンまたは記号類を検出し、そしてこれらの対象物または符号が検出された出力フレームは、検出された識別子でフラグ付けまたは索引付けされる。ラインカメラは、レースのゴールラインまたはトラックに沿う中間位置のような関与する平面に設置してよい。この場合、フレーム時間は、ゴールラインまたは中間位置のいずれかの被観察平面にてフラグ付けされた識別子で処理してもよく、それにより以前の画像計時システムで必要とされたようなデジタル的に再構成された画像の審判による検査を待つことなく自動化態様で直接表示により、ランキングまたは相対位置、速度またはその他の評価を迅速に示すことができる。このようにしてこのデータで増大されたカメラ出力は、コンピューター化レース管理システムと直接インターフェースされ、それにより所望のフレームが検討のためそれらの索引付け情報により迅速にアクセスされるようになされる。コンピューターコンソールのユーザーは、本発明により提供される種々の機能を命令して、捕捉されたシーンを操作分析し得、さらに詳述すると、平面を横切って移動する物体の場面の任意の部分を表示し、一連のライン交差画像内において各フレームに対する競争者の関連する時間及び／または識別子にアクセスすることができる。
【００１３】
本発明に従って構成されたシステムは、他の側面においては、カメラ内プロセッサと通信するカメラ内メモリサブシステムを備え、そこにおいて、対象物を検出し、背景を検出し、且つ、分析のためにカメラから出力されるアクティブな作像部分に対する開始時間及び／または終了時間を制御するためにフレームデータのブロックが処理される。本発明のこの側面に従うと、プロセッサは、作像されたフレームを分析し、フレーム伝送のための遡及的開始時間と予期される終了時間を設定して、保存される画像記録の一体化を保証し得る。カメラ内のタイマーは共通の時間ラインを維持し、伝送される部分のフレームは、時間でラベル付けされる。ゴールライン及びコース中間の追跡及び識別に加えて、カメラ及びシステムは種々のフォトセルによる判断に有用である。
【００１４】
本発明のこれら及びその他の側面は、構造の詳細及び特定の好ましい具体例を例示する図面を参照して行った以下の説明からよく理解されよう。
【００１５】
（本発明の詳細な説明）
図１は空間上の平面を横切る身体のシーケンス（すなわち、一連の場面）を画像化（または、映像化）し、記録するためのシステムに取り付けられた本発明のしたがったカメラ１２を図示しており、トラックのゴールラインＦＬ（finish line）と共に説明のために図示されている。以下に実施例と共に詳しく説明されるように、レース監視システムにおいて、カメラ１２ａも中間ラインＬの画像を撮るために設置されてもよい。（本発明の）他の側面において、自動装置処理ライン（robotic process line）で（人物の）位置の画像を撮るためにシステムが設置されてもよいが、以下の説明の簡略化のため、イベント記録カメラ１２を例にして詳しく説明する。
【００１６】
図１に示されているように、カメラ１２は時間分解画像データストリーム（time-resolved image data stream）を生成するために、ゴールラインが線形の（または、線状の）感知の配列（linear sensing array）に画像化され、その出力が高速で電子的にスキャンまたはサンプリングできるように、ゴールラインの横にカメラを設置するためのスタンドＳに取り付けられ、方向付けられる。好まれるものとして、カメラはＦＬ（ゴールライン）の垂直面に配置され、その平面が感知の配列に投射されるように方向付けられる。例えば、カメラはトラックの脇の適当な高さに取り付けられ、特定のケースでは、空中に（または、頭上に）取り付けられてもよい。カメラはレース管理システム１０に接続され、そのシステムは多様なディスプレイや記録装置及びインターフェースに接続されたデジタルカメラ１２及び画像管理コンピューター１６を含む。
【００１７】
図１Ａにさらに詳細に示されているように、本発明のカメラ１２は対物レンズ（または光学部品）１５を備え、それは対物レンズ１５自身の対象物の視野領域の線状部分１８の像を検出器部分の配列２０上に造る。検出器部分の配列２０は、好まれるものとして、千から数千のピクセルの列を持ったＬＳ−ＣＣＤ（Line Scan Charge Coupled Device）である。画像化制御器２２は連続的な画像データのフレームを取得するために、連続的な時間で検出器部品２０で検出された光のレベルをサンプリングし、その出力をゲイン制御検出器増幅器２４で増幅し、その処理された信号をＡ／Ｄ変換機でデジタル化する。各々が一列のピクセルを表す１つのフレームは１秒間当り数百以上（好まれるものとして、約４００から１０００）のレートで撮られ、バッファ２５に格納される。バッファ２５は、例えば、このサンプリングレートの未処理の画像の何十秒かに相当する、１メガバイトのＶＲＡＭで実施することができるだろう。サンプリングされた各画像は個々の瞬間のデジタル情報のフレームを表し、説明のために、線の配列を形成する約千の連続したピクセルの各々に対するピクセル値を持った順序データストリング（ordered data string）の形式を持つものとする。以下に詳細に説明されるが、センサから得られバッファに格納されるフレームはカメラ出力ストリーム（camera output stream）を形成するために、カメラ内でされに処理される。ＣＣＤ２０はモノクロ（グレースケール）でも、カラー（例えば、ＲＧＢ）でもよいが、以下に述べられる鮮明度に関しては、対象物検出の好まれる実施に関連するいくつかの場合を除いて、モノクロのセンサについて説明される。一般に、カラーによる実施の場合にはスケール値ではなく、光の順序トリプレット（ordered triplet）が利用され、関連するデータ構造の独特な形式に合わせて多様なデータ圧縮方式が利用される。全体として、カラーパレチゼーション（color palletization）、カメラのデータストリーム圧縮、及びシステム１０の画像管理等の実施の詳細については前述の本出願人の特許に説明されている。
【００１８】
図１のレース管理システムでさらに詳細に示されているように、線Ｌの画像のためにトラックの他の場所（例えば、走者のスタート位置や順序を検出するためにスタートラインから数十メートルの位置や、競馬において中間の順序やタイムを検出するために１／４マイル表示の位置に）に第２のカメラ１２ａが配置されてもよい。カメラ１２ａはまた、その画像データを処理、格納し、職員によって評価されたり、タイミングシステムやディスプレイシステムに送られたりするためにシステム１０に接続されるか、または通信可能状態にされる。カメラ１２ａは長いケーブルや、ラインマッチング、及び信号同期プロトコルやその他の処理の必要性を無くすために、好まれるものとして、無線伝送で通信する。この構成で、カメラ１２ａは通常、そのデータをカメラ１２より早い期間に、またはカメラ１２と異なった期間に供給し、システム１０の入力画像を処理するデータ処理部分は、任意の時間において、どちらか一方のカメラからの画像データだけを処理すればよいので、システムは一般に、カメラ１２ａの出力を扱うための管理コンピューターに第２のチャネル、複雑なアドレッシングプロトコルまたはマルチプレクスプロトコルを備える必要性はない。
【００１９】
以下にさらに詳細に説明されるが、カメラ１２、１２ａは好まれるものとして、それらの画像出力ストリームを各々が「クロップ（crop）」する。本出願において、「クロップ」とは、カメラが画像がアクティブなとき（すなわち、カメラが必要な画面を撮影しているとき）だけ情報を送信することか、データストリームにストリームのアクティブな部分を示すフラグで注釈をつけることを意味する。後のケースの場合、画像データストリームと共に注釈が受信され、システム１０のプロセッサはオペレーターの管理や制御を必要せずに、高いレベルの自動制御で動作する。
【００２０】
本発明の基本原理にしたがうと、カメラの画像制御器２２は画像の対象物の情報を検出し、それに対して応答し、外部の画像管理システム１６への接続のための出力信号線２８の画像データ出力に注釈を付けるか、または画像データ出力を制御するために、カメラ内でバッファ２５に取得されたフレームを操作するための付加的な機能を実施する。配線２８は説明の目的のために実際の配線のように示されているが、それが、例えばローカルラジオ周波数リンク等の、通信リンクでもよく、カメラがそれのデータをＲＦ周波数によって送信してもよいことは理解されなければならない。
【００２１】
いくつかの対象物検出操作がここで説明のために示される。イベント記録ラインカメラ（または、イベント記録線状カメラ）によって作られた二次元（線×時間）画像フレームは、画像化される対象物の線ＬまたはＦＬの対象物のドウェル時間（dwell time）に比例し、線を横切る対象物の速度に反比例するｘまたは幅の寸法で、幅の方向に不鮮明になる（または、にじむ）ことは当業者にとって既知である。逆に言うと、背景のフィールドは、それがその前を通過する競技者によって妨害されない限り、常に同一であり、ラインセンサ２０の各ピクセルの位置を横切る固定した色または強度の水平な帯を形成する。これらはバッファ２５内の画像フレームとなり、以下で説明される対象物検出器がそれに対し動作する。好まれるものとして、各画像には参照時間（または、基準時間）が記録され、その時間情報はフレームのデジタル情報内に含まれる。好まれる実施例において、各フレームの参照時間はカメラ１２が画像を撮影した時間を示す。これは実時間でも、あるいは外部のイベントやトリガ信号の開始に対する時間でもよく、または、スタート検出センサ８４（図１）、外部の時間情報源、カメラの内部タイマー、または（好まれるものとして）前述の特許で説明されているシステム時間の同期プロトコルによって導き出されてもよい。
【００２２】
一般に、外部コンピューター記憶装置及び画像分析システム１６は未処理の画像データにインデックスを付けたり、索引付け、アクセス、画像データに現れる時間の素早い表示や分析のために、テキストを追加したり、画像を識別データとリンクさせたりするためのソフトウエア等を含んでもよい。このタイプのシステムは本出願人の前述の２つの米国特許に詳しく説明されている。
【００２３】
周辺の事情を説明すると、外部管理システムのメイン制御コンピューター１６は内部メモリ３６内に格納された情報のブロックを処理し、ラインフレーム（または、線状フレーム）をディスプレイモニター４２上に連続的なデジタルラインフレームの場面及び時間内容を表示するための二次元画像フレームにまとめる中央プロセッサ４０を持つ。中央プロセッサ４０はまた、好まれるものとして、自動制御動作及びシステム１０のメモリ管理を制御し、さらに、ユーザーがリアルタイムの表示や以前に記録された部分を含む、システム１０によって取得された全ての場面の表示を命令できるように、キーボード４４及びマウス４５の入力に応答する。特に、ゴール時間の即時の発表やゴール付近の画像による分析のために、特定の部分に関連した特有の時間にアクセスできるようにすることが考えられる。コンピューターの出力はさらに、結果の発表のための掲示板や、審判による即時の判定のための遠隔のモニター等の外部のディスプレイを駆動するように構成されてもよい。これらのような、多数の所望される外部のレース管理システムが現在、商業上の製品として存在し、それらの動作の説明はここでは必要ないと思われる。
【００２４】
本発明のラインカメラシステム（または線状カメラシステム）で作製、記録される時間と位置の決定の理解のための例として、図２は水平軸に沿って移動中の対象物６０を図示しており、そこにおいて、カメラ（図示せず）はその軸に実質的に垂直な面の視野の領域（または視野のフィールド（field of view））ＦＯＶと共に対象物６０に焦点が合わされている。各フレームは対象物６０、すなわち線状の対象物を撮影しているので、それらは単独の、且つ独立したデジタルライン画像フレーム（またはデジタル線状画像フレーム）として表される。図２において、システムによって撮影された連続的な対象物は説明のために、対象物６０上の連続的な長方形の線６２として示されている。各ライン画像６２に対し、カメラ１２は配列２０の多数の検出器部分に対応した線状の対象物の画像をサンプリングすることによってそれぞれのフレームを生成する。すなわち、各ライン対象物（または線状対象物）６２はカメラを通して対象物をセンサ２０上に投射することによって、検出器の配列２０によってサンプリングされ、対象物の長手方向に沿ってデジタル的に細分化された多数のピクセルを持ったデジタル画像フレームを形成する。リアルタイムの観点から言うと、対象物６０が対象物平面に沿って移動するとき、ラインフレーム６４は最も新しく撮られたフレームを表し、このラインフレーム６４の左側にある対象物の部分はこれから撮影され、ラインフレーム６４の右側にある線６２は既に撮影されていることを表している。一続きの連続的なラインフレームは次に、１つの画像を形成するために互いに組み合わされる。
【００２５】
この方法で組み合わされた対象物の場面または合成の画像は、それがコンピューター１６に表示されたとき、カメラ１２のＦＯＶ（視野の領域）を通過する対象物の実際の空間的な画像に類似しており、特に、対象物が比較的一定の速度で動き、フレーム速度が幅方向の寸法が対象物の通常の空間的な画像に対し実質的に拡大または縮小されないように、対象物の予想速度に比例するように選択されたとき、非常に類似する。このような画像において、例えば壁等の、ゴールラインに沿って存在する視野の領域の静止している背景７０は連続的な線状画像に同一のものとして画像化されるので、フレームが連続的な線から組み合わされると、背景は静止した物体の決まった色または強度を持った水平の縞になって現れる。
【００２６】
図３はゴールラインを通過する数人の走者をこの方法で形成した典型的な画像を図示している。この画像の生成のモードによるアーティファクトと共に、（走者によって隠されていないときは）いくつかの水平の縞として背景が現れており、各走者はゴールラインを通過する走者の身体の連続した片が呈する姿勢で固定している。横方向に沿って生じるわずかな寸法の伸びまたは縮みを除けば、各走者は固定したカメラ位置の展望から撮影された通常の空間的な画像にほぼ類似している。したがって、走者の衣類の色、エントリー番号、顔の特徴、及び他の識別のための特徴は画像として撮影される（または、撮影される可能性が高い）。
【００２７】
ここでカメラの動作の説明に戻ると、図１Ａのシステム１０によって撮影された各デジタルラインフレームはバッファ２５に格納され、制御マイクロプロセッサ２２はカメラの出力を制御するためにこのライン画像データを操作する。本発明はいくつかの異なった対象物認識及び出力制御を意図しているが、それらの例が以下に説明される。最初に、線ＦＬを通過する対象物の認識について説明する。
【００２８】
図４は本発明の基本的なプロトタイプの実施例のこの動作を説明しているフローチャートである。この実施例において、カメラのマイクロプロセッサ２２は、線状の視野の領域を横切る対象物の存在を検出するためにバッファ２５からの未処理の画像を処理し、正確な時間の記録を保持しながら、ゴールラインがアクティブなときだけ（すなわち、走者がいるときだけ）カメラによって画像フレームが送り出されるように、出力データストリームを制御する。ハードウエアの観点から言うと、マイクロプロセッサはゴールラインの状態を検出するために、ラインフレームを適当なサイズのＶＲＡＭ（例えば２ＭＢ−ＶＲＡＭ）の中にロードし、連続的なライン（すなわち、線状データ）を処理する。そして、アクティブでないフレームや不感時間の画像を単に圧縮したり、消去したり、システムの帯域幅を占有せずにテープにバックアップしたりしながら、動きの可能性があるパターンが検出されると、プロセッサはパターンを確認し、カメラの送信のために過去に遡ってアクティブな画像シーケンスの開始に印をつける。
【００２９】
バッファ記憶装置またはＶＲＡＭに加え、カメラ内部のマイクロプロセッサ２２は、好まれるものとして、３２ＭＢ以上のＲＡＭを持ち、カメラ自体が数分程度の時間分解されたアクティブなゴールラインの画像を格納することを可能にしてもよい。これはトラックや乗馬競技の通常のゴール期間に比べ十分長く、外部の伝送リンクのミスや装置の故障が発生した場合でも、分析に必要な場面はカメラのメモリに残すことができる。
【００３０】
図４に示されているように、対象物検出は画像フィールドに入ってくる対象物の始まりを検出することにより行われる。これはフィールドへの対象物の立ち入りを決定し、それを確認するために、入力されるライン画像フレームをソート／比較処理することによりなされる。最初に、プロセッサは、説明のために８つの画像ラインの組をロードして８×１０００ピクセルのサンプル（サンプルストリップ）を形成し、該サンプルを８×８ピクセルのブロックに分割する。したがって、各片（サンプルストリップ）は８×８ピクセルの１２５個の光−サンプリングブロックから成る。マイクロプロセッサは次に、同様な８つの画像ラインを分割し、２つの１２５個の光の値のブロックの組を持ち、連続的な画像の光の値の局在的な変化の量を測定するため、各ブロックのピクセル値を直前の対応するブロックのピクセル値と比較する。この比較は、例えば各ブロックのピクセルの値の合計の差を取ってもよい。連続的に検出された光の値の強度（または輝度）の全変化を表す差が、全てのブロックで、閾値Ｔ1（例えば合計された全ピクセルの強度の１０％）より小さい場合、プロセッサは単に次の８つのラインを取り込み、それをブロックに分割し、再び、同様な比較を実行し、閾値レベルより大きい光の値の変化が検出されるまでこの方法を続ける。
【００３１】
一定の強度及び同じ位置で画像化される静止した背景がピクセルのセンサのノイズレベルによって変動することは理解されなければならない。さらに、場面が室内であり、人工的な光によって照明されている場合、光の強度の線周波数に周期的な変動が起きる可能性がある。したがって、変化を検出するために複数の連続的なラインや複数のピクセル平均化ブロック（multi-pixel averaging block）を使用することは、光のレベルの意味のある変化の検出におけるノイズや周期的な光の変動の影響を減らすために有効である。よって、１秒間当り１００から１２０のゼロ交差を持つ５０から６０Ｈｚの線信号が存在する場合、サンプル周期と照明の明滅のアリアジング（aliasing）が間違った結果を誘発しないことを確実にするために約８０から１００ミリ秒のブロックが必要となる。検出用の閾値Ｔ1は８×８ブロックの予想されるノイズの変動より大きく設定されなければならない。全強度の１０パーセントの値は視野の領域への意味のある動きを検出するために適当な閾値である。
【００３２】
図４に詳しく示されているように、Ｔ1の閾値より大きいブロックの強度の差が検出されたとき、プロセッサはその時のブロックの最初のラインの時間ｔ0に「対象物開始」フラグを設定する。もう１つの実施例において、プロセッサは差の検出のために連続した２個またはｎ個のブロックの間待ち、画像データに注釈を付けたり、出力制御信号を設定したりする前に、対象物の存在を再確認してもよい。この場合、カメラが計数を開始し、少なくとも、（例えば、）５回連続してブロックの差が続き、閾値より大きい場合、その変化は対象物が視野の領域を横切っているために発生したと認識されてもよい。プロセッサは過去のデータに遡ってアクティブなシーケンスの開始時に「対象物開始」フラグを設定する。フラグデータは外部のライン画像データの処理及びインデックス付けを行うために独立なデータ指示として連続的な画像データストリームと共に送られてもよいし、あるいは、その時間のカメラからの画像データ出力の開始を直接指示するために使用されてもよい。そして、それにより、画像データは対象物が検出されたときだけ送信されることができる。もう１つの実施例では、カメラは最初に検出された変化したフレームより前の時点、例えば０．１秒前の時点から画像データを取得するように設定されてもよく、それにより、ゴールラインのシーケンスは競技者がゴールラインに近づいたときの画像を含むことができ、競技者が（ゴールラインを）通過する最初の部分を表示することができる。したがって、胴体がリボンを通過する前の馬の鼻や、走者の手も表示することができる。通常ゴールラインの通過として考えられているイベントの前に起こる、そのような詳細な情報は、複数の競技者がほぼ同時に通過する場合に、不正確さを取り除くために便利である。例えば、数人の競技者が同時に視野の領域を遮り、重なっている場合でも、競技者の位置を識別するために突き出した手を利用することができるだろう。したがって、アクティブな画像のシーケンスは先頭の競技者の特定の部分を含むように設定されてもよい。
【００３３】
図４にさらに示されているように、画像に一度走者が検出されると、プロセッサは付加的な情報を得るために画像フレームに現れた対象物の監視及び分析をする、異なった分析処理に切り替わる。基本的な実施例では、プロセッサは対象物が完全に通過したか、またはゴールラインの動作が終了したことを決定するために、初期の対象物トリガ分析に類似した方法で画像片のサンプリング処理を継続する。この処理に対する、その決定の適当な方法は図４Ａに示されている。対象物の終了が検出されたとき、プロセッサは「対象物終了」フラグを設定し、出力制御器が出力ストリームをオフにするか、休止モードに入るようにする。この終了時の決定のために、プロセッサは全てのブロックの組の差が閾値Ｔ2より小さいかを検出する。できれば、プロセッサは移動する対象物の通過が終了したと決定する前に、より多いサンプル片に対しＴ2＜Ｔ1の異なった閾値を利用するか、均質性の持続のためのもう１つの閾値レベルを利用するか、またはその両方を利用する。この操作はカメラの前の視野の領域に留まる静止した対象物というよりも、馬の胴体等の比較的均質的な対象物によるシーケンスの終了の間違った信号を避ける。カラーカメラによる実施例の場合、検出モジュールはこれらの決定のために検出測定として強度（または、輝度）の代わりに（または強度に加えて）色の変化を利用するように設定されてもよい。動作の終了が検出されたとき、「対象物終了」フラグは静的な信号レベルに達するフレームグループの最初のラインであってもよいし、または、それの後の瞬間的な断片（の信号）の設定でもよい。そして、それは画像出力の伝送を終了させるための出力制御の信号を出すか、あるいは、（クロップ操作がカメラ出力ストリームの物理的な切り替えではなく、フレームへの注釈付けの場合、）フレームにラベルを付ける。
【００３４】
まとめると、対象物認識出力制御器は最初に対象物の移動と考えられるものを識別し、移動の存在を確認し、そして過去のデータに遡ってアクティブな画像フレームを識別する。同様に、シーケンスの終わりに、静止している場面と考えられるものを識別し、それを確認し、そして少なくとも最後のアクティブなフレームまで拡張するようにクロップの終了時間を設定する。この方法により、検出、記録、及びゴールラインを通過する動きを判定するために必要な画像の部分だけに注釈がつけられカメラから送信される。そして、これらは対象物検出に基づいてカメラ内部の制御器によって自動的に選択される。比較的小さいアクティブ画像の集合部分がカメラによって予め識別されるので、この方法による自動的な対象物認識は外部のコンソールで画像データを視聴し、選択する人間の監視者や、外部の膨大なロール式の画像バッファ及びクイックアクセスメモリ記憶装置の必要性を無くす。
【００３５】
前述されたように、ゴールラインを横切る対象物が存在しないとき、背景の場面は静止している。本出願人の前述の特許にさらに詳細に説明されているが、ライン間圧縮（line-to-line compression）アルゴリズムを使用することによって、静的なシーケンスを符合化するためのデータの量は非常に小さくすることができ、それらをカメラ内で圧縮することにより、外部のバス配線は未処理のラインデータ（または、線状データ）の膨大な流れを扱う必要が無い。本発明のシステムはさらに付加的な操作上の改善を与える。すなわち、カメラ内部のプロセッサは関係のありそうな画像データの短い継続時間だけを効果的に送信し、システム１６から判るように、システムは必要なときだけ、それ自体を効果的にオン及びオフすることができる。実際、典型的なゴールラインの通過の時間は３０秒以下であるので、カメラ内の３２ＭＢのＲＡＭだけでも、カメラは１つのレースの関連するデータの全ての部分を効果的に格納することができるだろう。各ラインフレームはそれが撮影された時間を含んでいるので、最後のフレームから静的な不感時間の場面を再構成するために必要なのは開始と終了の時間だけである。
【００３６】
カメラのラインセンサ（または、線状センサ）によって生成される画像データのアクティブな部分にフラグを付けることに加え、本発明はさらに対象物ベースのデータを作り出すために対象物を識別するための内部処理をする事も意図している。これは図５に図式的に示されている。２つの特徴的なデータのタイプが図示されている。一方は競技者が通過するときに、競技者の色、番号、バーコードや他の個人的な特徴を検出するために画像分析のサブルーチンによって処理する対象物識別である。これは後で詳細に説明される。もう１つは、ここで説明されるもので、フォトセル決定（photocell determination）と呼ぶ。本発明の後のケースの側面にしたがうと、もっともらしいゴールタイムを決定するために、カメラ内部のプロセッサは競技者をテンプレートに当てはめるために、対象物を含んだフレームのより詳細な分析を実施し、身体の特定の部分を認識し、種類／イベント特殊補完ルールまたは推定ルールを利用する。
【００３７】
これらの方法が適用された場合、例えば馬の場合、プロセッサはゴールラインを通過する馬の身体を検出するために頭上からの画像ラインを処理し、（水平方向の距離のスケールに影響を与える）フレームレート及びイベント速度を修正しながら、身体（すなわち、馬体）の中間点より、特定の（固定）時間または（固定）距離だけ前に起きたフレームによってゴールタイムを特定する。この推定はその種類（の馬）の標準的な大きさや形状に基づいた推定時間を与え、掲示板に表示される初期の発表のために使用することができる。例えば、プロセッサは馬の鼻をその馬の中心から１．６ｍ前にあると設定したり、グレーハウンドの鼻が中心から０．７ｍ前にあると設定したりする。画像出力データストリームに特定の時間を加えることにより、即座の指標がレース管理システムに与えられ、その後に、正確なゴールタイムを決めるために完全なフレーム画像が構成され、再評価される。図３は人間のトラックイベントに対する典型的なゴールの構成を示している。人物に上述の方法が適用された場合、関連する画像の分析はフィールド上の手、腕、または足の初期の出現によって引き起こされる。この場合、画像分析は、例えば、もっともらしいゴールは最初の手足の３０から５０ｃｍ後であると設定したり、胴や腹等の身体の重心を検出するようにさらに画像分析を進めたりして、これらの形状の出現によりゴールタイムを推定する等の、特定のルールによって分析される。レースの職員は画像フレームを調べ、例えば、胴が前方に傾いているかどうかを観察し、実際に合成フレームのどのラインが胴の先頭を含んでいるかを見ることにより正確なゴールタイムを決定する。他のフォトセル通過決定もイベントの速度や競技者の種類に特有のルールを利用することによって容易に実施することができるだろう。
【００３８】
ここでカメラの対象物認識及び形状認識の説明に戻ると、上述の説明はピクセル値がスカラー値である場合に関してであることに注意しなければならない。しかしながら、３色のラインカメラが利用された場合、動きの決定はより速い処理、より正確な対象物認識、または特定の形状、識別子の検出を達成するために異なった方法で処理することもできる。単純な対象物検出に対するそのような１つの変更は、より洗練された場面の変化のテストを行うために、連続的なサンプル片のブロックの３つの異なったカラー値を独立に比較し、その差を独立に合計することである。例えば、赤い色が全体を通して無い場合に、赤いピクセルの突然の出現は直ぐに新しい対象物の到着を示すことができる。このカラー比較決定は対象物認識決定のために必要なブロックのサイズを減らす。あるいは、競技者の服装の色や目立つ色の組み合わせによって各自を識別するために、競技者に特定の色のマーカーやユニフォームが割り当てられてもよい。プロセッサはこの場合、好まれるものとして、（例えば、ロイヤルブルー＝ジョースミス＝競技者番号１７等の）画像内の各競技者に関連した色を記憶し、そのデータを出力ストリームに供給するようにプログラムされる。
【００３９】
あるいは、レース管理システムは検出された識別子を事前に設定された走者の識別子の表と比較してもよい。この場合、カメラから受信された色の注釈が付けられた画像ストリームは、色を識別子表と照らし合わせ、走者の名前をディスプレイに表示する単純なサブルーチンへ送られる色及び時間の要素を持つ。このような識別子表は初期設定の処理中に、好まれるものとして、外部のレース管理システムによって実施される。例えば、プロセッサがその独特の色を分析及び記録し識別子表を設定するために、独立したハンディタイプのカメラにより各競技者が撮影され、競技者の個人情報を入力が入力されてもよい。この場合、本発明の対象物により制御されるラインカメラは、例えば、カメラの出力データストリームに存在する各ライン画像フレームのプリアンブルに英数字等の必要な識別データを供給するために付加的な処理をする。
【００４０】
本発明はさらに、制御器２２がその視野上の特定の対象物を識別するために動作するとき、プロセッサが光の変化の決定や色の決定以外の付加的な画像分析を実行することも意図している。そのような付加的な処理は、例えば、比較的狭い画像領域に複数の色が同時に現れたとき、走者の重なった画像を分割し、個々の色を決定するためのエッジ認識及び対象物分割を含んでもよい。本発明はまた、各競技者が画像上で認識できる特別の識別子のマーカーを身に付けた場合のシステムも意図している。したがって、例えば、馬のイベントで使用される場合、マーカーは馬の背中に取り付けられ、カメラが上空からゴールライン（または、トラック中の中間点）の画像を撮ることにより、全てのマーカーがカメラ方向を向き、隣接する走者に邪魔されないようにすることができる。そのようなマーカーは、例えば、特徴のある組み合わせを形成する、特定の向きのバーコードや、異なった色の線またはブロックを含む。カラーマーキングが、素早い、信頼性のある決定を確実にするために形成されてもよい。これは、例えば、カラーバンドに異なった色を配色し、それらがカメラの別々の検出ピクセルに画像化され、検出ピクセルが実質的なドウェル時間を持つことを確実にするような方法で配置または方向付けすることによって達成することができる。例えば、バンドは動きと平行な方向で身に付けられ、それらに画像上の延長されたドウェル時間を与え、それらがセンサの別々のピクセルに画像化されるように移動方向に垂直にオフセット（すなわち、幅）を設けてもよい。それらはまた、サイズが許す限り、移動方向にもオフセットを設け、画像の色の組み合わせの時間分解が行われてもよい。これは、ライン画像が画像センサに沿って狭くて高いブロックでサンプリングされるときや、短い継続時間だけで画像化される場合に、それら（カラーバンド）を容易に検出させる。
【００４１】
もう１つの実施例において、プロセッサは競技者のユニフォームのゼッケンを単に読み取るために、光学的文字認識モジュールを組み込んでもよいし、バーコード識別子を認識するためにバーコードリーダーのパターンを使用した画像ラインを処理してもよい。しかしながら、一般に、対象となるマーカーのオクルージョン（occlusion）や間違った読み取りの可能性を減らすために、文字またはバーコード技術の使用よりも、ラインカメラ検出のために構成されたマーク、及び、好まれるものとしてのカラー識別子マーカーの使用が好まれる。
【００４２】
イベント認識システムを使用する場合、レースのゴールライン等の対象物によってトリガが掛けられる本発明のラインスキャンカメラシステムは外部システム部分に課せられるリアルタイムの帯域幅の要求を大幅に減らし、必要な画像データの伝送に目立った遅延を起こさずに、１０００分の１秒またはそれ以下の位置を記録し分解するために操作されることができるだろう。出力フレームのデータの注釈は、静的時間または不感時間による物理的なクロップを利用しない場合でも、外部のレース管理システムに設置されるデータハンドリング及びＲＡＭ記憶装置を減らす結果となる。
【００４３】
本発明は代表的な実施例及び特徴で開示され、説明されているが、この分野の技術者にとってさらなる変更や等化物は明白であり、そのような変更、改良、等化物も付随する請求の範囲で規定される本発明の範囲であると見なされる。
【図面の簡単な説明】
【図１】  平面と交差する物体の時間的に逐次のシーンを記録し表示するための本発明に従うカメラを採用したシステムを示す概略線図である。
【図１Ａ】  図１のカメラ及びシステムの詳細図である。
【図２】  離散的にサンプルされたライン対象物から本発明に従って構成された代表的像を示す図である。
【図３】  本発明に従ったシステムによって生成されたレースの場面の典型的な表示を図示している。
【図４】  本発明に従う像出力制御のためのカメラ内検出器の動作を示すフローチャートである。
【図４Ａ】  出力制御のための内部対象物検出処理を例示するフローチャートである。
【図５】  他の情報処理を例示するフローチャートである。
【符号の説明】
１０  レース管理システム
１２、１２ａ  カメラ
１５  対物レンズ
１６  外部の画像管理システム
１８  対象物の視野領域の線状部分
２０  ラインセンサ（または、検出器の配列）
２２  カメラ内部の画像化制御器
２４  ゲイン制御検出器増幅器
２５  カメラ内部のバッファ
２６  Ａ／Ｄ変換機
２８  出力信号線
３６  内部メモリ
４０  中央プロセッサ
４２  ディスプレイモニター
４４  キーボード
４５  マウス
６０  移動中の対象物
６２  ラインフレーム
６４  最も新しいラインフレーム
７０  背景
【図１】
0004615715.tif 000002
【図１Ａ】
0004615715.tif 000003
【図２】
0004615715.tif 000004
【図３】
0004615715.tif 000005
【図４】
0004615715.tif 000006
【図４Ａ】
0004615715.tif 000007
【図５】
0004615715.tif 000008