(57)【特許請求の範囲】
【請求項１】
同期化されたデジタル映像データを生成するシステム又は装置であって、
カメラと画像センサーとからなり、前記同期化されたデジタル映像データの一部分をそれぞれ生成することができる複数のデジタル映像ソースと、
前記同期化されたデジタル映像データのサンプリングのための時間期間を設定するように構成されるクロックと
各デジタル映像ソース間で前記クロックを通信及び共有するように構成されるクロック分配サブシステムと、を備え、
前記クロック分配サブシステムは、各デジタル映像ソースへの前記クロックの転送の際に対称遅延を呈し、
前記クロック分配サブシステムを通じて、前記複数のデジタル映像ソースが前記クロックに動作可能に結合され、
前記システム又は装置は、
前記複数のデジタル映像ソースによって共有されている前記クロックを停止又は接続解除する手段と、
前記複数のデジタル映像ソースによって共有されている前記クロックを再開又は再接続する手段と、
前記複数のデジタル映像ソースによって共有されている前記クロックを停止又は接続解除する前記手段と、前記複数のデジタル映像ソースによって共有されている前記クロックを再開又は再接続する前記手段と、に結合され、受信されたコマンドを前記デジタル映像ソースに配信するビデオコントローラーと、をさらに備え、
前記ビデオコントローラーは、前記複数のデジタル映像ソース間の同期に影響を及ぼす可能性があるコマンドと、前記複数のデジタル映像ソース間の同期に影響を及ぼす可能性がないコマンドとを区別し、
前記複数のデジタル映像ソースによって共有されている前記クロックを停止又は接続解除する前記手段は、前記受信されたコマンドが前記複数のデジタル映像ソース間の同期に影響を及ぼす可能性があるコマンドである場合、前記クロックを停止又は接続解除し、
前記ビデオコントローラーは、前記受信されたコマンドが前記複数のデジタル映像ソース間の同期に影響を及ぼす可能性があるコマンドである場合、前記クロックの停止又は接続解除の後に前記受信されたコマンドを前記デジタル映像ソースに配信し、
前記複数のデジタル映像ソースによって共有されている前記クロックを再開又は再接続する前記手段は、前記受信されたコマンドが前記複数のデジタル映像ソース間の同期に影響を及ぼす可能性があるコマンドである場合、前記受信されたコマンドの配信後に前記クロックを再開又は再接続すること、
を特徴とする、システム又は装置。
【請求項２】
請求項１に記載のシステム又は装置において、
前記複数のデジタル映像ソースと数が等しい複数のデジタル映像バスであって、それぞれが、前記同期化されたデジタル映像データの対応する関連部分を搬送するために、その一端において１つの対応する映像ソースに動作可能に結合される、複数のデジタル映像バスと、
各デジタル映像バスの他端において各デジタル映像バスに動作可能に結合される、ビデオ結合器と、をさらに備え、
前記ビデオ結合器は、
各映像ソースから同期化された映像データを受信し、
前記映像ソースのそれぞれからのタイミングパルスが、同期されており、
前記ビデオ結合器は、各映像ソースからの、同期された前記タイミングパルスを、同期情報を大きく損失していない１つを除いて廃棄することを特徴とするシステム又は装置。
【請求項３】
請求項２に記載のシステム又は装置において、
前記ビデオコントローラーは、
複数の同期化された映像信号を、該信号のピクセル同期信号及びライン同期信号及びフレーム同期信号のそれぞれから取り除き、次に、前記複数の同期化された映像信号を、マルチタップカメラによって生成される映像信号と同フォーマットの結合映像信号の供給のため、ピクセル同期信号及びライン同期信号及びフレーム同期信号の単一のセットと結合すること、
を特徴とするシステム又は装置。
【請求項４】
前記システム又は前記装置は、
前記同期化されたデジタル映像データを、マルチタップビデオを受け取るビデオシンクに転送し、
前記システム又は前記装置は、
映像ソースとビデオシンクとの間でマルチタップ映像データを通信することが可能なマルチタップ映像インターフェースをさらに備え、
前記ビデオ結合器は、
前記結合映像信号を、前記ビデオシンクへの転送のため、前記マルチタップ映像インターフェースに供給すること、
を特徴とする請求項３に記載のシステム又は装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオビジョンシステム又はマルチビジョンシステムに関し、より詳細には、そのようなステレオビジョンシステム又はマルチビジョンシステムを構成する高速カメラのような複数の高速映像ソースから、同期化された映像信号を経済的に生成し、忠実に送信するのに用いられる技法に関する。
【背景技術】
【０００２】
ステレオビジョン（立体視）システム又はマルチビジョン（多眼視）システムの効果的な適用は、同期化されたステレオ映像信号又は同期化されたマルチ映像信号を２つ以上のカメラからそれぞれ生成及び（有用な距離にわたって）送信する能力に依拠する。この問題は重要であり、これに対処する多数の試みが行われてきた。これらの試みについては、発行されたいくつかの関連特許である米国特許第５，３０７，１６８号、米国特許第５，９０３，３０８号、米国特許第５，９９５，１４０号，米国特許第６，３４０，９９１号，米国特許第７，４１１，６０４号、米国特許第６，９５０，１２１号、及び米国特許第７，５１１，７６４号、刊行された雑誌論文であるランポート（Lamport）（１９７８年）、リン（Lin）（２００５年）、提示された会議論文であるルーマン（Luhmann）（２００５年）、並びに最後にチャン・ハン・リン（Chang Hong Lin）によるプリンストン２００７の博士論文によって明示され、これらの文献は参照により全て本明細書に援用される。
【０００３】
Sony Electronics, Inc.社のタシロ（Tashiro）は、米国特許第５，３０７，１６８号において、２つのカメラの機械シャッターを同期的に制御する電子機械手段を記載している。今日、市場のほとんどのカメラはデジタルカメラであり、ひいてはこれらのほとんどがビデオシーケンスにおけるフレームをサンプリングするのに電子シャッターを用いるため、これはもはや適用可能でない。いずれにしても、電子機械同期デバイスは、高速用途で用いられるマルチビジョンシステムには低速過ぎる。
【０００４】
AT&T Corporation社のチェン（Chen）他は、米国特許第６，３４０，９９１号において、複数のカメラによってビデオシーケンスとしてキャプチャされた物体の動きを用いて、該ビデオシーケンス間の相対的ラグを計算及び補償する方法を記載している。これによって、明確な同期の必要が回避され、問題が後処理にシフトされる。この方法はコストを削減する手段として勧められているが、さらなる後処理ステップを必要とすることによって、正味の複雑度及びコストが増大する複数のシナリオが存在する。さらに、この技法は、キャプチャされたシーケンスに動きが全く存在しない場合等に普遍的に適用可能でない。この同期化方法は、達成することができる精度においてさらに制限される。なぜなら、結果としてのビデオシーケンスが依然として、平均でフレーム間持続期間の半分だけ位置がずれている可能性があるためである。
【０００５】
Deutsche Telekom AG社のトリンケル（Trinkel）他は、米国特許第７，４１１，６０４号において、記録されたビデオシーケンス内に人工的に挿入されたキューを用いて、該ビデオシーケンス間の相対的ラグを計測及び補償する、より一般的な方法を記載している。この場合、双方のカメラの視野内に存在する変調光信号（又はオーディオ信号）を用いて、それぞれによって記録されるビデオシーケンス内に或る種のタイムスタンプを提供する。この方法は、キャプチャされたシーケンスにおける動きを明示的に必要とすることを回避するが、上述したような、ＡＴ＆Ｔ社のチェン他によって提案された方法の残りの不利な点を共有する。
【０００６】
Ultrak,Inc.社のクーパー（Cooper）他は、米国特許第５，９９５，１４０号において、ビデオコントローラーによって生成された一対の外部同期信号を用いて、マルチビジョンシステムにおけるカメラ間の垂直同期及び水平同期を直接制御するシステム及び方法を記載している。しかしながら、このシステムでは、各カメラが独立した発振器を所有し、独自のピクセルクロックを生成する。これらの発振器は、それらをロックステップ方式で保持するメカニズムが一切ないことに起因して、同期して動作する可能性が低い。垂直同期化信号及び水平同期化信号は、正確なピクセル同期を補償するにはあまりに粗すぎる。このため、ライン及びフレームキャプチャを概ね同期化することが可能であるが、同じことをピクセルレベルでは確言することができない。これによって、システムは、全てのレベルで完全な同期を必要とする同期デジタル送信には適切でなくなる。
【０００７】
Ultrak,Inc.社のクーパーは、後に、米国特許第７，５１１，７６４号において、１つのマスターベースユニットに接続された複数のスレーブカメラから同期デジタル映像信号を生成する方法を記載している。このシステムは、厳しいタイミング要件を満たしているが、不必要に複雑な形でそれを行っており、これによって該システムを実施するのにコストがかかることになる。スレーブカメラはそれぞれ独自の発振器を有し、マスターベースユニットも独自の発振器を有する。これによって、ひいては、ベースユニットが蓄積転送メカニズムを採用して、スレーブカメラによって生成されたフレームを再同期化することが必要となる。したがって、ベースユニットは、各カメラからの映像データを一時的に格納するメモリを必要とする。これは、複雑度及びコストを加えるのみでなく、映像データの配信において、小さいが明確な遅延も引き起こし、これは或る特定の高速用途にとってかなり不利な点となる。
【０００８】
ツェルコフニュク（Tserkovnyuk）他によって米国特許第６，９５０，１２１号に開示されたシステムでは、共有クロックを用いて、アナログカメラのステレオビジョン対間の電気的同期を補償している。しかしながら、フレーム同期は、一方のカメラに、他方のカメラにフレームリセットパルスを供給させることによってのみ達成される。これによって、共有クロックを用いる利点のほとんどが無効になってしまう。なぜなら、この信号を１つのカメラから次のカメラに転送する際に受ける遅延の結果、２つのカメラのタイミング挙動に、小さいが明確な差異が生じることとなるためである。この問題は、カメラ間の距離が増大するにつれ大きくなり、これによってカメラの相対的な位置決めに重大な制限を課す。高速ビデオキャプチャシステムの場合、これによって同期のレベルが損なわれ、デジタル送信に不向きなものとなる可能性がある。
【０００９】
Ultrak,Inc.社のクーパーは、米国特許第５，９０３，３０８号において、１つのカメラから次のカメラへの同期パルスの転送によって生じる遅延を補償する方法を記載している。この方法は、パルスのそのような転送によって同期化されるカメラのための解決策を提供することができるが、コスト及び複雑度の観点からは依然として望ましくないであろう。
【００１０】
ドイツの視覚専門家である、ＩＡＰＧ社のルーマン及びVolkswagen AG社のラグーゼ（Raguse）は、高度な同期に関する、より単純な方法の知識がない中で、単一のカメラを用いることによって、キャプチャしたい複数のビデオシーケンスの共時性を保証するために、ビームスプリッティング光学素子（逆に用いられる）を用いるに至った。この技術は、必然的に、ステレオビジョン視野を二等分したものの間の完全な同期をもたらすが、この同期は、並外れて大きなコストでのみもたらされる。この技術はまた、非常に扱い難く、軽量で可搬可能なステレオビジョン又はマルチビジョンの実装を必要とする大部分の用途にはほとんど適用可能でない。
【００１１】
１９７８年に、ランポートは、ネットワークをまたいだ分散システム間で概ねクロック同期を維持する問題を分析した。２００５年に、リンは、複数の分散カメラの概念を拡張し、これに関して博士論文を書くに至った。しかしながら、これらの方法の全てがネットワークにわたるデータグラムの転送に依拠し、達成可能な同期は数十ミリ秒程度であり、非決定的でもある。高速用途の場合、このレベルの不確実性は受容不可能であろう。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上記の従来技術の説明は、本発明より前に、当業者は誰も、カメラシステムのようなステレオビジョン又はマルチビジョンの映像ソースから正確に同期化された映像を生成及び送信するための、同等で単純でコストの低い方法を（通常の形でも通常でない形でも）見つけ出すことができなかったことを十分明確にしている。したがって、本発明は、当業者のあらゆる者にとって新規かつ非自明であるということになる。
【課題を解決するための手段】
【００１３】
本発明において、映像データ生成デバイスに共通クロック及び同一の動作条件を受けさせることによって整合された該映像データ生成デバイスの挙動及び性能の類似性を利用し、それによって同一の内部状態及び同期化された出力タイミング挙動を保証する方法が提示される。
【００１４】
そのようなデバイスは、通常、カメラ又は画像センサーと見なすことができるが、映像データを生成するように特に設計された任意の電子デバイスとして理解することもできる。明確にすると共に読解を容易にするために、本特許では、用語「映像ソース」、「映像データ生成デバイス」、「カメラ」、及び「画像センサー」は、その都度代替物の全リストに明示的に言及することなく交換可能に用いられる場合がある。しかしながら、本発明が、一般的な任意の映像データ生成デバイスに当てはまることを理解されたい。
【００１５】
本特許は、以下の３つの高度に関連するが別個の進歩性を含む発明を開示する。
１．ほぼ完全な同期を保証するために共通クロックを共有する、整合した映像ソースを結合するシステムの発明。
２．映像ソースモード変更及び初期化ルーチン中の同期発散の問題を回避する、クロックを凍結させた（frozen-clock）映像ソースプログラミング方法の発明及び使用。
３．同期化されたマルチビデオを単一の標準マルチタップビデオインターフェースを介してフレームグラバーのようなビデオシンクに高速送信することを可能にするマルチタップカメラをエミュレートする方法の発明。
【００１６】
ここで開示される方法は、正確に同期化された映像信号を生成する問題を単純で非常に経済的な方法で解決するのみでなく、映像ソース間のフレーム又はライン同期化パルスの転送の必要性も回避し、それによって映像ソースの相対的位置決めに厳しい制限を課すことなく、非常に高速な動作を必要とするシステムに適用可能となる。この方法は、「蓄積転送」メカニズムの必要性も回避し、したがって、内部バッファリングに関連する複雑性及び遅延を一切被らない。
【００１７】
ソースにおいて達成される高品質の同期を鑑みて、ケーブル長にわたってビデオシーケンスを送信しながら同じ程度の高度な同期を保つ方法も開発され、本明細書に開示される。本発明の好ましい実施の形態では、Ｃａｍｅｒａ−Ｌｉｎｋ（カメラリンク）（登録商標）インターフェース及びケーブルが用いられる。これは例として選ばれ、さらに詳細に説明される。
【００１８】
同期送信は、マルチビジョンシステムにおける複数の映像ソースの映像出力を、マルチタップカメラシステムの挙動を模倣する単一のバンドルに結合することによって達成される。このバンドルは、ひいては、マルチタップ映像信号の同期輸送を本質的に保証する単一のＣａｍｅｒａ−Ｌｉｎｋ（登録商標）接続を介して容易に転送されるのに役立つ。
【００１９】
用語
この文書では、或る特定の用語を広範囲で用いる。疑念を回避するために、及び本特許の正確な解釈の目的で、この用語は、下記で規定するように、本特許全体を通じてその全ての使用において単一の正確な解釈を受ける。
映像信号  映像シーケンスを記述する電子的又は光電子的な形態
モノビジョン  単一のシステム内で、単一の映像シーケンスを生成する、単一のカメラのような１つの映像データ生成デバイスを有している状態
モノビデオ  モノビジョンシステムによって生成される映像信号
ステレオビジョン  ２つのカメラのような２つの映像データ生成デバイスを組み合わせて単一のシステムにした状態であり、該デバイスのそれぞれが別個の映像シーケンスを生成する
ステレオビデオ  ステレオビジョンシステムによって生成される、結合映像信号
マルチビジョン  Ｎ個のカメラのようなＮ個の映像データ生成デバイスを組み合わせて単一のシステムにした状態であり、Ｎは１より大きい任意の自然数であり、上記デバイスのそれぞれは別個の映像シーケンスを生成する
マルチビデオ  マルチビジョンシステムによって生成される結合映像信号
整合（Matching）  タイミングパラメーターが異なることを除いて本質的に同一の電子又は光電子デバイスを、該パラメーターの値に関して、ソートしてグループにするプロセス
整合した（Matched）  整合プロセスの成果
映像ソース  カメラのような、映像データを生成するように特に設計されるデバイス
ビデオシンク  フレームグラバーのような、映像データを受け取るように特に設計されたデバイス
【００２０】
技術的問題
高速マルチビジョン用途は、主流として用いられつつある。しかしながら、関与する全ての映像ソース間の高度な同期を確実にするために、より高速な映像ほど、より厳しい課題を伴う。デバイス間でフレーム同期パルスを転送する従来の方法は、非常に高速のとき、非効率的である。そのような方法は、個々の映像ソースの相対的位置決めにも厳しい制限を課す。
【００２１】
高速マルチビジョンにおいてしばしば直面する第２の主要な課題は、システム内の全ての映像ソースを同時に初期化又は再プログラミングする必要性である。これは、映像ソース（ＣＭＯＳ画像センサー等）の大部分が比較的低速なシリアルインターフェース（多くの場合共有バス）を介して構成されることを考えると、非常に問題である。実際、コマンドを映像ソースのそれぞれに順次配信しなくてはならず、或る特定のコマンドの場合、このプロセスの結果として常に映像信号間のフレーム／ライン位相の位置合わせ不良が生じる。ピクチャ分断（picture tearing）が一般的な結果である。
【００２２】
第３の重大な問題は、実際的であり、かつ同レベルの同期を保つように、マルチビジョンシステムから同期化されたマルチビジョンデータを忠実に送信する問題である。
【００２３】
共通クロックの使用は、長い間、映像ソース間の同期を達成するための要件を部分的に満たす可能性を有すると認識されてきた。これは、この１０年にわたって発行された複数の特許出願及び特許によって例証されている。しかしながら、問題の最終的且つ決定的な解決に至るのは本発明においてのみである。これは、同じ動作条件を受ける、整合した映像ソースの使用を通じて達成された。これは、本明細書において、ほぼ完全な同期を達成するための要件を完全に満たすことに向けた必要な追加ステップとして認識及び提案されている。整合したデバイスの使用は、ここで開示される方法及び装置の実施の成功に欠かせず、映像ソースが整合した性能特性を有するように注意深く選択されない限り失敗する可能性が高い。
【００２４】
整合した構成要素をグループ化するプロセスが、電子工学の分野の当業者に既知である。これは、アナログ電子工学の分野において特に重要かつ一般的である。デジタル電子工学では、この慣行はそれほど広まっておらず、デジタルカメラ及び他のそのような複雑な映像ソースの分野におけるその使用は、本質的に知られていない。なぜなら、これまで、用いる切実な理由が（概ね）なかったためである。それにもかかわらず、これは明らかに可能であり、次の段落において説明されるように実行することができる。
【００２５】
整合特性を有する必要があるカメラは、整合するように注意深く選択された構成要素を用いて構築することができる。単純な受動素子の場合、これを製造者に容易に特定し、そして製造者は配達前に小さな追加コストで素子をソートする。集積回路、特に画像センサー用の集積回路の場合、同じ生産ラインから、同じ生産工程において製造され、かつ好ましくは製造中同じ半導体ウェハー上で近接してもいた素子をグループとして選択することによって高度の整合を容易に達成することができる。これによって、非常に類似した特性が確実になり、これを利用して高度に類似した性能及びタイミング特性を有するカメラを構築することができる。同じことが任意の映像ソースに当てはまる。
【００２６】
次に、そのような映像ソースを共通クロックを共有するように組み合わせることができ、一般に認められた事例に反して、ここで、それらの映像ソースは、それらの出力を様々な形で非同期に結合するのにも十分同期されていると想定することができる。１つのそのような形は、下記で説明するように、ビデオ結合器の使用を通じたものである。
【００２７】
電子工学において、従来から、製造プロセスの大きな変動に起因して、共有クロックにむやみに依拠して、カメラのような複雑なデジタル回路の出力を非同期に結合することは悪い慣行であると考えられてきた。大幅に異なるタイミング挙動が発生する可能性が高く、実際、この結果当然、結果として最終的に不鮮明な結合出力となる様々な論理ハザード及び競合状態が生じる可能性がある。
【００２８】
しかしながら、本発明に到達する過程の中で、この慣行が再検討され、電子工学の従来の教示に反して、新たに広まったはるかに良好に制御された製造プロセスの利用可能性が与えられると、この慣行は、有効であることが確認されており、根拠のない技術的先入観に起因して当業者によって回避されてきた可能性が高い。本発明者によって、この慣行は、実際、有効な想定であり、かつ妥当に信頼可能な設計技術の基礎を成すことができることが理論及び実験の双方で決定的に実証され、本明細書において、複数のデジタルカメラ及び映像ソースの同期における長期にわたる問題を解決する新規な方法で一般に適用されている。これによって明確に、本発明は新規であり、進歩的であり、かつ産業用途の余地があるものとなっている。
【００２９】
ここで図面を参照すると、図１において、本発明の好ましい実施の形態を利用するマルチビジョンビデオシステム１００が示されている。マルチビジョンビデオシステム１００は一般的に、複数の映像ソース１５１、１５２、１５３、及び１５４と、マルチタップビデオ結合器１４０と、マルチタップ映像インターフェース１３０と、フレームグラバー１２０と、ホストコンピューター１１０とを備える。一般的に、可変の数「Ｎ」個の映像ソースがマルチビジョンビデオシステム１００に存在する可能性があり、ここで、映像ソース「＃１」１５１は、第１の映像ソースを表し、映像ソース「＃Ｎ」１５４は、システム１００における第Ｎの最後の映像ソースを表す。
【００３０】
ここで映像ソース１５１、１５２、１５３、及び１５４は、対称クロック分配ネットワーク１７２を介して提供されると共にビデオ結合器１４０によって制御される共通クロック１７０を共有して示されている。映像ソース１５１、１５２、１５３、及び１５４は、共通制御バス１７１も共有する。共通制御バス１７１を通じて、マルチタップビデオ結合器１４０は映像ソース１５１、１５２、１５３、及び１５４のそれぞれの挙動を変更するためのコマンドを発行することができる。映像ソース１５１、１５２、１５３、及び１５４はそれぞれビデオ出力を生成し、該ビデオ出力はそれらの固有の映像バス１６１、１６２、１６３、及び１６４を介してビデオ結合器１４０に配信される。
【００３１】
タイミング信号は全ての映像ソース１５１、１５２、１５３、及び１５４によっても生成されるが、第１の映像ソース１５１によって生成されるタイミング信号１７３のみが実際にビデオ結合器１４０によって利用される。これは、本特許において開示されている最初の進歩性である。
【００３２】
映像ソース１５１、１５２、１５３、及び１５４のそれぞれは一意にアドレス指定可能であり、ビデオ結合器１４０が映像ソース１５１、１５２、１５３、及び１５４のそれぞれの内部の制御レジスタに一意にアクセスすると共に、したがって、それに応じてそれらの挙動を調整することを可能にすることができる。これは、特別な要件が守られないかぎり、結果として同期の喪失となり得る危険なプロセスである。本発明は、コマンドを２つのカテゴリ、すなわち、
・同期に関し安全（ゲインの変化等）であり、したがって同期状態を乱すことなく任意の時点で映像ソース１５１、１５２、１５３、及び１５４のうちの任意のものに発行することができるコマンド、及び
・同期に関し安全でなく（フレームレートの変化等）、したがって、同期を保持するために、全ての映像ソース１５１、１５２、１５３、及び１５４に一度しか発行することができないか又は全く発行することができないコマンド
に大きく区分することを予見する。
【００３３】
これは、画像センサー及び他のデバイスへのコマンドの配信がほとんどの場合に性質上シリアルで連続しており、全ての映像ソース１５１、１５２、１５３、及び１５４を一度に含むことができないため、問題を呈する。本発明は、全ての映像ソース１５１、１５２、１５３、及び１５４によって共有される共通クロック１７０を、同期に関し安全でないコマンドを連続して配信する前に停止する技法を開示する。共通クロック１７０が停止されている間、マルチタップビデオ結合器１４０は、映像ソース１５１、１５２、１５３、及び１５４のそれぞれに新たな構成をプログラムする。このプロセスが完了し、全ての映像ソース１５１、１５２、１５３、及び１５４が整合した構成を有するときのみ共通クロック１７０が再開される。これは、全ての映像ソース１５１、１５２、１５３、及び１５４に一度にコマンドを発行したのと等しい形で映像ソース１５１、１５２、１５３、及び１５４間の共時性及びそれらの内部状態を保つ効果を有する。そのような解決は、映像ソース１５１、１５２、１５３、及び１５４が、クロックが良くない結果を生じることなく停止及び再開されることを可能にする完全に静的な論理設計を用いることを必要とする。画像センサーのような、最新のＣＭＯＳ映像ソースがこのタイプである。これは本特許に開示されている第２の進歩性である。
【００３４】
ビデオ結合器１４０は、各映像ソース１５１、１５２、１５３、及び１５４の各映像バス１６１、１６２、１６３、及び１６４から映像データをキャプチャし、それをタイミング信号の単一のセット１７３と一緒にバンドルしてマルチタップ映像インタフェース１３０上に擬似マルチタップ映像信号を生成する。これはフレームグラバー１２０に送信され、フレームグラバー１２０は、該擬似マルチタップ映像信号を通常のマルチタップ映像信号として解釈し、該信号は最終的にホストコンピューター１１０に転送される。この形態で受信された映像データは、同期の準保証を有する。各タップは映像ソース１５１、１５２、１５３、及び１５４の出力に対応し、マシンビジョンアプリケーションによって処理するのが便利になる。これは本特許において開示されている第３の進歩性である。
【発明の効果】
【００３５】
このように説明される本発明は、同期化されたマルチビデオを生成するための、より低コストであるが、より高性能の技法を提供する。本システムは実用的であり、一般に入手可能なリソースのみに依拠する。本発明に依拠するステレオビジョン及びマルチビジョンシステムは、小型化のためのはるかに単純化された能力から利益を受けることができる。さらに、本技法は、ビデオデバイスのモード変更にわたってさらに同期を保持する全体論的解決を提示する。最後に、本技法は、同程度の同期を保持しながら、標準インターフェースを介してマルチビデオを送信する新たな方法に役立つ。
【００３６】
本発明の新規な特徴並びに他の態様及び利点は、以下の説明、添付の特許請求の範囲、及び添付の図面に関して、より良好に理解されるであろう。
【図面の簡単な説明】
【００３７】
【図１】本発明を、複数の映像ソース（１５１．．．１５４）の内部状態及びビデオ出力の同期のために利用し、該出力を結合したものをＣａｍｅｒａ−Ｌｉｎｋ（登録商標）のような単一のマルチタップ映像インターフェース１３０を介して送信するために利用するシステムのブロック図である。
【図２】本発明を、２つのカメラ２７０、２８０の内部状態及びビデオ出力のために利用し、該出力を結合したものを単一のＣａｍｅｒａ−Ｌｉｎｋ（登録商標）インターフェース２２１を介して送信するために利用するシステムのブロック図である。
【図３】図２において言及したクロッククロックゲート回路２５１の例示的な実施形態を示す図である。
【図４】図３に示すクロックゲート回路３００の例示的な実施形態の動作及びタイミング挙動を示す図である。
【図５】映像ソースがデジタルカメラである場合に適用可能な、図２に示すビデオコントローラー２２３の挙動のフローチャートである。
【発明を実施するための形態】
【００３８】
電源装置、カメラ光学素子、及び他の必要な映像ソース構成要素は、明確にし、本発明の主な要素により焦点を絞るために、図面及び以下の説明から省かれる。そのようなアイテムの役割は当業者であれば明らかであり、明示的に言及する必要がない。
【００３９】
最も一般に入手可能な映像ソースは、当然ながらカメラである。このため、本発明の実施の最良の形態のために、例としてカメラを用いる。ここで図２の図面を参照すると、本発明の好ましい実施形態を利用するステレオビジョンカメラシステム２００の構造の詳細が示されている。ステレオビジョンカメラシステム２００は、２つのカメラ２７０、２８０、ステレオビジョンビデオ結合器２２０、Ｃａｍｅｒａ−Ｌｉｎｋ（登録商標）ケーブル２１２、Ｃａｍｅｒａ−Ｌｉｎｋ（登録商標）フレームグラバー２１１、及びホストコンピューター２１０を備える。
【００４０】
カメラ２７０、２８０は、全ての点で同一である。左カメラ２７０がマスターとして動作する一方、右カメラ２８０はスレーブとして動作する。この区別は単に、カメラからの出力がビデオ結合器２２０によって処理される上での結果である。各カメラはＣＭＯＳ画像センサー２７１、２８１を備え、ＣＭＯＳ画像センサー２７１、２８１は、フラッシュ同期パルス２７７、２８７を用いてオプションのＬＥＤフラッシュユニット２７２、２８２をトリガーする。画像センサー２７１、２８１は、タイミング信号２７６、２８６を生成し、映像バス２７３、２８３を駆動する一方、クロック２７８、２８８、制御バス２７４、２８４、及びカメラリセット信号２７５、２８５を受け取る。
【００４１】
カメラ２７０、２８０は、高整合性双方向ＬＶＤＳリンク２６１、２６２、２６３、２６４を用いてビデオ結合器２２０に接続される。該リンクは、結合器２２０に向けて映像バス２７３、２８３及びタイミング信号２７６、２８６を搬送し、カメラ２７０、２８０に向けてカメラリセット２３１、２４１及び制御バス２３２、２４２を搬送する。両端のＴＴＬ／ＬＶＤＳ送受信機２６５、２６６、２６７、２６８は、双方向での変換を実行する。
【００４２】
ビデオ結合器２２０は、中でも、共通マスタークロック２５０、クロックゲート回路２５１、対称クロック分配ネットワーク２５２、ビデオコントローラー２２３、チャネルリンク（登録商標）シリアライザー２２２、及びＣａｍｅｒａ−Ｌｉｎｋ（登録商標）インターフェース２２１を含む。チャネルリンク（登録商標）シリアライザー２２２は、２つの映像バス２３０、２４０並びにＣａｍｅｒａ−Ｌｉｎｋ（登録商標）タイミング信号２２４を取り込み、それらを４つの高速差動型シリアルラインにシリアライズする。次に、これらは、Ｃａｍｅｒａ−Ｌｉｎｋ（登録商標）標準規格によって規定されるようにＣａｍｅｒａ−Ｌｉｎｋ（登録商標）インターフェース２２１の各タップ上にマッピングされ、最後にＣａｍｅｒａ−Ｌｉｎｋ（登録商標）ケーブル２１２を介してＣａｍｅｒａ−Ｌｉｎｋ（登録商標）フレームグラバー２１１に送信される。ホストコンピューター２１０は、最終的に、映像データを受信し多重化解除する。
【００４３】
ビデオコントローラー２２３は、クロックゲート回路２５１によって、対称クロック分配ネットワーク２５２を介する、カメラ２７０、２８０への共通マスタークロック２５０の配信を制御する。このクロックゲート回路２５１は、出力にグリッチを一切生じさせることなくクロック２５０を手際よく遮断及び再接続することが可能である。
【００４４】
好ましい実施形態が図３の概略図に示されるクロックゲート回路３００が、入力としてクロック３０１及びクロックイネーブルライン３０２を取り込む。このクロック３０１は、カメラ２７０、２８０によって必要とされる周波数の２倍の周波数を有しなくてはならない。クロックイネーブルライン３０２がロジックローに保持されている場合、ＡＮＤゲートＵ１Ａは、最後に保持された状態を保持する出力ＤフリップフロップＵ３Ｂを分離し、クロック転送を遮断する。クロックイネーブルライン３０２がハイに保持されている場合、ＡＮＤゲートＵ１Ａはクロック３０１を出力ＤフリップフロップＵ３Ｂに中継し、出力ＤフリップフロップＵ３Ｂは周波数を分周し、ちょうど５０％のデューティサイクル出力クロック信号３０３を生成する。ネガティブエッジトリガーされたＤフリップフロップＵ３Ａは、出力ＤフリップフロップＵ３Ｂのセットアップ時間要件を満たす、到来してくるクロック３０１のネガティブエッジにおいて、ＡＮＤゲートＵ１Ａへの選択ラインにおける変更を行う。
【００４５】
ここで図４に示すタイミング図４００を参照すると、クロック信号ＤＳＴＭ１及びクロックイネーブルライン信号ＤＳＴＭ２を供給されたときのクロックゲート回路３００の時間における動作を説明するいくつかの信号が示されている。Ｕ２Ａ：Ｙ出力信号は、ＤフリップフロップＵ３Ａに供給される反転クロックを示している。Ｕ３Ａ：Ｑ出力信号は、再同期化されたクロックイネーブルラインパルスを示している一方、Ｕ１Ａ：Ｙ出力信号は、ゲーティングされたクロックを示している。最後に、Ｕ３Ｂ：Ｑ出力信号は、周波数分周後における、回路のゲーティングされた出力を示している。
【００４６】
図５に示すフローチャート５００を実行するようにプログラミングされた、図２のビデオ結合器２２０に埋め込まれたマイクロコントローラーが、図２に示すビデオコントローラー２２３の好ましい実施形態である。このフローチャート５００は、ここでは図２に示すような本発明のステレオビジョン実施形態２００の観点で説明される。このフローチャート５００は、３つ以上のカメラを伴う他の実施形態にも等しく適用可能である。このフローチャート５００は、起動シーケンス中、及びまたカメラにおいて実行される任意の構成変更中に、同期化されたカメラの挙動が保護されることを確実にするための新規な方法を説明している。
【００４７】
起動５０１の後、コントローラー２２３は遮断の初期化５０２を実行し、これはマイクロコントローラーにおける適切な遮断を有効又は無効にする。次に、Ｉ／Ｏポートが初期化され（５０３）、次にＲＳ２３２ハードウェアポートが初期化され（５０４）、Ｉ２Ｃハードウェアポートが初期化される（５０５）。次に、カメラ２７０、２８０が、専用カメラリセットライン２３１、２４１上にリセットパルスを発行することによってリセットされる（５０６）。この時点で、クロック２５０は２つのカメラ２７０、２８０の初期化５０８、５０９に備えて停止されている。第２のカメラの初期化５０９は第１のカメラの初期化５０８の後に実行されるが、クロック２５０が停止されている（５０７）ため、これは問題を引き起こさない。次に、クロックが再開され（５１０）、Ｃａｍｅｒａ−Ｌｉｎｋ（登録商標）インターフェースが起動される（５１１）。コントローラー２２３は、ＲＳ２３２を介してウェルカムメッセージを送信（５１２）した後、待機状態５１３に入る。この時間中にコマンドが受信される場合、該コマンドは最初に検証され（５１４）、該コマンドが有効であると判明されない場合、コントローラーは該コマンドを廃棄し、待機状態５１３に再び入る。他方で、コマンドが有効である場合、該コマンドは受け取られ、該コマンドが同期に関し安全であるか否かに依拠して分類される（５１５）。該コマンドが同期に関し安全である場合、該コマンドは実行され（５２０）、カメラが更新される（５２１）。
【００４８】
コマンドが同期に安全でない場合、クロックは停止され（５１６）、コマンドが実行され（５１７）、カメラ内の関連レジスタが更新される（５１８）。そして最後に、クロックが再開される（５１９）。
【００４９】
コマンド処理の完了後、ビデオコントローラー２２３は、新たなコマンドを受け取るために待機状態５１３に再び入る。
【００５０】
本発明を実行する他の形態
本発明を実行するいくつかの形態の中で、当業者であれば検討することができる様々な有効な置換え及び代替が存在する。これらには以下が含まれる。
１．ビデオ結合器、ビデオコントローラー、及びＣａｍｅｒａ−Ｌｉｎｋシリアライザーが全て単一のチップ内に集積される集積回路手法。
２．ビデオ結合器、ビデオコントローラー、及びビデオインターフェースシリアライザーが全て、全ての機能を実行する単一のＦＰＧＡ上に集積されるＦＰＧＡ手法。
３．映像ソースのそれぞれがシリアル化されたリンクを通じてビデオ結合器に接続されるシリアル結合されたシステム。
４．ビデオデバイスがそれらのシリアルインターフェースを介して直接電源供給されるシステム。
５．説明したようなシステムであるが、Ｃａｍｅｒａ−Ｌｉｎｋの代わりに、Inova Semiconductors社のＡＰＩＸ（登録商標）又はＧｉｇａ  ＳＴＡＲ（登録商標）若しくはＧｉｇａ  ＳＴＡＲ（登録商標）ＤＤＬのような異なるインターフェースが用いられるシステム。
【産業上の利用可能性】
【００５１】
自動車用途は、本発明から最も利益を受ける可能性が高い最初の領域に含まれている。今後の車両には、最大２０個のマシンビジョンカメラが含まれるであろう。特に、車両内で複数のカメラを利用して、安全、快適性、及びセキュリティのために車両ＨＭＩを拡張することへの関心が急激に増大している。
【００５２】
自動車用途を完全に列挙するものではないが、乗員検出、乗員分類、運転者の番及び傾眠モニタリング、路面状態モニタリング、車線逸脱警告、死角警告、衝突の警告、軽減、又は回避、車両セキュリティ、駐車支援、交通標識検出、適応走行制御、及び暗視が含まれる。
【００５３】
これらの用途のうちのいくつかは、視野を拡張して多様性及び耐久性を増大させる（光の遮蔽を緩和することによる）か、又は立体深度推定を可能にするために、連携して動作するカメラのステレオビジョン又はマルチビジョンのセットを用いることを伴う。これらの用途の多くは、高速ビジョンにも高度に依拠する。最も厳しい課題を提示するのは高速ビジョン及び正確な同期の組み合わせであり、本発明はこれを解決しようとするものである。
【００５４】
加えて、そのような用途においてＣａｍｅｒａ−Ｌｉｎｋ（登録商標）を用いることによって、同期化されたマルチビデオの送信中の高性能が保証される。本発明の好ましい実施形態の範囲内で、単一のＣａｍｅｒａ−Ｌｉｎｋ（登録商標）インターフェースはいくつかのカメラからビデオを同時に転送することができ、その結果、必要とされるケーブルの量、コスト、及び重量が大幅に節減される一方、依然として高レベルの共時性が保証される。
【符号の説明】
【００５５】
図１の参照符号
１００  本発明の全体最上位図
１１０  ホストコンピューター
１２０  フレームグラバー
１３０  マルチタップ映像インターフェース
１４０  マルチタップビデオ結合器
１５１  第１の映像ソース
１５２  第２の映像ソース
１５３  第３の映像ソース
１５４  第Ｎの映像ソース
１６１  第１の映像バス
１６２  第２の映像バス
１６３  第３の映像バス
１６４  第Ｎの映像バス
１７０  共通クロック
１７１  制御バス
１７２  クロック分配ネットワーク
１７３  マルチビジョンシステムにおける映像ソースのうちの任意の１つから生じるタイミング信号
図２の参照符号
２００  ２つのカメラを用いる最良の形態の実施形態
２１０  ホストコンピューターシステム（ＰＣとすることができる）
２１１  Ｃａｍｅｒａ−Ｌｉｎｋフレームグラバー
２１２  Ｃａｍｅｒａ−Ｌｉｎｋインターフェースケーブル
２２０  ステレオビジョンビデオ結合器
２２１  ビデオ結合器におけるＣａｍｅｒａ−Ｌｉｎｋインターフェース
２２２  チャネルリンクシリアライザー
２２３  ビデオコントローラー（マイクロプロセッサとすることができる）
２２４  マスターカメラのタイミング信号
２３０  カメラ１からの映像バス
２３１  カメラ１へのカメラリセットライン
２３２  カメラ１へのＩ２Ｃ制御バス
２４０  カメラ２からの映像バス
２４１  カメラ２へのカメラリセットライン
２４２  カメラ２へのＩ２Ｃ制御バス
２５０  共通マスタークロック
２５１  クロックゲート回路
２５２  クロック分配ネットワーク
２６１  カメラ１への電力及び制御接続
２６２  カメラ２への電力及び制御接続
２６３  カメラ１からの映像データ及び同期接続
２６４  カメラ２からの映像データ及び同期接続
２６５  カメラ１用のＴＴＬ／ＬＶＤＳ送受信機
２６６  カメラ２用のＴＴＬ／ＬＶＤＳ送受信機
２６７  カメラ１上のＴＴＬ／ＬＶＤＳ送受信機
２６８  カメラ２上のＴＴＬ／ＬＶＤＳ送受信機
２７０  カメラモジュール１
２７１  カメラ１における画像センサー
２７２  カメラ１におけるＬＥＤフラッシュモジュール
２７３  カメラ１における映像バス
２７４  カメラ１におけるＩ２Ｃ制御バス
２７５  カメラ１におけるカメラリセットライン
２７６  カメラ１における同期信号
２７７  カメラ１におけるフラッシュ同期ライン
２７８  カメラ１におけるセンサークロック
２８０  カメラモジュール２
２８１  カメラ２における画像センサー
２８２  カメラ２におけるＬＥＤフラッシュモジュール
２８３  カメラ２における映像バス
２８４  カメラ２におけるＩ２Ｃ制御バス
２８５  カメラ２におけるカメラリセットライン
２８６  カメラ２における同期信号
２８７  カメラ２におけるフラッシュ同期ライン
２８８  カメラ２におけるセンサークロック
図３の参照符号
３００  クロックゲート回路の好ましい実施形態
３０１  クロック入力
３０２  クロックイネーブル入力
３０３  クロック出力
Ｕ１Ａ  「ＡＮＤ」論理ゲート
Ｕ２Ａ  インバーター論理ゲート
Ｕ３Ａ  Ｄタイプフリップフロップ１
Ｕ３Ｂ  Ｄタイプフリップフロップ２
図４の参照符号
４００  クロックゲート回路タイミング図
ＤＳＴＭ１  試験刺激：クロック信号
ＤＳＴＭ２  試験刺激：クロックイネーブルライン信号
Ｕ２Ａ：Ｙ  インバーター論理ゲート出力信号
Ｕ３Ａ：Ｑ  Ｄタイプフリップフロップ出力信号
Ｕ１Ａ：Ｙ  「ＡＮＤ」論理ゲート出力信号
Ｕ３Ｂ：Ｑ  Ｄタイプフリップフロップ出力信号
図５の参照符号
５００  クロックを凍結させたプログラミングフローチャート
５０１  起動プロセスブロック
５０２  遮断を初期化するプロセスブロック
５０３  Ｉ／Ｏポートを初期化するプロセスブロック
５０４  ＲＳ２３２ハードウェアを初期化するプロセスブロック
５０５  Ｉ２Ｃハードウェアを初期化するプロセスブロック
５０６  カメラをリセットするプロセスブロック
５０７  マスタークロックを停止するプロセスブロック
５０８  カメラ１を初期化するプロセスブロック
５０９  カメラ２を初期化するプロセスブロック
５１０  マスタークロックを再開するプロセスブロック
５１１  Ｃａｍｅｒａ−Ｌｉｎｋ（登録商標）インターフェースを起動するプロセスブロック
５１２  ＲＳ２３２上でウェルカムメッセージを送信する
５１３  新たなコマンドを待つ
５１４  有効なコマンドを受信したか？の判定ブロック
５１５  コマンドが同期に安全であるか？の判定ブロック
５１６  マスタークロックを停止するプロセスブロック
５１７  コマンドを実行するプロセスブロック
５１８  関連カメラを更新するプロセスブロック
５１９  マスタークロックを再開するプロセスブロック
５２０  コマンドを実行するプロセスブロック
５２１  関連カメラを更新するプロセスブロック
【００５６】
引用リスト
特許文献
米国特許第５３０７１６８号（SONY ELECTRONICS INC.社）１９９４年４月２６日
米国特許第５９０３３０８号（ULTRAK INC.社）１９９９年５月１１日
米国特許第５９９５１４０号（ULTRAK INC.社）１９９９年１１月３０日
米国特許第６３４０９９１号（AT&T CORP．社）２００２年１月２２日
米国特許第７４１１６０４号（DEUTSCHETELEKOMAG社）２００８年８月１２日
米国特許第７５１１７６４号（クーパー・アラン・ニール（COOPER ALAN NEAL）、フリッツ・クリストファー・マイケル（FRITZ CHRISTOPHER MICHAEL）、エクスナー・ジェームス・ウォルター（EXNER JAMES WALTER））２００９年３月３１日
非特許文献
ＡＩＡ．Ｃａｍｅｒａ−Ｌｉｎｋ（登録商標）標準規格１．２版（自動イメージング協会（The Automated Imaging Association）、２００６年）
ルーマン他「ステレオビームスプリッティングを用いた同期３Ｄ高速カメラ（Synchronous 3-D High-Speed Camera with Stereo-Beam Splitting）」(センサー２００５会議（SENSOR 2005 Conference）、ニュルンベルク、２００５年)
リン、チャン・ハン他「分散カメラシステムのためのクロック同期における事例研究（A case study in clock synchronization for distributed camera systems）」（ＩＥＥＥ会議録: ０２７７−７８６Ｘ。２００５年３月、第５６８３巻、第１号、１６４頁〜１７４頁）
ランポート、レスリー「分散システムにおける時間、クロック、及び事象順序（Time, clocks, and the ordering of events in a distributed system）」（Communications of the ACM：０００１−０７８２。１９７８年７月、第２１巻、第７号、５５８頁〜５６５頁）
リン、チャン・ハン「分散リアルタイムカメラシステムの設計及び実装（Design and implementation of distributed real-time camera systems）」（博士版、ウォルフ（WOLF）、ウェイン  Ｈ（Wayne  Ｈ）編、ニュージャージー、０８５４４、ＵＳＡ、プリンストン大学、２００７年、１９２頁）
【００５７】
本発明の様々な実施形態は、多種多様なステレオビジョン及びマルチビジョンイメージング用途において有用である。本発明の方法及び装置の好ましい実施形態は添付の図面に図示され、上記の詳細な説明において説明された。しかしながら、本発明は開示される特定の実施形態には限定されず、本発明の領域から逸脱することなく、当業者による多数の再配置、変更、置換えが可能である。全てのそのような変更及び変形は、以下の特許請求の範囲によって規定される場合、本発明の範囲内にあると見なされる。
【図１】
0005512683.tif 000002
【図２】
0005512683.tif 000003
【図３】
0005512683.tif 000004
【図４】
0005512683.tif 000005
【図５】
0005512683.tif 000006