(57)【特許請求の範囲】
【請求項１】
リアルタイムの状態認識システムであって、
対象領域の重なり合い部分の複数のビデオストリームを獲得する複数のカメラと、
単一ビデオストリームの連続画像での光学フローを一時的に分析して運動フィールドを生成するための手段と、
複数のビデオストリームの隣接画像を空間的に記録して深度画像を得るための手段と、
運動フィールドと深度画像とを分割して、これらの相関を利用して対象物の大きさ、位置、速度、３次元空間の対象物の運動方向の少なくとも１つを含む部分的に属性をもつデータ対象物を生成するための手段と、
対象物が属する分野に関するテンプレートからなる用途特定データを備えた用途特定データベースを用いて、かつテンプレート照合を使用して、部分的に属性をもつデータ対象物を分析して、完全な属性をもつデータ対象物と事象とを生成する手段と、
複数のビデオストリームを分類されたデータ対象物と事象とにした後に複数のビデオストリームを廃棄する手段と、
完全な属性をもつデータ対象物と事象とを対象領域を示す注釈付きのグラフィック要素と警報として出力装置上に再現するための合成器手段と、
を備えたことを特徴とする状態認識システム。
【請求項２】
前記部分的に属性をもつデータ対象物の分析に２次データと信号とを供給するセンサをさらに備えることを特徴とする請求項１に記載の状態認識システム。
【請求項３】
前記合成器手段が、カメラの観測点にほぼ直角の観測点を有する表示を生成することを特徴とする請求項１に記載の状態認識システム。
【請求項４】
前記対象領域がパノラマ光景であることを特徴とする請求項１に記載の状態認識システム。
【請求項５】
前記グラフィック要素の注釈が運動方向を含むことを特徴とする請求項１に記載の状態認識システム。
【請求項６】
ユーザ制御信号が表示の観測点の方向付けを決定することを特徴とする請求項３に記載の状態認識システム。
【請求項７】
状態認識表示生成方法であって、
対象領域の重なり合い部分の複数のビデオストリームを獲得するステップと、
単一ビデオストリームの連続画像での光学フローを一時的に分析して運動フィールドを生成するステップと、
複数のビデオストリームの隣接した画像を空間的に記録して深度画像を得るステップと、
運動フィールドと深度画像とを分割して、これらの相関を利用して対象物の大きさ、位置、速度、３次元空間の対象物の運動方向の少なくとも１つを含む部分的に属性をもつデータ対象物を生成するステップと、
対象物が属する分野に関するテンプレートからなる用途特定データを備えた用途特定データベースを用いて、かつテンプレート照合を使用して、部分的に属性をもつデータ対象物を分析して、完全な属性をもつデータ対象物と事象とを生成するステップと、
複数のビデオストリームを分類されたデータ対象物と事象とにした後に複数のビデオストリームを廃棄するステップと、
完全な属性をもつデータ対象物と事象とを対象領域を示す注釈付きのグラフィック要素と警報として出力装置上に再現するステップと、
を備えることを特徴とする状態認識表示生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、概して、様々の位置に装着された複数のカメラから導かれる合成表示を実施する監視システムに関し、より詳しくは、観察された特別な状態について観察者を警戒させる状態認識システムおよび状態認識表示生成方法に関する。
【０００２】
【従来の技術】
ビデオ監視システムは周知である。車両の場合、複数の型式の監視システムが使用されている。ある車両、例えばバスは、運転者がバスの横または後ろの道路領域を観測できるように装着されたカメラを有する。しかし、典型的に１台のカメラがあるのみで、またディスプレはカメラが見るものを正確に示すのみである。表示された画像を分析する試みは行われない。単に、これらのシステムは見ることが困難な領域の観測ミラーとして機能する。同様に、法執行車両(パトカー等)はフロントウィンドウから観測の経過記録を捕捉することが可能である。
【０００３】
コンピュータ制御車両のような幾つかの車両はセンサも含む。センサは、他の車両への急速な接近のような潜在的に危険な状態を検出する。種々のセンサ、例えば音波探知機、レーザおよびマイクロウェーブが使用されてきた。これらのシステムは全般的な状態表示を提供せず、むしろ少数の危険な状態を検出するのみである。
【０００４】
レーダと音波探知機システムは状態表示を行い、また例えば航空交通管制システムのように時々ある程度の分析を行う。しかし、レーダと音波探知機システムはビデオ画像に基づかす、むしろ特定の周波数で伝送される反射信号の処理に基づいている。
【０００５】
幾つかの型式の監視システムが知られている。典型的に、システムは多数のビデオストリームを中央施設に送る。ビデオストリームは対応するモニタ上に表示することができる。カメラの数が表示ステーションの数よりも多ければ、通常、システムは逐次または操作者の要求によりカメラ観測を表示する。これらの型式のシステムは分析も実行しないし、またこれらのシステムは多数のストリームを単一の状態表示に合体もしない。せいぜい、これらのシステムは、単一のスクリーン上に多数の無関係の図面を時間と位置の注釈を付けて貼り付けるに過ぎない。
【０００６】
また、特定の状態の発生を確認するために、エスカレータ、エレベータ、料金ゲート、銀行機械および周囲フェンスのような特定の位置を監視するシステムがある。これらのシステムのあるものは、例えばプレートナンバを抽出するべく移動対象物を検出するために、ビデオ分析の試みが可能である。しかし、典型的に、これらのシステムは多数のソースからの情報を組み合わせず、また全体的な状態ディスプレイを生成もしないし、また異なった観測点から画像も合成しない。
【０００７】
【発明が解決しようとする課題】
以上のように従来のこの種のシステムでは、一般的にカメラが見るものを正確に示すのみで、観測点の異なる多数のソースからの合成された情報に基づく全体的な状態の画像は得ることができなかった。
【０００８】
この発明は、上記のような課題を解消するためになされたもので、対象領域の重なり合う複数のカメラの合成画像を獲得し、対象領域内の移動対象物等の特性と事象とを識別し、合体された逐次画像と識別された移動対象物に関連した情報を再現し、また警報も発することのできる状態認識システムおよび状態認識表示生成方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的に鑑み、この発明は、リアルタイムの状態認識システムであって、対象領域の重なり合い部分の複数のビデオストリームを獲得する複数のカメラと、単一ビデオストリームの連続画像での光学フローを一時的に分析して運動フィールドを生成するための手段と、複数のビデオストリームの隣接画像を空間的に記録して深度画像を得るための手段と、運動フィールドと深度画像とを分割して、これらの相関を利用して対象物の大きさ、位置、速度、３次元空間の対象物の運動方向の少なくとも１つを含む部分的に属性をもつデータ対象物を生成するための手段と、対象物が属する分野に関するテンプレートからなる用途特定データを備えた用途特定データベースを用いて、かつテンプレート照合を使用して、部分的に属性をもつデータ対象物を分析して、完全な属性をもつデータ対象物と事象とを生成する手段と、複数のビデオストリームを分類されたデータ対象物と事象とにした後に複数のビデオストリームを廃棄する手段と、完全な属性をもつデータ対象物と事象とを対象領域を示す注釈付きのグラフィック要素と警報として出力装置上に再現するための合成器手段と、を備えたことを特徴とする状態認識システムにある。
また、状態認識表示生成方法であって、対象領域の重なり合い部分の複数のビデオストリームを獲得するステップと、単一ビデオストリームの連続画像での光学フローを一時的に分析して運動フィールドを生成するステップと、複数のビデオストリームの隣接した画像を空間的に記録して深度画像を得るステップと、運動フィールドと深度画像とを分割して、これらの相関を利用して対象物の大きさ、位置、速度、３次元空間の対象物の運動方向の少なくとも１つを含む部分的に属性をもつデータ対象物を生成するステップと、対象物が属する分野に関するテンプレートからなる用途特定データを備えた用途特定データベースを用いて、かつテンプレート照合を使用して、部分的に属性をもつデータ対象物を分析して、完全な属性をもつデータ対象物と事象とを生成するステップと、複数のビデオストリームを分類されたデータ対象物と事象とにした後に複数のビデオストリームを廃棄するステップと、完全な属性をもつデータ対象物と事象とを対象領域を示す注釈付きのグラフィック要素と警報として出力装置上に再現するステップと、を備えることを特徴とする状態認識表示生成方法にある。
【００２０】
本発明は複数のカメラを含む状態認識システムを提供する。各カメラは対象領域の重なり合い部分の一連の逐次画像を獲得する。分析器は、複数のカメラによって獲得された逐次画像を合体し、また対象領域の移動対象物を識別する。表示装置は、合体された逐次画像と、識別された移動対象物に関連した情報とを表示する。
【００２１】
本発明の１つの観点では、単一ビデオストリームの一時的な連続画像の光学フローは、運動フィールドを生成するために分析される。多数のビデオストリームの空間的に隣接した画像は深度画像を得るために記録される。運動フィールドと深度画像は、部分的に属性をもつデータ対象物を生成するために分割される。用途特定データベースと分析とを用いて、部分的に属性をもつデータ対象物は完全な属性をもつデータ対象物と、注釈付きのグラフィック要素と警報として表示される事象とに転換される。本発明の１つの特徴として、ディスプレイの観測方向はカメラの観測点とは無関係である。
【００２２】
【発明の実施の形態】
システムの概要
図１は本発明の一実施の形態による状態認識システム１００を示している。システム１００は多数のビデオカメラ１０１〜１０６を含む。各カメラはビデオストリーム１１５として一連の逐次画像を獲得する。６台のカメラが示され、より少数またはより多くのカメラを使用することができる。カメラの故障または障害の場合の予備のために追加のカメラを設けることができる。カメラは、車両の周囲の対象領域の３６０°の完全な視界を得るように配設することができる。
【００２３】
他の用途については、より小さな視界が適切である。深度情報を抽出するために立体(双眼)技術を利用できるように、各カメラによって提供される画像は対象領域の部分に重なり合う。カメラの数を増やすことなく重なり合いの量を増加するために、広角レンズを使用することができる。
【００２４】
カメラの出力、デジタル化されたビデオストリーム１１５は分析器／合成器２００に接続される。分析器／合成器２００は、本発明によれば、ビデオストリームを分析し、また出力装置１２０に合成表示３００を生成する。
【００２５】
システム動作
操作システムでは、カメラは、例えば図１の破線で示した車両１３０に装着することができる。またカメラは、対象領域(概して１２５)、すなわち種々のレンズの前の領域を観察するために、他の固定または移動位置に配置することもできる。
【００２６】
分析器／合成器２００はリアルタイムで多数のビデオストリームのデータに基づき動作する。分析器部分は、対象物と、大きさ、位置および速度のような対象物の特性とを識別するためにビデオストリームから時間および空間データを抽出する。さらに、識別された対象物、例えば交差経路の２台の車両の間の関係が決定される。換言すれば、ビデオストリームは属性をもつ対象物の関係に還元される。属性をもつ対象物は、事象、例えば起こりうる衝突または危険領域を検出するために分析される。合成器部分は、属性をもつ対象物の関係の状態認識表示３００を生成し、また事象に関する任意の警報を行う。
【００２７】
本発明によれば、状態認識表示３００は完全に合成である。従来技術と対照的に、ビデオストリーム１１５はその分析後に廃棄される。さらに、合成器は多数のビデオストリームから抽出された情報を単一表示３００に統合する。さらに、ある危険な状態または事象が認識された場合、警報信号１４０を生成することが可能である。警報信号は表示するか、またはある他のベル等の出力装置１５０に供給することができる。別の実施の形態では、警報信号１４０は、回避的な衝突防止動作、例えばブレーキまたは減速を開始することができる。
【００２８】
合成器／分析器
図２に示したように、多数のカメラ１０１−１０６からのビデオストリーム１１５は、もし必要ならばＡ／Ｄ変換器を介して、デジタルビデオデータ２０１として分析器／合成器２００に供給される。時間および空間情報はデジタルビデオデータ２０１から抽出される。
【００２９】
光学フロー分析２１０は、時間分離された(△ｔ)画像から、例えば単一ビデオシーケンスの連続フレームの運動フィールドから運動フィールド２１１を決定するために使用される。
【００３０】
画像記録２２０は、例えば多数のカメラによって対象領域の重なり合い部分から得られたフレームを使用して、空間(Δｘ、Δｙ)が重なり合っている画像から深度画像２２１を決定するために使用される。深度画像は画像の各画素に距離(Δｚ)を指定する。
【００３１】
運動フィールドと深度画像は、部分的に属性をもつデータ対象物２３１を生成するために分割される。例えば、同一深度の同一の光学フローを有する画素は、同一の対象物と関係がある可能性が高い。光学フローと距離の両方を用いることによって、特にフロー分析が記録と同時に行われた場合、確実な分割が提供され、この結果導かれた結果(運動フィールドと深度値)は互いに相関する(２１５)。
【００３２】
部分的な特性は、大きさ、位置、速度、３次元空間の対象物の運動方向を含むことができる。対象物の正確な同一性のようなさらなる知識に依存する他の特性はまだ決定されないので、対象物は部分的にのみ属性をもつ。
【００３３】
部分的に属性をもつデータ対象物２３１は、用途特定データベース２３９と関連して分析２４０され、完全な属性をもつデータ対象物２４１と事象２４２とを生成することができる。例えば、セミトレーラの片側の観測は対象物の形状全体を推論するのに十分である。他の車両、歩行者、自転車、トラック等のような普通に見られる特定の対象物を完全に識別するために、種々のテンプレート照合案を用いることができる。車両用途では、特徴物はレーン白線、歩道、一時停止標識、ガードレール、縁石、建物、フェンス等も含むことが可能である。
【００３４】
分類された対象物の間の関係、例えば衝突発生の可能性、道路から逸脱する車または消光状態の間の関係を分析することによって事象２４２を生成することができる。追加のセンサ２４９を使用して、検出できる事象の数を多くすることができる。
【００３５】
合成器２５０は、完全な属性をもつデータ対象物２４１を注釈付きのグラフィック要素(アイコン)２５１と、警報２５２とに転換する。最後の実行２６０はグラフィック要素２５１と警報２５２とを与える。
【００３６】
ディスプレイ
多くの異なった型式の状態表示が可能である。図３のディスプレ３００は、固定方向付けでディスプレ中心の近くに配置された車両３１０に関する対象領域の鳥観図を示し、状態認識システムは車両の上に装着され、また注釈付きの対象物は観測点に関して動く。景色は完全合成であり、またカメラが見る景色に直角であることに留意。
【００３７】
歩行者レーン(横断歩道)３２０、建物３３０、他の交通車両３４０、自転車３５０等のようなある他の像特徴物が同様に示されている。
【００３８】
矢印３０１は静止していない対象物の運動方向を示すことができる。矢印の方向付けの決定には、従来技術で行われているようなカメラ出力の受動表示と対照的に能動分析が必要である。
【００３９】
十分な周囲光を確保できない対象領域では、能動照明を含めることによって本発明を展開することができる。ある状態では、能動照明を必要とすることなく暗やみで見るためか、あるいは不快でない能動照明として赤外線を使用することが有効である。視界が悪い霧のような状態では、本発明は、関係対象物に焦点合わせして他の散乱光を拒否するように、慎重に選択した波長またはカメラのシャッタに同期させたストロボ光源によって操作することができる。
【００４０】
本発明の１つの実施の形態では、分析２４０で２次データ２３８を受けることができる。車両用途では、データはＧＰＳ受信機から得られるような車速または位置を含むことができる。車両の速度によって、分析を改良し、また単純化することができる。位置データによって、ディスプレ上の地図および実際の道路と地名の使用が可能になる。
【００４１】
もう１つの実施の形態では、ディスプレ３００はユーザによって制御される。例えば建物監視用途では、ユーザは、注釈付きのグラフィック要素および警報の表示方法を変更するか、または観測点の方向付けを変更するために制御信号２３９を供給する。遠隔地点に警報とグラフィック要素とを伝送することも可能である。例えば駐車車両に向かって歩く間に、運転者は、安全な位置から、ポータブル表示装置上に車両の近傍の対象領域を観測することができる。
【００４２】
さらに、多数の車両は、表示範囲を大きくするために互いに状態情報を交換することができる。本発明を使用できる他の領域は空港、水路および類似物を含む。
【００４３】
本発明は特定の用語と実例を使用して説明している。本発明の精神と範囲内で種々の他の適合と修正とを行うことが可能であることが理解される。したがって、本発明の真の精神と範囲に含まれるようなこのようなすべての変更と修正を網羅することが添付請求項の目的である。
【００４４】
【発明の効果】
以上のようにこの発明による状態認識システムおよび状態認識表示生成方法よれば、対象領域の重なり合い部分の複数のビデオストリームを獲得し、複数のビデオストリームを分類されたデータ対象物と事象とにし、属性をもつデータ対象物と事象とを注釈付きのグラフィック要素と警報として出力装置上に再現するようにしたので、観測点の異なる多数のソースからの合成された情報に基づく全体的な状態の画像を得ることができる。
【図面の簡単な説明】
【図１】  本発明の一実施の形態による状態認識システムの構成を示すブロック図である。
【図２】  図１のシステムの分析器／合成器の構成を示すブロック図である。
【図３】  図１のシステムによって生成される実例の合成画像である。
【符号の説明】
１００  状態認識システム、１０１〜１０６  ビデオカメラ、１１５  ビデオストリーム、１２０  出力装置、１２５  対象領域、１４０  警報信号、２００分析器／合成器、２０１  デジタルビデオデータ、２１０  光学フロー分析、２１１  運動フィールド、２２０  画像記録、２２１  深度画像、２３１  部分的に属性をもつデータ対象物、２３８  ２次データ、２３９  用途特定データベース、２４０  分析、２４１  完全な属性をもつデータ対象物、２４２  事象、２４９  センサ、２５０  合成、２５１  注釈付アイコン、２５２  警報、２６０  実行、３００  ディスプレ、３１０  車両、３２０  歩行者レーン、３３０建物、３４０  他の交通車両、３５０  自転車。
【図１】
0003876288.tif 000002
【図２】
0003876288.tif 000003
【図３】
0003876288.tif 000004