(57)【要約】  本発明は、光学的に歪んだ画像を記録するための画像記録ユニットと、光学的に歪んだ画像として前に記録された画像を歪みのない画像として再生する再生ユニットへ、画像記録ユニットから画像情報を送信するための送信ユニットと、を含む監視システムに関する。本発明によれば、送信ユニットは、歪んだ画像の画像細部を送信するように、かつ画像細部の回復を可能にする追加情報を同時に送信し、それによって、再生ユニットにおける回復を可能にするように構成される。
2010521844.tif 000002
【特許請求の範囲】
【請求項１】
光学的に歪んだ画像を記録するための画像記録手段を有し、かつ光学歪みを伴って記録された前記画像の画像細部を歪みのない形態で再生する再生手段へ、前記画像記録手段から画像情報を送信するための送信手段を有する監視システムであって、
前記送信手段が、歪んだ画像の細部の送信のために、かつ画像細部の歪みを補正できるようにする追加情報を一緒に送信して、前記再生手段における歪み補正を可能にするために設計されることを特徴とする監視システム。
【請求項２】
前記画像記録手段が、アドレス可能画像センサ、好ましくは、列ごとおよび／または行ごとにアドレスできる画像記録センサ、特にＣＭＯＳセンサを有することを特徴とする、請求項１に記載の監視システム。
【請求項３】
前記画像記録手段が、光学的に歪んだ画像のデジタル記録のために設計されることを特徴とする、請求項１または２に記載の監視システム。
【請求項４】
前記画像記録手段が、特に９０°を超える視角を備えた少なくとも１つの広角対物レンズ、特に魚眼対物レンズを装備していることを特徴とする、請求項１〜３のいずれか一項に記載の監視システム。
【請求項５】
前記画像記録手段が、特に、≧１Ｈｚ、好ましくは≧５Ｈｚ、特に好ましくは≧１０Ｈｚの画像繰り返し周波数で、移動画像を繰り返し記録するように設計されることを特徴とする、請求項１〜４のいずれか一項に記載の監視システム。
【請求項６】
前記画像記録手段が、高解像度画像のデジタル記録用に、好ましくは少なくとも（１、２）、特に好ましくは少なくとも３メガピクセルを備えていることを特徴とする、請求項１〜５のいずれか一項に記載の監視システム。
【請求項７】
前記送信手段が、制限された帯域幅のチャネル、特にＬＡＮ、ＷＬＡＮを介して、または無線によって、例えばブルートゥース、ＵＭＴＳ、ＧＳＭを介して画像情報を送信するように設計されることを特徴とする、請求項１〜６のいずれか一項に記載の監視システム。
【請求項８】
前記送信手段が、前記画像記録手段からの圧縮画像情報の送信用に設計されることを特徴とする、請求項１〜７のいずれか一項に記載の監視システム。
【請求項９】
前記再生手段に、モニタ、特に、制御センタ、好ましくは、２つ以上の画像記録手段からの画像を監視するための制御センタにおけるコンピュータモニタが設けられることを特徴とする、請求項１〜８のいずれか一項に記載の監視システム。
【請求項１０】
前記送信された画像情報および画像細部の歪みを補正できるようにする前記追加情報の記憶および／もしくは保護のための、または歪みが補正された画像の記憶のための記憶手段が、前記送信手段と前記再生手段との間に設けられることを特徴とする、請求項１〜９のいずれか一項に記載の監視システム。
【請求項１１】
特に、前記画像記録手段への制御情報の送信のために、特に、前記再生手段において定義されたＰＴＺパラメータおよび／または画像細部の定義のために、双方向通信が、前記送信手段を介して提供されることを特徴とする、請求項１〜１０のいずれか一項に記載の監視システム。
【請求項１２】
画像細部を示す特有の変数が、前記送信手段を介して、前記再生手段、例えば制御センタから、前記画像記録手段に送信されることを特徴とする、請求項１〜１１のいずれか一項に記載の監視システム。
【請求項１３】
前記送信手段が、歪んだ画像、特に圧縮画像データストリーム間における差の圧縮送信のために設計され、これらの差が、連続的に取得された画像間の減算によって得られることを特徴とする、請求項１〜１２のいずれか一項に記載の監視システム。
【請求項１４】
前記送信手段が、同一の画像記録手段からの複数の画像細部の同時送信用に設計されることを特徴とする、請求項１〜１３のいずれか一項に記載の監視システム。
【請求項１５】
前記送信手段が、前記全体画像における前記画像細部の位置を特徴づける変数を一緒に送信するために設計されることを特徴とする、請求項１〜１４のいずれか一項に記載の監視システム。
【請求項１６】
前記送信手段が、セクタの形態における画像細部および／または矩形画像細部の送信用に設計されることを特徴とする、請求項１〜１５のいずれか一項に記載の監視システム。
【請求項１７】
請求項１〜１６のいずれか一項に記載の監視システムの一部としての画像再生手段。
【請求項１８】
請求項１〜１７のいずれか一項に記載の監視システム用のドライバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、前文において権利請求されることに関し、したがってカメラによる特定エリアの監視を扱う。
【背景技術】
【０００２】
今日、監視カメラは、比較的広範囲に用いられている。この場合に、一般に、特定エリアの監視用に用いなければならないカメラの数をできるだけ少なく維持することが望ましい。この場合に、監視は、大きな空間エリアを満遍なくうまくカバーできるようにすべきことが多く、また、特定の重要エリアにおける高解像度画像が、利用可能でなければならない。ここで例として、空港または鉄道の駅に言及してもよく、これらでは、大きなエリアの監視が必要とされるが、しかし、次に、例えば顔を認識しかつ恐らくは識別することが可能な十分な高解像度で、監視サービスが疑わしいと考える個々の人物を記録することが可能でなければならない。また、類似の状況が、デパートなどの他の典型的な公共空間において生じる。
【０００３】
第１に、次のことが提案された。すなわち、監視システムが、特定の方向を見るためにチルトおよびパンすることができるカメラであって、同時に、監視されているエリアをより高い解像度で記録できるようにするためにズームを有するカメラを装備するように提案された。しかしながら、これが意味するのは、カメラが、チルトおよびズーム制御用のモータを装備しなければならず、これによって、システムが、重く、高価で、信頼できないものにされるということである。
【０００４】
したがって、高解像度センサを用いること、およびこのセンサを用い、広角または魚眼対物レンズによって非常に大きなエリアを記録することが既に提案されている。この場合に用いられる画像センサの高解像度によって、記録画像においてパンすることおよび細部をデジタルで拡大することが可能になる。カメラの典型的なパニング、チルトおよびズーム動作は、通常、ＰＴＺ制御（パン、チルトおよびズーム制御）と呼ばれるが、先行技術においてソフトウェアで、それ相応に既に実装されている。
【０００５】
しかしながら、この場合に、１つの最初の問題は、広角対物レンズ、特に魚眼対物レンズが、非常に歪んだ画像を生成することである。しかしながら、原則として、光学歪みの公知の形状に関して、歪みを補正することが可能である。適切なアルゴリズムが公知である。
【０００６】
また、歪んだ形状で記録された画像を制御センタに送信することが、先行技術から公知である。次に、ソフトウェアＰＴＺ画像エリア選択を制御センタで実行することができ、レンズ形状が知られている場合には、歪み補正を実行することができる。しかしながら、これには、非常に多量のデータを処理しなければならず、したがって、適切な送信、および計算の複雑さを必要とするという欠点がある。この問題を回避するために、歪んだ細部だけを送信することが既に提案されている。しかしながら、この場合には、歪み補正は、もはやできない。特に、細部の識別を可能にするために細部が送信されるという事実を念頭に置くと、これは、しかしながら、特に画像エッジ領域において極めて不十分である。
【０００７】
わずかな労力で監視が可能な監視システムを規定することが望ましいであろう。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、産業的利用のために新規なものを提供することである。
【課題を解決するための手段】
【０００９】
この目的の達成は、独立請求項の形式で権利請求される。好ましい実施形態は、従属請求項に見出すことができる。
【００１０】
したがって、第１に、本発明は、光学的に歪んだ画像を記録するための画像記録手段を有し、かつ光学歪みを伴って記録された画像の画像細部を歪みのない形態で再生する再生手段へ、画像記録手段から画像情報を送信するための送信手段を有する監視システムを提案するが、この場合に、本発明は、送信手段が、歪んだ画像の細部の送信のために、かつ画像細部の歪みを補正できるようにする追加情報を一緒に送信して、再生手段における歪み補正を可能にするために設計されることを規定する。
【００１１】
したがって、１つの大きな発見は、カメラにおいて画像の歪みを完全に補正し、次に、この画像を完全に送信する必要がもはやないと考えることができる。実際に、送信される画像細部の情報の他に、少量の追加的な送信の複雑さがあるだけで、カメラまたは画像記録手段から遠く離れて歪み補正を実行することが可能である。
【００１２】
一方では、これによって、かなり小さくした計算能力をカメラに装備することが可能になる。さらに、送信用に必要な送信速度または帯域幅をかなり低減することが可能である。
【００１３】
したがって、これは、それ自体で、多くの場合に全体的な省エネルギに帰着する。なぜなら、歪み補正は、計算集約的、したがってエネルギ集約的プロセスであり、かつ画像または画像細部は、永続的に見る必要はなく、ドキュメンテーション用にのみ監視カメラから記録されることが多いからである。したがって、歪み補正を受けなかった画像は、いかなる欠点もなく伝達することができ、かつこれらの歪み補正されていない画像は、いかなる特定の出来事もなく通常の方法で前と同じように削除できるので、これによって、少なからぬ量の計算の複雑さを省くことが可能になる一方で、同時に、画像細部の歪み補正を可能にする追加情報を一緒に送信することによって、必要に応じて、確実に画像歪みを補正できる。
【００１４】
１つの特定の好ましい変形において、画像記録手段は、アドレス可能画像センサ、すなわち、１つまたは複数の個別画素を別個にアドレスできる画像センサを有する。これによって、一時記憶なしにアドレス指定が可能になる。画素を行ごとおよび列ごとにアドレスするかまたは読み出すことができるように、画像センサはアドレス可能であるのが好ましい。ＣＭＯＳセンサを用いることが、特に好ましい。上記から明らかなように、画像記録手段は、光学的に歪んだ画像をデジタルで記録するのが好ましい。
【００１５】
１つの典型的な用途では、歪みは、非常に強い広角対物レンズの使用によって引き起こされる。例として、４５°を超える視角を備えた広角対物レンズが典型的であり、６０°さえ超える視角もまた、ますます多く上手に用いることができるようになっている。９０°以上の角度の場合、特に１６０°を超える視角を備えた広角対物レンズの場合には、利点は、さらにはっきりと明らかである。これらなどの広角対物レンズは、典型的に「魚眼対物レンズ」と呼ばれる。本発明は、約９０°を超えて生じる歪みなどの大きな歪みに対して特に好ましい。したがって、魚眼対物レンズに関する有用性は、特に重要である。なぜなら、それらは、ほんの少数のカメラで非常に大きなエリアを監視するために用いることができるからである。この場合に可能になった細部だけ、および必要に応じてはまた細部だけの歪み補正の送信ゆえに画像細部の分析のための全体的な労力が小さいので、さらに、非常に高解像度の画像センサを用いることが可能になり、これによって計算負荷または送信負荷が超比例的に増加することはない。したがって、本発明は、特に高解像度画像に対しては、明らかに特に好ましい。したがって、１、２メガピクセルを超える、特に好ましくは３メガピクセルを超えるセンサの使用について言及すべきである。
【００１６】
画像記録手段はまた、移動画像の繰り返し記録、特に、移動を識別するのに十分な画像繰り返し周波数における繰り返し記録に適している。これは、好ましい。
【００１７】
送信手段は、それ自体、典型的には帯域幅が制限されたチャネル、すなわち、コストの考慮ゆえ、かつ／または制御センタだけというより別の機器と、現在考察されている画像記録手段との間で同様に通信を可能にするために、データ送信が制限されるチャネルを介して画像情報を送信する。帯域幅が制限されたチャネル、特に、ＬＡＮ、ＷＬＡＮ、ブルートゥース、ＵＭＴＳ、ＧＳＭなどの無線ネットワークにおける送信チャネルの利用は、特に言及すべきである。
【００１８】
意外にも、圧縮画像情報は、いかなる問題もなく送信することができる。たとえ画像の一部だけが送信される場合にも、これらの部分は、それ自体公知の圧縮方法を用いて、送信用に圧縮することができ、次に、再生手段において復号化される画像データ、すなわち復元画像データの歪みは、補正することができる。
【００１９】
送信された画像情報を、それが再生される前に一時的に記憶することが可能であることに留意されたい。画像情報は、歪みを補正してか、または補正しないで記憶することができる。画像細部の歪み補正を可能にする追加情報と一緒に、歪み補正されていない形態で記憶するのが好ましい。他方では、記憶の前に歪み補正を実行し、次に、歪みが補正された画像データを表示することが可能であるが、しかしこれは、単なるドキュメンテーション目的には価値がない。サブセクションの代わりに、完全に送信された、歪んだ全画像を記憶する能力、および歪み補正に必要な一緒に送信された情報を一緒に記憶することが、本発明の範囲内に明示的に包含されるように意図されている。
【００２０】
１つの好ましい変形において、双方向通信が、送信手段を介して可能にされ、したがって、特に、制御情報を画像記録手段に送信することを可能にする。シャッタまたは画像繰り返し周波数をプリセットするなどの物理的カメラ動作に関連する詳細に加えて、制御情報にはまた、特に、１つまたは複数の所望の画像細部を定義するために必要な情報が含まれる。特に、全体画像における視界の仮想パンおよび完全に記録されつつあるシーンのズームインおよびズームアウトに由来するＰＴＺパラメータを定義することが可能である。したがって、本発明による監視システムの１つの好ましい動作モードにおいて、再生手段は、ＰＴＺパラメータまたはその一部を定義するために用いることができる。この場合には、角度、チルト角およびズーム比を含むパン群から少なくとも１つのパラメータを定義するのが好ましい。これは、カーソルの移動によって行うことができるが、カーソルは、大きな画像上でマウスまたはジョイスティックによってか、あるいは例えばキーボードコマンドによって移動させることができ、この場合には、次の所望の画像細部に関連する情報は、次に、送信手段を介して画像記録手段に送信される。
【００２１】
特に、ＰＴＺパラメータから、再生手段において公知の形状歪みの場合には、画像記録手段から直接読み出すべきセンサ領域のｘｙアドレスを定義することが可能である。センサ領域のｘｙアドレスは、センササイズが再生手段において公知の場合には、絶対形で定義することができる。そうでなければ、特にまた、所望の細部または細部の先頭をプリセットするために、相対座標、例えば「１７％左、２３％下」を定義することが、何の問題もなく可能である。
【００２２】
代替および／または追加として、所望の画像細部が、送信されたパラメータに基づき画像記録手段において定義され、かつこれは、例えばＣＭＯＳ画像センサの場合には、現在のパンおよびチルトパラメータに対応する特定の行および列領域を決定することによって、ならびに画素領域を形成する個別画素の可能な組み合わせにより、選択されたズームパラメータに関連して画素を決定し、次に、情報自体がどの行および列に関連するかということに関する情報と一緒に、対応する画像データを制御センタに送信するようにすることによって、行うことができる。送信される行および列に関連する情報は、例えば、第１および最後の送信される列ならびに第１および最後の送信される行を示すことによって送信してもよい。あるいは、例えば、送信される列領域の幅および送信される行領域の幅と一緒に、第１の列および第１の行を送信することも可能である。さらなる代替の存在に対して言及する。
【００２３】
あるいは、センサ中心またはセンサ端点などの座標原点から、領域中心がどれくらい離れているかを決定することが可能な表示を提供することができるであろう。全てのかかる詳細を用いて、画像細部が全体画像のどこに位置するかを導き出すことができる。さらにまた、再生手段が、適切な要求コマンドを画像記録手段へ送信することが可能である。
【００２４】
次に、歪み補正は、恐らく、再生手段において提供、例えば記憶されるカメラ特有の形状補正データを参照することによって実行することができる。この文脈では、例えば初期化のために、画像記録手段から再生手段へ繰り返して、特に周期的にかまたは一度、歪み補正に必要な情報を送信することが可能であることに留意されたい。歪み補正に必要な情報のかかる送信は、新しい画像記録ファイルが記憶される場合に実行することもできる。この場合には、ファイルヘッダ等に情報を記憶することも可能である。これによって、異なる画像記録手段用に専用の歪み補正を実行することが可能になる。この場合には、所与の画像記録手段用の較正データは、第１に、画像記録手段に記憶できるのが好ましい。これによって、製造公差ゆえにカメラごとに異なる歪みを生成する魚眼対物レンズがこの目的に用いられる場合に、それでも再生制御センタにおいて、それぞれに適した歪み補正が可能になる。
【００２５】
言及したように、まだ歪みが補正されていない送信すべき画像が、圧縮されるように意図されている場合に、本発明を用いることも可能である。画像圧縮は、様々な方法で実行することができる。例として、後続または前の画像に含まれる情報と無関係に個別画像の圧縮に言及してもよい。ＪＰＥＧ規格に従うタイル圧縮にも言及すべきである。代替および／または追加として、前の、および／または特に画像の一時記憶用に後続の画像を参照して、各画像に対して全ての画素または圧縮画素を完全に送信しなければならないことを回避するように、かつこの代わりに、連続画像間における差の送信を重要な側面とするようにすることが可能である。
【００２６】
同じ出願人からの前の出願と同じ方法（一方、同じ出願人からの前に説明した圧縮方法は、ＭｘＰＥＧ符号化として導入された）で符号化が可能であることに、特に言及しなければならない。
【００２７】
また、送信手段が、同一の画像記録手段から複数の画像細部を同時に送信できることが好ましい。これらなどの場合には、同様に、かなりの利点を本発明から得ることができ、かつ上記の手順を用いて各個別画像細部を送信できることが明らかである。この場合には、必要に応じて、両方の画像細部ストリーム用に画像記録手段から一度だけ、歪み補正に必要な較正情報を送信可能であることに留意されたい。
【００２８】
図面を参照した以下のテキストにおいて、あくまでも例として本発明を説明する。
【図面の簡単な説明】
【００２９】
【図１】本発明による監視システムを示す。
【発明を実施するための形態】
【００３０】
図１は、全体的に１を付けられた監視システム１と、この場合には人の非常に歪んだ画像によって表わされる光学的に歪んだ画像（参照番号３を参照されたい）を記録するための画像記録手段２と、画像記録手段から画像再生手段５へ画像情報を送信するための送信手段４とを示すが、画像再生手段５は、光学歪みを伴って記録された画像の画像細部を歪みのない形態で再生し、送信手段４は、歪んだ画像（参照番号６を参照されたい）の細部を送信するために、かつ画像細部の歪み補正を可能にする追加情報７を一緒に送信して、画像再生手段５における歪み補正を可能にするために（参照番号８を参照されたい）設計される。
【００３１】
この場合に、監視システム１は、ほぼ１８０°の視角を備えた魚眼対物レンズ１ａを有する単一のカメラで形成されるが、このカメラは、監視エリア１ｂの画像をＣＭＯＳセンサ１ｃに送信し、このＣＭＯＳセンサ１ｃは、図１において、一行ずつ（参照符号ｙｎを参照されたい）および一列ずつ（参照符号ｘｎを参照されたい）完全にまたは部分的に読み出すことができる。
【００３２】
魚眼対物レンズ１ａおよびＣＭＯＳセンサを１ｃを含むシステムは、それ自体が公知の方法で歪みを生成する。このシステムによって生成される歪みは、較正することができ、公知であると仮定され、本発明は、アルゴリズムｆ（ｒ、φ）が公知であり、このアルゴリズムによって、ＣＭＯＳセンサにおける画像は、歪みが補正されることになる画像点の位置が、ＣＭＯＳセンサの中心点を基準にして知られているという条件で、自身の歪みを補正することができるという前提に基づいている。この場合には、例えば、歪み補正は、極座標ｒ、φの使用によって実行されると仮定される。当然ながら、歪み補正アルゴリズム用に他のパラメータを用いてもよい。
【００３３】
画像記録手段２は、大きなエリアにわたる監視を実行することができ、かつ例えば、留置場などにおいて通常の慣行であるように、複雑な監視システムの一部として用いてもよい。
【００３４】
ＣＭＯＳセンサ１ｃは、高解像度を有する。すなわち、それは、複数メガピクセルの解像度を有し、それによって、また、全体画像のいくつかの領域において、細部、例えば顔の調査が可能になる。
【００３５】
専門的な方法で検査するように意図された画像細部は、例えばマウス制御またはキーボード制御により画像再生手段５において予め選択できるパン、チルトおよびズームパラメータを画像記録手段２で受信することによって、制御手段５ａを介して再生手段５から予め選択することができる。ＰＴＺパラメータは、画像記録手段２の送信手段４で用いられ、画像細部ｘｎ．．．．ｘ（ｎ＋Δ）およびｙｎ．．．．ｙ（ｎ＋Δ）を定義する。すなわち、これは、ＣＭＯＳセンサから特定のパン／チルト／ズームパラメータセットを生成するために、ＣＭＯＳセンサのどの列および行を読み出さなければならないかを定義する。同時に、送信手段４におけるこのアドレス定義ステージ４ａは、所望の画像細部の所与のコーナー、この場合には右下コーナーが、センサの中心に対してどのように位置するかを定義する。各カメラ用に恐らく別々に定義される物理センサ中心、または別の場合には光センサ中心を、中心として用いることができる。極端な魚眼対物レンズの場合には、光心、すなわち、レンズ中心点のビームが撮像される領域を用いることが特に有益である。例として、これは、センサ中心に対して極座標を示す、このコーナーのパラメータｒ、φを定義することによって、この場合には可能になる。
【００３６】
次に、送信手段４は、特定のアドレスでＣＭＯＳセンサから、すなわち計算された行および列からデータを読み出すように、かつ対応する画像細部を定義するように設計される。この画像細部は、それ自体、顔で示されているように光学歪みに対応して歪められている。送信される画像データは、再生手段において公知である歪み補正関数ｆ（ｒ、φ）（ステージ８を参照されたい）を用い、どの歪み補正を実行できるかに基づいて、送信用のためにパラメータｒ、φと照合される。
【００３７】
画像データ、および歪み補正を可能にする追加情報が、圧縮ステージ７において圧縮され、次に、ライン９を介して再生手段５に送信される。符号化されたデータの復元用の復号装置が、歪み補正ステージ１１と同様に再生手段５に設けられるが、この歪み補正ステージ１１では、歪みを伴って記録された画像１１は、周知の歪み補正関数ｆ（ｒ、φ）および送信されたパラメータｒ、φを用いて、その歪みを補正することができる。歪みが補正された画像データは、モニタ１２に表示することができる。
【００３８】
上記から明らかなように、本発明による監視装置は、画像記録手段２において高解像度画像を記録するために用いることができ、次に、選択された画像細部は、恐らくは圧縮した形態で、歪み補正関連情報と一緒に、送信手段４によって送信することができ（ステージ７を参照されたい）、したがって、送信チャネル９に広い送信帯域幅の負荷をかけない。歪みを伴って記録された画像細部の歪みを補正するために、少量の情報を送信する必要があるだけであり、一方で再生手段が、歪み補正関数ｆ（ｒ、φ）を認識しているので、したがって、これによって、画像記録手段２における計算負荷をかなり低減することおよびチャネル９における送信帯域幅を低減することが可能であるが、ユーザは、ＰＴＺパラメータの事前選択によるいかなる問題もなく、コントローラ５ａを介して所望の細部を制御することができる。
【００３９】
必要に応じて、記録された画像細部のデータストリームにおけるズーミングおよび／またはパニングによるさらなる選択を実行することが可能であり、この場合には、次に、歪み補正情報を参照することによって、画像細部の画像における歪みを補正することも可能であるということに言及しなければならない。
【００４０】
実際に最低限望まれる細部を瞬時に正確に送信するだけでなく、より大きな細部を送信できることが必要であり、その結果として、現在所望の細部に関して期待される詳細が、取得および／または記憶されるということに言及しなければならない。本発明による歪み補正は、この場合にも可能である。
【図１】
2010521844.tif 000003
【国際調査報告】
2010521844.tif 000004
2010521844.tif 000005
2010521844.tif 000006
2010521844.tif 000007
2010521844.tif 000008
2010521844.tif 000009