(57)【要約】  【課題】  複数の映像データを圧縮符号化し通信ネットワークを介して伝送するシステムであって、精度よく物体認識機能などの画像処理を行うことができるようにする。  【解決手段】  撮像手段１０１と、撮像手段からの画像信号から画像データを出力する処理手段１０３と、画像データを圧縮符号化する圧縮手段１０４と、圧縮符号化画像データを通信ネットワーク１０９を介して他の装置１１０へ送信する通信手段１０５とで、各々が構成される複数の送信装置１０６、１０７と、同期信号を発生する発生手段とを有し、複数の圧縮手段は、発生手段からの同期信号に合わせて同一の時刻で同一のＧＯＰ構造を有するように圧縮符号化を行う。【選択図】  図１
2005260565.tif 000002
【特許請求の範囲】
【請求項１】
光学系によって結像された光信号を電気信号に変換し画像信号として出力する撮像手段と、該撮像手段を駆動する駆動手段と、前記撮像手段から出力される前記画像信号に画像処理を施し画像データとして出力する画像信号処理手段と、該画像信号処理手段から出力される前記画像データを圧縮符号化し圧縮符号化画像データとして出力する画像信号圧縮手段と、該画像信号圧縮手段から出力される前記圧縮符号化画像データを通信ネットワークを介して他の装置へ送信する通信手段とで、各々が構成される複数の画像データ送信装置と、所望のタイミングで同期信号を発生する同期信号発生手段とを有する画像データ送信システムであって、前記複数の画像データ送信装置のそれぞれの前記画像信号圧縮手段は、前記同期信号発生手段からの前記同期信号に合わせて同一の時刻で同一のＧＯＰ構造を有するように圧縮符号化を行うことを特徴とする画像データ送信システム。
【請求項２】
請求項１記載の画像データ送信システムにおいて、前記同期信号発生手段は、前記同期信号を前記通信ネットワークを介して前記複数の画像データ送信装置のそれぞれの前記画像信号圧縮手段に送信することを特徴とする画像データ送信システム。
【請求項３】
請求項１または２記載の画像データ送信システムにおいて、前記複数の画像データ送信装置のそれぞれの前記駆動手段は、前記同期信号発生手段からの前記同期信号に合わせて前記複数の画像データ送信装置のそれぞれの前記撮像手段から同一の撮像タイミングの画像信号を出力させることを特徴とする画像データ送信システム。
【請求項４】
光学系によって結像された光信号を電気信号に変換し画像信号として出力する撮像手段と、該撮像手段を駆動する駆動手段と、前記撮像手段から出力される前記画像信号に画像処理を施し画像データとして出力する画像信号処理手段と、該画像信号処理手段から出力される前記画像データを圧縮符号化し圧縮符号化画像データとして出力する画像信号圧縮手段と、該画像信号圧縮手段から出力される前記圧縮符号化画像データを通信ネットワークを介して他の装置へ送信する通信手段とで、各々が構成される複数の画像データ送信装置と、所望のタイミングで同期信号を発生する同期信号発生手段とを有する画像データ送信システムであって、前記複数の画像データ送信装置のそれぞれの前記画像信号圧縮手段は、ＧＯＰのピクチャ数がｎ（正の整数）の公倍数となるＧＯＰ構造で且つ前記同期信号発生手段からの前記同期信号に合わせて同一の時刻でＩピクチャの圧縮符号化を行うことを特徴とする画像データ送信システム。
【請求項５】
請求項４記載の画像データ送信システムにおいて、前記同期信号発生手段は、前記同期信号を前記通信ネットワークを介して前記複数の画像データ送信装置のそれぞれの前記画像信号圧縮手段に送信することを特徴とする画像データ送信システム。
【請求項６】
請求項４または５記載の画像データ送信システムにおいて、前記複数の画像データ送信装置のそれぞれの前記駆動手段は、前記同期信号発生手段からの前記同期信号に合わせて前記複数の画像データ送信装置のそれぞれの前記撮像手段から同一の撮像タイミングの画像信号を出力させることを特徴とする画像データシステム。
【請求項７】
請求項１から６のうちいずれかに記載の画像データ送信システムにおいて、前記同期信号発生手段からの信号に合わせて同一の時刻で、前記複数の画像データ送信装置のうち少なくとも１つの前記画像信号圧縮手段は静止画像の圧縮符号化を行い、他の前記画像データ送信装置はＩピクチャの圧縮符号化を行うことを特徴とする画像データ送信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は監視カメラシステムなどの画像データ送信システムに係り、特に、複数の映像データを圧縮符号化し通信ネットワークを介して伝送する画像データ送信システムに関する。
【背景技術】
【０００２】
近年、画像データを圧縮符号化し、通信ネットワーク等を経由して遠隔地にある再生端末でモニタリングする監視カメラシステムが実用化されている。このようなシステムでは、ＭＰＥＧ（Moving Picture Experts Group）等の圧縮符号化方式を用いることで、少ない伝送帯域で画質の良い画像データの伝送を可能としている。
【０００３】
一方、複数のカメラの画像を用いて、平面投影ステレオ法による変化部分の画像を検出して、監視を行うシステムが提案されている（例えば、特許文献１参照）。また、ステレオカメラで撮影された２つの画像間で、点や線の対応付けを行い、実際のシーン空間（三次元空間）における点や線の位置を推定する物体認識機能技術を用いて、物体の奥行きを認識することで、監視を行うシステムも提案されている（例えば、特許文献２参照）。
【０００４】
【特許文献１】特開２００２−１４５０７２号公報
【０００５】
【特許文献２】特開平１０−４２２７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のように、ステレオカメラを用いて精度よく物体を認識する場合、高い演算処理能力が必要となる。カメラと物体認識機能などの画像処理を対で構成すると、処理能力の高いＣＰＵ（Central Processing Unit）の使用もしくはＡＳＩＣ（Application Specific Integrated Circuit）の開発が必要となり、コスト的な問題が発生する。
【０００７】
そこで、カメラの画像を通信ネットワークを介して、パソコン、ワークステーション等の演算処理能力の高い機器に送信し物体認識機能などの画像処理を行うことで、コストを低減でき、物体認識機能などの画像処理部の変更も容易に可能となる。
【０００８】
一方、通信ネットワークで画像を送信する場合、複数のピクチャを一つのＧＯＰ（Group of Picture）とするＭＰＥＧ等の圧縮符号化方法を用いているため、同一時間に撮像された画像でも片方がＩピクチャ（フレーム内符号化画像）で片方がＢピクチャ（双方向予測符号化画像）であるというように画像情報量が異なる。そのため、画像情報量の異なる符号化画像を復調して平面投影ステレオ法や点や線の対応付けなどを行う場合、精度良く物体認識機能などの画像処理を行うことができない。
【０００９】
本発明の目的は、複数の映像データを圧縮符号化し通信ネットワークを介して伝送する画像データ送信システムであって、精度よく物体認識機能などの画像処理を行うことができる画像データ送信システムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明は、光学系によって結像された光信号を電気信号に変換し画像信号として出力する撮像手段と、該撮像手段を駆動する駆動手段と、前記撮像手段から出力される前記画像信号に画像処理を施し画像データとして出力する画像信号処理手段と、該画像信号処理手段から出力される前記画像データを圧縮符号化し圧縮符号化画像データとして出力する画像信号圧縮手段と、該画像信号圧縮手段から出力される前記圧縮符号化画像データを通信ネットワークを介して他の装置へ送信する通信手段とで、各々が構成される複数の画像データ送信装置と、所望のタイミングで同期信号を発生する同期信号発生手段とを有する画像データ送信システムであって、前記複数の画像データ送信装置のそれぞれの前記画像信号圧縮手段は、前記同期信号発生手段からの前記同期信号に合わせて同一の時刻で同一のＧＯＰ構造を有するように圧縮符号化を行うことを特徴とする。
【００１１】
また本発明は、光学系によって結像された光信号を電気信号に変換し画像信号として出力する撮像手段と、該撮像素子を駆動する駆動手段と、前記撮像素子から出力される前記画像信号に画像処理を施し画像データとして出力する画像信号処理手段と、該画像信号処理手段から出力される前記画像データを圧縮符号化し圧縮符号化画像データとして出力する画像信号圧縮手段と、該画像信号圧縮手段から出力される前記圧縮符号化画像データを通信ネットワークを介して他の装置へ送信する通信手段とで、各々が構成される複数の画像データ送信装置と、所望のタイミングで同期信号を発生する同期信号発生手段とを有する画像データ送信システムであって、前記複数の画像データ送信装置のそれぞれの前記画像信号圧縮手段は、ＧＯＰのピクチャ数がｎ（正の整数）の公倍数となるＧＯＰ構造で且つ前記同期信号発生手段からの前記同期信号に合わせて同一の時刻でＩピクチャの圧縮符号化を行うことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、複数の映像データを圧縮符号化し通信ネットワークを介して伝送する画像データ送信システムであって、精度よく物体認識機能などの画像処理を行うことができる画像データ送信システムを得ることができる。
【発明を実施するための最良の形態】
【００１３】
本発明の実施の形態を図面により説明する。図１は本発明による画像データ送信システムの実施の形態の構成を示すブロック図である。図１において、１０１はＣＣＤ（Charge Coupled Devices）などの撮像素子、１０２は駆動部、１０３は画像信号処理部、１０４は画像信号圧縮部、１０５は通信部である。１０１，１０２，１０３，１０４，１０５で構成される点線で囲まれた１０６は、カメラである。１０７はカメラ１０６と同様の構成を有するカメラ、１０８は同期信号発生部、１０９は通信ネットワーク、１１０は物体認識処理部である。
【００１４】
撮像素子１０１は、被写体画像が光学系によって結像された光信号を電気信号に変換し、画像信号として出力する。ここで、撮像素子１０１の各フォトダイオードに蓄積する時間は駆動部１０２で生成するパルスによって制御され、同様に駆動部１０２で生成するパルスによって所望のタイミングで画像信号が読み出されて出力する。画像信号処理部１０３は、撮像素子１０１から出力された画像信号に、色信号、輝度信号を生成するなどの画像処理を施し、画像データとして出力する。
【００１５】
画像信号圧縮部１０４は、画像信号処理部１０３から出力される画像データをＭＰＥＧ等の圧縮符号化方法を用いて圧縮符号化を行い、圧縮符号化画像データとして出力する。画像信号圧縮部１０４から出力される圧縮符号化画像データは、通信部１０５に入力され、通信ネットワーク１０９を経由して遠隔地の物体認識処理部１１０に送信される。ここで、カメラ１０７は、カメラ１０６と同様に構成され、同様の動作を行う。通信ネットワーク１０９に接続されるカメラは、図示の２台に限らず３台以上の複数台でもよい。
【００１６】
物体認識処理部１１０は、所望の送信された圧縮符号化画像データを復調し、平面投影ステレオ法による変化部分の画像を検出したり、ステレオカメラで撮影された２つの画像間で、点や線の対応付けを行い、実際のシーン空間（三次元空間）における点や線の位置を推定する技術を用いて、物体の奥行きを算出したりすることで、物体認識を行う。
【００１７】
図１において、同期信号発生部１０８は、カメラ１０６、１０７のそれぞれの画像信号圧縮部の動作を制御するための同期信号であるＧＯＰ同期合わせ基準信号を発生する発生部である。
【００１８】
図１において、この同期信号発生部１０８は、通信ネットワーク１０９に対してカメラ１０６、１０７側に配置されているが、物体認識処理部１１０側に配置して、同期信号を通信ネットワーク１０９を介してカメラ１０６、１０７のそれぞれの画像信号圧縮部に送信するようにしても良い。
【００１９】
次に、カメラ１０６、カメラ１０７、同期信号発生部１０８の動作について、ＧＯＰの切換りを同期させる第一の方法を図２より説明する。図２において、２０１はカメラ１０６で圧縮符号化された画像データ、２０２はカメラ１０７で圧縮符号化された画像データ、２０３は同期信号発生部１０８から出力されるＧＯＰ同期合わせ基準信号である。ここでは、各カメラ１０６，１０７とも一つのＧＯＰはＩ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂからなる１５個のピクチャで構成されたＧＯＰ構造を有しているものとする。また図２に示すように、画像データ２０２と画像データ２０３のＧＯＰの同期はずれているものとする。
【００２０】
画像データ２０１において、時刻ｔ０のＧＯＰ切換時刻から時間Ｔ１経過後の時刻ｔ２において、同期信号発生部１０８からＧＯＰ同期合わせ基準信号２０３が出力されたとする。時刻ｔ２において時間Ｔ１の間に圧縮符号化されたピクチャ数をＰ１とすると、カメラ１０６の画像信号圧縮部１０４は、ＧＯＰ同期合わせ基準信号２０３が入力された次のＧＯＰのピクチャ数がＰ１個となるように圧縮符号化を行う。その後時刻ｔ３において、カメラ１０６の画像信号圧縮部１０４は、その次のＧＯＰのピクチャ数が１５個となるように圧縮符号化を行う。
【００２１】
画像データ２０２において、時刻ｔ１のＧＯＰ切換時刻から時間Ｔ２経過後の時刻ｔ２において、同期信号発生部１０８からＧＯＰ同期合わせ基準信号２０３が出力されたとする。時刻ｔ２において時間Ｔ２の間に圧縮符号化されたピクチャ数をＰ２とすると、カメラ１０７の画像信号圧縮部は、ＧＯＰ同期合わせ基準信号２０３が入力された次のＧＯＰのピクチャ数がＰ２個となるように圧縮符号化を行う。その後時刻ｔ３において、カメラ１０７の画像信号圧縮部は、その次のＧＯＰのピクチャ数が１５個となるように圧縮符号化を行う。
【００２２】
上記動作によって、画像データ２０１と画像データ２０２は、同一の時刻ｔ３以降において同一のＧＯＰ構造を有するようになり、同期してＧＯＰが切換るようになる。このとき、ＧＯＰ同期合わせ基準信号２０３が入力された直後の１つのＧＯＰは、カメラ１０６、１０７それぞれの画像信号圧縮部において、Ｐ１、Ｐ２個のＩピクチャのみを符号化してもよい。
【００２３】
この動作により、複数のカメラで同一時刻に撮像された画像データは、同等の画像符号量で圧縮符号化することができる。
【００２４】
次に、カメラ１０６、カメラ１０７、同期信号発生部１０８の動作について、ＧＯＰの切換りを同期させる第二の方法を図３より説明する。図３において、３０１はカメラ１０６で圧縮符号化された画像データ、３０２はカメラ１０７で圧縮符号化された画像データ、３０３は同期信号発生部１０８から出力されるＧＯＰ同期合わせ基準信号である。ここでは、カメラ１０６のＧＯＰは１５個のピクチャで構成されており、カメラ１０７のＧＯＰは３０個のピクチャで構成されているものとする。また図３に示すように、画像データ２０２と画像データ２０３のＧＯＰの同期はずれているものとする。
【００２５】
画像データ３０１において、時刻ｔ０のＧＯＰ切換時刻から時間Ｔ１経過後の時刻ｔ２において、同期信号発生部１０８からＧＯＰ同期合わせ基準信号３０３が出力されたとする。時刻ｔ２において時間Ｔ１の間に圧縮符号化されたピクチャ数をＰ１とすると、カメラ１０６の画像信号圧縮部１０４は、ＧＯＰ同期合わせ基準信号３０３が入力された次のＧＯＰのピクチャ数がＰ１個となるように圧縮符号化を行う。その後時刻ｔ３において、カメラ１０６の画像信号圧縮部１０４は、その次のＧＯＰのピクチャ数が１５個となるように圧縮符号化を行う。
【００２６】
画像データ３０２において、時刻ｔ１のＧＯＰ切換時刻から時間Ｔ２経過後の時刻ｔ２において、同期信号発生部１０８からＧＯＰ同期合わせ基準信号３０３が出力されたとする。時刻ｔ２において時間Ｔ２の間に圧縮符号化されたピクチャ数をＰ２とすると、カメラ１０７の画像信号圧縮部は、ＧＯＰ同期合わせ基準信号３０３が入力された次のＧＯＰのピクチャ数がＰ２個となるように圧縮符号化を行う。その後時刻ｔ３において、カメラ１０７の画像信号圧縮部は、その次のピクチャ数が３０個となるように圧縮符号化を行う。
【００２７】
上記動作によって、画像データ２０１と画像データ２０２は、同一の時刻ｔ３以降において、同期してＧＯＰが切換るようになる。このとき、ＧＯＰ同期合わせ基準信号３０３が入力された直後の１つのＧＯＰは、カメラ１０６、１０７それぞれの画像信号圧縮部において、Ｐ１、Ｐ２個のＩピクチャのみを符号化してもよい。
【００２８】
このような動作を行うことで、複数のカメラ１０６、１０７において、ＧＯＰのピクチャ数はある数ｎ（正の整数）の公倍数となるＧＯＰ構造となるように符号化を行うことで、ＧＯＰピクチャ数の最大数の周期で全てのカメラで同一時刻にＩピクチャの符号化を行うことになる。すなわち、複数のカメラにおいて、ＧＯＰピクチャ数の最大数の周期で同一時刻に撮像された画像データを、同等の画像符号量で圧縮符号化を行うことができる。
【００２９】
次に、カメラ１０６、カメラ１０７、同期信号発生部１０８の動作について、ＧＯＰの切換りを同期させる第三の方法を図４より説明する。図４において、４０１はカメラ１０６で圧縮符号化された画像データ、４０２はカメラ１０７で圧縮符号化された静止画像データ、４０３は同期信号発生部１０８から出力されるＧＯＰ同期合わせ基準信号、４０４はカメラ１０７でカウントされるフレームカウント数である。ここでは、カメラ１０６のＧＯＰは１５個のピクチャで構成されているものとする。また、カメラ１０７は１５フレームずつカウントを繰り返し、カウント数１で静止画を撮像するものとする。また図４において、カウント数１５から１への切換とカメラ１０６のＧＯＰの切換はずれているものとする。
【００３０】
画像データ４０１において、時刻ｔ０のＧＯＰ切換時刻から時間Ｔ１経過後の時刻ｔ２において、同期信号発生部１０８からＧＯＰ同期合わせ基準信号４０３が出力されたとする。時刻ｔ２において時間Ｔ１の間に圧縮符号化されたピクチャ数をＰ１とすると、カメラ１０６は、ＧＯＰ同期合わせ基準信号４０３が入力された次のＧＯＰのピクチャ数がＰ１個となるように圧縮符号化を行う。その後時刻ｔ３において、カメラ１０６は、その次のＧＯＰのピクチャ数が１５個となるように圧縮符号化を行う。
【００３１】
画像データ４０２において、時刻ｔ１のカウント数切換時刻から時間Ｔ２経過後の時刻ｔ２において、同期信号発生部１０８からＧＯＰ同期合わせ基準信号４０３が出力されたとする。時刻ｔ２において時間Ｔ２の間にカウントされたカウント数をＰ２とすると、カメラ１０７は、ＧＯＰ同期合わせ基準信号４０３が入力された次のカウント数がＰ２までとなるようにカウントを行う。その後時刻ｔ３以降において、カメラ１０７は、カウント数１５を繰り返す。
【００３２】
上記動作によって、画像データ４０１のＩピクチャ生成時に、画像データ４０２の静止画が生成されるようになる。このとき、画像データ４０１においてＧＯＰ同期合わせ基準信号４０３が入力された直後の１つのＧＯＰは、Ｐ１個のＩピクチャのみを符号化してもよい。すなわち、動画像と静止画像の混在する複数のカメラにおいて、動画像のＧＯＰピクチャ数の最大数の周期で同一時刻に撮像された画像データを、同等の画像符号量で圧縮符号化を行うことができる。
【００３３】
次に、カメラ１０６、カメラ１０７、同期信号発生部１０８の動作について図５より説明する。５０１はカメラ１０６における撮像素子１０１からの画像信号垂直読出しタイミング信号、５０２はカメラ１０７における撮像素子からの画像信号垂直読出しタイミング信号、５０３は同期信号発生部１０８から出力される垂直同期合わせ基準信号である。図５に示すように、画像信号垂直読出しタイミング信号５０１と画像信号垂直読出しタイミング信号５０２では、画像信号垂直読出しタイミングとフレーム単位でずれているものとする。
【００３４】
図５に示すように、垂直同期合わせ基準信号５０３に合わせて、カメラ１０６とカメラ１０７はそれぞれの駆動部により、それぞれの画像信号垂直読出しタイミング信号がフレーム単位で同期するように動作する。
【００３５】
このような動作を行うことで、複数のカメラ１０６、１０７において、それぞれのカメラから同期した画像信号を出力させることができる。
【００３６】
このように、本発明の実施の形態によれば、複数のカメラで撮像され圧縮された画像データは、同一撮像時刻において同等の画像情報量を持つことができるので、物体認識処理部などで圧縮画像データを復調して平面投影ステレオ法や点や線の対応付けなどの処理をしても、精度良く物体認識機能などの画像処理を行うことができる。
【図面の簡単な説明】
【００３７】
【図１】本発明による画像データ送信システムの実施形態の構成を示すブロック図である。
【図２】本発明におけるＧＯＰ切換りを同期させる第一の方法を示すタイミングチャートである。
【図３】本発明におけるＧＯＰ切換りを同期させる第二の方法を示すタイミングチャートである。
【図４】本発明におけるＧＯＰ切換りを同期させる第三の方法を示すタイミングチャートである。
【図５】本発明における撮像素子からの画像信号垂直読出しタイミングを同期させる動作を示すタイミングチャートである。
【符号の説明】
【００３８】
１０１…撮像素子、１０２…駆動部、１０３…画像信号処理部、１０４…画像信号圧縮部、１０５…通信部、１０６，１０７…カメラ、１０８…同期信号発生部、１０９…通信ネットワーク、１１０…物体認識処理部、２０１…カメラ１０６で圧縮符号化された画像データ、２０２…カメラ１０７で圧縮符号化された画像データ、２０３…同期信号発生部１０８から出力されるＧＯＰ同期合わせ基準信号、３０１…カメラ１０６で圧縮符号化された画像データ、３０２…カメラ１０７で圧縮符号化された画像データ、３０３…同期信号発生部１０８から出力されるＧＯＰ同期合わせ基準信号、４０１…カメラ１０６で圧縮符号化された画像データ、４０２…カメラ１０７で圧縮符号化された静止画像データ、４０３…同期信号発生部１０８から出力されるＧＯＰ同期合わせ基準信号、４０４…カメラ１０７でカウントされるフレームカウント数、５０１…カメラ１０６における撮像素子からの画像信号垂直読出しタイミング信号、５０２…カメラ１０７における撮像素子からの画像信号垂直読出しタイミング信号、５０３…同期信号発生部１０８から出力される垂直同期合わせ基準信号。
【図１】
2005260565.tif 000003
【図２】
2005260565.tif 000004
【図３】
2005260565.tif 000005
【図４】
2005260565.tif 000006
【図５】
2005260565.tif 000007