(57)【要約】【課題】  広い監視範囲をカバーするために、移動し続ける移動体上に搭載したカメラにより監視を行い、撮影画像の中から動く物を検知して、移動体によるパトロールを可能にする。【解決手段】  本発明は、間隔をあけて移動体に取り付けた複数のカメラを用い、カメラの向きとシャッターのタイミングを調整することにより、前カメラがシャッターを切った地点に、後カメラが来たときにシャッターを切るように構成し、等価的に、同一地点からの同一アングルの時間差をおいた複数画像を得る。これら複数画像の位置合わせを行ない、位置合わせを行った画像の差分を取り、この差分に基づき、画像中の動く物体を検出する。【選択図】図２
2006350713.tif 000002
【特許請求の範囲】
【請求項１】
間隔をあけて移動体に取り付けた複数のカメラを用い、カメラの向きとシャッターのタイミングを調整することにより、前カメラがシャッターを切った地点に、後カメラが来たときにシャッターを切るように構成し、等価的に、同一地点からの同一アングルの時間差をおいた複数画像を得る手段と、
これら複数画像の位置合わせを行う画像位置合わせ部と、
位置合わせを行った画像の差分を取る差分算出部と、
上記差分算出部の出力する差分に基づき、画像中の動く物体を検出する移動物体検出部と、
かなら成る画像処理による監視システム。
【請求項２】
秒間のフレーム数が固定のカメラを用いた場合、移動体速度に応じて複数のカメラの間隔を変えることによって、等価的に同位置地点からの時間差画像を得るよう構成した請求項１に記載の画像処理による監視システム。
【請求項３】
前記複数のカメラは、水平回転するよう設置して、全周囲の高速撮影を行って、後のカメラが、前カメラが撮影した位置と角度を、なぞるように、回転遅れとシャッター遅れを調整する請求項１に記載の画像処理による監視システム。
【請求項４】
前記複数のカメラの水平回転は、事実上、プリズム、円錐鏡、双曲面鏡或いは球面鏡を回転させることにより行う請求項３に記載の画像処理による監視システム。
【請求項５】
前記複数のカメラは、回転軸を進行方向にして設置して、全周囲の高速撮影を行って、後のカメラが、前カメラが撮影した位置と角度を、なぞるように、回転遅れとシャッター遅れを調整する請求項１に記載の画像処理による監視システム。
【請求項６】
前記複数のカメラは、それぞれ円盤に複数のカメラを取り付けて構成し、各円盤に取り付けた複数のカメラによって、周囲の高速撮影を行って、後のカメラが、前カメラが撮影した位置と角度をなぞるように、回転遅れとシャッター遅れを調整する請求項１に記載の画像処理による監視システム。
【請求項７】
間隔をあけて移動体に取り付けた複数のカメラを用い、カメラの向きとシャッターのタイミングを調整することにより、前カメラがシャッターを切った地点に、後カメラが来たときにシャッターを切るように構成し、等価的に、同一地点からの同一アングルの時間差をおいた複数画像を得て、
これら複数画像の位置合わせを行ない、
位置合わせを行った画像の差分を取り、
この差分に基づき、画像中の動く物体を検出する、
ことから成る画像処理による監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体上に搭載したカメラにより監視を行い、撮影画像の中から動く物を検知する画像処理による監視システム及び方法に関する。
【背景技術】
【０００２】
画像処理による監視システムでは従来、入力画像及び基準画像の２枚の画像を比較し、互いに異なる領域を検出して異なる領域が所定の面積を越える場合に、人物や車両、その他の移動物体が存在すると判断し警報等を発していた（特許文献１参照）。しかし、従来技術による監視システムは、固定カメラを用いるものであるために、広い範囲をカバーすることができないという問題がある。
【０００３】
広い監視範囲をカバーするためには、移動体によるパトロールが必要になる。しかし、移動し続ける移動体上に搭載したカメラでは、フレーム毎に背景の見え方が違ってしまうので、その中から動く物を検知することは困難である。
また、固定カメラは、侵入者には予め位置がわかっているので、必要時には破壊されてしまう可能性が高い。
【特許文献１】特開平８−３２０９３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、係る問題点を解決して、広い監視範囲をカバーするために、移動し続ける移動体上に搭載したカメラにより監視を行い、撮影画像の中から動く物を検知して、移動体によるパトロールを可能にすることを目的としている。
【課題を解決するための手段】
【０００５】
本発明の画像処理による監視システムは、間隔をあけて移動体に取り付けた複数のカメラを用い、カメラの向きとシャッターのタイミングを調整することにより、前カメラがシャッターを切った地点に、後カメラが来たときにシャッターを切るように構成し、等価的に、同一地点からの同一アングルの時間差をおいた複数画像を得る手段と、これら複数画像の位置合わせを行う画像位置合わせ部と、位置合わせを行った画像の差分を取る差分算出部と、上記差分算出部の出力する差分に基づき、画像中の動く物体を検出する動き検出部と、から成る。
【０００６】
また、本発明の画像処理による監視方法は、間隔をあけて移動体に取り付けた複数のカメラを用い、カメラの向きとシャッターのタイミングを調整することにより、前カメラがシャッターを切った地点に、後カメラが来たときにシャッターを切るように構成し、等価的に、同一地点からの同一アングルの時間差をおいた複数画像を得て、これら複数画像の位置合わせを行ない、位置合わせを行った画像の差分を取り、この差分に基づき、画像中の動く物体を検出する。
【発明の効果】
【０００７】
本発明によれば、カメラを積んだ移動体によるパトロールで、固定カメラの設置ができないような広い地域の監視が可能になる。また、固定カメラは、実際には侵入者による破壊により使えなくなることが避けられないが、移動体によるパトロールは、これに対抗する手段となる。
【発明を実施するための最良の形態】
【０００８】
図１は、複数のカメラ（２個として例示）を、移動体（車両）に取り付けた状態を示す図である。図示したように移動体に取り付けた複数のカメラを使い、カメラの向きとシャッターのタイミングを調整することにより、前カメラがシャッターを切った地点に、後カメラが来たときにシャッターを切るようにできる。これにより、等価的に、同一地点からの同一アングルの時間差をおいた複数画像を得ることができる。これにより地上の動く物を検知する。
【０００９】
図２は、本発明を具体化する画像処理による監視システムを例示する図である。図１に示すように、向きを平行にして取り付けた２台のカメラで、移動体速度に応じて２台目のカメラのシャッタータイミングの遅れを変化させて、等価的に同位置地点からの時間差画像を得る。この場合、移動体が直進している時にのみ、データを取るものとする。その理由は、カーブでは、移動体の向きが変化するため、２台目のカメラが1台目と同じ位置に来ても、カメラの向きが変わっているからである。機構は複雑になるが、カメラの向きを車軸方向に連動させるようにすれば、この問題は避けられる。
【００１０】
２台目のシャッタータイミングの遅れは、以下の式で決まる。L：２台のカメラの間隔（m）、V：移動体の速度（km/h）、Ｔ：シャッタータイミングの遅れ（msec）とすると、
Ｔ＝（ 3600×L ）／Ｖ  となる。
【００１１】
このように、画像取り込みタイミング制御部は、速度検出した移動体速度に応じてシャッタータイミングを調整した２枚の時間差画像を得る。画像位置合わせ部では、個々のカメラによる明度の差に依らないようにするために、
１）原画像をモノクロ化する（２つの原画像は、それぞれの明かるさの平均を求め、それに基づいて明かるさを調整して、明かるさを同じにしておく）。
【００１２】
２）モノクロ画像を細線化する。このために、例えば、ラプラシアン・オペレータを用いることができる。ラプラシアン・オペレータ：図３に示すように、入力画素中央の注目画素（Ａ4）に対する出力画素値（Ｂ）を、入力画像における、中央画素の値（Ａ4）および、その８近傍の画素値（Ａ0,Ａ1,Ａ2,Ａ3,Ａ5,Ａ6,Ａ7,Ａ8）の合計９つの画素値から、ラプラシアン・オペレータ（図中式）により求める。これは、画像の濃淡値を、縦横2次元に対する関数（ つまり、ｆ( x ，y ) ）と考えた場合における、縦横斜めの４方向に対する、それぞれの2回微分（差分の差分）の和に相当する。また、濃淡の値自身に依存せず、濃淡の変化が大きいところで、大きな値をとるため、画像の輪郭線抽出に用いられる。
【００１３】
３）相関による位置合わせをおこなう。本来、２つの画像は、カメラが正確に同じ位置にきていれば、全く同一アングルであるはずであるが、移動体の揺れにより、わずかにずれが生じるので、画像の３％程度（この値は、２つのカメラがどのくらいの精度で同じ位置に来るかによって決まる。）の範囲内で縦横に変位させて相関をとって最大値をとる位置に合わせる。このとき、連続して取り込まれた２つのフレームのうち、分離帯やガードレール、白線、近隣建物など、地表との相対速度がゼロである部分の画像のみを用いて相関をとる。図４の太線で囲った部分は、カメラを斜め前方に向けた場合の、位置あわせのための指定した動きの少ない部分である。予め知っている場所を移動する場合は、これが可能であるが、予め背景がわからない場合は、図５に示すような、長い線分を用いて相関をとる。
【００１４】
４）位置合わせ後の画像をＰ１, Ｐ２とする。
次に、差分算出部（図２）では、連続する２つのモノクロ画像（Ｐ１，Ｐ２）間で差分をとる。
動き部分検出部では、連続する２枚のモノクロ画像（Ｐ１，Ｐ２）の差分画像から、閾値により動き部分を検出する。
【００１５】
図６は、動き部分の検出を説明する図である。
Ｐ１とＰ２の差分の絶対値をとった画像を、｜Ｐ１ - Ｐ２｜、
２値化オペレータをＢ（ Ｐ, Ｔ ）：Ｐはモノクロ画像、ＴはThreshold（閾値）、とする時、
Ｂ（｜Ｐ１ - Ｐ２｜, Ｔ）  
により、地表に対して移動する物体の移動方向の輪郭の変化分を検出する。（実際のデータにおいては、ノイズ除去のために、膨張オペレータと収縮オペレータにより、膨張・収縮操作を行う。）
【００１６】
図７は、本発明に従い、タイミングを遅らせて撮った場合について、各段階の画像を例示する図である。また、図８は、本発明との対比のために、２台のカメラで同時に撮った比較例を示している。図７及び図８のいずれにおいても、左中図：前カメラの画像、左下図：線画化した前カメラ画像、右中図：後カメラの画像、右下図：線画化した後カメラ画像、右上図：差分画像から検出した移動物体、左上図：移動体の速度計の表示、をそれぞれ示している。
【００１７】
図７において、移動物体が明白に検出されているのに対して、図８の比較例においては、差分画像から、移動物体が背景からうまく抽出・検出されていない。
以上、２台のカメラを用いる場合を例にして説明したが、カメラを３台以上にすれば、動くものの領域を精度良く抽出できる。具体的には、図９に示すように、３台のカメラから得られる連続する３枚の位置あわせしたモノクロ画像を、Ｐ１，Ｐ２，Ｐ３、
符号付きの差分画像を、（Ｐ２ - Ｐ１）、（Ｐ２ - Ｐ３）、
論理和画像を、Ｐ＝（Ｂ（Ｐ２ - Ｐ１）,Ｔ）OR（Ｂ（Ｐ２ - Ｐ３）,Ｔ）とすれば、
Ｐで検出した動き部分は、Ｐ２中の動いた物の画像に重なって検出される（図９）。（先に図６に示した２枚からの動き部分の検出では、Ｐ２中の動いた物の画像には、一部しか重なっていない）
【００１８】
また、膨張オペレータを、Expand（Ｐ, ｎ）：Ｐは２値画像，ｎは膨張回数、（膨張とは、２値画像の黒部分を８方向に１画素ずつ広げること）
収縮オペレータを、Shrink（Ｐ, ｎ）：Ｐは２値画像，ｎは収縮回数、（収縮とは、逆に２値画像の白部分を８方向に１画素ずつ広げること）、として、
Expand （ Shrink（ Expand（ Ｐ ，ｎ ），２ｎ ），ｎ ） を行うことで、検出された動き部分のノイズや背景部分のノイスを消去できる（図９）。
【００１９】
また、秒間のフレーム数が固定のカメラを用いた場合、速度に応じて２台のカメラの間隔を変えることによって、等価的に同位置地点からの時間差画像を得ることもできる。カメラの間隔は、
L：２台のカメラの間隔（m）、V：移動体の速度（km/h）、F：秒間のフレーム数（１/sec）とすると、
L＝V／（3.6・F）  で決まる。
この場合も、カメラを３台以上にすれば、動くものの輪郭抽出が、精度良く行える。
【００２０】
図１０は、図１とは異なるカメラの設置を例示する図である。図示したように、移動体（車両）の前後に水平回転するカメラを設置し、３６０度の全周囲を高速撮影を行って、後のカメラが、前カメラが撮影した位置と角度を、なぞるように、回転遅れとシャッター遅れを調整することによって、全周囲画像の位置あわせ・差分によって動くものを検出することができる。シャッター遅れは、回転遅れに同期させる。
【００２１】
後カメラの位相のずれは、L：２台のカメラの間隔（m）、V：移動体の速度（km/h）、ω：カメラの回転の角速度（度/sec）、D：後カメラの回転角の位相のすれ（度）、とすると、
D＝（ ω・3.6・L ）／Ｖ  となる。
【００２２】
上記したカメラの水平回転は、図１１のような回転プリズム（もしくは回転鏡）とイメージローテーターによる全周囲撮影に置き換えることもできる。この場合はカメラの設置の仕方が異なるだけで、回転角の制御は、上記の水平回転方式と同じである。さらに、図１２のような円錐鏡、球面鏡（或いは双曲面鏡）による全方位撮影に置き換えることもできる。この場合は、全方位を一度に撮影するので、角度の制御は不要で、シャッターのタイミングだけで良い。
また、カメラとして、赤外線カメラを用いると、エンジン停止したばかりの車や、人或いは動物が検出しやすくなる。
【００２３】
図１３は、移動体に対して、さらに異なるカメラの取付を例示する図である。図示したように、回転軸を進行方向にした、風車のように回るカメラにより、地面・ビルの１F・２F・．．．．．・屋上・上空・反対側の屋上・．．．．．・２F・１F・地面のように、ヘリカルスキャンして、高速撮影することにより、ビル街の１階から屋上まで監視できる画像が得られる。このカメラを移動体の前後に設置することにより、ビル街での移動物体の検出を行うことができる。図１０を参照して前述した例と同様に、後のカメラが、前カメラが撮影した位置と角度を、なぞるように、回転遅れとシャッター遅れを調整し、全周囲画像の位置あわせ・差分によって動くものを検出することができる。シャッター遅れは、回転遅れに同期させる。
【００２４】
後カメラの位相のずれは、L：２台のカメラの間隔（m）、V：移動体の速度（km/h）、ω：カメラの回転の角速度（度/sec）、D：後カメラの回転角の位相のすれ（度）、とすると、
D＝（ ω・3.6・L ）／Ｖ  となる。
【００２５】
図示の方式は、左右と屋上を監視しなければならない、ゲリラ地域の装甲車による市街地パトロール、要人警護の監視に有効である。図１０の例と同様に、回転プリズムや円錐鏡を用いることもできる。また赤外線カメラを用いると、エンジン停止したばかりの車や、人・動物が検出しやすくなる。
また、高速撮影できるカメラの代わりに、図１４に示すような、円盤に複数のカメラを取り付けたものを用いることもできる。これは、図１０に示す例の場合も同様である。
【図面の簡単な説明】
【００２６】
【図１】移動体への複数のカメラの設置を例示する図である。
【図２】図２は、本発明を具体化する画像処理による監視システムを例示する図である。
【図３】図３は、細線化に用いたラプラシアン・オペレータを示す図である。
【図４】撮影時刻が異なる同一位置からの2枚のデータを示す図である。太線内は濃度相関により位置合わせを行う領域。
【図５】撮影時刻が異なる同一位置からの2枚のデータから長い線分を抽出し、それにより位置あわせを行うことを示す図である。
【図６】撮影時刻が異なる同一位置からの2枚のデータの差分から、動き部分を検出することを示す図である。
【図７】本発明に基づき、前カメラの画像とその位置に後カメラが移動してきた時に撮った画像を示す図である。左中図：前カメラの画像、左下図：線画化した前カメラ画像、右中図：後カメラの画像、右下図：線画化した後カメラ画像、右上図：差分画像から検出した移動物体。
【図８】前カメラと後カメラで同時刻に撮った画像の比較例を示す図である。左中図：前カメラの画像、左下図：線画化した前カメラ画像、右中図：後カメラの画像、右下図：線画化した後カメラ画像、右上図：差分画像からは移動物はうまく検出されない。
【図９】撮影時刻が異なる同一位置からの３枚のデータの差分から、動き部分を検出することを示す図である。
【図１０】移動体の前後に水平回転するカメラを例示する図である。
【図１１】回転プリズムによる全周囲撮影を例示する図である。
【図１２】円錐鏡と球面鏡による全周囲撮影を例示する図である。
【図１３】回転軸を進行方向にした風車のように回るカメラの設置例を示す図である。カメラで左右の街並みをヘリカルスキャンさせて高速撮影する。
【図１４】高速撮影できるカメラの代わりに、回転盤に複数のカメラをつける例を示す図である。この場合は、一定時間内に、個々のカメラの３倍のフレームレートで撮れる。
【図１】
2006350713.tif 000003
【図２】
2006350713.tif 000004
【図３】
2006350713.tif 000005
【図４】
2006350713.tif 000006
【図５】
2006350713.tif 000007
【図６】
2006350713.tif 000008
【図９】
2006350713.tif 000009
【図１０】
2006350713.tif 000010
【図１１】
2006350713.tif 000011
【図１２】
2006350713.tif 000012
【図１３】
2006350713.tif 000013
【図１４】
2006350713.tif 000014
【図７】
2006350713.tif 000015
【図８】
2006350713.tif 000016