(57)【要約】【課題】被写体と撮像装置との距離の違いによる動きベクトルの見かけの大きさに誤差を生じたり、監視領域内の状態の変化の原因を特定することが困難となったりすることを解消することにより、効果的な監視を行うこと。【解決手段】画像処理手段である画像処理プロセッサの動き検出手段（ステップＳ１０３のブロックマッチング処理）により入力画像の少なくとも２個以上の部分画像に対してそれぞれの部分画像の時間的な動きが動きベクトルとして検出され、画像処理プロセッサの動き補正手段（ステップＳ１０４の動き補正処理）により動きベクトルが撮像装置の撮像条件に基づいて補正され、画像処理プロセッサにより動き補正手段によって検出された動きベクトルに基づき監視領域の状態が判定されるようにした。【選択図】図２
2010124028.tif 000002
【特許請求の範囲】
【請求項１】
監視領域を撮像する撮像装置と、該撮像装置で撮影した入力画像を処理して該監視領域の状態を判定する画像処理手段と、該画像処理手段の監視領域の状態の判定結果に基づき情報を出力する情報出力装置からなる監視装置であって、
前記画像処理手段は、入力画像の少なくとも２個以上の部分画像に対してそれぞれの部分画像の時間的な動きを動きベクトルとして検出する動き検出手段と、
該動きベクトルを前記撮像装置の撮像条件に基づいて補正する動き補正手段とを備え、
前記画像処理手段は、前記動き補正手段によって検出された動きベクトルに基づき監視領域の状態を判定する
ことを特徴とする監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視対象となる領域の物体の動きを監視する監視装置に関し、特に、監視対象となる領域全体の物体の動きを検出し、検出した動きの時間変化に基づき出力される情報によって効果的な監視が行えるようにした監視装置に関する。
【背景技術】
【０００２】
例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等といった固体撮像素子を搭載する撮像装置によって監視領域を撮像した画像（入力画像）を、画像処理手段によって処理し、入力画像中の所定の物体を自動的に検出するような監視装置は、従来から広く用いられている。
【０００３】
このような、入力画像中の所定の物体を自動的に検出するような方法の一例として、差分法と呼ばれる方法が従来から使用されている。差分法は、入力画像と検出すべき物体の映っていない画像（背景画像）との画素毎の画素値の差分を計算し、その差分が所定のしきい値（例えば２０、１画素８ビットを仮定）を超えた場合に、画素に変化があったと判定する。さらに、変化があったと判定された画素の塊を検出することで監視領域内の検出すべき物体を監視する。
【０００４】
このように、従来の方法は、画像上の各画素の画素値変化を検出し、その変化の有無に基づいて検出すべき物体を監視するため、検出すべき物体の位置が特定でき、検出された物体が何であるのか把握しやすいという特徴がある。
【０００５】
しかし、このような方法は、通常状態において、各画素の画素値変化が大きい場合に適用できず、背景部分が激しく動く場合や、人混み等では使用できなかった。また、検出すべき物体と背景部分の動きとを区別するために、検出すべき物体を比較的大きく写すような画角が必要となる。
【０００６】
また、画像処理手段によって、入力画像の状態の変化を自動的に検出するような方法もあり、このような方法の一例として、特許文献１及び特許文献２に示されているようなオプティカルフローと呼ばれる方法が知られている。このオプティカルフローは、入力画像をいくつかのブロックに分割し、各ブロックの時間的な変位（動きベクトル）を、テンプレートマッチング（ブロックマッチング）等の方法によって検出し、動きベクトルの乱れから監視領域内の状態の変化を監視するものである。
【０００７】
【特許文献１】特開平０３−２４３８６２号公報
【特許文献２】特開平０５−３１２８１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
このように、従来のオプティカルフローと呼ばれる方法は、画像の動きベクトルの変化を検出し、その動きベクトルの乱れの程度に基づいて監視領域の状態の変化を大局的に監視するため、上述した差分法に比べ画角を広く（広角に）設定することができる。
【０００９】
しかし、画角が広角になるに従い、被写体と撮像装置との距離の違いによって、動きベクトルの見かけの大きさに誤差が発生する。また、監視領域を広角で撮像するため、監視領域内の状態の変化の原因を特定することが困難となる。よって、被写体と撮像装置との距離の違いによる動きベクトルの見かけの大きさに誤差を生じたり、監視領域内の状態の変化の原因を特定することが困難となったりすることで、効果的な監視を行うことができないという問題があった。
【００１０】
本発明は、このような従来の事情に鑑みなされたもので、被写体と撮像装置との距離の違いによる動きベクトルの見かけの大きさに誤差を生じたり、監視領域内の状態の変化の原因を特定することが困難となったりすることを解消することにより、効果的な監視を行うことができる監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の監視装置は、監視領域を撮像する撮像装置と、該撮像装置で撮影した入力画像を処理して該監視領域の状態を判定する画像処理手段と、該画像処理手段の監視領域の状態の判定結果に基づき情報を出力する情報出力装置からなる監視装置であって、前記画像処理手段は、入力画像の少なくとも２個以上の部分画像に対してそれぞれの部分画像の時間的な動きを動きベクトルとして検出する動き検出手段と、該動きベクトルを前記撮像装置の撮像条件に基づいて補正する動き補正手段とを備え、前記画像処理手段は、前記動き補正手段によって検出された動きベクトルに基づき監視領域の状態を判定することを特徴とする。
本発明の監視装置では、動き検出手段により入力画像の少なくとも２個以上の部分画像に対してそれぞれの部分画像の時間的な動きが動きベクトルとして検出され、動き補正手段により動きベクトルが撮像装置の撮像条件に基づいて補正され、画像処理手段により動き補正手段によって検出された動きベクトルに基づき監視領域の状態が判定される。
【発明の効果】
【００１２】
本発明の監視装置によれば、動き検出手段により入力画像の少なくとも２個以上の部分画像に対してそれぞれの部分画像の時間的な動きが動きベクトルとして検出され、動き補正手段により動きベクトルが撮像装置の撮像条件に基づいて補正され、画像処理手段により動き補正手段によって検出された動きベクトルに基づき監視領域の状態が判定されるようにしたので、被写体と撮像装置との距離の違いによる動きベクトルの見かけの大きさに誤差を生じたり、監視領域内の状態の変化の原因を特定することが困難となったりすることが解消されることから、効果的な監視を行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態の詳細について説明する。
(第１実施形態)
図１は、本発明の監視装置の第１実施形態を示すブロック図である。同図に示す監視装置は、撮像装置４０１と、映像入力Ｉ／Ｆ（インタフェース）４０２と、プログラムメモリ４０３と、制御回路Ｉ／Ｆ４０４と、ワークメモリ４０５と、画像処理プロセッサ４０６と、情報出力Ｉ／Ｆ４０７と、情報表示装置４０８とを有している。また、映像入力Ｉ／Ｆ４０２と、プログラムメモリ４０３と、制御回路Ｉ／Ｆ４０４と、ワークメモリ４０５と、画像処理プロセッサ４０６と、情報出力Ｉ／Ｆ４０７とは、データバス４０９に接続されている。
【００１４】
なお、監視装置の構成としては、第１実施形態の構成の他にも、従来から各種外部記録装置や、情報伝送装置等を有するものも存在するが、説明を簡単にするため、ここではその他の構成の図示を省略している。
【００１５】
撮像装置４０１は、監視の対象となる領域を撮像する。撮像された入力画像は、映像入力Ｉ／Ｆ４０２を介してワークメモリ４０５へ記録される。画像処理プロセッサ４０６は、プログラムメモリ４０３に記録されているプログラムに従って、ワークメモリ４０５内に記録された入力画像を処理し、その処理結果を情報出力Ｉ／Ｆ４０７を介して情報表示装置４０８へ出力する。また、画像処理プロセッサ４０６は、その処理結果に応じ、制御回路Ｉ／Ｆ４０４を介して、撮像装置４０１の撮像条件を制御する。
【００１６】
次に、画像処理プロセッサ４０６で実行されるプログラムの処理について、図２〜図７を用いて説明する。ここで、図２は図１の画像処理プロセッサ４０６で実行されるプログラムの処理を示すフローチャートであり、図３は図１の撮像装置４０１による監視領域を撮像した入力画像の一例を表す図であり、図４は撮像装置４０１による入力画像を所定の条件でブロックに分割した場合を示す図であり、図５及び図６は図１の画像処理プロセッサ４０６の画像解析におけるオプティカルフローを示す図であり、図７は図１の撮像装置４０１における撮像条件を説明するための図である。
【００１７】
まず、図２において、画像入力（ステップＳ１０１）においては、撮像装置４０１で撮像した映像（入力画像）を、映像入力Ｉ／Ｆ４０２を介してワークメモリ４０５へ転送する。次いで、ブロック分割処理（ステップＳ１０２）では、入力画像を、例えば、横方向Ｂ（Ｈ）＝８個、縦方向Ｂ（Ｖ）＝６個のブロックに分ける。
【００１８】
ここで、入力画像の大きさをＶＧＡ（横方向６４０画素、縦方向４８０画素）と仮定すると、各ブロックの大きさは、横方向Ｎ＝８０画素、縦方向Ｍ＝８０画素になる。この処理を図３及び図４を用いて説明する。
【００１９】
まず、図３は、監視領域を撮像した入力画像の一例を表しており、多数の人型の物体が左から右に向かって移動している様子を表している。また、図４は、その入力画像を、後述の撮像装置４０１の撮像条件でブロックに分割したものである。
【００２０】
次いで、ブロックマッチング処理（ステップＳ１０３）では、図４に示した各ブロックをテンプレートとし、ワークメモリ４０５に記録された前フレームの入力画像（後述する）とのマッチングを実行し、現フレームの各ブロックの動きを検出する。テンプレートマッチングには、例えば、累積残差ｒＭＡＤ(ｘ，ｙ)や、正規化相関係数ｒＣＯＲＲ(ｘ，ｙ)等を使用することができ、それぞれ下記の式（１）、式（２）で表わされる。
【００２１】
【数１】
2010124028.tif 000003
【００２２】
ここで、ｇ(ｘ，ｙ)、ｆ(ｘ，ｙ)は、それぞれ、前フレームの入力画像及び現フレームの入力画像、Ｎ，Ｍは、それぞれ、ブロックの横方向の画素数及び縦方向の画素数、点(ｘ0，ｙ0)は、ブロックの左上の座標を表している。累積残差ｒＭＡＤ(ｘ，ｙ)は、前フレームの入力画像ｇ(ｘ，ｙ)と現フレームの入力画像ｆ(ｘ，ｙ)の変位(ｘ，ｙ)における絶対値差分の累積値を表しており、範囲−Ｓｘ≦ｘ≦Ｓｘ，−Ｓｙ≦ｙ≦Ｓｙにおいて最小値を取るｒＭＡＤ(ｘ，ｙ)を見つけることでマッチングが行われる。なお、ｘ，ｙは１画素を単位とする座標である。
【００２３】
Ｓｘ，Ｓｙは、それぞれ、横方向及び縦方向の探索範囲を表し、例えば、Ｓｘ＝Ｓｙ＝５０画素とする。この最小値を取る(ｘ，ｙ)は、テンプレートの動きベクトルを示す。ｒＭＡＤ(ｘ，ｙ)は、前フレームの入力画像ｇ(ｘ，ｙ)と現フレームの入力画像ｆ(ｘ，ｙ)が完全に一致している場合には、０となる。また、正規化相関係数ｒＣＯＲＲ(ｘ，ｙ)は、前フレームの入力画像ｇ(ｘ，ｙ)と現フレームの入力画像ｆ(ｘ，ｙ)の変位(ｘ，ｙ)における正規化された相関を表し、−Ｓｘ≦ｘ≦Ｓｘ，−Ｓｙ≦ｙ≦Ｓｙにおいて最大値を取るｒＣＯＲＲ(ｘ，ｙ)を見つけることでマッチングが行われる。
【００２４】
ｒＣＯＲＲ(ｘ，ｙ)は、前フレームの入力画像ｇ(ｘ，ｙ)と現フレームの入力画像ｆ(ｘ，ｙ)が完全に一致している場合には、１となる。以上のブロックマッチング処理によって、各ブロックにおける動きベクトルが算出される。例えば、図３で表わされる場面では、図５のような各ブロックにおける動きベクトル（オプティカルフロー７０１）が得られる。  
【００２５】
なお、第１実施形態では、ブロックマッチングを用いた動きベクトルの算出方法を説明したが、動きベクトルが算出できれば別の方法を適用することが可能で、例えば、ブロックマッチング以外にも勾配法と呼ばれる方法を用いて動きベクトルを算出するようにしてもよい。図３の場面では、多数の人型の物体が左から右に向かって移動しているため、得られる動きベクトルも、右向きのベクトルが多数となる。
【００２６】
今、位置（ｉ，ｊ）のブロック（左上から、右にｉ番目、下にｊ番目のブロック）の動きベクトル７０２をｖｉ，ｊ＝（ｘｉ，ｊ，ｙｉ，ｊ）とすると、
【００２７】
【数２】
2010124028.tif 000004
【００２８】
【数３】
2010124028.tif 000005
【００２９】
ここで、図２のステップＳ１０３でのブロックマッチング処理は、画像上におけるブロックの動きを検出する手法であるため、画像上の見かけの大きさの違いの影響を受ける。具体的には、画像下部に存在する被写体は、画像上部に存在する被写体に比べ、撮像装置４０１からの距離が近いため、画像上の見かけの大きさが大きい。すなわち、画像下部の被写体ほど、得られる動きが大きく計測されてしまうという問題がある。
【００３０】
【数４】
2010124028.tif 000006
そこで、動き補正処理（ステップＳ１０４）では、このような、画像上の見かけの大きさの違いを補正する。この補正処理を、図７に示すような、高さＨに取り付けられ、縦方向の視野角θＶ、俯角をθＴとする撮像装置４０１の例を用いて説明する。この例では、画像の下部における点Ａ及び点Ｂにおける被写体の撮像装置４０１との距離ＬＡ，ＬＢは、それぞれ、下記の式（６）、式（７）となる。
【００３１】
【数５】
2010124028.tif 000007
【００３２】
ここで、撮像装置４０１として、１／３インチのＣＣＤ固体撮像素子（素子サイズ４．８ｍｍ×３．６ｍｍ）を使用し、焦点距離を１２ｍｍ、撮像装置４０１の取り付け高さをＨ＝１０ｍ、撮像装置４０１の俯角をθＴとした場合、視野角はθＶ＝１７．０６０、ＬＡ＝２５．０５ｍ、ＬＢ＝８８．７６ｍとなる。すなわち、このような撮像条件であれば、画像上の見かけの大きさ、及び得られる動きベクトルも画像の上部下部で最大で約３．５倍の誤差が生じる。なお、画像上の任意の点Ｃ(ｘ，ｙ)における、撮像装置からの距離ＬＣ(ｘ，ｙ)は、下記の式（８）となる。
【００３３】
【数６】
2010124028.tif 000008
【００３４】
すなわち、被写体と撮像装置４０１との距離の差を補正するためには、得られた動きベクトルに対して、下記の式(９)となる距離補正係数ｒＬ(ｘ，ｙ)を乗ずれば、被写体と撮像装置４０１との距離の違いによる誤差が画像上の任意の位置で０になる。
【００３５】
【数７】
2010124028.tif 000009
【００３６】
また、上述の被写体の高さ方向の動き（画像の縦方向の動き）は、撮像装置４０１の俯角の違いによる誤差を含む。今、画像上の任意の点Ｃ(ｘ，ｙ)において、軸ｒの方向に距離Ｒだけ移動したとすると、画像上は、Ｒ×ｔａｎ（θＴ−θＶ／２＋θＶ・ｙ／４８０）分だけ移動したように観測される。すなわち、被写体の画像の縦方向の動きにおける撮像装置４０１の俯角の差を補正するためには、得られた動きベクトルに対して、下記の式(１０)となる距離補正係数ｒθ(ｘ，ｙ)を乗ずれば、俯角の違いによる誤差が画像上の任意の位置で０になる。
【００３７】
【数８】
2010124028.tif 000010
【００３８】
すなわち、図２のステップＳ１０４の動き補正処理において、ステップＳ１０３のブロックマッチング処理で得られた動きベクトルｖｉ，ｊ＝（ｘｉ，ｊ，ｙｉ，ｊ）を被写体と撮像装置４０１の距離の違いや、撮像装置４０１の俯角による誤差をキャンセルした補正した
【００３９】
【数９】
2010124028.tif 000011
すなわち、下記の式（１１），（１２）から動きベクトルを補正する。
【００４０】
【数１０】
2010124028.tif 000012
【００４１】
ここで、点(ｘ０，ｙ０)は対象となるブロックの左上の座標を表し、Ｎ，Ｍはそれぞれブロックの横方向の画素数及び縦方向の画素数を表している。このような補正を行うことで、図５で表わされるようなオプティカルフロー７０１は、図６で表わされるオプティカルフロー８０ｌのように補正される。
【００４２】
すなわち、従来の方法では、得られる動きベクトルが、画像上の見かけの大きさの違いの影響を受ける。具体的には、画像下部に存在する被写体は、画像上部に存在する被写体に比べ、撮像装置４０１からの距離が近いため、画像上の見かけの大きさが大きく、画像下部の被写体ほど、得られる動きが大きく計測されてしまうという問題がある。
【００４３】
【数１１】
2010124028.tif 000013
【００４４】
次に、動き変化検出処理（ステップＳ１０５）では、動きベクトルの時間変化を検出する。動きくクトルの時間変化ｄは、現在のフレームにおける平均動きベクトル８０５ｖ(−)Ｔ０と、ワークメモリ４０５に記録された前フレームの動きベクトル（後述する）ｖ(−)Ｔ０−１の差で表わされる。すなわち、下記の式（１３）として検出する。
【００４５】
【数１２】
2010124028.tif 000014
【００４６】
なお、第１実施形態では、平均動きベクトルの時間変化を検出するようにしているが、次に、動き変化判定（ステップＳ１０６）では、ステップＳ１０５の動き変化検出において検出された動きベクトル時間変化ｄを所定のしきい値Ｔ（例えば、１０画素）と比較し、時間変化ｄがしきい値Ｔより大きい場合に、動きベクトルに変化があったと判断し、処理結果出力処理（ステップＳ１０７）へ分岐し、時間変化ｄがしきい値Ｔ以下であった場合に、入力画像記録処理（ステップＳ１０８）へ分岐する。
【００４７】
ステップＳ１０７の処理結果出力では、情報出力Ｉ／Ｆ４０７を介して、情報表示装置４０８に監視領域内の動きベクトルに変化が発生したことを表示する。なお、第１実施形態では、処理結果の提示方法として情報表示装置４０８を用いているが、動きベクトルに変化が発生したことを外部に提示できればよく、音声、警告灯等の手段によって、動きベクトルの変化を知らせるようにしてもよい。
【００４８】
次に、ステップＳ１０８の入力画像記録処理では、ワークメモリ４０５に現在の入力画像を記録し、ステップＳ１０３のフレームのブロックマッチング処理で使用できるようにする。動き記録処理（ステップＳ１０９）では、ステップＳ１０４の動き補正処理によって補正された動きベクトルを記録し、ステップＳ１０５のフレームの動き変化検出処理で使用できるようにする。
【００４９】
以上のようにすることで、従来の監視装置において、被写体と撮像装置４０１との距離の違いによって発生する動きベクトルの見かけの大きさの誤差の問題を解決し、監視領城内の状態変化を高精度に監視することができる。
【００５０】
このように、第１実施形態では、画像処理手段である画像処理プロセッサ４０６の動き検出手段（ステップＳ１０３のブロックマッチング処理）により入力画像の少なくとも２個以上の部分画像に対してそれぞれの部分画像の時間的な動きが動きベクトルとして検出され、画像処理プロセッサ４０６の動き補正手段（ステップＳ１０３の動き補正処理）により動きベクトルが撮像装置４０１の撮像条件に基づいて補正され、画像処理プロセッサ４０６により動き補正手段によって検出された動きベクトルに基づき監視領域の状態が判定されるようにしたので、被写体と撮像装置４０１との距離の違いによる動きベクトルの見かけの大きさに誤差を生じたり、監視領域内の状態の変化の原因を特定することが困難となったりすることが解消されることから、効果的な監視を行うことができる。
【００５１】
また、画像処理手段である画像処理プロセッサ４０６に、動きベクトルの時間的な変化を検出する動き変化検出手段（ステップＳ１０５の動き変化検出処理）が設けられているため、動きベクトルの時間変化を確実に検出することができる。
【００５２】
（第２実施形態）
次に、第２実施形態について、図８及び図９を用いて説明する。第２実施形態では、入力画像の変化を差分法を用いて検出するようにしたものである。ここで、図８は画像処理プロセッサ４０６で実行される処理を説明するためのフローチャートであり、図９は差分法の基本的な処理の様子を示す図である。なお、監視装置の構成としては、図１と同等であるため、その図示及び説明を省略する。
【００５３】
すなわち、第２実施形態では、第１実施形態で行っていた入力画像のブロック分割の代わりに、入力画像の変化を検出して得られた領域に対し、図２のステップＳ１０３でのブロックマッチング処理を適用するようにしたものである。
【００５４】
また、第２実施形態での画像処理プロセッサ４０６で実行される処理は、図８に示すようになっている。すなわち、同図では、図２のステップＳ１０２のブロック分割処理の代わりに、差分処理（ステップＳ２０１）、二値化処理（ステップＳ２０２）、ラベリング処理（ステップＳ２０３）が追加され、さらに、背景画像更新処理（ステップＳ２０４）が追加されている。これら以外の処理は、第１実施形態と同等のものであるため、その説明は適宜行うものとする。
【００５５】
ここで、差分法による入力画像の変化を検出する方法の概略を表している図９において、符号１１０１は入力画像を表し、符号１１０３はワークメモリ４０５に記録された背景画像を表している。
【００５６】
そして、の差分処理（ステップＳ２０１）では、図９の差分器１１０４によって、入力画像１１０１と背景画像１１０３の画素毎の差分を計算し、差分画像１１０５を算出する。ここで、入力画像１１０１に映る人型の物体１１０２は、差分画像１１０５中で、変化が生じた領域１１０６として検出される。
【００５７】
次に、二値化処理（ステップＳ２０２）では、図９の二値化器（ｔｈ）１１０７によって、差分画像１１０５の各画素の値と所定のしきい値（例えば２０、１画素８ビットを仮定）とを比較し、しきい値以上の画素を“２５５”、しきい値未満の画素を“０”とする変換を行う。
【００５８】
これによって、二値化画像１１０８を得る。ここで、差分画像１１０５で、差分が生じた領域１１０６は、二値化された画素１１０９として検出され、さらにラベリング処理（ステップＳ２０３）によって、二値化された画素の塊を番号付けすることで、物体の存在する領域１１１０を得る。
【００５９】
さらに、ブロックマッチング処理（ステップＳ１０３）では、ステップＳ２０３のラベリング処理によって得られた変化の生じた領域としての物体をテンプレートとしてマッチングが実行される。また、背景画像更新処理（ステップＳ２０４）では、ワークメモリ４０５に記録した現在フレームの背景画像１１０３と、現在フレームの入力画像１１０１とを例えば移動平均等の手法によって、新しい背景画像１１０３に更新し、ワークメモリ４０５に記録する。このようにすることで、各フレームにおいて、背景画像１１０３が更新され、常に最新の背景画像１１０３との差分処理が実行されることになる。
【００６０】
このように、第２実施形態では、画像の変化が生じた部分についてのみブロックマッチングを実行することができるようにしたので、画像処理プロセッサ４０６で実行される計算の負荷を軽減することができ、効率よく監視することができる。
【００６１】
（第３実施形態）
次に、第３実施形態について、図１０〜図１２等を用いて説明する。ここで、図１０は画像処理プロセッサ４０６で実行される処理を説明するためのフローチャートであり、図１１及び図１２は図１の画像処理プロセッサ４０６の画像解析におけるオプティカルフローを示す図である。また、監視装置の構成としては、図１と同等であるため、その図示及び説明を省略する。
【００６２】
第３実施形態では、第１実施形態で得られた補正した動きベクトルを用いて、特定の位置から発散する動き、もしくは、特定の位置に集中する動きを検出する。そして、このような特定の位置（注目点）が存在した場合には、撮像装置４０１の撮像条件を制御して、自動的に注目点を捉えるようにしている。
【００６３】
また、画像処理プロセッサ４０６で実行される処理においては、図１０に示すように、図２の処理に、注目点算出処理（ステップＳ３０１）と、注目点判定処理（ステップＳ３０２）と、撮像装置制御処理（ステップＳ３０３）とが追加されている。
【００６４】
そして、図１０において、注目点算出処理（ステップＳ３０１）では、発散する動きの中心点（放射点）、もしくは、集中する動きの中心点（収束点）を注目点として算出する。ここで、放射点及び収束点の算出方法を、図１１及び図１２を用いて説明する。
【００６５】
ます、図１１のオプテイカノレフロー９０１は、ある特定の位置から発散する動きを示している。ここで、前述の通り、図１０のステップＳ１０４の動き補正処理では、撮像装置４０１の撮像条件に応じて動きベクトルの補正が行われ、
【００６６】
【数１３】
2010124028.tif 000015
【００６７】
ここで、特定の位置から発散する動きがある場合、オプティカルフロー９０１は、画面上部では上向きの動き、画面下部では下向きの動きを持ち、さらに、画面左部では左向きの動き、画面右部では右向きの動きを持つ。
【００６８】
【数１４】
2010124028.tif 000016
【００６９】
【数１５】
2010124028.tif 000017
【００７０】
【数１６】
2010124028.tif 000018
【００７１】
【数１７】
2010124028.tif 000019
【００７２】
【数１８】
2010124028.tif 000020
【００７３】
また、第３実施形態では、放射点をブロックの位置９０９で表わしているが、Ｘ，Ｙ成分がマイナスからプラスに変化する２点において、それぞれの平均動きベクトルのＹ，Ｘ成分の絶対値の大小に基づく重みにより、放射点を決定してもよい。
【００７４】
ここで、動きベクトルが発散するということは、ある位置で、例えばナイフ等を振り回す人物が現れる等の危険事象が発生し、周囲の人物が逃げる行動を表しており、第３実施形態によれば、このような危険事象を発見することができる。
【００７５】
次に、図１２のオプティカルフロー１００１は、ある特定の位置に集中する動きを示している。ここで、前述の通り、図１０のステップＳ１０４の動き補正処理では、撮像装置４０１の撮像条件に応じて動きベクトルの補正が行われ、
【００７６】
【数１９】
2010124028.tif 000021
【００７７】
ここで、特定の位置に集中する動きがある場合、オプティカルフロー１００１は、画面上部では下向きの動き、画面下部では上向きの動きを持ち、さらに、画面左部では右向きの動き、画面右部では左向きの動きを持つ。
【００７８】
【数２０】
2010124028.tif 000022
【００７９】
【数２１】
2010124028.tif 000023
【００８０】
【数２２】
2010124028.tif 000024
【００８１】
【数２３】
2010124028.tif 000025
【００８２】
また、第３実施形態では、収束点１００９をブロックの位置で表わしているが、Ｘ，Ｙ成分がマイナスからプラスに変化する２点において、それぞれの平均動きベクトルのＹ，Ｘ成分の絶対値の大小に基づく重みによって、収束点を決定してもよい。ここで、動きベクトルが収束するということは、ある位置で、例えば転倒者が現れる等の危険事象が発生し、周囲の人物が集まる行動を表しており、第３実施形態によれば、このような危険事象を発見することができる。
【００８３】
次に、図１０の注目点判定（ステップＳ３０２）では、放射点もしくは収束点の注目点を見つけた場合、撮像装置制御処理（ステップＳ３０３）へ分岐し、見つけられなかった場合には、入力画像記録処理ステップ１０８に分岐する。ここで、ステップＳ３０２の注目点判定において、発散もしくは収束の度合いが一定以上であった場合に、ステップＳ３０３の撮像装置制御処理に分岐するようにしてもよい。
【００８４】
次に、ステップＳ３０３の撮像装置制御処理では、注目点が検出された場合に、制御回路Ｉ／Ｆ４０４を制御して、撮像装置４０１の撮像条件を変える。ここで、撮像条件とは、撮像装置４０１の焦点距離や、撮像装置４０１を取り付ける電動雲台の向き等であり、上記危険事象が発生している位置をズームアップして監視することが可能となる。
【００８５】
このように、第３実施形態では、画像処理手段である画像処理プロセッサ４０６に、動き検出手段（ステップＳ１０５の動き変化検出処理）によって検出された動きベクトルから、放射点又は収束点のいずれかの注目点を算出する注目点算出手段（ステップＳ３０１の注目点算出処理）と設け、放射点又は収束点のいずれかの注目点が見つかった場合に、情報表示装置４０８に該注目点の情報が出力されるようにしたので、従来の方法で課題となる、通常状態において、各画素の画素値変化が大きい場合適用できず、背景部分が激しく動く場合や、人混み等での使用や、検出すべき物体を比較的大きく写すような画角が必要となる問題を解決することができる。
【００８６】
また、上記同様に、撮像装置４０１の画角を広角に設定することで発生する撮像装置４０１と撮像対象までの距離の違いによって、動きベクトルの見かけの大きさに誤差が発生するという問題や、監視領域を広角で撮像することによる監視領域内の状態の変化の原因を特定することが困難であるという問題を解決することができ、従来の監視装置の適用範囲をさらに広げることができる。
【００８７】
また、画像処理手段である画像処理プロセッサ４０６に、放射点又は収束点のいずれかの注目点が見つかった場合に、該注目点に基づいて撮像装置４０１の撮像条件を変更する撮像装置制御手段（ステップＳ３０３の撮像装置制御処理）を設けるようにしているので、例えば危険事象が発生している位置をズームアップして監視することが可能となる。
【図面の簡単な説明】
【００８８】
【図１】本発明の監視装置の第１実施形態を示すブロック図である。
【図２】図１の画像処理プロセッサで実行されるプログラムの処理を示すフローチャートである。
【図３】図１の撮像装置による監視領域を撮像した入力画像の一例を表す図である。
【図４】図１の撮像装置による入力画像を所定の条件でブロックに分割した場合を示す図である。
【図５】図１の画像処理プロセッサの画像解析におけるオプティカルフローを示す図である。
【図６】図１の画像処理プロセッサの画像解析におけるオプティカルフローを示す図である。
【図７】図１の撮像装置における撮像条件を説明するための図である。
【図８】図１の画像処理プロセッサで実行される第２実施形態に係る処理を説明するためのフローチャートである。
【図９】図１の画像処理プロセッサでの差分法の基本的な処理の様子を示す図である。
【図１０】図１の画像処理プロセッサで実行される第３実施形態に係る処理を説明するためのフローチャートである。
【図１１】図１の画像処理プロセッサの画像解析におけるオプティカルフローを示す図である。
【図１２】図１の画像処理プロセッサの画像解析におけるオプティカルフローを示す図である。
【符号の説明】
【００８９】
４０１  撮像装置
４０２  映像入力Ｉ／Ｆ
４０３  プログラムメモリ
４０４  制御回路Ｉ／Ｆ
４０５  ワークメモリ
４０６  画像処理プロセッサ
４０７  情報出力Ｉ／Ｆ
４０８  情報表示装置
【図１】
2010124028.tif 000026
【図２】
2010124028.tif 000027
【図３】
2010124028.tif 000028
【図４】
2010124028.tif 000029
【図５】
2010124028.tif 000030
【図６】
2010124028.tif 000031
【図７】
2010124028.tif 000032
【図８】
2010124028.tif 000033
【図９】
2010124028.tif 000034
【図１０】
2010124028.tif 000035
【図１１】
2010124028.tif 000036
【図１２】
2010124028.tif 000037