(57)【要約】【課題】遠方を高速で移動する物体を、物体が発する音を頼りにして追尾して撮影する。上記物体が小型であっても、上記物体を認知可能な大きさで撮影する。【解決手段】監視システム１は、３個以上の音センサ２と、音センサ２と同数の撮像部３と、音センサ２および撮像部３を支持する支持部材４と、支持部材４を回転させる駆動部５と、制御部とを備える。各音センサ２は、回転軸Ｍの周方向に等角度ピッチでそれぞれ位置している。各撮像部３は、回転軸Ｍの周方向に等角度ピッチで、かつ、隣り合う２つの音センサ２の検知範囲が重複している領域を撮影光軸が通るようにそれぞれ位置している。制御部は、少なくとも１つの音センサ２が音を検知したときに、いずれかの撮像部３が音の発信源の動きに追従してその発信源の方向を向くように、駆動部５を制御して支持部材４を回転させ、撮像部３にて音の発信源を撮影させる。【選択図】図２
2017215676.tif 000002
【特許請求の範囲】
【請求項１】
外部から入射する音を検知する３個以上の音検知部と、
外部を撮影して画像を取得する、前記音検知部と同数の撮像部と、
前記音検知部および前記撮像部を支持する支持部材と、
前記支持部材を、鉛直方向の回転軸を中心に回転させる駆動部と、
前記音検知部の検知結果に基づいて、前記撮像部および前記駆動部を制御する制御部とを備え、
前記各音検知部は、前記回転軸の周方向に等角度ピッチでそれぞれ位置しており、
前記周方向に隣り合う２つの音検知部における音の検知範囲は、前記隣り合う２つの音検知部の全ての組み合わせについて、前記周方向の一部で重複しており、
前記各撮像部は、前記回転軸の周方向に等角度ピッチでそれぞれ位置しているとともに、前記隣り合う２つの音検知部の検知範囲が重複している領域を撮影光軸が通るようにそれぞれ位置しており、
前記制御部は、少なくとも１つの前記音検知部が音を検知したときに、いずれかの前記撮像部が前記音の発信源の動きに追従して前記音の発信源の方向を向くように、前記駆動部を制御して前記支持部材を回転させ、前記撮像部にて前記音の発信源を撮影させることを特徴とする監視システム。
【請求項２】
前記制御部は、前記周方向に隣り合う２個の音検知部にて、前記音の検知レベルが互いに近づくように、前記駆動部を制御して前記支持部材を回転させることを特徴とする請求項１に記載の監視システム。
【請求項３】
前記周方向に隣り合う２個の音検知部の一方は、全ての音検知部のうちで、前記音の検知レベルが最も高い音検知部であることを特徴とする請求項２に記載の監視システム。
【請求項４】
複数の前記音検知部が複数の方向から入射する音をそれぞれ検知した場合において、複数の前記音検知部を、最初に検知した音の検知レベルの最も高い側から、ｍを２以上の整数として、第１〜第ｍ音検知部とし、ｎを１以上ｍ以下の整数としたとき、
前記制御部は、第ｎ音検知部が最初に検知した音に対して、前記第ｎ音検知部と、それと隣り合ういずれかの音検知部とで、検知レベルが互いに近づくように、前記支持部材を回転させる処理と、その後、前記第ｎ音検知部と、それと隣り合う前記いずれかの音検知部との間の撮像部にて前記音の入射側を撮影させる処理とを、ｎ＝１〜ｍの順で少なくとも一巡、繰り返す制御を行うことを特徴とする請求項１から３のいずれかに記載の監視システム。
【請求項５】
前記制御部は、少なくとも１つの前記音検知部が音を検知するまでは、前記駆動部を制御して前記支持部材を一定速度で回転させることを特徴とする請求項１から４のいずれかに記載の監視システム。
【請求項６】
前記音検知部および前記撮像部の個数は、ともに３個または４個であることを特徴とする請求項１から５のいずれかに記載の監視システム。
【請求項７】
前記撮像部は、可視光および近赤外光の少なくとも一方の波長域に感度を有する撮像センサを有しており、
該監視システムは、前記撮像センサが感度を有する前記波長域に強度ピークを持つレーザ光を出射するレーザ光源と、前記レーザ光によって前記撮像部による撮影対象を照明するための照明光学系とをさらに備えており、
前記支持部材は、前記レーザ光源および前記照明光学系を支持していることを特徴とする請求項１から６のいずれかに記載の監視システム。
【請求項８】
前記撮像部にて撮影されて取得された画像の画像データに対して画像認識処理を行うことにより、不審者または不審物を認識する画像認識部をさらに備えていることを特徴とする請求項１から７のいずれかに記載の監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠方の物体を監視する監視システムに関するものである。
【背景技術】
【０００２】
従来から、工場等において、騒音を発生する機器の異常を検出するシステムとして、例えば特許文献１に開示されたものがある。このシステムでは、３個以上のマイクの出力信号の位相差から、騒音を発生する音源の位置を推定するとともに、推定した音源の位置の近傍をカメラで撮影して映像を取得し、推定した音源の位置を映像上に表示するようにしている。このように、複数のマイクを用いて音源の位置（方向）を推定するシステムは、例えば特許文献２および３でも同様に開示されている。
【０００３】
また、例えば特許文献４では、会議室などの部屋の天井に広角カメラを設置するとともに、広角カメラの周囲に指向性の異なるマイクを設置し、操作ボタンの押下に基づき、広角カメラの撮影画像全体から、特定のマイクで集音された音がする方向のエリアを切り出して拡大して表示したり、拡大画像と撮影画像全体とを切り替えて表示するシステムが開示されている。このシステムでは、所定のエリアを必要に応じて拡大表示することで、必要な画像の内容を判別しやすくしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１８１９１３号公報（請求項１、段落〔００２３〕、図１等参照）
【特許文献２】特開２０１１−１８８０１６号公報（請求項１、段落〔００２２〕、〔００２８〕、〔００３２〕、図１等）
【特許文献３】特開２０１２−１５００５９号公報（請求項１、段落〔０００９〕、〔００２０〕、〔００２３〕、図１等）
【特許文献４】特開２００７−２９５３３５号公報（請求項１、段落〔０００５〕、〔００１４〕、〔００３７〕、図１、図４〜図６等参照）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年では、建造物や公共施設（以下、単に建物とも称する）への不審者や不審物の侵入を、昼夜を問わずに監視できる監視システムの利用が増えている。従来、建物への不審者の侵入監視は、近距離撮影によるものがほとんどであった。建物の内部や外部でも、数ｍ〜２０ｍ程度の近距離での監視、つまり、照明光が届く監視では、例えばハロゲンランプやＬＥＤ（発光ダイオード）の光を照明光として利用したカメラや、焦電センサなどの熱センサが使用されてきた。これらのカメラや熱センサは、大量生産されるようになり、安価になってきたため、監視システムを安価に構築できる利点がある。
【０００６】
一方、最近では、ＵＡＶ（Unmanned Aerial Vehicle）やドローンと呼ばれる無人飛行機などが、建物の敷地内に侵入する問題が起こってきている。これらの無人飛行機は、大きさが３０ｃｍ〜１ｍ四方と小さく、飛行速度は時速５０ｋｍ程度と速いため、従来の近距離監視用のカメラや熱センサを利用する近距離の監視では、無人飛行機を捉えるのが困難である。このため、建物から１００ｍ〜３００ｍ程度の距離だけ離れた遠方を、建物の近くに設置したカメラで監視し、遠方を高速で飛行する無人飛行機を検知することが必要となってきている。
【０００７】
ところが、遠方を高速で移動する物体を監視するシステムを構築するにあたって、上述した特許文献１〜４のシステムを適用することは、以下の点で困難である。
【０００８】
特許文献１〜３では、音源の位置を推定するにあたって、複数のマイクからの出力信号の位相差を複雑な演算によって求める必要があり、音源の位置を即座に推定することができない（即時応答性に欠ける）。このため、特許文献１〜３のシステムを、遠方を監視するシステムに適用すると、遠方を高速で移動する物体の音を複数のマイクで検知した後、音源の位置を推定した時点では、その音源となる物体は、推定した位置とは異なる位置に移動している可能性が高い。この場合、音源となる物体をカメラで撮影することができなくなり、遠方を高速で移動する物体を追尾して撮影することができなくなる。
【０００９】
また、特許文献４のシステムでは、撮像部として、全周（全方位）の撮影が可能なカメラを用いている。仮に、建物から２００ｍ遠方を、全周撮影可能なカメラで撮影して画像を取得する場合、上記カメラとして、現在、画素数が最も多いとされている２５００万画素のセンサを有するカメラを用いても、遠方の３０ｃｍ四方の小型の物体は、全周を撮影している上記センサでは１画素以下の範囲にしか撮影されず、カメラで撮影した物体が侵入物であるかどうかの認知が困難となる。
【００１０】
本発明は、上記の問題点を解決するためになされたもので、その目的は、遠方を高速で移動する物体を、物体が発する音を頼りにして追尾して撮影できるとともに、上記物体が小型であっても、上記物体を認知可能な大きさ（画素範囲）で撮影できる監視システムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の一側面に係る監視システムは、外部から入射する音を検知する３個以上の音検知部と、外部を撮影して画像を取得する、前記音検知部と同数の撮像部と、前記音検知部および前記撮像部を支持する支持部材と、前記支持部材を、鉛直方向の回転軸を中心に回転させる駆動部と、前記音検知部の検知結果に基づいて、前記撮像部および前記駆動部を制御する制御部とを備え、前記各音検知部は、前記回転軸の周方向に等角度ピッチでそれぞれ位置しており、前記周方向に隣り合う２つの音検知部における音の検知範囲は、前記隣り合う２つの音検知部の全ての組み合わせについて、前記周方向の一部で重複しており、前記各撮像部は、前記回転軸の周方向に等角度ピッチでそれぞれ位置しているとともに、前記隣り合う２つの音検知部の検知範囲が重複している領域を撮影光軸が通るようにそれぞれ位置しており、前記制御部は、少なくとも１つの前記音検知部が音を検知したときに、いずれかの前記撮像部が前記音の発信源の動きに追従して前記音の発信源の方向を向くように、前記駆動部を制御して前記支持部材を回転させ、前記撮像部にて前記音の発信源を撮影させる。
【００１２】
３個以上の音検知部が支持部材にて支持されており、また、音検知部と同数の（３個以上の）撮像部も支持部材にて支持されている。各音検知部は、支持部材の回転軸の周方向に等角度ピッチでそれぞれ位置している。各撮像部も、支持部材の回転軸の周方向に等角度ピッチでそれぞれ位置しており、各撮像部の撮影光軸は、隣り合う２つの音検知部の検知範囲が重複している領域を通る。
【００１３】
このように、回転軸の周方向において、音検知部と撮像部とが交互に位置しているため、少なくとも１つの音検知部が音を検知したときに、制御部が駆動部を制御して支持部材を少し回転させるだけで、いずれかの撮像部（例えば音を検知した音検知部と隣り合う撮像部）が音の発信源の方向を即座に向くようになる。これにより、遠方を高速で物体が移動する場合でも、音の発信源である物体を、音を検知してから支持部材の回転後すぐに上記撮像部にて撮影することができる。また、制御部は、撮像部が音の発信源の動きに追従してその発信源の方向を向くように、駆動部を制御して支持部材を回転させるため、遠方を物体が高速で移動する場合でも、その物体を追尾して撮影し、監視することができる。
【００１４】
また、３個以上の撮像部を回転軸の周方向に位置させて、支持部材を回転させることにより、個々の撮像部の撮影範囲を、回転軸の周方向の一部のみとして、全周を断片的に撮影することができる。このように、個々の撮像部の撮影範囲を、回転軸の周方向の一部のみにできるため（各撮像部が全周撮影のカメラで構成されないので）、遠方を高速で移動する物体が小型（例えば３０ｃｍ四方の大きさ）であっても、上記物体を各撮像部にて認知可能な大きさ（画素範囲）で撮影することができる。
【００１５】
前記制御部は、前記周方向に隣り合う２個の音検知部にて、前記音の検知レベルが互いに近づくように、前記駆動部を制御して前記支持部材を回転させてもよい。
【００１６】
支持部材の回転により、周方向に隣り合う２個の音検知部にて、音の検知レベル（例えば音圧）が互いに近づくと、上記２個の音検知部の間に位置する撮像部の撮影光軸上またはその近傍に上記物体が位置することになるため、上記撮像部にて上記物体を確実に撮影することが可能となる。
【００１７】
前記周方向に隣り合う２個の音検知部の一方は、全ての音検知部のうちで、前記音の検知レベルが最も高い音検知部であってもよい。
【００１８】
音の検知レベルが最も高い音検知部は、音の発信源である物体に最も近いと考えられる。したがって、このような音検知部を含む２つの音検知部にて、音の検知レベルが互いに近づくように、支持部材を回転させることにより、上記２つの音検知部の間に位置する撮像部の撮影光軸上またはその近傍に、音の発信源である上記物体を確実に位置させて、上記物体を撮影することが可能となる。
【００１９】
複数の前記音検知部が複数の方向から入射する音をそれぞれ検知した場合において、複数の前記音検知部を、最初に検知した音の検知レベルの最も高い側から、ｍを２以上の整数として、第１〜第ｍ音検知部とし、ｎを１以上ｍ以下の整数としたとき、前記制御部は、第ｎ音検知部が最初に検知した音に対して、前記第ｎ音検知部と、それと隣り合ういずれかの音検知部とで、検知レベルが互いに近づくように、前記支持部材を回転させる処理と、その後、前記第ｎ音検知部と、それと隣り合う前記いずれかの音検知部との間の撮像部にて前記音の入射側を撮影させる処理とを、ｎ＝１〜ｍの順で少なくとも一巡、繰り返す制御を行ってもよい。
【００２０】
複数の音検知部が複数の方向から入射する音をそれぞれ検知した場合に、制御部が、支持部材の回転と、撮像部による撮影とを繰り返す制御を行うことにより、それぞれの音の入射側を撮影した画像に基づいて、音の発信源である物体（侵入物）の認知を行うことが可能となる。このため、音を発する複数の物体の監視が可能となる。また、音の発信源は１個であっても、音の反射等による回り込みの有無を判断することも可能となる。なお、物体の認知は、例えば、撮影画像を表示部に表示して、システムのオペレータが表示画像を視認することで行ってもよいし、撮影画像に対する画像認識処理の結果に基づいて画像認識部が行ってもよい。
【００２１】
前記制御部は、少なくとも１つの前記音検知部が音を検知するまでは、前記駆動部を制御して前記支持部材を一定速度で回転させてもよい。
【００２２】
例えば、音を発しない不審者や、音検知部が検知できないほど小さい音しか発しない物体が近づいてくる場合でも、支持部材が一定速度で回転することで、各撮像部にて周囲を撮影し、撮影した画像に基づいて、上記不審者や上記物体を認知することが可能となる。
【００２３】
前記音検知部および前記撮像部の個数は、ともに３個または４個であってもよい。この場合、音検知部および撮像部の少ない個数で、つまり、低コストかつ簡単な構成で、上述の効果を得ることができる。
【００２４】
前記撮像部は、可視光および近赤外光の少なくとも一方の波長域に感度を有する撮像センサを有しており、該監視システムは、前記撮像センサが感度を有する前記波長域に強度ピークを持つレーザ光を出射するレーザ光源と、前記レーザ光によって前記撮像部による撮影対象を照明するための照明光学系とをさらに備えており、前記支持部材は、前記レーザ光源および前記照明光学系を支持していてもよい。
【００２５】
可視または近赤外の波長域に感度を有する撮像センサは、中赤外または遠赤外センサに比べて安価であり、１画素のサイズが小さいために画素数が多くても小型である。このため、安価で小型の監視システムの実現に寄与できる。また、レーザ光源から出射されるレーザ光は、撮像センサと同じ感度波長域（可視または近赤外の波長域）に強度ピークを有しているため、夜間でも、照明光学系を介して撮影対象をレーザ光で照明し、撮像センサにて撮影して監視することができる。また、支持部材は、音検知部および撮像部に加えて、レーザ光源および照明光学系を支持しているため、支持部材の回転によってレーザ光源および照明光学系を撮像部と同時に回転させて、撮像部の撮影範囲をレーザ光で照明することができる。
【００２６】
前記監視システムは、前記撮像部にて撮影されて取得された画像の画像データに対して画像認識処理を行うことにより、不審者または不審物を認識する画像認識部をさらに備えていてもよい。画像認識処理により、動物、植物、ごみなどの無害な物体と区別して、不審者または不審物を認識することができる。これにより、高度な監視を行うシステムを実現することができる。
【発明の効果】
【００２７】
上記の構成によれば、遠方を高速で移動する物体を、物体が発する音を頼りにして追尾し、撮影することができる。また、上記物体が小型であっても、上記物体を認知可能な大きさ（画素範囲）で撮影することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施の一形態に係る監視システムの外観を示す斜視図である。
【図２】上記監視システムの概略の構成を示す斜視図である。
【図３】上記監視システムが備える各音センサの位置関係を示す説明図である。
【図４Ａ】図３で示した音センサの１つについての音の検知範囲を模式的に示す説明図である。
【図４Ｂ】図３で示した他の音センサについての音の検知範囲を模式的に示す説明図である。
【図４Ｃ】図３で示したさらに他の音センサについての音の検知範囲を模式的に示す説明図である。
【図５】図３で示した各音センサの音の検知範囲の内訳を示す説明図である。
【図６】上記監視システムが備える各撮像部の位置関係を示す説明図である。
【図７】上記各撮像部の各撮影範囲をまとめて示す説明図である。
【図８Ａ】図６で示した撮像部の１つについての撮影範囲を示す説明図である。
【図８Ｂ】図６で示した他の撮像部についての撮影範囲を示す説明図である。
【図８Ｃ】図６で示したさらに他の撮像部についての撮影範囲を示す説明図である。
【図９】上記監視システムの主要部の構成を示すブロック図である。
【図１０】上記監視システムにおける動作の流れを示すフローチャートである。
【図１１】上記監視システムの各音センサと、遠方の物体との位置関係の一例を示す説明図である。
【図１２】回転前の上記各音センサの検知レベルの一例を示すグラフである。
【図１３】回転後の上記各音センサと、遠方の物体との位置関係を示す説明図である。
【図１４】回転後の上記各音センサの検知レベルを示すグラフである。
【図１５】上記監視システムの他の構成を模式的に示す平面図である。
【図１６】複数の音センサが複数の方向から入射する音をそれぞれ検知する様子を模式的に示す説明図である。
【図１７】図１６の配置における各音センサの検知レベルの一例を示すグラフである。
【図１８】回転後の上記各音センサと、遠方の物体との位置関係を示す説明図である。
【図１９】回転後の上記各音センサの検知レベルを示すグラフである。
【図２０】上記監視システムのさらに他の構成の一部を示す説明図である。
【発明を実施するための形態】
【００２９】
本発明の実施の一形態について、図面に基づいて説明すれば、以下の通りである。なお、本明細書において、数値範囲をＡ〜Ｂと表記した場合、その数値範囲に下限Ａおよび上限Ｂの値は含まれるものとする。
【００３０】
〔用語について〕
最初に、本明細書で使用する主な用語の定義を以下に示す。
遠赤外（光）：主に波長７μｍ以上１４μｍ以下の範囲の放射光を言う。ちなみに、人や動物の体温は、波長８μｍ以上１２μｍ以下の放射光である。
中赤外（光）：主に波長２．５μｍ以上７μｍ未満の範囲の放射光を言う。
近赤外（光）：主に波長７００ｎｍ以上２５００ｎｍ未満の範囲の放射光を言い、特に、波長７８０ｎｍ以上１０００ｎｍ以下の範囲の放射光を指す。
可視（光）：主に波長４００ｎｍ以上７００ｎｍ未満の範囲の放射光を言い、特に、波長４５０ｎｍ以上６５０ｎｍ以下の範囲の放射光を指す。
物体検知：音や画像から、そこにある物体が存在することを感知する。
物体認知：音や画像から、存在している物体が何であるかを判断する。
監視：警備しているエリアの内外に不審者や不審物があるかどうかを注視している状態を指す。
画像認識：予め決められた特徴と合致するものを画像の中から見つけ出すことを言う。
テレセントリック：レンズ系の瞳中心を通る中央光線が軸上でも軸外でも光軸に平行な状態を言う。結像側または縮小側で中央光線がすべて光軸と平行な場合は、特に像側テレセントリックと言う。瞳の周辺を通る光線は必ずしも光軸に平行ではなく、平行光束とは異なる。
【００３１】
〔監視システムについて〕
図１は、本実施形態の監視システム１の外観を示す斜視図であり、図２は、監視システム１の概略の構成を示す斜視図である。監視システム１は、例えば建物ＢＬの屋上に設置されて、遠方を監視するシステムであり、音センサ２と、撮像部３と、支持部材４と、駆動部５と、制御部６（図９参照）とを有している。
【００３２】
支持部材４は、音センサ２および撮像部３を下方から支持するプレート（回転台）で構成されているが、フレームで構成されて、音センサ２および撮像部３を連結して支持してもよい。駆動部５は、支持部材４を、鉛直方向（上下方向）の回転軸Ｍを中心に回転させる駆動機構であり、モータやシャフトなどを有して構成されている。回転軸Ｍが鉛直方向であるため、支持部材４は、回転軸Ｍに垂直な面に沿って水平方向に回転可能である。制御部６は、音センサ２の検知結果に基づいて、撮像部３および駆動部５を制御するブロックであり、例えば中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成されている。
【００３３】
音センサ２は、外部から入射する音（音圧）を検知する音検知部であり、例えば指向性を持つマイクなどの音響センサで構成されている。本実施形態では、音センサ２は、３つの音センサ２ａ・２ｂ・２ｃで構成されている。
【００３４】
図３は、３つの音センサ２ａ・２ｂ・２ｃの位置関係を示しており、図４Ａ〜図４Ｃは、各音センサ２ａ・２ｂ・２ｃの音の検知範囲Ｄ１・Ｄ２・Ｄ３を模式的に示している。本実施形態では、各音センサ２ａ・２ｂ・２ｃは、回転軸Ｍの周方向に、例えば１２０°の等角度ピッチでそれぞれ位置している。また、各音センサ２ａ・２ｂ・２ｃの音の検知範囲Ｄ１・Ｄ２・Ｄ３は、回転軸Ｍに垂直な面内（水平面内）で、中心角が約１５０°の範囲である。この結果、回転軸Ｍの周方向に隣り合う２つの音センサにおける音の検知範囲は、隣り合う２つの音検知部の全ての組み合わせについて、周方向の一部で重複している。
【００３５】
図５は、音の検知範囲Ｄ１・Ｄ２・Ｄ３の内訳を示したものである。同図に示すように、周方向に隣り合う２つの音センサ２ａ・２ｂの検知範囲Ｄ１・Ｄ２は、周方向の一部の領域Ｔ１で重複している。同様に、周方向に隣り合う２つの音センサ２ｂ・２ｃの検知範囲Ｄ２・Ｄ３は、周方向の一部の領域Ｔ２で重複している。さらに、周方向に隣り合う２つの音センサ２ｃ・２ａの検知範囲Ｄ３・Ｄ１は、周方向の一部の領域Ｔ３で重複している。したがって、音センサ２ａの検知範囲Ｄ１は、回転軸Ｍの周方向に隣接して並ぶ、中心角３０°の領域Ｔ３と、中心角９０°の領域Ｒ１と、中心角３０°の領域Ｔ１とで構成される。同様に、音センサ２ｂの検知範囲Ｄ２は、回転軸Ｍの周方向に隣接して並ぶ、中心角３０°の領域Ｔ１と、中心角９０°の領域Ｒ２と、中心角３０°の領域Ｔ２とで構成される。さらに、音センサ２ｃの検知範囲Ｄ３は、回転軸Ｍの周方向に隣接して並ぶ、中心角３０°の領域Ｔ２と、中心角９０°の領域Ｒ３と、中心角３０°の領域Ｔ３とで構成される。
【００３６】
図２で示した撮像部３は、外部を撮影して画像を取得するカメラであり、３つの撮像部３ａ・３ｂ・３ｃで構成されている。つまり、撮像部３の個数は、音センサ２と同数の３個である。各撮像部３は、レンズ（図２０のレンズ３Ｌに対応）および撮像センサ３Ｓ（図９参照）等を備えている。上記のレンズは、例えば水平全画角９０°、垂直全画角６０°、対角全画角２ω＝１００°の広角レンズで構成されるが、これよりも画角の狭い望遠レンズで構成されてもよい。
【００３７】
撮像センサ３Ｓは、可視光および近赤外光の少なくとも一方の波長域に感度を有し、１００ｍ以上３００ｍ以下の距離だけ離れた撮影対象を、上記レンズを介して撮影する。なお、撮像センサ３Ｓの撮影対象には、物体などの有体物、空間などの無体物が含まれ、上記の物体には、無人飛行機などの不審物や、不審者などが含まれる。ここでは、説明の理解をしやすくするため、撮影対象を物体（例えば無人飛行機）として説明する。なお、上記物体が空中に存在していない場合（不審物が存在していない場合）、撮影対象は撮像センサ３Ｓから上記距離だけ離れた位置にある一定範囲の空間となり、撮像センサ３Ｓは上記空間を撮影対象として撮影することになる。以上のことから、以下で登場する「物体」は、適宜「撮影対象」に読み替えることができるものとする。
【００３８】
撮像センサ３Ｓは、例えば２５０万画素を有する、対角１／６インチのセンサであり、可視から近赤外の波長域に感度を持っている。このような撮像センサ３Ｓとしては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）といった一般的なイメージセンサを用いることができる。
【００３９】
図６は、３つの撮像部３ａ・３ｂ・３ｃの位置関係を示しており、図７は、各撮像部３ａ・３ｂ・３ｃの撮影範囲Ｅ１・Ｅ２・Ｅ３をまとめて示している。本実施形態では、各撮像部３ａ・３ｂ・３ｃは、回転軸Ｍの周方向に、例えば１２０°の等角度ピッチでそれぞれ位置している。また、各撮像部３ａ・３ｂ・３ｃの撮影範囲Ｅ１・Ｅ２・Ｅ３は、回転軸Ｍに垂直な面内（水平面内）で、中心角が約９０°の範囲である。
【００４０】
図８Ａ〜図８Ｃは、各撮像部３ａ・３ｂ・３ｃの撮影範囲Ｅ１・Ｅ２・Ｅ３を個々に、前述の領域Ｔ１・Ｔ２・Ｔ３と併せて示したものである。各撮像部は、周方向に隣り合う２つの音検知部の検知範囲が重複している領域を撮影光軸が通るようにそれぞれ位置している。具体的には、撮像部３ａは、隣り合う２つの音センサ２ａ・２ｂの検知範囲が重複している領域Ｔ１を、撮像部３ａの撮影光軸ＡＸ１が通るように位置している。同様に、撮像部３ｂは、隣り合う２つの音センサ２ｂ・２ｃの検知範囲が重複している領域Ｔ２を、撮像部３ｂの撮影光軸ＡＸ２が通るように位置している。さらに、撮像部３ｃは、隣り合う２つの音センサ２ｃ・２ａの検知範囲が重複している領域Ｔ３を、撮像部３ｃの撮影光軸ＡＸ３が通るように位置している。なお、各撮影光軸ＡＸ１〜ＡＸ３は、各撮像部３ａ〜３ｃが有するレンズの光軸である。
【００４１】
本実施形態では、各撮像部３は、周方向に隣り合う２つの音センサ２の周方向の中央にそれぞれ位置している。このため、各音センサ２および各撮像部３は、回転軸Ｍの周方向に等角度間隔で位置している。その結果、図８Ａ〜図８Ｃのように、各撮影光軸ＡＸ１〜ＡＸ３は、各領域Ｔ１〜Ｔ３の周方向の中央を通っている。なお、各撮影光軸ＡＸ１〜ＡＸ３は、各領域Ｔ１〜Ｔ３内を通るのであれば、上記周方向の中央から、周方向のどちらかにずれていてもよい（各撮像部３は、周方向に隣り合う２つの音センサ２の周方向の中央から、周方向にずれて位置していてもよい）。
【００４２】
図９は、監視システム１の主要部の構成を示すブロック図である。同図に示すように、監視システム１は、上述した撮像部３等の他に、画像認識部７と、報知部８と、通信部９と、表示部１０と、記憶部１１とをさらに有しており、これらは全て制御部６によって制御される。
【００４３】
画像認識部７は、撮像センサ３Ｓにて撮影されて取得された画像の画像データに対して画像認識処理を行うことにより、不審物または不審者を検知または認知するブロックであり、例えば特定のアルゴリズム基づく処理を行う回路で構成される。上記の画像認識処理には、例えば、撮影によって取得された画像の画像データに対して、物体（人、自転車、バイク、自動車、無人飛行機などを含む）の輪郭を抽出してパターンマッチング等の手法で形状を認識する処理が含まれる。
【００４４】
報知部８は、不審者または不審物の存在を外部に報知するブロックであり、例えば音や音声を出力する出力部（ブザー、スピーカーなど）で構成されている。報知部８での報知は、例えば監視システム１を管理するオペレータが表示部１０に表示される撮影画像を目視で確認して不審者または不審物を認知したことを操作部（図示せず）を介して入力したとき、または、画像認識部７が画像認識によって不審者または不審物を認知したときに、上記操作部または画像認識部７からそれぞれ入力される信号に基づいて、制御部６が報知部８を制御することによって行われる。
【００４５】
通信部９は、不審者または不審物が存在するという情報を外部に出力するためのインターフェースとなる部分であり、インターネットなどの通信回線（有線、無線のどちらでもよい）と接続されている。表示部１０は、撮像センサ３Ｓにて撮影された画像を表示する部分であり、液晶表示装置や有機ＥＬ（electro-luminescence）表示装置などの表示装置で構成されている。記憶部１１は、各音センサ２の周方向の位置情報など、各種の情報を記憶するメモリであり、例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、不揮発性メモリなどで構成されている。
【００４６】
次に、本実施形態の監視システム１の動作について説明する。図１０は、監視システム１における動作の流れを示すフローチャートである
【００４７】
定常監視（Ｓ１〜Ｓ３）では、画像認識部７での画像認識処理により、無音で移動したり、音センサ２では検知できないほど小さい音を発して移動する不審物や不審者の接近および侵入を検知する処理を行っている。すなわち、定常監視では、駆動部５により、支持部材４を一定速度で回転させる（Ｓ１）。このときの支持部材４の回転速度は、例えば１秒間で１２０°回転する速度である。なお、鉛直方向の回転軸Ｍに対する回転方向は、右回りでも左回りでもよく、途中で回転方向を反転させてもよい。
【００４８】
続いて、撮像部３が外部を撮影して画像を取得すると（Ｓ２）、画像認識部７は、撮像部にて取得された画像に対して画像認識処理を行う（Ｓ３）。
【００４９】
なお、例えば、監視システム１から２００ｍの距離にある３０ｃｍ四方の物体は、撮像センサ３Ｓでは、広角レンズを介して１．５×１．５画素の範囲に撮影される（このときの撮像センサ３Ｓの１画素の大きさは、例えば３μｍ×３μｍとする）。この程度の大きさの物体であれば、画像認識部７にて物体の検知が可能である。また、遠方の撮影範囲を物体が横切る際に、水平方向よりも短い垂直方向に、一直線に時速５０ｋｍで横切ったとしても、その物体を撮像センサ３Ｓにて約１６０秒間撮影できる。したがって、画像認識部７は、この撮影の間に画像認識などにより物体を検知することが可能である。
【００５０】
Ｓ３での画像認識処理により、画像認識部７が不審物または不審者（以下、不審物等とも称する）を検知して認知した場合（Ｓ４にてＹｅｓ）、制御部６は上記認知に基づいて報知部８を動作させて、不審物等の存在を周囲に報知（警告）するとともに、不審物等が侵入した旨の情報を、通信部９を介して外部（例えば警備会社）に送信する（Ｓ５）。なお、外部への報知および情報送信（通報）は、オペレータ自身が直接行ってもよい（オペレータが操作部を操作して報知部８および通信部９を動作させてもよい）。
【００５１】
一方、Ｓ４にて、画像認識部７が不審物等を認知しなかった場合（例えば画像認識の結果、物体がゴミや木の葉などの無害なものであると認知した場合）、Ｓ６にて、制御部６は、音センサ２が異常音を検知したかどうかを判断する。音センサ２が異常音を検知しなかった場合は（Ｓ６にてＮｏ）、Ｓ１に戻って以降の処理を繰り返す。一方、音センサ２が異常音を検知した場合（Ｓ６にてＹｅｓ）、制御部６は、いずれかの撮像部３が音の発信源の動きに追従してその発信源の方向を向くように、駆動部５を制御して支持部材４を回転させる（Ｓ７）。
【００５２】
ここで、例えば図１１および図１２に示すように、３個の音センサ２ａ・２ｂ・２ｃのうち、物体ＯＢが発する音の検知レベルが音センサ２ａにて最も高い場合、制御部６は、図１３および図１４に示すように、音センサ２ａと、その音センサ２ａと周方向に隣り合う音センサ（例えば音センサ２ｂ）とで、音の検知レベルが互いに近づき、ほぼ等しくなるように、駆動部５を制御して支持部材４を回転させる。なお、上記の音の検知レベルとは、検知した音の音圧そのもの（単位はＰａ）であってもよいし、検知した音圧と基準音圧との比（音圧レベル：単位はｄＢ）であってもよい。さらに、音の波長（Ｈｚ）を音圧や比音圧に加えて検知レベルとしてもよい。また、音の波長としては、可聴音だけでなく、低音波や超音波を使用してもよい。
【００５３】
上記のように支持部材４を回転させると、隣り合う２個の音センサ２ａ・２ｂの間に位置する撮像部３ａの撮影光軸ＡＸ１が、音の発信源である物体ＯＢの方向を向くようになる（図１３参照）。この状態で、制御部６は、撮像部３ａによって音の発信源（物体ＯＢ）を撮影させる（Ｓ８）。その後、画像認識部７は、撮像部３ａでの撮影によって得られた画像に対して画像認識処理を行う（Ｓ９）。
【００５４】
Ｓ９での画像認識の結果、画像認識部７が不審物等を認知しなかった場合（Ｓ１０にてＮｏ）、Ｓ６に戻って以降の処理を繰り返す。このとき、物体ＯＢが移動していれば、各撮像部３での音の検知レベルが、１回目に検知したときの値とは異なる。この場合でも、Ｓ７にて、隣り合う２つの音センサ２の検知レベルが近づくように支持部材４を回転させることで、移動する物体ＯＢの方向を常に向くように、いずれかの撮像部３を位置させて、Ｓ８にて、物体ＯＢを撮影することができる。つまり、物体ＯＢの移動に追従して、物体ＯＢを撮影することが可能となる。一方、Ｓ１０にて、画像認識部７が不審物等を認知した場合は、Ｓ５に移行し、制御部６は、報知部８にて不審物等の存在を周囲に報知、警告するとともに、不審物等が侵入した旨の情報を、通信部９を介して外部に送信する。
【００５５】
以上のように、本実施形態では、３個の音センサ２ａ・２ｂ・２ｃと、３個の撮像部３ａ・３ｂ・３ｃとが、回転軸Ｍの周方向において交互に位置するように支持部材４にて支持されている。このため、いずれかの音センサ２が音を検知したときに、支持部材４の少しの回転によって、いずれかの撮像部３（上記の例では撮像部３ａ）が音の発信源の方向を即座に（例えば音を検知してから０．１秒以内に）向くようになる。したがって、音センサ２に到達する音の位相差情報などから複雑な計算を行って音源の方向を割り出す必要はなく、そのような計算時間を要しない。これにより、遠方を高速で（例えば時速８０ｋｍで）物体ＯＢが移動する場合でも、物体ＯＢの音を検知してから支持部材４の回転後すぐに撮像部３にて撮影することができる。また、撮像部３が音の発信源である物体ＯＢの動きに追従してその物体ＯＢの方向を向くように、支持部材４が回転するため、遠方を物体ＯＢが高速で移動する場合でも、その物体ＯＢの音を頼りにして、物体ＯＢを追尾して撮影し、監視することができる。
【００５６】
また、３個の撮像部３ａ・３ｂ・３ｃを回転軸Ｍの周方向に位置させて支持部材４を回転させることで、図７で示したように、個々の撮像部３ａ・３ｂ・３ｃの撮影範囲Ｅ１・Ｅ２・Ｅ３を、回転軸Ｍの周方向の一部のみとして（各撮像部を全周撮影のカメラで構成しなくても）、支持部材４の回転によって全周を（断片的に）撮影することができる。このため、遠方を高速で移動する物体ＯＢが小型（例えば３０ｃｍ四方の大きさ）であっても、物体ＯＢを各撮像部３ａ・３ｂ・３ｃにて認知可能な大きさ（画素範囲）で撮影することができる。
【００５７】
このように、音センサ２が検知した音の発生源を撮像部３で撮影することで、１００ｍ〜３００ｍ遠方を、音と画像との両方で監視することが可能となる。なお、音は波長が長いため、回り込みやすく、１２０°よりも大きい検知範囲を持つ音センサ２（マイクなど）は、容易に実現可能である。一方、撮像部３は、広角レンズを用いて広角な範囲を撮影できるとしても、小さな物体の認識を可能とする画角には限界がある。例えば、撮像センサ３Ｓとして、画素数が２５０万個の可視または近赤外センサを使用しても、約２００ｍ遠方で３０ｃｍ四方の物体を認識するには、全画角９０°程度が限界となる。しかし、平常時の監視において、隣り合う２つの音センサ２の間に撮像部３を配置し、この配置のまま、０．１秒〜１秒間に１２０°の回転速度で撮像部３を回転させることにより、移動物体の音を頼りに撮影を行うことができ、１００ｍ〜３００ｍの遠方にある、３０ｃｍ四方くらいの小さな物体を撮影し、認識することができる。
【００５８】
また、外部から建物や構造物に人や物体が侵入しようとする場合に、低速で移動する人や物体は、無音であるか、小さな音を発することが多く、高速で移動する人や物体は、音を出しながら接近するものが多い。例えば、時速２０ｋｍ程度よりも遅い移動体としては、徒歩、自転車、またはローラースケートで移動する人などが考えられる。これらは、動力源であるモータやエンジンを有していないので、大きな音を発しない。これに対して、時速５０ｋｍ程度の移動体としては、バイク、自動車、無人飛行機などが考えられ、これらはモータやエンジンを有して音を発する。このような高速で移動する物体を認知するためには、静止したり、ゆっくりと回転しているカメラでの撮影では、見逃してしまう恐れがある。
【００５９】
この点、本実施形態では、撮像部３が回転軸の周方向に３個設けられており、どのような方向の異常音を検知しても、支持部材４の回転により、いずれかの撮像部３を素早く、異常音の発信源の方向に向かせて撮影することができる。これにより、モータやエンジンなどの動力源によって高速で移動する物体についても、見逃すことなく撮影して監視することができる。また、無音であるか、小さな音しか発しない移動体は、移動速度が時速２０ｋｍよりも遅いため、定常監視にて、支持部材４をゆっくりと回転させて、その移動体を撮像部３にて撮影し、監視することができる。
【００６０】
また、本実施形態では、制御部６は、周方向に隣り合う２個の音センサ２（上記の例では、音センサ２ａ・２ｂ）にて、音の検知レベルが互いに近づくように、駆動部５を制御して支持部材４を回転させるため、２個の音センサ２ａ・２ｂの間に位置する撮像部２ａの撮影光軸ＡＸ１上またはその近傍に物体ＯＢを位置させることが容易となり、撮像部２ａにて物体ＯＢを確実に撮影することが可能となる。
【００６１】
また、周方向に隣り合う２個の音センサ２の一方は、全ての音センサ２のうちで、音の検知レベルが最も高い音センサ２（上記の例では、音センサ２ａ）である。音センサ２ａは、音の検知レベルが最も高いがゆえに、物体ＯＢに最も近いと考えられる。したがって、隣り合う２個の音センサ２の一方が、検知レベルの最も高い音センサ２ａを含んでいることにより、２個の音センサ２ａ・２ｂの間に位置する撮像部２ａの撮影光軸ＡＸ１上またはその近傍に、物体ＯＢを確実に位置させて撮影することが可能となる。
【００６２】
また、制御部６は、音センサ２が音を検知するまでは、駆動部５を制御して支持部材４を一定速度で回転させている（Ｓ１、Ｓ６参照）。このため、音を発しない不審者や、音センサ２が検知できないほど小さい音しか発しない物体が近づいてくる場合でも、支持部材３の回転によって各撮像部３にて周囲を撮影し、撮影した画像に基づいて、上記不審者や上記物体を認知することが可能となる。
【００６３】
また、画像認識部７は、画像認識により、不審物を無害なものと区別して認識できるため、高度な監視システム１を実現することが可能となる。なお、上記無害なものには、動物（虫、鳥を含む）、植物（木の葉を含む）、ゴミなどが含まれる。
【００６４】
また、公共のインフラ（インフラストラクチャー；産業や生活の基盤として整備される施設）や、公共の建物などの重要な施設では、不審物等の侵入監視を２４時間行っている場合が多い。このような施設では、害を及ぼさない物体（ゴミ等）によって頻繁に侵入者がいるような警報が発せられることが考えられる。このような場合、監視システムで警備を行っている人は、何らかの行動を起こし、誤報であることを１つ１つ確認しなければならない。時には、侵入したと思われる場所まで駆けつけて、誤報を発した原因を突き止める必要がある。
【００６５】
これに対して、上述した本実施形態の監視システム１では、画像認識部７を駆使することにより、予め無害なものと有害である可能性のあるものとに分けて認識することができるため、警備を行う人が誤報により現場まで駆けつける必要性を最小限に抑えることが可能となる。
【００６６】
また、例えば、遠方に工事現場があると、稼働中のクレーンの音を音センサ２が検知する場合がある。この場合でも、画像認識部７が撮影画像（クレーンの画像）に対する画像認識処理を行うことにより、音源が無人飛行機などの不審物でないと判断することができる。したがって、音センサ２と画像認識部７とを有する本実施形態の構成では、音センサ２による音の検知と、画像認識部７による画像認識とを併用して、物体が不審者または不審物であるかどうかの判断を行うことができるため、より精度のより高い監視システム１を実現することが可能となる。
【００６７】
なお、以上では、不審物等の認知は、画像認識部７によって行っているが（図１０のＳ４、Ｓ１０参照）、例えば、撮影画像を表示部に表示して、システムのオペレータ自身が表示画像を視認することで行ってもよい。
【００６８】
（他のスペックについて）
図２で示した構成において、撮像部３の撮像センサ３Ｓとして、遠赤外線の波長域に感度を有する３５万画素のセンサを用い、レンズとして、水平全画角３５°で、対角全画角２ω＝４３°のレンズを用いてもよい。この場合でも、２００ｍ遠方の３０ｃｍ四方の物体は、撮像センサ３Ｓにおいて、１．５×１．５画素の範囲に結像するので、撮影画像に基づいて物体の存在を検知することができる。
【００６９】
また、上記構成では、定常監視のとき、支持部材４を、０．５秒間で１２０°回転する速度で回転させることが望ましい。このような設定により、２００ｍ遠方で画面の短辺を一直線に時速５０ｋｍで横切る物体を、約３．５秒撮影することが可能となる。この場合、フレームレートが３０Ｈｚの撮影であれば、９０フレーム以上撮影できるため、物体の認知が可能である。また、異常音を検知した場合には、０．１秒の間にいずれか２つの音センサ２の検知レベルがほぼ一致するまで支持部材４を回転させることにより、音源である物体の追尾が可能である。
【００７０】
遠赤外線の波長域に感度を有するセンサとしては、例えばマイクロボロメータを用いることができる。上記センサは安価で入手可能であるので、監視システム１を安価に構築できる。また、遠赤外線センサ用の水平全画角３５°程度のレンズも、市販品でラインナップされており、容易に入手可能である。
【００７１】
〔監視システムの他の構成〕
図１５は、監視システム１の他の構成を模式的に示す平面図である。同図のように、音センサ２および撮像部３は４つずつ設けられて、支持部材４にて支持されてもよい。つまり、音センサ２は、音センサ２ａ〜２ｄで構成されてもよく、撮像部３は、撮像部３ａ〜３ｄで構成されてもよい。このとき、音センサ２ａ〜２ｄは、回転軸Ｍの周方向に等角度ピッチ（例えば９０°ピッチ）でそれぞれ位置する。また、撮像部３ａ〜３ｄは、回転軸Ｍの周方向に等角度ピッチ（例えば９０°ピッチ）でそれぞれ位置するとともに、隣り合う２つの音センサ２の検知範囲が重複している領域を撮影光軸が通るようにそれぞれ位置する。このような構成であっても、上記と同様の制御を行うことにより、遠方を高速で移動する物体ＯＢの音を頼りにして、物体ＯＢを追尾して撮影し、監視することができる。
【００７２】
ここで、各撮像部３のレンズとして、水平全画角９０°のレンズを使用している場合は、上記の配置を採用することにより、各撮像部３で得られる画像を足し合わせて、常に周方向に３６０°隙間なく監視することができる。このとき、場合によっては回転を停止させるようにしてもよい。また、各撮像部３のレンズとして、例えば水平全画角３５°のレンズを使用することも可能である。この場合は、周方向において瞬間的に撮影されていない範囲がわずかに生ずるため、定常監視において低速回転する速度を、２秒間で１２０°回転する速度にする。
【００７３】
図示はしないが、音センサ２および撮像部３は、それぞれ５個以上設けられてもよい。ただし、音センサ２および撮像部３の個数が３個または４個であるほうが、音センサ２および撮像部３の少ない個数で上述した本実施形態の効果が得られ、また、構成の複雑化も回避できる点で望ましい。つまり、音センサ２および撮像部３の個数が３個または４個であれば、低コストかつ簡単な構成で本実施形態の効果を得ることができる。
【００７４】
〔監視システムの他の制御〕
図１６は、複数の音センサ２が複数の方向から入射する音をそれぞれ検知する様子を模式的に示している。音は、光と同様に、回折や反射によって進行方向が変化することが知られている。このため、例えば、監視システム１が設置された建物の近傍に、別の建物（図１６では壁Ｗで図示）が存在する場合、物体ＯＢから撮像部３に直接届く音と、物体ＯＢから発せられて壁Ｗで反射して、撮像部３に届く音とが存在する。この場合、音が入射してくるそれぞれの方向に物体ＯＢが存在するのかどうか（不審物等が複数存在するのか）、壁Ｗなどの障害物が存在するのか（物体ＯＢは１つであるのか）を判断することが必要となる。
【００７５】
そこで、制御部６は、複数の音センサ２が複数の方向から入射する音をそれぞれ検知した場合、以下のような制御を行ってもよい。なお、物体ＯＢと音センサ２との距離、壁Ｗでの音の吸収、音の回り込みの程度の違い等により、最初に検知した音の検知レベルは、図１７に示すように、音センサ２ａ・２ｂ・２ｃ間で互いに異なり、音センサ２ａにて最も高く、音センサ２ｂにて次に高く、音センサ２ｃにて最も低いと仮定する。この場合、最初に検知した音の検知レベルの最も高い音センサ２ａを、第１音検知部と考え、最初に検知した音の検知レベルの次に高い音センサ２ｂを、第２音検知部と考え、最初に検知した音の検知レベルの最も低い音センサ２ｃを、第３音検知部と考えることができる。また、各音センサ２が音を最初に検知したときの周方向の位置に関する情報（座標、回転角度など）や、上記した各音センサ２で検知した音の検知レベルは、記憶部１１に記憶されているものとする。
【００７６】
まず、制御部６は、最初に検知した音の検知レベルが最も高い音センサ２ａが検知した音に対して、音センサ２ａと、それと隣り合う音センサ２（例えば音センサ２ｂ）とで、検知レベルが互いに近づくように、駆動部５を制御して、音センサ２ａが音を最初に検知した位置を基準にして支持部材４を回転させ、その後、音センサ２ａ・２ｂの間の撮像部３ａにて音の入射側を撮影させる（図１３参照）。これにより、撮像部３ａにて取得された画像に基づいて、画像認識等により、音の入射側の状態（物体ＯＢが存在するか否か）を判断することが可能となる。
【００７７】
次に、図１８に示すように、制御部６は、最初に検知した音の検知レベルが次に高い音センサ２ｂが検知した音に対して、音センサ２ｂと、それと隣り合う音センサ２（例えば音センサ２ｃ）とで、検知レベルが互いに近づくように、駆動部５を制御して、音センサ２ｂが音を最初に検知した位置を基準にして支持部材４を回転させ、その後、音センサ２ｂ・２ｃの間の撮像部３ｂにて音の入射側を撮影させる。これにより、撮像部３ｂにて取得された画像に基づいて、画像認識等により、音の入射側の状態（物体ＯＢが存在するか否か）を判断することが可能となる。なお、このときの音センサ２ａ〜２ｃの検知レベルは、例えば図１９のように変化する。以降、音センサ２ｃが検知した音に対しても、上記と同様の処理を行えばよい。
【００７８】
なお、図１５のように音センサ２および撮像部３を４つ設ける場合や、５個以上設ける場合でも、上記と同様の処理を、検知レベルの高い音についての処理から低い音についての処理まで順に行えばよい。また、上述の処理を２巡以上行ってもよい。つまり、検知レベルの最も低い音についての処理が終了すると、検知レベルが最も高い音についての処理に戻って、再度、上述の処理を繰り返し行ってもよい。
【００７９】
このように、複数の音センサ２が複数の方向から入射する音をそれぞれ検知した場合において、支持部材４の回転と、撮像部３による撮影とを、個々の入射方向の音について繰り返して行うとともに、これらの処理を、検知レベルの高い音についての処理から低い音についての処理の順となるように繰り返し行うことにより、それぞれの音の入射側を撮影した画像に基づいて、不審物等の認知を行い、音の入射側に壁Ｗなどの障害物があるのか、または、不審物と思われる物体ＯＢが存在するかを判断することが可能となる。また、あらかじめ壁Ｗなどの存在情報がわかっている場合には、１順目の撮影で障害物以外の撮影物体がないと判断された場合に、２順目以降で壁Ｗなどの方向の撮影をスキップしてもよい。このようにすることで、より速く複数の音源の追尾撮影を行うことができる。
【００８０】
また、検知レベルの高い音についての処理から低い音についての処理までを少なくとも一巡、繰り返して行うことにより、遠方を高速で移動する物体ＯＢが複数存在する場合でも、各物体ＯＢの音を頼りにして各物体をそれぞれ追尾して撮影し、撮影画像に基づいて認知することができる。したがって、高速で移動する複数の物体ＯＢの監視も可能となる。
【００８１】
すなわち、上述の制御によれば、音の回折や反射などによって本来の音源（物体の位置）でない方向から異常音が回り込んでくる場合、および、不審物等が複数存在する場合の両方に対応可能で、それぞれの音の入射側の状態（不審物等の有無）を判断可能な監視システム１を実現することができる。
【００８２】
以上のことから、制御部６は、以下の制御を行ってもよいと言える。すなわち、複数の音検知部が複数の方向から入射する音をそれぞれ検知した場合において、複数の音検知部を、最初に検知した音の検知レベルの最も高い側から、ｍを２以上の整数として、第１〜第ｍ音検知部とし、ｎを１以上ｍ以下の整数としたとき、制御部６は、第ｎ音検知部が最初に検知した音に対して、第ｎ音検知部と、それと隣り合ういずれかの音検知部とで、検知レベルが互いに近づくように、支持部材４を回転させる処理と、その後、第ｎ音検知部と、それと隣り合ういずれかの音検知部との間の撮像部３にて音の入射側を撮影させる処理とを、ｎ＝１〜ｍの順で少なくとも一巡、繰り返す制御を行う。なお、上記の一巡とは、ｎが１からｍまで一回り変化することを指す。
【００８３】
〔監視システムのさらに他の構成〕
図２０は、本実施形態の監視システム１のさらに他の構成の一部であって、撮像部３の詳細を示す説明図である。監視システム１の各撮像部３は、像側がほぼテレセントリックな広角レンズからなるレンズ３Ｌと、撮像センサ３Ｓとを有しているが、さらに、夜間での遠方の監視を可能とすべく、照明部を有していてもよい。以下、この点についてより詳細に説明する。
【００８４】
上記の照明部は、レーザ光を出射するレーザ光源２１と、上記レーザ光によって撮像部３による撮影対象を照明するための照明光学系２２とを有している。これらのレーザ光源２１および照明光学系２２は、支持部材４（図２等参照）によって支持されている。
【００８５】
レーザ光源２１は、例えば近赤外の波長域（例えば波長９００ｎｍ付近）に強度ピークを持つレーザ光を出射する光源である。レーザ光源２１は、撮像センサ３Ｓが感度を有する波長域に強度ピークを持つレーザ光を出射する光源であれば、どのような光源で構成されてもよい（どのような波長のレーザ光を出射してもよい）。したがって、撮像センサ３Ｓが可視光の波長域に感度を有している場合、レーザ光源２１は、可視光の波長域に強度ピークを持つレーザ光を出射する光源で構成されればよい。また、撮像センサ３Ｓが可視光および近赤外の両方の波長域に感度を有している場合、レーザ光源２１は、可視光の波長域に強度ピークを持つレーザ光を出射する光源と、近赤外の波長域に強度ピークを持つレーザ光を出射する光源とを併用して構成されればよい。レーザ光源２１は、約１０００Ｗの出力で略平行光束を出射する。
【００８６】
照明光学系２２は、レーザ光走査機構３１と、光路合成プリズム３２と、凹レンズ３３とを有して構成されている。なお、撮像部３のレンズ３Ｌは、照明光学系２２の一部を兼ねている。レーザ光源２１は、レーザ光の光路の一部がレンズ３Ｌと同軸となるように配置されている。このようなレーザ光源２１の配置は、光路合成プリズム３２を用いることによって実現できる。
【００８７】
光路合成プリズム３２は、レーザ光源２１から出射され、レーザ光走査機構３１によって走査されたレーザ光の光路を、撮影対象側からレンズ３Ｌを介して撮像センサ３Ｓに入射する光の光路と合成する光路合成部材である。この光路合成プリズム３２は、例えば、断面が直角二等辺三角形である２つのプリズムの斜面同士を、ハーフミラーとして機能する光学薄膜を介して接合することによって形成されている。レンズ３Ｌと撮像センサ３Ｓとの間の光路中に光路合成プリズム３２を配置することにより、レーザ光源２１から出射されて、レーザ光走査機構３１を介して入射するレーザ光を、レンズ３Ｌの光軸に対して垂直な方向から光路合成プリズム３２に入射させ、そのレーザ光を、光路合成プリズム３２で反射させてレンズ３Ｌに入射させることができる。
【００８８】
凹レンズ３３は、レーザ光走査機構３１から出射されるレーザ光の光束幅を拡大して光路合成プリズム３２に導く光束幅拡大素子であり、例えば非球面凹レンズで構成される。この凹レンズ３３は、撮影距離が例えば２００ｍのときに、レーザ光による照明光束の面積が、撮像センサ３Ｓで撮影される全撮影範囲の面積の１／１００程度になるように光束幅を調整（拡大）するために設けられている。レーザ光の光束幅を拡大することにより、単位面積あたりのレーザ光の強度が低下するため、万が一、人の眼にレーザ光が入射しても、それによる影響（例えば失明の危険性）を低減することができる。なお、凹レンズ３３を設ける代わりに、凸レンズをリレーレンズとして設けて、レーザ光の光束幅を拡大するようにしてもよい。
【００８９】
レーザ光走査機構３１は、レーザ光源２１から出射されたレーザ光を走査することにより、レンズ３Ｌを介して撮像センサ３Ｓが撮影している撮影対象の撮影範囲内で、凹レンズ３３、光路合成プリズム３２およびレンズ３Ｌを介して撮影範囲の一部を照明する上記レーザ光の照明位置を順にシフトさせる。このようなレーザ光走査機構３１は、平行平板４１と、平板回動機構４２とを有して構成されている。
【００９０】
平行平板４１は、互いに対向する２つの面４１ａ・４１ｂが平行に位置する透明基板であり、レーザ光源２１の光出射側に配置されている。平板回動機構４２は、平行平板４１を水平方向および垂直方向に回動させる機構であり、３０Ｈｚまたは６０Ｈｚの駆動周波数で平行平板４１を回動させる。このような平板回動機構４２は、例えばピエゾ素子のように電気的に高速で駆動可能なアクチュエータで構成可能である。図２０では、平行平板４１のある一瞬での回動状態を示しているが、平行平板４１は絶えず回動するように平板回動機構４２によって駆動される。なお、平行平板４１の水平方向および垂直方向は、監視対象である物体の水平方向および垂直方向、つまり、レンズ３Ｌの光軸に垂直な面内で互いに垂直な２方向にそれぞれ対応している。
【００９１】
上記の構成において、レーザ光源２１から出射されたレーザ光は、平行平板４１を透過した後、凹レンズ３３で光束幅が拡大され、光路合成プリズム３２によってレンズ３Ｌの方向に反射される。そして、上記レーザ光は、レンズ３Ｌを介して物体側に出射され、物体の一部を照明する。物体で反射された照明光は、上記とは逆の光路を辿り、レンズ３Ｌに入射した後、光路合成プリズム３２を透過し、撮像センサ３Ｓに入射する。
【００９２】
ここで、入射するレーザ光の光路に対して平行平板４１が傾いていると、レーザ光は平行平板４１を透過する際に、面４１ａにて、平行平板４１が傾いている方向に屈折され、面４１ｂで再び元の角度に屈折されて（面４１ａに入射する前の光路と平行な光路で）出射される。つまり、上記レーザ光は、平行平板４１を透過する際に、平行平板４１の厚みに応じた量だけ平行移動する。しかも、平行平板４１の傾きを変化させることによって、平行平板４１に対するレーザ光の入射角が変化して屈折角も変化する。このため、平行平板４１の回動により、平行平板４１から出射されるレーザ光を、平行平板４１の回動角度に応じた量だけ平行移動させることができる。
【００９３】
例えば、平行平板４１として、厚さが３４ｍｍで、波長９００ｎｍに対する屈折率が１．５１の透明基板を使用した場合は、水平方向に±１３°、垂直方向に±７．３５°だけ傾くように平行平板４１を回動させることにより、水平方向に±２．６ｍｍ、垂直方向に±１．４７ｍｍのレーザ光の平行移動が起こる。また、平行平板４１として薄いもの（例えば厚さが２５ｍｍの平板）を使用した場合は、水平方向に±１７．５°、垂直方向に±１０°だけ傾くように平行平板４１を回動させることにより、水平方向に±２．６ｍｍ、垂直方向に±１．４７ｍｍのレーザ光の平行移動が起こる。
【００９４】
レンズ３Ｌは、像側がほぼテレセントリックなレンズ系であるため、像側でレーザ光が平行移動すると、物体側では照明光（レーザ光）の角度が変化する。したがって、平板回動機構４２によって平行平板４１を回動させて、平行平板４１から出射されるレーザ光を平行移動させることにより、物体に照射されるレーザ光を走査することができる。つまり、対角１／６インチの撮像センサ３Ｓで撮影している範囲の中で、上記範囲の一部を照明するレーザ光の照明位置を順にシフトさせることができる。
【００９５】
レーザ光は、（凹レンズ３３によって光束幅を拡大しても）照明範囲が狭く、レンズ３Ｌを介して広角で撮影している範囲の一部分しか照明できない。しかし、上記のようにレーザ光を走査して照明位置を順にシフトさせることにより、撮像センサ３Ｓでは、各照明位置で撮影された画像を１フレーム分足し合わせて、１つの明るい広角の撮影画像を得ることができる。したがって、レンズ３Ｌを介して撮影対象をレーザ光で照明する構成であっても、夜間の遠方監視が可能となる。また、そのような明るい広角の撮影画像に基づいて、不審物等を検知する際の精度を向上させることも可能となる。
【００９６】
また、夜間において、建物から１００ｍ〜３００ｍ程度の距離だけ離れた遠方の不審者や、無人飛行機などの不審物の有無を監視する場合、ハロゲンランプやＬＥＤなどの安価な照明では、光量が足りない。
【００９７】
このとき、中赤外または遠赤外センサなど、物体自身の温度を検知できるセンサは、照明が不要なため（照明なしでも温度によって物体を検知できるため）、夜間における遠方の監視に向いている。最近では、赤外線センサとして、非冷却センサであるマイクロボロメータやサーモパイルが安価で販売されるようになってきている。しかし、これらの中赤外または遠赤外センサは、画素数が数十個から数十万個のものしか存在しない。これは、センサの製造技術が発達していないことと、中赤外から遠赤外の波長域は３〜１４μｍと長いため、回折効果により解像力が低下しないために１個の画素サイズを１０μｍ以下にすることができないこととに関係する。
【００９８】
製造技術が向上して、画素数の多い中赤外または遠赤外センサを製造できるようになったとしても、センサのサイズは巨大となり、これに伴って、使用するレンズも大きくなり、硝材も特殊なものが必要となる。その結果、上記レンズはかなり高額なものになるおそれがある。
【００９９】
この点、可視または近赤外の波長域に感度を有する撮像センサは、中赤外または遠赤外センサに比べて安価であり、１画素のサイズが小さいために画素数が多くても小型である。このため、安価で小型の監視システム１を構築することができる。
【０１００】
また、遠方の物体を照明するには、強力な光源が必要となる。強力な光源として、例えば可視光を出射する光源を考えた場合、サーチライトに使われるハロゲンランプを用いることができる。しかし、夜間での監視中、常にサーチライトを点灯しておくと、消費電力が増大する。
【０１０１】
本実施形態で用いたレーザ光源２１は、平行で位相および波長が揃った光束をレーザ光として作り出すことができるため、例えば１０００Ｗ程度のレーザ光で５００ｍ程度の遠方を照射して、遠方の撮影対象を照明することができる。したがって、レーザ光源２１を用いることにより、遠方の撮影対象を、サーチライトを用いる場合に比べて低消費電力で照明することができる。また、レーザ光源２１から出射されるレーザ光は、撮像センサ３Ｓと同じ感度波長域に強度ピークを有しているため、夜間でも撮影対象をレーザ光で照明し、撮影して監視することができる。
【０１０２】
また、レーザ光源２１は、レーザ光の光路の一部がレンズ３Ｌと同軸となるように配置されているため、照明光学系２２の一部が撮影光学系を兼ねる構成となる。これにより、システム自体の構成が簡素化され、システムを小型化することが可能となる。
【０１０３】
（補足）
以上で説明したレーザ光走査機構３１は、レーザ光が入射する平行平板を回動させることによってレーザ光を走査しているが、その他の方法によってレーザ光を走査してもよい。例えば、表面に回折格子を形成した平行平板にレーザ光を入射させ、上記平行平板をスライドさせることにより、レーザ光を走査してもよい。また、回転放物面ミラーの焦点位置に回動中心が位置するように回動ミラーを配置し、回動ミラーを回動させることにより、回動ミラーおよび回転放物面ミラーで順に反射されるレーザ光を走査してもよい。さらに、音響光学素子の結晶に与える超音波の振動数を変化させて、音響光学素子に入射するレーザ光の回折角度を変化させることにより、レーザ光を走査してもよい。
【０１０４】
光路中に配置した光路合成プリズム３２は、プリズムではなく、平行平板型の光路合成素子（光路合成部材）であってもよい。上記光路合成素子は、例えば、透明な平行平板の一方の面側に、ハーフミラーとして機能する反射膜を形成して構成される。そして、上記平行平板を透過する光が照明光（レーザ光）となり、上記反射膜で反射される光が物体側から撮像センサ３Ｓに向かう物体光となるように、上記光路合成素子を配置すればよい。上記光路合成素子を用いた場合でも、照明系と撮像系とで光路を合成して、コンパクトな構成を実現することができる。
【０１０５】
なお、上記光路合成素子の平行平板を透過する光を照明光としているのは、平行平板を光路中に斜めに挿入すると、収差（例えば非点隔差）が生じてしまい、平行平板を透過する光を撮像光とすると、上記収差によって画像性能が劣化するためである。
【０１０６】
撮像センサ３Ｓは、可視光および近赤外光の少なくとも一方の波長域に感度を有するものであればよく、撮像センサ３Ｓとして、可視域から近赤外域にわたって感度を持つセンサを用いることもできるし、近赤外専用のセンサを用いることもできる。近赤外専用のセンサは、照明に使う９００ｎｍ付近の感度が高く、レーザ光の出力を抑えても撮影が可能となる。近赤外光の撮影では、画像はモノクロ表示となるが、可視光撮影でのモノクロ表示と類似しているため、人による確認の場合に違和感なく認識される。
【０１０７】
撮像部３のレンズ３Ｌとして使用される広角レンズは、特殊なものではなく、一般に市販されているものを使用することが可能である。可視〜近赤外用の対角１／６インチの撮像素子用のレンズ系で、水平画角９０°のものは、市販品のラインナップで揃えられている。レンズ系と撮像素子との間には、光路合成プリズム３２などの光路合成部材（光路分岐素子）が挿入されるが、像側テレセントリックに近い光学系では、ほとんどの場合、十分なレンズバックが確保されているため、そのような光路合成部材の挿入が容易である。
【０１０８】
監視システム１は、照明のためのレーザ光源２１に加えて、レーザ光を利用して物体までの距離を計測する測距部をさらに備えていてもよい。このような測距部は、タイマー（計時部）と演算回路とを含んで構成される。例えば、制御部６により、レーザ光源２１をパルス発光させ、そのパルス発光と同期して撮像センサ３Ｓのシャッタを駆動させると、測距部は、パルス発光によって出力されたレーザ光が物体で反射されて撮像センサに入射するまでの時間Ｔ（ｓｅｃ）を計測し、上記時間Ｔと光の速度Ｖ（例えば３×１０8ｍ／ｓｅｃ）とから、物体までの距離Ｓ（＝（Ｔ／２）×Ｖ）を測定することができる（いわゆるTime of Flight（ＴＯＦ）方式）。
【０１０９】
監視システム１にて何らかの物体を検知した場合において（例えば図１０のＳ２、Ｓ３参照）、撮影画像が不鮮明であったり、撮影された物体の大きさが小さいなどの理由で、物体の認識が困難な場合には、レーザ光源２１の発光をパルス発光に切り替えて撮像センサ３Ｓのシャッタ機能と同期させ、測距部によって、上述の方法で物体までの距離を計測してもよい。このような測距により、撮影された物体のおよその大きさや形状が判明するため、検知した物体が、注意しなければならない不審物等であるか、虫や鳥など無害のものであるかを、画像認識等によって容易に判断することが可能となる。
【０１１０】
以上では、撮像部３に照明部を組み込んだ例について説明したが、照明部は撮像部３と別体であってもよい。撮像部３と別体の照明部を用いる場合には、上記照明部を、本実施形態の監視システム１が取り付けられている付近に配置してもよいし、監視システム１から離れた位置で、かつ、撮影する距離に応じた位置に配置してもよい。
【０１１１】
以上では、照明用のレーザ光源２１として、波長９００ｎｍ付近に強度ピークを持つレーザ光を出射する光源を使用した例について説明したが、使用するレーザ光源はこれに限定されるわけではない。例えば、波長７８０ｎｍや８２０ｎｍ付近に強度ピークを持つレーザ光を出射する光源を使用することも可能である。ただし、撮像センサ３Ｓが感度を十分に持っている波長域内のレーザ光を出射する光源を用いることが必要である。
【０１１２】
なお、撮影していることを周囲に知らせたい場合などは、レーザ光として可視光を出射する光源を使用すればよい。撮影していることを周囲に知らせることで、防犯や威嚇の効果もあるためである。その際に、波長４５０ｎｍや６５０ｎｍ付近のレーザ光を出射する光源や、それらの波長を変調して可視光にした視認性の良い緑色近辺のレーザ光源を使用してもよい。
【０１１３】
以上では、照明用の光源として、レーザ光源２１を用いており、ＬＥＤや小型の半導体レーザを用いていない。ＬＥＤは、波長や位相が不揃いであり、光が発散していく光源であるので、かなり高出力の明るいＬＥＤでも、せいぜい２０ｍくらいしか照明することができない。また、半導体レーザは、出力が小さく、たとえ位相および波長が揃っていても、１００ｍ〜３００ｍの遠方を照明するには不十分である。
【０１１４】
以上では、凹レンズ３３により、レーザ光による照明光束の面積が、撮像センサ３Ｓによる全撮影範囲の面積の１／１００程度になるようにレーザ光の光束幅を拡大しているが、光束幅を拡大する程度は、上記の例に限定されるわけではない。例えば、図２０で示した構成では、レーザ光源２１の出力が大きく、平板回動機構４２の駆動速度が遅い場合には、照明光束の面積が上記の１／１００よりも大きくなるように光束幅を拡大し、レーザ光源２１の出力が小さく、平板回動機構４２の駆動速度が速い場合には、照明光束の面積が上記の１／１００よりも小さくなるように光束幅を拡大するようにしてもよい。
【０１１５】
以上、本実施形態の監視システム１の構成によれば、３個以上の音センサと３個以上の撮像部とを回転軸の周方向に交互に配置した状態でこれらを回転させることにより、個々の音センサおよび撮像部が単独で周方向全周を検知および撮影できなくても、周方向全周の音情報を検知し、周方向全周の画像を取得することができる。また、隣り合う２つの音センサの検知レベルが同等になるように支持部材を回転させると、必然的に撮像部の撮影光軸が音源の方向を向くようになるため、少ない音センサの数で複雑な計算を行うことなく音源の方向を特定することができる。また、音源の方向を特定した瞬間には、その特定された方向を撮像部にて撮影して画像を取得できるため、言い換えれば、音源を特定してから迅速に撮影できるため、遠方を物体が高速で移動する場合でも、その物体の動きに追従して物体を撮影し、監視することができる。
【０１１６】
さらに、撮像部は３個以上であるので、あらゆる方向からの異常音に対して少しの回転で素早く（例えば異常音の検知から０．１秒以内で）撮影でき、最短の速さで次々に音源を撮影することができる。また、全周撮影のカメラで撮像部を構成しなくて済むため、２００ｍ程度の遠方物体に対しても認知するだけの十分な解像力を持つ画像を取得することができる。
【０１１７】
以上、本発明の実施形態につき説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。
【産業上の利用可能性】
【０１１８】
本発明は、例えば建物から１００ｍ〜３００ｍだけ離れた遠方の物体を監視する監視システムに利用可能である。
【符号の説明】
【０１１９】
１      監視システム
２、２ａ〜２ｄ      音センサ（音検知部）
３、３ａ〜３ｄ      撮像部
３Ｓ    撮像センサ
４      支持部材
５      駆動部
６      制御部
７      画像認識部
２１      レーザ光源
２２      照明光学系
ＡＸ１〜ＡＸ３      撮影光軸
Ｍ      回転軸
【図１】
2017215676.tif 000003
【図２】
2017215676.tif 000004
【図３】
2017215676.tif 000005
【図４Ａ】
2017215676.tif 000006
【図４Ｂ】
2017215676.tif 000007
【図４Ｃ】
2017215676.tif 000008
【図５】
2017215676.tif 000009
【図６】
2017215676.tif 000010
【図７】
2017215676.tif 000011
【図８Ａ】
2017215676.tif 000012
【図８Ｂ】
2017215676.tif 000013
【図８Ｃ】
2017215676.tif 000014
【図９】
2017215676.tif 000015
【図１０】
2017215676.tif 000016
【図１１】
2017215676.tif 000017
【図１２】
2017215676.tif 000018
【図１３】
2017215676.tif 000019
【図１４】
2017215676.tif 000020
【図１５】
2017215676.tif 000021
【図１６】
2017215676.tif 000022
【図１７】
2017215676.tif 000023
【図１８】
2017215676.tif 000024
【図１９】
2017215676.tif 000025
【図２０】
2017215676.tif 000026