(57)【要約】  他の物体の裏に隠れた音を出さない物体に変化が生じる場合であっても、その変化の発生位置を推定することが可能とすることを目的とする。そこで、本発明は、スピーカから放射されマイクロホン素子で集音される第１の時刻の音の伝達特性と第２の時刻の伝達特性の差分に基づいて、環境変化の発生位置を推定することを特徴とする。
2014207881.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つ以上のマイクロホン素子と、
少なくとも１つ以上のスピーカ素子と、
該スピーカから放射されマイクロホン素子で集音される第１の時刻の音の伝達特性と第２の時刻の伝達特性との差分に基づいて、環境変化の発生位置を推定することを特徴とする位置推定部と、
を有することを特徴とする監視システム
【請求項２】
請求項１に記載の監視システムであつて、
前記位置推定部は、
前記第１の時刻の音の伝達特性と第２の時刻の伝達特性との位相差に基づいて、環境変化の発生位置を推定することを特徴とする監視システム。
【請求項３】
請求項１に記載の監視システムであって，
複数の環境変化を分離して抽出する信号源分離部と，
前記位置推定部において各環境変化の発生位置を各々推定することを特徴とする監視システム
【請求項４】
請求項３に記載の監視システムであって，前記各環境変化が前記環境変化の発生位置に存在する物体の裏側で生じたか表側で生じたかを判定することを特徴とするずれ推定部を有する監視システム
【請求項５】
請求項１ないし４に記載の監視システムであって，
前記マイクロホン素子で収録する音声信号から背景雑音成分を抽出する背景雑音選定部と、
前記スピーカから出力する信号を、前記背景雑音成分のスペクトル形状と一致させることを特徴とする出力信号生成部と、を有する監視システム
【請求項６】
請求項１に記載の監視システムであって、
前記推定した環境変化の発生位置を、カメラで撮影した画像に合わせて表示する表示部を備えることを特徴とする監視システム。
【請求項７】
請求項４に記載の監視システムであって
前記第１の時刻の伝達関数と前記第２の時刻の伝達関数の位相差の理論値からの推定ずれ量に基づいて、
前記各環境変化が前記環境変化の発生位置に存在する物体の裏で生じたか表で生じたかを判定することを特徴とするずれ推定部を有する監視システム
【請求項８】
少なくとも１つ以上のマイクロホン素子と、少なくとも１つ以上のスピーカ素子と、計算機サーバと、を備えた監視システムにおける監視方法であって、
該スピーカから放射されマイクロホン素子で集音される第１の時刻の音の伝達特性と第２の時刻の伝達特性との差分に基づいて、環境変化の発生位置を推定することを特徴とする監視方法。
【請求項９】
請求項８に記載の監視方法であって，
前記第１の時刻の音の伝達特性と第２の時刻の伝達特性との位相差に基づいて、環境変化の発生位置を推定することを特徴とする監視方法。
【請求項１０】
請求項８に記載の監視方法であって，
複数の環境変化を分離して抽出し
各環境変化の発生位置を各々推定することを特徴とする監視方法。
【請求項１１】
請求項８に記載の監視方法であって，
前記各環境変化が前記環境変化の発生位置に存在する物体の裏で生じたか表で生じたかを判定することを特徴と監視方法。
【請求項１２】
請求項８に記載の監視方法であって，
前記マイクロホン素子で収録する音声信号から背景雑音成分を抽出し、
前記スピーカから出力する信号を、前記抽出した背景雑音成分のスペクトル形状と一致させることを特徴とする監視方法。
【請求項１３】
請求項８に記載の監視システムであって、
前記推定した環境変化の発生位置を、カメラで撮影した画像に合わせて表示することを特徴とする監視方法。
【請求項１４】
請求項１１に記載の監視システムであって
前記第１の時刻の伝達関数と前記第２の時刻の伝達関数の位相差の理論値からの推定ずれ量に基づいて、前記各環境変化が前記環境変化の発生位置に存在する物体の裏で生じたか表で生じたかを判定することを特徴と監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、環境変化の観測確認が容易な監視システムに関するものである。
【背景技術】
【０００２】
従来，カメラで撮影した画像（以下、「カメラ画像」）から，物体が動いたかどうかを自動的に検出し，動いている場合，監視員に対して何らかのアラートを挙げるような，監視システムが実用に共されている。しかし，カメラ画像からの物体を検出すると，検出範囲が画角内に限定されるため，画角外での物体の変化を検出することはできない。また，仕切りなどの裏に隠れた物体の変化は検出することができない。また，従来，レーザーレンジファインダーなど，指向性を有する光を物体に対して放射しその跳ね返りを見ることで，物体までの距離を測定する方法が実用に供されているが，同様に何らかの別の物体の裏にある物体の動きを感知することはできないという問題があった。【０００３】
一方で，スピーカから放射する音の跳ね返りをマイクロホンで検出して、スピーカからマイクロホンまでの伝達関数を測定し，その伝達関数の時間変化から環境変化の有無を推定する技術が開発されている（例えば特許文献１参照）。本構成では，音の放射特性が全方向にほぼ均等であることから，仕切りの裏で物体が変化した場合であっても，その変化を捉えることが可能であると考えられる。また，一方音の到来方向や位置をマイクロホンで検出する技術が開発されている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許２０１２／００８７２１１公報
【特許文献２】特開２０１０−２３２８８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし，特許文献１に記載の技術では，環境変化の有無を推定することは出来るが，どの場所で物体が変化したかを捉える事は難しかった。また、特許文献２に記載の技術では，音を出さない物体の変化を本技術で捉えることは困難であった。ここで、環境変化とは、物体の位置が移動したり、物体の形状が変化したり、人が移動したり、人が動作したりする変化をいう。解決しようとする問題点は、カメラの画角外の物体の変化，または、仕切りなどの物体の裏に隠れた音を出さない物体の変化が困難である点である。
【課題を解決するための手段】
【０００６】
本発明は、スピーカから放射されマイクロホン素子で集音される第１の時刻の音の伝達特性と第２の時刻の伝達特性の差分に基づいて、環境変化の発生位置を推定することを特徴とする。
【発明の効果】
【０００７】
音を出さない物体の変化を，その方向や距離を含めて，全方位的に捉える事ができるため，カメラの死角を補い，より高度な監視が可能となるという利点がある。
【図面の簡単な説明】
【０００８】
【図１】本発明の遠隔監視システムのハードウェア構成を記した図である。
【図２】本発明の監視システム（遠隔監視システム、計算用サーバー，及び、監視拠点システムとの接続関係）について説明した図である。
【図３】本発明の計算用サーバーの詳細ハードウェア構成を記した図である。
【図４】本発明の監視拠点システム２０２のハードウェア構成を記した図である。
【図５】本発明の遠隔監視システムを配備した拠点におけるシステムの使用シーンを説明した図である。
【図６】本発明において物体の変化が起こる前後の伝達関数の変化例を記した図である。
【図７】本発明における遠隔監視システムにおけるソフトウェア処理のブロック構成を記した図である。
【図８】本発明における計算用サーバー上でのソフトウェア処理のブロック構成を記した図である。
【図９】本発明における遠隔監視システムにおけるソフトウェア処理の処理フローを記した図である。
【図１０】本発明における遠隔監視システムにおいて，複数の変化が生じた際に，各変化の位置を別々に分離して推定するためのソフトウェア処理の処理フローを記した図である。
【図１１】本発明における信号源分離ブロックのブロック構成を記した図である。
【図１２】本発明の遠隔監視システムを配備した拠点において，複数の変化が起こった時の使用シーンを記した図である。
【図１３】本発明における遠隔監視システムにおいて，複数の変化が生じた際に，各変化の位置を別々に分離して推定し，更に各変化が他の物体の裏に存在するか表に存在するかの判定を行うソフトウェア処理の処理フローを記した図である。
【図１４】本発明の監視拠点システムのディスプレイ上に，カメラ画像と検出した物体変化を共に重畳するＧＵＩの例を示した図である。
【図１５】本発明の位置推定結果情報の構造を示した図である。
【発明を実施するための形態】
【０００９】
本発明の第一の実施例を次に開示する。
【００１０】
図１は，遠隔監視システムのハードウェア構成を記した図である。遠隔監視システム１００は，環境内の音響情報を取り込む少なくとも一つ以上のマイクロホン素子からなるマイクロホン１０５でアナログ音声波形を取り込み，Ａ／Ｄ変換機１０４で，アナログ音声波形をデジタル音声波形に変換する。変換されたデジタル音声波形は中央演算装置１０２で，処理される。中央演算装置１０２では，揮発性メモリ１０３上に，プログラム実行時に必要となるワーキングメモリを確保する。プログラムは不揮発性メモリ１０１上に予め書き込まれているものとする。中央演算装置１０２では，音声収録に加えて，スピーカ１０７よりアナログ音声波形の再生処理も行う。中央演算装置１０２で算出したスピーカ再生用のデジタル音声波形は，Ｄ／Ａ変換機１０６を通してデジタル音声波形からアナログ音声波形に変換される。変換されたアナログ音声波形がスピーカ１０７で再生される。また，遠隔監視システムの設置環境に配備した監視カメラ１０９で環境の映像を収録する。収録した映像情報，及び中央演算装置１０２が出力する音声波形から収録した監視情報をＨＵＢ１０８を介して，通信用パケットに変更し，ネットワーク経由で転送する。
【００１１】
図２は，本発明の監視システム（遠隔監視システムと計算用サーバー，監視拠点システムとの接続関係）について説明した図である。遠隔監視システム１００−１，１００−２，…１００−Ｎで出力する監視情報は，計算用サーバー２０１に送られて，信号処理を施される。信号処理後の加工した監視情報（加工後監視情報）と各遠隔監視システムで収録した映像情報は，監視拠点システム２０２に送られて，監視員の監視用ＧＵＩに表示される。
【００１２】
図３は，計算用サーバー２０１におけるハードウェア構成を記した図である。不揮発性メモリ１０１には，実行するプログラム及びそのパラメータが保存されている，中央演算装置１０２では，該プログラムを実行する。実行時のワーキングメモリは揮発性メモリ１０３に確保する。プログラムには，ＨＵＢ３０８を介して，各遠隔監視システムからの監視情報が送信されて，中央演算装置１０２で実行するプログラム内で処理が施される。処理後の加工後の監視情報は，ＨＵＢ３０８を介して，監視拠点システム２０２に送信される。
【００１３】
図４は，監視拠点システム２０２のハードウェア構成を記した図である。ネットワーク経由で送信されたパケットはＨＵＢ４０４経由で中央演算装置１０２に送られて処理される。処理のためのプログラムとパラメータは不揮発性メモリ１０１に保存されており，実行の際に読みだされる。また，プログラム実行時のワーキングメモリは揮発性メモリ１０３上に確保される。中央演算装置１０２で処理した映像情報は，ディスプレイ４０６上に表示される。また、ユーザーインターフェース４０５を介して，表示画面の切り替えなどの操作を監視員が行う事が可能となっている。
【００１４】
図５は，本発明の遠隔監視システムを配備した拠点におけるシステムの使用シーンを説明した図である。スピーカ１０７から放射した音声波形は，環境中の人や物にぶつかりその反射音がマイクロホン１０５で収録される。マイクロホン及びスピーカはカメラ１０９上に設置されることを想定する。
【００１５】
図６は，本発明において環境変化が起こる前後の伝達関数の変化例を記した図である。横軸は時間を、縦軸は音の強度を示す。環境変化前の伝達関数の各時間サンプルを○印で、○印の状態から環境変化により音の反射が変化した後の伝達関数の各時間サンプルを●印で示す。音は、環境中の様々な人や物体にぶつかり反射した後，マイクロホンに届くため，伝達関数は、時間方向に単一パルスの信号とはならず，様々なパルスの混合信号となる。また，物体や人が動く前と比べて動いた後は，その物体に音がぶつかり反射した音が届くまでの時間や強度は変化する。したがって，環境変化後の伝達関数は，環境変化前の伝達関数と比べて，環境変化が起こった時間において強度が変化した波形となっている。本差分から、物体や人の動きの有無及び，その物体や人の動きがどの場所で行ったのか，位置を推定することが可能となる。
【００１６】
図７は，本発明における遠隔監視システム１００におけるソフトウェア処理のブロック構成を記した図である。
【００１７】
Ａ／Ｄ変換機１０４でデジタル変換されたデジタル音声波形は，音声収録部７０１にて，一定の時間長を有する信号に変換される。変換された音声信号をX(t)=[x1(t),x2(t), …,xM(t)]とする。ここで，tはＡ／Ｄ変換機におけるサンプルインデックスとする。Mはマイクロホン１０５を構成するマイクロホンの素子数とする。xm(t)は，m番目のマイクロホン素子のtサンプル目の信号とする。
【００１８】
背景雑音選定部７０２では，音声収録部が収録した音声信号の中から，背景雑音のみが含まれている時間区間を選定し，その背景雑音成分を抽出する。背景雑音のみが含まれている時間区間は，音声再生部７０４が音声信号を再生していない時間帯として自動的に認識することができる。抽出した背景雑音成分は，背景雑音ＤＢ７０３に記憶される。記憶された背景雑音成分は，出力信号生成部７０６に送られる。
【００１９】
出力信号生成部７０６は、背景雑音成分を再生用のデジタル音声波形に変換する。再生用のデジタル音声波形はD(t)=[d1(t),d2(t), …,dJ(t)]で表わされる。ここで，Jはスピーカ素子数とする。dj(t)は，j番目のスピーカ素子のtサンプル目の再生信号とする。出力信号生成部７０６は、変換において，記憶された背景雑音成分のパワースペクトル特性とdj(t)のパワースペクトル特性とが一致するようにし，dj(t)の位相特性については，周波数及びスピーカ素子番号j毎にランダムになるように設定する。また，強度については，スピーカからからの再生時に，周囲の背景雑音成分と比べて十分に小さい音量に設定する。このようにdj(t)を設定することにより，スピーカからの再生音が，聴感上，ほとんど気にならないようにすることができる。変換された音声波形は，音声再生部７０４に送られて出力される。
【００２０】
伝達関数推定部７０５は，スピーカから出力する信号D(t)と音声収録部７０１で得られた音声信号X(t)とから，各スピーカから各マイクロホンまでの伝達関数hjmを求める。ここで，hjmは，j番目のスピーカ素子からm番目のマイクロホンまでの伝達関数とする。伝達関数の推定は，最小二乗法に基づく方法により
【００２１】
【数１】
2014207881.tif 000003
【００２２】
で求める。ここで、LTは，伝達関数を推定するための時間サンプル数とする。L2は伝達関数の応答長とする。また，ＴＳＰ法など，一般的なインパルス応答測定法を用いて伝達関数を推定するような構成を取っても良い。伝達関数推定部７０５は，推定した伝達関数を含む監視情報を出力する。
【００２３】
図８は，本発明における計算用サーバー２０１上でのソフトウェア処理のブロック構成を記した図である。伝達関数バッファリング８０１は、各遠隔監視システム１００から送られてきた監視情報の中の各時刻毎の伝達関数を，全スピーカ素子，全マイクロホン素子について連結した新しいベクトルhをプログラムが指定するタイミングで各遠隔監視システム１００毎のラベルを付けて伝達関数ＤＢ８０２に保存する。伝達関数ＤＢ８０２のための記憶領域は，不揮発性メモリ１０１か，または揮発性メモリ１０３上に確保する。伝達関数バッファリング８０１が出力する各遠隔監視システム１００毎の最新の伝達関数hをh1と表記する。
【００２４】
伝達関数差分算出部８０３は，伝達関数ＤＢ８０２が出力する各遠隔監視システム１００は，監視を監視する前のシステム初期化時に収録した伝達関数か，または最新の伝達関数h1の一つ前に推定した伝達関数（これれをh0と表記）と，最新の伝達関数h1との差分Δh=h0-h1を算出する。
【００２５】
周波数分解８０４では，Δhに対して、各スピーカ素子，各マイクロホン素子毎に，周波数分解を施す。ΔhjmをΔhのj番目のスピーカ，m番目のマイクロホン素子に対応する成分とする。周波数分解後の周波数f成分をΔhjmfと記す。Δhjf=[Δhj1f  Δhj2f …  ΔhjMf]^Tとする。ここで，Tはベクトルの転置演算子とする。
【００２６】
位相差からの位置推定８０５では，音源の到来方向を
【００２７】
【数２】
2014207881.tif 000004
【００２８】
で求める。ここで、aθfは，音源方位角度θ，周波数fのステアリングベクトルとする。Fは周波数分解時の最大周波数成分とする。ステアリングベクトルを球面波近似として，距離依存のベクトルとし，ステアリングベクトルとΔhjmfの内積の最大値を距離方向にも探索して求めることで，音源方位角度θに加えて距離に関しても求めることができる。同様に，ステアリングベクトルを音源仰角φに依存するように定義し，本ステアリングベクトルとΔhjmfの内積の最大値を仰角方向にも探索して求めることで，仰角成分も求めることが可能となる。位相差からの位置推定８０５は、求めた音源方位角度θとマイクロホンと環境変化が生じた場所との間の距離に基づいて環境変化位置Ｐを推定し、本位置推定結果を出力して処理を終了する。
【００２９】
図９は，本発明における遠隔監視システム１００と計算用サーバ２０１におけるソフトウェア処理の処理フローを記した図である。まず，遠隔監視システム１００は、背景雑音選定部７０２を用いて，背景雑音を収録する（９０１）。本処理は，監視カメラの起動プロセスに組み込んで実行することを想定する。次に遠隔監視システム１００は伝達関数を収録して計算機サーバーに送信する。計算機サーバーは遠隔監視システム１００から伝達関数を受信したタイミングで，伝達関数バッファリング８０１で，伝達関数ベクトルh0を生成し，伝達関数ＤＢ８０２に保存する（９０２）。次に伝達関数バッファリング８０１は、監視カメラが監視状態となっていなければ，処理終了と判定する（９０９）。この場合、処理終了の判定に移り処理を終了する（９０９）。処理終了と判定しない場合は，伝達関数バッファリング８０１は、現在の伝達関数を測定し，h1とする(９０４)。h0とh1をサーバーに送信し，次に，e=||h0-h1||^2を求める（９０５）。伝達関数バッファリング８０１は、eが予め定める閾値thより大きければ，その時刻に環境変化があったと判定する。その時刻に環境変化があったと判定すると、位相差からの位置推定８０５は、環境変化位置Pを推定し，環境変化位置Pを含む位置推定結果を出力する（９０７）。環境変化が無かったと判定する場合は，伝達関数バッファリング８０１は、h0=αh0+(1-α)h1とし，伝達関数ＤＢ８０２に格納された環境変化前の伝達関数を緩やかに更新する（９０８）。このように緩やかに更新することで，微小な温度変化を誤って環境変化があったものと誤判定することが少なくなる。その後，次の時刻の伝達関数の測定に戻る。
【００３０】
本発明の第２の実施例における計算用サーバー２０１でのソフトウェア処理の処理フローを図１０に示す。本構成は、スピーカ１０７から放射した音声波形が環境中の人や物にぶつかりその反射音がマイクロホン１０５で収録される間に、音声波形に複数の環境変化が生じた際に，各環境変化の位置を別々に分離して推定するためのソフトウェア処理の処理フローを記した図である。図８との違いは，差分バッファリング１００１と信号源分離１００２，位相差からの位置推定１００３の３つのブロックである。
【００３１】
差分バッファリング１００１では、環境変化前の伝達関数と環境変化後の伝達関数との差分を，環境変化が起こった後，連続する複数時刻に渡って計測し，不揮発性メモリ上に蓄える。伝達関数の環境変化成分が複数の物体や人の環境変化を含む場合，これらの環境変化が時間方向に独立に動くことが想定される。したがって、伝達関数の本環境変化成分は独立成分分析などの公知の信号源分離技術により，各環境変化成分ごとに分離することが可能となる。
【００３２】
信号源分離１００２では，独立成分分析を使って，環境変化前の伝達関数と環境変化後の伝達関数との差分を各環境変化成分ごとに分離する。位相差からの位置推定１００３は、分離した後の信号から図８に示した位置推定法と同様の位置推定処理を伝達関数の各環境変化成分に施すことで，伝達関数の環境変化成分ごとに，その位置を推定することができる。
【００３３】
図１１に，信号源分離１００２の詳細な構成を記載する。周波数領域独立成分分析１１０１では，周波数毎の入力信号を，周波数領域の独立成分分析により複数の分離成分に分離する。順序不定性補正１１０２では，分離した成分の順序は周波数毎にばらばらであるため，パワースペクトルの時間相関など，公知の順序不定性補正法で，順序関係の不定性を補正する。これにより順序不定性が補正され，伝達関数の各環境変化成分を周波数方向にそろった形で抽出することができる。
【００３４】
図１２は複数の伝達関数の環境変化成分が存在する環境で、本発明による伝達関数の環境変化成分抽出を行う使用シーンを示した図である。複数の物体または人に反射した音波をマイクロホンで受音する。本受音信号は複数成分が混ざった信号であるが，前記信号源分離技術で各成分に分離することで、成分毎の環境変化発生位置を知ることができる。
【００３５】
図１３は，図１０に示した各環境変化の位置を別々に分離して推定することに加えて，各環境変化位置が，スピーカ及びマイクロホン側から見て環境変化位置に存在する物体の裏側に存在するか，表側に存在するかを判定する処理を加えた構成を開示する。ここで，物体の表側とは，マイクロホンと環境変化位置に存在する物体の位置とを一直線に結んだ線分内に空気以外の物質が存在しない場所を指し，それ以外の場所を物体の裏側と表現する。図１０の構成との違いは、環境変化前の伝達関数と現在の伝達関数の位相差の理論値からのずれ推定１３０１である。位相差の理論値からのずれ推定１３０１は，
【００３６】
【数３】
2014207881.tif 000005
【００３７】
で示した環境変化前の伝達関数と現在の伝達関数の位相差の理論値からの推定ずれ量Qが閾値以上であれば，スピーカ及びマイクロホン側から見て環境変化位置に存在する物体の裏側で発生した環境変化とみなす。一方，閾値以下であれば、スピーカ及びマイクロホン側から見て環境変化位置に存在する物体の表側で発生した環境変化とみなす。
【００３８】
図１４は，監視拠点システム２０２のディスプレイ４０６に表示するGUIの一例を示した図である。伝達関数の各環境変化成分をその環境変化成分が生じた場所に、カメラ映像と重畳して表示する。更に，各環境変化が他の物体の裏側で生じた場合と表側で生じた場合とで，表示する音源マークを環境変化させることで，監視員がその環境変化が物体の裏側で生じたか表側で生じたかを容易に判別することが可能となる。
【００３９】
図１５は，計算機サーバ201が監視拠点システム202に送信する加工後の監視情報の一例である。各環境変化が発生した位置を示す変化成分のX,Y、Z座標と、その環境変化が表面か裏面かを識別するフラグを監視拠点システム202に送信する。
【符号の説明】
【００４０】
１００    遠隔監視システム
２０１    計算用サーバー
２０２    監視拠点システム
８０３    伝達関数差分算出部
８０５    位相差からの位置推定
【図１】
2014207881.tif 000006
【図２】
2014207881.tif 000007
【図３】
2014207881.tif 000008
【図４】
2014207881.tif 000009
【図５】
2014207881.tif 000010
【図６】
2014207881.tif 000011
【図７】
2014207881.tif 000012
【図８】
2014207881.tif 000013
【図９】
2014207881.tif 000014
【図１０】
2014207881.tif 000015
【図１１】
2014207881.tif 000016
【図１２】
2014207881.tif 000017
【図１３】
2014207881.tif 000018
【図１４】
2014207881.tif 000019
【図１５】
2014207881.tif 000020
【国際調査報告】
2014207881.tif 000021
2014207881.tif 000022
2014207881.tif 000023
2014207881.tif 000024