(57)【要約】【課題】従来の技術では音声検知の精度を向上させるために入力音声の情報しか使用していない為、状況の変動に追従できない場合がある。【解決手段】本発明は、第１の撮像手段によって撮影対象を撮影して生成された第１の映像データから撮影対象の第１の状況を検出する第１の状況検出手段と、前記第１の映像データに関連する音声を収音し収音した音声に基づいて音声データを生成する第１の収音手段によって生成された第１の音声データに対して、前記第１の撮像手段とは少なくとも一部が異なる撮影対象を撮影する第２の撮像手段によって生成された第２の映像データから撮影対象の第２の状況を検出する第２の状況検出手段により検出された前記第２の状況と、前記第１の状況とに応じた音声処理を行って、前記第１の音声データから特定音を検出する特定音検出手段とを有する。【選択図】図１
2018066821.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像手段によって撮影対象を撮影して生成された第１の映像データから撮影対象の第１の状況を検出する第１の状況検出手段と、
前記第１の映像データに関連する音声を収音し収音した音声に基づいて音声データを生成する第１の収音手段によって生成された第１の音声データに対して、
前記第１の撮像手段とは少なくとも一部が異なる撮影対象を撮影する第２の撮像手段によって生成された第２の映像データから撮影対象の第２の状況を検出する第２の状況検出手段により検出された前記第２の状況と、前記第１の状況とに応じた音声処理を行って、
前記第１の音声データから特定音を検出する特定音検出手段と
を有することを特徴とする音声処理装置。
【請求項２】
前記第１の状況に変化がない場合には、前記第２の映像データに関連する音声を収音し収音した音声に基づいて第２の音声データを生成する第２の収音手段によって生成された第２の音声データと、前記第１の音声データとの相関を判定し、その相関を示す値がある閾値を越えていた場合に、前記第２の状況に応じて、前記第１の音声の音声処理を行って前記特定音を検出することを特徴とする請求項１に記載の音声処理装置。
【請求項３】
前記第１の状況と前記第２の状況とが異なっている場合に、
前記第１の音声データの特徴量と、前記第２の映像データに関連する音声を収音し収音した音声に基づいて第２の音声データを生成する第２の収音手段によって生成された第２の音声データの特徴量との間の第１の距離と、
前記特定音検出手段により前記特定音の検出に用いられている現在のパラメタに関連づけられた前記特徴量と前記第２の音声データの特徴量との間の第２の距離とをそれぞれ計算し、前記第１および第２の距離とに応じて、
前記第１の音声データの特徴量に関連づけられた特徴量および現在の特徴量を補正することで、前記現在のパラメタを更新する
ことを特徴とする請求項２又は３に記載の音声処理装置。
【請求項４】
前記音声処理は雑音除去処理を含み、
前記特定音検出手段は、前記状況に応じて雑音の学習速度を変更することを特徴とする請求項１乃至３のいずれか一項に記載の音声処理装置。
【請求項５】
前記状況に応じた音声処理は検出に使用する特徴量データベースの構成の変更を含み、前記状況に応じて特徴量データベースの構成を変更することを特徴とする請求項１乃至４のいずれか一項に音声処理装置。
【請求項６】
前記特定音検出手段は、前記音声処理として、前記第１の状況と前記第２の状況とに応じたパラメタを用いた音声処理を行って前記特定音を検出することを特徴とする請求項１乃至５のいずれか一項に記載の音声処理装置。
【請求項７】
前記特定音検出手段は、前記第１の状況に応じて更新したパラメタが変化した場合には該パラメタを用いて前記特定音を検出し、前記第２の状況に応じたパラメタが変化し、かつ前記第１の収音手段により生成した第１の音声データの特徴と、前記第２の収音手段から取得した第２の音声データの特徴とが相関している場合には、前記第２の状況に応じた前記パラメタを用いた音声処理を行って、前記特定音を検出することを特徴とする請求項６に記載の音声処理装置。
【請求項８】
前記特定音検出手段は、前記第２の状況に応じたパラメタを取得した場合には、該パラメタと、現在、前記音声処理において用いているパラメタとから、前記特定音検出手段で検出した音声の現在の特徴量に応じたパラメタの値を算出することを特徴とする請求項６または７に記載の音声処理装置。
【請求項９】
前記特定音検出手段は、前記第２の状況に応じた前記パラメタを取得した場合には、該パラメタに応じた前記特徴量、および、現在、前記音声処理において用いているパラメタに応じた前記特徴量のそれぞれと、前記特定音検出手段で検出した音声の特徴量との間の距離に基づいて、前記第２の状況に応じた前記パラメタと、現在、前記音声処理において用いているパラメタから、前記特定音検出手段で検出した音声の現在の特徴量に応じたパラメタの値を算出することを特徴とする請求項６乃至８のいずれか１項に記載の音声処理装置。
【請求項１０】
前記特定音検出手段は、前記音声データに雑音の重畳が予想される場合には、前記パラメタを更新しないことを特徴とする請求項６乃至９のいずれか１項に記載の音声処理装置。
【請求項１１】
前記雑音の重畳が予想される場合には、前記撮影手段による撮影方向をパンまたはチルトさせる場合を含むことを特徴とする請求項６乃至１０のいずれか１項に記載の音声処理装置。
【請求項１２】
前記特定音検出手段は、前記第１の音声データの特徴量と前記特定音の特徴量との間の尤度に基づいて前記特定音を検出し、
前記パラメタは、前記特定音の特徴量を含むことを特徴とする請求項６乃至１１のいずれか１項に記載の音声処理装置。
【請求項１３】
前記パラメタには前記特定音と似た音声の特徴量をさらに含み、
前記特定音検出手段は、前記第１の音声データの特徴量と前記パラメタに含まれた特徴量との間の尤度うち、前記特定音の特徴量との尤度が最も高い場合に、前記第１の音声データに前記特定音が含まれていると判定することを特徴とする請求項６乃至１２のいずれか１項に記載の音声処理装置。
【請求項１４】
前記第１の音声データに対して、前記第１の状況検出手段により検出された前記第１の状況と、前記第２の状況検出手段により検出された前記第２の状況とに応じた音声処理を行って、前記第１の音声データから特定音を検出する
ことを特徴とする請求項１乃至１３のいずれか一項に記載の音声処理装置。
【請求項１５】
複数の請求項１乃至１４のいずれか一項に記載の音声処理装置と、
前記第１の撮像手段と
を有することを特徴とする監視カメラ。
【請求項１６】
請求項１乃至１４のいずれか一項に記載の音声処理装置としてコンピュータを機能させるためのプログラム。
【請求項１７】
第１の撮像手段によって撮影対象を撮影して生成された第１の映像データから撮影対象の第１の状況を検出する第１の状況検出工程と、
前記第１の映像データに関連する音声を収音し収音した音声に基づいて音声データを生成する第１の収音手段によって生成された第１の音声データに対して、
前記第１の撮像手段とは少なくとも一部が異なる撮影対象を撮影する第２の撮像手段によって生成された第２の映像データから撮影対象の第２の状況を検出する第２の状況検出手段により検出された前記第２の状況と、前記第１の状況とに応じた音声処理を行って、
前記第１の音声データから特定音を検出する特定音検出工程と
を有することを特徴とする音声処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理システム、音声処理装置、監視カメラ、監視システム、プログラムおよび音声処理方法に関し、特に音声による異常監視に関するものである。
【背景技術】
【０００２】
入力音声の雑音除去や、AGC（自動利得制御）等の技術や、検知に用いる辞書の最適化等を行い、異常音検知、音声検知において検知精度を高める事ができる。特に入力音の変化が激しい場合には、その入力音から雑音を推定し、雑音除去を行う技術が知られている。例えば、特許文献１では複数チャンネルのオーディオ信号よりそれぞれの信号の雑音を推定し、除去する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2006−129464号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では音声検知の精度を向上させるために入力音声の情報しか使用していない為、状況の変動に追従できない場合がある。
【０００５】
そこで、本発明の目的は、周囲の状況が変動する場合あっても、音声検知の精度を向上させることである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明は以下の構成を有する。
【０００７】
第１の撮像手段によって撮影対象を撮影して生成された第１の映像データから撮影対象の第１の状況を検出する第１の状況検出手段と、前記第１の映像データに関連する音声を収音し収音した音声に基づいて音声データを生成する第１の収音手段によって生成された第１の音声データに対して、前記第１の撮像手段とは少なくとも一部が異なる撮影対象を撮影する第２の撮像手段によって生成された第２の映像データから撮影対象の第２の状況を検出する第２の状況検出手段により検出された前記第２の状況と、前記第１の状況とに応じた音声処理を行って、前記第１の音声データから特定音を検出する特定音検出手段とを有する。
【発明の効果】
【０００８】
本発明によれば音声検知精度を高める事ができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第一の実施形態に係る概念図
【図２】本発明の第一の実施形態に係る雑音学習速度を変更する手順を示すフローチャート
【図３】本発明の第一の実施形態に係る監視システムのブロック構成図
【図４】本発明の第二の実施形態に係る雑音学習速度を変更する手順を示すフローチャート
【図５】本発明の第二の実施形態に係る監視システムのブロック構成図
【図６】本発明の第三の実施形態に係る雑音学習速度を変更する手順を示すフローチャート
【図７】監視カメラのハードウェア構成の一例を示す図
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【実施例１】
【００１１】
●監視システム
図１は実施形態にかかわる監視システム１００の概念図である。監視システム１００は、駐車場１２０の全範囲を監視する監視システムであり、駐車場１２０の全範囲から音声を収集する事が可能な監視カメラ１０１,１０２で構成されている。駐車場１２０には、複数の自動車１１０と複数の人１０９が存在している。監視カメラ１０１，１０２は、それぞれの入力音声に対して雑音除去を行い、人の悲鳴が発生した場合に異常音として検知し、たとえば監視カメラ１０１，１０２に通信で接続されたモニタ装置あるいは情報処理装置に対してイベント通知を行う。また監視カメラ１０１、１０２は、どちらか一方の監視カメラが撮影した映像より雑音の発生源である自動車を検知して雑音の学習速度を変更すると、他方の監視カメラに撮影時の音声と変更された学習速度を通知する。これにより他方のカメラは、映像中に自動車を検出できなくても、学習速度を共有することで、音声検知の精度を高める事ができる。なお学習速度とは、たとえばLMSアルゴリズムの収束時間であり、ステップサイズを含むパラメタにより制御される。したがって学習速度の変更とは、たとえばステップサイズの変更であるということもでき、ステップサイズにより収束時間が左右されることから、本実施形態ではステップサイズのことを学習速度と呼ぶこともある。ただしステップサイズを大きくすると収束時間は短くなり、ステップサイズを小さくすると収束時間は長くなる。LMSアルゴリズムは、係数が可変な適応フィルタによって入力信号をフィルタリングして出力信号を得る信号処理において、出力信号が、未知の伝達関数を目的とする信号に近づくようにフィルタ係数を更新していく適応アルゴリズムのひとつである。本実施形態では、適応フィルタにより音声信号をフィルタリングして所定の特徴を有する信号成分を抽出する。適応フィルタリングにおいては、ステップサイズをより大きくとるとより短時間で収束する。すなわち学習速度が上がる。しかしながら、出力信号の精度はステップサイズにより制限され、収束時のフィルタリングの精度はより低下する。これに対してステップサイズをより小さくとると収束する時間はより長くなり、学習速度が下がる。しかしながら、収束時のフィルタリングの精度はより高くなる。
【００１２】
LMSアルゴリズムでは、下式のように時刻ｎにおける入力信号ｘ（ｎ）に対して係数ベクトルｈ（ｎ）によりフィルタリング処理を施して出力信号ｙ（ｎ）を得ると共に、時刻ｎ＋１におけるフィルタｈ（ｎ＋１）を決める。
y(n)=h(n)Tx(n)
e(n)=y(n)-d(n)
h(n+1)=h(n)+μe(n)x(n)
ここで、ｈ（ｎ）は時刻ｎにおける係数ベクトルすなわちフィルタであり、ｄ（ｎ）は、信号ｘ（ｎ）を入力信号とし、未知の伝達関数を持つシステムの出力信号すなわち目的信号である。この目的信号ｄ（ｎ）が、適応フィルタにより推定される。定数μがステップサイズである。ステップサイズは、LMSアルゴリズムを収束させるために一定の範囲内で設定されるが、その範囲内においては値が大きければ短時間で収束し、値が小さければ収束に長時間を要する。本実施形態では、雑音除去の適応フィルタの学習時間すなわちステップサイズを映像で把握した状況に応じて変えるとともに、一定の条件の下で複数箇所における雑音除去処理において、学習時間すなわちステップサイズを共有する。これによって雑音除去の精度を向上させる。
【００１３】
●監視カメラの構成
図３は、本発明の第一の実施形態に係る監視システム１００の構成、特に監視カメラ１０１，１０２の一例を示すブロック図である。監視システム１００は、撮影範囲１０８の監視カメラ１０１と撮影範囲１０７の監視カメラ１０２とを含み、監視カメラ１０１、１０２にはそれぞれ撮影した映像に関連する音声の収音手段として音声入力装置１１３、１１２が接続されている。監視カメラ１０１と１０２はブロック構成が同じであるため、カメラ内部のブロック構成は監視カメラ１０１のみを説明する。なお監視システム１００は、音声を認識して異常音を検出する処理を行うことから、音声処理システムということもできる。
【００１４】
監視カメラ１０１は収音手段としての音声入力装置１１３、撮影（あるいは撮像）手段としての映像入力装置３３０、監視カメラ１０２と通信する為の通信部３４４と情報処理部１０２２とを有する。音声入力装置１１３は情報処理部１０２２に接続されたマイクであり、空気の圧力の変化を電気信号にする。映像入力装置３３０は光をセンサーに収束させ、電気信号に変換する。通信部３４４はネットワークを介して監視カメラ１０２との通信、及び監視モニタ装置１０３との通信に必要な論理的、物理的なプロトコルを提供する。
【００１５】
情報処理部１０２２は、映像と音声それぞれの入力と監視カメラ１０２の情報とを処理して、異常音検知を行う。情報処理部１０２２は、撮影対象の状況を検出する状況検出手段として映像入力部３３１、交通状況検出部３３２、雑音学習速度判断部３３３、特徴量相関計算部３３４を有する。さらに情報処理部１０２２は、特定音検出手段として音声入力部３３６、音声分岐部３３７、雑音学習部３３８、雑音除去部３３９、特徴量抽出部３４０、異常音検出部３４１、イベント通知部３４３、学習速度送信部３４２を有する。
【００１６】
映像入力部３３１は、映像入力装置３３０から入力された映像信号を拡大縮小処理して後段の交通状況検出部３３２の入力に合わせたフォーマット変換を行い、映像データを生成する。
【００１７】
交通状況検出部３３２は、入力された映像データをもとに画面内に映る自動車の数や通過速度、単位時間当たりの通過頻度を検出し、それらの組み合わせから交通状況を判断して雑音学習速度判断部３３３に出力する。交通状況の検出例としては、動いている自動車を検出し検出数によって交通状況を検出する方法がある。動いている自動車の検出法としては、例えば背景差分法にて抽出された画面内の動体領域に自動車モデル画像とテンプレートマッチングを行い、閾値を超えた領域を自動車として認識する方法を用いる。テンプレートマッチングについては公知の技術である為、詳細な説明は省略する。交通状況の検出例としては、自動車として認識された動体領域が存在した場合に交通状況を"交通量あり"とし、それ以外の場合は"交通量なし"とする。あるいは認識した走行車両の数や速度などをあらかじめ設定した複数の閾値と比較し、交通量を３段階以上に分類してもよい。
【００１８】
特徴量相関計算部３３４は、監視カメラ１０１および監視カメラ１０２それぞれに入力された音声から抽出した特徴量の相関をとり、相関が一定水準を超えている場合、たとえば相関値が０．７を超えていた場合に、他方のカメラ例えば監視カメラ１０２の交通状況を、処理を実行しているカメラ例えば監視カメラ１０１に適用できるものとして、雑音学習速度判断部３３３に出力する。なお相関は、たとえば完全な相関を示す相関値を１として正規化した共分散などにより示すことができる。また特徴量は一般的に利用される音声信号の特徴量で良く、たとえばＭＦＣＣ(メル周波数ケプストラム係数)やスペクトラムセントロイ（スペクトル重心）などを用いてもよい。
【００１９】
雑音学習速度判断部３３３は、特徴量相関計算部３３４より取得した特徴量の相関から、監視カメラ１０１及び監視カメラ１０２のどちらの学習速度を用いるのが適切かを判断し、適切な学習速度及び音声特徴量を雑音学習部３３８へ通知する。また、雑音学習速度判断部３３３は検出された交通状況に応じて学習速度を切り替える。これらの処理の詳細については図２を参照して後述する。
【００２０】
音声入力部３３６は、アナログの電気信号であるアナログ音声信号をデジタル信号に変換して音声データを生成する。音声分岐部３３７は、上記デジタル音声信号を複製し、雑音学習部３３８と雑音除去部３３９に出力する。
【００２１】
雑音学習部３３８は入力された音声データから、背景雑音や定常的に鳴動する音を雑音と定義してその成分を学習し、雑音除去時の周波数成分と減算量とを雑音除去部３３９に出力する。また、雑音の学習速度が変更された場合は、その変更された雑音の学習速度を出力する。雑音の学習方法として、まず音声の周波数成分の解析を行う。入力された音声データをバッファリングし、逐次５秒単位で区切って離散フーリエ変換を行い、その区切った音声に含まれる周波数成分とパワーを算出する。次に、定常的に鳴動する音声の周波数成分を学習する。算出した各々の周波数毎に適応フィルタを設け、それぞれ逐次パワーを入力し収束させていき定常的に鳴動している音声の周波数成分のパワーを算出して雑音除去時の周波数成分と減算量を決定する。この時、雑音学習速度判断部３３３から与えられた雑音の学習速度情報をもとにパワーの収束速度を決定する。適応フィルタについては公知の技術である為、詳細な説明は省略する。適応フィルタはたとえば係数マトリクスであり、各係数により周波数と減算量とが表される。この場合には、雑音学習部３３８から雑音除去部３３９に出力される周波数成分と減算量とは、適応的に構成される雑音フィルタである。雑音の学習速度は、例えば雑音フィルタを適応的に構成した場合のステップサイズで示すことができる。
【００２２】
雑音除去部３３９は音声分岐部３３７から受け取った音声に対し、雑音学習部３３８から受け取った周波数成分と減算量で雑音除去処理を行う。ここで使用する雑音の除去アルゴリズムはスペクトラルサブトラクション法を用いる。
【００２３】
雑音除去に用いるスペクトラルサブトラクション法については公知の技術である為、詳細な説明は省略する。
【００２４】
特徴量抽出部３４０は、雑音除去部３３９で処理された音声データから特徴量を計算する。ここで特徴量とは、例えばＭＦＣＣ(メル周波数ケプストラム係数)やスペクトラムセントロイド（スペクトル重心）などの音声に関する公知な特徴量などである。
【００２５】
異常音検出部３４１は、たとえば抽出された特徴量と、検出対象の音声、たとえば異常音の特徴量のモデルとの相関を計算し、相関の程度に基づいて音声検出を行う。たとえば計算した相関値が閾値以上であれば異常音と判定するなどして、検出対象の音を検出する。
【００２６】
学習速度送信部３４２は雑音学習部３３８より取得した雑音の学習速度と特徴量抽出部３４０から取得した特徴量をペアにして通信部３４４に出力する。
【００２７】
なお、本形態においては映像入力装置、音声入力装置、監視モニタ装置が含まれる構成にて説明したが、上記映像入力装置、音声入力装置、監視モニタ装置は別の装置として存在してもよい。また、音声処理装置は監視カメラ２つの構成にて説明したが、より多数の構成でもよい。
【００２８】
●監視カメラのハードウェア構成
図７に本実施形態の監視カメラのハードウェア構成の一例を示す。図７において、制御部（ＣＰＵ）７０５はメモリ７０６にロードしたプログラムを実行して監視カメラの情報処理部の全体を制御する。行われる処理には、たとえば画像認識や音声認識などを含んでもよい。映像入力部７０１は映像入力装置３３０から入力される映像信号を受信して例えばデジタル信号に変換する。映像信号処理部７０２は、デジタル映像信号について、この後の画像認識のための信号処理を施す。音声入力部７０３は音声入力装置１１３から入力される音声信号をデジタル音声信号に変換する。音声信号処理部７０４はたとえばさらにその内部にプロセッサー及びメモリを有するデジタル信号プロセッサーなどであってもよい。音声信号処理部７０４では、たとえばプログラムを実行することで、音声分岐部３３７、雑音学習部３３８、雑音除去部３３９、特徴量抽出部３４０、異常音検出部３４１、特徴量相関計算部３３４などによる信号処理を実現してもよい。通信部７０７は通信部３４４に相当する。画像処理部７０８は、たとえばプログラムを実行して画像認識のために映像の特徴を抽出する処理などを実行できる。これら各部はバスにより結合されている。なお図７の例では、音声及び映像の信号処理部、画像処理部を独立して設けているが、これらを単なる入力インタフェースで構成し、信号処理も制御部７０２で行うようにしてもよい。
【００２９】
●雑音除去手順
図２は、本発明の第１の実施形態に係る監視カメラ１０１による雑音除去の手順の一例を示すフローチャートである。フローチャートに基づき、監視カメラ１０１で取得した映像と、監視カメラ１０２より取得したデータから雑音の学習速度を変更する方法について説明する。この処理は例えば図３の各ブロックにより実行されてもよいし、図７の音声信号処理部７０４およびＣＰＵ７０５により実行されてもよい。またＣＰＵ７０５のみにより実行されてもよい。
【００３０】
Ｓ２０１において、監視カメラ１０１は、起動後に初期化処理を行い初期設定として雑音学習部３３８が保持する雑音学習速度を"低"にする。学習速度を低くするには、ステップサイズを小さくすればよい。なお適応フィルタリングにLMSアルゴリズムを採用した場合、ステップサイズμの範囲は、たとえば０＜μ＜２／λmax（λmaxは入力信号ｘ（ｎ）の自己相関行列の最大固有値）であり、この範囲内に収まる例えば大小二つの値を選択しておく。たとえば一方は学習速度が低く、収束時間が２０００ミリ秒程度のステップサイズと、もう一方は学習速度が高く、収束時間が６００ミリ秒程度のステップサイズである。ステップＳ２０１では低速側の値を設定しておく。
【００３１】
Ｓ２０２において、交通状況検出部３３２は、映像入力装置３３０より映像入力部３３１を通じて取得した映像から、車の数や通過速度、単位時間当たりの通過頻度に基づき交通状況を算出する。交通状況は、たとえば"交通量あり"と"交通量なし"の二値で表されるものであってよい。たとえば所定閾値以上の通過速度で通過する車両などのオブジェクトが所定閾値以上の頻度で検知された場合には交通状況を"交通量あり"とし、それ以外では"交通量なし"とする。もちろんよりきめ細かく三値以上の値で検知してもよい。
【００３２】
Ｓ２０３において、雑音学習速度判断部３３３は、交通状況検出部３３２より取得した交通状況に基づき雑音学習速度をもとめ、現在の値と比較する。雑音学習速度が現在の設定値から別の設定値に変更される場合にはＳ２０４に進み、変更されない場合はＳ２０６に進む。
【００３３】
Ｓ２０４において、雑音学習速度判断部３３３は、交通状況検出部３３２の検出結果に基づき雑音学習速度を決定し雑音学習部３３８に通知する。交通状況検出部から取得した検出結果が"交通量あり"の場合は、雑音の変化量が多いとし、雑音学習速度を６００ミリ秒に設定し、"交通量なし"の場合は、雑音学習速度を２０００ミリ秒とする。なお、ステップＳ２０３の前にステップＳ２０４を実行し、学習速度の変更の後で、変更されたか否かを判定してもよい。
【００３４】
Ｓ２０５において、雑音学習部３３８は、通知された雑音学習速度を保持すると同時に、学習速度送信部３４２を通じて監視カメラ１０２に送信する。
【００３５】
Ｓ２０６において、特徴量相関計算部３３４は、通信部３４４より監視カメラ１０２の雑音学習速度と音声特徴量を取得し、監視カメラ１０２の雑音学習速度に変化があったか否かを判断する。雑音学習速度に変化があった場合はＳ２０７へ、変化がなかった場合はＳ２０９へ進む。変化の有無は、たとえば最後の取得した監視カメラ１０２の雑音学習速度を保存しておき、新たに取得した値と比較することで判定できる。
【００３６】
Ｓ２０７において、特徴量相関計算部３３４は、Ｓ２０６で取得した監視カメラ１０２の音声特徴量と、特徴量検出部３１１より入力された監視カメラ１０１の入力音声の特徴量の相関値を計算する。計算された相関値が閾値を超えていた場合はＳ２０８に進み、超えていない場合はＳ２０９に進む。
【００３７】
Ｓ２０８において、特徴量相関計算部３３４は、監視カメラ１０２の学習速度を、雑音学習速度判断部３３３を通じて雑音学習部３３８に設定する。すなわち、監視カメラ１０１と監視カメラ１０２とが同じ音声を集音している蓋然性が高い場合には、学習速度を共有する。監視カメラ１０１の学習速度と監視カメラ１０２の学習速度が等しくなれば、いずれか一方の監視カメラにおいて交通状況の変化によって学習速度が変わるまで、その値が維持されることになる。
【００３８】
Ｓ２０９において、音声分岐部３３７は、音声入力部３３６から入力された音声を複製し、一方を雑音学習部３３８に、他方を雑音除去部３３９に出力する。
【００３９】
Ｓ２１０において、雑音学習部３３８は、音声分岐部３３７から入力された音声の雑音学習処理を行う。
【００４０】
Ｓ２１１において、雑音除去部３３９は、音声分岐部３３７から入力された音声に対し、雑音学習部３３８から入力された雑音の周波数成分と減算量から雑音除去処理を行い、除去後の音声を特徴量抽出部３４０に出力する。
【００４１】
Ｓ２１２において、特徴量抽出部３４０は、雑音除去後の音声の特徴量を抽出する。そして抽出された特徴量を異常音検出部３４１に送信する。また、上記特徴量を、監視カメラ１０２の特徴量相関計算部３０５でも両監視カメラによる音声特徴量の相関値を計算できるように、学習速度送信部３４２へ出力する。学習速度送信部３４２から監視カメラ１０２へと送信された特徴量は、監視カメラ１０１の特徴量相関計算部３０６により、ステップＳ２０７において相関値の算出のために用いられる。異常音検出部３４３は抽出された特徴量を検出対象音の特徴量たとえば悲鳴モデルの特徴量と比較し、尤度を計算し異常音検出を行う。
【００４２】
Ｓ２１３において、異常音検出部３４３は、異常音が検出されたか判断する。異常音が検出された場合、イベント通知部３４３に検知イベントを出力し、Ｓ２１４に進む。異常音が検知されなかった場合はＳ２０２に進む。
【００４３】
Ｓ２１４において、イベント通知部３４３は、監視モニタ１０３に異常音検知イベントを通知する。
【００４４】
以上の処理により、状況、たとえば交通状況に合わせた背景雑音の学習を行うことで雑音除去精度が向上し、精度よく異常音を検出する事が出来る。具体的には、複数の監視カメラが設置され、それぞれの監視カメラの音声収集領域は重なっているが、映像撮影領域が重複せず、少なくとも一部が異なっているような監視システムを考える。そのような監視システムにおいて、少なくとも一つのカメラにより撮影した映像に基づいて決定された状況に合わせて適合的雑音フィルタの学習速度パラメタを変化させることで、雑音除去精度を向上させることができる。本実施形態ではさらに、その学習速度パラメタを、同じ映像を撮影していなくとも同じ音声を集音している監視カメラ間で共有することで、システム全体の雑音除去精度を向上させ、音声検知の精度を向上させることができる。逆に言えば、学習速度パラメタを決定するための基礎となる映像を、単一のカメラのみならず、複数のカメラで撮影した映像へと拡張できる。
【実施例２】
【００４５】
●監視システム
本発明の実施例２として図４、図５を参照しながら、本実施形態に係る監視システムの構成例を示す。図５に示す監視システム５００は監視カメラ１０１、１０２にて構成され、悲鳴音などの異常音（対象音）の検出を行っているシステムである。監視システム５００は図３の監視システム１００とは以下の点で異なる。雑音学習速度判断部３０４、３３３と学習速度送信部３１３，３４２の代わりに特徴量データベース構成判断部５０４、５３３、データベース構成送信部５１３、５４２を有する。更に、監視システム１００では固定で持っていた評価モデルを変更して尤度計算が可能なように特徴量データベース５８１、５８２を有す。その他の構成は実施例１に記載した図３の監視システム１００と同じ構成である。従って、ブロック構成について差分のないブロックについての説明を省略する。
【００４６】
特徴量データベース５８１、５８２は異常音を検知する際に比較するモデルとそのモデルの特徴量の統計情報が複数格納されている。その中にたとえば、悲鳴、罵声の異常音モデルと、異常音に近い苦手音モデルとしてクラクション、ブレーキ音、花火音それぞれのモデルを含んでいる。データベース５８２は上記特徴量データベース構成判断部５３３にて設定されていた適切なモデルを評価モデルとして構成し、異常音検出部３４１に設定されている評価モデルの特徴量統計情報を出力する。また、特徴量データベース５８２の構成に更新が生じた場合、データベース構成送信部５４２に現在の構成を出力する。
【００４７】
特徴量データベース構成判断部５３３は交通状況検出部３３２の出力が変化した場合に以下のように特徴量データベース構成を変更する。検出した交通状況が例えば"交通量なし"から"交通量あり"に変化した場合は、クラックション、ブレーキ音等の悲鳴音に近い苦手音種の音の発生確率が高まる為、特徴量データベース５８２に登録されているクラックションとブレーキ音を評価モデルとして構成に入れる。これにより、検出対象の異常音に加えて、それと紛らわしい苦手音を検出し、それを検出対象の音と区別することが容易になる。逆に交通状況検出部３３２の出力が"交通量なし"に変化した場合は、特徴量データベース５８２に登録されているクラックションとブレーキ音を評価モデル構成から外す。また、上記交通状況検出部３３２の出力に変化がない場合において、特徴量相関計算部３３４から通信部をへて受信した監視カメラ１０２の特徴量データベース構成が入力された場合、特徴量データベースを監視カメラ１０２の構成に更新する。
【００４８】
●異常音の検出及び特徴量データベースの構成の変更手順
ここで、図４のフローチャートを参照しながら、監視カメラ１０１が入力映像と監視カメラ１０２より入力されたデータから特徴量データベース構成を変更する方法について説明する。監視システム５００は起動するとＳ４０１にて特徴量データベース５８２を初期化する。
【００４９】
Ｓ４０２において映像入力装置３３０より映像入力部３３１を経て交通状況検出部３３２にて映像上の車の数や通過速度、単位時間当たりの通過頻度から交通状況を検出する。
【００５０】
Ｓ４０３において、交通状況検出部３３２より入力された交通状況から特徴量データベース構成判断部５３３はデータベースの苦手音モデルの変化が必要か判断する。変更する必要があった場合にＳ４０４に進み、変更する必要がなかった場合はＳ４０６に進む。
【００５１】
Ｓ４０４において、特徴量データベース構成判断部５３３は特徴量データベース構成を変更する。
【００５２】
Ｓ４０５において、上記変更された特徴量データベース構成を特徴量データベース５８２に設定し、特徴量データベース５８２はデータベース構成送信部５４２を通じて監視カメラ１０２に送信して、Ｓ４０９へ進む。
【００５３】
Ｓ４０６において、通信部３４４より監視カメラ１０２の特徴量データベース構成と音声特徴量が受信し、変化があったか特徴量相関計算部３３４が判断し、変化があった場合はＳ４０７へ、変化がなかった場合はＳ４０９へ進む。
【００５４】
Ｓ４０７において、上記通信部３４４より受信した監視カメラ１０２の音声特徴量と、特徴量検出部３１１より入力された監視カメラ１０１の入力音声の特徴量の相関値を計算する。計算された相関値が閾値を越えているか特徴量相関計算部３３４は判断し、超えていた場合はＳ４０８に進み、超えていない場合はＳ４０９に進む。
【００５５】
Ｓ４０８において特徴量相関計算部３３４は特徴量データベース構成判断部５３３に上記監視カメラ１０２のデータベース構成を出力し、特徴量データベース判断部５３３は特徴量データベース５８２に上記構成を設定する。
【００５６】
Ｓ４０９において、特徴量抽出部３４０は雑音除去部３３９から入力された音声をバッファリングし、窓幅１０ミリ秒のウインドウにて特徴量を抽出する。
【００５７】
Ｓ４１０において、上記特徴量をリングバッファに格納する。
【００５８】
Ｓ４１１において、上記格納された特徴量と特徴量データベースの各モデルと尤度を計算する。
【００５９】
Ｓ４１２において各モデルとの尤度を比較し、最も尤度が高いモデルを特定する。最も尤度が高いモデルが異常音であればＳ４１３に進む。それ以外のモデルが最も尤度が高ければ、Ｓ４０２に進む。なお、最も高い尤度が所定の閾値に満たない場合には、Ｓ４０２に分岐するようにしてもよい。
【００６０】
Ｓ４１３において、検知をイベント通知部３４３に出力し、通信部３４４を通じて監視モニタ装置１０３に通知する。
以上の処理により、状況に合わせたモデル構成にする事ができ、精度よく異常音を検出する事が出来る。具体的には、複数の監視カメラが設置され、それぞれの監視カメラの音声収集領域は重なっているが、映像撮影領域が重複しないような監視システムがある。そのような監視システムにおいて、少なくとも一つのカメラにより撮影した映像に基づいて決定された状況に合わせて、検出対象の音声モデルに加えて、その状況で生じやすい検出対象の音声に近い苦手音モデルを用いて、苦手音を区別しつつ検出対象の音の検出精度を向上させることができる。本実施形態ではさらに、その用いる音声モデルを、同じ映像を撮影していなくとも同じ音声を集音している監視カメラ間で共有することで、システム全体の検出精度を向上させることができる。  
【実施例３】
【００６１】
本発明の実施例３として図３、図６を参照しながら、本実施形態に係る監視システムの構成例を示す。図３に示す監視システム１００は、監視カメラ１０１、１０２にて構成され、悲鳴音などの異常音の検出を行っているシステムである。各カメラは他方のカメラの雑音学習速度を受信した際に、自カメラの入力音声特徴量と他方のカメラの入力音声特徴量の距離を計算して雑音学習速度を補正し検知精度を高める。その際に、自カメラの入力音声に雑音の重畳が予想される場合は、雑音学習速度の変更を行わない。入力音声に雑音の重畳が予想される場合は、例えば内蔵マイクにて監視カメラのパン、チルト操作の動作音が集音された場合である。実施例１に記載した図３の監視システム１００と同じ構成である。ただし本実施例では、監視カメラ１０１，１０２はパンやチルト操作が遠隔的に行える駆動源を有する自動雲台に据え付けられており、例えばモニタ装置１０３から雲台を操作可能であり、それにより撮影方向を変えることができる。従って、構成の説明は省略する。雲台を除いて差異がある部分は特徴量相関計算部３３４と雑音学習部３３８による処理である。図６の監視カメラ１０１による雑音除去の手順を示すフローチャートを参照しながら上記差異について説明する。監視カメラ１０１は起動すると、Ｓ６０１において、初期化処理を行い初期設定として雑音学習部３３８に入力する雑音学習速度を"低速"に設定する。低速の設定ではたとえば収束時間が２０００ミリ秒となる。
【００６２】
Ｓ６０２において、映像入力装置３３０より映像入力部３３１を経て交通状況検出部３３２にて映像上の車の数や通過速度、単位時間当たりの通過頻度から交通状況を検出する。
【００６３】
Ｓ６１５において、雑音学習判断部は、監視カメラ１０１の雲台がパン、チルトのいずれかの動作をしているか判断する。パン、チルトの少なくともいずれかの動作をしている場合はＳ６０９に進み、動作していない場合はＳ６０３に進む。雲台が、カメラとは異なる制御系により制御されている場合には、その制御信号を監視カメラ１０１に入力して、制御信号からパンあるいはチルトあるいはその両方が行われているか判定する。あるいは、たとえばジャイロセンサを用いてヨーイングおよびピッチング方向の各加速度を検知してそれによりパン、チルト動作の判断をすることもできる。
【００６４】
Ｓ６０３において、交通状況検出部３３２より入力された交通状況より雑音学習速度判断部３３３は交通状況に応じた雑音学習速度をもとめ、現在の値と比較する。雑音学習速度に変更があった場合にＳ６０４に進み、変更がなかった場合はＳ６０６に進む。
【００６５】
Ｓ６０４において、上記交通状況検出部３３２の検出結果により雑音学習速度判断部３３３は雑音学習速度を決定し、上記決定された雑音学習速度と、この時点において特徴量抽出部３１１より抽出された特徴量を記憶する。
【００６６】
Ｓ６０５において、上記決定された雑音学習速度を雑音学習部３３８に設定し、雑音学習部３３８は学習速度送信部３４２を通じて監視カメラ１０２に送信して、Ｓ６０９へ進む。
【００６７】
一方Ｓ６０３で学習速度を変更しないと判定された場合には、Ｓ６０６において、通信部３４４より監視カメラ１０２の学習速度と音声特徴量が受信し、変化があったか特徴量相関計算部３３４が判断する。変化があった場合はＳ６０７へ、変化がなかった場合はＳ６０９へ進む。
【００６８】
変換があったと判定された場合、Ｓ６０７において、雑音学習部３３８に設定される雑音学習速度を決定するために３つの特徴量の距離を計算する。特徴量が音声のスペクトルであればその距離はスペクトル間距離であり、たとえば包絡線間の距離などを用いることができる。雑音学習部３３８に設定されている雑音学習速度をａ、その時の特徴量をそれぞれａ１とする。但し、初期値は、ａを２０００ミリ秒、ａ１を１とする。また、通信部３４４を通じて入力された雑音学習速度と特徴量とをそれぞれｂ，ｂ１とする。また、特徴量抽出部３４０より入力された特徴量をｕとする。特徴量ａ１とｕとの距離を計算し、これを距離Ａとする。同様に特徴量ｂ１とｕとの距離を計算し、これを距離Ｂとする。すなわち距離Ａは、現在設定されている学習速度が設定された時の特徴量と現在の特徴量との距離であり、距離Ｂは、他方の監視カメラ１０２から受信した特徴量と現在の特徴量との距離である。
【００６９】
Ｓ６０８にて、上記計算でもとめた学習速度ａ，距離Ａ，学習速度ｂ，距離Ｂを（ａ，Ａ），（ｂ，Ｂ）として２次元座標（ベクトル）として扱う。そしてその２点を通る一次方程式による線形関数近似にて、特徴量ｕとの距離として０（すなわち特徴量ｕそのもの）を代入した時の雑音学習速度をｃとし、その値を式（３．１）により算出する。算出された値ｃを学習速度の設定値として雑音学習部３３８に設定する。
ｃ＝（Ａｂ−Ｂａ）／（Ａ−Ｂ）    （３．１）
但し、ｃの値として、有限の下限値および上限値を予め決めておく。たとえば下限値を６００ミリ秒、上限値を２０００ミリ秒とする。さらに、計算した雑音学習速度ｃで設定された学習速度aを更新し、現在の特徴量ｕで設定時の特徴量ａ１を更新する。すなわち、新たな学習速度ｃを設定し、その学習速度ｃに対応する特徴量として特徴量ｕを記憶する。
【００７０】
また、Ｓ６０３にて交通状況検出部３３２の入力により雑音学習速度が変更になると判定された場合は、ステップＳ６０４において以下のように雑音学習速度を設定する。交通状況検出部３３２の出力が"交通量あり"の場合は、雑音学習速度を"速い"（たとえば６００ミリ秒）にして雑音学習部３３８に設定する。交通状況検出部３３２の出力が"交通量なし"の場合は、学習速度を"遅い"（たとえば２０００ミリ秒）にして学習部３３８に設定する。設定が完了したら、設定した学習速度と、その時点で特徴量抽出部３４０にて抽出された特徴量を、それぞれ上記の設定されている雑音学習速度ａが設定された時の特徴量ａ１として保存する。
【００７１】
Ｓ６０５においては、ステップＳ６０４で設定した学習速度およびそのときの特徴量を他の監視カメラたとえば監視カメラ１０２に学習速度通信部３１３を通して送信する。
【００７２】
Ｓ６０９において、音声分岐部３３７にて音声入力部３３６から入力された音声を複製し、一方を雑音学習部３３８に、他方を雑音除去部３３９に出力する。
【００７３】
Ｓ６１０において、音声分岐部３３７から入力された音声の雑音学習処理を雑音学習部３３８にて行う。
【００７４】
Ｓ６１１において、音声分岐部３３７から入力された音声に対し、雑音学習部３３８から入力された雑音の周波数成分と減算量から雑音除去処理を雑音除去部３３９にて行い除去後の音声を特徴量抽出部３４０に出力する。
【００７５】
Ｓ６１２において、特徴量抽出部３４０は雑音除去後の音声の特徴量を抽出する。抽出された特徴量を異常音検出の為に異常音検出部３４１に送信する。また、上記特徴量を受信した監視カメラ１０２の雑音の学習速度を補正する為に特徴量相関計算部３３４と監視カメラ１０２が雑音の学習速度を計算できるようにする為に学習速度送信部３４２へ出力する。異常音検出部３４３は抽出された特徴量を悲鳴モデルの特徴量と比較し、尤度を計算し異常音検出を行う。
【００７６】
Ｓ６１３において異常音が検出されたか判断する。異常音が検出された場合、異常音検出部３４３はイベント通知部３４３に検知イベントを出力し、Ｓ６１４に進む。異常音が検知されなかった場合はＳ６０２に進む。
【００７７】
Ｓ６１４においてイベント通知部３４３は監視モニタ１０３に異常音検知イベントを通知する。
【００７８】
以上の方法を用いると、入力音声の差異をより精密に雑音学習速度に反映させる事ができ、状況に合わせた最適な背景雑音の学習を行うことで雑音除去精度が向上し、精度よく異常音を検出する事が出来る。本実施例は、実施例１とは以下の二つの点で相違している。
（１）カメラの雲台が動作しているときには、交通状況に応じた学習速度の設定を行わない。これにより、カメラ雲台の動作によるごく局所的なノイズに応じて学習速度を変更し、それを他の監視カメラが使用することを防止できる。
（２）実施例１では、処理中の監視カメラで集音した音声の特徴量と、他の監視カメラで集音した音声の特徴量との相関が閾値を超えているか否かに応じて、現在の学習速度をそのまま用いるか、他の監視カメラの学習速度を用いるかを決定していた。これに対して本実施例では、二つの監視カメラの集音した音声の特徴量の間の距離に応じた値を用いている。
【００７９】
以上、実施例１から実施例３は本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００８０】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８１】
また、実施例においては、単体のカメラを複数台接続した監視システムについて説明した。しかしたとえば、単独のカメラに、異なる方向を向けた複数の撮像部を備え、また異なる位置に複数の例えばマイクロフォンのような収音部を設けて本実施例に係る発明を構成することもできる。この場合には、一つの撮像部とそれに付随する一つの収音部とが実施例における単独の監視カメラに相当する。またこの構成では、それぞれの撮像部で撮影した映像は、単独の画像処理部で処理してよい。またそれぞれの収音部で取得した音声も、単独の処理部で処理してよい。
【符号の説明】
【００８２】
101,102  監視カメラ、103  監視モニタ、330  映像入力装置、331  映像入力部、332  交通状況検出部、333  雑音学習判断部、334  特徴量相関計算部、336  音声入力部、337  音声分岐部、338  雑音学習部、339  雑音除去部、340  特徴量抽出部、341  異常音検出部、342  学習速度送信部、343  イベント通知部、344  通信部
【図１】
2018066821.tif 000003
【図２】
2018066821.tif 000004
【図３】
2018066821.tif 000005
【図４】
2018066821.tif 000006
【図５】
2018066821.tif 000007
【図６】
2018066821.tif 000008
【図７】
2018066821.tif 000009