(57)【要約】【課題】各種メカ駆動部の駆動音が発生し得る環境下において、背景音や環境音を含むノイズを精度良く除去する。【解決手段】情報処理装置５００は、収音装置によって収音された、駆動に伴い音を発生する駆動部を有する装置の周辺を含む所定範囲の音声に対して、上記駆動部の駆動状態を検出する検出手段によって検出された駆動状態に応じた学習処理を行い、ノイズ成分を導出する学習手段と、収音装置によって収音される音声から、学習手段によって導出されたノイズ成分を除去するノイズ除去手段と、を備える。【選択図】      図１
2017229002.tif 000002
【特許請求の範囲】
【請求項１】
収音装置によって収音された、駆動部を有する装置の周辺を含む所定範囲の音声に対して、前記駆動部の駆動状態を検出する検出手段によって検出された駆動状態に応じた学習処理を行い、ノイズ成分を導出する学習手段と、
前記収音装置によって収音された音声から、前記学習手段によって導出されたノイズ成分を除去するノイズ除去手段と、を備えることを特徴とする情報処理装置。
【請求項２】
前記駆動部を有する装置は撮像装置であり、
前記検出手段は、前記駆動状態として、パン駆動状態、チルト駆動状態、ズームレンズ駆動状態、フォーカスレンズ駆動状態、絞り駆動状態、フィルタ挿抜駆動状態、ファン駆動状態および雲台駆動状態のうち、少なくとも１つを検出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記駆動状態は、前記駆動部の駆動速度を含むことを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記学習手段は、前記駆動状態に基づいて、前記学習処理の開始のタイミングを変更することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記学習手段は、前記学習処理の実行中に、前記駆動状態に基づいて前記駆動部の作動を検出した場合、前記学習処理の開始のタイミングを初期化することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記学習手段は、前記学習処理の実行前に、前記駆動状態に基づいて前記駆動部の作動を検出した場合、前記駆動部の作動が終了するまで前記学習処理の開始のタイミングを遅らせることを特徴とする請求項４または５に記載の情報処理装置。
【請求項７】
前記学習手段は、前記駆動状態に基づいて、前記学習処理を中断するか否かを決定することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
前記学習手段は、前記学習処理の実行中に、前記駆動状態に基づいて前記駆動部の一時的な作動を検出した場合、前記学習処理を一時的に中断することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記学習手段は、前記駆動状態に基づいて、前記学習処理を停止するか否かを決定することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記学習手段は、前記学習処理の実行中に、前記駆動状態に基づいて前記駆動部の連続的な作動を検出した場合、前記学習処理を停止することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記学習手段は、前記駆動状態に基づいて、前記学習処理の学習速度を変更することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記学習手段は、前記駆動状態に基づいて前記駆動部の作動を検出し、前記駆動部の駆動速度レベルが所定の閾値レベル以下であると判定した場合、前記学習処理の学習速度を通常速度よりも遅い速度に設定することを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
前記閾値レベルは、前記駆動部ごとにそれぞれ設定されていることを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記ノイズ除去手段によりノイズ除去された音声に異常音が含まれているか否かを判定する判定手段と、
前記判定手段により異常音が含まれていると判定された場合、当該判定結果を通知する通知手段と、をさらに備えることを特徴とする請求項１から１３のいずれか１項に記載の情報処理装置。
【請求項１５】
請求項１から１４のいずれか１項に記載の情報処理装置と、
前記駆動部を有する装置と、
前記収音装置と、を備えることを特徴とする音声処理システム。
【請求項１６】
収音装置によって収音された、駆動に伴い音を発生する駆動部を有する装置の周辺を含む所定範囲の音声に対して、前記駆動部の駆動状態に応じた学習処理を行い、ノイズ成分を導出するステップと、
前記収音装置によって収音される音声から、前記ノイズ成分を除去するステップと、を含むことを特徴とする情報処理方法。
【請求項１７】
コンピュータを、請求項１から１４のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法および音声処理システムに関する。
【背景技術】
【０００２】
従来、音声検知や異常音検知を行う撮像装置等においては、検知精度を向上させるために、入力された音声から背景音や環境音といったノイズを除去した上で、検知処理が行われている。音声に含まれるノイズを除去（抑制）する技術として、ノイズリダクション（ＮＲ）技術が知られている。ＮＲ技術には、除去対象となる音声の周波数成分を各々のゲイン分だけ減算処理することで除去対象音を除去するスペクトラルサブトラクションと称される手法がある。
また、上記撮像装置がメカ駆動部を有する場合、背景音や環境音とは別に自らが発生させる駆動音もノイズとなり、検知精度に大きく影響する。特許文献１には、駆動部を有するロボットにおける音声認識処理において、駆動部の動作速度や動作状態などに基づいて、駆動部の動作により発生する駆動音をノイズとして推定し、ＮＲ処理を行う点が開示されている。この特許文献１では、ＮＲ処理として、スペクトラルサブトラクション手法や、ローパスフィルタにより低周波成分を除去する手法を用いている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３２３９００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、背景音や環境音といった定常的に鳴動する音は、時間帯や状況に応じて変化し得る。そこで、ＮＲ処理の応用技術として、背景音や環境音の周波数領域と減算量とを自己相関や適応フィルタを用いて自動的に学習し、その周波数成分を除去するノイズ学習型のＮＲがある。しかしながら、このノイズ学習型のＮＲでは、背景音や環境音のノイズ学習中にメカ駆動部の駆動音が含まれると、背景音や環境音を適切に学習することができなくなる。
上記特許文献１に記載の技術では、駆動音が発生し得る環境下で背景音や環境音を学習し、ノイズ除去することは全く考慮されていない。
そこで、本発明は、メカ駆動部の駆動音が発生し得る環境下において、背景音や環境音を含むノイズを精度良く除去することを目的としている。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る情報処理装置の一態様は、収音装置によって収音された、駆動部を有する装置の周辺を含む所定範囲の音声に対して、前記駆動部の駆動状態を検出する検出手段によって検出された駆動状態に応じた学習処理を行い、ノイズ成分を導出する学習手段と、前記収音装置によって収音された音声から、前記学習手段によって導出されたノイズ成分を除去するノイズ除去手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、各種メカ駆動部の駆動音が発生し得る環境下において、背景音や環境音を含むノイズを精度良く除去することができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態における異常監視システムの一例を示す構成図である。
【図２】情報処理装置のハードウェア構成の一例を示す図である。
【図３】交通現場を例とした背景ノイズの音声波形である。
【図４】駆動音の発生要因となる駆動部の説明図である。
【図５】駆動音の有無による背景ノイズの音声波形である。
【図６】第一の実施形態のノイズ除去処理の手順を示すフローチャートである。
【図７】第二の実施形態のノイズ除去処理の手順を示すフローチャートである。
【図８】第三の実施形態のノイズ除去処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
図１は、本実施形態における情報処理装置を備える音声処理システムの一例を示す構成図である。本実施形態では、音声処理システムを、屋外や屋内を監視して異常音を検知する異常監視システムに適用した場合について説明する。
【０００９】
本実施形態における異常監視システム１００は、撮像装置によって屋外や屋内を撮像するとともに、収音装置によって収音される撮像装置の周辺を含む所定範囲の音声を取得する。そして、異常監視システム１００は、上記の所定範囲において衝突音やガラスの破壊音、破裂音などが発生した場合、これらの音を異常音として検知する。異常監視システム１００は、異常音を検知した場合、外部の監視モニタ装置２００にイベント通知（異常音が発生したことの通知）を行う。
異常監視システム１００は、監視モニタ装置２００にネットワークを介して接続されている。ここで、ネットワークは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）、インターネットなどである。なお、ネットワークへの物理的な接続形態は、有線であってもよいし、無線であってもよい。
【００１０】
本実施形態では、異常監視システム１００は、背景ノイズが刻々と変化する状況を監視する。ここで、背景ノイズは、検知対象の音（本実施形態では異常音）以外の背景音や環境音を含むノイズである。異常監視システム１００は、より高い精度で検知対象の音を検知するために、定常的に鳴動する背景ノイズを除去する機能を有する。
図２は、交通現場を例とした背景ノイズの音声波形Ｐ１０を示す図である。図２において、縦軸は振幅であり、横軸は時間である。この図２では、２４時間の間に背景ノイズがどのように変化するかを示している。音声波形Ｐ１０を、時間帯に応じて例えば７つの区間Ｐ１１〜Ｐ１７に分けて観察した場合、背景ノイズの変動の仕方は時間帯によって大きく異なることがわかる。具体的には、音声波形Ｐ１０に示すように、交通現場の背景ノイズは、交通量の変化などにより、区間Ｐ１４のように大きく変動することもあれば、区間Ｐ１２のように殆ど変動しないこともある。
【００１１】
異常監視システム１００は、上記の背景ノイズとは別に撮像装置が発する駆動音のノイズを考慮し、背景ノイズを学習し除去する機能を有する。撮像装置が有する駆動部のうち、駆動音の発生要因となる駆動部としては、図３（ａ）に示すパン駆動部Ｑ１がある。また、駆動音の発生要因となる駆動部には、図３（ｂ）のズームレンズ駆動部Ｑ２、フォーカスレンズ駆動部Ｑ３、ＩＲカットフィルタの挿抜駆動部Ｑ４も含まれる。他の駆動部（不図示）としてチルト駆動部、絞り駆動部、ファン駆動部がある。これらの駆動部は、駆動に伴いモータ音や切り替え音といった駆動音を発生する。
【００１２】
図４は、駆動音の有無による背景ノイズの音声波形を比較した図である。図４（ａ）の音声波形Ｐ２０は、駆動音無しのケース、図４（ｂ）の音声波形Ｐ３０は、駆動音有りのケースを示している。図４（ａ）において、音声波形Ｐ２０の部分的な区間Ｐ２１は、波形の形から背景ノイズの少ない閑静な環境であることがわかる。この区間Ｐ２１において駆動音が発生すると、音声波形は図４（ｂ）の区間Ｐ３１に示すようになる。そのため、この区間Ｐ３１では、本来は閑静な環境として判断しなければならないものが、背景ノイズがあるものとして判断されてしまうおそれがある。
【００１３】
本実施形態では、異常監視システム１００は、時間帯に応じて変化する背景音や環境音を含むノイズを学習し、音声のノイズを除去する。その際、異常監視システム１００は、撮像装置が有する駆動部のうち、駆動に伴い音を発生する駆動部の駆動状態を検出し、検出した駆動状態に応じたノイズ学習（学習処理）を行う。
つまり、異常監視システム１００は、収音装置によって収音された、駆動部を有する装置（本実施形態では撮像装置）の周辺の所定範囲の音声に対して、上記駆動状態に応じた学習処理を行い、ノイズ成分を導出する。ここで、ノイズ成分は、駆動部が発する駆動音を含まない背景ノイズの成分である。そして、異常監視システム１００は、収音装置によって収音された音声から、学習処理により導出されたノイズ成分を除去し、ノイズ除去された音声に異常音が含まれているか否かを判定する。異常監視システム１００は、音声に異常音が含まれていると判定した場合、当該判定結果を監視モニタ装置２００に対して通知する。
【００１４】
以下、異常監視システム１００の構成について、詳細に説明する。異常監視システム１００は、映像入力装置３００と、音声入力装置４００と、情報処理装置５００と、通信部６００と、を備える。情報処理装置５００は、通信部６００を介して監視モニタ装置２００に接続されている。
映像入力装置３００は、所定の撮像範囲を撮像して映像を生成し、生成した映像を情報処理装置５００に入力する撮像装置である。本実施形態では、映像入力装置３００は、パン機構、チルト機構およびズーム機構を有するネットワークカメラとする。また、映像入力装置３００は、所定のプリセット撮像位置から、所定の順番で撮像範囲内を巡回撮像する、所謂プリセット巡回機能を有する。映像入力装置３００は、パン機構、チルト機構およびズーム機構を含む各種駆動部の駆動状態を示す駆動情報を情報処理装置５００に入力する。なお、上記駆動情報は、プリセット巡回機能に関するプリセット巡回情報を含んでもよい。
【００１５】
映像入力装置３００が撮像装置である場合、駆動部の駆動状態は、パン駆動状態、チルト駆動状態、ズームレンズ駆動状態、フォーカスレンズ駆動状態、絞り駆動状態、フィルタ挿抜駆動状態、ファン駆動状態、および雲台駆動状態を含む。これらの駆動状態は、各駆動部が作動しているか否かを示す。また、駆動状態検出部５１２は、駆動部の駆動状態として、さらに、パン駆動速度、チルト駆動速度、ズームレンズ駆動速度、フォーカスレンズ駆動速度、ファン駆動速度および雲台駆動速度も含んでもよい。
例えば、パン／チルト駆動やズームレンズ／フォーカスレンズ駆動、雲台駆動ではモータ音が発生し、絞り駆動やＩＲカットフィルタの挿抜駆動では一時的な切り替え音が発生し、ファン駆動ではファン駆動音が発生する。このように、映像入力装置３００は、駆動に伴い駆動音を発生する駆動部の駆動状態を示す駆動情報を情報処理装置５００に出力する。
【００１６】
音声入力装置４００は、マイクロフォン等の収音装置であり、駆動に伴い音を発生する駆動部を有する装置（本実施形態では撮像装置である映像入力装置３００）に対応して設けられている。なお、音声入力装置４００は、映像入力装置３００の内部に設けられていてもよいし、映像入力装置３００の外部に設けられていてもよい。
この音声入力装置４００は、撮像装置の周辺を含む所定範囲の音声を収音し、その音声データを情報処理装置５００に入力する。音声入力装置４００は、撮像装置（映像入力装置３００）の周辺を含む撮像装置の撮像範囲の音を収音する装置であってもよいし、撮像装置（映像入力装置３００）の撮像範囲にかかわらず撮像装置の周辺を含む所定範囲の音を収音する装置であってもよい。
【００１７】
情報処理装置５００は、映像処理部５１０と、音声処理部５２０と、異常音検知部５３０と、イベント通知部５４０と、を備える。情報処理装置５００は、例えばパーソナルコンピュータ（ＰＣ）により構成することができるが、映像入力装置３００、音声入力装置４００、および情報処理装置５００が一体的に１台の監視カメラ（撮像装置）として構成されてもよい。さらには、映像入力装置３００のみが情報処理装置５００と一体的に構成されてもよいし、他の機器が情報処理装置５００として動作してもよい。
映像処理部５１０は、入力部５１１と、駆動状態検出部５１２と、を備え、映像入力装置３００から入力した映像および駆動情報を処理する。音声処理部５２０は、ノイズ学習制御部５２１と、音声入力部５２２と、音声分岐部５２３と、ノイズ学習部５２４と、ノイズ除去部５２５と、を備え、音声入力装置４００から入力した音声のノイズ学習およびノイズ除去を行う。
【００１８】
入力部５１１は、映像入力装置３００から映像および駆動情報を入力し保持する。
駆動状態検出部５１２は、入力部５１１に入力された駆動情報に基づいて、撮像装置が有する各駆動部の駆動状態を検出し、検出した駆動状態をノイズ学習制御部５２５に出力する。駆動状態検出部５１２は、駆動状態として、「駆動時間が長く、音が大きいもの」から優先的に検出し、「駆動時間が短く、音が小さいもの」に向かって順番に検出する。例えば、駆動状態検出部５２１は、ファン駆動、雲台駆動、パン／チルト駆動、ズーム／フォーカスレンズ駆動、フィルタ挿抜、絞り駆動のような順番で駆動状態を検出する。
なお、本実施形態では、映像入力装置３００から映像処理部５１０に映像と駆動情報とが入力される場合について説明するが、少なくとも駆動情報が入力される構成であればよい。
【００１９】
ノイズ学習制御部５２１は、駆動状態検出部５１２から入力された駆動状態に基づいて、後述するノイズ学習条件の設定を行う。ここで、ノイズ学習条件は、ノイズ学習の有無（実行／停止）や開始のタイミング、一時中断／再開、学習速度の設定を含む。ノイズ学習制御部５２１におけるノイズ学習の制御方法（ノイズ学習条件の設定方法）については後で詳述する。
音声入力部５２２は、音声入力装置４００から音声を入力し、音声分岐部５２３に出力する。音声分岐部５２３は、音声入力部５２２から入力した音声を、ノイズ学習部５２４とノイズ除去部５２５とにそれぞれ出力する。ノイズ学習部５２４に入力される音声データと、ノイズ除去部５２５に入力される音声データとは、ゲインや特性に差異や劣化の無い全く同一の音声データである。
【００２０】
ノイズ学習部５２４は、音声分岐部５２３から入力された音声から、定常的に鳴動する背景音や環境音をノイズと定義してその成分（ノイズ成分）を学習し、ノイズ除去時の周波数成分と減算量とをノイズ除去部５２５に出力する。ノイズ学習部５２４は、ノイズ学習制御部５２１により設定されたノイズ学習条件に基づいてノイズ学習を行う。
ノイズ学習部５２４は、ノイズ学習として、まず音声の周波数成分の解析を行う。ノイズ学習部５２４は、音声分岐部５２３から入力された音声をバッファリングし、逐次５秒単位で区切って離散フーリエ変換を行い、その区切った音声に含まれる周波数成分とゲイン（スペクトラム）とを算出する。次に、ノイズ学習部５２４は、定常的に鳴動する音声の周波数成分を学習する。ノイズ学習部５２４は、算出した各々の周波数毎に適応フィルタを設け、それぞれ逐次ゲイン値を入力し収束させていき定常的に鳴動している音声の周波数成分のゲイン値を算出してノイズ除去時の周波数成分と減算量を決定する。
このとき、ノイズ学習部５２４は、ノイズ学習制御部５２１から与えられたノイズの学習速度に関する情報をもとにゲイン値の収束速度を決定する。適応フィルタについては公知の技術であるため、ここでは詳細な説明は省略する。
【００２１】
ノイズ除去部５２５は、音声分岐部５２３から入力された音声に対し、ノイズ学習部５２４から入力された周波数成分と減算量とを用いてノイズ除去処理を行う。ノイズの除去アルゴリズムとしては、スペクトラルサブトラクション法を用いることができる。ノイズ除去に用いるスペクトラルサブトラクション法については公知の技術であるため、ここでは詳細な説明は書略する。
異常音検知部５３０は、ノイズ除去部５２５から出力されるノイズ除去された音声を分析し、ノイズ除去された音声に衝突音やガラスの破壊音、破裂音などの異常音が含まれているか否かを判定する。そして、異常音検知部５３０は、異常音を検知した場合（異常音が含まれていると判定した場合）、イベント通知部５４０に異常音発生の通知（判定結果）を出力する。なお、ノイズ除去部５２５から出力されるノイズ除去後の音声には駆動音が含まれている場合がある。そこで、異常音検知部５３０は、駆動音を例外音として辞書登録しておき、駆動音の特徴量を抽出して異常音として検知しないようにする。
【００２２】
図５は、情報処理装置５００のハードウェア構成を示す図である。
情報処理装置５００は、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３と、外部メモリ５４と、操作部５５と、通信Ｉ／Ｆ５６と、システムバス５７とを備える。
ＣＰＵ５１は、情報処理装置５００における動作を統括的に制御するものであり、システムバス５７を介して、各構成部（５２〜５６）を制御する。ＲＯＭ５２は、ＣＰＵ５１が処理を実行するために必要なプログラムを記憶する不揮発性メモリである。なお、上記プログラムは、外部メモリ５４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ５３は、ＣＰＵ５１の主メモリ、ワークエリアとして機能する。すなわち、ＣＰＵ５１は、処理の実行に際してＲＯＭ５２から必要なプログラムをＲＡＭ５３にロードし、ロードしたプログラムを実行することで各種の機能動作を実現する。
【００２３】
外部メモリ５４は、ＣＰＵ５１がプログラムを用いた処理を行う際に必要な各種データや各種情報を記憶している。また、外部メモリ５４には、ＣＰＵ５１がプログラムを用いた処理を行うことにより得られる各種データや各種情報が記憶される。操作部５５は、ユーザの操作を受けるためのものであり、ボタン、レバー、タッチパネルなどを含む。
通信Ｉ／Ｆ５６は、外部装置（本実施形態では、監視モニタ装置２００、映像入力装置３００、音声入力装置４００）と通信するためのインタフェースである。通信Ｉ／Ｆ５６は、例えばＬＡＮインタフェースである。システムバス５７は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、外部メモリ５４、操作部５５および通信Ｉ／Ｆ５６を通信可能に接続する。
図１に示す情報処理装置５００の各部の機能は、ＣＰＵ５１がプログラムを実行することで実現することができる。ただし、図１に示す情報処理装置５００の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ５１の制御に基づいて動作する。
【００２４】
以下、情報処理装置５００において実行される処理の手順について、図６を参照しながら説明する。図６に示す処理は、例えばユーザ指示の入力に応じて開始される。ただし、図６の処理の開始タイミングは、上記のタイミングに限らない。情報処理装置５００は、ＣＰＵ５１が必要なプログラムを読み出して実行することにより、図６に示す処理を実現することができる。
ただし、図１に示す情報処理装置５００の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図６の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ５１の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
【００２５】
本実施形態では、情報処理装置５００は、撮像装置が有する各駆動部の駆動状態に基づいて、ノイズ学習（学習処理）の開始のタイミングを変更したり、一時中断／再開を決定したりする場合について説明する。
まずＳ１において、ノイズ学習制御部５２１は、ノイズ学習の学習速度や学習タイミングの初期化処理を行う。本実施形態では、時間帯での変化が大きい交通監視を行う環境で、且つ特定の時間帯に監視対象を変更するプリセット巡回を行う環境を想定する。この場合、起動時設定として、常にノイズ学習を行うように設定し、周波数成分のゲイン値の収束速度を、例えば３０分に設定する。この起動時設定は、設置環境に合わせて適宜変更可能である。また、起動時以外は、ノイズ学習制御部５２１の設定に合わせて初期化処理が行われる。
【００２６】
次にＳ２において、入力部５１１は、映像入力装置３００から映像と駆動情報とを取得し、格納する。Ｓ３では、駆動状態検出部５１２は、入力部５１１から入力された駆動情報を解析し、撮像装置が有する各駆動部の現在の駆動状態を検出する。そして、Ｓ４において、ノイズ学習制御部５２１は、Ｓ３において検出された駆動状態をもとに、各駆動部が作動しているか否かを判定する。このとき、いずれかの駆動部が作動している場合にはＳ５に移行し、全ての駆動部が作動していない場合にはＳ６に移行する。
【００２７】
Ｓ５では、ノイズ学習制御部５２１は、Ｓ３において検出された駆動状態をもとに、一時的な駆動音が発生しているか否かを判定する。パン／チルト駆動、ズーム／フォーカスレンズ駆動、雲台駆動、フィルタ挿抜、絞り駆動は、長時間動作動し続けるものでは無いため、これらの駆動により発生する駆動音は、一時的な駆動音として扱う。一方、ファン駆動は、長時間作動し続ける傾向にあるため、ファン駆動により発生する駆動音は、一時的な駆動音ではないとして扱う。
ただし、プリセット巡回が行われている間は、駆動部（パン、チルト、ズーム）は連続的に作動する。そのため、ノイズ学習制御部５２１は、プリセット巡回情報に基づいて、プリセット巡回中であるであると判定した場合には、連続的に駆動部（パン、チルト、ズーム）が作動しており、発生している駆動音は一時的な駆動音ではないと判断してもよい。
【００２８】
ノイズ学習制御部５２１は、Ｓ５において一時的な駆動音が発生していると判定すると、ノイズ学習を一時停止（一時中断）すると判断してＳ２に戻り、一時的な駆動音ではないと判定すると、ノイズ学習条件を再設定するためにＳ１に戻る。
なお、本実施形態では、駆動部が駆動している場合、そのとき発生している駆動音が一時的な駆動音であるか否かに応じて、ノイズ学習を一時的に中断するかノイズ学習の開始のタイミングを変更（初期化）するかを決定している。しかしながら、駆動部が駆動している場合、その駆動音が一時的な駆動音であるか否かに応じて、ノイズ学習の有無を決定するようにしてもよい。つまり、ノイズ学習の実行中に、駆動部の連続的な作動を検出した場合、ノイズ学習を停止する（ノイズ学習しない）ようにしてもよい。
【００２９】
Ｓ６では、ノイズ学習制御部５２１は、ノイズ学習の開始または継続を設定する。ノイズ学習制御部５２１は、ノイズ学習が初期状態の場合は学習開始処理を行い、ノイズ学習が一時停止（一時中断）中の場合は学習再開処理を行い、ノイズ学習中の場合は学習継続処理を行う。
Ｓ７では、音声入力部５２２は、音声入力装置４００から音声を入力し、音声分岐部５２３は、音声入力部５２２から入力された音声を、ゲインや特性に差異や劣化の無い全く同一の二つの音声データに分割する。そして、音声分岐部５２３は、一方の音声データをノイズ学習部５２４に出力し、もう一方の音声データをノイズ除去部５２５に出力する。
Ｓ８では、ノイズ学習部５２４は、Ｓ７において音声分岐部５２３から入力された音声のノイズ学習処理を行う。このとき、ノイズ学習部５２４は、ノイズ学習制御部５２１によって設定されたノイズ学習条件に基づいてノイズ学習を行う。Ｓ９では、ノイズ除去部５２５は、Ｓ７において音声分岐部５２３から入力された音声に対し、Ｓ８におけるノイズ学習によりノイズ学習部５２４から入力されたノイズの周波数成分と減算量とに基づいて、ノイズ除去処理を行う。
【００３０】
Ｓ１０では、異常検知部５３０は、Ｓ９においてノイズ除去部５２５によりノイズ除去された音声に異常音が含まれているかどうかを判定する。このとき、異常検知部５３０は、駆動音に関しては、例外音の辞書データをもとに特徴量を抽出し、異常音として検知しないようにする。異常検知部５３０は、Ｓ１０において異常音を検知すると、イベント通知部５４０にイベント発生を通知する。すると、イベント通知部５４０は、異常検知部５３０からの通知を受けて、通信部６００を介して異常音の発生を監視モニタ装置２００に表示させる。
次にＳ１１において、情報処理装置５００は、音声入力装置４００からの音声入力が停止したか否か、または不図示の異常監視システム１００のＯＮ／ＯＦＦスイッチがＯＦＦ操作されたか否かを確認し、音声入力の停止を判定する。そして、音声入力が停止されている場合は処理を終了し、停止していない場合はＳ２に戻る。
【００３１】
以上のように、本実施形態における情報処理装置５００は、駆動に伴い音を発生する駆動部の駆動状態を検出する。また、情報処理装置５００は、駆動部を有する装置に対応する収音装置によって収音された音声に対して、検出された駆動状態に応じて背景ノイズの学習処理を行い、ノイズ成分を導出する。本実施形態では、駆動部を有する装置は、撮像装置である。また、収音装置は、駆動部を有する装置である撮像装置の周辺の所定範囲の音声を収音する。
そして、情報処理装置５００は、収音装置によって収音された音声から、背景ノイズの学習処理によって導出されたノイズ成分を除去するノイズ除去処理を実施する。さらに、情報処理装置５００は、ノイズ除去処理によりノイズ除去された音声に異常音が含まれているか否かを判定し、異常音が含まれていると判定した場合、その判定結果をユーザへ通知する。
【００３２】
これにより、情報処理装置５００は、撮像装置が有する駆動部が発する駆動音を背景ノイズの学習から除外することができる。したがって、撮像装置が発する駆動音の影響を抑制し、適切に背景ノイズの学習処理を行うことができる。その結果、ノイズ除去精度を向上し、精度良く検知対象である異常音を検知することができる。また、情報処理装置５００は、異常音を検知したか否かの判定結果をユーザに通知する機能を有するので、ユーザは監視対象範囲内における異常発生を適切に認識することができる。
さらに、情報処理装置５００が監視モニタ装置２００に撮像装置によって撮像された映像を表示させれば、ユーザは、表示された映像をもとに異常発生の原因を容易に確認することもできる。
【００３３】
情報処理装置５００は、駆動部の駆動状態として、パン駆動状態、パン駆動速度、チルト駆動状態、チルト駆動速度、ズームレンズ駆動状態、ズームレンズ駆動速度、フォーカスレンズ駆動状態およびフォーカスレンズ駆動速度を検出することができる。
したがって、情報処理装置５００は、撮像装置が有する駆動部の駆動状態に応じた適切な学習処理を行うことができる。なお、情報処理装置５００は、駆動部の駆動状態として、上記のうち少なくとも１つを検出できればよい。
【００３４】
撮像装置が上記のように複数の駆動部を有する場合、駆動部に応じて作動時間や発生する駆動音の大きさは異なる。例えば、パン／チルト駆動やレンズ駆動、絞り駆動、フィルタ挿抜駆動は一時的な作動であることが多いが、ファン駆動は長時間作動されることが多い。ただし、プリセット巡回が行われている間は、パン／チルト駆動やズームレンズ駆動は連続的に作動する。
そこで、情報処理装置５００は、学習処理の実行中に駆動部の作動を検出した場合、その作動が一時的な作動であるか否かを判定する。そして、情報処理装置５００は、学習処理の実行中に、駆動部の一時的な作動を検出した場合には、学習処理を一時的に中断する。つまり、駆動部の作動時間が、学習処理を中断しても繋ぎ目の精度に対する影響が少ないと判断できる長さである場合には、学習処理を一時的に中断する。一方、情報処理装置５００は、学習処理の実行中に駆動部の作動を検出した場合、その作動が連続的な作動であると判定すると、学習処理の開始のタイミングを初期化（あるいは学習処理を停止）する。
【００３５】
このように、情報処理装置５００は、駆動部の駆動状態に基づいて、学習処理の開始のタイミングを変更したり、学習処理を中断するか否かを決定したり、学習処理を停止するか否かを決定したりする。これにより、時間帯での変化が大きい交通監視を行う環境など、常に学習処理を実行するよう設定されている場合であっても、駆動音の影響を抑制しつつ、精度良く背景ノイズの学習処理を行うことができる。
また、情報処理装置５００は、学習処理の実行前の初期状態であるときに駆動部の作動を検出した場合には、駆動部の作動が終了するまで学習処理の開始のタイミングを遅らせ、駆動部の作動が終了したタイミングで学習処理を開始させることができる。したがって、駆動音の影響のないタイミングで学習処理を開始することができる。
【００３６】
なお、情報処理装置５００は、学習処理の実行中に駆動部の作動を検出した場合、その作動が一時的な作動であるか否かにかかわらず、学習処理の開始のタイミングを初期化してもよい。この場合、より確実に学習処理に対する駆動音の影響を抑制することができる。
また、撮像装置が複数の駆動部を有する場合、駆動部に応じて駆動音の大きさは異なる。例えば、レンズ駆動や絞り駆動では駆動音は小さいが、パン／チルト駆動やフィルタ挿抜駆動では大きな駆動音が発生する。駆動音が大きいほど、背景ノイズの学習処理に対する影響は大きい。そのため、情報処理装置５００は、駆動部の作動を検出した場合、駆動音の大きさに応じて（学習処理に対する影響の度合いに応じて）ノイズ学習条件を設定してもよい。
さらに、上記実施形態では、特定の時間帯にプリセット巡回を行う場合について説明したが、常にプリセット巡回が行われ、駆動部が絶え間なく動作するケースも存在し得る。この場合には、定期的にプリセット巡回を停止し、背景ノイズの学習期間を設けるようにしてもよい。
【００３７】
（第二の実施形態）
次に、本発明における第二の実施形態について説明する。
上述した第一の実施形態では、常にノイズ学習処理を行う場合について説明したが、第二の実施形態では、定期的にノイズ学習処理を行う場合について説明する。
本実施形態では、ノイズ除去装置のＣＰＵ性能が低い場合や、環境音の変化が少ない場所における監視、通常は駆動音が鳴らないような定点監視の環境を想定する。そして、本実施形態では、撮像装置が有する各駆動部の駆動状態に基づいて、定期的に行っているノイズ学習処理の開始のタイミングを変更する方法について説明する。
【００３８】
図７は、本実施形態における情報処理装置５００において実行されるノイズ除去処理の手順を示すフローチャートである。この図７において、上述した図６と同一処理を行う部分には図６と同一ステップ番号を付し、以下、処理の異なる部分を中心に説明する。
まずＳ２１では、ノイズ学習制御部５２１は、ノイズ学習の学習速度や学習タイミングの初期化処理を行い、Ｓ２に移行する。本実施形態では、時間帯での変化が少なく、通常は駆動音が鳴らないような定点監視の環境を想定する。この場合、起動時設定として、例えば１時間に１回ノイズ学習を行い、周波数成分のゲイン値の収束速度を１５分に設定する。この起動時設定は、設置環境に合わせて適宜変更可能である。また、起動時以外は、ノイズ学習制御部５２１の設定に合わせて初期化処理が行われる。
【００３９】
また、ノイズ学習制御部５２１は、Ｓ４において各駆動部が駆動していると判定した場合、Ｓ２２に移行して、ノイズ学習を開始しているか否かを判定する。そして、既にノイズ学習が開始されている場合、つまり学習処理の実行中に駆動部の作動を検出した場合は、学習処理をリセットするためにＳ２１に戻る。一方、ノイズ学習が開始されていない場合、つまり学習処理の実行前に駆動部の作動を検出した場合は、駆動部の作動が終了するまで学習処理を開始しないようにするためにＳ２に戻る。
このように、定期的にノイズ学習を行う場合、ノイズ学習の実行中にメカ駆動が発生した場合には、情報処理装置５００は、学習処理の開始のタイミングを初期化して学習処理をし直す。また、ノイズ学習の実行前にメカ駆動が発生した場合には、情報処理装置５００は、メカ駆動が終了するまで学習処理の開始のタイミングを遅らせ、ノイズ学習の開始を待つようにする。この場合、メカ駆動が終了すれば、図７のＳ４からＳ６に移行するため、ノイズ学習が開始されることになる。
【００４０】
これにより、上述した第一の実施形態と同様に、撮像装置が発する駆動音の影響を抑制して、適切に背景ノイズの学習処理を行うことができる。その結果、ノイズ除去精度を向上し、精度良く検知対象である異常音を検知することができる。
なお、上述した第一の実施形態と同様に、学習処理の実行中に駆動部の作動を検出した場合には、その作動が一時的な作動であるかを判定し、一時的な作動である場合に学習処理を一時的に中断するようにしてもよい。
【００４１】
（第三の実施形態）
次に、本発明における第三の実施形態について説明する。
上述した第一および第二の実施形態では、駆動部の作動を検出した場合、ノイズ学習の開始のタイミングの変更や一時中断／再開の決定を行う場合について説明した。第三の実施形態では、駆動部の作動を検出した場合、駆動部の駆動速度を含む駆動状態に応じて、ノイズ学習の学習速度を調整する場合について説明する。
駆動部の駆動速度よっては、学習処理に対する駆動音の影響が少なく、学習処理を一時中断したりリセット（開始のタイミングを初期化）したりしなくとも、学習速度を変更することで対応可能な場合がある。本実施形態では、撮像装置が有する各駆動部の駆動速度を含む駆動状態に基づいて、学習速度を変更する方法について説明する。
【００４２】
図８は、本実施形態における情報処理装置５００において実行されるノイズ除去処理の手順を示すフローチャートである。この図８において、上述した図６と同一処理を行う部分には図６と同一ステップ番号を付し、以下、処理の異なる部分を中心に説明する。
まずＳ３１では、ノイズ学習制御部５２１は、ノイズ学習の学習速度や学習タイミングの初期化処理を行い、Ｓ２に移行する。本実施形態では、特定の時間帯のみプリセット巡回で低速パン駆動が行われる環境を想定する。この場合、起動時設定として、常にノイズ学習を行い、周波数成分のゲイン値の収束速度を、例えば３０分に設定する。この起動時設定は、設置環境に合わせて適宜変更可能である。また、起動時以外は、ノイズ学習制御部５２１の設定に合わせて初期化処理が行われる。
【００４３】
また、ノイズ学習制御部５２１は、Ｓ４において各駆動部が作動していると判定した場合、Ｓ３２に移行して、各駆動部の駆動速度レベルが所定の閾値レベル以下であるか否かを判定する。そして、駆動速度レベルが所定の閾値レベル以下である場合はＳ３３に移行し、駆動速度レベルが所定の閾値レベルを上回っている場合はＳ５に移行する。
本実施形態では、駆動速度のレベルは７段階とする。そして、パン／チルト駆動は２段階以下、ズーム／フォーカス駆動は３段階以下であれば駆動音の影響が少ないと判断し、これらをそれぞれの閾値レベルとして設定する。このように、上記所定の閾値レベルは、当該閾値レベル以下であれば駆動音の影響が少ないと判断できるレベルに設定する。また、上記所定の閾値レベルは、駆動部ごとにそれぞれ設定される。なお、駆動音の影響が少なくなる駆動種別と駆動速度との組み合わせは、撮像装置によって異なるため、構成に応じて変更可能である。
【００４４】
Ｓ３３では、ノイズ学習制御部５２１は、学習速度の再設定を行い、Ｓ６に移行する。具体的には、Ｓ３３では、ノイズ学習制御部５２１は、ノイズ学習の学習速度を通常速度よりも遅くする。つまり、ノイズ学習の学習時間を長くする。例えば、ノイズ学習制御部５２１は、周波数成分のゲイン値の収束速度を、通常速度である３０分から６０分へ変更する。これにより、ノイズ学習に対する駆動音の影響を十分に小さくすることができる。
また、ノイズ学習制御部５２１は、Ｓ４において各駆動部が作動していないと判定した場合、Ｓ３４に移行する。Ｓ３４では、ノイズ学習制御部５２１は、ノイズ学習の学習速度を通常速度に設定し、Ｓ６に移行する。つまり、ノイズ学習制御部５２１は、ノイズ学習が通常速度である場合は、学習速度をそのまま維持し、学習速度が通常速度よりも遅く設定されている場合は、学習速度を通常速度に戻す。
【００４５】
このように、情報処理装置５００は、駆動部の駆動状態に基づいて、学習処理の学習速度を変更する。ここで、情報処理装置５００は、駆動部の駆動状態として、絞り駆動状態、フィルタ挿抜駆動状態、ファン駆動状態、ファン駆動速度、雲台駆動状態および雲台駆動速度を検出することができる。
そして、情報処理装置５００は、学習処理の実行中に、駆動部の駆動状態に基づいて駆動部の作動を検出し、駆動部の駆動速度レベルが所定の閾値レベル以下であると判定した場合、学習処理の学習速度を通常速度よりも遅い速度に切り替える。また、情報処理装置５００は、学習処理の実行前の初期状態であるときに駆動部の作動を検出し、駆動部の駆動速度レベルが所定の閾値レベル以下であると判定した場合には、学習処理の学習速度を通常速度よりも遅い速度に設定して学習処理を開始する。
【００４６】
以上のように、学習速度を調整することで、駆動音を無視できるケースに対応することができる。また、上記の閾値レベルを駆動部ごとにそれぞれ設定することで、より適切に学習速度を調整することができる。
そして、上述した第一および第二の実施形態と同様に、撮像装置が発する駆動音の影響を抑制して、適切に背景ノイズの学習処理を行うことができる。その結果、ノイズ除去精度を向上し、精度良く検知対象である異常音を検知することができる。
【００４７】
（変形例）
上記各実施形態においては、音声処理システムとして、異常音を検知する異常監視システム１００について説明した。しかしながら、駆動音が発生し得る環境下において時間帯や状況に応じて変化する背景ノイズを学習して除去し、対象とする音声を検知（認識）するシステムであれば、本発明を適用可能である。また、音声処理システムは、撮像装置（映像入力装置３００）を備えなくてもよい。
さらに、上記各実施形態においては、情報処理装置５００は、異常音を検知する異常音検知装置として動作する場合について説明したが、駆動音が発生し得る環境下において背景ノイズを学習し除去するノイズ除去装置として動作することもできる。この場合、情報処理装置５００は、図１の異常検知部５３０およびイベント通知部５４０を備えなくてよい。
【００４８】
また、上記各実施形態においては、情報処理装置５００は、異常音を検知する異常音検知装置として動作する場合について説明したが、検知対象の音声は異常音に限定されない。例えば、ユーザの発話した音声を検知対象の音声としてもよい。
さらに、上記各実施形態においては、駆動部を有する装置が撮像装置である場合について説明したが、駆動部を有する装置は撮像装置に限定されない。例えば、駆動部を有する装置は、ユーザの発話した音声に従って動作するロボット装置であってもよい。この場合、情報処理装置５００は、収音装置によって収音されたロボット装置の周辺の音声に対して、ロボット装置が有する駆動部の駆動状態に応じたノイズ学習を行い、ノイズ除去処理を行うことができる。
【００４９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５０】
１００…異常監視システム、２００…監視モニタ装置、３００…映像入力装置（撮像装置）、４００…音声入力装置（収音装置）、５００…情報処理装置、５１０…映像処理部、５１１…入力部、５１２…駆動状態検出部、５２０…音声処理部、５２１…ノイズ学習制御部、５２２…音声入力部、５２３…音声分岐部、５２４…ノイズ学習部、５２５…ノイズ除去部、５３０…異常音検知部、５４０…イベント通知部
【図１】
2017229002.tif 000003
【図２】
2017229002.tif 000004
【図３】
2017229002.tif 000005
【図４】
2017229002.tif 000006
【図５】
2017229002.tif 000007
【図６】
2017229002.tif 000008
【図７】
2017229002.tif 000009
【図８】
2017229002.tif 000010