(57)【要約】【課題】複数の機器のそれぞれが正常に動作しているか否かの判定精度を向上させる。【解決手段】音響信号処理装置は、識別部、抽出部、特徴量算出部、及び一致度算出部を備える。識別部は、監視対象である複数の機器の動作状態を識別する。抽出部は、複数の音響信号に基づいて、複数の機器のそれぞれが設置された方向毎に、音響信号における機器が設置された方向から到来したと判定された音の成分を抽出する。特徴量算出部は、音の成分の特徴量を算出する。一致度算出部は、複数の機器の動作状態の識別結果に応じて予め用意された複数の比較対象のうちの１つの比較対象を選出し、選出した比較対象に含まれる特徴量と、算出した音の成分の特徴量との一致度を示す情報を算出する。【選択図】図２
2019144093.tif 000002
【特許請求の範囲】
【請求項１】
監視対象である複数の機器の動作状態を識別する識別部と、
複数のマイクから取得した複数の音響信号に基づいて、前記複数の機器のそれぞれが設置された方向毎に、前記音響信号における機器が設置された方向から到来したと判定された音の成分を抽出する抽出部と、
抽出した前記音の成分の特徴量を算出する特徴量算出部と、
前記識別部の識別結果に基づいて予め用意された複数の比較基準のうちの１つの比較基準を選出し、選出した前記比較基準に含まれる特徴量と、前記特徴量算出部で算出した前記特徴量との一致度を示す情報を算出する一致度算出部と、
を備えることを特徴とする音響信号処理装置。
【請求項２】
前記一致度算出部は、前記一致度を示す情報として、選出した前記比較基準に含まれる前記特徴量と前記特徴量算出部で算出した前記特徴量との差異に基づいたスコアを算出し、算出された前記スコアに基づいて異常判定を行う、
ことを特徴とする請求項１に記載の音響信号処理装置。
【請求項３】
前記音響信号処理装置は、前記複数の音響信号に基づいて、前記複数の機器のうちの動作している機器の有無を検知する検知部を更に備え、
前記識別部は、前記検知部において前記動作している機器があることを検知した場合に、前記複数の音響信号における音の大小関係に基づいて、動作している機器を識別する、
ことを特徴とする請求項１に記載の音響信号処理装置。
【請求項４】
前記識別部は、前記複数の機器のそれぞれにおける動作状態により変化する情報を取得し、取得した前記動作状態により変化する情報と前記複数の機器のうちの動作している機器の組み合わせを示す動作判定テーブルとに基づいて、前記複数の機器の動作状態を識別する、
ことを特徴とする請求項１に記載の音響信号処理装置。
【請求項５】
前記音響信号処理装置は、前記複数の機器のそれぞれで消費した電力量を示す電力値を取得する電力値取得部、を更に備え、
前記識別部は、前記複数の機器のそれぞれにおける前記電力値の組み合わせに基づいて、動作している機器の組み合わせを含む前記動作状態を識別する、
ことを特徴とする請求項１に記載の音響信号処理装置。
【請求項６】
前記音響信号処理装置は、前記音響信号から抽出した前記音の成分と、予め用意された前記音の成分の到来方向と対応する方向から到来した前記機器の動作音を含むリファレンスとに基づいて、前記音の成分に生じた歪みを算出する歪み量算出部と、
前記スコアに基づいて前記機器が正常に動作しているか否かを判定する際の前記スコアの閾値に付いての補正量を算出する閾値補正部、を更に備える、
ことを特徴とする請求項２に記載の音響信号処理装置。
【請求項７】
前記音響信号処理装置は、前記機器の動作状態の識別結果において動作している機器が１台である場合に、該１台の動作している機器についての前記リファレンスを、前記１台の動作している機器の存在方向から到来する音の成分から算出した前記特徴量に更新するリファレンス制御部、更に備える、
ことを特徴とする請求項６に記載の音響信号処理装置。
【請求項８】
前記音響信号処理装置は、前記複数の機器毎に、所定の時間間隔で算出した複数個の前記スコアの時間履歴に基づいて、前記機器が正常に動作しているか否かを判定する異常判定部、を更に備える、
ことを特徴とする請求項２に記載の音響信号処理装置。
【請求項９】
監視対象である複数の機器の動作状態を識別し、
複数のマイクから取得した複数の音響信号に基づいて、前記複数の機器のそれぞれが設置された方向毎に、前記音響信号における機器が設置された方向から到来したと判定された音の成分を抽出し、
抽出した前記音の成分の特徴量を算出し、
識別した前記複数の機器の動作状態に応じて、予め用意された複数の比較基準のうちの１つの比較基準を選出し、選出した前記比較基準に含まれる特徴量と算出した前記音の成分の特徴量との一致度を示す情報を算出する、
処理をコンピュータに実行させることを特徴とする音響信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号処理装置、及び音響信号処理プログラムに関する。
【背景技術】
【０００２】
監視対象である機器が正常に動作しているか否かを判定する方法の１つとして、機械学習により監視対象である機器の動作音が正常であるか否かを判定する方法がある。ただし、機械学習により機器の動作音が正常であるか否かを判定する場合、機器の動作に異常が発生したときの動作音を十分に採取することが困難である。このように異常時の動作音を十分に採取することが困難な場合には、正常時の動作音に基づく学習により正常動作時の音の特徴量の分布範囲を調べてモデル化し、モデルからの距離に応じて機器の動作音が正常であるか否かを判定する。
【０００３】
また、動作音を利用した機器の動作の監視では、監視対象である機器が複数である場合や、監視対象である機器の周囲に監視対象外の音源が複数存在する場合に、監視対象である機器の動作音と、他の動作音とを適切に分離する必要がある。複数の機器が動作する環境において機器の異常動作を識別する方法の１つとして、マイクロホンアレイの入力信号から音源方向のヒストグラムの時間変化を検出し、該検出結果に基づいて音場に異常が生じたか否かを判定する方法がある（例えば、特許文献１を参照）。また、マイクロホンアレイの入力信号から異常音を検出する際に、検出対象外となる方向への指向性を形成した音声データに含まれる異常音は異常音として検出しないようにすることで、異常音の誤検出を低減する方法がある（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−８０８６８号公報
【特許文献２】特開２０１６−１１８９８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
マイクロホンアレイの入力信号に基づいて所望の方向への指向性を形成した音声データを生成する場合には、該所望の方向とは異なる方向から到来する音の成分を雑音成分として抑圧する。しかしながら、所望の方向に設置された機器が発する動作音と類似した音を発する音源が所望の方向とは異なる方向に存在する場合、到来方向が異なる２つの音を分離することが困難となり、抑圧が過剰になる、或いは抑圧が不十分になるといったことが起こり得る。所望の方向とは異なる方向から到来する音の成分を適切に抑圧することができなかった場合、生成される音声データの特徴量と、所望の方向に存在する機器が発した動作音の特徴量との距離が大きくなる。このため、実際には正常な動作音であるにもかかわらず、監視対象の機器に異常があると誤判定される可能性が高くなる。
【０００６】
１つの側面においては、本発明は、動作音に基づいて複数の機器のそれぞれが正常に動作しているか否かを判定する際の判定精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
１つの態様の音響信号処理装置は、識別部と、抽出部と、特徴量算出部と、一致度算出部とを備える。識別部は、監視対象である複数の機器の動作状態を識別する。抽出部は、複数のマイクから取得した複数の音響信号に基づいて、複数の機器のそれぞれが設置された方向毎に、音響信号における機器が設置された方向から到来したと判定された音の成分を抽出する。特徴量算出部は、抽出した音の成分の特徴量を算出する。一致度算出部は、識別部の識別結果に応じて予め用意された複数の比較基準のうちの１つの比較基準を選出し、選出した比較基準に含まれる特徴量と、特徴量算出部で算出した特徴量との一致度を示す情報を算出する。
【発明の効果】
【０００８】
上述の態様によれば、動作音に基づいて複数の機器のそれぞれが正常に動作しているか否かを判定する際の判定精度が向上する。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る監視システムのシステム構成の一例を示す図である。
【図２】第１の実施形態に係る音響信号処理装置の機能的構成を示す図である。
【図３】動作判定テーブルの内容を説明する図である。
【図４】比較基準セットの内容を説明する図である。
【図５】サーバ装置の機能的構成を示す図である。
【図６】第１の実施形態に係る音響信号処理装置が行う処理を説明するフローチャートである。
【図７】動作している機器の有無を検知する処理の内容を説明するフローチャートである。
【図８】機器の動作状態を識別する処理の内容を説明するフローチャートである。
【図９】特徴量の算出方法を説明する図である。
【図１０】スコアの算出方法を説明する図である。
【図１１】所定の機器の設置方向から到来したと判定された音の成分を抽出する際に生じる歪みを説明する図である。
【図１２】機器の異常の有無の判定方法を説明する図である。
【図１３】第２の実施形態に係る監視システムのシステム構成の一例を示す図である。
【図１４】第２の実施形態に係る音響信号処理装置の機能的構成を示す図である。
【図１５】第２の実施形態における動作判定テーブルの内容を説明する図である。
【図１６】第２の実施形態における比較基準セットの例を説明する図である。
【図１７】第２の実施形態に係る音響信号処理装置が行う処理を説明するフローチャートである。
【図１８】第３の実施形態に係る音響信号処理装置の機能的構成を示す図である。
【図１９】第３の実施形態に係るサーバ装置の機能的構成を示す図である。
【図２０】第３の実施形態に係る音響信号処理装置が行う処理を説明するフローチャートである。
【図２１】閾値の補正量の決定方法を説明する図である。
【図２２】第３の実施形態における機器の異常の有無の判定方法を説明する図である。
【図２３】第４の実施形態に係る音響信号処理装置の機能的構成を示す図である。
【図２４】第４の実施形態に係る音響信号処理装置が行う処理を説明するフローチャートである。
【図２５】コンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
本実施形態に係る音響信号処理装置は、マイクロホンアレイ（以下「マイクアレイ」という）により収音した音響信号に基づいて、監視対象である複数の機器のそれぞれが正常に動作しているか否かを判定する監視システムに適用される。ここで、監視対象である複数の機器は、例えば、それぞれ、動作時に定常的な動作音を発する機器（例えば、空調システムの室外機）とし、１個のマイクアレイにより動作音を収音可能な範囲内に設置されているものとする。
【００１１】
図１は、第１の実施形態に係る監視システムのシステム構成の一例を示す図である。
図１に示すように、本実施形態の監視システム１は、マイクアレイ２と、音響信号処理装置３と、サーバ装置４と、監視端末５と、携帯端末６とを含む。
【００１２】
マイクアレイ２は、２個以上のマイク（マイクロフォン）を所定の規則に従って配置した収音装置である。図１には、マイクアレイ２の一例として、第１のマイク２Ａと第２のマイク２Ｂとの２個のモノラルマイクを含むステレオマイクを示している。マイクアレイ２は、監視対象である複数の機器のそれぞれが発する動作音を収音可能な位置に設置する。監視対象である複数の機器は、例えば、それぞれ、空調システムにおける室外機等の動作時に定常的な動作音を発する機器とする。図１には、監視対象の機器として、第１の機器７Ａと第２の機器７Ｂとの２台の機器を示している。
【００１３】
音響信号処理装置３は、マイクアレイ２で収音した音響信号に基づいて、監視対象である複数の機器７Ａ，７Ｂのそれぞれが正常に動作しているか否かの判定に用いる判定情報を生成する。また、音響信号処理装置３は、生成した判定情報を、インターネット等のネットワーク８を介してサーバ装置４に送信する。音響信号処理装置３は、例えば、マイクアレイ２とともに、監視対象である機器７Ａ，７Ｂの近傍に設置する。
【００１４】
本実施形態の音響信号処理装置３は、まず、監視対象である複数の機器７Ａ，７Ｂの動作状態を識別する処理と、音響信号における機器が設置された方向から到来したと判定された成分を抽出する処理とを行う。その後、音響信号処理装置３は、音響信号から抽出した成分の特徴量と機器の動作状況に基づいて選定した比較基準に含まれる特徴量との差異に基づいて、判定情報を生成する。ここで、動作状態を識別する処理は、複数の機器７Ａ，７Ｂのうちの動作している機器を識別する処理を含む。また、比較基準に含まれる特徴量は、機器が正常に動作しているときの動作音についての特徴量である。また、生成する判定情報は、例えば、選定した比較基準に含まれる特徴量と音響信号から抽出した特徴量との差異（距離）に比例した数値（以下「スコア」という）とする。なお、本実施形態の音響信号処理装置３は、上記のように、判定情報（スコア）を生成する際に、機器の動作状況に基づいて比較基準を選定する。すなわち、本実施形態の音響信号処理装置３は、スコア生成の対象である機器とは別の機器が動作しているか否かに応じてスコアの生成に用いる比較基準を切り替える。例えば、図１の第１の機器７Ａと第２の機器７Ｂとが監視対象であり、かつスコア生成の対象が第１の機器７Ａである場合、音響信号処理装置３は、第２の機器７Ｂが動作しているか否かに応じてスコアの生成に用いる比較基準を切り替える。第２の機器７Ｂが動作していない場合、音響信号処理装置３は、スコアの生成に用いる比較基準を、第１の機器７Ａのみが動作しているときに収音した音響信号から抽出した第１の機器７Ａの正常な動作音の特徴量を含む比較基準とする。これに対し、第２の機器７Ｂが動作している場合、音響信号処理装置３は、スコアの算出に用いる比較基準を、第１の機器７Ａ及び第２の機器７Ｂの両方が動作しているときに収音した音響信号から抽出した第１の機器７Ａの正常な動作音の特徴量を含む比較基準とする。
【００１５】
サーバ装置４は、音響信号処理装置３から取得した判定情報に基づいて、監視対象である複数の機器７Ａ，７Ｂが正常に動作しているか否かを判定する。サーバ装置４は、機器毎に、所定期間分（例えば１時間分）の複数個の判定情報に基づいて、正常に動作しているか否かを判定する。例えば、サーバ装置４は、所定期間分の複数個のスコアのうちの第１の閾値以上であるスコアの個数の割合を算出し、該割合が第２の閾値よりも低い場合には対象の機器が正常に動作していると判定する。言い換えると、所定期間分の複数個のスコアのうちの第１の閾値以上であるスコアの個数の割合が第２の閾値以上である場合、サーバ装置４は、対象の機器の動作に異常があると判定する。サーバ装置４は、機器が正常に動作しているか否かの判定結果を含む情報を生成し、ネットワーク８を介して監視端末５に送信する。また、サーバ装置４は、動作に異常が発生した機器を検知した場合には、異常が発生した機器を通知する情報を生成し、ネットワーク８を介して携帯端末６に向けて送信する。
【００１６】
本実施形態に係る監視システム１は、例えば、動作時に定常的な動作音を発する複数の機器７Ａ，７Ｂ同士が近接して配置されている場合の各機器の動作の監視に適用される。本実施形態の監視システム１では、監視対象である複数の機器７Ａ，７Ｂの近傍に設置したマイクアレイ２で収音した音響信号に基づいて機器７Ａ，７Ｂの動作が正常であるか否かを判定する処理を、音響信号処理装置３及びサーバ装置４により行う。
【００１７】
図２は、第１の実施形態に係る音響信号処理装置の機能的構成を示す図である。
図２に示すように、本実施形態に係る音響信号処理装置３は、信号取得部３０１と、動作検知部３０２と、動作状態識別部３０３と、成分抽出部３０４と、特徴量算出部３０５と、スコア算出部３０６と、出力部３０７と、記憶部３９０と、を備える。
【００１８】
信号取得部３０１は、マイクアレイ２における第１のマイク２Ａで収音した第１の音響信号と、該マイクアレイ２における第２のマイク２Ｂで収音した第２の音響信号とを取得する。本実施形態では、第１のマイク２Ａをマイクアレイ（ステレオマイク）２における左チャンネル（Ｌ−ｃｈ）のマイクとし、第２のマイク２Ｂを右チャンネル（Ｒ−ｃｈ）のマイクとする。本実施形態の音響信号処理装置３における信号取得部３０１は、複数のマイクのそれぞれで収音した音響信号を取得する信号取得部の一例である。
【００１９】
動作検知部３０２は、第１の音響信号と第２の音響信号とに基づいて、監視対象である複数の機器のなかに動作している機器があるか否かを検知する。動作検知部３０２は、例えば、第１の音響信号と第２の音響信号を混合してモノラル化し、モノラル化した音響信号における音の定常性の有無に基づいて、動作している機器の有無を検知する。本実施形態の音響信号処理装置３における動作検知部３０２は、複数のマイクのそれぞれから取得した音響信号に基づいて監視対象である複数の機器のなかに動作している機器があるか否かを検知する検知部の一例である。
【００２０】
動作状態識別部３０３は、第１の音響信号及び第２の音響信号と、動作検知部３０２の検知結果と、動作判定テーブル３９１とに基づいて、監視対象である複数の機器の動作状態を識別する。動作状態識別部３０３が識別する機器の動作状態は、例えば、第１の機器７Ａのみが動作している状態、第２の機器７Ｂのみが動作している状態、両方の機器７Ａ，７Ｂが動作している状態、及び両方の機器７Ａ，７Ｂが停止している状態の４つの状態とする。例えば、動作状態識別部３０３は、まず、第１の音響信号の平均パワー及び第２の音響信号の平均パワーを算出し、２つの平均パワーの差分と、記憶部３９０に記憶させた動作判定テーブル３９１に含まれる閾値情報とに基づいて、２つの平均パワーの大小関係を把握する。その後、動作状態識別部３０３は、平均パワーの大小関係と動作検知部３０２の検知結果との組み合わせに基づいて、機器の動作状態を識別する。この際、動作状態識別部３０３は、例えば、動作判定テーブル３９１に含まれる、平均パワーの大小関係と動作している機器の有無との組み合わせと、機器の動作状態との対応関係に基づいて、処理対象となっている音響信号を収音した時点での機器の動作状態を識別する。本実施形態の音響信号処理装置３における動作状態識別部３０３は、監視対象である複数の機器の動作状態を識別する識別部の一例である。
【００２１】
成分抽出部３０４は、第１の音響信号と第２の音響信号とに基づいて、音響信号における第１の成分と第２の成分とを抽出する。第１の成分は、第１の機器７Ａが存在する方向からマイクアレイ２に到来したと判定される音の成分である。第２の成分は、第２の機器７Ｂが存在する方向からマイクアレイ２に到来したと判定される音の成分である。例えば、成分抽出部３０４は、第１の音響信号における第１の機器７Ａが存在する方向とは異なる方向から到来したと判定される音を雑音成分として抑圧し、第１の成分を抽出する。この際、成分抽出部３０４は、例えば、第１の音響信号と第２の音響信号との位相差と、第１の機器７Ａが存在する方向とに基づいて、第１の音響信号における雑音成分を特定して抑圧する。また、成分抽出部３０４は、第２の音響信号における第２の機器７Ｂが存在する方向とは異なる方向から到来したと判定される音を雑音成分として抑圧し、第２の成分を抽出する。この際、成分抽出部３０４は、例えば、第１の音響信号と第２の音響信号との位相差と、第２の機器７Ｂが存在する方向とに基づいて、第２の音響信号における雑音成分を特定して抑圧する。本実施形態の音響信号処理装置３における成分抽出部３０４は、マイクアレイ２で収音した音響信号に基づいて、機器が存在する方向毎に、音響信号における機器が存在する方向からマイクアレイ２に到来したと判定される音の成分を抽出する抽出部の一例である。
【００２２】
特徴量算出部３０５は、成分抽出部３０４で抽出した第１の成分及び第２の成分のそれぞれにおける所定の特徴量を算出する。特徴量算出部３０５は、例えば、抽出した成分毎に、周波数領域における周波数帯域毎の平均パワーを算出し、算出した平均パワーの集合を特徴量とする。本実施形態の音響信号処理装置３における特徴量算出部３０５は、音響信号から抽出した、機器が存在する方向からマイクアレイ２に到来したと判定される音の特徴量を算出する特徴量算出部の一例である。
【００２３】
スコア算出部３０６は、複数の機器の動作状態の識別結果と、特徴量算出部３０５で算出した特徴量と、記憶部３９０に記憶させた比較基準セット３９２とに基づいて、機器の動作が正常であるか否かの判定に用いるスコアを算出する。比較基準セット３９２は、監視対象である複数の機器７Ａ，７Ｂの動作状況に応じた４通りの比較基準３９２Ａ〜３９２Ｄを含む。第１の比較基準３９２Ａは、第１の機器７Ａのみが動作しているときに収音した音響信号に基づいて算出した、第１の機器７Ａの正常な動作音についての特徴量を含む。第２の比較基準３９２Ｂは、第２の機器７Ｂのみが動作しているときに収音した音響信号に基づいて算出した、第２の機器７Ｂの正常な動作音についての特徴量を含む。第３の比較基準３９２Ｃは、第１の機器７Ａ及び第２の機器７Ｂが動作しているときに収音した音響信号から第２の機器７Ｂの動作音を含む雑音成分を抑圧して算出した、第１の機器７Ａの正常な動作音についての特徴量を含む。第４の比較基準３９２Ｄは、第１の機器７Ａ及び第２の機器７Ｂが動作しているときに収音した音響信号から第１の機器７Ａの動作音を含む雑音成分を抑圧して算出した、第２の機器７Ｂの正常な動作音についての特徴量を含む。本実施形態の音響信号処理装置３におけるスコア算出部３０６は、機器が存在する方向からマイクアレイ２に到来したと判定された音の特徴量と、機器の動作状態の識別結果に基づいて選択した比較基準に含まれる特徴量との一致度を示す情報を算出する一致度算出部の一例である。また、４通りの比較基準３９２Ａ〜３９２Ｄを含む比較基準セット３９２は、機器毎に用意された、監視対象である複数の機器についての複数の動作状態のそれぞれと対応した正常動作時の動作音の特徴量を含む比較基準の一例である。
【００２４】
なお、本実施形態のスコア算出部３０６は、動作状態の識別結果において動作していると識別されている機器がある場合に、動作している機器と対応する音の成分の特徴量と、比較基準の特徴量とに基づいてスコアを算出する。すなわち、動作していないと識別されている機器がある場合、スコア算出部３０６は、該機器と対応する音の特徴量についてのスコアを算出する処理を省略して所定の値（例えばスコアの最小値）とする。
【００２５】
本実施形態の音響信号処理装置３におけるスコア算出部３０６は、まず、動作状態識別部３０３での識別結果に基づいて、スコアを算出する音の成分の特徴量と、スコアの算出に用いる比較基準とを特定する。例えば、識別結果が第１の機器７Ａのみが動作していることを示す結果である場合、スコア算出部３０６は、第１の機器７Ａの設置方向と対応付けられた第１の成分の特徴量についてのスコアを算出する。このとき、スコア算出部３６０は、スコアの算出に用いる比較基準として、上記の第１の比較基準３９２Ａ、第２の比較基準３９２Ｂ、第３の比較基準３９２Ｃ、及び第４の比較基準３９２Ｄのうちの、第１の比較基準３９２Ａを選出する。また、例えば、識別結果が第１の機器７Ａ及び第２の機器７Ｂが動作していることを示す結果である場合も、スコア算出部３０６は、第１の機器７Ａの設置方向と対応付けられた第１の成分の特徴量についてのスコアを算出する。ただし、第１の機器７Ａ及び第２の機器７Ｂが動作している場合、スコア算出部３０６は、第１の成分の特徴量についてのスコアの算出に用いる比較基準として、第３の比較基準３９２Ｃを選出する。
【００２６】
スコア算出部３０６は、スコアの算出に用いる比較基準を選出した後、例えば、Local Outlier Factor（ＬＯＦ）により、選出した比較基準の特徴量と特徴量算出部３０５で算出した特徴量との差異（距離）に比例して値が大きくなるスコアを算出する。ここで、ＬＯＦは、機械学習により正常及び異常のいずれであるかの判定を行う方法の一種である。本実施形態においては、正常動作時に取得した動作音の特徴量の分布を比較基準とし、音響信号から抽出した成分の特徴量が比較基準の特徴量からどれだけ離れているかにより抽出した成分の特徴量が正常であるか否かを判定する。スコア算出部３０６は、算出したスコアを記憶部３９０のスコア履歴３９３に格納する。また、動作していない機器がある場合、スコア算出部３０６は、該機器と対応する音の成分の特徴量についてのスコアを所定の値としてスコア履歴３９３に格納する。
【００２７】
出力部３０７は、スコア履歴３９３に格納されたスコアをサーバ装置４に送信する。例えば、出力部３０７は、所定の時間間隔で記憶部３９０のスコア履歴３９３から所定期間分（例えば１時間分）のスコアを読み出し、読み出したスコアをまとめてサーバ装置４に送信する。
【００２８】
図３は、動作判定テーブルの内容を説明する図である。
図３の（ａ）には、監視対象である第１の機器７Ａ及び第２の機器７Ｂと、マイクアレイ２との位置関係の例を示している。マイクアレイ２は、第１のマイク２Ａで収音した音響信号と第２のマイク２Ｂで収音した音響信号とに基づいて、第１の機器７Ａの動作音の到来方向と、第2の機器７Ｂの動作音の到来方向とを識別可能な態様で設置する。
【００２９】
例えば、マイクアレイ２は、図３の（ａ）に示すように、第１のマイク２Ａと第２のマイク２Ｂとの配置方向が第１の機器７Ａと第２の機器７Ｂの配置方向と略一致するように設置する。また、マイクアレイ２は、例えば、マイクアレイ２の左方となる方向から第１の機器７Ａの動作音が到来し、マイクアレイ２の右方となる方向から第２の機器７Ｂの動作音が到来するような位置に設置することが好ましい。このようにすると、例えば、マイクロホンアレイ２から見た第１の機器７Ａの設置方向と、第２機器７Ｂの設置方向との差異を大きくすることが可能である。このため、マイクアレイ２で収音した音響信号から、第１の機器７Ａの設置方向から到来したと判定される音の成分（第１の成分）と、第２の機器７Ｂの設置方向から到来したと判定される音の成分（第２の成分）とを抽出する際に、他方の音の成分を分離しやすくなる。
【００３０】
図３の（ｂ）には、第１のマイク２Ａ及び第２のマイク２Ｂのそれぞれと、第１の機器７Ａ及び第２の機器７Ｂのそれぞれとの位置関係が図３の（ａ）に示した位置関係である場合の、動作判定テーブル３９１の内容の一例を示している。
【００３１】
動作判定テーブル３９１における動作の検知結果は、動作検知部３０２が出力した検知結果であり、「無し」は動作している機器がないことを示し、「有り」は動作している機器があることを示す。
【００３２】
動作判定テーブル３９１における音の大小関係は、第１の音響信号の平均パワー（音圧）ＡＰＬと、第２の音響信号の平均パワーＡＰＲとの大小関係である。本実施形態では、平均パワーの差分（ＡＰＬ−ＡＰＲ）の絶対値が閾値（例えば６ｄＢ）よりも小さい場合には、２つの平均パワーＡＰＬ，ＡＰＲがほぼ同じ大きさである（ＡＰＬ≒ＡＰＲ）とする。また、平均パワーの差分の絶対値が閾値以上である場合には、２つの平均パワーＡＰＬ，ＡＰＲの大小関係に従う。すなわち、平均パワーの差分の絶対値が閾値以上であり、かつＡＰＬ＞ＡＰＲである場合には、２つの平均パワーＡＰＬ，ＡＰＲの大小関係をＡＰＬ＞ＡＰＲとする。また、平均パワーの差分の絶対値が閾値以上であり、かつＡＰＬ＜ＡＰＲである場合には、２つの平均パワーＡＰＬ，ＡＰＲの大小関係をＡＰＬ＜ＡＰＲの関係とする。なお、閾値は、適宜設定すればよく、例えば、動作している機器の組み合わせが異なる複数通りの動作状態のそれぞれで収音した第１の音響信号及び第２の音響信号における平均パワーに基づいて設定すればよい。
【００３３】
動作判定テーブル３９１における動作状態は、監視対象である第１の機器７Ａ及び第２の機器７Ｂが動作しているか否かを示している。動作の検知結果が「無し」である場合には、音の大小関係によらず、動作状態は両方の機器が停止している状態であるとする。一方、動作の検知結果が「有り」である場合には、音の大小関係に応じて動作している機器の組み合わせを変更する。
【００３４】
マイクアレイ２から見て左右に並んだ第１の機器７Ａ及び第２の機器７Ｂのうちの第１の機器７Ａが発した動作音は、その大部分がマイクアレイ２の左方から到来する。また、第１の機器７Ａから第１のマイク２Ａまでの距離は、第１の機器７Ａから第２のマイク２Ｂまでの距離よりも短い。このため、第１の機器７Ａのみが動作している場合、第１のマイク２Ａで収音した第１の音響信号の平均パワーＡＰＬは、第２のマイク２Ｂで収音した第２の音響信号の平均パワーＡＰＲよりも大きくなる。一方、第２の機器７Ｂが発した動作音は、その大部分がマイクアレイ２の右方から到来する。また、第２の機器７Ｂから第２のマイク２Ｂまでの距離は、第２の機器７Ｂから第１のマイク２Ａまでの距離よりも短い。このため、第２の機器７Ｂのみが動作している場合には、第２のマイク２Ｂで収音した第２の音響信号の平均パワーＡＰＲが、第１のマイク２Ａで収音した第１の音響信号の平均パワーＡＰＬよりも大きくなる。このように、第１の機器７Ａ及び第２の機器７Ｂのいずれか一方の機器のみが動作している場合には、第１の音響信号の平均パワーＡＰＬと第２の音響信号の平均パワーＡＰＲとの大小関係により、動作している機器を識別することが可能である。
【００３５】
更に、監視対象である第１の機器７Ａ及び第２の機器７Ｂの両方の機器が動作している場合、第１の音響信号及び第２の音響信号には、それぞれ、第１の機器７Ａの動作音と第２の機器７Ｂの動作音が含まれる。しかも、第１の音響信号における第１の機器７Ａの動作音についての平均パワーは、第２の音響信号における第１の機器７Ａの動作音についての平均パワーよりも大きい。一方、第１の音響信号における第２の機器７Ｂの動作音についての平均パワーは、第２の音響信号における第２の機器７Ｂの動作音についての平均パワーよりも小さい。このため、第１の機器７Ａ及び第２の機器７Ｂが動作している場合の第１の音響信号における平均パワーと第２の音響信号における平均パワーとの差分は、一方の機器のみが動作している場合の平均パワーの差分よりも小さくなる。したがって、本実施形態では、図３の（ｂ）に示したように、平均パワーの差分が閾値よりも小さい場合（ＡＰＬ≒ＡＰＲ）には第１の機器７Ａ及び第２の機器７Ｂの両方の機器が動作していると識別する。
【００３６】
このように、本実施形態の音響信号処理装置３では、マイクアレイ２で収音した第１の音響信号及び第２の音響信号に含まれる複数の機器７Ａ，７Ｂの動作状況を示す情報に基づいて、機器の動作状態を識別する。
【００３７】
本実施形態の音響信号処理装置３は、音の成分の特徴量についてのスコアを算出する際に、機器の動作状態の識別結果を利用して、比較基準セット３９２に含まれる複数の比較基準のなかからスコアの算出に用いる比較基準を選出する。すなわち、音響信号処理装置３は、音響信号から抽出した１個の機器の設置方向から到来したと判定された音の成分の特徴量についてのスコアを算出する際に、他の機器が動作しているか否かに応じてスコアの算出に用いる比較基準を切り替える。
【００３８】
図４は、比較基準セットの内容を説明する図である。
図４の（ａ）には、図３の（ｂ）の動作判定テーブル３９１と対応した比較基準セット３９２の内容の一例を示している。図３の（ｂ）の動作判定テーブル３９１では、機器の動作状態を、次の４つの状態に分類している。第１の状態は第１の機器７Ａのみが動作している状態であり、第２の状態は第２の機器７Ｂのみが動作している状態である。第３の状態は第１の機器７Ａ及び第２の機器７Ｂの両方が動作している状態であり、第４の状態は第１の機器７Ａ及び第２の機器７Ｂの両方が停止している状態である。これら４つの動作状態のうちの第１の状態、第２の状態、及び第３の状態のいずれかの状態である場合に、本実施形態の音響信号処理装置３は、機器の動作音が正常であるか否かの判定に用いるスコアを算出する。
【００３９】
本実施形態の音響信号処理装置３は、上記のように、スコアを算出する際に、監視対象である複数の機器の動作状態に基づいてスコアの算出に用いる比較基準を選出する。本実施形態の音響信号処理装置３の記憶部３９０に記憶させた比較基準セット３９２は、図２のように第１の比較基準３９２Ａ、第２の比較基準３９２Ｂ、第３の比較基準３９２Ｃ、及び第４の比較基準３９２Ｄを含む。比較基準セット３９２における第１の比較基準３９２Ａ、第２の比較基準３９２Ｂ、第３の比較基準３９２Ｃ、及び第４の比較基準３９２Ｄは、それぞれ、例えば、図４の（ａ）の比較基準セット３９２に示した内容とする。
【００４０】
第１の比較基準３９２Ａは、正常に動作する第１の機器７Ａのみを動作させて収音した音響信号から抽出した、第１の機器７Ａの設置方向から到来したと判定される音の成分（第１の成分）における特徴量の集合とする。第２の比較基準３９２Ｂは、正常に動作する第２の機器７Ｂのみを動作させて収音した音響信号から抽出した、第２の機器７Ｂの設置方向から到来したと判定される音の成分（第２の成分）における特徴量の集合とする。第３の比較基準３９２Ｃは、正常に動作する第１の機器７Ａ及び第２の機器７Ｂの両方を動作させて収音した音響信号から抽出した第１の成分の特徴量の集合とする。第４の比較基準３９２Ｄは、正常に動作する第１の機器７Ａ及び第２の機器７Ｂを動作させて収音した音響信号から抽出した第２の成分の特徴量の集合とする。
【００４１】
図４の（ｂ）には、特徴量空間における第１の比較基準３９２Ａ、第２の比較基準３９２Ｂ、第３の比較基準３９２Ｃ、及び第４の比較基準３９２Ｄの各比較基準に含まれる特徴量の分布の一例を示している。なお、図４の（ｂ）には、特徴量空間を第１の特徴量と第２の特徴量との２個の特徴量と対応する二次元で表現している。
【００４２】
第１の機器７Ａが動作中に発する動作音は定常的であるため、第１の機器７Ａのみが動作している状態で収音した音響信号に含まれる複数の区間のそれぞれにおける第１の特徴量の値と第２の特徴量の値との組み合わせは、略同一となる。このため、第１の比較基準３９２Ａに含まれる特徴量は、例えば、図４の（ｂ）の特徴量空間における第１の領域Ｍ１内に分布する。
【００４３】
同様に、第２の機器７Ｂのみが動作している状態で収音した音響信号に含まれる複数の区間のそれぞれにおける第１の特徴量の値と第２の特徴量の値との組み合わせは、略同一となる。ただし、第２の機器７Ｂの動作音における第１の特徴量の値と第２の特徴量の値との組み合わせは、第１の機器７Ａの動作音における特徴量の値の組み合わせとは異なる。特に、第１の機器７Ａと第２の機器７Ｂとで仕様や動作履歴が異なる場合には、第１の特徴量の値と第２の特徴量の値との組み合わせの差異が大きくなる。このため、第２の比較基準３９２Ｂに含まれる特徴量は、例えば、図４の（ｂ）の特徴量空間における第１の領域Ｍ１とは異なる第２の領域Ｍ２内に分布する。
【００４４】
また、本実施形態の音響信号処理装置３では、特徴量を算出する音の成分を音響信号から抽出する際に、機器の設置方向とは異なる方向から到来したと判定された音の成分を雑音成分として音響信号から抑圧して抽出する。しかしながら、第１の機器７Ａの動作音と第２の機器７Ｂの動作音とは、いずれも定常的な音であり、かつ周波数特性が類似している。このため、音響信号処理装置３では、第１の機器７Ａ及び第２の機器７Ｂが動作している状態で収音した音響信号を、第１の成分と第２の成分とに高精度で分離することが難しい。すなわち、音響信号処理装置３では、第１の機器７Ａ及び第２の機器７Ｂが動作している状態で収音した音響信号における第１の機器７Ａの動作音と第２の機器７Ｂの動作音とを高精度で分離することが難しい。したがって、第１の機器７Ａ及び第２の機器７Ｂが動作しているときの音響信号から抽出した第１の成分と、第１の機器７Ａのみが動作しているときの音響信号から抽出した第１の成分とでは、特徴量に違いが生じる。よって、第３の比較基準３９２Ｃに含まれる特徴量は、例えば、図４の（ｂ）の特徴量空間における第１の領域Ｍ１及び第２の領域Ｍ２のいずれとも異なる第３の領域Ｍ３内に分布する。
【００４５】
同様の理由により、第１の機器７Ａ及び第２の機器７Ｂが動作しているときの音響信号から抽出した第２の成分と、第２の機器７Ｂのみが動作しているときの音響信号から抽出した第２の成分とでは、特徴量に違いが生じる。したがって、第４の比較基準３９２Ｄに含まれる特徴量は、例えば、図４の（ｂ）の特徴量空間における第１の領域Ｍ１、第２の領域Ｍ２、及び第３の領域Ｍ３のいずれとも異なる第４の領域Ｍ４内に分布する。
【００４６】
このような４通りの比較基準を含む比較基準セット３９２は、第１の機器７Ａ及び第２の機器７Ｂの動作の監視を開始する前に、それぞれの動作状態で機器を動作させたときの音響信号を取得して作成する。比較基準セット３９２は、例えば、音響信号処理装置３で作成してもよいし、音響信号処理装置３とは別の情報処理装置で作成してもよい。また、比較基準セット３９２は、監視対象である第１の機器７Ａ及び第２の機器７Ｂを動作させて収音した音響信号に基づいて作成することが好ましい。しかしながら、比較基準セット３９２は、例えば、監視対象の機器が設置されたエリアとは異なる場所において、仕様が同じ別の機器を監視時と同等の条件下で動作させて収音した音響信号に基づいて作成してもよい。
【００４７】
本実施形態の音響信号処理装置３は、マイクアレイ２で収音した音響信号における機器の動作音に相当する成分の特徴量と比較基準セット３９２とに基づいて機器が正常に動作しているか否かの判定に用いるスコアを算出する処理を、所定の時間間隔で繰り返し行う。また、音響信号処理装置３は、スコアを算出する処理を繰り返し行い、所定期間分以上のスコアがスコア履歴３９３に蓄積されると、蓄積したスコアをまとめてサーバ装置４に送信する。例えば、音響信号処理装置３は、１分間に１度の頻度でスコアを算出する処理を行い、１時間に１回の頻度でスコア履歴３９３に蓄積されたスコアの履歴をサーバ装置４に送信する。本実施形態に係る監視システム１におけるサーバ装置４は、音響信号処理装置３から取得したスコアの履歴に基づいて、監視対象である機器が正常に動作しているか否かを判定する。
【００４８】
図５は、サーバ装置の機能的構成を示す図である。
図５に示すように、サーバ装置４は、送受信部４０１と、異常判定部４０２と、通知情報作成部４０３と、記憶部４９０とを備える。
【００４９】
送受信部４０１は、音響信号処理装置３がサーバ装置４に向けて送信したスコアの履歴を含む情報を受信する一方で、監視対象である機器が正常に動作しているか否かの判定結果を含む通知情報を監視端末５や携帯端末６に向けて送信する。送受信部４０１は、受信したスコアの履歴を含む情報を記憶部４９０のスコア履歴４９１に格納する。
【００５０】
異常判定部４０２は、スコア履歴４９１に含まれる所定期間分の複数のスコアに基づいて、監視対象である機器毎に、動作音が正常であるか否かを判定する。異常判定部４０２は、例えば、所定期間分の複数個のスコアのうちの、閾値以上であるスコアの個数の割合が０．５以上となった場合に、対象の機器の動作音が異常であると判定する。
【００５１】
通知情報作成部４０３は、異常判定部４０２の判定結果に基づいて、監視端末５や携帯端末６に通知する通知情報を作成する。通知情報作成部４０３は、例えば、異常判定部４０２で判定を行う毎に、監視端末５に向けて送信する通知情報として、動作音が正常であるか否かの判定結果を示す情報を含む通知情報を作成する。また、通知情報作成部４０３は、例えば、異常判定部４０２での判定結果に異常であることを示す結果が含まれる場合に、例えば、携帯端末６に向けて送信する通知情報として、動作音が異常であると判定した機器を示す情報を含む通知情報を作成する。通知情報作成部４０３で作成した通知情報は、それぞれ、送受信部４０１から監視端末５、或いは携帯端末６に向けて送信する。なお、サーバ装置４から携帯端末６に向けて通知情報を送信する場合には、例えば、携帯端末６の利用者或いは監視システム１の管理者により指定されたメールサーバ等の他の機器に送信してもよい。
【００５２】
このように、図１の監視システム１では、監視対象である機器の動作音の特徴量に基づいて動作音が正常であるか否かの判定に用いるスコアを音響信号処理装置３で算出し、該スコアに基づいた動作音が正常であるか否かの判定をサーバ装置４で行う。このとき、本実施形態の音響信号処理装置３は、信号取得部３０１によりマイクアレイ２で収音した音響信号を取得する処理を開始した後、例えば、図６のフローチャートに沿った処理を所定の時間間隔で繰り返し行う。このとき、音響信号処理装置３は、例えば、取得した音響信号を所定の時間長毎に分割し、分割した音響信号毎に図６のフローチャートに沿った処理を行う。
【００５３】
図６は、第１の実施形態に係る音響信号処理装置が行う処理を説明するフローチャートである。
【００５４】
音響信号処理装置３は、まず、マイクアレイ２から取得した音響信号に基づいて、動作している機器の有無を検知する（ステップＳ１）。ステップＳ１の処理は、動作検知部３０２が行う。動作検知部３０２は、例えば、第１のマイク２Ａで収音した第１の音響信号ＸＬと第２のマイク２Ｂで収音した第２の音響信号ＸＲとを混合してモノラル化し、該モノラル化した音響信号Ｘmix（＝ＸＬ＋ＸＲ）の定常性に基づいて、動作している機器の有無を検知する。
【００５５】
次に、音響信号処理装置３は、マイクアレイ２から取得した音響信号と、動作している機器の有無の検知結果と、動作判定テーブル３９１とに基づいて、機器の動作状況を識別する（ステップＳ２）。ステップＳ２の処理は、動作状態識別部３０３が行う。動作状態識別部３０３は、例えば、まず、第１の音響信号ＸＬの平均パワーＡＰＬ、及び第２の音響信号ＸＲの平均パワーＡＰＲを算出して２つの平均パワーの大小関係を特定する。このとき、動作状態識別部３０３は、上記のように、平均パワーの差分の絶対値と、閾値との関係に基づいて、２つの平均パワーの大小関係が、ＡＰＬ≒ＡＰＲ、ＡＰＬ＞ＡＰＲ、及びＡＰＬ＜ＡＰＲのいずれであるかを特定する。その後、動作状態識別部３０３は、平均パワーＡＰＬ，ＡＰＲの大小関係と、動作している機器の有無の検知結果との組み合わせに基づいて、監視対象である機器７Ａ，７Ｂの動作状態を識別する。動作している機器がある場合、動作状態識別部３０３は、平均パワーの大小関係に基づいて、第１の機器７Ａのみが動作している状態、第２の機器７Ｂのみが動作している状態、及び両方の機器７Ａ，７Ｂが動作している状態のいずれであるかを識別する。一方、動作している機器がない場合、動作状態識別部３０３は、両方の機器７Ａ，７Ｂが停止している状態であると識別する。
【００５６】
次に、音響信号処理装置３は、機器７Ａ，７Ｂの設置方向毎に、音響信号における機器が設置された方向から到来したと判定された音の成分を抽出する（ステップＳ３）。ステップＳ３の処理は、成分抽出部３０４が行う。成分抽出部３０４は、例えば、既知の雑音抑圧方法に従って、第１の機器７Ａが設置された方向から到来したと判定された音の成分（第１の成分）Ｘ’Ｌと、第２の機器７Ｂが設置された方向から到来したと判定された音の成分（第２の成分）Ｘ’Ｒとを抽出する。ここで、成分抽出部３０４は、第１の成分Ｘ’Ｌを抽出するときには、第２の機器７Ｂが設置された方向から到来したと判定された音の成分を雑音成分として音響信号から抑圧する。また、成分抽出部３０４は、第２の成分Ｘ’Ｒを抽出するときには、第１の機器７Ａが設置された方向から到来したと判定された音の成分を雑音成分として音響信号から抑圧する。
【００５７】
次に、音響信号処理装置３は、音響信号から抽出した音の成分毎に、該音の特徴量を算出する（ステップＳ４）。ステップ４の処理は、特徴量算出部３０５が行う。特徴量算出部３０５は、音の特徴量として、周波数領域における周波数帯域毎の平均パワーを算出する。例えば、特徴量算出部３０４は、サンプリング周波数を１６ｋＨｚとして音の成分を１ｋＨｚ単位のバンドパスフィルタにかけて、音の成分におけるパワーを含む周波数帯域が異なる第１の波形から第８の波形までの８通りの波形を生成する。ここで、第１の波形から第８の波形までの８通りの波形は、それぞれ、以下の波形とする。
【００５８】
第１の波形は、周波数Ｆが０＜Ｆ≦１ｋＨｚの範囲にのみ音の成分におけるパワーが存在する波形とする。第２の波形は、周波数Ｆが１ｋＨｚ＜Ｆ≦２ｋＨｚの範囲にのみ音の成分におけるパワーが存在する波形とする。第３の波形は、周波数Ｆが２ｋＨｚ＜Ｆ≦３ｋＨｚの範囲にのみ音の成分におけるパワーが存在する波形とする。第４の波形は、周波数Ｆが３ｋＨｚ＜Ｆ≦４ｋＨｚの範囲にのみ音の成分におけるパワーが存在する波形とする。第５の波形は、周波数Ｆが４ｋＨｚ＜Ｆ≦５ｋＨｚの範囲にのみ音の成分におけるパワーが存在する波形とする。第６の波形は、周波数Ｆが５ｋＨｚ＜Ｆ≦６ｋＨｚの範囲にのみ音の成分におけるパワーが存在する波形とする。第７の波形は、周波数Ｆが６ｋＨｚ＜Ｆ≦７ｋＨｚの範囲にのみ音の成分におけるパワーが存在する波形とする。第８の波形は、周波数Ｆが７ｋＨｚ＜Ｆ≦８ｋＨｚの範囲にのみ音の成分におけるパワーが存在する波形とする。
【００５９】
また、特徴量算出部３０５は、生成した第１の波形から第８の波形までの８通りの波形のそれぞれに対する平均パワーを算出し、算出した平均パワーの集合を特徴量とする。
【００６０】
すなわち、特徴量算出部３０５は、第１の成分Ｘ’Ｌから８通りの波形Ｘ’Ｌ_１〜Ｘ’Ｌ_８を生成した後、該８通りの波形Ｘ’Ｌ_１〜Ｘ’Ｌ_８のそれぞれに対する平均パワーＡＰＬ_１〜ＡＰＬ_８を算出する。また、特徴量算出部３０５は、第２の成分Ｘ’Ｒから８通りの波形Ｘ’Ｒ_１〜Ｘ’Ｒ_８を生成した後、該８通りの波形Ｘ’Ｒ_１〜Ｘ’Ｒ_８のそれぞれに対する平均パワーＡＰＲ_１〜ＡＰＲ_８を算出する。特徴量算出部３０５は、第１の成分Ｘ’Ｌから算出した８個の平均パワーＡＰＬ_１〜ＡＰＬ_８を含む集合を第１の成分Ｘ’Ｌの特徴量とし、第２の成分Ｘ’Ｒから算出した８個の平均パワーＡＰＲ_１〜ＡＰＲ_８を含む集合を第２の成分Ｘ’Ｒの特徴量とする。
【００６１】
次に、音響信号処理装置３は、スコア算出用の比較基準を選定し、ステップＳ４で算出した特徴量と選定した比較基準との差異を示すスコアを算出して保持する（ステップＳ５）。ステップＳ５の処理は、スコア算出部３０６が行う。スコア算出部３０６は、機器の動作状態の識別結果に基づいて、スコア算出の対象となる機器毎に、スコア算出用の比較基準を選定してスコアを算出する。その後、スコア算出部３０６は、ＬＯＦ等の既知の算出方法に従って、ステップＳ４で算出した特徴量と選定した比較基準に含まれる特徴量との距離（差異）と比例するスコアを算出する。
【００６２】
例えば、スコア算出の対象となる機器が第１の機器７Ａである場合、スコア算出部３０６は、まず、機器の動作状態の識別結果に基づいて、第１の比較基準３９２Ａ及び第３の比較基準３９２Ｃのいずれかをスコア算出用の比較基準に選出する。ここで、第１の機器７Ａのみが動作しているという識別結果の場合、スコア算出部３０６は、第１の比較基準３９２Ａをスコア算出用の比較基準に選出する。一方、第１の機器７Ａ及び第２の機器７Ｂの両方が動作しているという識別結果の場合、スコア算出部３０６は、第３の比較基準３９２Ｃをスコア算出用の比較基準に選出する。その後、スコア算出部３０６は、第１の機器７Ａが設置された方向から到来したと判定された音の成分（第１の成分）Ｘ’Ｌの特徴量と、選出したスコア算出用の比較基準（第１の比較基準３９２Ａ又は第３の比較基準３９２Ｃ）の特徴量とに基づいてスコアを算出する。
【００６３】
スコアを算出した後、スコア算出部３０６は、算出したスコアと現在処理の対象となっている音響信号の時間情報とを対応付けてスコア履歴３９３に格納する。また、スコア算出部３０６は、例えば、スコアを算出してスコア履歴３９３に格納したことを出力部３０７に通知する。
【００６４】
次に、音響信号処理装置３は、スコアをサーバ装置４に送信するタイミングであるか否かを判定する（ステップＳ６）。ステップＳ６の判定は、例えば、出力部３０７が行う。出力部３０７は、例えば、現在の時刻と、スコアをサーバ装置４に送信するタイミングを指定する情報とに基づいて、スコアをサーバ装置４に送信するタイミングであるか否かを判定する。スコアを送信するタイミングである場合（ステップＳ６；ＹＥＳ）、出力部３０７は、スコア履歴３９３から所定期間分のスコアを読み出してサーバ装置４に送信し（ステップＳ７）、現在処理対象となっている音響信号に対する処理を終了する。一方、スコアを送信するタイミングではない場合（ステップＳ６；ＮＯ）、出力部３０７は、ステップＳ７の処理を省略して、現在処理対象となっている音響信号に対する処理を終了する。
【００６５】
このように、本実施形態の音響信号処理装置３は、監視対象である複数の機器７Ａ，７Ｂの動作状態を識別し、識別した動作状態に基づいて、機器の動作音が正常であるか否かの判定に用いるスコアを算出する際の比較基準を選出する。本実施形態の音響信号処理装置３では、複数の機器７Ａ，７Ｂの動作状態を識別するために、まず、マイクアレイ２から取得した音響信号に基づいて、監視対象である複数の機器７Ａ，７Ｂのなかに現在動作している機器があるか否かを検知するステップＳ１の処理を行う。ステップＳ１の処理は、上記のように、動作検知部３０２が行う。動作検知部３０２は、ステップＳ１の処理として、例えば、図７のフローチャートに沿った処理を行う。
【００６６】
図７は、動作している機器の有無を検知する処理の内容を説明するフローチャートである。
【００６７】
動作検知部３０２は、図７に示すように、まず、複数の音響信号ＸＬ，ＸＲを混合してモノラル化する（ステップＳ１０１）。ステップＳ１０１において、動作検知部３０２は、第１の音響信号ＸＬと第２の音響信号ＸＲとを混合し、モノラル化した音響信号Ｘmix＝ＸＬ＋ＸＲを生成する。
【００６８】
次に、動作検知部３０２は、モノラル化した音響信号Ｘmixの自己相関Ｒ[Ｘmix](τ)を算出する（ステップＳ１０２）。ステップＳ１０２において、動作検知部３０２は、例えば、下記式（１）により、モノラル化した音響信号Ｘmixの自己相関Ｒ[Ｘmix](τ)を算出する。
【００６９】
【数１】
2019144093.tif 000003
式（１）におけるＸmix（ｉ）及びＸmix（ｉ−τ）は、それぞれ、モノラル化した音響信号Ｘmixにおける時間ｉでの振幅、及びシフト量τだけシフトさせた時間ｉ−τでの振幅である。
【００７０】
次に、動作検知部３０２は、算出した自己相関Ｒ[Ｘmix](τ)が閾値Ｔｈｓよりも大きいか否かを判定する（ステップＳ１０３）。監視対象である機器７Ａ，７Ｂは、動作時に定常的な動作音を発する。このため、モノラル化した音響信号Ｘmixに機器の動作音が含まれる場合、モノラル化した音響信号Ｘmixの波形には定常的な動作音と対応した周期性が見られる。したがって、モノラル化した音響信号Ｘmixに機器の動作音が含まれる場合、式（１）により算出される音響信号Ｘmixの自己相関Ｒ[Ｘmix](τ)は、機器の動作音が含まれない場合の自己相関と比べて大きな値となる。よって、Ｒ[Ｘmix](τ)＞Ｔｈｓある場合（ステップＳ１０３；ＹＥＳ）、動作検知部３０２は、音響信号に監視対象である機器の動作音が含まれると認識し、動作している機器があると検知する（ステップＳ１０４）。また、ステップＳ１０４において、動作検知部３０２は、動作している機器があることを示す情報を動作状態識別部３０３に通知する。一方、Ｒ[Ｘmix](τ)≦Ｔｈｓある場合（ステップＳ１０３；ＮＯ）、動作検知部３０２は、音響信号には監視対象である機器の動作音が含まれないと認識し、動作している機器がないと検知する（ステップＳ１０５）。また、ステップＳ１０５において、動作検出部３０２は、動作している機器がないことを示す情報を動作状態識別部３０３に通知する。ステップＳ１０４又はＳ１０５の処理を終えると、動作検知部３０２は、現在処理対象となっている音響信号に対する処理を終了する。
【００７１】
動作検知部３０２から動作している機器の有無を示す情報（検知結果）を受け取った動作状態識別部３０３は、受け取った情報と、マイクアレイ２から取得した音響信号と、動作判定テーブル３９１とに基づいて、機器の動作状態を識別するステップＳ２の処理を行う。動作状態識別部３０３は、ステップＳ２の処理として、例えば、図８のフローチャートに沿った処理を行う。
【００７２】
図８は、機器の動作状態を識別する処理の内容を説明するフローチャートである。
動作状態識別部３０３は、図８に示すように、まず、動作検知部３０２から受け取った情報（検知結果）に基づいて、動作している機器があるか否かを判定する（ステップＳ２０１）。動作している機器がない場合（ステップＳ２０１；ＮＯ）、動作状態識別部３０３は、現在の機器の動作状態が第１の機器７Ａ及び第２の機器７Ｂの両方の機器が停止している状態であると識別する（ステップＳ２０２）。また、ステップＳ２０２において、動作状態識別部３０３は、両方の機器が停止していることを示す情報をスコア算出部３０６に通知する。ステップＳ２０２の処理を終えると、動作状態識別部３０３は、現在処理対象となっている音響信号に対する処理を終了する。
【００７３】
一方、動作している機器がある場合（ステップＳ２０１；ＹＥＳ）、動作状態識別部３０３は、次に、各音響信号の平均パワーを算出する（ステップＳ２０３）。ステップＳ２０３において、動作状態識別部３０３は、第１の音響信号ＸＬの平均パワーＡＰＬと、第２の音響信号ＸＲの平均パワーＡＰＲとを算出する。例えば、第１の音響信号ＸＬの平均パワーＡＰＬ、及び第２の音響信号ＸＲの平均パワーＡＰＲは、それぞれ、下記式（２−１）及び式（２−２）により算出する。
【００７４】
【数２】
2019144093.tif 000004
次に、動作状態識別部３０３は、算出した第１の音響信号ＸＬの平均パワーＡＰＬと、第２の音響信号ＸＲの平均パワーＡＰＲとの差分（ＡＰＬ−ＡＰＲ）を算出し（ステップＳ２０４）、差分の絶対値が閾値以上であるか否かを判定する（ステップＳ２０５）。ステップＳ２０５で用いる判定閾値は、上記のように、適宜設定すればよく、例えば６ｄＢとする。
【００７５】
本実施形態では、差分の絶対値が閾値よりも小さい場合には、第１の音響信号ＸＬの平均パワーＡＰＬと第２の音響信号ＸＲの平均パワーＡＰＲとがほぼ同じ大きさであるとみなす（図３の（ｂ）の動作判定テーブル３９１を参照）。また、ステップＳ２０５の判定は、動作している機器がある場合に行う。このため、差分の絶対値が閾値よりも小さい場合（ステップＳ２０５；ＮＯ）、動作状態識別部３０３は、第１の機器７Ａ及び第２の機器７Ｂの両方の機器が動作していると識別する（ステップＳ２０６）。また、ステップＳ２０６において、動作状態識別部３０３は、両方の機器が動作していることを示す情報を、スコア算出部３０６に通知する。ステップＳ２０６の処理を終えると、動作状態識別部３０３は、現在処理対象となっている音響信号に対する処理を終了する。
【００７６】
また、本実施形態では、差分の絶対値が閾値以上である場合には、第１の音響信号ＸＬの平均パワーＡＰＬと第２の音響信号ＸＲの平均パワーＡＰＲとの大小関係に基づいて、動作している機器を識別する（図３の（ｂ）の動作判定テーブル３９１を参照）。すなわち、差分の絶対値が閾値以上である場合（ステップＳ２０５；ＹＥＳ）、動作状態識別部３０３は、次に、第１の音響信号ＸＬの平均パワーＡＰＬが第２の音響信号ＸＲの平均パワーＡＰＲよりも大きいか否かを判定する（ステップＳ２０７）。ＡＰＬ＞ＡＰＲである場合（ステップＳ２０７；ＹＥＳ）、動作状態識別部３０３は、マイクアレイ２の左方に位置する第１の機器７Ａ（L-ch側の機器）のみが動作していると識別する（ステップＳ２０８）。また、ステップＳ２０８において、動作状態識別部３０３は、第１の機器７Ａのみが動作していることを示す情報をスコア算出部３０６に通知する。一方、ＡＰＬ＜ＡＰＲである場合（ステップＳ２０７；ＮＯ）、動作状態識別部３０３は、マイクアレイ２の右方に位置する第２の機器７Ｂ（R-ch側の機器）のみが動作していると識別する（ステップＳ２０９）。また、ステップＳ２０９において、動作状態識別部３０３は、第２の機器７Ｂのみが動作していることを示す情報をスコア算出部３０６に通知する。ステップＳ２０８又はＳ２０９の処理を終えると、動作状態識別部３０３は、現在処理対象となっている音響信号に対する処理を終了する。
【００７７】
本実施形態の音響信号処理装置３では、ステップＳ１及びＳ２の処理により動作している機器を識別した後、ステップＳ３及びＳ４の処理を行い、処理対象となっている音響信号における第１の成分Ｘ’Ｌの特徴量及び第２の成分Ｘ’Ｒの特徴量を算出する。ここで、第１の成分Ｘ’Ｌは音響信号における第１の機器７Ａが設置された方向から到来したと判定された音の成分であり、第２の成分Ｘ’Ｒは音響信号における第２の機器７Ｂが設置された方向から到来したと判定された音の成分である。
【００７８】
ステップＳ３の処理では、上記のように、音響信号から第１の成分Ｘ’Ｌと第２の成分Ｘ’Ｒとを抽出する。第１の成分Ｘ’Ｌを抽出する際には、例えば、第１の音響信号Ｘ’Ｌにおける、第１の機器７Ａの設置方向とは異なる方向から到来したと判定された成分を、雑音成分として抑圧する。一方、第２の成分Ｘ’Ｒを抽出する際には、例えば、第２の音響信号Ｘ’Ｒにおける、第２の機器７Ｂの設置方向とは異なる方向から到来したと判定された成分を、雑音成分として抑圧する。
【００７９】
また、ステップＳ４の処理では、上記のように、成分毎に、該音の成分におけるパワーが存在する周波数帯域が異なる複数の波形を生成し、それぞれの波形についての平均パワーを算出する。
【００８０】
図９は、特徴量の算出方法を説明する図である。
特徴量を算出するステップＳ４の処理は、音響信号処理装置３の特徴量算出部３０５が行う。図９に示すように、特徴量算出部３０５は、第１のフィルタ部３１５−１〜第８のフィルタ部３１５−８までの８個のフィルタ部と、第１の平均パワー算出部３２５−１〜第８の平均パワー算出部３２５−８までの８個の平均パワー算出部とを含む。
【００８１】
８個のフィルタ部３１５−１〜３１５−８は、それぞれ、音響信号から抽出した音の成分のうちの透過させる周波数帯域が異なるバンドパスフィルタである。第１のフィルタ部３１５−１は、周波数Ｆが０＜Ｆ≦１ｋＨｚの周波数帯域のパワーのみを透過させる。第２のフィルタ部３１５−２は、周波数Ｆが１ｋＨｚ＜Ｆ≦２ｋＨｚの周波数帯域のパワーのみを透過させる。図示しない第３のフィルタ部は、周波数Ｆが２ｋＨｚ＜Ｆ≦３ｋＨｚの周波数帯域のパワーのみを透過させる。図示しない第４のフィルタ部は、周波数Ｆが３ｋＨｚ＜Ｆ≦４ｋＨｚの周波数帯域のパワーのみを透過させる。図示しない第５のフィルタ部は、周波数Ｆが４ｋＨｚ＜Ｆ≦５ｋＨｚの周波数帯域のパワーのみを透過させる。図示しない第６のフィルタ部は、周波数Ｆが５ｋＨｚ＜Ｆ≦６ｋＨｚの周波数帯域のパワーのみを透過させる。図示しない第７のフィルタ部は、周波数Ｆが６ｋＨｚ＜Ｆ≦７ｋＨｚの周波数帯域のパワーのみを透過させる。そして、第８のフィルタ部３１５−８は、周波数Ｆが７ｋＨｚ＜Ｆ≦８ｋＨｚの周波数帯域のパワーのみを透過させる。
【００８２】
８個のフィルタ部３１５−１〜３１５−８は、それぞれ、成分抽出部３０４で抽出した第１の成分Ｘ’Ｌ及び第２の成分Ｘ’Ｒを入力とし、それらの音の成分における所定の周波数帯域のパワーのみを通過させ、所定の周波数帯域のパワーのみを含む波形を出力する。例えば、第１のフィルタ部３１５−１は、第１の成分Ｘ’Ｌが入力されると、第１の成分Ｘ’Ｌにおける周波数帯域０＜Ｆ≦１ｋＨｚのパワーのみを含む波形Ｘ’Ｌ_１を出力する。また、第１のフィルタ部３１５−１は、第２の成分Ｘ’Ｒが入力されると、第２の成分Ｘ’Ｒにおける周波数帯域０＜Ｆ≦１ｋＨｚのパワーのみを含む波形Ｘ’Ｒ_１を出力する。
【００８３】
また、８個の平均パワー算出部３２５−１〜３２５−８は、それぞれ、対応するフィルタ部３１５−１〜３１５−８を通過することにより生成された波形についての平均パワーを算出する。例えば、第１のフィルタ部３１５−１と対応付けられた平均パワー算出部３２５−１は、周波数帯域０＜Ｆ≦１ｋＨｚのパワーのみを含む波形Ｘ’Ｌ_１の平均パワーＡＰＬ_１、及び波形Ｘ’Ｒ_１の平均パワーＡＰＲ_１を算出する。また、例えば、第２のフィルタ部３１５−２と対応付けられた平均パワー算出部３２５−２は、周波数帯域１ｋＨｚ＜Ｆ≦２ｋＨｚのパワーのみを含む波形Ｘ’Ｌ_２の平均パワーＡＰＬ_２、及び波形Ｘ’Ｒ_２の平均パワーＡＰＲ_２を算出する。特徴量算出部３０５は、８個の平均パワー算出部３２５−１〜３２５−８のそれぞれで算出した平均パワーＡＰＬ_１〜ＡＰＬ_８を第１の成分Ｘ’Ｌの特徴量とし、平均パワーＡＰＲ_１〜ＡＰＲ_８を第２の成分Ｘ’Ｒの特徴量として、スコア算出部３０６に出力する。
【００８４】
スコア算出部３０６は、第１の成分Ｘ’Ｌの特徴量、及び第２の成分Ｘ’Ｒの特徴量を受け取ると、機器の動作状態の識別結果に基づいて、動作している機器毎に、動作が正常であるか否かの判定に用いるスコアを算出する。スコア算出部３０６は、上記のように、機器の動作状態に基づいて、スコアの算出に用いる比較基準を切り替える。例えば、第１の機器７Ａについてのスコアを算出する場合、スコア算出部３０６は、第２の機器７Ｂが動作しているか否かに基づいて、スコアの算出に用いる比較基準を選出する。第１の機器７Ａのみが動作している場合、スコア算出部３０６は、第１の比較基準３９２Ａを選出し、第１の機器７Ａと対応付けられた第１の成分Ｘ’Ｌの特徴量と、第１の比較基準３９２Ａの特徴量との差異を示すスコアを算出する。一方、第１の機器７Ａ及び第２の機器７Ｂの両方の機器が動作している場合、スコア算出部３０６は、第３の比較基準３９２Ｃを選出し、第１の成分Ｘ’Ｌの特徴量と、第３の比較基準３９２Ｃの特徴量との差異を示すスコアを算出する。
【００８５】
図１０は、スコアの算出方法を説明する図である。なお、図１０には、第１の機器７Ａのみが動作しているときの第１の成分Ｘ’Ｌの特徴量と、第１の比較基準３９２Ａの特徴量とを、第１の特徴量ＡＰ１及び第２の特徴量ＡＰ２の二次元の特徴量空間で示している。
【００８６】
第１の比較基準３９２Ａには、正常に動作する第１の機器７Ａのみを動作させた状態で収音した音響信号から抽出した第１の成分Ｘ’Ｌについての特徴量が複数個含まれる。このとき、第１の比較基準３９２Ａに含まれるＭ個の特徴量Ｐ１，Ｐ２，Ｐ３，・・・ＰＭは、それぞれ、特徴量空間における第１の範囲Ｍ１内に分布している。
【００８７】
また、現在処理対象となっている音響信号から抽出した第１の成分Ｘ’Ｌに第１の機器７Ａの動作音が含まれる場合、該第１の成分Ｘ’Ｌの特徴量Ｐ（ＡＰＬ_１，ＡＰＬ_２）の特徴量空間内での位置は、例えば、図１０に示すように第１の範囲Ｍ１の近傍となる。このため、スコア算出部３０６は、例えば、音響信号から抽出した第１の成分Ｘ’Ｌの特徴量Ｐ（ＡＰＬ_１，ＡＰＬ_２）と、第１の範囲Ｍ１に含まれる第１の比較基準３９２Ａの特徴量との差異（距離）を算出し、該差異に比例したスコアを算出する。例えば、スコア算出部３０６は、第１の比較基準３９２Ａの特徴量のうちの、特徴量空間内における第１の成分Ｘ’Ｌの特徴量Ｐ（ＡＰＬ_１，ＡＰＬ_２）からの距離が短いほうから３個の特徴量を選出してそれぞれの距離を算出し、それらの距離に基づいてスコアを算出する。
【００８８】
なお、スコアは、図１０の例に限らず、既知のＬＯＦ，One Class Support Vector Machine（Ｏｎｅ−Ｃｌａｓｓ ＳＶＭ）等の種々の方法により算出可能である。
【００８９】
ところで、音響信号から第１の成分Ｘ’Ｌを抽出する場合には、例えば、上記のように、第１の音響信号ＸＬに含まれる、第１の機器７Ａの設置方向とは異なる方向から到来したと判定された音の成分を抑圧する。このとき、第２の機器７Ｂの設置方向から到来したと判定される音の成分は、雑音成分として抑圧される。
【００９０】
しかしながら、第１の機器７Ａ及び第２の機器７Ｂが同種の定常的な動作音を発する機器である場合、第１の機器７Ａの動作音と第２の機器７Ｂの動作音とを高精度に分離することは難しい。このため、成分抽出の対象となる機器の設置方向とは異なる方向から到来したと判定される音の成分を雑音成分として抑圧する際のアルゴリズムに応じて、第１の音響信号ＸＬから抽出される第１の成分Ｘ’Ｌの特徴量には差異が生じる。すなわち、第１の機器７Ａ及び第２の機器７Ｂの両方が動作しているときの音響信号から抽出した第１の成分Ｘ’Ｌには、第２の機器７Ｂの動作音の成分の抑圧の程度に応じた歪みが生じる。
【００９１】
図１１は、所定の機器の設置方向から到来したと判定された音の成分を抽出する際に生じる歪みを説明する図である。
【００９２】
図１１の（ａ）には、第１の機器７Ａのみが動作しているときの第１の成分Ｘ’Ｌについての波形図９０１と、パワースペクトルの時間変化９０２と、周波数特性９０３とを示している。また、図１１の（ｂ）には、第１の機器７Ａ及び第２の機器７Ｂの両方が動作しているときの第１の成分Ｘ’Ｌについての波形図９１１と、パワースペクトルの時間変化９１２と、周波数特性９１３とを示している。更に、図１１の（ｃ）には、第１の機器７Ａ及び第２の機器７Ｂの両方が動作しているときの第１の成分Ｘ’Ｌについての波形図９２１と、パワースペクトルの時間変化９２２と、周波数特性９２３とを示している。ただし、図１１の（ｂ）の第１の成分Ｘ’Ｌと図１１の（ｃ）の第１の成分Ｘ’Ｌとは、第１の機器７Ａの設置方向とは異なる方向から到来したと判定された音の成分（雑音成分）を抑圧する際の抑圧の程度が異なる。図１１の（ｂ）の第１の成分Ｘ’Ｌは雑音成分の抑圧が過剰である場合の抽出結果の一例であり、図１１の（ｃ）の第１の成分Ｘ’Ｌは雑音成分の抑圧が不十分である場合の抽出結果の一例である。
【００９３】
図１１の（ａ）の波形９０１と（ｂ）の波形９１１とを比較すると、雑音成分の抑圧が過剰である（ｂ）の波形９１１は、第１の機器７Ａのみが動作しているときの音響信号から抽出した（ａ）の波形９０１と比べて、振幅が小さくなっている。また、図１１の（ａ）のパワースペクトルの時間変化９０２と、（ｂ）のパワースペクトルの時間変化９１２とでは、各周波数のパワーの大きさを示す白黒の濃淡のパターンに違いが見られる。そして、図１１の（ａ）の周波数特性９０３と、（ｂ）の周波数特性９１３とを比較すると、４ｋＨｚ以下の周波数帯域において、（ｂ）のほうがパワーが小さくなっている。なお、図１１の（ｂ）の周波数特性９１３には、雑音成分の抑圧が過剰である場合の特性を実線で示しており、（ａ）の第１の機器７Ａのみが動作しているときの特性を点線で示している。すなわち、雑音成分の抑圧が過剰である場合の４ｋＨｚよりも低い周波数帯域の平均パワーは、本来の第１の機器７Ａのみが動作しているときの平均パワーと比べて小さくなる方向に歪んでしまう。このため、雑音成分の抑圧が過剰である場合の第１の成分の特徴量と、第１の機器７Ａのみが動作しているときの特徴量とに基づいてスコアを算出すると、スコアが大きな値となり、第１の機器７Ａの動作が異常であると判定される可能性が高くなる。
【００９４】
一方、図１１の（ａ）の波形９０１と（ｃ）の波形９２１とを比較すると、雑音成分の抑圧が不十分である（ｃ）の波形９２１は、第１の機器７Ａのみが動作しているときの音響信号から抽出した（ａ）の波形９０１と比べて、振幅が大きい。また、図１１の（ａ）のパワースペクトルの時間変化９０２と、（ｃ）のパワースペクトルの時間変化９２２とでは、各周波数のパワーの大きさを示す白黒の濃淡のパターンに違いが見られる。そして、図１１の（ａ）の周波数特性９０３と、（ｃ）の周波数特性９２３とを比較すると、２ｋＨｚよりも高い周波数帯域において、（ｃ）のほうがパワーが小さくなっている。なお、図１１の（ｃ）の周波数特性９２３には、雑音成分の抑圧が過剰である場合の特性を実線で示しており、点（ａ）の第１の機器７Ａのみが動作しているときの特性を点線で示している。低周波数帯域の平均パワーを基準として比較した場合に、雑音成分の抑圧が不十分である場合の２ｋＨｚよりも高い周波数帯域の平均パワーは、本来の第１の機器７Ａのみが動作しているときの平均パワーと比べて小さくなる方向に歪んでしまう。すなわち、雑音成分の抑圧が不十分である場合、低周波数帯域における第２の機器７Ｂの動作音の成分が残ってしまい、その結果として周波数特性に歪が生じる。このため、雑音成分の抑圧が不十分である場合の第１の成分の特徴量と、第１の機器７Ａのみが動作しているときの特徴量とに基づいてスコアを算出すると、スコアが大きな値となり、第１の機器７Ａの動作が異常であると判定される可能性が高くなる。
【００９５】
以上のことから、本実施形態では、スコア算出の対象となる機器のみが動作している場合と、他の機器も動作している場合とで、異なる比較基準（特徴量）に基づいてスコアを算出する。音響信号から第１の成分Ｘ’Ｌ及び第２の成分Ｘ’Ｒを抽出する際の雑音抑圧のアルゴリズムが、比較基準を作成する際のアルゴリズムと同じであれば、抽出した成分の特徴量は、比較基準の特徴量と類似した値となる。このため、機器の動作状態に応じた比較基準を選出することにより、音響信号から第１の成分Ｘ’Ｌ及び第２の成分Ｘ’Ｒを抽出する際の雑音成分の抑圧の度合いによらず、それぞれの成分について適切なスコアを算出することが可能となる。このため、サーバ装置４において、音響信号処理装置３で算出したスコアに基づいて監視対象である複数の機器７Ａ，７Ｂの動作が正常であるか否かを判定する際に、高精度で判定することが可能となる。なお、音響信号処理装置３では、上記のように、例えば、１分毎に音響信号から抽出した第１の成分Ｘ’Ｌ及び第２の成分Ｘ’Ｒのそれぞれについてのスコアを算出している。このため、スコアを算出する毎にスコアをサーバ装置４に送信して第１の機器７Ａ及び第２の機器７Ｂが正常に動作しているか否かを判定すると、効率が悪い上、局所的にスコアが高くなった場合に誤判定をするおそれがある。よって、本実施形態の監視システム１では、例えば、１時間毎に音響信号処理装置３からサーバ装置４にスコアをまとめて送信し、１時間分のスコアに基づいて、機器が正常に動作しているか否か（言い換えると、機器の異常の有無）を判定する。
【００９６】
図１２は、機器の異常の有無の判定方法を説明する図である。
図１２のグラフ１０には、機器の動作の監視を開始してから３３０分が経過するまでのスコアの時間変化の例を示している。グラフ１０では、動作が正常であるか否かの判定基準とするスコアの閾値Ｔｈを「４」に設定している。すなわち、機器の動作が正常であれば、スコアは４よりも小さな値となる。
【００９７】
しかしながら、機器が正常に動作している場合でも、機器の周囲において別の音源が局所的に音を発することもある。このため、グラフ１０のように、局所的にスコアが大きな値になることがある。
【００９８】
本実施形態のサーバ装置４は、他の音源が音を発することによるスコアの上昇を考慮し、一定期間内における複数個のスコアのうちの閾値Ｔｈ以上となるスコアの割合が、閾値以上となった場合に、機器の動作に異常が発生したと判定する。例えば、サーバ装置４は、１時間分のスコアにおける閾値Ｔｈ以上となるスコアの割合が０．５以上となった場合に、機器の動作に異常が発生したと判定する。このような判定基準に基づいて、グラフ１０のスコアと対応する機器の動作が正常であるか否かを判定すると、６０分毎に分割した３００分後までの全ての区間で、閾値Ｔｈ以上のスコアの割合が０．５よりも小さくなる。したがって、サーバ装置４は、対象となる機器の監視を開始してから３００分後まで、６０分毎に、都度、機器は正常に動作している（機器に異常はない）と判定する。この場合、サーバ装置４は、例えば、６０分毎に、機器が正常に動作していることを通知する通知情報を生成して監視装置５に送信する。また、図１２のグラフ１０に示した３３０分以降のスコアの時間変化において、閾値Ｔｈ以上であるスコアの割合が０．５以上となった場合、サーバ装置４は、機器に異常が発生したことを通知する通知情報を生成して、監視装置５及び携帯端末６に向けて送信する。
【００９９】
以上のように、本実施形態の音響信号処理装置３は、マイクアレイ２で収音した音響信号に含まれる、監視対象である複数の機器の動作状態を示す情報に基づいて、複数の機器の動作状態を識別する。また、音響信号処理装置３は、音響信号における機器の設置方向から到来したと判定された音の成分の特徴量と比較する、機器が正常に動作しているときの音の特徴量を含む比較基準とを選出する際に、機器の動作状態に基づいて比較基準を選択する。すなわち、動作が正常であるか否かを判定する機器とは別の機器が動作している場合と動作していない場合とで、異なる比較基準を選出して判定に用いる情報（スコア）を算出する。これにより、機器の動作状態が判定時の状態と同一であるときに収音した音響信号から作成した比較基準に基づいて、機器の動作が正常であるか否かを判定することが可能となる。よって、複数の機器が監視対象である場合でも、動作音に基づいて複数の機器のそれぞれが正常に動作しているか否かを判定する際の判定精度を向上させることが可能となる。
【０１００】
なお、図６のフローチャートは、本実施形態の音響信号処理装置３が行う処理の手順の一例に過ぎない。本実施形態の音響信号処理装置３が行う処理の手順は、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。例えば、音響信号処理装置３は、ステップＳ３及びＳ４の処理を行った後、ステップＳ１及びＳ２の処理を行ってもよい。また、音響信号処理装置３は、ステップＳ１及びＳ２の処理と、ステップＳ３及びＳ４の処理とを並列に行ってもよい。
【０１０１】
また、本実施形態では、音響信号における監視対象である機器の設置方向から到来したと判定された音の成分の特徴量と、比較基準の特徴量との差異（距離）に比例したスコアを算出し、該スコアに基づいて機器の動作が正常であるか否かを判定する例を挙げた。しかしながら、機器の動作が正常であるか否かの判定に用いる情報は、これに限らず、音響信号から抽出した音の成分の特徴量と、比較基準の特徴量との一致度と相関のある情報であればよい。すなわち、音響信号処理装置３のスコア算出部３０６は、予め用意された複数の比較基準のなかから機器の動作状態の識別結果に基づいて選出した比較基準に含まれる特徴量と、特徴量算出部で算出した特徴量との一致度を示す情報を算出するものであればよい。
【０１０２】
また、本実施形態の監視システム１では、音響信号処理装置３でスコアを算出し、サーバ装置４でスコアに基づいて機器の動作が正常であるか否かを判定している。しかしながら、本実施形態に係る監視システム１は、これに限らず、例えば、音響信号処理装置３においてスコアに基づいて機器の動作が正常であるか否かを判定し、判定結果を音響信号処理装置３からサーバ装置４、監視装置５、及び携帯端末６に送信するものであってもよい。また、本実施形態に係る監視システム１は、例えば、図６のステップＳ１〜Ｓ５の処理をサーバ装置４で行うものとしてもよい。この場合、音響信号処理装置３は、マイクアレイ２から取得した音響信号を蓄積し、所定時間が経過する毎に蓄積した音響信号をサーバ装置４に送信するものとする。
【０１０３】
更に、本実施形態では監視対象である機器を第１の機器７Ａ及び第２の機器７Ｂの２台の機器としているが、本実施形態に係る監視システム１は、これに限らず、３台以上の機器を監視対象とすることも可能である。
【０１０４】
［第２の実施形態］
本実施形態では、音響信号の代わりに、監視対象である複数の機器のそれぞれに供給される電力量を取得して機器の動作状態を識別する監視システムを説明する。
【０１０５】
図１３は、第２の実施形態に係る監視システムのシステム構成の一例を示す図である。
図１３に示すように、本実施形態の監視システム１は、マイクアレイ２と、音響信号処理装置３と、サーバ装置４と、監視端末５と、携帯端末６とを含む。本実施形態の監視システム１におけるマイクアレイ２、サーバ装置４、監視端末５、及び携帯端末６は、それぞれ、第１の実施形態で説明した機能を持つ。なお、図１３には、マイクアレイ２の一例として、第１のマイク２Ａと第２のマイク２Ｂとの２個のモノラルマイクを含むステレオマイクを示している。また、図１３には、監視対象である機器として、第１の機器７Ａと第２の機器７Ｂとの２台の機器を示している。
【０１０６】
本実施形態の音響信号処理装置３は、マイクアレイ２で収音した音響信号に基づいて、監視対象である複数の機器７Ａ，７Ｂのそれぞれが正常に動作しているか否かの判定に用いる判定情報を生成する。また、音響信号処理装置３は、生成した判定情報を、インターネット等のネットワーク８を介してサーバ装置４に送信する。音響信号処理装置３は、例えば、マイクアレイ２とともに、監視対象である機器７Ａ，７Ｂの近傍に設置する。
【０１０７】
なお、本実施形態の音響信号処理装置３は、監視対象である機器７Ａ，７Ｂの動作状態を示す情報として、それぞれの機器７Ａ，７Ｂの電力値の情報を取得する。すなわち、本実施形態の音響信号処理装置３は、監視対象である機器７Ａ，７Ｂで消費される電力量に基づいて、機器７Ａ，７Ｂの動作状態を識別する。
【０１０８】
図１４は、第２の実施形態に係る音響信号処理装置の機能的構成を示す図である。
図２に示すように、本実施形態に係る音響信号処理装置３は、信号取得部３０１と、電力値取得部３０８と、動作状態識別部３０３と、成分抽出部３０４と、特徴量算出部３０５と、スコア算出部３０６と、出力部３０７と、記憶部３９０と、を備える。なお、本実施形態の音響信号処理装置３における成分抽出部３０４、特徴量算出部３０５、スコア算出部３０６、及び出力部３０７は、それぞれ、第１の実施形態で説明した機能を持つ。
【０１０９】
信号取得部３０１は、マイクアレイ２における第１のマイク２Ａで収音した第１の音響信号と、該マイクアレイ２における第２のマイク２Ｂで収音した第２の音響信号とを取得する。本実施形態では、第１のマイク２Ａをマイクアレイ（ステレオマイク）２における左チャンネル（Ｌ−ｃｈ）のマイクとし、第２のマイク２Ｂを右チャンネル（Ｒ−ｃｈ）のマイクとする。本実施形態の音響信号処理装置３における信号取得部３０１は、複数のマイクのそれぞれで収音した音響信号を取得する信号取得部の一例である。
【０１１０】
電力値取得部３０８は、監視対象である複数の機器７Ａ，７Ｂで消費された電力量を示す電力値を取得する。電力値取得部３０８は、例えば、監視対象である複数の機器７Ａ，７Ｂに電力を供給する給電装置１１から、各機器７Ａ，７Ｂの消費電力量を示す電力値を取得する。
【０１１１】
動作状態識別部３０３は、電力値取得部３０８で取得した電力値と、動作判定テーブル３９１とに基づいて、監視対象である複数の機器の動作状態を識別する。なお、本実施形態では、動作状態識別部３０３が識別する機器の動作状態を、第１の実施形態で説明した動作状態よりも更に細かく分類する。例えば、第１の機器７Ａ及び第２の機器７Ｂが空調システムの室外機である場合、機器７Ａ，７Ｂのそれぞれにおける動作音には、ファンの動作音とインバータの動作音とが含まれる。すなわち、機器７Ａ，７Ｂのそれぞれにおける動作音は、ファンのみが動作している場合と、ファン及びインバータが動作している場合とで特徴量に違いが生じる。このため、本実施形態では、第１の機器７Ａが動作している状態を、ファンのみが動作している状態と、ファン及びインバータが動作している状態とに分ける。同様に、本実施形態では、第２の機器７Ｂが動作している状態を、ファンのみが動作している状態と、ファン及びインバータが動作している状態とに分ける。そして、本実施形態では、機器７Ａ，７Ｂの消費電力量に基づいて、ファンのみが動作している状態と、ファン及びインバータが動作している状態とを識別する。
【０１１２】
スコア算出部３０６は、複数の機器の動作状態の識別結果と、特徴量算出部３０５で算出した特徴量と、記憶部３９０に記憶させた比較基準セット３９２とに基づいて、機器の動作が正常であるか否かの判定に用いるスコアを算出する。なお、本実施形態では、上記のように、機器が動作している状態を、ファンのみが動作している状態と、ファン及びインバータが動作している状態とに分けている。このため、比較基準セット３９２には、動作している状態の場合分けを含めた複数通りの比較基準３９２Ａ，３９２Ｂ，３９２Ｃ，・・・を含む。本実施形態の音響信号処理装置３におけるスコア算出部３０６は、機器が存在する方向からマイクアレイ２に到来したと判定された音の特徴量と、比較基準セットに含まれる比較基準（特徴量）とに基づいて、機器の動作が正常であるか否かの判定に用いる判定情報を生成する生成部の一例である。また、比較基準セット３９２は、機器毎に用意された、監視対象である複数の機器についての複数の動作状態のそれぞれと対応した正常動作時の動作音の特徴量を含む比較基準の一例である。
【０１１３】
図１５は、第２の実施形態における動作判定テーブルの内容を説明する図である。
本実施形態では、上記のように、第１の機器７Ａ及び第２の機器７Ｂのそれぞれにおける消費電力量を示す電力値に基づいて、機器の動作状態を識別する。本実施形態では、電力値に基づいて、機器が動作している状態を、ファンのみが動作している状態と、ファン及びインバータが動作している状態とに分ける。すなわち、各機器の動作状態が、停止している状態と、ファンのみが動作している状態と、ファン及びインバータが動作している状態の３つの状態のいずれであるかを識別する。このため、第１の機器７Ａと第２の機器７Ｂとが監視対象である場合、図１５に示すように、動作判定テーブル３９１には９通りの動作状態が登録される。
【０１１４】
図１５の動作判定テーブル３９１において、電力値ｗ１は第１の機器７Ａの消費電力量を示す値であり、電力値ｗ２は第２の機器７Ｂの消費電力量を示す値である。本実施形態のように、機器が動作している状態をファンのみが動作している状態とファン及びインバータが動作している状態とに分けた場合、ファンのみが動作しているときの電力値は、ファン及びインバータが動作しているときの電力値よりも低い。このため、まず、例えば、ｗ１（ｗ２）＜０．５ｋＷである場合には機器が停止していると識別する。そして、例えば、０．５ｋＷ≦ｗ１（ｗ２）＜５ｋＷである場合にはファンのみが動作しており、５ｋＷ≦ｗ１（ｗ２）である場合にはファン及びインバータが動作していると識別する。このように電力値により識別すると、機器７Ａ，７Ｂの動作状況は、図１５のように９通りに分類される。なお、機器毎の動作状態を分別する電力値の閾値は適宜設定すればよい。例えば、停止している状態とファンのみが動作している状態との閾値は０．５ｋＷに限らず、監視対象である機器の仕様に応じて適宜設定すればよい。また、機器毎の動作状態を分別する電力の閾値は、機器毎に異なっていてもよい。例えば、停止している状態とファンのみが動作している状態との閾値は、第１の機器７Ａでは０．５ｋＷとし、第２の機器７Ｂでは０．４ｋＷとしてもよい。
【０１１５】
機器識別部３０３において識別した第１の機器７Ａと第２の機器７Ｂとの動作状態は、スコア算出部３０６において比較基準セット３９２からスコア算出用の比較基準を選出する際に用いる。比較基準セット３９２は、例えば、図１６に示すような８通りの比較基準を含む。
【０１１６】
図１６は、第２の実施形態における比較基準セットの例を説明する図である。
第１の機器７Ａ及び第２の機器７Ｂは、それぞれ、ファンのみが動作しているときと、ファン及びインバータが動作しているときとで動作音が異なる。また、第１の実施形態で説明したように、第１の機器７Ａでファンのみが動作しているときの音響信号から抽出される、第１の機器７Ａの設置方向から到来したと判定された音の成分の特徴量は、第２の機器が動作している場合と動作していない場合とで異なる値となる。このため、本実施形態では、例えば、図１６に示した８通りの比較基準を含む比較基準セット３９２を用意する。図１６の比較基準セット３９２における第１の比較基準３９２Ａは、第１の機器７Ａのファンのみが動作しているときの第１の成分の特徴量を含む。また、第２の比較基準３９２Ｂは、第２の機器７Ｂのファンのみが動作しているときの第２の成分の特徴量を含む。第１の成分の特徴量は、音響信号における、第１の機器の設置方向から到来したと判定された音の成分の特徴量である。第２の成分の特徴量は、音響信号における、第２の機器の設置方向から到来したと判定された音の成分の特徴量である。
【０１１７】
なお、図１６には、比較基準セット３９２に含まれる比較基準の一部のみを示している。本実施形態における比較基準セット３９２は、例えば、第１の機器７Ａのファン及びインバータと、第２の機器７Ｂのファンとが動作しているときの第１の成分の特徴量についての比較基準を含む。また、比較基準セット３９２は、例えば、第１の機器７Ａのファンと、第２の機器７Ｂのファン及びインバータとが動作しているときの第１の成分の特徴量についての比較基準を含む。
【０１１８】
本実施形態の音響信号処理装置３は、信号取得部３０１によりマイクアレイ２で収音した音響信号を取得する処理を開始した後、例えば、図１７のフローチャートに沿った処理を所定の時間間隔で繰り返し行う。このとき、音響信号処理装置３は、例えば、取得した音響信号を所定の時間長毎に分割し、分割した音響信号毎に図１７のフローチャートに沿った処理を行う。
【０１１９】
図１７は、第２の実施形態に係る音響信号処理装置が行う処理を説明するフローチャートである。
【０１２０】
音響信号処理装置３は、まず、監視対象である機器７Ａ，７Ｂで消費された電力量を示す電力値を取得する（ステップＳ１１）。ステップＳ１１の処理は、電力値取得部３０８が行う。電力値取得部３０８は、例えば、機器７Ａ，７Ｂに電力を供給する給電装置１１から各機器に供給した電力量（各機器で消費された電力量）を示す電力値を取得する。
【０１２１】
次に、音響信号処理装置３は、電力値取得部３０８で取得した電力値と、動作判定テーブル３９１とに基づいて、機器の動作状況を識別する（ステップＳ１２）。ステップＳ１２の処理は、動作状態識別部３０３が行う。動作状態識別部３０３は、取得した第１の機器７Ａについての電力値ｗ１と第２の機器７Ｂについての電力値ｗ２との組み合わせと、動作判定テーブル３９１における対応関係とに基づいて、機器の動作状態を識別する。例えば、ｗ１＜０．５ｋＷ、かつ０．５≦ｗ２＜５ｋＷである場合、動作状態識別部３０３は、第１の機器７Ａは停止しており、第２の機器７Ｂはファンのみが動作している状態であると識別する。また、例えば、５ｋＷ≦ｗ１、かつ５ｋＷ≦ｗ２である場合、動作状態識別部３０３は、第１の機器７Ａ及び第２の機器７Ｂの両方が、ファン及びインバータが動作している状態であると識別する。
【０１２２】
次に、音響信号処理装置３は、機器７Ａ，７Ｂの設置方向毎に、音響信号における機器が設置された方向から到来したと判定された音の成分を抽出する（ステップＳ３）。ステップＳ３の処理は、成分抽出部３０４が行う。成分抽出部３０４は、例えば、既知の雑音抑圧方法に従って、第１の機器７Ａが設置された方向から到来したと判定された音の成分（第１の成分）Ｘ’Ｌと、第２の機器７Ｂが設置された方向から到来したと判定された音の成分（第２の成分）Ｘ’Ｒとを抽出する。
【０１２３】
次に、音響信号処理装置３は、音響信号から抽出した音の成分毎に、該音の特徴量を算出する（ステップＳ４）。ステップ４の処理は、特徴量算出部３０５が行う。特徴量算出部３０５は、音の特徴量として、第１の実施形態で説明した方法により、周波数領域における周波数帯域毎の平均パワーを算出する。
【０１２４】
次に、音響信号処理装置３は、スコア算出用の比較基準を選定し、ステップＳ４で算出した特徴量と選定した比較基準との距離を示すスコアを算出して保持する（ステップＳ５）。ステップＳ５の処理は、スコア算出部３０６が行う。スコア算出部３０６は、機器の動作状態の識別結果に基づいて、スコア算出の対象となる機器毎に、スコア算出用の比較基準を選定してスコアを算出する。その後、スコア算出部３０６は、ＬＯＦ等の既知の算出方法に従って、ステップＳ４で算出した特徴量と選定した比較基準に含まれる特徴量との距離を示すスコアを算出する。
【０１２５】
例えば、スコア算出の対象となる機器が第１の機器７Ａである場合、スコア算出部３０６は、まず、第１の機器７Ａの動作状態がファンのみが動作している状態と、ファン及びインバータが動作している状態とのどちらであるかを認識する。また、スコア算出部３０６は、第２の機器７Ｂの動作状態が、停止している状態と、ファンのみが動作している状態と、ファン及びインバータが動作している状態とのいずれであるかを認識する。その後、スコア算出部３０６は、認識した第１の機器７Ａの動作状況と、第２の機器７Ｂの動作状況との組み合わせと対応した比較基準を比較基準セット３９２から選出する。その後、スコア算出部３０６は、第１の機器７Ａが設置された方向から到来したと判定された音の成分（第１の成分）Ｘ’Ｌの特徴量と、選出したスコア算出用の比較基準の特徴量とに基づいてスコアを算出する。
【０１２６】
スコアを算出した後、スコア算出部３０６は、算出したスコアと現在処理の対象となっている音響信号の時間情報とを対応付けてスコア履歴３９３に格納する。また、スコア算出部３０６は、例えば、スコアを算出してスコア履歴３９３に格納したことを出力部３０７に通知する。
【０１２７】
次に、音響信号処理装置３は、スコアをサーバ装置４に送信するタイミングであるか否かを判定する（ステップＳ６）。ステップＳ６の判定は、例えば、出力部３０７が行う。出力部３０７は、例えば、現在の時刻と、スコアをサーバ装置４に送信するタイミングを指定する情報とに基づいて、スコアをサーバ装置４に送信するタイミングであるか否かを判定する。スコアを送信するタイミングである場合（ステップＳ６；ＹＥＳ）、出力部３０７は、スコア履歴３９３から所定期間分のスコアを読み出してサーバ装置４に送信し（ステップＳ７）、現在処理対象となっている音響信号に対する処理を終了する。一方、スコアを送信するタイミングではない場合（ステップＳ６；ＮＯ）、出力部３０７は、ステップＳ７の処理を省略して、現在処理対象となっている音響信号に対する処理を終了する。
【０１２８】
また、音響信号処理装置３からスコアを取得したサーバ装置４は、第１の実施形態で説明したように、所定の時間間隔（例えば１時間に１回の頻度）で、スコアの時間変化に基づいて機器が正常に動作しているか否かを判定する。
【０１２９】
以上のように、本実施形態の音響信号処理装置３は、監視対象である複数の機器７Ａ，７Ｂの消費電力量を示す電力値に基づいて、機器７Ａ，７Ｂの動作状態を識別する。また、本実施形態の音響信号処理装置３は、識別した動作状態に基づいて、機器の動作音が正常であるか否かの判定に用いるスコアを算出する際の比較基準を切り替える。このため、本実施形態の音声信号処理装置３は、複数の機器が監視対象である場合でも、動作音に基づいて複数の機器のそれぞれが正常に動作しているか否かを判定する際の判定精度を向上させることが可能となる。
【０１３０】
更に、本実施形態のように、監視対象である機器７Ａ，７Ｂで消費される電力量に基づいて機器の動作状態を識別することで、動作音を発する動作が複数通りである場合にも、動作状態を適切に識別することが可能となる。
【０１３１】
なお、図１７のフローチャートは、本実施形態の音響信号処理装置３が行う処理の手順の一例に過ぎない。本実施形態の音響信号処理装置３が行う処理の手順は、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。例えば、音響信号処理装置３は、ステップＳ３及びＳ４の処理を行った後、ステップＳ１１及びＳ１２の処理を行ってもよい。また、音響信号処理装置３は、ステップＳ１１及びＳ１２の処理と、ステップＳ３及びＳ４の処理とを並列に行ってもよい。
【０１３２】
また、本実施形態の監視システム１では、音響信号処理装置３でスコアを算出し、サーバ装置４でスコアに基づいて機器の動作が正常であるか否かを判定している。しかしながら、本実施形態に係る監視システム１は、これに限らず、例えば、音響信号処理装置３においてスコアに基づいて機器の動作が正常であるか否かを判定し、判定結果を音響信号処理装置３からサーバ装置４、監視装置５、及び携帯端末６に送信するものであってもよい。また、本実施形態に係る監視システム１は、例えば、図１７のステップＳ１２，及びＳ３〜Ｓ５の処理をサーバ装置４で行うものとしてもよい。この場合、音響信号処理装置３は、マイクアレイ２から取得した音響信号と、給電装置１１等から取得した電力値を蓄積し、所定時間が経過する毎に蓄積した音響信号及び電力値をサーバ装置４に送信するものとする。
【０１３３】
更に、本実施形態では監視対象である機器を第１の機器７Ａ及び第２の機器７Ｂの２台の機器としているが、本実施形態に係る監視システム１は、これに限らず、３台以上の機器を監視対象とすることも可能である。
【０１３４】
［第３の実施形態］
図１８は、第３の実施形態に係る音響信号処理装置の機能的構成を示す図である。
【０１３５】
図１８に示すように、本実施形態の音響信号処理装置３は、信号取得部３０１と、動作検知部３０２と、動作状態識別部３０３と、成分抽出部３０４と、特徴量算出部３０５と、スコア算出部３０６と、出力部３０７と、記憶部３９０と、を備える。また、本実施形態の音響信号処理装置３は、歪み量算出部３０９と、閾値補正部３１０とを更に備える。
【０１３６】
本実施形態の音響信号処理装置３における信号取得部３０１、動作検知部３０２、動作状態識別部３０３、成分抽出部３０４、特徴量算出部３０５、及びスコア算出部３０６は、それぞれ、第１の実施形態で説明した機能を持つ。
【０１３７】
本実施形態の音響信号処理装置３における歪み量算出部３０９は、音響信号から第１の成分及び第２の成分を抽出したときの各成分の歪み量を算出する。歪み量産出部３０９は、記憶部３９０に記憶させたリファレンス情報３９４と、音響信号から抽出した第１の成分及び第２の成分との差異に基づいて、歪み量を算出する。
【０１３８】
一方、本実施形態の音響処理装置３における閾値算出部３１０は、歪み量算出部３０９で算出した歪み量に基づいて、スコアの時間変化により機器が正常に動作しているか否かを判定する際のスコアの閾値Ｔｈに対する補正量を算出する。閾値補正部３１０は、算出した補正量を記憶部３９０の閾値情報３９５に格納する。
【０１３９】
出力部３０７と、所定の時間間隔で、記憶部３９０のスコア履歴３９３に記憶させたスコアの履歴と、閾値情報３９５に記憶させた閾値の補正量とを、サーバ装置４に送信する。
【０１４０】
図１９は、第３の実施形態に係るサーバ装置の機能的構成を示す図である。
図１９に示すように、本実施形態のサーバ装置４は、送受信部４０１と、異常判定部４０２と、通知情報作成部４０３と、記憶部４９０とを備える。
【０１４１】
送受信部４０１は、音響信号処理装置３がサーバ装置４に向けて送信したスコアの履歴を含む情報を受信する一方で、監視対象である機器が正常に動作しているか否かの判定結果を含む通知情報を監視端末５や携帯端末６に向けて送信する。本実施形態の音声信号処理装置３は、上記のように、スコアと、スコアに基づいて機器の動作が正常であるか否かを判定する際の閾値の補正量とをサーバ装置４に送信する。このため、送受信部４０１は、受信したスコアの履歴を含む情報を記憶部４９０のスコア履歴４９１に格納し、受信した閾値の補正量を記憶部４９０の閾値補正履歴４９２に格納する。
【０１４２】
異常判定部４０２は、スコア履歴４９１に含まれる所定期間分の複数のスコアと、閾値補正履歴４９２に含まれる閾値の補正量とに基づいて、監視対象である機器毎に、動作音が正常であるか否かを判定する。異常判定部４０２は、例えば、所定期間分の複数個のスコアのうちの、閾値以上であるスコアの個数の割合が０．５以上となった場合に、対象の機器の動作音が異常であると判定する。なお、本実施形態における異常判定部４０２は、スコア毎に、該スコアと対応付ける態様で算出された補正量の分だけ閾値を補正し、補正後の閾値に基づいて、対象とするスコアが閾値以上であるか否かを判定する。
【０１４３】
通知情報作成部４０３は、異常判定部４０２の判定結果に基づいて、監視端末５や携帯端末６に通知する通知情報を作成する。通知情報作成部４０３は、例えば、異常判定部４０２で判定を行う毎に、監視端末５に向けて送信する通知情報として、動作音が正常であるか否かの判定結果を示す情報を含む通知情報を作成する。また、通知情報作成部４０３は、例えば、異常判定部４０２での判定結果に異常であることを示す結果が含まれる場合に、例えば、携帯端末６に向けて送信する通知情報として、動作音が異常であると判定した機器を示す情報を含む通知情報を作成する。通知情報作成部４０３で作成した通知情報は、それぞれ、送受信部４０１から監視端末５、或いは携帯端末６に向けて送信する。なお、サーバ装置４から携帯端末６に向けて通知情報を送信する場合には、例えば、携帯端末６の利用者或いは監視システム１の管理者により指定されたメールサーバ等の他の機器に送信してもよい。
【０１４４】
本実施形態の音響信号処理装置３は、信号取得部３０１によりマイクアレイ２で収音した音響信号を取得する処理を開始した後、例えば、図２０のフローチャートに沿った処理を所定の時間間隔で繰り返し行う。このとき、音響信号処理装置３は、例えば、取得した音響信号を所定の時間長毎に分割し、分割した音響信号毎に図２０のフローチャートに沿った処理を行う。
【０１４５】
図２０は、第３の実施形態に係る音響信号処理装置が行う処理を説明するフローチャートである。
【０１４６】
音響信号処理装置３は、まず、マイクアレイ２から取得した音響信号に基づいて、動作している機器の有無を検知する（ステップＳ１）。ステップＳ１の処理は、動作検知部３０２が行う。動作検知部３０２は、例えば、第１のマイク２Ａで収音した第１の音響信号ＸＬと第２のマイク２Ｂで収音した第２の音響信号ＸＲとを混合してモノラル化し、該モノラル化した音響信号Ｘmix（＝ＸＬ＋ＸＲ）の定常性に基づいて、動作している機器の有無を検知する。動作検知部３０２は、ステップＳ１の処理として、例えば、図７のフローチャートに沿った処理を行う。
【０１４７】
次に、音響信号処理装置３は、マイクアレイ２から取得した音響信号と、動作している機器の有無の検知結果と、動作判定テーブル３９１とに基づいて、機器の動作状況を識別する（ステップＳ２）。ステップＳ２の処理は、動作状態識別部３０３が行う。動作状態識別部３０３は、例えば、図８のフローチャートに沿った処理を行って、機器の動作状態を識別する。
【０１４８】
次に、音響信号処理装置３は、機器７Ａ，７Ｂの設置方向毎に、音響信号における機器が設置された方向から到来したと判定された音の成分を抽出する（ステップＳ３）。ステップＳ３の処理は、成分抽出部３０４が行う。成分抽出部３０４は、例えば、既知の雑音抑圧方法に従って、第１の機器７Ａが設置された方向から到来したと判定された音の成分（第１の成分）Ｘ’Ｌと、第２の機器７Ｂが設置された方向から到来したと判定された音の成分（第２の成分）Ｘ’Ｒとを抽出する。
【０１４９】
次に、音響信号処理装置３は、音響信号から抽出した音の成分毎に、該音の特徴量を算出する（ステップＳ４）。ステップ４の処理は、特徴量算出部３０５が行う。特徴量算出部３０５は、音の特徴量として、例えば、第１の実施形態で説明した方法により周波数領域における周波数帯域毎の平均パワーを算出する。
【０１５０】
次に、音響信号処理装置３は、スコア算出用の比較基準を選定し、ステップＳ４で算出した特徴量と選定した比較基準との差異を示すスコアを算出して保持する（ステップＳ５）。ステップＳ５の処理は、スコア算出部３０６が行う。スコア算出部３０６は、機器の動作状態の識別結果に基づいて、スコア算出の対象となる機器毎に、スコア算出用の比較基準を選定してスコアを算出する。その後、スコア算出部３０６は、ＬＯＦ等の既知の算出方法に従って、ステップＳ４で算出した特徴量と選定した比較基準に含まれる特徴量との距離を示すスコアを算出する。スコアを算出した後、スコア算出部３０６は、算出したスコアと現在処理の対象となっている音響信号の時間情報とを対応付けてスコア履歴３９３に格納する。
【０１５１】
次に、音響信号処理装置３は、特徴量を算出した音の成分についての歪み量を算出する（ステップＳ１５）。ステップＳ１５の処理は、歪み量算出部３０９が行う。歪み量算出部３０９は、記憶部３９０のリファレンス情報３９４を参照し、ステップＳ３で抽出した第１の成分及び第２の成分についての歪み量を算出する。例えば、第１の実施形態で説明したように、第１の成分の特徴量として平均パワーＡＰＬ_１〜ＡＰＬ_８を算出し、第２の成分の特徴量として平均パワーＡＰＲ_１〜ＡＰＲ_８を算出した場合、歪み量算出部３０９は、まず、該平均パワーとリファレンスとの差分絶対値をとる。第１の成分の特徴量についての平均パワーとリファレンスとの差分絶対値diff_ＡＰＬ_１〜diff_ＡＰＬ_８は、下記式（３−１）〜式（３−８）により算出する。
【０１５２】
diff_ＡＰＬ_１＝｜ＡＰＬ_１−ref_ＡＰＬ_１｜          （３−１）
diff_ＡＰＬ_２＝｜ＡＰＬ_２−ref_ＡＰＬ_２｜          （３−２）
diff_ＡＰＬ_３＝｜ＡＰＬ_３−ref_ＡＰＬ_３｜          （３−３）
diff_ＡＰＬ_４＝｜ＡＰＬ_４−ref_ＡＰＬ_４｜          （３−４）
diff_ＡＰＬ_５＝｜ＡＰＬ_５−ref_ＡＰＬ_５｜          （３−５）
diff_ＡＰＬ_６＝｜ＡＰＬ_６−ref_ＡＰＬ_６｜          （３−６）
diff_ＡＰＬ_７＝｜ＡＰＬ_７−ref_ＡＰＬ_７｜          （３−７）
diff_ＡＰＬ_８＝｜ＡＰＬ_８−ref_ＡＰＬ_８｜          （３−８）
【０１５３】
その後、歪み量算出部３０９は、式（３−１）〜式（３−８）により算出した差分絶対値の総和を、第１の成分Ｘ’Ｌについての歪み量distＬとして算出する。
【０１５４】
また、第２の成分の特徴量についての平均パワーとリファレンスとの差分絶対値diff_ＡＰＲ_１〜diff_ＡＰＲ_８は、下記式（４−１）〜式（４−８）により算出する。
【０１５５】
diff_ＡＰＲ_１＝｜ＡＰＲ_１−ref_ＡＰＲ_１｜          （４−１）
diff_ＡＰＲ_２＝｜ＡＰＲ_２−ref_ＡＰＲ_２｜          （４−２）
diff_ＡＰＲ_３＝｜ＡＰＲ_３−ref_ＡＰＲ_３｜          （４−３）
diff_ＡＰＲ_４＝｜ＡＰＲ_４−ref_ＡＰＲ_４｜          （４−４）
diff_ＡＰＲ_５＝｜ＡＰＲ_５−ref_ＡＰＲ_５｜          （４−５）
diff_ＡＰＲ_６＝｜ＡＰＲ_６−ref_ＡＰＲ_６｜          （４−６）
diff_ＡＰＲ_７＝｜ＡＰＲ_７−ref_ＡＰＲ_７｜          （４−７）
diff_ＡＰＲ_８＝｜ＡＰＲ_８−ref_ＡＰＲ_８｜          （４−８）
【０１５６】
その後、歪み量算出部３０９は、式（４−１）〜式（４−８）により算出した差分絶対値の総和を、第２の成分Ｘ’Ｒについての歪み量distＲとして算出する。
【０１５７】
ステップＳ１５の処理を終えると、音響信号処理装置３は、次に、算出した歪み量に基づいて、異常判定の閾値の補正量を算出する（ステップＳ１６）。ステップＳ１６の処理は、閾値補正部３１０が行う。閾値補正部３１０は、例えば、ステップＳ１５で算出した歪み量dist（distＬ及びdistＲ）と、図２１の関数Ｇ（dist）とに基づいて、閾値の補正量を算出する。
【０１５８】
図２１は、閾値の補正量の決定方法を説明する図である。
図２１には、ステップＳ１５で算出した歪み量dist（distＬ及びdistＲ）と、補正量との対応関係を示す関数Ｇ（dist）のグラフ１２を示している。図２１に示した例では、歪み量distが５ｄＢ以下の場合には補正量を０とし、歪み量distが２５ｄＢ以上の場合には補正量を２としている。また、図２１に示した例では、歪み量distが５ｄＢ＜dist＜２５ｄＢの場合には、補正量は、０から２の範囲で歪み量distの大きさに比例した値としている。閾値補正部３１０は、決定した補正量を閾値情報３９５に格納する。
【０１５９】
ステップＳ１６の処理を終えると、音響信号処理装置３は、次に、スコア及び閾値の補正量をサーバ装置４に送信するタイミングであるか否かを判定する（ステップＳ６）。ステップＳ６の判定は、例えば、出力部３０７が行う。スコア及び閾値の補正量を送信するタイミングである場合（ステップＳ６；ＹＥＳ）、出力部３０７は、スコア履歴３９３から所定期間分のスコアを読み出すとともに、閾値情報３９５から閾値の補正量を読み出してサーバ装置４に送信し（ステップＳ７）する。スコア及び閾値の補正量を送信するタイミングである場合、ステップＳ７の処理を行うと、音響信号処理装置３は、現在処理対象となっている音響信号に対する処理を終了する。一方、スコア及び閾値の補正量を送信するタイミングではない場合（ステップＳ６；ＮＯ）、出力部３０７は、ステップＳ７の処理を省略して、現在処理対象となっている音響信号に対する処理を終了する。
【０１６０】
このように、本実施形態の音響信号処理装置３は、音響信号から抽出した第１の成分及び第２の成分の特徴量についてのスコアを算出するとともに、機器が正常に動作しているか否かの判定に用いる閾値についての補正量を算出する。そして、サーバ装置４において、スコアに基づいて機器が正常に動作しているか否かを判定する際には、算出した補正量を所定の閾値Ｔｈに加える補正を行う。
【０１６１】
図２２は、第３の実施形態における機器の異常の有無の判定方法を説明する図である。
図２２のグラフ１０には、機器の動作の監視を開始してから３３０分が経過するまでのスコアの時間変化の例を示している。グラフ１０では、動作が正常であるか否かの判定基準とするスコアの閾値Ｔｈを「４」に設定している。すなわち、機器の動作が正常であれば、スコアは４よりも小さな値となる。
【０１６２】
しかしながら、機器が正常に動作している場合でも、機器の周囲において別の音源が局所的に音を発することもある。このため、グラフ１０のように、局所的にスコアが大きな値になることがある。スコアが大きな値となる場合、音響信号から抽出した機器の設置方向から到来したと判定される音の成分の周波数特性は、図１１を参照して説明した歪が大きくなるため、リファレンス３９４に含まれる周波数特性との差異が大きくなる。このため、本実施形態では、歪みの大きさに応じて、動作音（機器の動作）が正常であるか否かの判定基準とする閾値を補正する。このとき、閾値の補正を、閾値Ｔｈ’が基準の閾値Ｔｈ（＝４）よりも大きくなる方向にのみ補正することで、スコアの値が正常ではないと誤判定され、動作が正常ではないと判定される可能性を低減する。
【０１６３】
なお、本実施形態のサーバ装置４は、一定期間内における複数個のスコアのうちの補正した閾値Ｔｈ’以上となるスコアの割合が、閾値以上となった場合に、機器の動作に異常が発生したと判定する。例えば、サーバ装置４は、１時間分のスコアにおける閾値Ｔｈ以上となるスコアの割合が０．５以上となった場合に、機器の動作に異常が発生したと判定する。このような判定基準に基づいて、グラフ１０のスコアと対応する機器の動作が正常であるか否かを判定すると、６０分毎に分割した３００分後までの全ての区間で、閾値Ｔｈ以上のスコアの割合が０．５よりも小さくなる。したがって、サーバ装置４は、対象となる機器の監視を開始してから３００分後まで、６０分毎に、都度、機器は正常に動作している（機器に異常はない）と判定する。この場合、サーバ装置４は、例えば、６０分毎に、機器が正常に動作していることを通知する通知情報を生成して監視装置５に送信する。また、図１２のグラフ１０に示した３３０分以降のスコアの時間変化において、閾値Ｔｈ以上であるスコアの割合が０．５以上となった場合、サーバ装置４は、機器に異常が発生したことを通知する通知情報を生成して、監視装置５及び携帯端末６に向けて送信する。
【０１６４】
以上のように、本実施形態の音響信号処理装置３は、マイクアレイ２で収音した音響信号に含まれる、監視対象である複数の機器の動作状態を示す情報に基づいて、複数の機器の動作状態を識別する。また、音響信号処理装置３は、音響信号における機器の設置方向から到来したと判定された音の成分の特徴量と比較する、機器が正常に動作しているときの音の特徴量を含む比較基準とを選出する際に、機器の動作状態に基づいて、選出する比較基準を切り替える。すなわち、動作が正常であるか否かを判定する機器とは別の機器が動作している場合と動作していない場合とで、判定に用いる情報（スコア）を算出する際の比較基準を切り替える。これにより、機器の動作状態が判定時の状態と同一であるときに収音した音響信号から作成した比較基準に基づいて、機器の動作が正常であるか否かを判定することが可能となる。よって、複数の機器が監視対象である場合でも、動作音に基づいて複数の機器のそれぞれが正常に動作しているか否かを判定する際の判定精度を更に向上させることが可能となる。
【０１６５】
なお、図２０のフローチャートは、本実施形態の音響信号処理装置３が行う処理の手順の一例に過ぎない。本実施形態の音響信号処理装置３が行う処理の手順は、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。例えば、音響信号処理装置３は、ステップＳ３及びＳ４の処理を行った後、ステップＳ１及びＳ２の処理を行ってもよい。また、音響信号処理装置３は、ステップＳ１及びＳ２の処理と、ステップＳ３及びＳ４の処理とを並列に行ってもよい。また、ステップＳ１５及びＳ１６の処理は、ステップＳ５の処理と並列に行ってもよい。
【０１６６】
更に、歪み量の算出方法は、上記のような特徴量として算出した平均パワーの差分絶対値に基づいて算出する方法に限らず、他の方法であってもよい。例えば、歪み量は、第１の成分Ｘ’Ｌ及び第２の成分Ｘ’Ｒのそれぞれを周波数変換し、周波数領域においてリファレンスとの相互相関を算出して換算してもよい。
【０１６７】
［第４の実施形態］
図２３は、第４の実施形態に係る音響信号処理装置の機能的構成を示す図である。
【０１６８】
図２３に示すように、本実施形態の音響信号処理装置３は、信号取得部３０１と、動作検知部３０２と、動作状態識別部３０３と、成分抽出部３０４と、特徴量算出部３０５と、スコア算出部３０６と、出力部３０７と、記憶部３９０と、を備える。また、本実施形態の音響信号処理装置３は、歪み量算出部３０９と、閾値補正部３１０と、リファレンス制御部３１１とを備える。
【０１６９】
なお、本実施形態の音響信号処理装置３における信号取得部３０１、動作検知部３０２、動作状態識別部３０３、成分抽出部３０４、特徴量算出部３０５、及びスコア算出部３０６は、それぞれ、第１の実施形態で説明した機能を持つ。また、歪み量算出部３０９及び閾値補正部３１０は、それぞれ、第３の実施形態で説明した機能を持つ。
【０１７０】
また、本実施形態におけるリファレンス制御部３１１は、機器識別部３０３での機器の動作状況の識別結果において動作している機器が１台であると識別しているときに、該動作している機器と対応する成分の特徴量にリファレンス情報３９４を更新する。
【０１７１】
本実施形態の音響信号処理装置３は、信号取得部３０１によりマイクアレイ２で収音した音響信号を取得する処理を開始した後、例えば、図２４のフローチャートに沿った処理を所定の時間間隔で繰り返し行う。このとき、音響信号処理装置３は、例えば、取得した音響信号を所定の時間長毎に分割し、分割した音響信号毎に図２４のフローチャートに沿った処理を行う。
【０１７２】
図２４は、第４の実施形態に係る音響信号処理装置が行う処理を説明するフローチャートである。
【０１７３】
音響信号処理装置３は、まず、マイクアレイ２から取得した音響信号に基づいて、動作している機器の有無を検知する（ステップＳ１）。ステップＳ１の処理は、動作検知部３０２が行う。動作検知部３０２は、例えば、第１のマイク２Ａで収音した第１の音響信号ＸＬと第２のマイク２Ｂで収音した第２の音響信号ＸＲとを混合してモノラル化し、該モノラル化した音響信号Ｘmix（＝ＸＬ＋ＸＲ）の定常性に基づいて、動作している機器の有無を検知する。動作検知部３０２は、ステップＳ１の処理として、例えば、図７のフローチャートに沿った処理を行う。
【０１７４】
次に、音響信号処理装置３は、マイクアレイ２から取得した音響信号と、動作している機器の有無の検知結果と、動作判定テーブル３９１とに基づいて、機器の動作状況を識別する（ステップＳ２）。ステップＳ２の処理は、動作状態識別部３０３が行う。動作状態識別部３０３は、例えば、図８のフローチャートに沿った処理を行って、機器の動作状態を識別する。
【０１７５】
次に、音響信号処理装置３は、機器７Ａ，７Ｂの設置方向毎に、音響信号における機器が設置された方向から到来したと判定された音の成分を抽出する（ステップＳ３）。ステップＳ３の処理は、成分抽出部３０４が行う。成分抽出部３０４は、例えば、既知の雑音抑圧方法に従って、第１の機器７Ａが設置された方向から到来したと判定された音の成分（第１の成分）Ｘ’Ｌと、第２の機器７Ｂが設置された方向から到来したと判定された音の成分（第２の成分）Ｘ’Ｒとを抽出する。
【０１７６】
次に、音響信号処理装置３は、音響信号から抽出した音の成分毎に、該音の特徴量を算出する（ステップＳ４）。ステップ４の処理は、特徴量算出部３０５が行う。特徴量算出部３０５は、音の特徴量として、例えば、第１の実施形態で説明した方法により周波数領域における周波数帯域毎の平均パワーを算出する。
【０１７７】
次に、音響信号処理装置３は、機器の動作状態の識別結果に基づいて、一方の機器のみが動作している状態であるか否かを判定する（ステップＳ１３）。ステップＳ１３の判定は、例えば、リファレンス制御部３１１が行う。第１の機器７Ａ及び第２の機器７Ｂのうちの一方の機器のみが動作している場合（ステップＳ１３；ＹＥＳ）、リファレンス制御部３１１は、動作している機器についてのリファレンスを更新する（ステップＳ１４）。ステップＳ１４では、リファレンス制御部３１１は、リファレンス情報３９４における動作している機器の設置方向から到来したと判定された音の成分の特徴量を、ステップＳ４で算出した特徴量に更新する。
【０１７８】
ステップＳ１４の処理を行うと、音響信号処理装置３は、次に、スコア算出用の比較基準を選定し、ステップＳ４で算出した特徴量と選定した比較基準との距離を示すスコアを算出して保持する（ステップＳ５）。なお、動作している機器が１個ではない場合（ステップＳ１３；ＮＯ）、ステップＳ１４の処理を省略して、ステップＳ５の処理を行う。
【０１７９】
ステップＳ５の処理は、スコア算出部３０６が行う。スコア算出部３０６は、機器の動作状態の識別結果に基づいて、スコア算出の対象となる機器毎に、スコア算出用の比較基準を選定してスコアを算出する。その後、スコア算出部３０６は、ＬＯＦ等の既知の算出方法に従って、ステップＳ４で算出した特徴量と選定した比較基準に含まれる特徴量との差異を示すスコアを算出する。スコアを算出した後、スコア算出部３０６は、算出したスコアと現在処理の対象となっている音響信号の時間情報とを対応付けてスコア履歴３９３に格納する。
【０１８０】
次に、音響信号処理装置３は、特徴量を算出した音の成分についての歪み量を算出する（ステップＳ１５）。ステップＳ１５の処理は、歪み量算出部３０９が行う。歪み量算出部３０９は、記憶部３９０のリファレンス情報３９４を参照し、ステップＳ３で抽出した第１の成分及び第２の成分についての歪み量を算出する。例えば、第１の実施形態で説明したように、第１の成分の特徴量として平均パワーＡＰＬ_１〜ＡＰＬ_８を算出し、第２の成分の特徴量として平均パワーＡＰＲ_１〜ＡＰＲ_８を算出した場合、歪み量算出部３０９は、まず、該平均パワーとリファレンスとの差分絶対値をとる。第１の成分の特徴量についての平均パワーとリファレンスとの差分絶対値diff_ＡＰＬ_１〜diff_ＡＰＬ_８は、上記の式（３−１）〜式（３−８）により算出する。その後、歪み量算出部３０９は、式（３−１）〜式（３−８）により算出した差分絶対値の総和を、第１の成分Ｘ’Ｌについての歪み量distＬとして算出する。
【０１８１】
また、第２の成分の特徴量についての平均パワーとリファレンスとの差分絶対値diff_ＡＰＲ_１〜diff_ＡＰＲ_８は、上記の式（４−１）〜式（４−８）により算出する。その後、歪み量算出部３０９は、式（４−１）〜式（４−８）により算出した差分絶対値の総和を、第２の成分Ｘ’Ｒについての歪み量distＲとして算出する。
【０１８２】
ステップＳ１５の処理を終えると、音響信号処理装置３は、次に、算出した歪み量に基づいて、異常判定の閾値の補正量を算出する（ステップＳ１６）。ステップＳ１６の処理は、閾値補正部３１０が行う。閾値補正部３１０は、例えば、ステップＳ１５で算出した歪み量dist（distＬ及びdistＲ）と、図２１の関数Ｇ（dist）とに基づいて、閾値の補正量を算出する。
【０１８３】
ステップＳ１６の処理を終えると、音響信号処理装置３は、次に、スコア及び閾値の補正量をサーバ装置４に送信するタイミングであるか否かを判定する（ステップＳ６）。ステップＳ６の判定は、例えば、出力部３０７が行う。スコア及び閾値の補正量を送信するタイミングである場合（ステップＳ６；ＹＥＳ）、出力部３０７は、スコア履歴３９３から所定期間分のスコアを読み出すとともに、閾値情報３９５から閾値の補正量を読み出してサーバ装置４に送信し（ステップＳ７）する。スコア及び閾値の補正量を送信するタイミングである場合、ステップＳ７の処理を行うと、音響信号処理装置３は、現在処理対象となっている音響信号に対する処理を終了する。一方、スコア及び閾値の補正量を送信するタイミングではない場合（ステップＳ６；ＮＯ）、出力部３０７は、ステップＳ７の処理を省略して、現在処理対象となっている音響信号に対する処理を終了する。
【０１８４】
このように、本実施形態の音響信号処理装置３は、監視対象である複数の機器のうちの１個の機器が動作している場合に、該機器と対応するリファレンスの特徴量を、音響信号から抽出した音の成分の特徴量に更新する。これにより、例えば、監視対象である機器７Ａ，７Ｂの動作音の特徴量に経年による変化が生じた場合等に、現在の（変化後の）正常動作時の特徴量に更新することが可能となり、機器の動作が正常であるか否かの誤判定を低減することが可能となる。
【０１８５】
なお、図２４のフローチャートは、本実施形態の音響信号処理装置３が行う処理の手順の一例に過ぎない。本実施形態の音響信号処理装置３が行う処理の手順は、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。例えば、音響信号処理装置３は、ステップＳ３及びＳ４の処理を行った後、ステップＳ１及びＳ２の処理を行ってもよい。また、音響信号処理装置３は、ステップＳ１及びＳ２の処理と、ステップＳ３及びＳ４の処理とを並列に行ってもよい。また、ステップＳ１５及びＳ１６の処理は、ステップＳ５の処理と並列に行ってもよい。
【０１８６】
更に、歪み量の算出方法は、上記のような特徴量として算出した平均パワーの差分絶対値に基づいて算出する方法に限らず、他の方法であってもよい。例えば、歪み量は、第１の成分Ｘ’Ｌ及び第２の成分Ｘ’Ｒのそれぞれを周波数変換し、周波数領域においてリファレンスとの相互相関を算出して換算してもよい。
【０１８７】
また、本実施形態では、マイクアレイ２から取得した音響信号に基づいて動作している機器の有無を検知する処理（ステップＳ２）を行って、動作している機器を識別している。しかしながら、動作している機器を識別する際には、例えば、第２の実施形態で説明したように、監視対象である複数の機器７Ａ，７Ｂで消費した電力量を示す電力値を取得し、電力値の関係に基づいて動作している機器を識別してもよい。
【０１８８】
上記の音響信号処理３は、コンピュータと、該コンピュータに実行させるプログラムとにより実現可能である。以下、図２５を参照して、コンピュータとプログラムとにより実現される言語識別装置１について説明する。
【０１８９】
図２５は、コンピュータのハードウェア構成を示す図である。
図２５に示すように、コンピュータ２０は、プロセッサ２００１と、主記憶装置２００２と、補助記憶装置２００３と、入力装置２００４と、出力装置２００５と、入出力インタフェース２００６と、通信制御装置２００７と、媒体駆動装置２００８と、を備える。コンピュータ２０におけるこれらの要素２００１〜２００８は、バス２０１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
【０１９０】
プロセッサ２００１は、Central Processing Unit（ＣＰＵ）やMicro Processing Unit（ＭＰＵ）等である。プロセッサ２００１は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ２０の全体の動作を制御する。また、プロセッサ２００１は、例えば、図６、図１７、図２０、及び図２４のいずれかのフローチャートにおける各処理を含む音響信号処理プログラムを実行することにより、機器の動作が正常であるか否かの判定をする閾値を算出する。
【０１９１】
主記憶装置２００２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置２００２のＲＯＭには、例えば、コンピュータ２０の起動時にプロセッサ２００１が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置２００２のＲＡＭは、プロセッサ２００１が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置２００２のＲＡＭは、例えば、動作判定テーブル３９１、比較基準セット３９２、スコア履歴３９３等の記憶に利用可能である。
【０１９２】
補助記憶装置２００３は、例えば、Hard Disk Drive（ＨＤＤ）や、フラッシュメモリ等の不揮発性メモリ（Solid State Drive（ＳＳＤ）を含む）等、主記憶装置２００２のＲＡＭと比べて容量の大きい記憶装置である。補助記憶装置２００３は、プロセッサ２００１によって実行される各種のプログラムや各種のデータ等の記憶に利用可能である。補助記憶装置２００３は、例えば、図６、図１７、図２０、及び図２４のいずれかのフローチャートにおける各処理を含む音響信号処理プログラムの記憶に利用可能である。また、補助記憶装置２００３は、例えば、例えば、動作判定テーブル３９１、比較基準セット３９２、スコア履歴３９３等の記憶に利用可能である。
【０１９３】
入力装置２００４は、例えば、キーボード装置やタッチパネル装置等である。コンピュータ２０のオペレータ（利用者）が入力装置２００４に対して所定の操作を行うと、入力装置２００４は、その操作内容に対応付けられている入力情報をプロセッサ２００１に送信する。入力装置２００４は、例えば動作判定テーブル３９１や比較基準セット３９２の作成等に利用可能である。また、入力装置２００４は、マイクアレイ２等の収音装置を含んでもよい。入力装置２００４がマイクアレイ２を含む場合、例えば、該マイクアレイ２から入力される音響信号を、機器の動作状態の識別や、機器が正常に動作しているか否かの判定に用いるスコアの算出に利用可能である。
【０１９４】
出力装置２００５は、例えば、液晶表示装置等の表示装置やスピーカ等の音声再生装置である。
【０１９５】
入出力インタフェース２００６は、コンピュータ２０と、他の電子機器とを接続する。入出力インタフェース２００６は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタ等を備える。入出力インタフェース２００６は、例えば、コンピュータ２０とマイクアレイ２との接続等に利用可能である。
【０１９６】
通信制御装置２００７は、コンピュータ２０をインターネット等のネットワークに接続し、ネットワークを介したコンピュータ２０と他の電子機器との各種通信を制御する装置である。通信制御装置２００７は、例えば、コンピュータ２０とサーバ装置４との間でのスコア等の送受信に利用可能である。
【０１９７】
媒体駆動装置２００８は、可搬型記録媒体２１に記録されているプログラムやデータの読み出し、補助記憶装置２００３に記憶されたデータ等の可搬型記録媒体２１への書き込みを行う。媒体駆動装置２００８には、例えば、１種類又は複数種類の規格に対応したメモリカード用リーダ／ライタが利用可能である。媒体駆動装置２００８としてメモリカード用リーダ／ライタを用いる場合、可搬型記録媒体２１としては、メモリカード用リーダ／ライタが対応している規格、例えば、Secure  Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）等を利用可能である。また、可搬型記録媒体２１としては、例えば、ＵＳＢ規格のコネクタを備えたフラッシュメモリが利用可能である。更に、コンピュータ２０が媒体駆動装置２００８として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体２１として利用可能である。可搬型記録媒体２１として利用可能な光ディスクには、例えば、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等がある。可搬型記録媒体２１は、例えば、図６、図１７、図２０、及び図２４のいずれかのフローチャートにおける各処理を含む音響信号処理プログラムの記憶に利用可能である。また、可搬型記録媒体２１は、例えば、例えば、動作判定テーブル３９１、比較基準セット３９２、スコア履歴３９３等の記憶に利用可能である。
【０１９８】
オペレータが入力装置２００４等を利用して音響信号処理の開始命令をコンピュータ２０に入力すると、プロセッサ２００１が、補助記憶装置２００３等の非一時的な記録媒体に記憶させた音響信号処理プログラムを読み出して実行する。音響信号処理プログラムを実行している間、プロセッサ２００１は、音響信号処理装置３における機器識別部３０３、成分抽出部３０４、特徴量算出部３０５、スコア算出部３０６として機能する（動作する）。また、図６、図２０、及び図２４のフローチャートのいずれかと対応した音響信号処理プログラムを実行している場合、プロセッサ２００１は、更に、動作検知部３０２として機能する。また、図２０及び図２４のフローチャートのいずれかと対応した音響信号処理プログラムを実行している場合、プロセッサ２００１は、更に、歪み量算出部３０９及び閾値補正部３１０として機能する。
【０１９９】
なお、音響信号処理装置３として動作させるコンピュータ２０は、図２５に示した全ての要素２００１〜２００８を含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ２０は、媒体駆動装置２００８が省略されたものであってもよい。
【０２００】
また、コンピュータ２０に実行させる音響信号処理プログラムは、図６、図１７、図２０、及び図２４のフローチャートのいずれかと対応する処理に加え、所定の期間毎にスコアを読み出して機器が正常に動作しているか否かを判定する処理を含むものでもよい。すなわち、コンピュータ２０は、音響信号処理装置３として動作させるとともに、サーバ装置４として動作させることも可能である。
【０２０１】
以上記載した各実施形態に関し、更に以下の付記を開示する。
（付記１）
監視対象である複数の機器の動作状態を識別する識別部と、
複数のマイクから取得した複数の音響信号に基づいて、前記複数の機器のそれぞれが設置された方向毎に、前記音響信号における機器が設置された方向から到来したと判定された音の成分を抽出する抽出部と、
抽出した前記音の成分の特徴量を算出する特徴量算出部と、
前記識別部の識別結果に応じて予め用意された複数の比較基準のうちの１つの比較基準を選出し、選出した前記比較基準に含まれる特徴量と、前記特徴量算出部で算出した前記特徴量との一致度を示す情報を算出する一致度算出部と、
を備えることを特徴とする音響信号処理装置。
（付記２）
前記一致度算出部は、前記一致度を示す情報として、選出した前記比較基準に含まれる前記特徴量と前記特徴量算出部で算出した前記特徴量との差異に基づいたスコアを算出し、算出された前記スコアに基づいて異常判定を行う、
ことを特徴とする付記１に記載の音響信号処理装置。
（付記３）
前記音響信号処理装置は、前記複数の音響信号に基づいて、前記複数の機器のうちの動作している機器の有無を検知する検知部を更に備え、
前記識別部は、前記検知部において前記動作している機器があることを検知した場合に、前記複数の音響信号における音の大小関係に基づいて、動作している機器を識別する、
ことを特徴とする付記１に記載の音響信号処理装置。
（付記４）
前記識別部は、前記複数の機器のそれぞれにおける動作状態により変化する情報を取得し、取得した前記動作状態により変化する情報と前記複数の機器のうちの動作している機器の組み合わせを示す動作判定テーブルとに基づいて、前記複数の機器の動作状態を識別する、
ことを特徴とする請求項１に記載の音響信号処理装置。
（付記５）
前記音響信号処理装置は、前記複数の機器のそれぞれで消費した電力量を示す電力値を取得する電力値取得部、を更に備え、
前記識別部は、前記複数の機器のそれぞれにおける前記電力値の組み合わせに基づいて、動作している機器の組み合わせを含む前記動作状態を識別する、
ことを特徴とする付記１に記載の音響信号処理装置。
（付記６）
前記複数の機器のうちの少なくとも１つの機器は、ファンのみを動作させた場合、及び前記ファンとインバータとを動作させた場合に動作音を発する機器であり、
前記識別部は、前記機器が前記ファンのみを動作させた状態、及び前記ファンと前記インバータとを動作させた状態のいずれの状態であるかを含む前記動作状態を識別する、
ことを特徴とする付記５に記載の音響信号処理装置。
（付記７）
前記音響信号処理装置は、前記音響信号から抽出した前記音の成分と、予め用意された前記音の成分の到来方向と対応する方向から到来した前記機器の動作音を含むリファレンスとに基づいて、前記音の成分に生じた歪みを算出する歪み量算出部と、
前記スコアに基づいて前記機器が正常に動作しているか否かを判定する際の前記スコアの閾値に付いての補正量を算出する閾値補正部、を更に備える、
ことを特徴とする付記２に記載の音響信号処理装置。
（付記８）
前記音響信号処理装置は、前記機器の動作状態の識別結果において動作している機器が１台である場合に、該１台の動作している機器についての前記リファレンスを、前記１台の動作している機器の存在方向から到来する音の成分から算出した前記特徴量に更新するリファレンス制御部、を更に備える、
ことを特徴とする付記７に記載の音響信号処理装置。
（付記９）
前記音響信号処理装置は、前記複数の機器毎に、所定の時間間隔で算出した複数個の前記スコアの時間履歴に基づいて、前記機器が正常に動作しているか否かを判定する異常判定部、を更に備える、
ことを特徴とする付記２に記載の音響信号処理装置。
（付記１０）
前記特徴量算出部は、前記音の成分毎に、該音の成分における所定の周波数帯域のパワーのみが存在し、かつ前記パワーが存在する周波数帯域が互いに異なる複数の波形についての平均パワーを算出し、算出した複数の前記平均パワーを含む集合を前記特徴量とする、
ことを特徴とする付記１に記載の音響信号処理装置。
（付記１１）
監視対象である複数の機器の動作状態を識別し、
複数のマイクから取得した複数の音響信号に基づいて、前記複数の機器のそれぞれが設置された方向毎に、前記音響信号における機器が設置された方向から到来したと判定された音の成分を抽出し、
抽出した前記音の成分の特徴量を算出し、
識別した前記複数の機器の動作状態に応じて、予め用意された複数の比較基準のうちの１つの比較基準を選出し、選出した前記比較基準に含まれる特徴量と算出した前記音の成分の特徴量との一致度を示す情報を算出する、
処理をコンピュータに実行させることを特徴とする音響信号処理プログラム。
【符号の説明】
【０２０２】
１  監視システム
２  マイクアレイ
２Ａ，２Ｂ  マイク
３  音響信号処理装置
３０１  信号取得部
３０２  動作検知部
３０３  動作状態識別部
３０４  成分分離部
３０５  特徴量算出部
３０６  スコア算出部
３０７  出力部
３０８  電力値取得部
３０９  歪み量算出部
３１０  閾値補正部
３１１  リファレンス制御部
３９０  記憶部
３９１  動作判定テーブル
３９２  比較基準セット
３９３，４９１  スコア履歴
３９４  リファレンス
３９５  閾値情報
４  サーバ装置
４０１  送受信部
４０２  異常判定部
４０３  通知情報生成部
４９０  記憶部
４９２  閾値補正履歴
５  監視装置
６  携帯端末
７Ａ，７Ｂ  （監視対象の）機器
８  ネットワーク
１１  給電装置
２０  コンピュータ
２００１  プロセッサ
２００２  主記憶装置
２００３  補助記憶装置
２００４  入力装置
２００５  出力装置
２００６  入出力インタフェース
２００７  通信制御装置
２００８  媒体駆動装置
２０１０  バス
２１  可搬型記録媒体
【図１】
2019144093.tif 000005
【図２】
2019144093.tif 000006
【図３】
2019144093.tif 000007
【図４】
2019144093.tif 000008
【図５】
2019144093.tif 000009
【図６】
2019144093.tif 000010
【図７】
2019144093.tif 000011
【図８】
2019144093.tif 000012
【図９】
2019144093.tif 000013
【図１０】
2019144093.tif 000014
【図１１】
2019144093.tif 000015
【図１２】
2019144093.tif 000016
【図１３】
2019144093.tif 000017
【図１４】
2019144093.tif 000018
【図１５】
2019144093.tif 000019
【図１６】
2019144093.tif 000020
【図１７】
2019144093.tif 000021
【図１８】
2019144093.tif 000022
【図１９】
2019144093.tif 000023
【図２０】
2019144093.tif 000024
【図２１】
2019144093.tif 000025
【図２２】
2019144093.tif 000026
【図２３】
2019144093.tif 000027
【図２４】
2019144093.tif 000028
【図２５】
2019144093.tif 000029