(57)【特許請求の範囲】
【請求項１】
診断対象の映像を撮像する撮像手段と、
前記映像に基づいて前記診断対象の動作範囲を識別する動作範囲識別手段と、
前記診断対象から到来する音を集音する集音手段と、
前記音の中から音の異常を検出する異音検出手段と、
前記集音手段の出力に基づいて異常を検出された前記音の発生位置を識別する異音発生位置識別手段と、
前記動作範囲と、異常を検出された前記音の発生位置とに基づいて前記音の異常が前記診断対象に由来するか別の要素に由来するかを判定する異音由来判定手段と
を有することを特徴とする異常音検知装置。
【請求項２】
前記異音由来判定手段が、
異常を検出された前記音の発生位置が前記動作範囲内にあった場合に、異常を検出された前記音を前記診断対象の異常音と判定する
ことを特徴とする請求項１に記載の異常音検知装置。
【請求項３】
前記異音由来判定手段が、
異常を検出された前記音の発生位置が前記動作範囲外にあった場合に、異常を検出された前記音を前記診断対象以外の要因による異常音と判定する
ことを特徴とする請求項１または２のいずれかに記載の異常音検知装置。
【請求項４】
前記集音手段が
複数のマイクを配列したマイクアレイを有し、
前記異音発生位置識別手段が、
それぞれの前記マイクで集音した音の差に基づいて異常を検出された前記音の発生位置を識別する
ことを特徴とする請求項１乃至３のいずれか一項に記載の異常音検知装置。
【請求項５】
前記異音検出手段が、
前記音の異常性を判定する異常性判定基準を、前記診断対象およびその近傍から集音した音に基づいて機械学習する異常性判定基準学習部を有する
ことを特徴とする請求項１乃至４のいずれか一項に記載の異常音検知装置。
【請求項６】
診断対象の映像を撮像し、
前記映像に基づいて前記診断対象の動作範囲を識別し、
前記診断対象から到来する音を集音し、
前記音の中から音の異常を検出し、
集音された前記音に基づいて異常を検出された前記音の発生位置を識別し、
前記動作範囲と、異常を検出された前記音の発生位置とに基づいて前記音の異常が前記診断対象に由来するか別の要素に由来するかを判定する
ことを特徴とする異常音検知方法。
【請求項７】
異常を検出された前記音の発生位置が前記動作範囲内にあった場合に、異常を検出された前記音を前記診断対象の異常音と判定する
ことを特徴とする請求項６に記載の異常音検知方法。
【請求項８】
異常を検出された前記音の発生位置が前記動作範囲外にあった場合に、異常を検出された前記音を前記診断対象以外の要因による異常音と判定する
ことを特徴とする請求項６または７のいずれかに記載の異常音検知方法。
【請求項９】
複数のマイクを配列したマイクアレイを用いて前記音を集音し、
それぞれの前記マイクで集音した前記音の差に基づいて異常を検出された前記音の発生位置を識別する
ことを特徴とする請求項６乃至８のいずれか一項に記載の異常音検知方法。
【請求項１０】
診断対象の映像を撮像手段に撮像させるステップと、
前記映像に基づいて前記診断対象の動作範囲を識別するステップと、
前記診断対象から到来する音を集音手段に集音させるステップと、
前記音の中から音の異常を検出するステップと、
集音された前記音に基づいて異常を検出された前記音の発生位置を識別するステップと、
前記動作範囲と、異常を検出された前記音の発生位置とに基づいて前記音の異常が前記診断対象に由来するか別の要素に由来するかを判定するステップと
をコンピュータに実行させる異常音検知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異常音検知装置および異常音検知方法に関する。【０００２】
工場や発電所などで動作する機器などを診断する技術として、機器が発する音に基づいて異常性を検知する方法が知られている。近年、工場やプラントで稼働している各種の装置類とりわけ生産設備では、生産性並びにコストに影響を与えるため、故障による遅滞が許容されない。そして、時には復旧する為に莫大な費用を必要とする場合があり故障を予知する、あるいは速やかに解決することが求められている。【０００３】
そこで、工場や発電所などで動作する機器などを診断する技術として、機器が発する音に基づいて異常性を診断する方法が知られている。さらに異常音の発生源の方向を特定し、画像と合わせて異常情報を報知するシステムが開発されている。【０００４】
例えば特許文献１では、複数のマイクを並べたマイクアレイを用いて、検出された音響の音源方向の特定を行い、その方向にカメラを向けることで音源を撮影する技術が開示されている。また、撮影した映像に音源の位置を重ねて表示する技術も開示されている。このようにすることで、監視要員の異常の発見を容易にしている。【０００５】
また、例えば特許文献２には、ステレオ又は３Ｄマイクロホン、各種センサ、カメラを用いて異常を検出し、複数のマイクロホンの出力に基づいて、音源の方向を特定する技術が開示されている。また、画像に音源の位置と、音響レベルなどの音声情報をビジュアル表示することで異常の発見を容易にしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２５２６６０号公報
【特許文献２】特開２００２−３００５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術では、音源の方向にカメラを向けて撮影を行うため、本来異常ではないメンテナンス作業等が音源となっている場合には、異常ではない映像を撮影して監視する誤検知が発生してしまうという問題がある。【０００８】
また特許文献２に記載の技術では、音声レベル等についての閾値を用いて異常検出を行っている。このため、本来異常ではないメンテナンス作業等が閾値を上回るレベルの音源となっていると、特許文献１と同様の誤検知が発生するという問題点がある。【０００９】
本発明は上述の課題を解決するために考案されたものであり、誤検知の少ない異常音検知装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、本発明の異常音検知装置は、撮像手段と、動作範囲識別手段と、集音手段と、異音検出手段と、異音発生位置識別手段と、異音由来判定部とを有している。撮像手段は診断対象の映像を撮影する。動作範囲識別手段は、撮像手段が撮影した映像に基づいて診断対象の動作範囲を識別して記憶する。集音手段は、診断対象およびその周囲から到来する音を集音する。異音検出手段は、集音した音に含まれる音の異常を検出する。異音発生位置識別手段は、異音検出手段で音の異常が検出された場合に、音の異常が発生した位置を識別する。異音由来判定手段は、診断対象の動作範囲と異音発生位置とを比較して、異音が診断対象の異常に由来するものか否かを判定する。
【発明の効果】
【００１１】
本発明の効果は、誤検知の少ない異常音検知装置を提供できることである。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態の異常音検知装置を示すブロック図である。
【図２】第２の実施形態の異常音検知装置を示すブロック図である。
【図３】第２の実施形態の診断対象の異常音の計測を示す模式図である。
【図４】第２の実施形態の診断対象以外に由来する異常音の計測を示す模式図である。
【図５】第２の実施形態の異常音検知装置の動作を示すフローチャートである。
【図６】第３の実施形態の異常音検知装置の構成例を示すブロック図である。
【図７】第３の実施形態の異常判定基準の学習動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお各図面の同様の構成要素には同じ番号を付し、説明を省略する場合がある。
【００１４】
（第１の実施形態）
図１は、本実施形態の異常音検知装置を示すブロック図である。異常音検知装置は、撮像手段１と、動作範囲識別手段２と、集音手段３と、異音検出手段４と、異音発生位置識別手段５と、異音由来判定手段６とを有している。
【００１５】
撮像手段１は診断対象の映像を撮影する。
【００１６】
動作範囲識別手段２は、撮像手段１が撮影した映像に基づいて診断対象の動作範囲を識別して記憶する。
【００１７】
集音手段３は、診断対象およびその周囲から到来する音を集音する。
【００１８】
異音検出手段４は、集音した音に含まれる音の異常を検出する。
【００１９】
異音発生位置識別手段５は、異音検出手段４で音の異常が検出された場合に、音の異常が発生した位置を識別する。
【００２０】
異音由来判定手段６は、診断対象の動作範囲と異音発生位置とを比較して、異音が診断対象の異常に由来するものか否かを判定する。
【００２１】
以上説明したように、本実施形態の異常音検知装置では、診断対象の異常に由来する音の異常を選別して検知することができる。このため誤検知の少ない異常音検知装置を提供することができる。
【００２２】
（第２の実施形態）
図２は、本実施形態の異常音検知装置１００を示すブロック図である。異常音検知装置１００は、診断対象２００を光学的に撮影するカメラ１１０と、診断対象から到来する音を集音するマイクアレイ１２０とを有する。また、動作範囲識別部１３０と、Ａ／Ｄ変換器１４０と、異常性判定部１５０と、異音発生位置識別部１６０と、異音由来判定部１７０とデータベース１８０とを有する。ここで、Ａ／ＤはＡｎａｌｏｇ／Ｄｉｇｉｔａｌの略である。データベース１８０は、識別された動作範囲を記憶する動作範囲記憶部１８１と、診断対象に由来する異常音を記憶する診断対象異常音記憶部１８２と、診断対象以外の要因に由来する異常音を記憶する他要因異常音記憶部１８３とを有する。
【００２３】
動作範囲識別部１３０は、カメラ１１０が撮影した映像から診断対象２００の動作範囲を識別する。動作範囲の識別方法は任意であるが、例えば、映像から特徴点を抽出し、その特徴点に基づいて診断対象の形状を認識する。そして所定期間における、特徴点の移動範囲に基づいて診断対象の動作範囲を識別することができる。そして、当該動作範囲を動作範囲記憶部１８１に記憶する。なお、ここでは、撮像手段がカメラ１１０である例を用いて説明するが、撮像手段は３次元センサ（３Ｄセンサ）であっても良い。ここで３次元センサとは、例えば、パルスレーザーをスキャンすることにより、対象物の各点までの距離を計測するものである。３次元センサの取得したデータから、診断対象の画像を形成することが可能である。また、ここではカメラを１台として説明しているが、複数であっても良い。なお、以降の説明ではデータベースのことをＤＢと略記する場合がある。
【００２４】
Ａ／Ｄ変換器１４０は、マイクアレイ１２０で集音された音をデジタル信号に変換する。マイクアレイ１２０は、複数のマイクを所定の規則で配列したものである。このようなマイクアレイ１２０を用いると、同じ音源からそれぞれのマイクに到達した音の到達時間の差や位相差などから、音源の方向を推定することができる。
【００２５】
異常性判定部１５０は、Ａ／Ｄ変換器１４０から入力された音信号の異常性を判定する。判定の仕方は任意であるが、例えば、音信号の音圧レベルの大きさで判定したり、音質で判定したりすることができる。音質は、例えば、音信号を周波数解析し、各周波数成分の比率で表すことができる。また、音圧レベルや音質の変動の速さなど音の時間的な変化率を用いても良い。
【００２６】
異音発生位置識別部１６０は、異常性判定部１５０で、異常性があると判定された音について、その異音が発生した位置を識別する。位置の識別は、例えば、相関性から同じ音と判定される音の、各マイクへの到来時間の差や位相差などに基づいて行うことができる。
【００２７】
異音由来判定部１７０は、動作範囲記憶部１８１に記憶された動作範囲と、異音発生位置とを比較し、異音の発生位置が動作範囲内にあるか、動作範囲外にあるかを識別する。そして、異音発生位置が動作範囲内にあった場合は、音の異常が診断対象に由来すると判定し、診断対象異常音記憶部１８２に記憶する。
【００２８】
一方、異音発生位置が動作範囲外にあった場合は、音の異常が、診断対象以外の要因に由来すると判定する。そして、このような診断対象と無関係な異常音を、他要因異常音として、他要因異常音記憶部１８３に記憶する。
【００２９】
図３は、診断対象の動作範囲で異音が発生した時の計測状況を示す模式図である。カメラ１１０が診断対象２００の映像を撮影し、マイクアレイ１２０が、診断対象２００およびその周囲から到来する音を集音している。この例では、診断対象２００の要素として、設備２０１、２０２、２０３、２０４が含まれるものとしている。そして設備２０１の動作範囲２０１ａと、設備２０３の動作範囲２０３ａを点線で示している。なお、設備２０２と２０４は、不動であるため、動作範囲が設備の外形と一致するものとしている。
【００３０】
図３の例では、異音発生位置３００が設備２０１の動作範囲２０１ａの中にあることが、マイクアレイ１２０の出力に基づいて識別されている。このような場合、設備２０１、すなわち診断対象に異常があり、異常音が診断対象に由来すると判定される。
【００３１】
図４は、音の異常が診断対象の動作範囲外で発生している時の計測例を示す模式図である。この場合、マイクアレイ１２０の出力に基づいて、異音発生位置３００が、診断対象の設備の動作範囲外にあることが識別され、音の異常が診断対象以外の要因に由来するものと判定される。この例のように、工場の設備などの稼働状態を連続で監視する場合、他要因の異音の発生原因には、例えば、監視エリアへの人の立ち入りや、物品搬送などを例として挙げることができる。
【００３２】
図５は、上記で説明した異常音検知装置１００の動作を示すフローチャートである。まず診断対象を撮影する（Ｓ１）。次に、撮影された映像に基づいて、診断対象の動作範囲を識別する（Ｓ２）。次に、診断対象の音を計測する（Ｓ３）。そして、計測した音に異常性があるか否かを判定する（Ｓ４）。ここで、異常性がなかった場合は（Ｓ４＿Ｎｏ）、Ｓ３に戻り、音の計測、すなわち音の監視を繰り返す。一方、音に異常性があった場合は、音の発生位置が診断対象の動作範囲内にあるか否かを判定する（Ｓ５）。音の発生位置が動作範囲内にあった場合は（Ｓ５＿Ｙｅｓ）、診断対象の異常音と判定し（Ｓ６）、異常音として音発生位置の情報とともに、データベースに記憶する（Ｓ７）。さらに、異常音が検知されたことを示すアラームを報知しても良い（Ｓ８）。
【００３３】
一方、異常性のある音の発生位置が診断対象の動作範囲外にあった場合は、診断対象の異常音ではないと判定し（Ｓ９）、他要因異常音としてデータベースに記憶する（Ｓ１０）。そして、Ｓ３に戻り、音の監視を継続する。
【００３４】
以上説明したように、本実施形態によれば、診断対象以外の要因に由来する異常な音を、診断対象の異常音として検知する誤検知を排除し、異常音検知精度を向上することができる。
【００３５】
（第３の実施形態）
図６は本実施形態の異常音検知装置を示すブロック図である。異常音検知装置１０１は、第２の実施形態の異常音検知装置１００とほぼ同じ構成であるが、異常性判定部１５０が、異常性判定基準学習部１５１を備えている。
【００３６】
異常性判定基準学習部１５１は、異常性判定基準を機械学習する。具体的には、例えば、診断対象が異常音を発生していない期間に計測された音を、所定期間あるいは所定回数機械学習し、正常音の基準値や許容限界値などの異常性判定基準を作成する。機械学習の方法は任意であるが、例えば、自己組織化マップ法や、ｋ近傍法などを用いることができる。そして、学習された異常性判定基準を異常性判定基準記憶部１８４に記憶する。
【００３７】
次に、異常性判定基準学習部１５１の動作について説明する。図７は、異常性判定基準学習部１５１の動作を示すフローチャートである。まず学習を行う計測期間または計測回数を設定する（Ｓ１０１）。例えば工場の設備などの稼働状態を連続で監視する場合は、設備などが繰り返し同じ動作をするので、所定動作の回数で設定すると良い。このため、ここでは、回数で設定するものとして説明する。ただし、所定期間で設定しても良い。機械学習の開始に当たり、まず計測回数Ｎをリセットする。すなわちＮ＝０とする（Ｓ１０２）。
【００３８】
次に、学習用データを収集する為に、診断対象の音を計測する（Ｓ１０３）。次いで計測した音を記録する（Ｓ１０４）。記録したら、計測回数Ｎに１を足して、Ｎ＝Ｎ＋１とする（Ｓ１０５）。ここで、更新したＮが所定回数Ｋ未満であれば（Ｓ１０６＿Ｙｅｓ）、Ｓ１０３に戻り、音の計測を繰り返す。一方、Ｎ＝Ｋとなった場合（Ｓ１０６＿Ｎｏ）、記録された音のデータを統計的に処理する機械学習を行い、異常性判定基準を作成する（Ｓ１０７）。作成した異常性判定基準は、異常性判定基準記憶部１８４に記憶する（Ｓ１０８）。
【００３９】
以上のような機械学習によって作成した異常性判定基準を用いると、診断対象から発生する異常音が未知の音であっても、正常値からかけ離れた音、として異常音を検知することができる。
【００４０】
以上説明したように、本実施形態によれば、未知の異常音を検知することが可能な異常音検知装置を構成することができる。
【００４１】
上述した第１乃至第３の実施形態の処理を、コンピュータに実行させるプログラムおよび該プログラムを格納した記録媒体も本発明の範囲に含む。記録媒体としては、例えば、磁気ディスク、磁気テープ、光ディスク、光磁気ディスク、半導体メモリ、などを用いることができる。
【００４２】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上記実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【００４３】
この出願は、２０１８年２月１６日に出願された日本出願特願２０１８−０２６１７０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００４４】
１    撮像手段
２    動作範囲識別手段
３    集音手段
４    異音検出手段
５    異音発生位置識別手段
６    異音由来判定手段
１００、１０１    異常音検知装置
１１０    カメラ
１２０    マイクアレイ
１３０    動作範囲識別部
１４０    Ａ／Ｄ変換器
１５０    異常性判定部
１５１    異常性判定基準学習部
１６０    異音発生位置識別部
１７０    異音由来判定部
１８０    データベース
１８１    動作範囲記憶部
１８２    診断対象異常音記憶部
１８３    他要因異常音記憶部
１８４    異常性判定基準記憶部
２００    診断対象
３００    異音発生位置
【図１】
0006856168.tif 000002
【図２】
0006856168.tif 000003
【図３】
0006856168.tif 000004
【図４】
0006856168.tif 000005
【図５】
0006856168.tif 000006
【図６】
0006856168.tif 000007
【図７】
0006856168.tif 000008