(57)【要約】  劣化個所推定装置（６）は、検査対象機器に設けられた複数個のマイクロホン（１３１〜１３３）の各々に対応するマイク信号（ＤＳ１，ＤＳ２，ＤＳ３）を取得して、マイク信号（ＤＳ１，ＤＳ２，ＤＳ３）の各々に対応する短時間フーリエ変換係数の時系列を計算する短時間フーリエ変換部（３１）と、短時間フーリエ変換係数の時系列を用いてニューラルネットワークに対する入力用の時系列配列を生成する時系列配列生成部（３２）と、ニューラルネットワークにより構成されており、時系列配列の入力を受け付けて検査対象機器における検査対象個所に対応する劣化度を出力するニューラルネットワーク部（３５）と、劣化度を用いて検査対象機器における劣化個所を判定する判定部（３６）とを備える。
2018096582.tif 000002
【特許請求の範囲】
【請求項１】
検査対象機器に設けられた複数個のマイクロホンの各々に対応するマイク信号を取得して、前記マイク信号の各々に対応する短時間フーリエ変換係数の時系列を計算する短時間フーリエ変換部と、
前記短時間フーリエ変換係数の時系列を用いてニューラルネットワークに対する入力用の時系列配列を生成する時系列配列生成部と、
前記ニューラルネットワークにより構成されており、前記時系列配列の入力を受け付けて前記検査対象機器における検査対象個所に対応する劣化度を出力するニューラルネットワーク部と、
前記劣化度を用いて前記検査対象機器における劣化個所を判定する判定部と、
を備える劣化個所推定装置。
【請求項２】
前記時系列配列生成部は、前記短時間フーリエ変換係数の時系列を用いて、前記マイク信号内の自己相関スペクトルの時系列による前記時系列配列と、前記マイク信号間の相互相関スペクトルによる前記時系列配列とを生成することを特徴とする請求項１記載の劣化個所推定装置。
【請求項３】
前記時系列配列生成部は、前記短時間フーリエ変換係数の時系列を用いて、前記マイク信号内の自己相関スペクトルの時系列による前記時系列配列を生成することを特徴とする請求項１記載の劣化個所推定装置。
【請求項４】
前記時系列配列生成部は、前記短時間フーリエ変換係数の時系列を用いて、前記短時間フーリエ変換係数のうちの実部の時系列による前記時系列配列と、前記短時間フーリエ変換係数のうちの虚部の時系列による前記時系列配列とを生成することを特徴とする請求項１記載の劣化個所推定装置。
【請求項５】
前記ニューラルネットワークは、複数個の前記時系列配列の入力を受け付ける入力層と、前記入力層に対する畳込み演算を実行する畳込み層とを有することを特徴とする請求項１記載の劣化個所推定装置。
【請求項６】
前記入力層は、複数個のユニットによる２次元配列面が積層された３次元配列の構造を有し、前記２次元配列面の各々に対応する前記時系列配列が入力されるものであり、
前記畳込み層は、前記入力層内の３次元領域に対する前記畳込み演算を実行するものである
ことを特徴とする請求項５記載の劣化個所推定装置。
【請求項７】
前記マイクロホンは、正多角形の各頂点に対応する位置に配置されていることを特徴とする請求項１記載の劣化個所推定装置。
【請求項８】
前記検査対象機器は移動体を含むものであり、前記マイクロホンは前記移動体に設けられていることを特徴とする請求項１記載の劣化個所推定装置。
【請求項９】
前記検査対象機器はエレベータにより構成されており、前記移動体は前記エレベータのカゴにより構成されており、前記マイクロホンは前記カゴの天井部又は床部に設けられていることを特徴とする請求項８記載の劣化個所推定装置。
【請求項１０】
前記判定部は、前記劣化個所の有無を判定して、前記劣化個所が存在すると判定した場合、前記劣化個所と前記劣化個所に対応する前記劣化度とを示す判定結果を出力することを特徴とする請求項１記載の劣化個所推定装置。
【請求項１１】
検査対象機器に設けられた複数個のマイクロホンと、
前記マイクロホンの各々に対応するマイク信号を取得して、前記マイク信号の各々に対応する短時間フーリエ変換係数の時系列を計算する短時間フーリエ変換部と、前記短時間フーリエ変換係数の時系列を用いてニューラルネットワークに対する入力用の時系列配列を生成する時系列配列生成部と、前記ニューラルネットワークにより構成されており、前記時系列配列の入力を受け付けて前記検査対象機器における検査対象個所に対応する劣化度を出力するニューラルネットワーク部と、前記劣化度を用いて前記検査対象機器における劣化個所を判定する判定部と、を有する劣化個所推定装置と、
を備える劣化個所推定システム。
【請求項１２】
短時間フーリエ変換部が、検査対象機器に設けられた複数個のマイクロホンの各々に対応するマイク信号を取得して、前記マイク信号の各々に対応する短時間フーリエ変換係数の時系列を計算するステップと、
時系列配列生成部が、前記短時間フーリエ変換係数の時系列を用いてニューラルネットワークに対する入力用の時系列配列を生成するステップと、
前記ニューラルネットワークにより構成されたニューラルネットワーク部が、前記時系列配列の入力を受け付けて前記検査対象機器における検査対象個所に対応する劣化度を出力するステップと、
判定部が、前記劣化度を用いて前記検査対象機器における劣化個所を判定するステップと、
を備える劣化個所推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査対象となる機器における劣化した個所を推定する劣化個所推定装置、劣化個所推定システム及び劣化個所推定方法に関する。
【背景技術】
【０００２】
従来、検査対象となる機器（以下「検査対象機器」という。）から発生した音に基づいて、検査対象機器における故障した個所（以下「故障個所」という。）を推定する故障個所推定装置が開発されている。同様に、検査対象機器から発生した音に基づいて、検査対象機器における劣化した個所（以下「劣化個所」という。）を推定する劣化個所推定装置が開発されている。【０００３】
例えば、特許文献１の故障個所推定装置は、移動体に設けられ、移動体及び移動体の移動範囲周辺に位置する機器から発生する作動音を収集する集音器（１）と、収集された正常な作動音を分析し、基準標本系列（１０４）を求める基準標本系列分析手段（２，３，４）と、収集された診断対象の作動音を分析し、対象標本系列（１０５）を求める対象標本系列分析手段（２，３，４）と、基準標本系列（１０４）及び対象標本系列（１０５）間の変異系列を求め、変異曲線（１０６）を生成する変異曲線生成部（６）と、変異曲線（１０６）の形状特徴（１０７）を抽出する形状特徴抽出部（７）と、形状特徴（１０７）をテンプレートと照合し、移動体及び移動体の移動範囲周辺に位置する機器に起こる故障個所を判定する照合判定部（９）とを備えるものである（特許文献１の要約及び図１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１０５０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の故障個所推定装置は、移動体に設けられた１個のマイクロホン（集音器１）を用いて、検査対象機器における各個所にて発生した音を取得するものである。これにより、複数個の個所が移動体の移動方向に沿って互いに離間して配置されている場合は、取得した音がいずれの個所にて発生したのかを識別することができる。しかしながら、複数個の個所が移動体の移動方向に対して垂直な面に沿って互いに離間して配置されている場合は、取得した音がいずれの個所にて発生したのかを識別することができない。すなわち、特許文献１の故障個所推定装置は、音の到来方向に対する分解能が低く、故障個所の推定精度が低い問題があった。【０００６】
また、劣化個所推定装置においても同様の問題があった。【０００７】
本発明は、上記のような課題を解決するためになされたものであり、検査対象機器における劣化個所を高精度に推定することができる劣化個所推定装置、劣化個所推定システム及び劣化個所推定方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の劣化個所推定装置は、検査対象機器に設けられた複数個のマイクロホンの各々に対応するマイク信号を取得して、マイク信号の各々に対応する短時間フーリエ変換係数の時系列を計算する短時間フーリエ変換部と、短時間フーリエ変換係数の時系列を用いてニューラルネットワークに対する入力用の時系列配列を生成する時系列配列生成部と、ニューラルネットワークにより構成されており、時系列配列の入力を受け付けて検査対象機器における検査対象個所に対応する劣化度を出力するニューラルネットワーク部と、劣化度を用いて検査対象機器における劣化個所を判定する判定部とを備えるものである。
【発明の効果】
【０００９】
本発明によれば、上記のように構成したので、検査対象機器における劣化個所を高精度に推定することができる。
【図面の簡単な説明】
【００１０】
【図１Ａ】本発明の実施の形態１に係る検査対象機器の要部を示す説明図である。
【図１Ｂ】本発明の実施の形態１に係る劣化個所推定システムの要部を示す説明図である。
【図１Ｃ】本発明の実施の形態１に係る劣化個所推定装置の要部を示すハードウェア構成図である。
【図２】本発明の実施の形態１に係る劣化個所推定装置の要部を示す機能ブロック図である。
【図３】図３Ａは、本発明の実施の形態１に係る相互相関演算部により生成された相互相関スペクトログラムを示す説明図である。図３Ｂは、本発明の実施の形態１に係る自己相関演算部により生成された自己相関スペクトログラムを示す説明図である。
【図４】本発明の実施の形態１に係るニューラルネットワーク部におけるニューラルネットワークの構造を示す説明図である。
【図５】図４に示すニューラルネットワーク内の入力層における３次元配列を示す説明図である。
【図６】図４に示すニューラルネットワーク内の畳込み層における３次元配列を示す説明図である。
【図７】本発明の実施の形態１に係る劣化個所推定装置の動作を示すフローチャートである。
【図８】本発明の実施の形態１に係る短時間フーリエ変換部の詳細な動作を示すフローチャートである。
【図９】本発明の実施の形態１に係る相互相関演算部の詳細な動作を示すフローチャートである。
【図１０】本発明の実施の形態１に係る自己相関演算部の詳細な動作を示すフローチャートである。
【図１１】本発明の実施の形態１に係るニューラルネットワーク部の詳細な動作を示すフローチャートである。
【図１２】本発明の実施の形態１に係る判定部の詳細な動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
【００１２】
実施の形態１．
図１Ａは、本発明の実施の形態１に係る検査対象機器の要部を示す説明図である。図１Ｂは、本発明の実施の形態１に係る劣化個所推定システムの要部を示す説明図である。図１Ｃは、本発明の実施の形態１に係る劣化個所推定装置の要部を示すハードウェア構成図である。図１を参照して、実施の形態１の劣化個所推定システム１００について説明する。
【００１３】
図中、１はエレベータである。エレベータ１は昇降路２を有している。昇降路２内には、カゴ３及び図示しない複数個の可動部品などが設けられている。エレベータ１は図示しない建築物に設けられており、カゴ３は昇降路２に沿って当該建築物の最上階と最下階との間を昇降自在である。エレベータ１により、検査対象機器が構成されている。
【００１４】
カゴ３の天井部には、マイクロホンアレイ装置４と、オーディオインタフェース装置５と、劣化個所推定装置６とが設けられている。マイクロホンアレイ装置４、オーディオインタフェース装置５及び劣化個所推定装置６により、劣化個所推定システム１００の要部が構成されている。
【００１５】
マイクロホンアレイ装置４は、略円柱状の台座１１と、台座１１が有する略円形の載置面１２に載置された３個のマイクロホン１３１〜１３３とを有している。マイクロホン１３１〜１３３の各々は、エレベータ１にて発生した音を取得するものである。マイクロホン１３１〜１３３は、取得した音の波形に対応するアナログ信号ＡＳ１，ＡＳ２，ＡＳ３をそれぞれ出力するものである。
【００１６】
ここで、マイクロホン１３１〜１３３は、載置面１２の円周部に沿って略等間隔に配置されている。すなわち、マイクロホン１３１〜１３３は、カゴ３の昇降方向に対して略垂直な載置面１２において、図示しない正三角形の各頂点に対応する位置に配置されている。これにより、マイクロホン１３１〜１３３間の間隔は、載置面１２内における最大値に設定されている。
【００１７】
オーディオインタフェース装置５は、例えば、マルチチャネル入力に対応したアナログ‐デジタル変換回路を用いたものである。オーディオインタフェース装置５は、マイクロホン１３１〜１３３が出力したアナログ信号ＡＳ１，ＡＳ２，ＡＳ３を取得して、アナログ信号ＡＳ１，ＡＳ２，ＡＳ３をデジタル信号ＤＳ１，ＤＳ２，ＤＳ３にそれぞれ変換するものである。オーディオインタフェース装置５は、デジタル信号ＤＳ１，ＤＳ２，ＤＳ３の各々を劣化個所推定装置６に出力するものである。
【００１８】
具体的には、例えば、オーディオインタフェース装置５は、リニアＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）方式によりアナログ信号ＡＳ１，ＡＳ２，ＡＳ３をデジタル信号ＤＳ１，ＤＳ２，ＤＳ３に変換する。このとき、サンプリング周波数は例えば４８キロヘルツ（ｋＨｚ）に設定され、量子化ビット数は例えば１６ビットに設定される。当該変換の結果、デジタル信号ＤＳ１，ＤＳ２，ＤＳ３の各々は複数個のフレームにより構成された信号となる。
【００１９】
劣化個所推定装置６は、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ，ＰＣ）などのコンピュータにより構成されている。当該コンピュータは、入出力インタフェース２１と、プロセッサ２２と、メモリ２３とを有している。
【００２０】
入出力インタフェース２１は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）端子及びＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）端子などにより構成されている。ＵＳＢ端子は、オーディオインタフェース装置５と通信自在に接続されている。ＬＡＮ端子は、図示しないＬＡＮケーブルにより、エレベータ１用の図示しない制御装置と通信自在に接続されている。この制御装置は、当該コンピュータが出力した信号をエレベータ１の動作制御に用いるようになっている。
【００２１】
メモリ２３は、オーディオインタフェース装置５が出力したデジタル信号ＤＳ１，ＤＳ２，ＤＳ３を一時的に記憶するものである。また、メモリ２３には、当該コンピュータを図２に示す短時間フーリエ変換部３１、時系列配列生成部３２、ニューラルネットワーク部３５及び判定部３６として機能させるためのプログラムが記憶されている。メモリ２３に記憶されたプログラムをプロセッサ２２が読み出して実行することにより、図２に示す短時間フーリエ変換部３１、時系列配列生成部３２、ニューラルネットワーク部３５及び判定部３６の機能が実現される。そのほか、メモリ２３は、当該プログラムにより計算された各種値などのデータを適宜記憶するようになっている。
【００２２】
プロセッサ２２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などにより構成されている。メモリ２３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクなどにより構成されている。
【００２３】
図２は、本発明の実施の形態１に係る劣化個所推定装置の要部を示す機能ブロック図である。図３Ａは、本発明の実施の形態１に係る相互相関演算部により生成された相互相関スペクトログラムを示す説明図である。図３Ｂは、本発明の実施の形態１に係る自己相関演算部により生成された自己相関スペクトログラムを示す説明図である。図２及び図３を参照して、劣化個所推定装置６について説明する。
【００２４】
短時間フーリエ変換部３１は、オーディオインタフェース装置５が出力したデジタル信号（以下「マイク信号」という。）ＤＳ１，ＤＳ２，ＤＳ３を取得するものである。短時間フーリエ変換部３１は、マイク信号ＤＳ１，ＤＳ２，ＤＳ３の各々に対する短時間フーリエ変換（Ｓｈｏｒｔ−ｔｉｍｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ，ＳＴＦＴ）を実行することにより、マイク信号ＤＳ１，ＤＳ２，ＤＳ３の各々に対応する短時間フーリエ変換係数の時系列を計算するものである。すなわち、各時系列は複数個の短時間フーリエ変換係数により構成されており、個々の短時間フーリエ変換係数は複素周波数スペクトルを示すものである。
【００２５】
時系列配列生成部３２は、短時間フーリエ変換部３１が計算した短時間フーリエ変換係数の時系列を用いて、ニューラルネットワーク部３５に対する入力用の時系列配列（以下、単に「時系列配列」ということがある。）を生成するものである。図２に示す例において、時系列配列生成部３２は、相互相関演算部３３及び自己相関演算部３４により構成されている。
【００２６】
相互相関演算部３３は、マイク信号ＤＳ１に対応する短時間フーリエ変換係数の時系列とマイク信号ＤＳ２に対応する短時間フーリエ変換係数の時系列とを用いて、マイク信号ＤＳ１，ＤＳ２間の相互相関スペクトルの時系列による時系列配列を生成するものである。また、相互相関演算部３３は、マイク信号ＤＳ２に対応する短時間フーリエ変換係数の時系列とマイク信号ＤＳ３に対応する短時間フーリエ変換係数の時系列とを用いて、マイク信号ＤＳ２，ＤＳ３間の相互相関スペクトルの時系列による時系列配列を生成するものである。さらに、相互相関演算部３３は、マイク信号ＤＳ３に対応する短時間フーリエ変換係数の時系列とマイク信号ＤＳ１に対応する短時間フーリエ変換係数の時系列とを用いて、マイク信号ＤＳ３，ＤＳ１間の相互相関スペクトルの時系列による時系列配列を生成するものである。
【００２７】
以下、相互相関スペクトルの時系列による時系列配列を「相互相関スぺクトログラム」という。個々の相互相関スぺクトログラムは、第１次元を周波数に対応する方向（以下「周波数方向」という。）とし、かつ、第２次元をフレームに対応する方向（以下「フレーム方向」という。）とした２次元配列により表される。図３Ａに、相互相関スペクトログラムの一例を示す。図３Ａに示す相互相関スペクトログラムは、（Ｗ／２＋１）行Ｔ列の２次元配列により表されている。ここで、Ｔはマイク信号ＤＳ１，ＤＳ２，ＤＳ３の各々を構成するフレーム数であり、Ｗは各フレームのフレーム長である。
【００２８】
自己相関演算部３４は、マイク信号ＤＳ１に対応する短時間フーリエ変換係数の時系列を用いて、マイク信号ＤＳ１内の自己相関スペクトルの時系列による時系列配列を生成するものである。また、自己相関演算部３４は、マイク信号ＤＳ２に対応する短時間フーリエ変換係数の時系列を用いて、マイク信号ＤＳ２内の自己相関スペクトルの時系列による時系列配列を生成するものである。さらに、自己相関演算部３４は、マイク信号ＤＳ３に対応する短時間フーリエ変換係数の時系列を用いて、マイク信号ＤＳ３内の自己相関スペクトルの時系列による時系列配列を生成するものである。
【００２９】
以下、自己相関スペクトルの時系列による時系列配列を「自己相関スぺクトログラム」という。個々の自己相関スぺクトログラムは、第１次元を周波数方向とし、かつ、第２次元をフレーム方向とした２次元配列により表される。図３Ｂに、自己相関スペクトログラムの一例を示す。図３Ｂに示す自己相関スペクトログラムは、（Ｗ／２＋１）行Ｔ列の２次元配列により表されている。
【００３０】
ニューラルネットワーク部３５は、いわゆる「ニューラルネットワーク」を用いたものである。ニューラルネットワーク部３５におけるニューラルネットワーク（以下、単に「ニューラルネットワーク」ということがある。）は階層型であり、入力層と、中間層と、出力層とを有している。ニューラルネットワーク内の各層は、複数個のユニットにより構成されている。
【００３１】
入力層は、時系列配列生成部３２により生成された複数個の時系列配列の入力を受け付けるものである。具体的には、例えば、入力層は、相互相関演算部３３により生成された３個の相互相関スペクトログラムと、自己相関演算部３４により生成された３個の自己相関スペクトログラムとの入力を受け付けるものである。
【００３２】
出力層に含まれる複数個のユニット（以下「出力ユニット」という。）は、エレベータ１における複数個の個所のうちの少なくとも一部の個所（以下「検査対象個所」という。）と一対一に対応している。個々の検査対象個所は、例えば、昇降路２内に設けられたカゴ３、可動部品、その他の各種機器のうちのいずれかに対応している。
【００３３】
ニューラルネットワークは、入力層に対して時系列配列が入力されたとき、個々の出力ユニットの出力値（いわゆる「活性度」）が、対応する検査対象個所における劣化の度合い（以下「劣化度」という。）を示すものとなるように、専用の訓練データを用いて予め訓練されたものである。すなわち、ニューラルネットワーク部３５は、時系列配列生成部３２により生成された時系列配列の入力に対して、検査対象個所の各々に対応する劣化度を出力するものである。
【００３４】
判定部３６は、ニューラルネットワーク部３５が出力した劣化度を用いて、複数個の検査対象個所の中に劣化個所が含まれているか否か、すなわちエレベータ１における劣化個所の有無を判定するものである。判定部３６は、劣化個所が存在すると判定した場合、当該劣化個所と、当該劣化個所に対応する劣化度とを示す判定結果を出力するものである。他方、劣化個所が存在しないと判定した場合、判定部３６は、その旨を示す判定結果を出力するものである。判定部３６が出力した判定結果は、例えば、エレベータ１用の図示しない制御装置に入力される。
【００３５】
短時間フーリエ変換部３１、時系列配列生成部３２、ニューラルネットワーク部３５及び判定部３６により、劣化個所推定装置６の要部が構成されている。
【００３６】
図４は、本発明の実施の形態１に係るニューラルネットワーク部におけるニューラルネットワークの構造を示す説明図である。図５は、図４に示すニューラルネットワーク内の入力層における３次元配列を示す説明図である。図６は、図４に示すニューラルネットワーク内の畳込み層における３次元配列を示す説明図である。図４〜図６を参照して、ニューラルネットワーク部３５におけるニューラルネットワークについて説明する。
【００３７】
図４に示す如く、ニューラルネットワークは、入力層と、中間層と、出力層とを有している。図４に示す例において、中間層は１個の畳込み層と２個の非線形層とにより構成されている。ニューラルネットワーク内の層数はＬ＋１であり、各層には０からＬまでの通し番号ｌが割り当てられている。すなわち、図４に示す例においてはＬ＝４である。
【００３８】
ニューラルネットワーク内の各層は、複数個のユニットにより構成されている。図中、白丸は個々のユニットを示している。各層に含まれる個々のユニットは、当該層に対する前層に含まれる複数個のユニットのうちの少なくとも一部である複数個のユニットとそれぞれ結合している。なお、各層の層内におけるユニット間の結合はない。ユニット間の結合の度合いは荷重係数Ｗにより表される。また、各ユニットは結合に係るバイアスＢを有している。
【００３９】
以下、本明細書において、いわゆる「添字表記法」に倣い、原則、１文字のアルファベット大文字により任意のオブジェクトを表し、かつ、当該アルファベット大文字に続く１文字以上のアルファベット小文字（すなわち添え字）により当該オブジェクトに係る任意の要素を表すものとする。例えば、ニューラルネットワーク内の各層において、当該層に含まれるユニットを示すインデックスをｋとし、当該層に対する前層に含まれるユニットを示すインデックスをｉとする。層ｌに含まれるユニットｋと層ｌに対する前層に含まれるユニットｉとの結合の度合い示す荷重係数Ｗは、「Ｗｌｉｋ」と表記される。層ｌに含まれるユニットｋが有するバイアスＢは、「Ｂｌｋ」と表記される。
【００４０】
ただし、添え字に対して対応する要素の値を代入した結果、添え字にアルファベット大文字、数字又は記号が含まれる場合もある。例えば、図４において、出力層ｌ（ｌ＝Ｌ）に含まれるユニットｋと非線形層ｌ（ｌ＝Ｌ−１）に含まれるユニットｉとの結合の度合いを示す荷重係数Ｗｌｉｋは、「ＷＬｉｋ」と表記されている。非線形層ｌ（ｌ＝Ｌ−１）に含まれるユニットｋと非線形層ｌ（ｌ＝２）に含まれるユニットｉとの間の結合の度合いを示す荷重係数Ｗｌｉｋは、「ＷＬ−１ｉｋ」と表記されている。
【００４１】
入力層は、互いに直交する第１次元及び第２次元に沿って複数個のユニットを配列してなる面（以下「２次元配列面」という。）が複数面積層された構造、すなわち２次元配列面の積層方向を第３次元とする３次元配列の構造を有している。入力層に含まれる２次元配列面は、ニューラルネットワーク部３５に入力される複数個の時系列配列と一対一に対応するものである。すなわち、入力層に含まれる個々の２次元配列面には、対応する時系列配列が入力されるようになっている。
【００４２】
図５に、入力層における３次元配列の一例を示す。図５に示す例において、入力層は、（Ｗ／２＋１）行Ｔ列の２次元配列面が（Ｍ＋ＣＯＭＢＩＮＡＴＩＯＮＳ（Ｍ，２））面積層された３次元配列の構造を有している。ここで、Ｍはマイクロホンアレイ装置４が有するマイクロホン１３１〜１３３の個数であり、ＣＯＭＢＩＮＡＴＩＯＮＳ（Ｍ，２）はＭ個の中から２個を選択する組合せの数を求める関数である。実施の形態１においては、Ｍ＝３であり、ＣＯＭＢＩＮＡＴＩＯＮＳ（Ｍ，２）による組合せの数は３である。個々の２次元配列面には、相互相関演算部３３により生成された３個の相互相関スペクトログラムのうちのいずれか一つ、又は自己相関演算部３４により生成された３個の自己相関スペクトログラムのうちのいずれか一つが入力される。
【００４３】
畳込み層は、入力層内の３次元領域Ωｇｔｆに対する畳込み演算を実行するものである。図４に示す如く、３次元領域Ωｇｔｆには複数個のユニットが含まれている。ここで、添え字ｇは３次元領域Ω内の各ユニットが配置された２次元配列面を示すインデックス、添え字ｔは３次元領域Ω内の各ユニットに対応するフレームを示すインデックス、添え字ｆは３次元領域Ω内の各ユニットに対応する周波数を示すインデックスである。
【００４４】
図６に、畳込み層における３次元配列の一例を示す。図６に示す例において、畳込み層は、（（Ｗ／２＋１）／ＤＦ）行（Ｔ／ＤＴ）列の２次元配列面がＤ面積層された３次元配列の構造を有している。すなわち、畳込み層に含まれる個々の２次元配列面は、入力層に含まれる個々の２次元配列面をフレーム方向及び周波数方向に対してダウンサンプリングしてなる形状を有している。ここで、ＤＴはフレーム方向に対する間引き間隔であり、ＤＦは周波数方向に対する間引き間隔である。ＤＴの値が１であれば、フレーム方向の間引きはなく、ＤＴの値がＤ（Ｄは２以上の整数）であれば、Ｄ−１間隔にてダウンサンプリングされることを示している。同様に、ＤＦの値が１であれば、周波数方向の間引きはなく、ＤＦの値がＤ（Ｄは２以上の整数）であれば、Ｄ−１間隔にてダウンサンプリングされることを示している。畳込み層に含まれる２次元配列面は、畳込み演算により得られる特徴ｄ（ｄ＝１，…，Ｄ）と一対一に対応している。
【００４５】
ニューラルネットワーク部３５による処理の途中において、畳込み層におけるユニットの配列形状は、３次元配列から１次元配列（すなわちベクトル）に変換される。畳込み層よりも後の各層（ｌ＝２，…，Ｌ）は、複数個のユニットによる１次元配列の構造を有している。
【００４６】
２個の非線形層の各々は、複数個のユニットによる１次元配列の構造を有している。非線形層に含まれる個々のユニットは、非線形な出力関数を有している。この出力関数には、例えば、シグモイド（ＳＩＧＭＯＩＤ）関数又はＴＡＮＨ関数などが用いられる。
【００４７】
出力層は、複数個の出力ユニットによる１次元配列の構造を有している。上記のとおり、出力ユニットはエレベータ１における検査対象個所と一対一に対応している。ニューラルネットワークは、個々の出力ユニットの活性度が、対応する検査対象個所における劣化度を示すものとなるように予め訓練されたものである。
【００４８】
次に、図７のフローチャートを参照して、劣化個所推定装置６の動作について説明する。
【００４９】
エレベータ１の運転中、オーディオインタフェース装置５は、マイクロホン１３１〜１３３が出力したアナログ信号ＡＳ１，ＡＳ２，ＡＳ３を取得し、アナログ信号ＡＳ１，ＡＳ２，ＡＳ３をデジタル信号ＤＳ１，ＤＳ２，ＤＳ３に変換し、デジタル信号ＤＳ１，ＤＳ２，ＤＳ３を劣化個所推定装置６に出力する処理を継続して実行する。オーディオインタフェース装置５が出力したデジタル信号ＤＳ１，ＤＳ２，ＤＳ３は、メモリ２３に一時的に記憶される。劣化個所推定装置６は、メモリ２３に記憶されたデジタル信号ＤＳ１，ＤＳ２，ＤＳ３、すなわちマイク信号ＤＳ１，ＤＳ２，ＤＳ３に対して、以下のステップＳＴ１〜ＳＴ４の処理を実行する。
【００５０】
まず、ステップＳＴ１にて、短時間フーリエ変換部３１は、メモリ２３に記憶されたマイク信号ＤＳ１，ＤＳ２，ＤＳ３を取得する。短時間フーリエ変換部３１は、マイク信号ＤＳ１，ＤＳ２，ＤＳ３の各々に対する短時間フーリエ変換を実行することにより、マイク信号ＤＳ１，ＤＳ２，ＤＳ３の各々に対応する短時間フーリエ変換係数の時系列を計算する。各時系列は複数個の短時間フーリエ変換係数により構成されており、個々の短時間フーリエ変換係数は複素周波数スペクトルを示している。
【００５１】
次いで、ステップＳＴ２にて、時系列配列生成部３２は、短時間フーリエ変換部３１がステップＳＴ１で計算した短時間フーリエ変換係数の時系列を用いて、複数個の時系列配列を生成する。具体的には、例えば、時系列配列生成部３２は、マイク信号ＤＳ１，ＤＳ２間の相互相関スペクトログラムと、マイク信号ＤＳ２，ＤＳ３間の相互相関スペクトログラムと、マイク信号ＤＳ３，ＤＳ１間の相互相関スペクトログラムと、マイク信号ＤＳ１内の自己相関スペクトログラムと、マイク信号ＤＳ２内の自己相関スペクトログラムと、マイク信号ＤＳ３内の自己相関スペクトログラムとを生成する。
【００５２】
次いで、ステップＳＴ３にて、ニューラルネットワーク部３５は、時系列配列生成部３２がステップＳＴ２で生成した複数個の時系列配列の入力を受け付ける。ニューラルネットワーク部３５は、時系列配列の入力に対して、検査対象個所の各々に対応する劣化度を出力する。
【００５３】
次いで、ステップＳＴ４にて、判定部３６は、ニューラルネットワーク部３５がステップＳＴ３で出力した劣化度を用いて、エレベータ１における劣化個所の有無を判定する。判定部３６は、劣化個所が存在すると判定した場合、当該劣化個所と、当該劣化個所に対応する劣化度とを示す判定結果を出力する。他方、劣化個所が存在しないと判定した場合、判定部３６は、その旨を示す判定結果を出力する。
【００５４】
次に、図８のフローチャートを参照して、図７に示すステップＳＴ１の処理、すなわち短時間フーリエ変換部３１による処理の詳細について説明する。
【００５５】
まず、短時間フーリエ変換部３１は、メモリ２３に記憶されたマイク信号ＤＳ１，ＤＳ２，ＤＳ３を取得する（ステップＳＴ１１）。
【００５６】
次いで、短時間フーリエ変換部３１は、マイクロホン１３１〜１３３のうちのいずれか１個のマイクロホンを選択する（ステップＳＴ１２）。以下、選択されたマイクロホンを示す番号をｍ（ｍは０≦ｍ＜Ｍを満たす整数）とする。短時間フーリエ変換部３１は、選択したマイクロホンｍに対応するマイク信号について、以下のステップＳＴ１３〜ＳＴ１８の処理を実行する。ここでは、一例としてｍ＝０に対応するマイクロホン１３１が選択されたものとする。
【００５７】
なお、マイクロホンｍに対応するマイク信号はＴ個のフレームにより構成されており、各フレームを示す番号をｔとする。また、当該マイク信号における信号列をｇ（ｍ，ｉ）と表記する。ここで、ｉは信号列ｇにおける離散時刻インデックスを示しており、０≦ｉ＜ＮＳ（ＮＳは集音サンプル数）を満たす整数である。短時間フーリエ変換部３１は、フレームｔの各々について（ステップＳＴ１３）、以下のステップＳＴ１４〜Ｔ１８の処理を実行する。
【００５８】
まず、短時間フーリエ変換部３１は、選択したマイクロホン１３１に対応するマイク信号ＤＳ１に対して、フレーム番号ｔが１増加するごとに、フレーム位置をＬＦ点ずつ移動し（ステップＳＴ１４）、フレーム番号ｔに対応するフレーム位置にてフレームを切り出す（ステップＳＴ１５）。ステップＳＴ１４，ＳＴ１５の処理は、例えば、以下の式（１）により実現される。
【００５９】
ｆｒａｍｅ（ｉ）
＝ｇ（ｍ，ｔ×ＬＦ＋ｉ）  （ｉ＝０，１，２，…，Ｗ−１）      （１）
【００６０】
ここで、Ｗは各フレームのフレーム長であり、ＬＦはフレームの移動量である。実施の形態１においては、Ｗ＝１０２４、ＬＦ＝５１２に設定されている。
【００６１】
次いで、短時間フーリエ変換部３１は、切り出されたフレームを示す信号に対して時間窓を乗算する（ステップＳＴ１６）。ステップＳＴ１６の処理は、例えば、以下の式（２）により実現される。
【００６２】
ｘ（ｉ）
＝ｆｒａｍｅ（ｉ）×ｗｉｎｄｏｗ（ｉ）  （ｉ＝０，１，２，…，Ｗ−１）
ｗｉｎｄｏｗ（ｉ）
＝０．５４−０．４６ｃｏｓ（２πｉ／（Ｗ−１））          （２）
【００６３】
ここで、ｗｉｎｄｏｗ（ｉ）は時間窓関数である。上記式（２）の例においては、ハミング窓関数を用いている。
【００６４】
次いで、短時間フーリエ変換部３１は、窓関数の乗算により得られた数列ｘ（ｉ）に対して高速フーリエ変換（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ，ＦＦＴ）を実行する（ステップＳＴ１７）。ステップＳＴ１７の処理は、例えば、以下の式（３）により実現される。
【００６５】
Ｚｆ＝ＦＦＴ（ｘ［０：Ｗ］）  （ｆ＝０，１，２，…，Ｗ−１）      （３）
【００６６】
ここで、Ｚｆは複素周波数スペクトルを表し、ｘ［０：Ｗ］は数列［ｘ（０），ｘ（１），…，ｘ（Ｗ−１）］を表している。また、ＦＦＴ（ｘ）は、数列ｘに対して高速フーリエ変換を実行するＦＦＴ演算関数を表している。
【００６７】
次いで、短時間フーリエ変換部３１は、複素周波数スペクトルＺｆの実部と虚部とを分離して、メモリ２３に記憶させる（ステップＳＴ１８）。ステップＳＴ１８の処理は、例えば、以下の式（４）により実現される。
【００６８】
Ｘｍｔｆ＝Ｒｅ（Ｚｆ）  （０≦ｆ≦Ｗ／２）
Ｙｍｔｆ＝Ｉｍ（Ｚｆ）  （０≦ｆ≦Ｗ／２）        （４）
【００６９】
ここで、Ｘｍｔｆはマイクロホンｍ、フレームｔ、周波数ｆにおける複素周波数スペクトルＺｆの実部を表し、Ｙｍｔｆはマイクロホンｍ、フレームｔ、周波数ｆにおける複素周波数スペクトルＺｆの虚部を表している。また、Ｒｅ（ｃ）は複素数ｃ＝ａ＋ｂｊの実部ａを抽出する関数であり、Ｉｍ（ｃ）は複素数ｃ＝ａ＋ｂｊの虚部ｂを抽出する関数である。また、ｊは虚数単位であり、−１の平方根（すなわちｊ＊＊２＝−１。ただし＊＊はべき乗演算子）である。
【００７０】
なお、上記式（３）に示す如くＦＦＴ演算の入力が実数の数列であるため、Ｚｆの実部はｆに関して偶対称性Ｘｍｔｆ＝ＸｍｔＷ−ｆを有し、Ｚｆの虚部はｆに関して奇対称性Ｙｍｔｆ＝−ＹｍｔＷ−ｆを有する。そこで、短時間フーリエ変換部３１は、冗長なｆ＞Ｗ／２の部分を切り捨て、０≦ｆ≦Ｗ／２の部分のみをメモリ２３に記憶させる。
【００７１】
短時間フーリエ変換部３１は、残余のマイクロホン１３２，１３３に対応するマイク信号ＤＳ２，ＤＳ３の各々について（ステップＳＴ１２）、上記と同様のステップＳＴ１３〜ＳＴ１８の処理を実行する。この結果、メモリ２３には、マイク信号ＤＳ１，ＤＳ２，ＤＳ３の各々に対応する複素周波数スペクトルＺｆの時系列、すなわち短時間フーリエ変換係数の時系列が記憶された状態となる。
【００７２】
次に、図９のフローチャートを参照して、図７に示すステップＳＴ２の処理のうち、相互相関演算部３３による処理の詳細について説明する。
【００７３】
まず、相互相関演算部３３は、マイクロホン１３１〜１３３のうちのいずれか２個のマイクロホンの組合せを選択する（ステップＳＴ２１）。以下、選択された２個のマイクロホンのうちの一方のマイクロホンを示す番号をｍとし、他方のマイクロホンを示す番号をｎとする。ｍ，ｎの各々は、０≦ｍ＜ｎ＜Ｍを満たす整数である。
【００７４】
相互相関演算部３３は、選択したマイクロホンｍ，ｎの各々に対応する複素周波数スペクトルの時系列について、以下のステップＳＴ２２〜ＳＴ２５の処理を実行する。すなわち、相互相関演算部３３は、フレームｔの各々について（ステップＳＴ２２）、以下のステップＳＴ２３〜ＳＴ２５の処理を実行する。
【００７５】
まず、相互相関演算部３３は、マイクロホンｍに対応する複素周波数スペクトルの実部Ｘｍｔｆ及び虚部Ｙｍｔｆと、マイクロホンｎに対応する複素周波数スペクトルの実部Ｘｎｔｆ及び虚部Ｙｎｔｆとをメモリ２３から取得する。相互相関演算部３３は、マイクロホンｍに対応する複素周波数スペクトルとマイクロホンｎに対応する複素周波数スペクトルとの乗算により、複素相互相関スペクトルＣｆを計算する（ステップＳＴ２３）。ステップＳＴ２３の処理は、例えば、以下の式（５）により実現される。
【００７６】
Ｃｆ＝（Ｘｍｔｆ＊Ｘｎｔｆ＋Ｙｍｔｆ＊Ｙｎｔｆ）
＋（Ｘｍｔｆ＊Ｙｎｔｆ−Ｙｍｔｆ＊Ｘｎｔｆ）ｊ      （５）
【００７７】
次いで、相互相関演算部３３は、複素相互相関スペクトルＣｆの絶対値を取り、当該絶対値を対数に変換することによりデシベル値（ｄＢ値）を取る。これにより、複素相互相関スペクトルＣｆが強度に変換されて（ステップＳＴ２４）、ダイナミックレンジが圧縮される。ステップＳＴ２４の処理は、例えば、以下の式（６）により実現される。
【００７８】
Ｈｆ＝１０＊ＬＯＧ１０（ＡＢＳ（Ｃｆ））  （０≦ｆ≦Ｗ／２）      （６）
【００７９】
ここで、Ｈｆは相互相関スペクトルの強度、ＬＯＧ１０（ｘ）は常用対数関数、ＡＢＳ（ｃ）は絶対値関数である。絶対値関数は、複素数ｃ＝ａ＋ｂｊ（ａ，ｂは実数、ｊは虚数単位）に対して、絶対値をＳＱＲＴ（ａ＊＊２＋ｂ＊＊２）（ＳＱＲＴは平方根関数）により計算する関数である。
【００８０】
メモリ２３には、組合せ（ｍ，ｎ）に対応する相互相関スペクトルＨｆの時系列による時系列配列、すなわち相互相関スペクトログラムＨｍｎｔｆを記憶するための領域が用意されている。相互相関演算部３３は、計算したＨｆを当該領域のうちのフレームｔに対応するアドレスに記憶させる（ステップＳＴ２５）。ステップＳＴ２５の処理は、例えば、以下の式（７）により実現される。
【００８１】
Ｈｍｎｔｆ＝Ｈｆ  （０≦ｆ≦Ｗ／２）      （７）
【００８２】
相互相関演算部３３は、すべてのフレームｔについて上記ステップＳＴ２３〜ＳＴ２５の処理が終了すると、次の組合せ（ｍ，ｎ）について上記ステップＳＴ２２〜ＳＴ２５の処理を実行する（ステップＳＴ２１）。最終的に、相互相関演算部３３は、すべての組合せ（ｍ，ｎ）について上記ステップＳＴ２２〜ＳＴ２５の処理を実行する。
【００８３】
以上の処理の結果、メモリ２３には、マイク信号ＤＳ１，ＤＳ２間の相互相関スペクトルの時系列、マイク信号ＤＳ２，ＤＳ３間の相互相関スペクトルの時系列、及びマイク信号ＤＳ３，ＤＳ１間の相互相関スペクトルの時系列が記憶された状態、すなわち各時系列による相互相関スペクトログラムＨｍｎｔｆが記憶された状態となる。個々の相互相関スペクトログラムＨｍｎｔｆは、以下の式（８）を満たすものである。
【００８４】
Ｈｍｎｔｆ  （０≦ｍ＜ｎ＜Ｍ，０≦ｔ＜Ｔ，０≦ｆ≦Ｗ／２）    （８）
【００８５】
次に、図１０のフローチャートを参照して、図７に示すステップＳＴ２の処理のうち、自己相関演算部３４による処理の詳細について説明する。
【００８６】
まず、自己相関演算部３４は、マイクロホン１３１〜１３３のうちのいずれか１個のマイクロホンを選択する（ステップＳＴ３１）。以下、選択されたマイクロホンを示す番号をｍ（ｍは０≦ｍ＜Ｍを満たす整数）とする。
【００８７】
自己相関演算部３４は、選択したマイクロホンｍに対応する複素周波数スペクトルの時系列について、以下のステップＳＴ３２〜ＳＴ３５の処理を実行する。すなわち、自己相関演算部３４は、フレームｔの各々について（ステップＳＴ３２）、以下のステップＳＴ３３〜ＳＴ３５の処理を実行する。
【００８８】
まず、自己相関演算部３４は、マイクロホンｍに対応する複素周波数スペクトルの実部Ｘｍｔｆ及び虚部Ｙｍｔｆをメモリ２３から取得する。自己相関演算部３４は、マイクロホンｍに対応する複素周波数スペクトルと、この複素周波数スぺクトルの複素共役との乗算により、自己相関スペクトルＡｆを計算する（ステップＳＴ３３）。ステップＳＴ３３の処理は、例えば、以下の式（９）により実現される。なお、フーリエ変換の理論により自己相関スペクトルＡｆの虚数部は０となるため、式（９）において当該虚数部の計算は省略している。
【００８９】
Ａｆ
＝Ｘｍｔｆ＊Ｘｍｔｆ＋Ｙｍｔｆ＊Ｙｍｔｆ  （０≦ｆ≦Ｗ／２）  （９）
【００９０】
次いで、自己相関演算部３４は、自己相関スペクトルＡｆの絶対値を取り、当該絶対値を対数に変換することによりデシベル値（ｄＢ値）を取る。これにより、自己相関スペクトルＡｆが強度Ｇｆに変換されて（ステップＳＴ３４）、ダイナミックレンジが圧縮される。ステップＳＴ３４の処理は、例えば、以下の式（１０）により実現される。
【００９１】
Ｇｆ
＝１０＊ＬＯＧ１０（ＡＢＳ（Ａｆ））  （０≦ｆ≦Ｗ／２）    （１０）
【００９２】
メモリ２３には、マイクロホンｍに対応する自己相関スペクトルの時系列による時系列配列、すなわち自己相関スペクトログラムＧｍｔｆを記憶するための領域が用意されている。自己相関演算部３４は、計算したＧｆを当該領域のうちのフレームｔに対応するアドレスに記憶させる（ステップＳＴ３５）。ステップＳＴ３５の処理は、例えば、以下の式（１１）により実現される。
【００９３】
Ｇｍｔｆ＝Ｇｆ  （０≦ｆ≦Ｗ／２）        （１１）
【００９４】
自己相関演算部３４は、すべてのフレームｔについて上記ステップＳＴ３３〜ＳＴ３５の処理が終了すると、次のマイクロホンｍについて上記ステップＳＴ３２〜ＳＴ３５の処理を実行する（ステップＳＴ３１）。最終的に、自己相関演算部３４は、すべてのマイクロホンｍについて上記ステップＳＴ３２〜ＳＴ３５の処理を実行する。
【００９５】
以上の処理の結果、メモリ２３には、マイク信号ＤＳ１内の自己相関スペクトルの時系列、マイク信号ＤＳ２内の自己相関スペクトルの時系列、及びマイク信号ＤＳ３内の自己相関スペクトルの時系列が記憶された状態、すなわち各時系列による自己相関スペクトログラムＧｍｔｆが記憶された状態となる。個々の自己相関スペクトログラムＧｍｔｆは、以下の式（１２）を満たすものである。
【００９６】
Ｇｍｔｆ  （０≦ｍ＜Ｍ，０≦ｔ＜Ｔ，０≦ｆ≦Ｗ／２）      （１２）
【００９７】
次に、図４〜図６と図１１のフローチャートとを参照して、図７に示すステップＳＴ３の処理、すなわちニューラルネットワーク部３５による処理の詳細について説明する。
【００９８】
まず、ニューラルネットワーク部３５は、複数個（実施の形態１においては３個）の相互相関スペクトログラムＨｍｎｔｆ及び複数個（実施の形態１においては３個）の自己相関スペクトログラムＧｍｔｆをメモリ２３から取得する。ニューラルネットワーク部３５は、相互相関スペクトログラムＨｍｎｔｆの各々に対応する２次元配列面と自己相関スペクトログラムＧｍｔｆの各々に対応する２次元配列面とが積層された３次元配列、すなわち図５に示す３次元配列を生成する（ステップＳＴ４１）。ステップＳＴ４１の処理は、例えば、以下の式（１３）に従いメモリ２３に値を書き込むことで実現される。
【００９９】
ｇ←０
ｆｏｒ  ｍ  ｓｕｃｈ  ｔｈａｔ  ０≦ｍ＜Ｍ：
Ｅｇｔｆ＝Ｇｍｔｆ    （０≦ｆ≦Ｗ／２）
ｇ←ｇ＋１
ｆｏｒ  ｍ  ｓｕｃｈ  ｔｈａｔ  ０≦ｍ＜Ｍ−１：
ｆｏｒ  ｍ  ｓｕｃｈ  ｔｈａｔ  ｍ＜ｎ＜Ｍ：
Ｅｇｔｆ＝Ｈｍｎｔｆ    （０≦ｆ≦Ｗ／２）
ｇ←ｇ＋１                                      （１３）
【０１００】
ここで、Ｅｇｔｆは、周波数ｆ、フレームｔ、及び２次元配列面ｇに対応する３次元配列の値である。ニューラルネットワーク部３５は、生成した３次元配列をニューラルネットワークの入力層に入力する。
【０１０１】
次いで、ニューラルネットワーク部３５は、入力層内の各ユニットの活性度から、畳込み層内の対応するユニットの活性度をそれぞれ計算する（ステップＳＴ４２）。このとき、畳込み層は、入力層内の３次元領域Ωｇｔｆに対して畳込み演算を実行する。ステップＳＴ４２の処理は、例えば、以下の式（１４）により実現される。
【０１０２】
ｌ←１
Ａｌｋ＝ＯＦＵＮ（Σｇｔｆ⊂Ωｇｔｆ（ｋ）  Ｗｌｇｔｆｋ＊Ｅｇｔｆ＋Ｂｌｔｋ）
（１４）
【０１０３】
ここで、ｌはニューラルネットワーク内の各層を示すインデックス（ここでは畳込み層を示すｌ＝１）、ｋは畳込み層内の各ユニットを示すインデックス、Ａｌｋはユニットｋの活性度、ＯＦＵＮは出力関数、Σは総和演算である。また、Ωｇｔｆ（ｋ）は、ユニットｋと結合する入力層内の各ユニットを示すインデックス（ｇ，ｔ，ｆ）の集合である。この集合内の各（ｇ，ｔ，ｆ）は、入力層において当該ユニットが配置された２次元配列面、入力層において当該ユニットが対応するフレーム、入力層において当該ユニットが対応する周波数をそれぞれ示すインデックスである。ＷｌｇｔｆｋはＥｇｔｆに対するユニットｋの荷重係数を表しており、Ｂｌｔｋはユニットｋが有するバイアスを表している。なお、畳込み層におけるインデックスｋは、畳込み層に含まれる全ユニットをなめるように畳込み演算を実行する。
【０１０４】
次いで、ニューラルネットワーク部３５は、畳込み層におけるユニットの配列形状を３次元配列から１次元配列に変換する（ステップＳＴ４３）。この処理は、上記Ａｌｋをｋをインデックスとして１次元配列に格納することにより実現される。
【０１０５】
次いで、ニューラルネットワーク部３５は、非線形層ｌ（ｌ＝２，…，Ｌ−１）の各々について（ステップＳＴ４４）、順次、以下のステップＳＴ４５の処理を実行する。すなわち、ニューラルネットワーク部３５は、層ｐ（ｐ＝ｌ−１）内の各ユニットの活性度から、層ｌ内の対応するユニットの活性度をそれぞれ計算する（ステップＳＴ４５）。より具体的には、ニューラルネットワーク部３５は、層ｐ内の各ユニットの活性度に荷重係数を乗算し、複数個のユニットに係る乗算値の総和を求め、当該総和の値にバイアスを加算し、さらに、出力関数を通すことにより、層ｌ内の対応するユニットの活性度をそれぞれ計算する。ステップＳＴ４５の処理は、例えば、以下の式（１５）により実現される。
【０１０６】
ｐ←ｌ−１
Ａｌｋ＝ＯＦＵＮ（Σｉ  Ｗｌｉｋ＊Ａｐｉ＋Ｂｌｋ）      （１５）
【０１０７】
ここで、Ａｌｋは層ｌ内のユニットｋの活性度、ＯＦＵＮは出力関数、Σｉはユニットｋと結合する層ｐ内のユニットｉに関する総和演算、Ａｐｉは層ｐ内のユニットｉの活性度、Ｂｌｋはバイアスである。出力関数ＯＦＵＮには、非線形な関数であるシグモイド（ＳＩＧＭＯＩＤ）関数又はＴＡＮＨ関数を用いることができる。
【０１０８】
次いで、ニューラルネットワーク部３５は、出力層Ｌに対する前層である非線形層Ｌ−１内の各ユニットの活性度から、出力層Ｌ内の対応するユニットの活性度をそれぞれ計算する（ステップＳＴ４６）。ステップＳＴ４６の処理は、例えば、以下の式（１６）により実現される。
【０１０９】
ｐ←Ｌ−１
ＡＬｋ＝Σｉ  ＷＬｉｋ＊Ａｐｉ＋ＢＬｋ  （０≦ｋ＜Ｋ）    （１６）
【０１１０】
ここで、ＡＬｋは層Ｌ内のユニットｋの活性度、Σｉはユニットｋと結合する層ｐ（ｐ＝Ｌ−１）内のユニットｉに関する総和演算、Ａｐｉは層ｐ（ｐ＝Ｌ−１）内のユニットｉの活性度、ＢＬｋはバイアス、Ｋはエレベータ１における検査対象個所の個数である。なお、実施の形態１において、ニューラルネットワーク部３５は線形な劣化度を計算するものであるため、出力層には出力関数が設けられておらず、当該出力関数による非線形処理は実行されない。
【０１１１】
以下、添え字ｋは、出力層Ｌ内の各ユニットを示すとともに、当該ユニットに対応する検査対象個所を示すものとする。メモリ２３には、検査対象個所ｋの各々に対応する劣化度Ｒｋを記憶するための領域が用意されている。ニューラルネットワーク部３５は、上記式（１６）により計算した活性度ＡＬｋを劣化度Ｒｋとしてメモリ２３の当該領域に記憶させる（ステップＳＴ４７）。ステップＳＴ４７の処理は、例えば、以下の式（１７）により実現される。
【０１１２】
Ｒｋ＝ＡＬｋ  （０≦ｋ＜Ｋ）        （１７）
【０１１３】
次に、図１２のフローチャートとを参照して、図７に示すステップＳＴ４の処理、すなわち判定部３６による処理の詳細について説明する。
【０１１４】
まず、判定部３６は、検査対象個所ｋの各々に対応する劣化度Ｒｋをメモリ２３から取得する（ステップＳＴ５１）。
【０１１５】
次いで、判定部３６は、取得した劣化度Ｒｋのうちの最大の劣化度Ｒ＊と、最大の劣化度Ｒ＊に対応する検査対象個所ｋを示すインデックスｋ＊とを求める（ステップＳＴ５２）。ステップＳＴ５２の処理は、例えば、以下の式（１８）により実現される。
【０１１６】
ｋ＊＝ＡＲＧＭＡＸｋ  Ｒｋ
Ｒ＊＝Ｒｋ＊                （１８）
【０１１７】
ここで、ＡＲＧＭＡＸｋ  Ｒｋは、添え字ｋに関し最大値をとるＲｋのインデックス（これをｋ＊とすると、ｋ＊は、Ｒｋ＊≧Ｒｋを満足する）を返す関数である。
【０１１８】
次いで、判定部３６は、最大の劣化度Ｒ＊を所定の閾値θと比較する（ステップＳＴ５３）。
【０１１９】
最大の劣化度Ｒ＊が閾値θ以下である場合（ステップＳＴ５３“ＮＯ”）、判定部３６は劣化個所が存在しないと判定する（ステップＳＴ５４）。判定部３６は、劣化個所を示すインデックスが−１であり、かつ、当該劣化個所に対応する劣化度が０である判定結果を出力する（ステップＳＴ５５）。すなわち、この場合の判定結果は、エレベータ１に劣化個所が存在しないことを示すものである。
【０１２０】
他方、最大の劣化度Ｒ＊が閾値θを超えている場合（ステップＳＴ５３“ＹＥＳ”）、判定部３６は劣化個所が存在すると判定する（ステップＳＴ５６）。判定部３６は、劣化個所を示すインデックスがｋ＊であり、かつ、当該劣化個所に対応する劣化度がＲ＊である判定結果を出力する（ステップＳＴ５７）。すなわち、この場合の判定結果は、エレベータ１における劣化個所と、当該劣化個所に対応する劣化度とを示すものである。
【０１２１】
なお、時系列配列生成部３２が生成する時系列配列は、相互相関スペクトログラムＨｍｎｔｆ及び自己相関スペクトログラムＧｍｔｆに限定されるものではない。例えば、時系列配列生成部３２は、相互相関スペクトログラムＨｍｎｔｆを生成せずに自己相関スペクトログラムＧｍｔｆのみを生成するものであっても良い。これにより、自己相関スペクトログラムＧｍｔｆのみがニューラルネットワークに入力されるため、ニューラルネットワークにおけるパラメータ数を削減することができる。
【０１２２】
または、例えば、時系列配列生成部３２は、相互相関スペクトログラムＨｍｎｔｆ及び自己相関スペクトログラムＧｍｔｆに代えて、マイク信号ＤＳ１，ＤＳ２，ＤＳ３の各々に対応する自己相関スペクトルＡｆの実部の時系列による時系列配列と、マイク信号ＤＳ１，ＤＳ２，ＤＳ３の各々に対応する自己相関スペクトルＡｆの虚部の時系列による時系列配列とを生成するものであっても良い。これらの時系列配列は、相互相関スペクトログラムＨｍｎｔｆ及び自己相関スペクトログラムＧｍｔｆと同様に、第１次元を周波数方向として第２次元をフレーム方向とした２次元配列により表すことができる。この場合、強度変換及び相互相関演算などに相当する処理をニューラルネットワーク内にて実行することが求められる。このため、ニューラルネットワークによる出力の精度を維持する観点から、ニューラルネットワーク内の層数を増やすのが好適である。
【０１２３】
または、例えば、時系列配列生成部３２は、相互相関スペクトログラムＨｍｎｔｆ及び自己相関スペクトログラムＧｍｔｆに代えて、マイク信号ＤＳ１，ＤＳ２，ＤＳ３の各々に対応する複素周波数スペクトルＺｆの実部の時系列による時系列配列と、マイク信号ＤＳ１，ＤＳ２，ＤＳ３の各々に対応する複素周波数スペクトルＺｆの虚部の時系列による時系列配列とを生成するものであっても良い。これらの時系列配列は、相互相関スペクトログラムＨｍｎｔｆ及び自己相関スペクトログラムＧｍｔｆと同様に、第１次元を周波数方向として第２次元をフレーム方向とした２次元配列により表すことができる。この場合、強度変換、自己相関演算及び相互相関演算などに相当する処理をニューラルネットワーク内にて実行することが求められる。このため、ニューラルネットワークによる出力の精度を維持する観点から、ニューラルネットワーク内の層数を増やすのが好適である。
【０１２４】
また、劣化個所が存在すると判定した場合に判定部３６が出力する判定結果は、少なくとも劣化個所を示すものであれば良く、当該劣化個所に対応する劣化度を示さないものであっても良い。
【０１２５】
また、判定部３６は、ニューラルネットワーク部３５が出力した劣化度Ｒｋを用いて劣化個所に関する何らかの判定を実行するものであれば良く、当該判定は劣化個所の有無の判定に限定されるものではない。
【０１２６】
また、マイクロホンアレイ装置４は複数個のマイクロホンを有するものであれば良く、当該マイクロホンの個数は３個に限定されるものではない。例えば、マイクロホンアレイ装置４は４個のマイクロホンを有するものであっても良い。この場合、これらのマイクロホンは、載置面１２の円周部に沿って、正四角形の各頂点に対応する位置に配置されたものであっても良い。マイクロホンの個数を増やすことにより、音の到来方向に対する分解能が向上するため、互いにより近接して配置された検査対象個所を識別することが可能となる。なお、マイクロホンの個数が増えるにつれて、ニューラルネットワークにおけるパラメータ数を増やすことが求められる。
【０１２７】
また、マイクロホンアレイ装置４は、カゴ３の天井部に代えてカゴ３の床部に設けられたものであっても良い。そのほか、マイクロホンアレイ装置４は、昇降路２内の如何なる個所に設けられたものであっても良い。ただし、音の到来方向に対する分解能を向上しつつマイクロホンの個数を低減する観点から、マイクロホンアレイ装置４はカゴ３などの移動体に設けるのが好適である。
【０１２８】
また、検査対象機器は、エレベータ１に限定されるものではない。検査対象機器は、例えば鉄道車両であっても良い。この場合、マイクロホンアレイ装置４、オーディオインタフェース装置５及び劣化個所推定装置６は、当該鉄道車両に設けられたものであっても良い。そのほか、検査対象機器は、移動体を含む機器又は移動体により構成された機器であれば、如何なる機器であっても良い。
【０１２９】
以上のように、実施の形態１の劣化個所推定装置６は、検査対象機器に設けられた複数個のマイクロホン１３１〜１３３の各々に対応するマイク信号ＤＳ１，ＤＳ２，ＤＳ３を取得して、マイク信号ＤＳ１，ＤＳ２，ＤＳ３の各々に対応する短時間フーリエ変換係数の時系列を計算する短時間フーリエ変換部３１と、短時間フーリエ変換係数の時系列を用いてニューラルネットワークに対する入力用の時系列配列を生成する時系列配列生成部３２と、ニューラルネットワークにより構成されており、時系列配列の入力を受け付けて検査対象機器における検査対象個所に対応する劣化度を出力するニューラルネットワーク部３５と、劣化度を用いて検査対象機器における劣化個所を判定する判定部３６とを備える。これにより、音の到来方向を考慮することが可能となり、劣化個所の推定精度を向上することができる。
【０１３０】
また、検査対象機器は移動体を含むものであり、マイクロホン１３１〜１３３は移動体に設けられている。これにより、音の到来方向を考慮することを可能としつつ、マイクロホンの個数を低減することができる。
【０１３１】
また、実施の形態１の劣化個所推定システム１００は、検査対象機器に設けられた複数個のマイクロホン１３１〜１３３を備える。劣化個所推定システム１００は、マイクロホン１３１〜１３３の各々に対応するマイク信号ＤＳ１，ＤＳ２，ＤＳ３を取得して、マイク信号ＤＳ１，ＤＳ２，ＤＳ３の各々に対応する短時間フーリエ変換係数の時系列を計算する短時間フーリエ変換部３１と、短時間フーリエ変換係数の時系列を用いてニューラルネットワークに対する入力用の時系列配列を生成する時系列配列生成部３２と、ニューラルネットワークにより構成されており、時系列配列の入力を受け付けて検査対象機器における検査対象個所に対応する劣化度を出力するニューラルネットワーク部３５と、劣化度を用いて検査対象機器における劣化個所を判定する判定部３６とを有する劣化個所推定装置６を備える。これにより、音の到来方向を考慮することが可能となり、劣化個所の推定精度を向上することができる。
【０１３２】
また、実施の形態１の故障箇所推定方法は、短時間フーリエ変換部３１が、検査対象機器に設けられた複数個のマイクロホン１３１〜１３３の各々に対応するマイク信号ＤＳ１，ＤＳ２，ＤＳ３を取得して、マイク信号ＤＳ１，ＤＳ２，ＤＳ３の各々に対応する短時間フーリエ変換係数の時系列を計算するステップ（ステップＳＴ１）と、時系列配列生成部３２が、短時間フーリエ変換係数の時系列を用いてニューラルネットワークに対する入力用の時系列配列を生成するステップ（ステップＳＴ２）と、ニューラルネットワークにより構成されたニューラルネットワーク部３５が、時系列配列の入力を受け付けて検査対象機器における検査対象個所に対応する劣化度を出力するステップ（ステップＳＴ３）と、判定部３６が、劣化度を用いて検査対象機器における劣化個所を判定するステップ（ステップＳＴ４）とを備える。これにより、音の到来方向を考慮することが可能となり、劣化個所の推定精度を向上することができる。
【０１３３】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１３４】
本発明の劣化個所推定装置は、例えば、エレベータ又は鉄道車両などの検査対象機器における劣化個所の推定に用いることができる。
【符号の説明】
【０１３５】
１  エレベータ、２  昇降路、３  カゴ、４  マイクロホンアレイ装置、５  オーディオインタフェース装置、６  劣化個所推定装置、１１  台座、１２  載置面、１３１，１３２，１３３  マイクロホン、２１  入出力インタフェース、２２  プロセッサ、２３  メモリ、３１  短時間フーリエ変換部、３２  時系列配列生成部、３３  相互相関演算部、３４  自己相関演算部、３５  ニューラルネットワーク部、３６  判定部、１００  劣化個所推定システム。
【図１Ａ】
2018096582.tif 000003
【図１Ｂ】
2018096582.tif 000004
【図１Ｃ】
2018096582.tif 000005
【図２】
2018096582.tif 000006
【図３】
2018096582.tif 000007
【図４】
2018096582.tif 000008
【図５】
2018096582.tif 000009
【図６】
2018096582.tif 000010
【図７】
2018096582.tif 000011
【図８】
2018096582.tif 000012
【図９】
2018096582.tif 000013
【図１０】
2018096582.tif 000014
【図１１】
2018096582.tif 000015
【図１２】
2018096582.tif 000016
【手続補正書】
【提出日】平成29年3月29日(2017.3.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の劣化個所推定装置は、検査対象機器に設けられた複数個のマイクロホンの各々に対応するマイク信号を取得して、マイク信号の各々に対応する短時間フーリエ変換係数の時系列を計算する短時間フーリエ変換部と、短時間フーリエ変換係数の時系列を用いてニューラルネットワークに対する入力用の複数個の時系列配列を生成する時系列配列生成部と、ニューラルネットワークにより構成されており、時系列配列の入力を受け付けて検査対象機器における検査対象個所に対応する劣化度を出力するニューラルネットワーク部と、劣化度を用いて検査対象機器における劣化個所を判定する判定部とを備えるものである。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検査対象機器に設けられた複数個のマイクロホンの各々に対応するマイク信号を取得して、前記マイク信号の各々に対応する短時間フーリエ変換係数の時系列を計算する短時間フーリエ変換部と、
前記短時間フーリエ変換係数の時系列を用いてニューラルネットワークに対する入力用の複数個の時系列配列を生成する時系列配列生成部と、
前記ニューラルネットワークにより構成されており、前記時系列配列の入力を受け付けて前記検査対象機器における検査対象個所に対応する劣化度を出力するニューラルネットワーク部と、
前記劣化度を用いて前記検査対象機器における劣化個所を判定する判定部と、
を備える劣化個所推定装置。
【請求項２】
前記時系列配列生成部は、前記短時間フーリエ変換係数の時系列を用いて、前記マイク信号内の自己相関スペクトルの時系列による前記時系列配列と、前記マイク信号間の相互相関スペクトルによる前記時系列配列とを生成することを特徴とする請求項１記載の劣化個所推定装置。
【請求項３】
前記時系列配列生成部は、前記短時間フーリエ変換係数の時系列を用いて、前記マイク信号内の自己相関スペクトルの時系列による前記時系列配列を生成することを特徴とする請求項１記載の劣化個所推定装置。
【請求項４】
前記時系列配列生成部は、前記短時間フーリエ変換係数の時系列を用いて、前記短時間フーリエ変換係数のうちの実部の時系列による前記時系列配列と、前記短時間フーリエ変換係数のうちの虚部の時系列による前記時系列配列とを生成することを特徴とする請求項１記載の劣化個所推定装置。
【請求項５】
前記ニューラルネットワークは、複数個の前記時系列配列の入力を受け付ける入力層と、前記入力層に対する畳込み演算を実行する畳込み層とを有することを特徴とする請求項１記載の劣化個所推定装置。
【請求項６】
前記入力層は、複数個のユニットによる２次元配列面が積層された３次元配列の構造を有し、前記２次元配列面の各々に対応する前記時系列配列が入力されるものであり、
前記畳込み層は、前記入力層内の３次元領域に対する前記畳込み演算を実行するものである
ことを特徴とする請求項５記載の劣化個所推定装置。
【請求項７】
前記マイクロホンは、正多角形の各頂点に対応する位置に配置されていることを特徴とする請求項１記載の劣化個所推定装置。
【請求項８】
前記検査対象機器は移動体を含むものであり、前記マイクロホンは前記移動体に設けられていることを特徴とする請求項１記載の劣化個所推定装置。
【請求項９】
前記検査対象機器はエレベータにより構成されており、前記移動体は前記エレベータのカゴにより構成されており、前記マイクロホンは前記カゴの天井部又は床部に設けられていることを特徴とする請求項８記載の劣化個所推定装置。
【請求項１０】
前記判定部は、前記劣化個所の有無を判定して、前記劣化個所が存在すると判定した場合、前記劣化個所と前記劣化個所に対応する前記劣化度とを示す判定結果を出力することを特徴とする請求項１記載の劣化個所推定装置。
【請求項１１】
検査対象機器に設けられた複数個のマイクロホンと、
前記マイクロホンの各々に対応するマイク信号を取得して、前記マイク信号の各々に対応する短時間フーリエ変換係数の時系列を計算する短時間フーリエ変換部と、前記短時間フーリエ変換係数の時系列を用いてニューラルネットワークに対する入力用の複数個の時系列配列を生成する時系列配列生成部と、前記ニューラルネットワークにより構成されており、前記時系列配列の入力を受け付けて前記検査対象機器における検査対象個所に対応する劣化度を出力するニューラルネットワーク部と、前記劣化度を用いて前記検査対象機器における劣化個所を判定する判定部と、を有する劣化個所推定装置と、
を備える劣化個所推定システム。
【請求項１２】
短時間フーリエ変換部が、検査対象機器に設けられた複数個のマイクロホンの各々に対応するマイク信号を取得して、前記マイク信号の各々に対応する短時間フーリエ変換係数の時系列を計算するステップと、
時系列配列生成部が、前記短時間フーリエ変換係数の時系列を用いてニューラルネットワークに対する入力用の複数個の時系列配列を生成するステップと、
前記ニューラルネットワークにより構成されたニューラルネットワーク部が、前記時系列配列の入力を受け付けて前記検査対象機器における検査対象個所に対応する劣化度を出力するステップと、
判定部が、前記劣化度を用いて前記検査対象機器における劣化個所を判定するステップと、
を備える劣化個所推定方法。
【国際調査報告】
2018096582.tif 000017
2018096582.tif 000018