(57)【要約】【課題】数多くのマイクロフォンからの信号を必要とせず、また複雑なデータ加工処理や膨大なデータの蓄積も必要としない監視装置を提供する。【解決手段】マイクロフォン４からの信号が、パーソナルコンピュータ２にインストールされているサウンドボード１００に入力される。入力された音データはサンプリングされ、ディジタルデータとしてメモリ１０２に格納される。ＣＰＵ（中央演算装置）１０４では、収集された音の周波数スペクトルに対して、所定の周波数帯域に分割された範囲毎の、前記周波数スペクトルの積分強度の分布が音素として定義し、音素を音のデータベースに蓄積し、データベースに蓄積されている各音素と、新たに収集された音の音素との相関係数が、所定値以下であれば、異常な音であると判断して、予め決められたアクションを実行する。【選択図】図１１
2005172548.tif 000002
【特許請求の範囲】
【請求項１】
収集された音の周波数スペクトルに対して、所定の周波数帯域に分割された範囲毎の、前記周波数スペクトルの積分強度の分布が音素として定義され、該音素を蓄積するデータベースと、
前記データベースに蓄積されている各音素と、新たに収集された音の音素との相関係数が異常判断用の所定値以下であれば、前記新たに収集された音が異常な音であると判断する音素判断部と、
前記音素判断部において、前記新たに収集された音が異常な音であると判断された場合に、予め決められたアクションを実行するアクション実行部とを含むことを特徴とする監視装置。
【請求項２】
請求項１に記載の監視装置において、
前記データベースは、蓄積された音素の発生頻度が求められており、
さらに前記蓄積された音素同士の相関係数が求められており、
前記発生頻度の大きな音素を基準として、該音素と相関係数の大きな順に、前記蓄積された各音素が並べ替えられており、
前記音素の種類を第１軸に、前記音素の継続時間の逆数を第２軸に、前記音素の発生頻度の逆数を第３軸とする、音素の仮想３次元空間が構築されていることを特徴とする監視装置。
【請求項３】
請求項２に記載の監視装置において、
前記データベースにおける、前記３次元空間のうち第１軸と第２軸で定義される平面内の隣接する音素に対して画像処理が施され、前記第１軸に関する結合関係の特徴量が付与されていることを特徴とする監視装置。
【請求項４】
請求項２に記載の監視装置において、
前記データベースに蓄積された正常な音素のみで構築される音素の３次元空間にてフィルタを構成し、
新たに収集された音の音素データを前記フィルタに通して、その前後の強度比により、前記新たに収集された音が異常な音であると判断する判断部を含むことを特徴とする監視装置。
【請求項５】
所定時間毎に収集した音の周波数スペクトルを求めるステップと、
所定の周波数帯域に分割された範囲毎に、前記周波数スペクトルの積分強度を求め、該積分強度の分布を音素として定義して、データベースに蓄積するステップと、
新たに収集した音について、前記音素を求めるステップと、
前記新たに収集した音の音素と、前記データベースに蓄積されている各音素との相関係数を求めるステップと、
前記相関係数がデータ蓄積用の所定値以下であれば、前記新たに収集した音の音素は、蓄積されている音素とは異なると判断するステップとを含むことを特徴とするデータベース構築方法。
【請求項６】
請求項５に記載のデータベース構築方法において、
前記新たに収集した音の音素を、蓄積されている音素とは異なると判断した場合にのみ、前記新たに収集した音の音素を前記データベースに蓄積するステップを含むデータベース構築方法。
【請求項７】
請求項５に記載のデータベース構築方法において、
前記蓄積された音素の発生頻度を求めるステップと、
前記蓄積された音素同士の相関係数を求めるステップと、
前記発生頻度の大きな音素を基準として、該音素と相関係数の大きな順に前記蓄積された各音素を並べ替えるステップと、
前記音素の種類を第１軸、前記音素の継続時間の逆数を第２軸、前記音素の発生頻度の逆数を第３軸として、音素の３次元空間を構築するステップとを含むデータベース構築方法。
【請求項８】
請求項７に記載のデータベース構築方法において、
前記音素の３次元空間をフィルタとして用い、新たに収集した音の音素データを前記フィルタに通し、その前後の強度比により、前記判断を行うステップを含むデータベース構築方法。
【請求項９】
請求項７に記載のデータベース構築方法において、
前記データベースにおける、前記３次元空間のうち第１軸と第２軸で定義される平面内の隣接する音素に対して画像処理を施すステップと、
前記第１軸に関する結合関係の特徴量を付与するステップとを含むデータベース構築方法。
【請求項１０】
請求項５に記載のデータベース構築方法において、
所定時間内に得られた音素データを用いて、前記音素データの種類を縦行列、時間軸を横行列とするマハラビノスの参照空間を規定するステップと、
新たに収集した音について、前記マハラビノスの参照空間に対するマハラビノスの距離を算出するステップと、
該マハラビノスの距離が所定の値を超えたことを認識した場合に、音の発生源の状況が変化したと認識するステップとを含むデータベース構築方法。
【請求項１１】
請求項５に記載のデータベース構築方法において、
前記データベースに蓄積されている音素同士の相関係数を求めるステップと、
前記データ蓄積用の所定値よりも小さなデータ整理用の所定値を設定し、該データ整理用の所定値を越える相関係数を有する音素同士を同じ音素であると判断するステップとを含むデータベース構築方法。
【請求項１２】
請求項１１に記載のデータベース構築方法において、
前記判断ステップで、同じ音素であると判断された音素同士を１つの音素として、蓄積し直すステップを含むデータベース構築方法。
【請求項１３】
請求項５に記載のデータベース構築方法において、
前記新たに収集した音の音素が所定時間内で変化した場合に、変化する音素の群を音素列と定義して、音素列データベースとして蓄積するステップを含むデータベース構築方法。
【請求項１４】
請求項１３に記載の音のデータベース構築方法において、
前記音素列データのうち、所定の時間内に複数発生したと認識された音素列データのみを、前記音素列データベースに残すようにするステップを含むデータベース構築方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視すべき領域の状況や、例えば連続運転や無人運転されているような機器の状態を把握するための監視装置に関する。さらに、このような監視装置に有用な音のデータベースを構築するためのデータベース構築方法に関する。
【背景技術】
【０００２】
従来より、建物などへの不法侵入や火災の発生などの異常事態を監視するための監視装置が利用されている。これら監視装置の多くは、異常事態の把握のための検出に、監視カメラや赤外線センサなどを用いてきた。
【０００３】
例えば監視カメラでは、その画像を監視するための要員が必要であったり、無人で監視するためには、複雑な画像認識処理およびそのための装置が必要となっていた。また赤外線センサでは、小動物などの発熱源にも反応するなどの問題があった。
【０００４】
さらに建物への不法侵入を検出するためには、窓や扉などの建物の開口部に数多くのセンサを設置する必要があった。このようなセンサは、侵入者に見つけられる虞があり、意識的にこれらを破壊される可能性もある。さらに侵入者によって、建物への電気の供給が断たれてしまうと、これらの監視装置が機能しなくなる虞もある。
【０００５】
特開２０００−２６８２６５公報には、マイクを使用した監視装置の提案がなされている。すなわち、『周囲の音を収集するためのマイクと、予め、様々な物から発する音を示す情報と、その音の発信源やその音の属性などのような「その音に関する情報」と関連付けて記録しておく「音のデータベース」と、前記マイクからの音を示す情報を、前記「音のデータベース」に記録された音を示す情報と比較する比較手段と、前記比較手段からの情報に基づいて、監視エリア内での異常発生又はその可能性の有無を判定する判定手段と、前記判定手段からの情報に基づいて、ユーザーに所定の警告をするための警告手段と、を備えたことを特徴とするマイクを使用した監視装置』である。
【０００６】
さらに特開平６−１６０１７２号公報には、「異常検出装置」として以下の提案がなされている。すなわち、『監視対象が発生する音波を分析して、前記監視対象の異常を検出する異常検出装置において、前記監視対象の診断部分で発生する音波を集音する集音マイクと、前記集音マイクにより集音された音波のパワースペクトラム分析を行なうと共に、当該分析値の時系列的な変化率分析を行なう波形分析手段と、前記監視対象が正常な時に前記波形分析手段により得られる音の特徴パターンを、前記監視対象の各運転条件毎にそれぞれ基準値として記憶しているデータベース手段と、前記波形分析手段による分析値と、その時の前記監視対象の運転条件に対応した前記データベース手段内の基準値とを比較し、異常の有無を判定する比較演算手段と、前記比較演算手段による比較演算に基づいて異常報知すると共に、前記分析値の変化率の傾向を管理して前記監視対象の寿命を予測する監視手段と、を備えて成ることを特徴とする異常検出装置』である。
【０００７】
またさらに特開平９−１６６４８３号公報（特許文献３）には、「機器監視方法及びその装置」として以下の提案がなされている。すなわち、『監視対象からの音響を音響センサで検出して監視対象機器の異常の有無を監視する方法において、監視時の音響検出信号の周波数スペクトルから、同一の監視対象の正常音について予め記憶した周波数スペクトルを減算し、減算して得られた周波数スペクトルパターンと予め既知の異常音及び外乱音に対して記憶された周波数スペクトルパターンとのパターンの類似度を演算し、前記類似度が予め設定した値以上の場合に既知の異常音又は外乱音と判定処理して外乱音の除去あるいは異常音有無の判定を行うことを特徴とする機器監視方法』である。
【０００８】
さらに特開２０００−２５９２２２公報には、機器監視・予防保全システムとして以下の提案がなされている。すなわち、『機器にその状態変化を二次的に捕らえることのできる多次元のセンサを配設し、前記センサ群からの情報を基に、前記機器の状態変化や保守管理を実現する管理機器を配設し、前記センサからの情報により、前記管理機器内に具備された機器の劣化診断と速度予測する計算手段にて、前記機器の状態の監視やその状態変化を予測し、さらにその結果を前記管理機器の表示手段にて開示し、前記管理機器にはこれらのデータを保存・蓄積するデータサーバ部を具備し、前記管理機器に具備した入力手段にて、この情報の編集・追加・登録をできるように構成する』機器監視・予防保全システムである。
【０００９】
加えてその請求項２の発明は、『・・・前記機器の動作状況の状態変化の固有モードを決定する基準空間を作成する計算機能（計算手段又はアルゴリズム）を具備してあることを特徴とする機器監視・予防保全システム』である。
【００１０】
さらに請求項４の発明は、『・・・前記機器の基準空間は前記センサ群のデータより、
（１）：前記機器の固有モードの空間（基準空間）を作成するデータを収集し、そのデータ数は、少なくとも前記機器に取り付けたセンサの数以上であるが、その２から３倍数である。
（２）：前記機器の（１）項のデータを前記各要素毎（センサ毎）に、その平均値と標準偏差で正規化する。
（３）：（２）項のデータから、前記各要素の数のみで決定される２次元の相関行列を作成し、さらにこの行列を加工して、前記行列のマハラノビスの距離を求め、これらの距離で決定した分布状態(その平均値は０で、その標準偏差は約１)を前記機器の基準空間としてあることを特徴とする機器監視・予防保全システム』である。
【００１１】
【特許文献１】特開２０００−２６８２６５公報
【特許文献２】特開平６−１６０１７２号公報
【特許文献３】特開平９−１６６４８３号公報
【特許文献４】特開２０００−２５９２２２公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
特開２０００−２６８２６５公報には、上述したようにマイクを使用した監視装置が開示されているが、発明の実施の形態の説明によれば、『「音のデータベース」５には、様々な膨大な数及び種類の音が波形データ（デジタルデータ）として記録され』とある。さらに、『これらの各音を示す波形データは、その音の発信源の名称及びその音の属性情報（その音がどういう状況の時に発生したかなどの情報）などの「その音に関する関連情報」と関連づけられて、記録されている』とある。
【００１３】
つまり実際の監視作業に際しては、このように膨大なデータをその関連情報と共に、「音のデータベース」として構築する必要がある。これにかかる作業負担は、決して小さいものではない。また音の取り込みに関しても、マイクを複数本用いた例が示されている。
【００１４】
さらに特開平６−１６０１７２号公報に記載の「異常検出装置」では、『監視対象の運転条件が変わっても異常判定を確実に行なう』ために、『集音された音波のパワースペクトラム分析を行なうと共に、当該分析値の時系列的な変化率分析を行なう』ことを必要としている。
【００１５】
またさらに特開平９−１６６４８３号公報に記載の「機器監視方法及びその装置」では、『監視音から異常音或いは外乱音を分離して異常を監視する』ために、『監視時の音響検出信号の周波数スペクトルから、同一の監視対象の正常音について予め記憶した周波数スペクトルを減算し、減算して得られた周波数スペクトルパターンと予め既知の異常音及び外乱音に対して記憶された周波数スペクトルパターンとのパターンの類似度を演算』することを必要としている。
【００１６】
さらに特開２０００−２５９２２２公報に記載の「機器監視・予防保全システム」では、『機器が外的要因或いは内的要因により、異常或いは劣化となる兆候を捉える方法・診断の確度を向上する』ために、まず「基準空間」を作成し、続いて『２次元の相関行列を作成し、さらにこの行列を加工して、前記行列のマハラノビスの距離を求め』ている。
【００１７】
しかしながら、この「基準空間」を作成するデータは、『少なくとも前記機器に取り付けたセンサの数以上であるが、その２から３倍数』であり、その『データを前記各要素毎（センサ毎）に、その平均値と標準偏差で正規化』し、『前記各要素の数のみで決定される２次元の相関行列を作成』する必要がある。つまり、このようなやり方では、多くのセンサを必要とし、さらに数多くのデータ加工を必要としている。
【００１８】
そこで本発明は、上述した従来技術のように、例えば数多くのマイクロフォンからの信号を必要とせず、また複雑なデータ加工処理や膨大なデータの蓄積も必要としない監視装置であり、しかもそのデータベースも自動的に構築できるような監視装置の提供を目的とする。
【００１９】
さらには、このような音のデータベースを簡便に構築できるデータベース構築方法の提供を目的とする。
【課題を解決するための手段】
【００２０】
本発明の本発明の第１形態である監視装置は、請求項１に記載の発明として、
収集された音の周波数スペクトルに対して、所定の周波数帯域に分割された範囲毎の、前記周波数スペクトルの積分強度の分布が音素として定義され、該音素を蓄積するデータベースと、
前記データベースに蓄積されている各音素と、新たに収集された音の音素との相関係数が異常判断用の所定値以下であれば、前記新たに収集された音が異常な音であると判断する音素判断部と、
前記音素判断部において、前記新たに収集された音が異常な音であると判断された場合に、予め決められたアクションを実行するアクション実行部とを含むことを特徴とする監視装置である。
【００２１】
請求項２に記載の発明は、
請求項１に記載の監視装置において、
前記データベースは、蓄積された音素の発生頻度が求められており、
さらに前記蓄積された音素同士の相関係数が求められており、
前記発生頻度の大きな音素を基準として、該音素と相関係数の大きな順に、前記蓄積された各音素が並べ替えられており、
前記音素の種類を第１軸に、前記音素の継続時間の逆数を第２軸に、前記音素の発生頻度の逆数を第３軸とする、音素の仮想３次元空間が構築されていることを特徴とする監視装置である。
【００２２】
請求項３に記載の発明は、
請求項２に記載の監視装置において、
前記データベースにおける、前記３次元空間のうち第１軸と第２軸で定義される平面内の隣接する音素に対して画像処理が施され、前記第１軸に関する結合関係の特徴量が付与されていることを特徴とする監視装置である。
【００２３】
請求項４に記載の発明は、
請求項２に記載の監視装置において、
前記データベースに蓄積された正常な音素のみで構築される音素の３次元空間にてフィルタを構成し、
新たに収集された音の音素データを前記フィルタに通して、その前後の強度比により、前記新たに収集された音が異常な音であると判断する判断部を含むことを特徴とする監視装置である。
【００２４】
さらに、第２形態であるデータベース構築方法は、請求項５に記載の発明として、
所定時間毎に収集した音の周波数スペクトルを求めるステップと、
所定の周波数帯域に分割された範囲毎に、前記周波数スペクトルの積分強度を求め、該積分強度の分布を音素として定義して、データベースに蓄積するステップと、
新たに収集した音について、前記音素を求めるステップと、
前記新たに収集した音の音素と、前記データベースに蓄積されている各音素との相関係数を求めるステップと、
前記相関係数がデータ蓄積用の所定値以下であれば、前記新たに収集した音の音素は、蓄積されている音素とは異なると判断するステップとを含むことを特徴とするデータベース構築方法である。
【００２５】
請求項６に記載の発明は、
請求項５に記載のデータベース構築方法において、
前記新たに収集した音の音素を、蓄積されている音素とは異なると判断した場合にのみ、前記新たに収集した音の音素を前記データベースに蓄積するステップを含むデータベース構築方法である。
【００２６】
請求項７に記載の発明は、
請求項５に記載のデータベース構築方法において、
前記蓄積された音素の発生頻度を求めるステップと、
前記蓄積された音素同士の相関係数を求めるステップと、
前記発生頻度の大きな音素を基準として、該音素と相関係数の大きな順に前記蓄積された各音素を並べ替えるステップと、
前記音素の種類を第１軸、前記音素の継続時間の逆数を第２軸、前記音素の発生頻度の逆数を第３軸として、音素の３次元空間を構築するステップとを含むデータベース構築方法である。
【００２７】
請求項８に記載の発明は、
請求項７に記載のデータベース構築方法において、
前記音素の３次元空間をフィルタとして用い、新たに収集した音の音素データを前記フィルタに通し、その前後の強度比により、前記判断を行うステップを含むデータベース構築方法である。
【００２８】
請求項９に記載の発明は、
請求項７に記載のデータベース構築方法において、
前記データベースにおける、前記３次元空間のうち第１軸と第２軸で定義される平面内の隣接する音素に対して画像処理を施すステップと、
前記第１軸に関する結合関係の特徴量を付与するステップとを含むデータベース構築方法である。
【００２９】
請求項１０に記載の発明は、
請求項５に記載のデータベース構築方法において、
所定時間内に得られた音素データを用いて、前記音素データの種類を縦行列、時間軸を横行列とするマハラビノスの参照空間を規定するステップと、
新たに収集した音について、前記マハラビノスの参照空間に対するマハラビノスの距離を算出するステップと、
該マハラビノスの距離が所定の値を超えたことを認識した場合に、音の発生源の状況が変化したと認識するステップとを含むデータベース構築方法である。
【００３０】
請求項１１に記載の発明は、
請求項５に記載のデータベース構築方法において、
前記データベースに蓄積されている音素同士の相関係数を求めるステップと、
前記データ蓄積用の所定値よりも小さなデータ整理用の所定値を設定し、該データ整理用の所定値を越える相関係数を有する音素同士を同じ音素であると判断するステップとを含むデータベース構築方法である。
【００３１】
請求項１２に記載の発明は、
請求項１１に記載のデータベース構築方法において、
前記判断ステップで、同じ音素であると判断された音素同士を１つの音素として、蓄積し直すステップを含むデータベース構築方法である。
【００３２】
請求項１３に記載の発明は、
請求項５に記載のデータベース構築方法において、
前記新たに収集した音の音素が所定時間内で変化した場合に、変化する音素の群を音素列と定義して、音素列データベースとして蓄積するステップを含むデータベース構築方法である。
【００３３】
請求項１４に記載の発明は、
請求項１３に記載の音のデータベース構築方法において、
前記音素列データのうち、所定の時間内に複数発生したと認識された音素列データのみを、前記音素列データベースに残すようにするステップを含むデータベース構築方法である。
【発明の効果】
【００３４】
本発明によると、監視カメラや赤外線センサなどを用いることなく、例えばパーソナルコンピュータ上にマイクロフォンを接続した簡単な構成で、監視装置を成立させることができる。
【００３５】
また本発明による監視装置は、膨大なデータの蓄積を必要としないので、多くのハードウエア資源を要することもない。
【００３６】
さらにデータベースの自動的な構築も可能である。このことから、監視作業を行う際に、特に事前に基礎となるデータベースを構築する必要もない。
【００３７】
なお本発明による監視装置を、ノート型パーソナルコンピュータのように、内部電源を有するコンピュータを用いて構成すると、外部の電源がない場所や停電時などにも対応できる。
【発明を実施するための最良の形態】
【００３８】
以下に、本発明を監視装置の例を用いて詳しく説明する。
まず、本発明による監視装置の概略構成図を図１に示す。図１はパーソナルコンピュータ２にマイクロフォン４を接続し、監視機能を実現するのに必要なソフトウエアがインストールされたものである。図２および図３は、パーソナルコンピュータ２の監視機能を説明するための機能ブロック図である。
【００３９】
図１，図２および図３を参照しながら、本発明による監視装置を構成するのに必要なデータベースの構築方法について説明する。
【００４０】
（波形の取得）
まず対象となる波形を取り込む。以下対象の波形が音の場合について説明する。サンプリング方法は、マイクロフォン４にて集音すればよく、既に電気信号になっているのであれば、それを直接監視装置に入力すればよい。
【００４１】
図２を参照して、まず、マイクロフォン４で集められた音は、電気信号に変換され、さらに必要に応じてアンプ６にて増幅されるとよい。このとき増幅率は、アンプのゲイン調整部８にてコントロールされるが、この増幅率は、ノイズレベル取得部１０で、周囲のノイズレベルを測定して求めた基準値から適宜決められるとよい。なお、周囲のノイズレベルの測定は随時行われ、ノイズレベルとしては移動平均化されていることが好ましい。
【００４２】
増幅率の決定は以下のようにして行うことができる。まず、マイクロフォン４からの電気信号は、Ａ／Ｄコンバータ１２によってディジタル信号に変換され、標準偏差計算部１４でこのディジタル信号の標準偏差が算出される。この標準偏差は、ゲイン調整部８において、ノイズレベル取得部１０からの基準値と比較される。標準偏差が小さい場合は増幅率を大きくし、大きな場合は増幅率を小さくする。このような制御を行うと、入力信号が周囲のノイズに比べて、極端に大きかったり小さかったりすることによるエラーを防ぐことができる。
【００４３】
次に、マイクロフォン４からの電気信号が、測定すべき入力か否かをしきい値判別部１６で判別する。この判別は、入力された電気信号が、移動平均化されたノイズレベルを示す、ノイズレベル取得部１０からの基準値に比べて、所定値以上であるか否かのしきい値判別によって決められるとよい。
【００４４】
以上説明した波形を取得するには、アンプ６、ゲイン調整器８、Ａ／Ｄコンバータ１２から構成されるモジュールがあればよい。このモジュールは、ハードウエアで構成することができ、具体的には、通常パーソナルコンピュータに装着されているサウンドボードを用いることができる。
【００４５】
さらに、上述したしきい値判別部は、ノイズレベルの取得、およびしきい値の判断を実行できるモジュールで構成されればよい。このモジュールは、例えばサウンドボードからの信号を処理できるソフトウエアで構成されているとよい。
【００４６】
（波形の解析：音素の定義）
しきい値判別部１６で測定すべき入力であると判別された場合には、音データ取得部１８で、まず所定の時間間隔毎にディジタルデータが取得される。続いて、スペクトル解析部２０によって、周波数成分が分析される。得られた周波数成分は、予め分割、領域化された周波数帯域に振り分けられる。さらにそれぞれの周波数帯域毎に、強度分布計算部２２によってエネルギー強度が算出され、周波数強度分布が取得される（図４参照）。ここで、この周波数強度分布を「音素」として定義する。
【００４７】
以上説明した波形の解析は、スペクトル解析、周波数強度分布の取得、および音素の定義を実行できるモジュールで行うことができる。このモジュールは、例えばサウンドボードからの信号を処理できるソフトウエアで構成されているとよい。
【００４８】
（データベース構築）
続いて、本発明の監視装置を構成するために、まず音のデータベースを構築する。上述した方法にて、音源からの音を取得し解析を行って、音素データベースに順次蓄積していく。
【００４９】
図３に示すように、新たな音素の入力があれば、音素取得部２４でまず音素を求めて、相関係数計算部２５で、音素データベース２６に蓄積されている音素データと類似性の比較を行う。
【００５０】
音素判断部２８で、新たな音素とデータベース２６内のいずれかの音素との相関係数がある所定値を超えていれば、新たな音素とデータベース２６内のいずれかの音素とは、同じ音素と判断できる。この新たな音素が同じ音素と判断されれば、この新たな音素は音素データベースには蓄積されない。このときの所定値をデータ蓄積用の所定値とする。
【００５１】
一方、この相関係数がデータ蓄積用の所定値以下であれば、新たな音素とデータベース内のいずれかの音素とは、異なる音素と判断できる。新たな音素が、データベース内のいずれかの音素と異なると判断されれば、新たな音素を音素データベース２６に新規なデータとして蓄積される。なおデータ蓄積用の所定値としては、強い相関関係があるとされる０．７以上の数値を適用するとよい。このようにして、音素データベースが構築される。
【００５２】
以上説明した音素データベースの構築は、音素の入力、データベース検索、相関係数の計算、音素の類似性判断、および新規登録を実行できるモジュールで実行されればよく、このようなモジュールは、例えば波形解析モジュールからの信号を処理できるソフトウエアで構成されているとよい。データベースそのものはＨＤＤなどの外部記憶装置上に構築されればよい。
【００５３】
このようにして構築された音素データベースを用いて、新たに収集された音の音素が異常か否かを判断することができる。上述した音素判断部２８で、新たな音の音素とデータベース２６内のいずれかの音素との相関係数が、異常判断用の所定値以下であれば、新たに収集された音の音素が異常であると判断することができる。
【００５４】
なおこのとき、異常判断用の所定値としては、構築された音素データベースと、どの程度異なったときを異常とするかによって、適宜選択するとよい。この所定値としては、例えば、弱い相関関係があるとされる相関係数の下限値である０．４未満の数値が選択されるとよい。具体的には、０．３，０．２あるいは０．１などとすればよい。なお、少しの違いでも以上と判断すべき場合には、この異常判断用の所定値は、０．４以上の値であってもよい。
【００５５】
さらに、新たに収集された音の音素が異常であると判断された場合に、本発明による監視装置は、予め決められたアクションを実行するアクション実行部を備えている（図５参照のこと）。
【００５６】
具体的なアクションとしては、
・警報メッセージをディスプレイに表示する
・スピーカから警報音を発する
・決まられたメールアドレスに異常発生を知らせるメールを発信する
などが挙げられる。
【００５７】
（継続時間）
一般的に、音は様々な時間的長さを持っているが、音の継続時間も音素の要素の１つである。この継続時間も特徴量の１つとして、継続時間計測部３０で計測され、音素データベース２６に蓄積されるとよい。
【００５８】
このような継続時間に関する処理は、継続時間の測定、および特徴量の蓄積を実行できるモジュールで行われるとよい。このモジュールは、例えば波形解析モジュールからの信号を処理できるソフトウエアで構成されているとよい。
【００５９】
（発生頻度）
一般的に個々の音は、それぞれある発生頻度で発生している。この発生頻度も音素の要素の１つである。この発生頻度も特徴量の１つとして、発生頻度計測部３２で計測され、音素データベース２６に蓄積されるとよい。
【００６０】
このような発生頻度に関する処理は、発生頻度の測定、および特徴量の蓄積を実行できるモジュールで行われるとよい。このモジュールは、例えば波形解析モジュールからの信号を処理できるソフトウエアで構成されているとよい。
【００６１】
（データベースの整理）
さて所定の時間が経過したところで、蓄積された音素同士の類似性を再度チェックして、データベースの整理を行うとよい。データベース整理部３４で、蓄積された音素相互間の相関係数を求めて、データ整理用の所定値を超えた場合は、同じ音素として再認識する。
【００６２】
同じ音素として認識された場合には、いずれか一方を代表する音素とし、他方は削除するとよい。こうして、同じ音素であると判断された音素同士を１つの音素として、蓄積し直すことができる。
【００６３】
ここで用いるデータ整理用の所定値は、先のデータ蓄積用の所定値より小さな値を用いる必要がある。一般に、相関係数が０．４から０．７の範囲では弱い相関があるとされる。このデータベースの整理では、データ整理用の所定値として、０．４以上０．７未満の数値を用いるとよい。
【００６４】
上述したデータベース構築方法では、新たな音が入力された場合、既に蓄積されているデータとの相関を求め、異なる音と判定された音の音素のみを蓄積するようにしている。このため、データベースに膨大なデータ量を蓄積する必要がない。つまりデータ蓄積のために、多くのハードウエア資源を必要とすることがない。さらにデータベースの整理も行うと、よりいっそう多くのハードウエア資源を必要としなくなる。このような手法は、一種のデータ圧縮とも考えられる。
【００６５】
以上説明したデータベースの整理は、相互相関係数の計算、音素の再認識、および同じ音素とされたデータの統合を実行できるモジュールで行われるとよい。このモジュールは、ソフトウエアで実現することができる。
【００６６】
（音素列）
継続的に入力される音は、同じではない場合があり、途中で変化する場合が多い。この場合当然、音素も変化することになる。ここで変化していく音素を、新たに音素列として定義する。
【００６７】
この音素列も、音素と同様の方法で音素列データベース３６を構築するとよい。音素列取得部３８で音素列を取得し、相関係数計算部３９で、音素データベース３６に蓄積されている音素列データと類似性の比較を行う。
【００６８】
音素列判断部４０で、新たな音素列とデータベース３６内のいずれかの音素列との相関係数が、ある所定値以上であれば、同じ音素列と判断できる。この新たな音素列がデータベース３６内のいずれかの音素列と同じ音素列と判断されれば、この新たな音素列は音素列データベース３６には蓄積されない。
【００６９】
相関係数がある所定値未満であれば、新たな音素列とデータベース３６内のいずれかの音素列は、異なる音素列と判断できる。新たな音素列が、データベース３６内のいずれかの音素列と異なると判断されれば、この新たな音素列を音素列データベース３６に新規なデータとして蓄積される。なおこの所定値としては、強い相関関係があるとされる０．７以上の数値を適用するとよい。
【００７０】
さらに上述したデータベースの整理と同様の方法で、音素列データベースの整理を行い、所定の発生頻度の音素列のみをデータベース化するとよい。
【００７１】
音素列データベースは、音素列の取得、データベース検索、相関係数の計算、音素列の類似性判断、および新規登録を実行できるモジュールで実行されればよく、このようなモジュールは、例えば波形解析モジュールからの信号を処理できるソフトウエアで構成されているとよい。データベースそのものはＨＤＤなどの外部記憶装置上に構築されればよい。
【００７２】
このような装置は、マイクロフォンが接続され、上述したデータベース構築方法を実行できるソフトウエアがインストールされたパーソナルコンピュータにて、容易に具現化できる。
【００７３】
以上のような処理を継続的に行うことによって、例えば監視対象となる領域内で発生する音を認識するために必要な、音のデータベースを構築することができる。
【００７４】
上述したように、本発明によるデータベース構築方法によると、音のデータベースの構築は、このような機能を有する装置を、例えば監視すべき環境に置いておくだけで、自動的に行うことができる。
【００７５】
このように本発明によると、音のデータベースの構築に際して、操作者に大きなの負担を強いる必要がない、という大きな特徴がある。
【００７６】
（音素空間）
新たに入力された音が正常か異常かの判断は、音素空間を用いて行うことができる。ここで、この音素空間とは、図６に示すように、音素の種類、逆継続時間、逆発生頻度の３つの次元で形成される空間として定義する。
【００７７】
ここで、継続時間という特徴量に関しては、継続時間の逆数をとることで、音のマスキング効果を考慮することができる。また発生頻度という特徴量に関しても、その逆数をとることも、音のマスキング効果を考慮することになる。一般に、音を連続的に聞かされた場合や、聞かされる頻度が多い場合には、その音に対する人間の感度は、だんだんと低下していくことが知られている。これが、マスキング効果と呼ばれている現象である。
【００７８】
なお、逆継続時間については、連続量として扱うのではなく、所定のセグメントを設けておき、そのセグメントに割り当てるとよい。
【００７９】
図７は、音素空間の作成を説明する機能ブロック図である。このような音素空間の形成は、音素軸の構築、逆継続時間のセグメント化、逆発生頻度の算出、を実行できるモジュールで行うことができる。このモジュールは、例えば音素データベースに蓄積されたデータを用い、ソフトウエアで処理することで実現できる。以下、図７を参照しながら説明する。
【００８０】
まず、音素データベース２６を構成している音素の相関係数を相関係数計算部５０で計算し、次に発生頻度の逆数を発生頻度逆数化部５２で計算し、続いて音素の継続時間の逆数を継続時間逆数化部５４で計算する。
【００８１】
さらに、ソート部５６で最も発生頻度の高い音素を基準とし、相関係数の大きな順番に音素を並べ替える。
【００８２】
一方、セグメント化部５８で上述したように、計算された逆継続時間を所定のセグメントに割り当てることで領域化する。
【００８３】
以上のようなソートされた音素、逆継続時間、逆発生頻度を、３次元化部６０で３次元化して、音素空間を作成する。
【００８４】
（音の認識：音素空間の画像的処理）
例えば音声認識に関する技術では、母音や子音をそれぞれの音素として分離して処理するので、非常に複雑なパターンマッチング処理を行う必要があった。しかし本発明の特徴の１つは、上述の音素空間において相関係数によるソートを行うことである。すなわち、音素データベースを構築している音素データにおいて、相互の相関係数を求め、最も発生頻度の高い音素を基準として、相関係数の大きな順に音素を並べ替えるのである。
【００８５】
つまりこのような処理をすることで、音素データベースを１つの画像情報として取り扱うことができるようになる。この場合、逆発生頻度を画像の強度とするとよい。
【００８６】
また、３次元化部６０で、ソートされた音素の種類軸と逆継続時間軸のなす面において、スムージング処理を施すことによって、各音素の間に結合情報を与えることができる。
【００８７】
図８は、スムージング処理の施された２次元画像を示す。これは、ソートされた音素の種類軸および逆継続時間軸で定義される画像面に、逆発生頻度を画像の強度として表されている状態を示す。ここで、スムージング処理としては、画像全体の濃度の平均化を行っている。このことは、脳の記憶における、記憶の固定化を助ける事象間の連携に、例えることができる。
【００８８】
さらにスムージング処理のほかに、微分や画像強調の処理などによっても、各音素の間に結合情報を与えることができる。
【００８９】
このような音素空間の画像的処理は、音素空間における相関係数によるソート、さらには音素の種類軸と逆継続時間軸のなす面におけるスムージング処理を実行できるモジュールで構成されればよい。このモジュールは、例えば音素データベースに蓄積されたデータを処理できるソフトウエアで構成されているとよい。
【００９０】
このような処理を継続的に行っていくことによって、音素のデータベースに音の知識を蓄積することができる。ここで、例えば正常な音のみを監視装置に入力していき、音素空間を得る。この音素空間は、正常な音素空間として定義することができる。この正常な音素空間は、判断フィルタ作成部６２において、新たに入力された音が、正常な音か異常な音かを判断する際に用いるフィルタとすることができる。
【００９１】
（フィルタリング処理）
このフィルタを用いたフィルタリング処理は、フィルタリング処理部６４において、以下のようにして行うことができる。まず、音素空間の画像の強度を光の透過率と読み替える。次に新たな音について、それから求められる音素の種別と逆継続時間の値にて、音素空間においてマッピングする。続いて、マッピングされた位置における透過率を掛け合わせて、正常な音素空間によるフィルタリングの前後における強度比を算出することができる。この強度比が所定の値より大きなとき、つまり新たな音がよく透過される場合、新たな音は正常な音素空間に蓄積された音素とは異なる、と判断することができる。
【００９２】
このように本発明は、複雑なパターンマッチング処理を必要せず、簡単な処理によって、入力された音が正常か異常かを判断すること可能となる。
【００９３】
さらにこのフィルタリング処理は、ソフトウエアのみならずハードウエアでも実現することができる。具体的には、図９に示すように、新たな入力された音を表示するための２次元発光ダイオードアレイ７０と、フィルタとしての液晶パネル７２と、透過光を検出するための２次元フォトディテクタアレイ７４と、２次元マイクロレンズアレイ７６，７８とを用いて構成することができる。このように音素空間を定義することによって、ハードウエアでもフィルタリング処理を行うことができる。
【００９４】
新たに入力された音における音素は、上述した画像的処理がなされて電気信号に変換され、２次元に配列された発光ダイオードアレイ７０によって画像情報として表示される。表示された音素は、One-to-Manyの光学系を構成するマイクロレンズアレイ７６によって、複数のイメージに複製され、液晶パネル７２に照射される。
【００９５】
このとき、液晶パネル７２がフィルタとして機能する。つまり、液晶パネルには、複数の監視領域の正常な音素空間からなるフィルタ情報を、透過率パターンを変化させることによって表示されている。このフィルタを通過した光は、マイクロレンズアレイ７８を経て、個々のフィルタに対応したフォトディテクタアレイ７４に照射される。フォトディテクタアレイに照射された光は、電気信号に変換される。
【００９６】
このようにして得られたフィルタリング前後の信号強度比から、新たに入力された音が正常か異常かを瞬時に判断することができる。例えば、この信号強度比が−３ｄＢよりも大きい場合には、新たに入力された音が異常な音であると判断することができる。例えば、この「−３ｄＢよりも大きい場合」とは、新たに入力された音による画像の光が、正常な音素空間によって構成されるフィルタを、よく透過することを意味する。
【００９７】
さらに、ハードウエアで上述のようなフィルタ処理ユニットを構成すると、複数の処理ユニットを同一平面上に構築することができる。このような構成によると、複数の判断を、同時にしかも瞬間的に処理することが可能となる。
【００９８】
（状況の変化）
ところで監視する領域において、その状況は時間の経過とともに変化する。つまり、例えば人が出入りするような領域では、日中と夜中ではその状況は変化しており、正常か異常かの判断基準も変化することになる。ここで、一定の標準値を元に判断していたのでは、正しい判断を行うことができない。また平日と休日との違いや、季節による状況変化も当然存在することになる。そこで、クロック情報やカレンダー情報を元に、いくつかの正常な音素空間を構築しておくとよい。
【００９９】
（マハラビノス空間および距離）
さらに本発明では、時間の経過による状況変化に応じて的確な判断を行うために、マハラビノス空間およびマハラビノス距離という概念を導入することを特徴とする。マハラビノス空間とは、正常と認識される情報を行列化し、その非分散の相関情報を抽出した空間である。この行列においては、例えば縦行列成分として特徴項目を、横行列成分として時間軸や空間軸を用いるとよい。
【０１００】
このようにマハラビノス空間は、特徴項目と時間軸や空間軸の情報から行列化を行うことによって構築することができる。
【０１０１】
またマハラビノス距離とは、マハラビノス空間において正常とされる中心位置から、被検査情報をマッピングした座標までの距離をいう。この距離が所定値より大きくなると、正常な状態から離れていると判断することができる。通常この所定値には、４以上の数値が適用される。
【０１０２】
このようなマハラビノス空間およびマハラビノス距離の概念を導入した正常空間の構築を、図１０に示した機能ブロック図を参照しながら説明する。
【０１０３】
（状況変化の判断）
本発明においては、縦行列成分にソートされた音素を、横行列成分に時間軸を当てはめる。まず、マハラビノス参照配列生成部８０において、現在からある所定時間さかのぼって収集した音素データを用いて、マハラビノス参照配列を生成する。次に、マハラビノス距離計算部８２において、この参照配列と新たな音素とのマハラビノス距離を算出する。状況変換判断部８４において、得られたマハラビノス距離が所定の値以上であり、それが所定時間以上連続するようであれば、状況が変化したと判断する。
【０１０４】
このように状況変化の判断は、マハラビノス参照配列の作成、マハラビノス距離の算出・判定を実行できるモジュールで行われるとよい。このモジュールは、例えば音素データベース２６に蓄積されたデータを用い、ソフトウエアで処理することで実現できる。
【０１０５】
このようにして状況の変化を自動的に認識ながら、日中や夜中、さらには平日や休日といった区切りを設けて、音素データベースを構築するとよい。つまり、それぞれの状況における正常音素空間を構築していくのである。
【０１０６】
（特別な音素の学習）
なおこのとき、例えば電話の着信音や来訪を告げるチャイム音など、正常な音素空間とはマハラビノス距離が離れているが、通常起こりうる音に対しては、異常と判断しないように、特別な音素として登録しておくとよい。このように、特別な音素として登録しておくと、次に電話の着信音やチャイム音が入力された場合には、そのことを認識できるようになる。
【０１０７】
さらにこの監視装置に、操作者の声により、例えば何かを命令するような言葉を意味づけして登録しておくと、この監視装置を用いて音声コントロールを実現することも可能である。
【０１０８】
（基本構成例）
以下に、本発明をパーソナルコンピュータ上で実現される基本構成例を説明する。
【０１０９】
図１１は、パーソナルコンピュータ２内の基本ハードウエア構成を示す。マイクロフォン４からの信号が、パーソナルコンピュータ２にインストールされているサウンドボード１００に入力される。またウインドウズ（登録商標）付属のマルチメディアＡＰＩにより、入力された音データはサンプリングされ、ディジタルデータとしてメモリ１０２に格納される。また、ミキサーコントロールを行うことで、ゲイン調整もソフトウエアで実現することができる。なおマイクロフォンは１つとした。
【０１１０】
マルチメディアＡＰＩの命令をＣＰＵ（中央演算装置）１０４で実行することで、マイクロフォンから音データを所定時間取得することができる。取得されたデータに対して高速フーリエ変換（ＦＦＴ）を行うと、スペクトル解析を行うことができる。また高速フーリエ変換の代わりに、Maximum Entropy Method（ＭＥＭ）を適用してもよい。
【０１１１】
サンプリング条件としては、一例として、データ数は１０２４とし、サンプリングレートは２２．０５ｋＨｚ、８ｂｉｔで、モノラルとした。このとき、１サンプルのデータを取得するのに、４６．４ｍＳかかることになる。
【０１１２】
音素データベースや音素列データベースは、例えばＣ言語の構造体で構成されるとよい。データベース構築に関するモジュールは、Ｃ＋＋によってコーディングを行った。またタイマー機能は、割り込みタイマーにより実現し、そこで呼び出される関数において実行手続きを作成しておくとよい。
【０１１３】
音素空間の作成については、まずグローバルメモリを確保すれば、リニアなメモリ空間内に実現することができる。ここで、状況判断に必要な量の空間を確保しておくとよい。
【０１１４】
また一定時間にわたる測定などは、割り込みタイマーを用いて制御するか、別途スレッドを作成して行うとよい。
【０１１５】
マハラビノス空間の計算には、掃き出し法による逆行列演算によっている。もし逆行列演算ができない場合には、シュミット展開を利用するとよい。
【０１１６】
そこでまず上述した方法にて、監視すべき環境の音を取得し解析を行って、音素データベースに蓄積し、音のデータベースを構築していく。さらに、継続時間の測定、データベースの整理を行って、音素データベースが構築される。また音素列データベースも上述のようにして構築しておく。
【０１１７】
新たに入力された音が正常か異常かの判断するために、まず音素空間を定義し、続いてフィルタリング前後の信号強度比から、新たに入力された音が正常か異常かを判断する。
【０１１８】
新たに入力された音が異常であると判断した場合は、予め決められたアクションを実行することになる。このアクションは、例えば、スピーカら１０６から警報を発したり、電子メールを発信したりすることなどである。このようなアクションを行う場合には、その制御に必要なモジュールを追加することになる。例えば、電子メールを発信するような場合には、ＰＯＰサーバへ接続するための制御モジュールを追加するとよい。
【０１１９】
なお、図１１において、アクションを実行するハードウエアは、スピーカ１０６のみを示している。図中、１０８はディスプレイである。
【０１２０】
このようにして、本発明では１つのマイクロフォン４からの信号だけでも、その環境の状況を把握することのできる監視装置をパーソナルコンピュータ２上に構成することができる。本発明による監視装置において、簡単な構成とするために、マイクロフォンを１つにすることが好ましい。
【０１２１】
（具体例１）
基本構成例で説明したように、本発明の監視装置はパーソナルコンピュータ上に構成することができる。そこでこの具体例１では、ノート型パーソナルコンピュータにて本発明の監視装置を構成した。図１２は、ノート型パーソナルコンピュータ１１２に、マイクロフォン４を接続して構成された監視装置を示している。
【０１２２】
通常の環境下で、監視装置を制御するプログラムを実行させて、まずノイズレベルの測定を行い、音素データ、音素列データを蓄積を行う。ある程度データが蓄積されると、マハラビノスの参照行列を作成し、随時入力される音素データに対して、マハラビノス距離を計算して、時間の経過と共に状況の変化を把握しながら、データの分類を行う。そして音素空間を作成する。なおこの場合、蓄積されたデータは、すべて正常な状況における音として記録される。
【０１２３】
このようにして、音のデータベースが構築されると、新たに入力される音が正常か異常かを判断することが可能となる。また操作者に対して、その判断が正しいのか、間違っているのか回答を、ユーザーインターフェイスを通じて要求して、より正確に学習するようにしてもよい。もし異常と判断した場合は、予め決められた何らかのアクションを実行する。
【０１２４】
このように、ノート型パーソナルコンピュータ１１２上で監視装置を構成し室内に設置したところ、通常の監視装置のように目立つことがなく、室内の雰囲気を壊すことがない。
【０１２５】
またこの具体例１では、ノート型パーソナルコンピュータ上で監視装置を構成している。このため、外部電源のない場所でも使用可能である。さらに、外部電源のある場所に設置した場合において、例え停電などによって電気の供給が断たれたとしても、内蔵のバッテリにより少なくとも数時間は動作可能であり、異常を検出し通報などのアクションを行うことができる。
【０１２６】
（具体例２）
上述した監視装置における制御は、ソフトウエアによって構成したが、必ずしもその必要はない。例えば、ＦＰＧＡ(Field Programmable Gate Array)、ＡＳＩＣ(Application Specific IC)やＤＳＰ(Digital Signal Processor)を用いたシステムでも実現することができる。すなわち、ペットロボット、家電製品や携帯電話への組み込みが可能である。
【０１２７】
このように、ペットロボットや家電製品に監視装置を組み込み構成すると、室内の雰囲気を壊すことがなく、好ましく用いることができる。また携帯電話に組み込んでおくと、例え本人に不測の事態が起こったとしても、通報などのアクションを行うことができる。
【０１２８】
（適用例１）
次に、本発明による監視装置を、工場へ適用した場合について説明する。例えば、連続運転している装置について、本発明による監視装置によりその動作音を監視しておき、特異音を検出すると警報を発し、トラブルの拡大を防ぐためのアクションを行わせることもできる。
【０１２９】
また本発明は音だけに限られず、ディジタルサンプリングが可能な波形データであれば、それを監視することが可能である。さらに故障解析を行うために、過渡応答波形を学習する監視装置とすることも可能である。
【０１３０】
（適用例２）
さらに、本発明による監視装置を、家の監視に適用した場合について説明する。具体例１で説明したように、ノート型パーソナルコンピュータ上に本発明の監視装置を構成した。
【０１３１】
上述のように、本発明による監視装置を動作させると、部屋に人がいるのか、留守中なのかなどの状況を把握しつつ、新たに入力された音が正常なのか、異常なのかを判断することができる。また、電話の着信音や来訪を告げるチャイム音を、認識できるようにしておくと、電話の着信や来客の有無などの履歴を残すことができる。
【０１３２】
さらに、外部から電子メールによる問い合わせに応答できる機能を付加しておくと、出先からでも留守宅の状況を把握することができる。
【０１３３】
また本発明による監視装置は、監視対象領域がどのような状況なのかを把握することができるので、例えば病人、赤ちゃんや介護が必要な人などに、異常が起こったときなどにも、通報を行うなどのアクションを起こすこともできる。
【０１３４】
（音素データ例）
適用例２において、室内の状況を半日間測定し、得られたデータからソートした音素をパーソナルコンピュータ画面上に表示して一例を、図１３に示す。
【０１３５】
この音素パターンは、図８に対応した２次元画像であり、ソートされた音素の種類軸および逆継続時間軸で表される画像面に、逆発生頻度を画像強度として表されている。
【０１３６】
さらに正常な音素空間の例を図１４に示す。図１４は、図１３において、正常な音素空間のみを表示している。
【図面の簡単な説明】
【０１３７】
【図１】本発明による監視装置をパーソナルコンピュータ上で実現した例を説明する図である。
【図２】図１に示した監視装置の機能を説明する機能ブロック図である。
【図３】図１に示した監視装置の機能を説明する機能ブロック図である。
【図４】入力された波形から周波数強度分布を求めた結果を説明する図である。
【図５】図１に示した監視装置の機能を説明する機能ブロック図である。
【図６】音素空間を概念的に説明する図である。
【図７】音素空間において、音素をソートした例を説明する図である。
【図８】スムージング処理が施された音素空間を説明する図である。
【図９】フィルタリング処理の様子を模式的に説明する図である。
【図１０】マハラビノス空間およびマハラビノス距離の概念を導入した正常音素空間の構成を説明するブロック図である。
【図１１】パーソナルコンピュータ内のハードウエア構成を示す図である。
【図１２】本発明の監視装置をノート型パーソナルコンピュータで実現した例を示す図である。
【図１３】ソートされた音素をパーソナルコンピュータ画面上に表示した例を示す図である。
【図１４】正常な音素空間をパーソナルコンピュータ画面上に表示した図である。
【符号の説明】
【０１３８】
２  パーソナルコンピュータ
４  マイクロフォン
６  アンプ
８  ゲイン調整部
１０  ノイズレベル取得部
１２  Ａ／Ｄコンバータ
１４  標準偏差計算部
１６  しきい値計算部
１８  音データ取得部
２０  スペクトル解析部
２２  強度分布計算部
２４  音素取得部
２６  音素データベース
２８  音素判断部
２９  アクション実行部
３０  継続時間計測部
３２  発生頻度計測部
３４  データベース整理部
３６  音素列データベース
３８  音素列取得部
３９  相関関係計算部
４０  音素列判断部
４２  データベース整理部
５０  計算部
５２  発生頻度逆数化部
５４  継続時間逆数化部
５８  セグメント化部
６０  ３次元化部
６２  判断フィルタ作成部
６４  フィルタリング処理部
７０  ２次元発光ダイオードアレイ
７２  ２次元液晶パネル
７４  ２次元フォトディテクタアレイ
７６，７８  ２次元マイクロレンズアレイ
８０  マハラビノス参照配列生成部
８２  マハラビノス距離計算部
８４  状況判断部
１００  サウンドボード
１０２  メモリ
１０４  ＣＰＵ
１０６  スピーカ
１０８  ディスプレイ
１１２  ノート型パソーナルコンピュータ
【図１】
2005172548.tif 000003
【図２】
2005172548.tif 000004
【図３】
2005172548.tif 000005
【図４】
2005172548.tif 000006
【図５】
2005172548.tif 000007
【図６】
2005172548.tif 000008
【図７】
2005172548.tif 000009
【図８】
2005172548.tif 000010
【図９】
2005172548.tif 000011
【図１０】
2005172548.tif 000012
【図１１】
2005172548.tif 000013
【図１２】
2005172548.tif 000014
【図１３】
2005172548.tif 000015
【図１４】
2005172548.tif 000016