(57)【特許請求の範囲】
【請求項１】
所定の空間における音響を表すスペクトログラムから、前記所定の空間を分割した複数の空間の範囲のそれぞれにおける、所定の条件を満たす連続音の部分及び所定の条件を満たす断続音の部分を抽出する定性的判定処理と、
前記抽出した連続音の部分の方向、音圧、及び周波数と、前記抽出した断続音の部分の方向、音圧、及び周波数とを表示する音響可視化処理と、
を実行し、
前記音響可視化処理において、
前記抽出した複数の連続音の部分のうち任意の連続音の部分の指定をユーザから受け付け、前記分割した空間の範囲の、周波数軸及び時間軸を備えるスペクトログラムを表示すると共に、当該スペクトログラム内に、前記ユーザに指定された連続音の部分の周波数の範囲及び時間の範囲を示した情報を表示する、
演算装置を備える、音響分析支援システム。
【請求項２】
所定の空間における音響を表すスペクトログラムから、前記所定の空間を分割した複数の空間の範囲のそれぞれにおける、所定の条件を満たす連続音の部分及び所定の条件を満たす断続音の部分を抽出する定性的判定処理と、
前記抽出した連続音の部分の方向、音圧、及び周波数と、前記抽出した断続音の部分の方向、音圧、及び周波数とを表示する音響可視化処理と、
を実行し、
前記音響可視化処理において、
前記抽出した複数の断続音の部分のうち任意の断続音の部分の指定をユーザから受け付け、
前記分割した空間の範囲の、周波数軸及び時間軸を備えるスペクトログラムを表示すると共に、当該スペクトログラム内に、前記ユーザに指定された断続音の部分の周波数の範囲及び時間の範囲を示した情報を表示する、
演算装置を備える、音響分析支援システム。
【請求項３】
前記演算装置は、前記音響可視化処理において、
前記複数の空間の範囲のうちいずれかの範囲の指定を受け付け、指定された範囲における、前記音響の音圧の分布を示す情報を表示する、
請求項１又は２に記載の音響分析支援システム。
【請求項４】
前記演算装置は、前記定性的判定処理において、
前記スペクトログラムから、音圧が時間的に連続して所定の閾値を超えている時間帯を特定し、特定した時間帯の部分を、前記連続音の部分として抽出し、
前記スペクトログラムから、所定の周波数帯を有し所定の時間間隔にて略同一の音圧を有する部分を特定し、特定した部分を、前記断続音の部分として抽出する、
請求項１又は２に記載の音響分析支援システム。
【請求項５】
情報処理装置が、
所定の空間における音響を表すスペクトログラムから、前記所定の空間を分割した複数の空間の範囲のそれぞれにおける、所定の条件を満たす連続音の部分及び所定の条件を満たす断続音の部分を抽出する定性的判定処理と、
前記抽出した連続音の部分の方向、音圧、及び周波数と、前記抽出した断続音の部分の方向、音圧、及び周波数とを表示する音響可視化処理と、
を実行し、
前記音響可視化処理において、
前記抽出した複数の連続音の部分のうち任意の連続音の部分の指定をユーザから受け付け、前記分割した空間の範囲の、周波数軸及び時間軸を備えるスペクトログラムを表示すると共に、当該スペクトログラム内に、前記ユーザに指定された連続音の部分の周波数の範囲及び時間の範囲を示した情報を表示する、
音響分析支援方法。
【請求項６】
情報処理装置が、
所定の空間における音響を表すスペクトログラムから、前記所定の空間を分割した複数の空間の範囲のそれぞれにおける、所定の条件を満たす連続音の部分及び所定の条件を満たす断続音の部分を抽出する定性的判定処理と、
前記抽出した連続音の部分の方向、音圧、及び周波数と、前記抽出した断続音の部分の方向、音圧、及び周波数とを表示する音響可視化処理と、
を実行し、
前記音響可視化処理において、
前記抽出した複数の断続音の部分のうち任意の断続音の部分の指定をユーザから受け付け、前記分割した空間の範囲の、周波数軸及び時間軸を備えるスペクトログラムを表示すると共に、当該スペクトログラム内に、前記ユーザに指定された断続音の部分の周波数の範囲及び時間の範囲を示した領域を表示する、
音響分析支援方法。
【請求項７】
前記情報処理装置が、前記音響可視化処理において、
前記複数の空間の範囲のうちいずれかの範囲の指定を受け付け、指定された範囲における、前記音響の音圧の分布を示す情報を表示する、
請求項５又は６に記載の音響分析支援方法。
【請求項８】
前記情報処理装置が、前記定性的判定処理において、
前記スペクトログラムから、音圧が時間的に連続して所定の閾値を超えている時間帯を特定し、特定した時間帯の部分を、前記連続音の部分として抽出し、
前記スペクトログラムから、所定の周波数帯を有し所定の時間間隔にて略同一の音圧を有する部分を特定し、特定した部分を、前記断続音の部分として抽出する、
請求項５又は６に記載の音響分析支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響分析支援システム、及び音響分析支援方法に関する。
【背景技術】
【０００２】
音の高さ、大きさ、又は長さ等を表示する方法として、スペクトログラムによる表示が知られている。しかしながら、このスペクトログラムが示す内容を解読するには、その分野に関する正確な知見が必要である。したがって、スペクトログラムを用いて詳細な音響分析を行うには、そのような知見を有する技術者等に依頼せざるを得なかった。
【０００３】
この点、音声の解析情報をユーザに提示するための方法として、例えば特許文献１には、音源同士が近く他の音声信号が混合した場合に音源同定を行うための音響処理装置が、推定した音源の方向に基づいて音源の種類を定めた音源の種類を示す音源種類情報のスペクトログラムを出力することが記載されている。
【０００４】
特許文献２には、生体音に含まれる雑音を解析するための生体音解析装置が、連続性ラ音（検出対象の音）であるかの対象データである、生体音に含まれるトーン性成分をスペクトログラムに基づき抽出し、これにより得られた、連続性ラ音の判定結果を結果表示部に出力することが記載されている。
【０００５】
特許文献３には、サウンドスペクトログラムに係るスペクトル包絡とサウンドスペクトログラムとに基づいて断続性ラ音を判定し、生物の呼吸音の判定結果（正常呼吸状態および異常呼吸状態の何れであるか）を表示することが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１８−４０８４８号公報
【特許文献２】特開２０１７−１７０００号公報
【特許文献３】特開２０１２−１２０６８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１はスペクトルグラムを表示するものであって、前記のように特別な技術者でなければその内容を解読することができない。
【０００８】
また、特許文献２、３は、スペクトログラムを用いて音の解析を行うものであるが、スペクトログラムの解析の結果としての正常又は異常の判定の結果を提案するのみであって、スペクトログラムの解析の内容を示したものではない。
【０００９】
本発明はこのような現状に鑑みてなされたものであり、その目的は、ユーザが音響分析を容易に行うことが可能な音響分析支援システム、及び音響分析支援方法を提供することにある。
【課題を解決するための手段】
【００１０】
前記した課題を解決するための本発明の一つは、所定の空間における音響を表すスペクトログラムから、前記所定の空間を分割した複数の空間の範囲のそれぞれにおける、所定の条件を満たす連続音の部分及び断続音の部分を抽出する定性的判定処理と、前記抽出した連続音の部分の方向、音圧、及び周波数と、前記抽出した断続音の部分の方向、音圧、
及び周波数とを表示する音響可視化処理と、を実行する演算装置を備える、音響分析支援システム、とする。
【００１１】
前記した課題を解決するための本発明の他の一つは、情報処理装置が、所定の空間における音響を表すスペクトログラムから、前記所定の空間を分割した複数の空間の範囲のそれぞれにおける、所定の条件を満たす連続音の部分及び所定の条件を満たす断続音の部分を抽出する定性的判定処理と、前記抽出した連続音の部分の方向、音圧、及び周波数と、前記抽出した断続音の部分の方向、音圧、及び周波数とを表示する音響可視化処理と、を実行する、音響分析支援方法、とする。
【発明の効果】
【００１２】
本発明によれば、ユーザが音響分析を容易に行うことができる。
【００１３】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態に係る音響分析支援システムの構成の一例を説明する図である。
【図２】音響データ可視化支援装置が備える機能の一例を説明する図である。
【図３】音響データ可視化支援装置及びユーザ端末が備えるハードウェアの一例を説明する図である。
【図４】音響分析支援システムにおいて行われる処理の概要を説明するフローチャートである。
【図５】スペクトログラム作成処理の一例を説明するフローチャートである。
【図６】定性的判定処理の一例を説明するフローチャートである。
【図７】定性的判定処理の一例を説明するフローチャートである。
【図８】連続音用パラメータの一例を示す図である。
【図９】断続音用パラメータの一例を示す図である。
【図１０】定性的判定結果情報の一例を示す図である。
【図１１】音響データ可視化処理の一例を説明するフローチャートである。
【図１２】入出力画面の一例を示す図である。
【図１３】音圧の分布を表示する音圧分布表示画面の一例を示す図である。
【図１４】表示連続音（定性的連続音）を示すスペクトログラムを表示するスペクトログラムを表示画面の一例を示す図である。
【図１５】表示断続音（定性的断続音）を示すスペクトログラムを表示するスペクトログラムを表示画面の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を参照しつつ説明する。
【００１６】
＜システム構成＞
図１は、本実施形態に係る音響分析支援システム１の構成の一例を説明する図である。
【００１７】
音響分析支援システム１は、種々の音をその周囲の空間に発する音源１０と、音源１０から発せられた音が入力される音声入力装置３０（マイクロフォン等）と、音声入力装置３０に入力された音の信号から作成されたスペクトログラムを解析することにより、その音の特徴を可視化するための情報を作成する音響データ可視化支援装置１００と、音響データ可視化支援装置１００で作成した情報を所定の画面に表示するユーザ端末２０とを含んで構成される。
【００１８】
音源１０は、例えば、音を発する装置、機械、楽器等である。また、音源１０は、人で
あってもよい。
【００１９】
音響分析支援システム１は、例えば、音源１０が設置される工場等の施設、コンサート等を行う音響施設等に設けられる。
【００２０】
なお、音響データ可視化支援装置１００及びユーザ端末２０の間は、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、専用線等の有
線又は無線のネットワーク５によって通信可能に接続される。
【００２１】
＜音響可視化支援装置＞
図２は、音響データ可視化支援装置１００が備える機能の一例を説明する図である。
【００２２】
音響データ可視化支援装置１００は、音響データ作成部１０１、方向分割部１０２、スペクトログラム作成部１０３、連続音抽出部１０４、断続音抽出部１０５、定性的判定部１０６、及び音響データ可視化部１０７を備える。
【００２３】
音響データ作成部１０１は、音声入力装置３０から入力された音を所定の形式の音声データ（以下、音響データ２００という）に変換する。
【００２４】
方向分割部１０２は、音響データ作成部１０１が作成した音響データ２００を、複数の空間の範囲の音響データに分割する。
【００２５】
本実施形態では、この音響データ（方向別音響データ３００）は、音源１０を中心に、音源１０が発した音が伝わる空間を、水平方向の所定角度ごとに分割した複数の空間の範囲のそれぞれの音響データであるものとする。
【００２６】
また、方向分割部１０２は、方向別音響データ３００に対応した、上記複数の空間の範囲のそれぞれにおける音圧の情報を記憶した方向別音圧データ３５０を作成する。
【００２７】
スペクトログラム作成部１０３は、方向分割部１０２が作成した方向別音響データ３００のそれぞれをスペクトログラム（以下、方向別スペクトログラム４００という）に変換する。
【００２８】
連続音抽出部１０４は、スペクトログラム作成部１０３が作成した方向別スペクトログラム４００のそれぞれから、連続音（スペクトログラム上で、水平方向（時間方向）に連続的な成分がある場合のその成分に対応する音。例えば、ピアノ等の長波楽器音。）を抽出したスペクトログラム（連続音スペクトログラム５００）を作成する。
【００２９】
断続音抽出部１０５は、スペクトログラム作成部１０３が作成した方向別スペクトログラム４００のそれぞれから、断続音（スペクトログラム上で、鉛直方向（周波数方向）に連続的な成分がある場合のその成分に対応する音。例えば、打楽器音。）を抽出したスペクトログラム（断続音スペクトログラム６００）を作成する。
【００３０】
定性的判定部１０６は、所定の空間における音響を表すスペクトログラムから、前記所定の空間を分割した複数の空間の範囲のそれぞれにおける、所定の条件を満たす連続音（以下、定性的連続音という）の部分（以下、定性的連続音スペクトログラムという）及び所定の条件を満たす断続音（以下、定性的断続音スペクトログラムという）の部分を抽出する。
【００３１】
なお、定性的判定部１０６は、定性的連続音を特定するためのパラメータである連続音
用パラメータ７２０と、定性的断続音を特定するためのパラメータである断続音用パラメータ７４０とを含む入力パラメータ７００に基づき、特定した連続音及び断続音の方向、音圧、及び周波数を特定する。これらの詳細は後述する。
【００３２】
定性的判定部１０６は、特定した方向、音圧、及び周波数の情報を定性的判定結果情報８００として記憶する。
【００３３】
具体的には、定性的判定部１０６は、連続音抽出部１０６１、及び断続音抽出部１０６２を備える。
【００３４】
連続音抽出部１０６１は、スペクトログラム作成部１０３が作成したスペクトログラム（連続音スペクトログラム５００）から、音圧が時間的に連続して所定の閾値を超えている時間帯を特定し、特定した時間帯の部分を、定性的連続音の部分として抽出する。
【００３５】
連続音抽出部１０６１は、この特定した連続音の部分のスペクトログラムを、定性的連続音スペクトログラムとして記憶する。
【００３６】
断続音抽出部１０６２は、スペクトログラム作成部１０３が作成したスペクトログラム（断続音スペクトログラム６００）から、所定の周波数帯を有し所定の時間間隔にて略同一の音圧を有する部分を特定し、特定した部分を、定性的断続音の部分として抽出する。
【００３７】
断続音抽出部１０６２は、この特定した断続音の部分のスペクトログラムを、定性的断続音スペクトログラムとして記憶する。
【００３８】
次に、音響データ可視化部１０７は、定性的判定部１０６が作成した定性的判定結果情報８００に基づき、定性的判定結果情報８００の内容を表示するための画面情報を作成する。
【００３９】
なお、その後、ユーザ端末２０は、この画面情報を所定の画面に表示する。
【００４０】
また、音響データ可視化部１０７は、音源１０から発せされている音が分布する空間内の複数の空間の範囲（水平方向の角度分割範囲）のうちいずれかの範囲の指定を受け付け、指定された範囲における、音響の音圧の分布を示す情報を表示する。
【００４１】
また、音響データ可視化部１０７は、連続音抽出部１０６１が抽出した連続音の指定を受け付け、指定された連続音の周波数の範囲を示した軸と所定の時間軸とを有するスペクトログラムを表示する。
【００４２】
また、音響データ可視化部１０７は、断続音抽出部１０６２が抽出した断続音の指定を受け付け、指定された断続音の周波数の範囲を示した軸と所定の時間軸とを有するスペクトログラムを表示する。
【００４３】
＜ハードウェア＞
ここで、図３は、音響データ可視化支援装置１００及びユーザ端末２０が備えるハードウェアの一例を説明する図である。音響データ可視化支援装置１００及びユーザ端末２０は、ＣＰＵ等のプロセッサ１１（演算装置）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の記憶デバイス１２、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等の補助記憶デバイス１３、キーボード又はタッチパネル等の入力デバイス１４、モニタ又はディスプレイ等の出力デバイス１５、他の情報処理装置と通信を行うネットワークインターフェイスカード等の通信デバイス１６とを備
え、これらがバスなどの内部通信線により接続される。
【００４４】
以上に説明した、音響データ可視化支援装置１００及びユーザ端末２０の各機能は、専用ハードウェアにより、又は、プロセッサ１１が記憶デバイス１２又は補助記憶デバイス１３に記憶されているプログラムを読み出すことにより実現される。また、各プログラムは、各装置が読み取り可能な記録媒体にあらかじめ記録されていてもよいし、記憶媒体又は所定の通信ネットワークを介して、必要なときに導入されてもよい。
【００４５】
＜処理＞
次に、音響分析支援システム１において行われる処理について説明する。
【００４６】
図４は、音響分析支援システム１において行われる処理の概要を説明するフローチャートである。音響分析支援システム１は、音源１０の音響データ２００からスペクトログラムを作成するスペクトログラム作成処理ｓ１と、スペクトログラム作成処理ｓ１で作成したスペクトログラムを解析する定性的判定処理ｓ３と、定性的判定処理ｓ３で作成した結果を可視化してユーザ端末２０に表示させる音響データ可視化処理ｓ６とを実行する。
【００４７】
以下、これらの処理の詳細を説明する。
【００４８】
＜スペクトログラム作成処理＞
図５は、スペクトログラム作成処理ｓ１の一例を説明するフローチャートである。スペクトログラム作成処理ｓ１は、例えば、音声入力装置３０を介して音源１０から音が音響データ可視化支援装置１００に入力されたことを契機に開始される。
【００４９】
まず、音響データ可視化支援装置１００の音響データ作成部１０１は、音声入力装置３０から入力された音の電気信号を、所定のデータ形式（例えば、ＷＡＶ形式）のデジタルデータ、すなわち音響データ２００に変換する（ｓ１１）。なお、音響データ作成部１０１は、所定の形式のデータを生成するためのデータ生成アルゴリズムを用いて音響データ２００を作成することができる。
【００５０】
次に、方向分割部１０２は、ｓ１１で作成された音響データ２００を解析することにより、当該音響データ２００を、複数の方向成分の音響データ（方向別音響データ３００）に分割する（ｓ１２）。また、方向分割部１０２は、方向別音響データ３００に基づき、各方向成分における音圧を算出することで、方向別音圧データ３５０を作成する（ｓ１２）。
【００５１】
なお、方向分割部１０２は、音源定位又は音源分離に関する所定のデータ生成アルゴリズムを用いて、方向別音響データ３００及び方向別音圧データ３５０を作成することができる。
【００５２】
また、方向分割部１０２は、方向別音響データ３００及び方向別音圧データ３５０を作成するに際して、方向の分割の基準となる方向（基準方向）、及び、分割角度を予め記憶しているものとする。
【００５３】
次に、スペクトログラム作成部１０３は、ｓ１２で作成された方向別音響データ３００のそれぞれをスペクトログラムに変換し、変換したスペクトログラムを方向別スペクトログラム４００として記憶する（ｓ１３）。
【００５４】
例えば、スペクトログラム作成部１０３は、フーリエ変換等により、方向別音響データ３００をスペクトログラムに変換することができる。
【００５５】
スペクトログラム作成部１０３は、ｓ１３で作成した方向別スペクトログラム４００のそれぞれから、連続音の部分を抽出する（ｓ１４）。
【００５６】
具体的には、例えば、スペクトログラム作成部１０３は、ＨＰＳＳ（Harmonic/Percussive Sound Separation）／Ｈａｒｍｏｎｉｃ等により、方向別スペクトログラム４００のそれぞれについて、時間方向に連続的に所定以上の音圧が存在する時間帯の方向別スペクトログラム４００の部分を全て抽出し、抽出したスペクトログラムの部分を連続音スペクトログラム５００として記憶する。
【００５７】
また、スペクトログラム作成部１０３は、ｓ１３で作成した方向別スペクトログラム４００から断続音の部分を抽出する（ｓ１５）。スペクトログラム作成部１０３は、方向別スペクトログラム４００のそれぞれについて、ＨＰＳＳ／Ｐｅｒｃｕｓｓｉｖｅ等により、周波数方向に連続している部分が断続的に現れている方向別スペクトログラム４００の部分を全て抽出し、抽出したスペクトログラムの部分を断続音スペクトログラム６００として記憶する。以上でスペクトログラム作成処理は終了する（ｓ１６）。
【００５８】
＜定性的判定処理＞
図６、７は、定性的判定処理ｓ３の一例を説明するフローチャートである（紙面の都合上、２図に分けている）。定性的判定処理ｓ３は、スペクトログラム作成処理の終了後に開始される。
【００５９】
まず、図６に示すように、音響データ可視化支援装置１００の連続音抽出部１０６１は、方向別音響データ３００が示す各方向の範囲のうち、ある範囲の方向（以下、選択方向という）を選択する（ｓ３１）。
【００６０】
次に、図６に示すように連続音抽出部１０６１は、連続音用パラメータ７２０を取得する（ｓ３２）。連続音抽出部１０６１は、例えば、ユーザから、連続音用パラメータ７２０に係るデータの入力を付け付けてもよいし、予め記憶しておいた連続音用パラメータ７２０を読み出すようにしてもよい。
【００６１】
（連続音用パラメータ）
図８は、連続音用パラメータ７２０の一例を示す図である。連続音用パラメータ７２０は、定性的連続音と判定するために必要な音圧の閾値（連続音用音圧しきい値７２１）と、定性的連続音と判定することが可能な周波数の最大値（連続音用周波数最大７２２）と、定性的連続音と判定することが可能な周波数の最小値（連続音用周波数最小７２３）とを含む。
【００６２】
連続音抽出部１０６１は、ｓ３２で取得した連続音用パラメータ７２０に基づき、連続音抽出部１０４が作成した連続音スペクトログラム５００のうち選択方向のスペクトログラム（以下、選択スペクトログラムという）に存在する、定性的連続音を全て抽出する（ｓ３３）。
【００６３】
具体的には、例えば、連続音抽出部１０６１は、選択スペクトログラムから、連続音用音圧しきい値７２１以上の音圧を有する、時間的に連続している部分を全て抽出する。
【００６４】
選択スペクトログラムから定性的連続音を抽出できた場合は（ｓ３３：ＹＥＳ）、連続音抽出部１０６１は、後述するｓ３４の処理を行い、選択スペクトログラムから定性的連続音を抽出できなかった場合は（ｓ３３：ＮＯ）、連続音抽出部１０６１は、後述するｓ３７の処理を行う。
【００６５】
ｓ３４において連続音抽出部１０６１は、選択方向に定性的連続音が存在する旨を記憶する。また、連続音抽出部１０６１は、ｓ３３で抽出した定性的連続音の総数を計数する（ｓ３５）。
【００６６】
また、連続音抽出部１０６１は、ｓ３３で抽出した各定性的連続音の、音圧及び周波数帯（最大の周波数及び最小の周波数）を特定する（ｓ３６）。その後は、後述するｓ３８の処理が行われる。
【００６７】
ｓ３７において連続音抽出部１０６１は、選択方向に定性的連続音が存在しない旨を記憶する。その後は、後述するｓ３８の処理が行われる。
【００６８】
ｓ３８において連続音抽出部１０６１は、選択方向以外に、定性的連続音の抽出を試みていない他の方向範囲があるか否かを判定する。
【００６９】
定性的連続音の抽出を試みていない他の方向範囲がある場合は（ｓ３８：ＹＥＳ）、連続音抽出部１０６１は、その他の方向範囲の一つを新たな選択方向として選択して、ｓ３２以降の処理を繰り返す。
【００７０】
定性的連続音の抽出を試みていない他の方向範囲がない場合は（ｓ３８：ＮＯ）、連続音抽出部１０６１は、次述するｓ４１の処理を開始する。
【００７１】
次に、図７に示すように、音響データ可視化支援装置１００の断続音抽出部１０６２は、方向別音響データ３００が示す各方向の範囲のうち、ある範囲の方向（選択方向）を選択する（ｓ４１）。
【００７２】
断続音抽出部１０６２は、断続音用パラメータ７４０を取得する（ｓ４２）。断続音抽出部１０６２は、例えば、ユーザから断続音用パラメータ７４０に係るデータの入力を付け付けてもよいし、予め記憶しておいた断続音用パラメータ７４０を読み出すようにしてもよい。
【００７３】
（断続音用パラメータ）
図９は、断続音用パラメータ７４０の一例を示す図である。断続音用パラメータ７４０は、定性的断続音と判定するために必要な音圧の閾値（断続音用音圧しきい値７４１）と、定性的断続音と判定することが可能な周波数の最大値（断続音用周波数最大７４２）と、定性的断続音と判定することが可能な周波数の最小値（断続音用周波数最小７４３）とを含む。
【００７４】
次に、図８に示すように断続音抽出部１０６２は、ｓ４２で取得した断続音用パラメータ７４０に基づき、断続音抽出部１０５が作成した断続音スペクトログラム６００のうち選択方向のスペクトログラム（以下、選択スペクトログラムという）に存在する、定性的断続音を全て抽出する（ｓ４３）。
【００７５】
具体的には、例えば、断続音抽出部１０６２は、選択スペクトログラムから、所定の時間間隔で断続音用音圧しきい値７４１以上の音圧を有する複数の部分を特定する。
【００７６】
選択スペクトログラムから定性的断続音を抽出できた場合は（ｓ４３：ＹＥＳ）、断続音抽出部１０６２は、後述するｓ４４の処理を行い、選択スペクトログラムから定性的断続音できなかった場合は（ｓ４３：ＮＯ）、断続音抽出部１０６２は、後述するｓ４９の処理を行う。
【００７７】
ｓ４４において断続音抽出部１０６２は、選択方向に定性的断続音が存在する旨を記憶する。また、断続音抽出部１０６２は、ｓ４３で抽出した定性的断続音の総数を計数する（ｓ４５）。
【００７８】
また、断続音抽出部１０６２は、ｓ４３で抽出した各断続的連続音の、音圧及び周波数帯（最小の周波数及び最大の周波数）を特定する（ｓ４６）。
【００７９】
また、断続音抽出部１０６２は、ｓ４３で特定した各断続的連続音の間の時間間隔を算出する（ｓ４７）。その後は、ｓ４８の処理が行われる。
【００８０】
具体的には、例えば、断続音抽出部１０６２は、ｓ４６で特定した周波数帯を有する各タイミングの音圧を時系列的に解析し、音圧が同一であるタイミング間の時間の長さを、断続的連続音間の時間間隔とする。
【００８１】
ｓ４９において断続音抽出部１０６２は、選択方向に定性的断続音が存在しない旨を記憶する。その後は、後述するｓ４８の処理が行われる。
【００８２】
ｓ４８において断続音抽出部１０６２は、選択方向以外に、定性的断続音の抽出を試みていない他の方向範囲があるか否かを判定する。
【００８３】
定性的断続音の抽出を試みていない他の方向範囲がある場合は（ｓ４８：ＹＥＳ）、断続音抽出部１０６２は、その他の方向範囲の一つを新たな選択方向として選択し（ｓ５１）、ｓ４２以降の処理を繰り返す。
【００８４】
定性的断続音の抽出を試みていない他の方向範囲がない場合は（ｓ４８：ＮＯ）、断続音抽出部１０６２は、次述するｓ５２の処理を開始する。
【００８５】
ｓ５２において断続音抽出部１０６２は、以上の処理で特定又は算出した結果を、定性的判定結果情報８００に記憶する。
【００８６】
（定性的判定結果情報）
図１０は、定性的判定結果情報８００の一例を示す図である。定性的判定結果情報８００は、分割された方向ごとに、定性的連続音及び定性的断続音の情報を記憶した情報である。
【００８７】
すなわち、定性的判定結果情報８００は、定性的連続音の有無を示す情報８０１、定性的連続音の総数８０２、各定性的連続音の音圧８０３、各定性的連続音の最大周波数８０４、各定性的連続音の最小周波数８０５、定性的断続音の有無を示す情報８０６、定性的断続音の総数８０７、各定性的断続音の音圧８０８、各定性的断続音の最大周波数８０９、各定性的断続音の最小周波数８１０、各定性的断続音の時間間隔８１１、基準方向８１２、及び、分割角度８１３を有する。
【００８８】
なお、基準方向８１２、及び分割角度８１３は、方向分割部１０２が予め設定しておいてもよい。
【００８９】
＜音響データ可視化処理＞
図１１は、音響データ可視化処理ｓ６の一例を説明するフローチャートである。音響データ可視化処理ｓ６は、例えば、定性的判定処理ｓ３の実行終了後、又は、ユーザ端末２０から所定の要求を受信した場合に開始される。
【００９０】
まず、音響データ可視化支援装置１００の音響データ可視化部１０７は、音響データ可視化処理で作成した定性的判定結果情報８００、及び方向別音圧データ３５０を取得する（ｓ６１）。
【００９１】
音響データ可視化部１０７は、ｓ６１で取得した定性的判定結果情報８００、及び方向別音圧データ３５０に基づき、音源１０からの音響に係るスペクトログラムの解析情報を表示するための出力インタフェース、及び、ユーザから音源１０からの音響に係るスペクトログラムの表示を受け付けるための入力インタフェースを備える入出力画面情報を作成する（ｓ６２）。
【００９２】
そして、音響データ可視化部１０７は、ｓ６２で作成した入出力画面の情報をユーザ端末２０に送信する（ｓ６３）。
【００９３】
その後、ユーザ端末２０は、入出力画面の情報を受信すると、この入出力画面を画面に表示すると共に、ユーザから所定の入力（後述）を受け付ける。
【００９４】
なお、ユーザ端末２０は、この所定の入力を受け付けると、この入力に対応する情報を音響データ可視化支援装置１００に表示することを要求する情報を送信する。音響データ可視化支援装置１００は、この要求を受信するとこれに対応した情報をユーザ端末２０に送信し、ユーザ端末２０は、この情報を画面に表示する。
【００９５】
（入出力画面）
図１２は、入出力画面１０００の一例を示す図である。この入出力画面１０００は、定性的判定処理ｓ３により抽出された、スペクトログラム（音響データ）の各方向の情報の項目１０１０、各方向のスペクトログラム（音響データ）の定性的連続音の項目１０２０、及び、各方向のスペクトログラム（音響データ）の定性的断続音の項目１０３０を有する。
【００９６】
方向の情報の項目１０１０には、その方向の情報１０１１（基準方向に対する角度）、及び、その方向の範囲１０１２（分割角度）が表示される。なお、方向の情報の項目１０１０に対して選択欄１０１３を設け、複数の方向のうちユーザが指定した方向の音響の情報が入出力画面１０００に表示されるようにしてもよい。
【００９７】
定性的連続音の項目１０２０には、その定性的連続音の周波数帯１０２１、及び、その定性的連続音の音圧１０２２が表示される。なお、定性的連続音の項目１０２０に対して選択欄１０２３を設け、複数の定性的連続音のうちユーザが指定した定性的連続音の情報が入出力画面１０００に表示されるようにしてもよい。
【００９８】
定性的断続音の項目１０３０には、その定性的断続音の周波数帯１０３１、及び、その定性的断続音の音圧１０３２が表示される。なお、定性的断続音の項目１０３０に対して選択欄１０３３を設け、複数の定性的断続音のうちユーザが指定した定性的断続音の情報が入出力画面１０００に表示されるようにしてもよい。
【００９９】
次に、図１１のｓ６４に示すように、音響データ可視化部１０７は、入出力画面１０００が表示されているユーザ端末２０から、その表示されている音響の方向（表示方向範囲）、連続音（表示連続音）、及び断続音（表示断続音）のいずれかの項目の選択（入力）を受け付ける。
【０１００】
具体的には、例えば、音響データ可視化部１０７は、ユーザ端末２０に表示されている
入出力画面１０００の方向の情報の項目１０１０、定性的連続音の項目１０２０、及び定性的断続音の項目１０３０のいずれかの入力を受け付ける。
【０１０１】
ユーザ端末２０から音響の方向の項目の入力を受け付けた場合、音響データ可視化部１０７は、後述するｓ６５の処理を行う。その後は、ｓ６４の処理が繰り返される。
【０１０２】
ユーザ端末２０から音響の連続音の項目の入力を受け付けた場合、音響データ可視化部１０７は、後述するｓ６６の処理を行う。その後は、ｓ６４の処理が繰り返される。
【０１０３】
ユーザ端末２０から音響の断続音の項目の入力を受け付けた場合、音響データ可視化部１０７は、後述するｓ６７の処理を行う。その後は、ｓ６４の処理が繰り返される。
【０１０４】
ｓ６５において音響データ可視化部１０７は、入出力画面１０００に表示されている表示範囲における音圧の分布を表示する音圧分布表示画面をユーザ端末２０に表示させる。
【０１０５】
図１３は、音圧の分布を表示する音圧分布表示画面の一例を示す図である。音圧分布表示画面２０１０には、表示方向範囲の音圧分布のグラフが表示される。
【０１０６】
具体的には、例えば、音圧分布表示画面２０１０には、表示方向範囲における方向の軸２０１２と、表示方向範囲における各方向の音圧の軸２０１４との関係を示したグラフ２０１６とが表示される。なお、各音圧の値は、方向別音圧データ３５０に基づく。
【０１０７】
ｓ６６において音響データ可視化部１０７は、入出力画面１０００に表示されている表示連続音を示しているスペクトログラムを表示するスペクトログラム表示画面をユーザ端末２０に表示させる。
【０１０８】
図１４は、表示連続音（定性的連続音）を示すスペクトログラムを表示するスペクトログラムを表示画面の一例を示す図である。スペクトログラム表示画面２０２０には、ｓ３で抽出された定性的連続音に対応するスペクトログラムが表示される。
【０１０９】
具体的には、例えば、スペクトログラム表示画面２０２０には、音響の時間軸２０２２と、音響の周波数の軸２０２４と、音圧との関係を示した方向別スペクトログラム４００のうち表示連続音２０２８（全ての定性的連続音が表示されてもよいし、入出力画面１０００に表示されている定性的連続音のみ表示されてもよい）の部分を含むスペクトログラム２０２６が表示される。そして、このスペクトログラム２０２６の周波数の軸２０２４の範囲は、表示周波数帯の範囲に対応している（周波数の軸２０２４の下限値及び上限値が表示周波数帯の範囲に一致しているか、もしくは表示周波数帯の範囲を含む）。
【０１１０】
ｓ６７において音響データ可視化部１０７は、入出力画面１０００に表示されている表示断続音を示しているスペクトログラムを表示するスペクトログラム表示画面をユーザ端末２０に表示させる。
【０１１１】
図１５は、表示断続音（定性的断続音）を示すスペクトログラムを表示するスペクトログラムを表示画面の一例を示す図である。スペクトログラム表示画面２０３０には、特定された定性的断続音に対応するスペクトログラムが表示される。
【０１１２】
具体的には、例えば、スペクトログラム表示画面２０３０には、音響の時間軸２０３２と、音響の周波数の軸２０３４と、音圧との関係を示した、方向別スペクトログラム４００のうち表示方向範囲に係る、表示断続音２０３８（全ての定性的断続音が表示されてもよいし、入出力画面１０００に表示されている定性的断続音のみ表示されてもよい）の部
分を含むスペクトログラム２０３６が表示される。そして、このスペクトログラム２０３６の周波数の軸２０３４の範囲は、表示周波数帯の範囲に対応している（周波数の軸２０３４の下限値及び上限値が表示周波数帯の範囲に一致しているか、もしくは表示周波数帯の範囲を含む）。
【０１１３】
以上のように、本実施形態の音響分析支援システム１は、所定の空間における音響を表すスペクトログラムから、所定の空間を分割した複数の空間の範囲のそれぞれにおける、所定の条件を満たす定性的連続音の部分及び定性的断続音の部分を抽出し、抽出した定性的連続音の部分の方向、音圧、及び周波数と、抽出した定性的断続音の部分の方向、音圧、及び周波数とを表示する。
【０１１４】
この表示内容に基づきユーザは、音響分析にとって重要な影響を与えうる連続音及び断続音とこれらを特徴付けるパラメータである方向、音圧、及び周波数を容易に知ることができるので、ユーザが音響分析の専門家ではなくスペクトルグラムを解読できないような場合であっても、スペクトログラムを意識せずに、容易に音響分析を行うことができる。
【０１１５】
このように、本実施形態の音響分析支援システム１によれば、ユーザが音響分析を容易に行うことができる。
【０１１６】
例えば、音源１０が装置又は機械である場合、これらが正常に稼動している状態で発する音の大きさ、方向、又は周波数と、何らかの異常がある状態で発する音の大きさ、方向、又は周波数とが異なることがある。また、これらは、正常に稼動している状態では発しない音が、何らかの異常がある状態ではある方向又は周波数で発せられる（又はその逆）ことがある。
【０１１７】
そこで、本実施形態の音響分析支援システム１によれば、音響データ可視化支援装置１００は、このような音源１０の稼動状態（正常又は異常）を簡単に検知することができる。例えば、スペクトログラムの解読に関して専門的技術を有しない者であっても、簡単に音源１０の状態を推測することができる。
【０１１８】
また、例えば、音源１０が音響施設に設けられているような場合は、音響施設の音響効果を簡単に検証することができる。
【０１１９】
以上、本発明を実施するための形態について具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
【０１２０】
例えば、音響分析支援システム１における一部の機能は、音響データ可視化支援装置１００以外の他の情報処理装置に設けてもよい。例えば、音響データ作成部１０１、方向分割部１０２、スペクトログラム作成部１０３、連続音抽出部１０４、及び断続音抽出部１０５は、既存の音声処理装置を用いてもよい。
【０１２１】
また、本実施形態では、音響データ（スペクトログラム）の空間の分割方法として、水平方向の分割を行ったが、垂直方向の分割を行うようにしてもよい。
【０１２２】
以上の本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態の音響分析支援システム１においては、前記演算装置は、前記音響可視化処理において、前記複数の空間の範囲のうちいずれかの範囲の指定を受け付け、指定された範囲における、前記音響の音圧の分布を示す情報を表示する、としてもよい。
【０１２３】
このように、ユーザから、複数の空間（方向）の範囲のうちいずれかの範囲（方向）の
指定を受け付け、指定された範囲（方向）における、音響の音圧の分布を示す音圧分布表示画面２０１０を表示することで、ユーザは、特定方向における音の大きさの分布を知ることができる。これにより、音響の空間的な分布を簡単に知ることができる。
【０１２４】
また、本実施形態の音響分析支援システム１においては、前記演算装置は、前記音響可視化処理において、前記抽出した連続音の指定を受け付け、指定された前記連続音の周波数の範囲を示した軸と所定の時間軸とを有するスペクトログラムを表示する、としてもよい。
【０１２５】
このように、ユーザから、連続音の指定を受け付け、指定された連続音の周波数の範囲を示した軸と所定の時間軸とを有するスペクトログラムを表示するスペクトログラム表示画面２０２０を表示することで、ユーザは、特徴的な連続音を発している音響の部分の状態を詳細に把握することができる。
【０１２６】
また、本実施形態の音響分析支援システム１においては、前記演算装置は、前記音響可視化処理において、前記抽出した断続音の指定を受け付け、指定された前記断続音の周波数の範囲を示した軸と所定の時間軸とを有するスペクトログラムを表示する、としてもよい。
【０１２７】
このように、ユーザから、断続音の指定を受け付け、指定された断続音の周波数の範囲を示した軸と所定の時間軸とを有するスペクトログラムを表示するスペクトログラム表示画面２０３０を表示することで、ユーザは、特徴的な断続音を発している音響の部分の状態を詳細に把握することができる。
【０１２８】
また、本実施形態の音響分析支援システム１においては、前記演算装置は、前記定性的判定処理において、前記スペクトログラムから、音圧が時間的に連続して所定の閾値を超えている時間帯を特定し、特定した時間帯の部分を、前記所定の条件を満たす連続音の部分として抽出し、前記スペクトログラムから、所定の周波数帯を有し所定の時間間隔にて略同一の音圧を有する複数の部分を特定し、特定した複数の部分を、前記所定の条件を満たす断続音の部分として抽出する、としてもよい。
【０１２９】
このように、スペクトログラムから、音圧が時間的に連続して閾値を超えている時間帯の部分を、定性的連続音の部分として抽出し、スペクトログラムから、所定の周波数帯を有し所定の時間間隔にて略同一の音圧を有する複数の部分を、定性的断続音の部分として抽出することで、これらの定性的連続音及び定性的断続音の表示に基づきユーザは、音響の特徴を確実に把握し、正確な音響分析を簡単に行うことができる。
【０１３０】
また、本実施形態の音響分析支援方法においては、前記情報処理装置が、前記音響可視化処理において、前記複数の空間の範囲のうちいずれかの範囲の指定を受け付け、指定された範囲における、前記音響の音圧の分布を示す情報を表示する、としてもよい。
【０１３１】
また、本実施形態の音響分析支援方法においては、前記情報処理装置が、前記音響可視化処理において、前記抽出した連続音の指定を受け付け、指定された前記連続音の方向における、前記連続音の周波数の範囲を示した軸と所定の時間軸とを有するスペクトログラムを表示する、としてもよい。
【０１３２】
また、本実施形態の音響分析支援方法においては、前記情報処理装置が、前記音響可視化処理において、前記抽出した断続音の指定を受け付け、指定された前記断続音の方向における、前記断続音の周波数の範囲を示した軸と所定の時間軸とを有するスペクトログラムを表示する、としてもよい。
【０１３３】
また、本実施形態の音響分析支援方法においては、前記情報処理装置が、前記定性的判定処理において、前記スペクトログラムから、音圧が時間的に連続して所定の閾値を超えている時間帯を特定し、特定した時間帯の部分を、前記連続音の部分として抽出し、前記スペクトログラムから、所定の周波数帯を有し所定の時間間隔にて略同一の音圧を有する部分を特定し、特定した部分を、前記断続音の部分として抽出する、としてもよい。
【符号の説明】
【０１３４】
１  音響分析支援システム、１０  音源、１００  音響データ可視化支援装置
【要約】      （修正有）【課題】ユーザが音響分析を容易に行う音響分析支援システム及び音響分析支援方法を提供する。【解決手段】音響分析支援システム１において、、所定の空間における音響を表すスペクトログラムから、その所定の空間を分割した複数の空間の範囲のそれぞれにおける、所定の条件を満たす連続音の部分及び所定の条件を満たす断続音の部分を抽出する定性的判定処理と、抽出した連続音の部分の方向、音圧及び周波数と、抽出した断続音の部分の方向、音圧、及び周波数とを表示する音響可視化処理と、を実行する演算装置を備える音響データ可視化支援装置１００を有する。。【選択図】図１【図１】
0006759479.tif 000002
【図２】
0006759479.tif 000003
【図３】
0006759479.tif 000004
【図４】
0006759479.tif 000005
【図５】
0006759479.tif 000006
【図６】
0006759479.tif 000007
【図７】
0006759479.tif 000008
【図８】
0006759479.tif 000009
【図９】
0006759479.tif 000010
【図１０】
0006759479.tif 000011
【図１１】
0006759479.tif 000012
【図１２】
0006759479.tif 000013
【図１３】
0006759479.tif 000014
【図１４】
0006759479.tif 000015
【図１５】
0006759479.tif 000016