(57)【要約】【課題】音響信号の基本的な音響成分の強度分布の把握を容易化する。【解決手段】分布算定部２４は、定位軸Ｘと周波数軸Ｙとが設定された定位-周波数平面における音響信号ｓ(t)の強度分布Ｄ1を音響信号ｓ(t)の単位区間毎に算定する。時間平滑部２６は、分布算定部２４が算定した強度分布Ｄ1の各信号強度Ｅ1(x,y,m)を時間軸方向に平滑化する。表示制御部２８は、時間平滑部２６による平滑化後の強度分布Ｄ2を表示装置１６に表示させる。【選択図】図１
2013150140.tif 000002
【特許請求の範囲】
【請求項１】
定位軸と周波数軸とが設定された定位-周波数平面における音響信号の強度分布を音響信号の単位区間毎に算定する分布算定手段と、
前記強度分布の各信号強度を時間軸方向に平滑化する時間平滑手段と、
前記平滑化後の強度分布を表示装置に表示させる表示制御手段と
を具備する音響解析装置。
【請求項２】
前記表示制御手段は、前記定位-周波数平面内の各座標点の表示態様を信号強度に応じて設定する
請求項１の音響解析装置。
【請求項３】
前記平滑化後の強度分布の各信号強度を２値化する２値化手段を具備し、
前記表示制御手段は、前記２値化後の強度分布を表示させる
請求項１または請求項２の音響解析装置。
【請求項４】
前記２値化後の強度分布について、膨張処理と収縮処理とを含むモルフォロジー処理を実行する画像処理手段を具備し、
前記表示制御手段は、前記モルフォロジー処理後の強度分布を表示させる
請求項３の音響解析装置。
【請求項５】
前記２値化後の強度分布を複数のクラスタに分類する分類手段を具備し、
前記画像処理手段は、前記分類手段による分類後のクラスタ毎に個別にモルフォロジー処理を実行する
請求項４の音響解析装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号を解析して結果を表示する技術に関する。
【背景技術】
【０００２】
定位軸と周波数軸とが設定された定位-周波数平面での音響信号の強度分布を表示装置に表示させる技術が例えば特許文献１に開示されている。利用者は、表示画像を視認することで、音響信号の各周波数成分の定位方向と信号強度とを確認することが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５８６７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、音響信号には、安定的に存在する基本的（支配的）な音響成分のほかに瞬間的に発生する音響成分が包含され得る。したがって、特許文献１の技術のように音響信号のうち特定の時点における強度分布を表示しただけでは、基本的な音響成分の強度分布と瞬間的に発生する音響成分の強度分布とが定位-周波数平面内で混在し、音響信号のうち基本的な音響成分のみの強度分布の傾向を利用者が把握し難いという問題がある。以上の事情を考慮して、本発明は、音響信号の基本的な音響成分の強度分布を利用者が容易に把握できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。
【０００６】
本発明の第１態様の音響解析装置は、定位軸と周波数軸とが設定された定位-周波数平面における音響信号の強度分布（例えば強度分布Ｄ1）を音響信号の単位区間毎に算定する分布算定手段（例えば分布算定部２４）と、強度分布の各信号強度を時間軸方向に平滑化する時間平滑手段（例えば時間平滑部２６）と、平滑化後の強度分布（例えば強度分布Ｄ2〜Ｄ4）を表示装置に表示させる表示制御手段（例えば表示制御部２８）とを具備する。以上の構成では、定位-周波数平面での各信号強度が時間軸方向に平滑化される。すなわち、音響信号のうち瞬間的に発生する音響成分の信号強度は抑制される。したがって、時間平滑部による平滑化後の強度分布を視認した利用者は、平滑化前の強度分布を表示した場合と比較して、音響信号の基本的な音響成分の強度分布を容易に把握することが可能である。
【０００７】
本発明の好適な態様において、表示制御手段は、定位-周波数平面内の各座標点の表示態様を信号強度に応じて設定する。以上の態様によれば、定位-周波数平面内の各座標点の表示態様が音響信号の信号強度に応じて設定されるから、音響信号の定位方向および信号強度の双方を利用者が直観的に把握できるという利点がある。なお、表示態様とは、観察者が視覚的に認識できる画像の性状（典型的には階調や色彩）を意味する。
【０００８】
本発明の好適な態様の音響解析装置は、平滑化後の強度分布の各信号強度を２値化する２値化手段（例えば２値化部３２）を具備し、表示制御手段は、２値化後の強度分布（例えば強度分布Ｄ3，Ｄ4）を表示させる。以上の態様では、時間平滑部による平滑化後に２値化された各信号強度の強度分布が表示されるから、音響信号のうち基本的な音響成分の強度分布を利用者が容易に把握できるという利点がある。なお、以上の態様の具体例は、例えば第２実施形態として後述される。
【０００９】
本発明の好適な態様の音響解析装置は、２値化後の強度分布について、膨張処理と収縮処理とを含むモルフォロジー処理を実行する画像処理手段（例えば画像処理部３４）を具備し、表示制御手段は、モルフォロジー処理後の強度分布（例えば強度分布Ｄ4）を表示させる。以上の態様では、２値化後の強度分布に存在する孤立点がモルフォロジー処理で除去されるから、音響信号の基本的な音響成分の強度分布を利用者が容易に把握できるという効果は格別に顕著である。以上の態様の具体例は、例えば第３実施形態として後述される。
【００１０】
本発明の好適な態様の音響解析装置は、２値化後の強度分布を複数のクラスタに分類する分類手段（例えば分類部３６）を具備し、画像処理手段は、分類手段による分類後のクラスタ毎に個別にモルフォロジー処理を実行する。以上の構成によれば、強度分布を分類したクラスタ毎にモルフォロジー処理を実行することで音響信号の音源毎に強度分布が明確に分離されるから、音源毎の強度分布を利用者が明確に把握できるという利点がある。以上の態様の具体例は、例えば第４実施形態として後述される。
【００１１】
本発明の第２態様の音響解析装置は、定位軸と周波数軸とが設定された定位-周波数平面における音響信号の強度分布（例えば強度分布Ｄ1）を音響信号の単位区間毎に算定する分布算定手段（例えば分布算定部２４）と、強度分布の各信号強度を２値化する２値化手段（例えば２値化部３２）と、２値化後の強度分布（例えば強度分布Ｄ2〜Ｄ4）を表示装置に表示させる表示制御手段（例えば表示制御部２８）とを具備する。以上の態様では、２値化後の各信号強度の強度分布が表示されるから、音響信号のうち基本的な音響成分の強度分布を利用者が容易に把握できるという利点がある。
【００１２】
以上の各態様に係る音響解析装置は、音響信号の解析に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、定位軸と周波数軸とが設定された定位-周波数平面における音響信号の強度分布を音響信号の単位区間毎に算定する分布算定処理と、強度分布の各信号強度を時間軸方向に平滑化する時間平滑処理と、平滑化後の強度分布を表示装置に表示させる表示制御処理とをコンピュータに実行させる。以上のプログラムによれば、本発明に係る音響解析装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態における音響解析装置のブロック図である。
【図２】分布算定部のブロック図である。
【図３】分布平滑部による平滑化前の強度分布の模式図である。
【図４】分布平滑部による平滑化後の強度分布の模式図である。
【図５】時間平滑部による平滑化後の強度分布の模式図である。
【図６】第２実施形態における音響解析装置のブロック図である。
【図７】２値化部による２値化後の強度分布の模式図である。
【図８】第３実施形態における音響解析装置のブロック図である。
【図９】画像処理部による処理後の強度分布の模式図である。
【図１０】第４実施形態における音響解析装置のブロック図である。
【図１１】第４実施形態における強度分布の模式図である。
【図１２】第５実施形態における音響解析装置のブロック図である。
【図１３】第５実施形態における強度分布の模式図である。
【発明を実施するための形態】
【００１４】
＜第１実施形態＞
図１は、本発明の第１実施形態における音響解析装置１００Aのブロック図である。図１に示すように、音響解析装置１００Aには信号供給装置２００が接続される。信号供給装置２００は、左チャネルの音響信号ｓL(t)と右チャネルの音響信号ｓR(t)とで構成されるステレオ形式の音響信号ｓ(t)を音響解析装置１００Aに供給する。音響信号ｓL(t)および音響信号ｓR(t)は、複数の音源の各々に対応する音像が相異なる位置に定位するように収音または加工（例えば左右チャネル間の振幅比や遅延量を変更する処理）された音響信号である。周囲の音響を収音して音響信号ｓ(t)を生成する収音機器（ステレオマイク）や、可搬型または内蔵型の記録媒体から音響信号ｓ(t)を取得する再生装置や、通信網から音響信号ｓ(t)を受信する通信装置が信号供給装置２００として採用され得る。
【００１５】
音響解析装置１００Aは、演算処理装置１２と記憶装置１４と表示装置１６とを具備するコンピュータシステムで実現される。記憶装置１４は、演算処理装置１２が実行するプログラムＰGMや演算処理装置１２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として任意に採用される。なお、音響信号ｓ(t)を記憶装置１４に格納した構成（したがって信号供給装置２００は省略される）も採用され得る。
【００１６】
演算処理装置１２は、記憶装置１４に格納されたプログラムＰGMを実行することで、音響信号ｓ(t)の音像が定位する方向（以下「定位方向」という）と音響信号ｓ(t)の信号強度（振幅やパワー）とを解析するための複数の要素（周波数分析部２２，分布算定部２４，時間平滑部２６，表示制御部２８）として機能する。なお、演算処理装置１２の各機能を複数の集積回路に分散した構成や、専用の電子回路（ＤＳＰ）が各機能を実現する構成も採用され得る。表示装置１６は、演算処理装置１２による制御のもとで各種の画像を表示する。第１実施形態の表示装置１６は、演算処理装置１２による音響信号ｓ(t)の解析結果を表示する。
【００１７】
周波数分析部２２は、音響信号ｓL(t)のスペクトルＳL(k,m)と音響信号ｓR(t)のスペクトルＳR(k,m)とを時間軸上の単位期間（フレーム）毎に順次に生成する。記号ｋは、周波数軸上の任意の１個の周波数（帯域）を指定する変数であり、記号ｍは、時間軸上の任意の１個の単位期間（時間軸上の特定の時点）を指定する変数である。スペクトルＳL(k,m)およびスペクトルＳR(k,m)の生成には短時間フーリエ変換等の公知の周波数分析が任意に採用され得る。なお、通過帯域が相違する複数の帯域通過フィルタで構成されるフィルタバンクを周波数分析部２２として採用することも可能である。
【００１８】
分布算定部２４は、相互に直交する定位軸と周波数軸とが設定された座標平面（以下「定位-周波数平面」という）における音響信号ｓ(t)の強度分布Ｄ1を音響信号ｓ(t)の単位期間毎に算定する。図２は、第１実施形態における分布算定部２４のブロック図である。図２に示すように、分布算定部２４は、定位算定部２４２と強度算定部２４４と分布平滑部２４６とを含んで構成される。
【００１９】
定位算定部２４２は、音響信号ｓ(t)の複数の周波数成分の各々の定位方向Ｐ(k,m)を単位期間毎に算定する。定位方向Ｐ(k,m)の算定には公知の技術が任意に採用され得るが、例えば左チャネルの音響信号ｓL(t)の振幅|ＳL(k,m)|と右チャネルの音響信号ｓR(t)の振幅|ＳR(k,m)|との比（|ＳR(k,m)|／|ＳL(k,m)|）を利用した以下の数式(1)の演算が好適である。数式(1)については、例えば、M. Vinyes, J. Bonada, A. Loscos, "Demixing Commercial Music Productions wia Human-Assisted Time-Frequency Masking"，Audio Engineering Society 120th Convention, France, 2006にも詳述されている。
【数１】
2013150140.tif 000003
【００２０】
図２の強度算定部２４４は、音響信号ｓ(t)の各周波数成分の信号強度（振幅またはパワー）Ｅ0(k,m)を単位期間毎に算定する。第１実施形態の強度算定部２４４は、音響信号ｓL(t)の信号強度と音響信号ｓR(t)の信号強度との加重和（加重平均）を信号強度Ｅ0(k,m)として算定する。左右チャネルの各加重値は、定位算定部２４２が算定した定位方向Ｐ(k,m)に応じて算定される。具体的には、定位方向Ｐ(k,m)が正面方向に対して左寄りであるほど左チャネルの音響信号ｓL(t)の加重値を増加させ、定位方向Ｐ(k,m)が正面方向に対して右寄りであるほど右チャネルの音響信号ｓR(t)の加重値を増加させる。ただし、信号強度Ｅ0(k,m)の算定には公知の技術が任意に採用され得る。例えば、音響信号ｓL(t)および音響信号ｓR(t)の一方の振幅またはパワーを信号強度Ｅ0(k,m)として算定する構成や、音響信号ｓL(t)の信号強度と音響信号ｓR(t)の信号強度との単純平均を信号強度Ｅ0(k,m)として算定する構成も好適である。
【００２１】
定位算定部２４２が算定する定位方向Ｐ(k,m)と強度算定部２４４が算定する信号強度Ｅ0(k,m)とに応じて定位-周波数平面での音響信号ｓ(t)の強度分布Ｄ0が単位期間毎に特定される。図３には、１個の単位期間における強度分布Ｄ0が例示されている。図３に示すように、強度分布Ｄ0は、定位軸Ｘと周波数軸Ｙとが設定された定位-周波数平面における信号強度Ｅ0(k,m)の分布である。図３では、定位軸Ｘと周波数軸Ｙとに沿って定位-周波数平面内に行列状に配列する座標点（格子点）のうち、周波数軸Ｙ上の各周波数と、定位軸Ｘ上でその周波数に対応する定位方向Ｐ(k,m)とで特定される座標点が、その周波数の信号強度Ｅ0(k,m)に応じた表示態様（階調）で表示されている。すなわち、図３からも理解されるように、音響信号ｓ(t)の各周波数成分の定位方向Ｐ(k,m)および信号強度Ｅ0(k,m)が、定位-周波数平面内に点在する座標点で表現される。
【００２２】
図２の分布平滑部２４６は、定位算定部２４２および強度算定部２４４が算定した強度分布Ｄ0を定位-周波数平面内で平滑化した強度分布Ｄ1を算定する。図４は、音響信号ｓ(t)の１個の単位期間の強度分布Ｄ1の説明図である。強度分布Ｄ1は、定位軸Ｘと周波数軸Ｙとが設定された定位-周波数平面における信号強度Ｅ1(x,y,m)の分布である。図３では、定位-周波数平面内に行列状に配列する複数の座標点のうち、周波数軸Ｙ上に離散的に設定された周波数ｙと、定位軸Ｘ上に離散的に設定された定位方向ｘとで特定される座標点が、定位方向ｘおよび周波数ｙに対応する信号強度Ｅ1(x,y,m)に応じた表示態様（階調）で表示されている。図４から理解されるように、音響信号ｓ(t)の強度分布Ｄ1は、定位-周波数平面内での各周波数成分の粗密に応じた拡がりを持った分布として表現される。
【００２３】
具体的には、分布平滑部２４６は、強度分布Ｄ0に対する所定の分布関数の畳込で強度分布Ｄ1を生成する。例えばガウス分布を強度分布Ｄ0に畳込む場合を想定すると、強度分布Ｄ1の各信号強度Ｅ1(x,y,m)は以下の数式(2)の演算で算定される。
【数２】
2013150140.tif 000004
【００２４】
数式(2)の記号κは所定の定数である。また、数式(2)の記号ｐ(k,m)は、定位算定部２４２が算定した定位方向Ｐ(k,m)を、定位軸Ｘ上に離散的に設定された各定位方向ｘに変換した数値である。例えば定位方向Ｐ(k,m)が最小値Ｐminから最大値Ｐmaxまでの範囲内の数値である場合、定位軸Ｘのうち０から最大値Ｄmaxまでの範囲内で離散的に変化する数式(2)の定位方向ｐ(k,m)は、以下の数式(3)で算定される。
【数３】
2013150140.tif 000005
【００２５】
数式(2)の記号Ｆ(k)は、第ｋ番目の周波数を、周波数軸Ｙ上に離散的に設定された各周波数ｙに変換した数値である。周波数軸Ｙのうち０から最大値Ｆmaxまでの範囲内で離散的に変化するＫ個の周波数Ｆ(k)は、以下の数式(4)で算定される。
【数４】
2013150140.tif 000006
【００２６】
図１の時間平滑部２６は、分布算定部２４が単位期間毎に算定した強度分布Ｄ1の各信号強度Ｅ1(x,y,m)を時間軸方向に平滑化することで強度分布Ｄ2を算定する。強度分布Ｄ2は、定位軸Ｘと周波数軸Ｙとが設定された定位-周波数平面における信号強度Ｅ2(x,y,m)の分布である。具体的には、時間平滑部２６は、以下の数式(5)で表現される通り、第ｍ番目の単位期間を最後尾とする合計Ｍ個（Ｍは２以上の自然数）の単位期間にわたる信号強度Ｅ1(x,y,m-M+1)〜Ｅ1(x,y,m)の移動平均（単純移動平均）を第ｍ番目の単位期間の信号強度Ｅ2(x,y,m)として算定する。したがって、各信号強度Ｅ2(x,y,m)の経時的な変動は平滑化される。
【数５】
2013150140.tif 000007
【００２７】
図１の表示制御部２８は、時間平滑部２６による平滑化後の強度分布Ｄ2を表示装置１６に表示させる。図５は、平滑化後の強度分布Ｄ2の表示例である。図５に示すように、表示制御部２８は、周波数軸Ｙ上の各周波数ｙと定位軸Ｘ上の各定位方向ｘとで特定される座標点の表示態様（階調や色彩）を、その周波数ｙとその定位方向ｘとに対応する信号強度Ｅ2(x,y,m)に応じて制御することで定位-周波数平面に強度分布Ｄ2を表示させる。例えば、信号強度Ｅ2(x,y,m)が大きいほど座標点の階調は高階調に設定される。なお、座標点の表示態様は適宜に変更される。例えば、信号強度Ｅ2(x,y,m)が大きいほど長波長色（例えば赤色）に近付き、信号強度Ｅ2(x,y,m)が小さいほど短波長色（例えば青色）に近付くように各座標点の表示色を信号強度Ｅ2(x,y,m)に応じて可変に制御することも可能である。なお、定位軸Ｘや周波数軸Ｙのスケールは任意であり、例えば線形スケールのほか対数スケールを採用することも可能である。また、周波数軸Ｙについては聴感特性を考慮したメルスケールを採用することもできる。
【００２８】
表示制御部２８は、音響信号ｓ(t)のうち特定の時点（以下「対象時点」という）に対応する単位期間の強度分布Ｄ2を表示装置１６に表示させる。例えば、音響信号ｓ(t)のうち利用者が入力装置（図示略）に対する操作で指定した時点や、音響信号ｓ(t)を再生する場合の現在の再生点を対象時点として強度分布Ｄ2が表示される。対象時点は時間軸上で随時に移動する。対象時点の移動（例えば音響信号ｓ(t)の再生進行）とともに強度分布Ｄ2の表示は随時に更新される。すなわち、強度分布Ｄ2の時系列（経時的な変化）が表示装置１６に表示させる。
【００２９】
以上に説明した第１実施形態では、定位-周波数平面における強度分布Ｄ1の各信号強度Ｅ1(x,y,m)を時間軸方向に平滑化することで各信号強度Ｅ2(x,y,m)の急激な変動が抑制される。したがって、強度分布Ｄ1を表示装置１６に表示させる構成と比較すると、音響信号ｓ(t)の基本的な音響成分の強度分布を利用者が容易に把握できるという利点がある。また、第１実施形態では、定位-周波数平面の各座標点が信号強度Ｅ2(x,y,m)に応じた表示態様に制御されるから、音響信号ｓ(t)の定位方向および信号強度を利用者が視覚的および直観的に把握できるという利点もある。しかも、第１実施形態では、各単位期間の強度分布Ｄ2の時系列が表示装置１６に表示されるから、利用者は、音響信号ｓ(t)の基本的な音響成分について強度分布Ｄ2の時間的な推移を容易に把握することが可能である。
【００３０】
＜第２実施形態＞
本発明の第２実施形態を以下に説明する。以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【００３１】
図６は、第２実施形態における音響解析装置１００Bのブロック図である。図６に示すように、第２実施形態の音響解析装置１００Bは、第１実施形態の音響解析装置１００Aに２値化部３２を追加した構成である。２値化部３２は、時間平滑部２６が生成した強度分布Ｄ2の各信号強度Ｅ2(x,y,m)を２値化することで強度分布Ｄ3を生成する。強度分布Ｄ3は、定位-周波数平面における信号強度Ｅ3(x,y,m)の分布である。信号強度Ｅ2(x,y,m)が所定の閾値εを下回る場合に信号強度Ｅ3(x,y,m)は数値ｅ0（例えば０）に設定され、信号強度Ｅ2(x,y,m)が閾値εを上回る場合に信号強度Ｅ3(x,y,m)は数値ｅ1（例えば１）に設定される。数値ｅ0は、音響信号ｓ(t)の音響成分が存在しないことを意味し、数値ｅ1は、音響信号ｓ(t)の音響成分が存在することを意味する。
【００３２】
第２実施形態の表示制御部２８は、２値化部３２による２値化後の強度分布Ｄ3を表示装置１６に表示させる。図７は、強度分布Ｄ3の表示例である。図７に示すように、表示制御部２８は、定位-周波数平面内の各座標点を、その座標点に対応する信号強度Ｅ3(x,y,m)に応じた表示態様（階調や色彩）に制御することで定位-周波数平面に強度分布Ｄ3を表示させる。例えば、信号強度Ｅ3(x,y,m)が数値ｅ1に設定された座標点（以下「音像点」という）は高階調（白色）で表示され、信号強度Ｅ3(x,y,m)が数値ｅ0に設定された座標点は低階調（黒色）で表示される。すなわち、定位-周波数平面内に音像点が表示される。強度分布Ｄ3の表示は対象時点の移動とともに随時に更新される。
【００３３】
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、平滑化後の強度分布Ｄ2の各信号強度Ｅ2(x,y,m)を２値化した強度分布Ｄ3が表示装置１６に表示されるから、音響信号ｓ(t)のうち基本的な音響成分の強度分布の概略的な傾向を利用者が直観的に把握できるという利点がある。
【００３４】
＜第３実施形態＞
図８は、第３実施形態における音響解析装置１００Cのブロック図である。図８に示すように、第３実施形態の音響解析装置１００Cは、第２実施形態の音響解析装置１００Bに画像処理部３４を追加した構成である。画像処理部３４は、２値化部３２が生成した強度分布Ｄ3の画像についてモルフォロジー（morphology）処理を実行することで強度分布Ｄ4を生成する。強度分布Ｄ4は、定位-周波数平面における信号強度Ｅ4(x,y,m)の分布である。信号強度Ｅ4(x,y,m)は、信号強度Ｅ3(x,y,m)と同様に数値ｅ0または数値ｅ1に設定される。
【００３５】
画像処理部３４が実行するモルフォロジー処理は、強度分布Ｄ3にて孤立的に散在する音像点（信号強度Ｅ3(x,y,m)が数値ｅ1に設定された座標点）を除去する画像処理であり、膨張処理と収縮処理とを含んで構成される。膨張処理は、定位-周波数平面内の１個の座標点（以下「着目座標点」という）を順次に選択し、着目座標点の周囲に位置する８個の座標点のうち少なくとも１個の座標点の信号強度Ｅ3(x,y,m)が数値ｅ1である場合に、着目座標点の信号強度Ｅ3(x,y,m)を数値ｅ1に設定する処理である。収縮処理は、着目座標点の周囲の位置する８個の座標点のうち少なくとも１個の座標点の信号強度Ｅ3(x,y,m)がｅ0である場合に、着目座標点の信号強度Ｅ3(x,y,m)を数値ｅ0に設定する処理である。
【００３６】
第３実施形態の画像処理部３４は、Ｎ1回（Ｎ1は自然数）にわたる膨張処理の反復後に収縮処理をＮ2回（Ｎ2は自然数）にわたり反復するモルフォロジー処理を実行することで強度分布Ｄ4を生成する。収縮処理の回数Ｎ2は膨張処理の回数Ｎ1を上回る（Ｎ2＞Ｎ1）。例えば、膨張処理の回数Ｎ1を１回または２回ほど上回る回数Ｎ2（Ｎ2＝Ｎ1＋１またはＮ2＝Ｎ1＋２）だけ収縮処理が反復される。
【００３７】
第３実施形態の表示制御部２８は、画像処理部３４によるモルフォロジー処理の実行後の強度分布Ｄ4を表示装置１６に表示させる。図９は、強度分布Ｄ4の表示例である。第２実施形態と同様に、表示制御部２８は、定位-周波数平面内の各座標点を、その座標点に対応する信号強度Ｅ4(x,y,m)に応じた表示態様（階調や色彩）に制御することで強度分布Ｄ4を表示させ、対象時点の移動とともに随時に更新する。図９から把握される通り、図７に例示した強度分布Ｄ3にて点在する音像点が画像処理部３４によるモルフォロジー処理の実行後の強度分布Ｄ4では除去され、音響信号ｓ(t)のうち基本的な音響成分に対応する音像点の集合のみが表示装置１６に表示される。
【００３８】
第３実施形態においても第１実施形態や第２実施形態と同様の効果が実現される。また、第３実施形態では、定位-周波数平面内で孤立する音像点が除去されるから、音響信号ｓ(t)のうち基本的な音響成分の強度分布を利用者が明確に把握できるという利点がある。
【００３９】
なお、画像処理部３４が実行するモルフォロジー処理の内容は以上の例示に限定されない。例えば、モルフォロジー処理の１種であるオープニング処理でも、強度分布Ｄ3で点在する音像点を除去することが可能である。オープニング処理は、Ｎ回にわたる収縮処理の反復後に同数（Ｎ回）の膨張処理を反復する画像処理である。また、モルフォロジー処理には、Ｎ回の膨張処理の反復後に同数（Ｎ回）の収縮処理を反復するクロージング処理もある。オープニング処理の実行後にクロージング処理を実行するモルフォロジー処理や、クロージング処理の実行後にオープニング処理を実行するモルフォロジー処理でも、強度分布Ｄ3の音像点を除去することが可能である。以上の説明から理解されるように、画像処理部３４が実行するモルフォロジー処理は、強度分布Ｄ3に点在する音像点を除去するために膨張処理と収縮処理とを反復する画像処理として包括される。ただし、前述の例示のようにＮ1回にわたる膨張処理の反復後にそれを上回るＮ2回の収縮処理を実行するモルフォロジー処理によれば、強度分布Ｄ3の音像点を特に効果的に除去することが可能である。
【００４０】
＜第４実施形態＞
図１０は、第４実施形態における音響解析装置１００Dのブロック図である。図１０に示すように、第４実施形態の音響解析装置１００Dは、第３実施形態の音響解析装置１００Cに分類部３６を追加した構成である。分類部３６は、２値化部３２による２値化後の強度分布Ｄ3において定位-周波数平面内に分布する複数の音像点（信号強度Ｅ3(x,y,m)が数値ｅ1に設定された座標点）を複数のクラスタに分類する。分類部３６による分類は、音響信号ｓ(t)の各成分の音源毎に強度分布Ｄ3を分割する処理に相当する。
【００４１】
複数の音像点の分類（クラスタリング）には公知の技術が任意に利用され得る。例えば、最短距離法等の階層的クラスタリングや、ｋ-ｍｅａｎｓ法等の分割最適化クラスタリングが音像点の分類に好適である。また、例えば２次元の複数の正規分布の加重和（混合正規分布）で複数の音像点の分布を近似（フィッティング）し、複数の音像点を正規分布毎に分類することも可能である。
【００４２】
第４実施形態の画像処理部３４は、分類部３６による分類後のクラスタ毎に個別にモルフォロジー処理を実行することで強度分布Ｄ4を生成する。表示制御部２８は、画像処理部３４による処理後の強度分布Ｄ4を表示装置１６に表示させる。図１１は、第４実施形態における強度分布Ｄ4の表示例である。第４実施形態では、強度分布Ｄ3のクラスタ毎にモルフォロジー処理が実行されるから、表示制御部２８が表示装置１６に表示させる強度分布Ｄ4にて音像点が分布する領域は、音響信号ｓ(t)の音源毎に分割される。例えば図１１の例示では、特定の音源（例えば歌唱音）の音像点が集約された領域Ｑ1と、他の音源（例えば楽器音）の音像点が集約された領域Ｑ2とを強度分布Ｄ4の表示から明確に把握することが可能である。
【００４３】
第４実施形態においても第１実施形態から第３実施形態と同様の効果が実現される。また、第４実施形態では、強度分布Ｄ3の各音像点を分類したクラスタ毎に個別にモルフォロジー処理を実行することで、強度分布Ｄ4では音響信号ｓ(t)の音源毎の強度分布が明確に分離される。したがって、音源毎の強度分布を利用者が明確に把握できるという利点がある。
【００４４】
＜第５実施形態＞
図１２は、第５実施形態における音響解析装置１００Eのブロック図である。図１２に示すように、第５実施形態の音響解析装置１００Eは、第４実施形態の音響解析装置１００Dに音響処理部４０を追加した構成である。音響処理部４０は、音響信号ｓ(t)のうち特定の音響成分を抑圧または除去したステレオ形式の音響信号ｕ(t)（左チャネルの音響信号ｕL(t)および右チャネルの音響信号ｕR(t)）を生成する。
【００４５】
図１３は、第５実施形態における強度分布Ｄ4の表示例である。表示制御部２８は、第４実施形態と同様に、２値化部３２と分類部３６と画像処理部３４とによる処理後の強度分布Ｄ4を表示装置１６に表示させる。利用者は、強度分布Ｄ4を視認しながら入力装置を適宜に操作することで、定位-周波数平面内の任意の領域（以下「選択領域」という）Ｂを選択することが可能である。例えば利用者は、強度分布Ｄ4のうち所望の音源に対応する音像点の集合を包含するように選択領域Ｂを指定する。選択領域Ｂに対応する周波数軸Ｙ上の範囲ＢYと選択領域Ｂに対応する定位軸Ｘ上の範囲ＢXとは利用者からの指示に応じて可変に設定される。図１３では、例えば楽器音の音源に対応する音像点で構成された領域Ｑ2を包含するように選択領域Ｂ（範囲ＢXおよび範囲ＢY）を指定した状態が例示されている。
【００４６】
音響処理部４０は、音響信号ｓ(t)（スペクトルＳL(k,m)およびスペクトルＳR(k,m)）のうち利用者が指定した選択領域Ｂ内の音響成分を抑圧または強調することで音響信号ｕ(t)を生成する。具体的には、音響信号ｓ(t)の各周波数成分のうち、周波数軸Ｙ上の範囲ＢY内の周波数成分であり、かつ、定位軸Ｘ上の範囲ＢX内に定位方向Ｐ(k,m)が位置する周波数成分（以下「対象成分」という）を、音響処理部４０は抑圧または強調する。例えば、音響処理部４０は、音響信号ｓL(t)のスペクトルＳL(k,m)の各周波数成分に調整値（スペクトルゲイン）を乗算したうえで時間領域に変換することで音響信号ｕL(t)を生成し、音響信号ｓR(t)のスペクトルＳR(k,m)の各周波数成分に調整値を乗算したうえで時間領域に変換することで音響信号ｕR(t)を生成する。対象成分の調整値を１に設定するとともに他の周波数成分の調整値を０に設定することで、対象成分を強調（抽出）した音響信号ｕ(t)が生成され、対象成分の調整値を０に設定するとともに他の周波数成分の調整値を１に設定することで、対象成分を抑圧（除去）した音響信号ｕ(t)が生成される。音響処理部４０が生成した音響信号ｕ(t)は、放音装置１８（スピーカやイヤホン）に供給されて音波として再生される。
【００４７】
第５実施形態においても第１実施形態から第４実施形態と同様の効果が実現される。また、第５実施形態では、２値化部３２と分類部３６と画像処理部３４による処理で音源毎の強度分布が明確化された強度分布Ｄ4に対して選択領域Ｂが指定されるから、所望の音源に対応する選択領域Ｂを利用者が容易に指定できるという利点がある。
【００４８】
＜変形例＞
以上の各形態には様々な変形が加えられる。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は併合され得る。
【００４９】
（１）第４実施形態や第５実施形態では、複数の音像点を複数のクラスタに分類してクラスタ毎にモルフォロジー処理を実行したが、複数のクラスタの何れかを選択する構成も採用され得る。例えば表示制御部２８は、分類部３６による分類後の複数のクラスタのうち信号強度Ｅ4(x,y,m)の平均値が最大となる１個のクラスタ（以下「優勢クラスタ」という）を選択し、優勢クラスタの音像点の表示態様を他のクラスタの音像点の表示態様とは相違させる。したがって、利用者は、音響信号ｓ(t)のうち特に優勢な音響成分（すなわち優勢クラスタに対応する音響成分）の定位方向の時間推移の傾向を把握できる。なお、前述の例示のように、信号強度Ｅ4(x,y,m)の平均値が最大となる１個の優勢クラスタを単位期間毎に逐次的に選択する方法に代えて、例えば第ｍ番目の単位期間に対応する複数のクラスタのうち、直前の第(m-1)番目の単位期間の優勢クラスタとの間でセントロイドが近い１個のクラスタを第ｍ番目の単位期間の優勢クラスタとして選択することも可能である。
【００５０】
（２）前述の各形態では、各単位期間の信号強度Ｅ1(x,y,m)の単純移動平均（数式(5)）を平滑化後の信号強度Ｅ2(x,y,m)として算定したが、時間平滑部２６による平滑化の方法は任意である。例えば、各単位期間の信号強度Ｅ1(x,y,m)の加重移動平均が信号強度Ｅ2(x,y,m)として算定され得る。また、例えば以下の数式(6)で表現されるように、信号強度Ｅ1(x,y,m)の指数移動平均を信号強度Ｅ2(x,y,m)として時間平滑部２６が算定することも可能である。数式(6)の記号αは、０以上かつ１以下の範囲内の数値に設定される平滑化係数（忘却係数）である。
【数６】
2013150140.tif 000008
【００５１】
（３）第２実施形態から第５実施形態では、信号強度Ｅ2(x,y,m)を閾値εと比較することで２値の信号強度Ｅ3(x,y,m)を算定したが、２値化部３２による２値化の方法は任意である。例えば、１個の単位期間について算定された複数の信号強度Ｅ2(x,y,m)のうち降順で上位に位置する所定個または所定割合の信号強度Ｅ2(x,y,m)を数値ｅ1の信号強度Ｅ3（x,y,m）に変換し、残余の信号強度Ｅ2(x,y,m)を数値ｅ0の信号強度Ｅ3(x,y,m)に変換することも可能である。
【００５２】
（４）前述の各形態では、時間平滑部２６による平滑化後の強度分布Ｄ（Ｄ2〜Ｄ4）を表示装置１６に表示したが、分布平滑部２４６による処理前の強度分布Ｄ0（図３）や分布平滑部２４６による処理後の強度分布Ｄ1（図４）を表示制御部２８が表示装置１６に表示させることも可能である。
【符号の説明】
【００５３】
１００A，１００B，１００C，１００D，１００E……音響解析装置、１２……演算処理装置、１４……記憶装置、１６……表示装置、２２……周波数分析部、２４……分布算定部、２４２……定位算定部、２４４……強度算定部、２４６……分布平滑部、２６……時間平滑部、２８……表示制御部、３２……２値化部、３４……画像処理部、３６……分類部、４０……音響処理部、Ｄ0，Ｄ1，Ｄ2，Ｄ3，Ｄ4……強度分布、Ｅ0(k,m)，Ｅ1(x,y,m)，Ｅ2(x,y,m)，Ｅ3(x,y,m)，Ｅ4(x,y,m)……信号強度。
【図１】
2013150140.tif 000009
【図２】
2013150140.tif 000010
【図６】
2013150140.tif 000011
【図７】
2013150140.tif 000012
【図８】
2013150140.tif 000013
【図９】
2013150140.tif 000014
【図１０】
2013150140.tif 000015
【図１１】
2013150140.tif 000016
【図１２】
2013150140.tif 000017
【図１３】
2013150140.tif 000018
【図３】
2013150140.tif 000019
【図４】
2013150140.tif 000020
【図５】
2013150140.tif 000021