(57)【要約】【課題】残響抑圧に起因した音質の低下を抑制しながら有効な残響抑圧効果を実現する。【解決手段】調波分離部３４は、音響信号ＳXを調波成分と非調波成分とに分離する。第１残響抑圧部４０は、調波成分の平均強度ＱH1(k,m)に応じた調整値ＧH(k,m)を調波成分のスペクトルＸH(k,m)に作用させることで非調波成分の残響成分を抑圧する。第２残響抑圧部５０は、非調波成分の平均強度ＱP1(k,m)に応じた調整値ＧP(k,m)を非調波成分のスペクトルＸP(k,m)に作用させることで非調波成分の残響成分を抑圧する。第１残響抑圧部４０による残響成分の抑圧強度は、第２残響抑圧部５０による残響成分の抑圧強度を上回る。合成処理部６２は、第１残響抑圧部４０による残響抑圧後の調波成分のスペクトルＹH(k,m)と第２残響抑圧部５０による残響抑圧後の非調波成分のスペクトルＹP(k,m)とを合成する。【選択図】図１
2014077916.tif 000002
【特許請求の範囲】
【請求項１】
音響信号を調波成分と非調波成分とに分離する調波分離手段と、
前記調波成分の残響成分を抑圧する第１残響抑圧手段と、
前記第１残響抑圧手段による残響成分の抑圧強度とは相違する抑圧強度で前記非調波成分の残響成分を抑圧する第２残響抑圧手段と
を具備する音響処理装置。
【請求項２】
前記第１残響抑圧手段による残響成分の抑圧強度は、前記第２残響抑圧手段による残響成分の抑圧強度を上回る
請求項１の音響処理装置。
【請求項３】
前記第１残響抑圧手段による処理後の調波成分と前記第２残響抑圧手段による処理後の非調波成分とを合成する合成処理手段
を具備する請求項１または請求項２の音響処理装置。
【請求項４】
前記第１残響抑圧手段は、
第１移動平均係数を適用した前記調波成分の強度の移動平均で第１平均強度を算定する第１強度平均手段と、
前記調波成分の残響成分を抑圧するための第１調整値を前記第１平均強度に応じて算定する第１調整値算定手段と、
前記第１調整値算定手段が算定した第１調整値を前記調波成分に作用させる第１抑圧処理手段とを含み、
前記第２残響抑圧手段は、
前記第１移動平均係数とは相違する第２移動平均係数を適用した前記非調波成分の強度の移動平均で第２平均強度を算定する第２強度平均手段と、
前記非調波成分の残響成分を抑圧するための第２調整値を前記第２平均強度に応じて算定する第２調整値算定手段と、
前記第２調整値算定手段が算定した第２調整値を前記非調波成分に作用させる第２抑圧処理手段とを含む
請求項１から請求項３の何れかの音響処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号の残響成分を抑圧する技術に関する。
【背景技術】
【０００２】
音響信号に含まれる残響成分を抑圧する技術が従来から提案されている。例えば特許文献１には、音響信号に含まれる残響成分を推定する予測フィルタ係数の確率モデルを利用することで残響成分の予測フィルタ係数を推定し、推定後の予測フィルタを利用して残響成分を抑圧する技術が開示されている。また、非特許文献１には、発音源から収音点までの伝達関数の逆フィルタを推定し、推定後の逆フィルタを音響信号に適用することで残響成分を抑圧する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２１２５９９号公報
【非特許文献】
【０００４】
【非特許文献１】K. Furuya, et al."Robust speech dereverberation using multichannel blind deconvolution with spectral subtraction",IEEE Transantions on Audio, Speech, and Language Processing, vol. 15, no. 5, p.1579-1591, 2007
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１や非特許文献１の技術のもとでは、残響成分の抑圧強度を増加させた場合に、残響抑圧後の音質が低下するという問題が発生し得る。以上の事情を考慮して、本発明は、残響抑圧に起因した音質の低下を抑制することを目的とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、本発明の音響処理装置は、音響信号を調波成分と非調波成分とに分離する調波分離手段と、調波成分の残響成分を抑圧する第１残響抑圧手段と、第１残響抑圧手段による残響成分の抑圧強度とは相違する抑圧強度で非調波成分の残響成分を抑圧する第２残響抑圧手段とを具備する。以上の構成では、音響信号が調波成分と非調波成分とについて相異なる抑圧強度で残響成分が抑圧される。したがって、音響信号を調波成分と非調波成分とに分離せずに残響成分を抑圧する場合と比較して、残響抑圧に起因した音質の低下を抑制しながら有効な残響抑圧効果を実現することが可能である。例えば、残響抑圧に起因した音質の低下が調波成分と比較して非調波成分にて顕在化し易いという傾向を前提とした場合、第１残響抑圧手段による残響成分の抑圧強度が、第２残響抑圧手段による残響成分の抑圧強度を上回る構成が好適である。また、第２残響抑圧手段による残響成分の抑圧強度が第１残響抑圧手段による残響成分の抑圧強度を上回る構成を採用することで、例えば、特徴的な音響効果（エフェクト）を音響信号に付与することが可能である。
【０００７】
本発明の好適な態様に係る音響処理装置は、第１残響抑圧手段による処理後の調波成分と第２残響抑圧手段による処理後の非調波成分とを合成する合成処理手段を具備する。以上の構成によれば、調波成分の残響成分と非調波成分の残響成分との双方を抑圧した音響信号を生成することが可能である。
【０００８】
本発明の好適な態様において、第１残響抑圧手段は、第１移動平均係数（例えば平均個数ＮH1または平滑化係数αH1）を適用した調波成分の強度の移動平均で第１平均強度（例えば平均強度ＱH1(k,m)）を算定する第１強度平均手段（例えば強度平均部４２）と、調波成分の残響成分を抑圧するための第１調整値（例えば調整値ＧH(k,m)）を第１平均強度に応じて算定する第１調整値算定手段（例えば調整値算定部４４）と、第１調整値算定手段が算定した第１調整値を調波成分に作用させる第１抑圧処理手段（例えば抑圧処理部４６）とを含み、第２残響抑圧手段は、第１移動平均係数とは相違する第２移動平均係数（例えば平均個数ＨP1または平滑化係数αP1）を適用した非調波成分の強度の移動平均で第２平均強度（例えば平均強度ＱP1(k,m)）を算定する第２強度平均手段（例えば強度平均部５２）と、非調波成分の残響成分を抑圧するための第２調整値（例えば調整値ＧP(k,m)）を第２平均強度に応じて算定する第２調整値算定手段（例えば調整値算定部５４）と、第２調整値算定手段が算定した第２調整値を非調波成分に作用させる第２抑圧処理手段（例えば抑圧処理部５６）とを含む。以上の構成では、第１強度平均手段による移動平均に適用される第１移動平均係数と第２強度平均手段による移動平均に適用される第２移動平均係数とを個別に選定することで、第１残響抑圧手段による残響成分の抑圧強度と第２残響抑圧手段による残響成分の抑圧強度とを簡便に相違させることが可能である。なお、例えば調波成分や非調波成分の強度の単純移動平均を算定する構成では、移動平均の対象となる強度の個数（時間長）が第１移動平均係数および第２移動平均係数として好適であり、調波成分や非調波成分の強度の指数移動平均を算定する構成では、平滑化係数が第１移動平均係数および第２移動平均係数として好適である。ただし、第１残響抑圧手段や第２残響抑圧手段が残響成分を抑圧する構成や方法は以上の例示に限定されず、公知の残響抑圧技術が任意に採用され得る。
【０００９】
本発明の好適な態様において、第２調整値算定手段は、非調波成分のうち後期残響区間内での残響成分の抑圧強度が後期残響区間外での残響成分の抑圧強度を上回るように、音響信号の単位期間毎に調整値を算定する。以上の構成では、後期残響区間内にて残響成分の抑圧強度を上昇させることで後期残響区間内の音量の変動が抑制される。したがって、残響抑圧後の音質の低下を抑制できるという利点がある。なお、以上の態様の具体例は、例えば第３実施形態として後述される。
【００１０】
以上の各態様に係る音響処理装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）等のハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、音響信号を調波成分と非調波成分とに分離する調波分離処理と、調波成分の残響成分を抑圧する第１残響抑圧処理と、第１残響抑圧処理による残響成分の抑圧強度とは相違する抑圧強度で非調波成分の残響成分を抑圧する第２残響抑圧処理とをコンピュータに実行させる。以上のプログラムによれば、本発明に係る音響処理装置と同様の作用および効果が実現される。
【００１１】
なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、例えば、本発明のプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る音響処理装置のブロック図である。
【図２】音響信号の平均強度と調整値との関係の説明図である。
【図３】第１残響抑圧部および第２残響抑圧部のブロック図である。
【図４】第３実施形態における第２残響抑圧部の調整値算定部が実行する動作のフローチャートである。
【発明を実施するための形態】
【００１３】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。図１に示すように、音響処理装置１００には信号供給装置１２と放音装置１４とが接続される。信号供給装置１２は、音響信号ＳXを音響処理装置１００に供給する。
【００１４】
音響信号ＳXは、調波成分と非調波成分とを混合した音響の時間波形を示す数値系列である。調波成分は、弦楽器または管楽器等の楽器の演奏音や人間の発声音等の調波性の音響成分を意味し、非調波成分は、打楽器の演奏音や各種の雑音（例えば空調設備の動作音や人混み内の雑踏音等の環境音）等の非調波性の音響成分を意味する。音響信号ＳXが示す音響には、音響空間内での反射や散乱に由来する残響成分が付加されている。具体的には、収録音や合成音等の既存の音響に対して事後的に残響効果を付与した音響信号ＳXや、残響効果がある音響空間内で実際に収録された音響の音響信号ＳXが信号供給装置１２から音響処理装置１００に供給される。例えば、周囲の音響を収音して音響信号ＳXを生成する収音装置や、可搬型または内蔵型の記録媒体から音響信号ＳXを取得して音響処理装置１００に供給する再生装置や、通信網から音響信号ＳXを受信して音響処理装置１００に供給する通信装置が信号供給装置１２として採用され得る。
【００１５】
音響処理装置１００は、信号供給装置１２が供給する音響信号ＳXの残響成分（後期残響成分）を抑圧した時間領域の音響信号（すなわち、音響信号ＳXの直接音成分や初期反射成分を強調した音響信号）ＳYを生成する信号処理装置（残響抑圧装置）である。放音装置１４（例えばスピーカやヘッドホン）は、音響処理装置１００が生成した音響信号ＳYに応じた音波を放射する。なお、音響信号ＳYをデジタルからアナログに変換するＤ/Ａ変換器や音響信号ＳYを増幅する増幅器の図示は便宜的に省略した。
【００１６】
図１に示すように、音響処理装置１００は、演算処理装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムや演算処理装置２２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体や複数種の記録媒体の組合せが記憶装置２４として任意に採用され得る。音響信号ＳYを記憶装置２４に記憶した構成（したがって信号供給装置１２は省略され得る）も好適である。
【００１７】
演算処理装置２２は、記憶装置２４に記憶されたプログラムを実行することで、音響信号ＳXから音響信号ＳYを生成するための複数の機能（周波数分析部３２，調波分離部３４，第１残響抑圧部４０，第２残響抑圧部５０，合成処理部６２，波形生成部６４）を実現する。なお、演算処理装置２２の各機能を複数の装置に分散した構成や、演算処理装置２２の一部の機能を専用の信号処理回路が分担する構成も採用され得る。
【００１８】
周波数分析部３２は、音響信号ＳXのスペクトル（複素スペクトル）Ｘ(k,m)を時間軸上の単位期間（フレーム）毎に順次に生成する。記号ｋは、周波数軸上の任意の１個の周波数（周波数帯域）を指示する変数であり、記号ｍは、時間軸上の任意の１個の単位期間を指示する変数である。スペクトルＸ(k,m)の生成には、例えば短時間フーリエ変換等の公知の周波数分析が任意に採用され得る。なお、通過帯域が相違する複数の帯域通過フィルタで構成されるフィルタバンクを周波数分析部３２として利用することも可能である。
【００１９】
調波分離部３４は、音響信号ＳXを調波成分と非調波成分とに分離する。具体的には、調波分離部３４は、音響信号ＳXのスペクトルＸ(k,m)から調波成分のスペクトルＸH(k,m)と非調波成分のスペクトルＸP(k,m)とを単位期間毎に順次に生成する。例えば、調波分離部３４は、音響信号ＳXのスペクトルＸ(k,m)の対数の離散フーリエ変換で音響信号ＳXのケプストラムを単位期間毎に算定し、各単位期間のケプストラムを、音響信号ＳXの振幅スペクトル|Ｘ(k,m)|の概略的な構造に対応する低次域と、振幅スペクトル|Ｘ(k,m)|の微細な周期構造（すなわち、基音成分と複数の倍音成分とが周波数軸上に等間隔に配列された調波構造）に対応する高次域とに区分することで調波成分のスペクトルＸH(k,m)と非調波成分のスペクトルＸP(k,m)とを算定する。なお、調波成分と非調波成分との分離には公知の技術が任意に採用される。例えば、音響信号ＳXの調波成分は時間軸方向に連続するのに対して非調波成分は周波数軸方向に連続するという時間-周波数領域での異方性を利用することで調波成分と非調波成分とを分離するＨＰＳＳ（Harmonic and Percussive Sound Separation）技術も適用され得る。なお、スペクトルＸH(k,m)およびスペクトルＸP(k,m)の表記のように、調波成分（Harmonic）に関連する要素には添字Ｈを付加し、非調波成分（Percussive）に関連する要素には添字Ｐを付加する。
【００２０】
図１の第１残響抑圧部４０は、調波分離部３４による分離後の調波成分の残響成分を抑圧する。具体的には、第１残響抑圧部４０は、調波成分のスペクトルＸH(k,m)から残響成分を抑圧した音響成分のスペクトルＹH(k,m)を単位期間毎に順次に生成する。他方、第２残響抑圧部５０は、調波分離部３４による分離後の非調波成分の残響成分を抑圧する。具体的には、第２残響抑圧部５０は、非調波成分のスペクトルＸP(k,m)から残響成分を抑圧した音響成分のスペクトルＹP(k,m)を単位期間毎に順次に生成する。なお、第１残響抑圧部４０および第２残響抑圧部５０の具体的な構成および動作については後述する。
【００２１】
図１の合成処理部６２は、第１残響抑圧部４０による処理後の調波成分と第２残響抑圧部５０による処理後の非調波成分とを合成する。具体的には、合成処理部６２は、第１残響抑圧部４０による残響抑圧後の調波成分のスペクトルＹH(k,m)と第２残響抑圧部５０による残響抑圧後の非調波成分のスペクトルＹP(k,m)とを加算（または加重和）することで音響信号ＳYのスペクトルＹ(k,m)を生成する（Ｙ(k,m)＝ＹH(k,m)＋ＹP(k,m)）。
【００２２】
波形生成部６４は、合成処理部６２が単位期間毎に生成するスペクトルＹ(k,m)から時間領域の音響信号ＳYを生成する。すなわち、波形生成部６４は、各単位期間のスペクトルＹ(k,m)を例えば短時間フーリエ逆変換で時間領域の信号に変換するとともに相前後する各単位期間について相互に連結することで音響信号ＳYを生成する。以上の説明から理解される通り、音響信号ＳYでは、音響信号ＳXの残響成分（調波成分の残響成分と非調波成分の残響成分）が抑圧される。波形生成部６４が生成した音響信号ＳYが放音装置１４に供給されて音波として放射される。
【００２３】
＜残響抑圧の具体例＞
第１残響抑圧部４０による調波成分の残響抑圧と第２残響抑圧部５０による非調波成分の残響抑圧との説明に先立ち、音響信号ＳXのスペクトルＸ(k,m)から残響成分を抑圧する処理について説明する。
【００２４】
音響信号ＳXの単位期間毎のパワー|Ｘ(k,m)|2の平均強度Ｑ1(k,m)および平均強度Ｑ2(k,m)に着目する。平均強度Ｑ1(k,m)は、以下の数式(1A)で定義されるように、相前後するＮ1個（Ｎ1は２以上の自然数）の単位期間にわたるパワー|Ｘ(k,m)|2の移動平均（単純移動平均）である。他方、平均強度Ｑ2(k,m)は、以下の数式(1B)で定義されるように、相前後するＮ2個（Ｎ2は自然数）の単位期間にわたるパワー|Ｘ(k,m)|2の移動平均である。平均強度Ｑ1(k,m)の算定に加味される単位期間の個数Ｎ1は、平均強度Ｑ2(k,m)の算定に加味される単位期間の個数Ｎ2を上回る（Ｎ1＞Ｎ2）。
【数１】
2014077916.tif 000003
【００２５】
図２の部分(B)は、任意の周波数における平均強度Ｑ1(k,m)および平均強度Ｑ2(k,m)の時間変化を描画したグラフである。図２の部分(A)のようにパワー|Ｘ(k,m)|2（パワー密度）が時間的に指数減衰する室内インパルス応答を音響信号ＳXと仮定した場合の平均強度Ｑ1(k,m)および平均強度Ｑ2(k,m)が図２の部分(B)には図示されている。
【００２６】
図２の部分(B)から把握される通り、平均強度Ｑ1(k,m)および平均強度Ｑ2(k,m)は、音響信号ＳXのパワー|Ｘ(k,m)|2に追従して経時的に変化する。ただし、平均強度Ｑ1(k,m)の算定に適用される平均個数Ｎ1は平均強度Ｑ2(k,m)の算定に適用される平均個数Ｎ2を上回るから、平均強度Ｑ1(k,m)は、平均強度Ｑ2(k,m)と比較して低い追従性（変化率）で音響信号ＳXのパワー|Ｘ(k,m)|2の時間変化に追従する。具体的には、図２の部分(B)に示すように、室内インパルス応答の開始の時点ｔ0の直後の区間では、平均強度Ｑ2(k,m)が平均強度Ｑ1(k,m)を上回る変化率で増加する。そして、平均強度Ｑ1(k,m)および平均強度Ｑ2(k,m)は、時間軸上の相異なる時点でピークに到達し、平均強度Ｑ2(k,m)は平均強度Ｑ1(k,m)を上回る変化率で減少する。
【００２７】
以上のように平均強度Ｑ1(k,m)と平均強度Ｑ2(k,m)とは相異なる変化率で変化するから、平均強度Ｑ1(k,m)と平均強度Ｑ2(k,m)との大小は時間軸上の特定の時点ｔxで反転する。時点ｔ0から時点ｔxまでの区間（平均強度Ｑ2(k,m)が平均強度Ｑ1(k,m)を上回る区間）ＳAは、室内インパルス応答の直接音成分および初期反射成分が存在する区間に相当し、時点ｔx以降の区間（平均強度Ｑ1(k,m)が平均強度Ｑ2(k,m)を上回る区間）ＳBは、室内インパルス応答の後期残響成分が存在する区間に相当する。
【００２８】
平均強度Ｑ1(k,m)に対する平均強度Ｑ2(k,m)の比（以下「強度比」という）Ｒ(k,m)（Ｒ(k,m)＝Ｑ2(k,m)／Ｑ1(k,m)）に応じて以下の数式(2)で算定される調整値Ｇ(k,m)を想定する。所定値Ｇmaxは例えば１に設定され、所定値Ｇminは所定値Ｇmaxを下回る数値（例えば０以上かつ１未満の数値）に設定される。
【数２】
2014077916.tif 000004
【００２９】
平均強度Ｑ1(k,m)および平均強度Ｑ2(k,m)が図２の部分(B)のように変化する場合の調整値Ｇ(k,m)の変化が図２の部分(C)に図示されている。図２の部分(C)から理解される通り、平均強度Ｑ2(k,m)が平均強度Ｑ1(k,m)を上回る区間ＳAでは強度比Ｒ(k,m)が所定値Ｇmaxを上回るから、調整値Ｇ(k,m)は所定値Ｇmaxに維持される。また、平均強度Ｑ2(k,m)が平均強度Ｑ1(k,m)を下回る区間ＳBのうち強度比Ｒ(k,m)が所定値Ｇminを上回る区間ＳB1では、調整値Ｇ(k,m)は強度比Ｒ(k,m)に設定されて経時的に減少する。そして、区間ＳBのうち強度比Ｒ(k,m)が所定値Ｇminを下回る区間ＳB2では、調整値Ｇ(k,m)は所定値Ｇminに維持される。すなわち、調整値Ｇ(k,m)は、直接音成分および初期反射成分が存在する区間ＳAでは所定値（最大値）Ｇmaxに設定され、後期残響成分が存在する区間ＳBでは所定値（最小値）Ｇminまで経時的に減少する。したがって、音響信号ＳXのスペクトルＸ(k,m)に調整値Ｇ(k,m)を作用させる（典型的には乗算する）ことで、音響信号ＳXの残響成分を抑圧（直接音成分や初期反射成分を強調）することが可能である。第１実施形態の第１残響抑圧部４０および第２残響抑圧部５０は、以上の原理を利用して残響成分を抑圧する。
【００３０】
以上に説明した通り、残響抑圧用の調整値Ｇ(k,m)は、平均強度Ｑ1(k,m)と平均強度Ｑ2(k,m)との相対比に応じて算定されるから、平均強度Ｑ1(k,m)と平均強度Ｑ2(k,m)との相違が拡大するほど調整値Ｇ(k,m)の作用による残響成分の抑圧強度（抑圧効果の程度）は増加する。すなわち、平均強度Ｑ1(k,m)の平均個数Ｎ1と平均強度Ｑ2(k,m)の平均個数Ｎ2との相違が大きいほど残響成分の抑圧強度は増加するという傾向がある。
【００３１】
図３は、第１残響抑圧部４０および第２残響抑圧部５０の具体的な構成を例示するブロック図である。図３に示すように、第１残響抑圧部４０は、強度平均部４２と調整値算定部４４と抑圧処理部４６とを含んで構成される。強度平均部４２は、音響信号ＳXの調波成分のパワー|ＸH(k,m)|2の移動平均で平均強度ＱH1(k,m)と平均強度ＱH2(k,m)とを算定する。平均強度ＱH1(k,m)は、以下の数式(3A)で表現される通り、ＮH1個（ＮH1は２以上の自然数）の単位期間にわたるパワー|ＸH(k,m)|2の移動平均（単純移動平均）であり、平均強度ＱH2(k,m)は、以下の数式(3B)で表現される通り、ＮH2個（ＮH2は自然数）の単位期間にわたるパワー|ＸH(k,m)|2の移動平均である。
【数３】
2014077916.tif 000005
【００３２】
数式(3A)の平均個数ＮH1は、数式(3B)の平均個数ＮH2を上回る（ＮH1＞ＮH2）。すなわち、平均強度ＱH1(k,m)は、平均強度ＱH2(k,m)と比較して長時間にわたる移動平均である。したがって、平均強度ＱH1(k,m)におけるパワー|ＸH(k,m)|2の平滑化の時定数τH1は、平均強度ＱH2(k,m)におけるパワー|ＸH(k,m)|2の平滑化の時定数τH2を上回る（τH1＞τH2）。すなわち、図２の部分(B)を参照して説明した平均強度Ｑ1(k,m)と平均強度Ｑ2(k,m)との関係と同様に、平均強度ＱH1(k,m)は、平均強度ＱH2(k,m)と比較して低い追従性で調波成分のパワー|ＸH(k,m)|2に追従する。
【００３３】
図３の調整値算定部４４は、強度平均部４２が算定した調波成分の平均強度ＱH1(k,m)および平均強度ＱH2(k,m)に応じた調整値ＧH(k,m)を各周波数について単位期間毎に順次に算定する。具体的には、以下の数式(4)で表現される通り、平均強度ＱH1(k,m)に対する平均強度ＱH2(k,m)の強度比ＲH(k,m)（ＲH(k,m)＝ＱH2(k,m)／ＱH1(k,m)）が所定値Ｇmaxと所定値Ｇminとの間の数値である場合（Ｇmin＜ＲH(k,m)＜Ｇmax）、調整値算定部４４は、調整値ＧH(k,m)を強度比ＲH(k,m)に設定する。また、調整値算定部４４は、強度比ＲH(k,m)が所定値Ｇmaxを上回る場合には調整値ＧH(k,m)を所定値Ｇmaxに設定し、強度比ＲH(k,m)が所定値Ｇminを下回る場合には調整値ＧH(k,m)を所定値Ｇminに設定する。
【数４】
2014077916.tif 000006
【００３４】
図２の部分(C)を参照した前述の説明から理解される通り、調整値算定部４４が算定する調整値ＧH(k,m)は、音響信号ＳXの調波成分の残響成分を抑圧する係数（スペクトルゲイン）として利用され得る。図３の抑圧処理部４６は、調整値算定部４４が算定した調整値ＧH(k,m)を音響信号ＳXの調波成分に作用させることで調波成分の残響成分を抑圧する。残響成分の抑圧は、各周波数について単位期間毎に順次に実行される。具体的には、抑圧処理部４６は、音響信号ＳXの調波成分のスペクトルＸH(k,m)に対し、当該スペクトルＸ(k,m)と共通の単位期間および周波数に対応する調整値ＧH(k,m)を乗算することで、残響抑圧後の調波成分のスペクトルＹH(k,m)を算定する（ＹH(k,m)＝ＧH(k,m)・ＸH(k,m)）。
【００３５】
以上の説明から理解されるように、平均強度ＱH1(k,m)の算定に適用される数式(3A)の平均個数ＮH1と平均強度ＱH2(k,m)の算定に適用される数式(3B)の平均個数ＮH2との相違（例えば差分(ＮH1−ＮH2)）が大きいほど、平均強度ＱH1(k,m)と平均強度ＱH2(k,m)との相違（調波成分のパワー|ＸH(k,m)|2に対する追従度の相違）が増加し、結果的に残響成分の抑圧強度が増加するという傾向がある。
【００３６】
他方、第２残響抑圧部５０は、図３に示すように、強度平均部５２と調整値算定部５４と抑圧処理部５６とを含んで構成される。強度平均部５２は、強度平均部４２と同様に、音響信号ＳXの非調波成分のパワー|ＸP(k,m)|2の移動平均で平均強度ＱP1(k,m)と平均強度ＱP2(k,m)とを算定する。平均強度ＱP1(k,m)は、以下の数式(5A)で表現される通り、ＮP1個（ＮP1は２以上の自然数）の単位期間にわたるパワー|ＸP(k,m)|2の移動平均であり、平均強度ＱP2(k,m)は、以下の数式(5B)で表現される通り、ＮP2個（ＮP2は自然数）の単位期間にわたるパワー|ＸP(k,m)|2の移動平均である。
【数５】
2014077916.tif 000007
【００３７】
数式(5A)の平均個数ＮP1は、数式(5B)の平均個数ＮP2を上回る（ＮP1＞ＮP2）。すなわち、平均強度ＱP1(k,m)は、平均強度ＱP2(k,m)と比較して長時間にわたる移動平均である。したがって、平均強度ＱP1(k,m)におけるパワー|ＸP(k,m)|2の平滑化の時定数τP1は、平均強度ＱP2(k,m)におけるパワー|ＸP(k,m)|2の平滑化の時定数τP2を上回る（τP1＞τP2）。すなわち、平均強度ＱP1(k,m)は、平均強度ＱP2(k,m)と比較して低い追従性で非調波成分のパワー|ＸP(k,m)|2に追従する。
【００３８】
図３の調整値算定部５４は、以下の数式(6)で表現される通り、調整値算定部４４と同様に、強度平均部５２が算定した非調波成分の平均強度ＱP1(k,m)および平均強度ＱP2(k,m)に応じた調整値ＧP(k,m)を各周波数について単位期間毎に順次に算定する。具体的には、平均強度ＱP1(k,m)に対する平均強度ＱP2(k,m)の強度比ＲP(k,m)（ＲP(k,m)＝ＱP2(k,m)／ＱP1(k,m)）に応じて以下の数式(6)の演算で調整値ＧP(k,m)が算定される。調整値ＧP(k,m)は、音響信号ＳXの非調波成分の残響成分を抑圧する係数（スペクトルゲイン）として利用され得る。
【数６】
2014077916.tif 000008
【００３９】
抑圧処理部５６は、調整値算定部５４が算定した調整値ＧP(k,m)を音響信号ＳXの非調波成分に作用させることで非調波成分の残響成分を抑圧する。具体的には、抑圧処理部５６は、音響信号ＳXの非調波成分のスペクトルＸP(k,m)に調整値ＧP(k,m)を乗算することで、残響抑圧後の非調波成分のスペクトルＹP(k,m)を算定する（ＹP(k,m)＝ＧP(k,m)・ＸP(k,m)）。
【００４０】
以上の説明から理解されるように、数式(5A)の平均個数ＮP1と数式(5B)の平均個数ＮP2との相違（例えば差分(ＮP1−ＮP2)）が大きいほど、平均強度ＱP1(k,m)と平均強度ＱP2(k,m)との相違（音響信号ＳXの非調波成分のパワー|ＸP(k,m)|2に対する追従度の相違）が増加し、結果的に残響成分の抑圧強度が増加するという傾向がある。
【００４１】
ところで、残響成分は、音響空間内で多方向から受音点に到来する多数の反射音や散乱音が加算されたランダム性の高い音響成分であり、初期反射成分は、受音点に対する空間的な方向性が明確で残響成分と比較してランダム性が低いという傾向がある。他方、非調波成分は、音響特性が時間的に不規則に変動する過渡的な音響成分でありランダム性が高く、調波成分は、音響特性が時間的に持続される音響成分でありランダム性が低いという傾向がある。すなわち、残響成分と非調波成分とはランダム性が高いという音響特性の傾向が共通し、初期反射成分と調波成分とはランダム性が低いという音響特性の傾向が共通する。以上に説明した音響特性の共通性に起因して、調波分離部３４による分離処理では、音響信号ＳXの残響成分は非調波成分に選別される可能性が高く、音響信号ＳXの初期反射成分は調波成分に選別される可能性が高いという概略的な傾向がある。
【００４２】
また、打楽器音等の非調波成分は前述の通り過渡的であるから、発音の直後（アタック部分）以外の区間のエネルギーは一般的に調波成分と比較して低い。したがって、非調波成分に対する残響成分の抑圧強度が高過ぎると、残響抑圧後の音質の低下（例えばミュージカルノイズの発生）が顕在化し易いという傾向がある。他方、調波成分は前述の通り初期反射成分が豊富であり非調波成分と比較してエネルギーが高いから、残響成分の抑圧強度を高目に設定しても残響抑圧後の音質の低下が非調波成分と比較して顕在化し難いという傾向がある。以上の傾向を考慮して、第１実施形態では、調波成分に対する残響成分の抑圧強度が非調波成分に対する残響成分の抑圧強度を上回るように、第１残響抑圧部４０および第２残響抑圧部５０の各々が相異なる抑圧強度で残響成分の抑圧を実行する。
【００４３】
具体的には、調波成分に対応する平均強度ＱH1(k,m)の平均個数ＮH1と平均強度ＱH2(k,m)の平均個数ＮH2との相違（例えば差分(ＮH1−ＮH2）)が、非調波成分に対応する平均強度ＱP1(k,m)の平均個数ＮP1と平均強度ＱP2(k,m)の平均個数ＮP2との相違（差分(ＮP1−ＮP2）)を上回るように、各平均個数（ＮH1，ＮH2，ＮP1，ＮP2）が選定される。例えば、平均個数ＮH2と平均個数ＮP2とを相等しい数値に設定した場合を想定すると、平均個数ＮH1は平均個数ＮP1を上回る数値に設定される。
【００４４】
以上に説明した通り、第１実施形態では、音響信号ＳXが調波成分と非調波成分とに分離され、調波成分と非調波成分とについて相異なる抑圧強度で残響成分が抑圧される。具体的には、調波成分に対する抑圧強度が非調波成分に対する抑圧強度を上回る。したがって、音響信号ＳXを調波成分と非調波成分とに分離せずに残響成分を抑圧する場合と比較して、残響抑圧に起因した音質の低下を抑制しながら有効な残響抑圧効果を実現することが可能である。
【００４５】
また、第１実施形態では、音響信号ＳXの調波成分の時間変化に追従する平均強度ＱH1(k,m)と平均強度ＱH2(k,m)との強度比ＲH(k,m)に応じて調整値ＧH(k,m)が算定され、非調波成分の時間変化に追従する平均強度ＱP1(k,m)と平均強度ＱP2(k,m)との強度比ＲP(k,m)に応じて調整値ＧP(k,m)が算定される。したがって、残響成分の予測フィルタ係数を推定する特許文献１の技術や伝達関数を推定して逆フィルタを生成する非特許文献１の技術と比較して簡便な処理で音響信号ＳXの残響成分を抑圧できるという利点がある。
【００４６】
＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【００４７】
第２実施形態における第１残響抑圧部４０の強度平均部４２は、以下の数式(7A)および数式(7B)で表現される通り、調波成分のパワー|ＸH(k,m)|2の指数移動平均で平均強度ＱH1(k,m)および平均強度ＱH2(k,m)を算定する。
【数７】
2014077916.tif 000009
【００４８】
数式(7A)の平滑化係数（忘却係数）αH1は、数式(7B)の平滑化係数αH2を下回る（０≦αH1＜αH2≦１）。したがって、第１実施形態と同様に、平均強度ＱH1(k,m)は、平均強度ＱH2(k,m)と比較して低い追従性で調波成分のパワー|ＸH(k,m)|2に追従する（τH1＞τH2）。
【００４９】
第１実施形態と同様に、調整値算定部４４は、強度平均部４２が算定した平均強度ＱH1(k,m)および平均強度ＱH2(k,m)に応じた調整値ＧH(k,m)を前掲の数式(4)で算定し、抑圧処理部４６は、調整値算定部４４が算定した調整値ＧH(k,m)を音響信号ＳXの調波成分（スペクトルＸH(k,m)）に作用させる。したがって、数式(7A)の平滑化係数αH1と数式(7B)の平滑化係数αH2との相違（調波成分のパワー|ＸH(k,m)|2に対する平均強度ＱH1(k,m)および平均強度ＱH2(k,m)の追従度の相違）が大きいほど残響成分の抑圧強度が増加するという傾向がある。
【００５０】
第２残響抑圧部５０の強度平均部５２は、以下の数式(8A)および数式(8B)で表現される通り、第１残響抑圧部４０の強度平均部４２と同様に、非調波成分のパワー|ＸP(k,m)|2の指数移動平均で平均強度ＱP1(k,m)および平均強度ＱP2(k,m)を算定する。
【数８】
2014077916.tif 000010
【００５１】
数式(8A)の平滑化係数αP1は、数式(8B)の平滑化係数αP2を下回る（０≦αP1＜αP2≦１）。したがって、第１実施形態と同様に、平均強度ＱP1(k,m)は、平均強度ＱP2(k,m)と比較して低い追従性で非調波成分のパワー|ＸP(k,m)|2に追従する（τP1＞τP2）。
【００５２】
第１実施形態と同様に、調整値算定部５４は、平均強度ＱP1(k,m)および平均強度ＱP2(k,m)に応じた調整値ＧP(k,m)を前掲の数式(6)で算定し、抑圧処理部５６は、調整値ＧP(k,m)を音響信号ＳXの非調波成分（スペクトルＸP(k,m)）に作用させる。したがって、数式(8A)の平滑化係数αP1と数式(8B)の平滑化係数αP2との相違が大きいほど残響成分の抑圧強度が増加するという傾向がある。
【００５３】
第２実施形態においても第１実施形態と同様に、調波成分に対する残響成分の抑圧強度が非調波成分に対する残響成分の抑圧強度を上回るように、第１残響抑圧部４０および第２残響抑圧部５０の各々が相異なる抑圧強度で残響成分の抑圧を実行する。具体的には、調波成分に対応する平均強度ＱH1(k,m)の平滑化係数αH1と平均強度ＱH2(k,m)の平滑化係数αH2との相違（例えば差分(αH2−αH1)）が、非調波成分に対応する平均強度ＱP1(k,m)の平滑化係数αP1と平均強度ＱP2(k,m)の平滑化係数αP2との相違（例えば差分(αP2−αP1)）を上回るように、各平滑化係数（αH1，αH2，αP1，αP2）が選定される。例えば、平滑化係数αH2と平滑化係数αP2とを相等しい数値に設定した場合を想定すると、平滑化係数αH1は平滑化係数αP1を下回る数値に設定される。したがって、第２実施形態においても第１実施形態と同様の効果が実現される。
【００５４】
以上の説明から理解される通り、第１実施形態の平均個数（ＮH1，ＮH2，ＮP1，ＮP2）と第２実施形態の平滑化係数（αH1，αH2，αP1，αP2）とは、音響信号ＳXのパワー（|ＸH(k,m)|2，|ＸP(k,m)|2）の移動平均に適用される移動平均係数として包括される。したがって、第１残響抑圧部４０の強度平均部４２は、第１移動平均係数（ＮH1，ＮH2，αH1，αH2）を適用した調波成分のパワー|ＸH(k,m)|2の移動平均で平均強度（ＱH1(k,m)，ＱH2(k,m)）を算定する要素として包括され、第２残響抑圧部５０の強度平均部５２は、第２移動平均係数（ＮP1，ＮP2，αP1，αP2）を適用した非調波成分のパワー|ＸP(k,m)|2の移動平均で平均強度（ＱP1(k,m)，ＱP2(k,m)）を算定する要素として包括される。
【００５５】
＜第３実施形態＞
音響信号ＳXの残響時間が長い場合、後期残響区間では、平均強度Ｑ1(k,m)（ＱH1(k,m)，ＱP1(k,m)）が平均強度Ｑ2(k,m)（ＱH2(k,m)，ＱP2(k,m)）に対して変動することで強度比Ｒ(k,m)（ＲH(k,m)，ＲP(k,m)）が不安定となり、結果的に音響信号ＳYの音質が低下する（例えば音量が短周期で揺動する）可能性がある。以上の傾向は、音響信号ＳXの非調波成分において格別に顕在化し易い。そこで、第３実施形態では、非調波成分の後期残響区間にて音量の変動を抑制する。
【００５６】
第３実施形態における第２残響抑圧部５０の調整値算定部５４は、各単位期間の調整値ＧP(k,m)を、非調波成分の後期残響区間内の単位期間と後期残響区間外の単位区間とで区別して算定することで後期残響区間内の音響信号ＳYの音量の変動を抑制する。具体的には、調整値算定部５４は、後期残響区間内の各単位期間の調整値ＧP(k,m)が、後期残響区間外の各単位期間の調整値ＧP(k,m)を下回る（すなわち、後期残響区間内の残響成分の抑圧強度が後期残響区間外の残響成分の抑圧強度を上回る）ように調整値ＧP(k,m)を算定する。図４は、第３実施形態の調整値算定部５４が実行する処理のフローチャートである。
【００５７】
図４に示すように、調整値算定部５４は、数式(6)の演算で調整値ＧP(k,m)を単位期間毎に算定し（ＳT1）、各単位期間が後期残響区間に該当するか否かを判定する（ＳT2）。例えば、平均強度ＱP2(k,m)が後期残響区間内で小さい数値に低下するという傾向を考慮して、調整値算定部５４は、各単位期間の平均強度ＱP2(k,m)と所定の閾値ＱTHとを比較することで各単位期間が後期残響区間に該当するか否かを判定する。すなわち、平均強度ＱP2(k,m)が閾値ＱTHを上回る単位期間は後期残響区間内の単位期間と判定され、平均強度ＱP2(k,m)が閾値ＱTHを下回る単位期間は後期残響区間外の単位期間と判定される。なお、後期残響区間の内外を判定する方法は以上の例示に限定されない。
【００５８】
調整値算定部５４は、ステップＳT1で算定した調整値ＧP(k,m)をステップＳT2の判定結果に応じて補正する（ＳT3）。具体的には、調整値算定部５４は、後期残響区間外の各単位期間の調整値ＧP(k,m)を数式(6)での算定値に確定する。他方、調整値算定部５４は、後期残響区間内の単位期間の調整値ＧP(k,m)を数式(6)での算定値から低下させる。例えば、調整値算定部５４は、所定の係数γ（０＜γ＜１）を数式(6)での算定値に乗算することで調整値ＧP(k,m)を確定する。以上の説明から理解されるように、音響信号ＳYのうち非調波成分の後期残響区間に相当する区間では音量が低下する。したがって、音響信号ＳYの音質の低下（例えば音量の揺動）を抑制することが可能である。
【００５９】
なお、以上の説明では、調整値算定部５４が算定する調整値ＧP(k,m)を非調波成分の後期残響区間の内外で区別する場合を例示したが、調整値算定部４４が調波成分について算定する調整値ＧH(k,m)についても同様の構成を採用することが可能である。すなわち、調整値算定部４４は、後期残響区間内の各単位期間の調整値ＧH(k,m)が、後期残響区間外の各単位期間の調整値ＧH(k,m)を下回るように調整値ＧH(k,m)を算定する。
【００６０】
＜変形例＞
前述の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。
【００６１】
（１）前述の各形態における平均強度ＱH2(k,m)を調波成分のパワー|ＸH(k,m)|2に置換した構成（すなわち、数式(3B)の平均個数ＮH2や数式(7B)の平滑化係数αH2を１に設定した構成）も採用され得る。同様に、平均強度ＱP2(k,m)を非調波成分のパワー|ＸP(k,m)|2に置換した構成（数式(5B)の平均個数ＮP2や数式(8B)の平滑化係数αP2を１に設定した構成）も採用され得る。また、平均強度ＱH1(k,m)（および平均強度ＱH2(k,m)）に応じた調整値ＧH(k,m)を算定する方法や、平均強度ＱP1(k,m)（および平均強度ＱP2(k,m)）に応じた調整値ＧP(k,m)を算定する方法は任意である。例えば、平均強度ＱH1(k,m)を変数とする所定の演算で調整値ＧH(k,m)を算定する構成や、平均強度ＱP1(k,m)を変数とする所定の演算で調整値ＧP(k,m)を算定する構成も採用され得る。
【００６２】
以上の説明から理解されるように、第１残響抑圧部４０の強度平均部４２は、第１移動平均係数（平均個数ＮH1や平滑化係数αH1）を適用した調波成分のパワー|ＸH(k,m)|2の移動平均で平均強度ＱH1(k,m)を算定する要素として包括され、調整値算定部４４は、調波成分の残響抑圧用の調整値ＧH(k,m)を平均強度ＱH1(k,m)に応じて算定する要素として包括される。同様に、第２残響抑圧部５０の強度平均部５２は、第２移動平均係数（平均個数ＮP1や平滑化係数αP1）を適用した非調波成分のパワー|ＸP(k,m)|2の移動平均で平均強度ＱP1(k,m)を算定する要素として包括され、調整値算定部５４は、非調波成分の残響抑圧用の調整値ＧP(k,m)を平均強度ＱP1(k,m)に応じて算定する要素として包括される。
【００６３】
（２）第１残響抑圧部４０の強度平均部４２による移動平均の対象は調波成分のパワー|ＸH(k,m)|2に限定されない。例えば、調波成分の振幅|ＸH(k,m)|や振幅の４乗|ＸH(k,m)|4の移動平均で平均強度ＱH1(k,m)や平均強度ＱH2(k,m)を算定することも可能である。すなわち、強度平均部４２は、音響信号ＳXの調波成分の強度（|ＸH(k,m)|，|ＸH(k,m)|2，|ＸH(k,m)|4）を移動平均する要素として包括される。同様に、第２残響抑圧部５０の強度平均部５２は、音響信号ＳXの非調波成分の強度（|ＸP(k,m)|，|ＸP(k,m)|2，|ＸP(k,m)|4）を移動平均する要素として包括される。また、前述の各形態では、調整値ＧH(k,m)を調波成分のスペクトルＸH(k,m)に作用させたが、抑圧処理部４６が調波成分のパワー|ＸH(k,m)|2に調整値ＧH(k,m)を作用させる構成も採用され得る。同様に、非調波成分のパワー|ＸP(k,m)|2に調整値ＧP(k,m)を作用させることも可能である。
【００６４】
（３）第１残響抑圧部４０および第２残響抑圧部５０が残響成分を抑圧する構成や方法は任意であり、前述の例示には限定されない。また、第１残響抑圧部４０と第２残響抑圧部５０とで残響成分の抑圧方法を相違させた構成も採用され得る。例えば、第１残響抑圧部４０は、第１実施形態および第２実施形態の一方に例示した方法で調波成分の残響成分を抑圧し、第２残響抑圧部５０は、第１実施形態および第２実施形態の他方に例示した方法で非調波成分の残響成分を抑圧することが可能である。また、第１残響抑圧部４０の強度平均部４２が調波成分の振幅およびパワーの一方の移動平均を算定し、第２残響抑圧部５０の強度平均部５２が非調波成分の振幅およびパワーの他方の移動平均を算定する構成も採用され得る。
【００６５】
（４）前掲の数式(4)や数式(6)の演算に適用される所定値Ｇmaxまたは所定値Ｇminを、調波成分の調整値ＧH(k,m)の算定（数式(4)）と非調波成分の調整値ＧP(k,m)の算定（数式(6)）とで個別に設定することも可能である。すなわち、数式(4)の所定値Ｇmaxおよび所定値Ｇminと数式(6)の所定値Ｇmaxおよび所定値Ｇminとは相異なる数値に設定され得る。また、所定値Ｇmaxおよび所定値Ｇminを、調波成分および非調波成分の各々について個別に、利用者からの指示に応じて可変に設定する構成も好適である。
【００６６】
（５）音響空間内での反射や散乱に起因した狭義の残響成分に加えて、例えば楽器の演奏音等の響き成分（共鳴成分）も残響成分に含意され得る。具体的には、ピアノ等の鍵盤楽器の響板による共鳴成分やバイオリン等の弦楽器の共鳴成分（胴鳴り，箱鳴り）の調整にも、前述の各形態と同様に本発明を適用することが可能である。すなわち、本発明の残響成分は、経時的に減衰する成分（減衰成分）を意味する。
【００６７】
（６）携帯電話機等の端末装置と通信するサーバ装置で音響処理装置１００を実現することも可能である。例えば、音響処理装置１００は、端末装置から受信した音響信号ＳXから音響信号ＳYを生成して端末装置に送信する。なお、音響信号ＳXのスペクトルＸ(k,m)を音響処理装置１００が端末装置から受信する構成では周波数分析部３２が省略され、残響抑圧後の音響信号ＳYのスペクトルＹ(k,m)を音響処理装置１００から端末装置に送信する構成では波形生成部６４が省略される。また、残響抑圧後の調波成分のスペクトルＹH(k,m)と非調波成分のスペクトルＹP(k,m)とを端末装置に送信し、端末装置がスペクトルＹH(k,m)とスペクトルＹP(k,m)とを合成する構成（音響処理装置１００から合成処理部６２および波形生成部６４を省略して端末装置に搭載した構成）も採用され得る。
【符号の説明】
【００６８】
１００……音響処理装置、１２……信号供給装置、１４……放音装置、２２……演算処理装置、２４……記憶装置、３２……周波数分析部、３４……調波分離部、４０……第１残響抑圧部、４２……強度平均部、４４……調整値算定部、４６……抑圧処理部、５０……第２残響抑圧部、５２……強度平均部、５４……調整値算定部、５６……抑圧処理部、６２……合成処理部、６４……波形生成部。
【図１】
2014077916.tif 000011
【図２】
2014077916.tif 000012
【図３】
2014077916.tif 000013
【図４】
2014077916.tif 000014