(57)【要約】【課題】聴感上の違和感を抑えるように、大きな会場で発生した音を抽出した抽出発生音を補正することができる抽出発生音補正技術を提供する。【解決手段】収音会場音y(k)を会場で再生された音及び会場で発生した音を収音したサンプル番号kの音、抽出発生音e(k)を収音会場音y(k)から会場で発生した音を抽出したサンプル番号kの音とし、収音会場音y(k)と抽出発生音e(k)から、収音会場音パワーYkと抽出発生音パワーEkを算出するパワー算出部１１０と、収音会場音パワーYkと抽出発生音パワーEkを用いて、抽出発生音e(k)から補正済抽出発生音e’(k)を生成する抽出発生音補正部１２０とを含み、抽出発生音補正部１２０は、補正済抽出発生音e’(k)を、比Ek/Ykが小さいことを示す所定の範囲にある場合は、e’(k)=0とし、それ以外の場合は、e’(k)=e(k)として生成する。【選択図】図４
2019024160.tif 000002
【特許請求の範囲】
【請求項１】
サンプル番号kをk=1,2,…、収音会場音y(k)を会場で再生された音及び当該会場で発生した音を収音したサンプル番号kの音、抽出発生音e(k)を前記収音会場音y(k)から当該会場で発生した音を抽出したサンプル番号kの音とし、
前記収音会場音y(k)と前記抽出発生音e(k)から、前記収音会場音y(k)のパワーである収音会場音パワーYkと前記抽出発生音e(k)のパワーである抽出発生音パワーEkを算出するパワー算出部と、
前記収音会場音パワーYkと前記抽出発生音パワーEkを用いて、前記抽出発生音e(k)から補正済抽出発生音e’(k)を生成する抽出発生音補正部と
を含む抽出発生音補正装置であり、
前記抽出発生音補正部は、前記補正済抽出発生音e’(k)を、前記収音会場音パワーYkに対する前記抽出発生音パワーEkの比Ek/Ykが小さいことを示す所定の範囲にある場合は、e’(k)=0とし、それ以外の場合は、e’(k)=e(k)として生成する
抽出発生音補正装置。
【請求項２】
サンプル番号kをk=1,2,…、収音会場音y(k)を会場で再生された音及び当該会場で発生した音を収音したサンプル番号kの音、抽出発生音e(k)を前記収音会場音y(k)から当該会場で発生した音を抽出したサンプル番号kの音とし、
前記抽出発生音e(k)から、前記抽出発生音e(k)の時間方向におけるスパースさの程度を表すスパース尺度Skを算出するスパース尺度算出部と、
前記スパース尺度Skを用いて、前記抽出発生音e(k)から補正済抽出発生音e’(k)を生成する抽出発生音補正部と
を含む抽出発生音補正装置であり、
前記抽出発生音補正部は、前記補正済抽出発生音e’(k)を、前記スパース尺度Skが小さいことを示す所定の範囲にある場合は、e’(k)=0とし、それ以外の場合は、e’(k)=e(k)として生成する
抽出発生音補正装置。
【請求項３】
請求項１または２に記載の抽出発生音補正装置であって、
さらに、
前記補正済抽出発生音e’(k)から、前記補正済抽出発生音e’(k)を生成するために用いる補正済抽出発生音パラメータp(k)を生成する補正済抽出発生音パラメータ生成部と
を含むことを特徴とする抽出発生音補正装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の抽出発生音補正装置であって、
前記小さいことを示す所定の範囲にあることを示す値は、サンプルごとに更新されることを特徴とする抽出発生音補正装置。
【請求項５】
サンプル番号kをk=1,2,…、収音会場音y(k)を会場で再生された音及び当該会場で発生した音を収音したサンプル番号kの音、抽出発生音e(k)を前記収音会場音y(k)から当該会場で発生した音を抽出したサンプル番号kの音とし、
抽出発生音補正装置が、前記収音会場音y(k)と前記抽出発生音e(k)から、前記収音会場音y(k)のパワーである収音会場音パワーYkと前記抽出発生音e(k)のパワーである抽出発生音パワーEkを算出するパワー算出ステップと、
前記抽出発生音補正装置が、前記収音会場音パワーYkと前記抽出発生音パワーEkを用いて、前記抽出発生音e(k)から補正済抽出発生音e’(k)を生成する抽出発生音補正ステップと
を含む抽出発生音補正方法であり、
前記抽出発生音補正ステップは、前記補正済抽出発生音e’(k)を、前記収音会場音パワーYkに対する前記抽出発生音パワーEkの比Ek/Ykが小さいことを示す所定の範囲にある場合は、e’(k)=0とし、それ以外の場合は、e’(k)=e(k)として生成する
抽出発生音補正方法。
【請求項６】
サンプル番号kをk=1,2,…、収音会場音y(k)を会場で再生された音及び当該会場で発生した音を収音したサンプル番号kの音、抽出発生音e(k)を前記収音会場音y(k)から当該会場で発生した音を抽出したサンプル番号kの音とし、
抽出発生音補正装置が、前記抽出発生音e(k)から、前記抽出発生音e(k)の時間方向におけるスパースの程度を表すスパース尺度Skを算出するスパース尺度算出ステップと、
前記抽出発生音補正装置が、前記スパース尺度Skを用いて、前記抽出発生音e(k)から補正済抽出発生音e’(k)を生成する抽出発生音補正ステップと
を含む抽出発生音補正方法であり、
前記抽出発生音補正ステップは、前記補正済抽出発生音e’(k)を、前記スパース尺度Skが小さいことを示す所定の範囲にある場合は、e’(k)=0とし、それ以外の場合は、e’(k)=e(k)として生成する
抽出発生音補正方法。
【請求項７】
請求項１ないし４のいずれか１項に記載の抽出発生音補正装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音場空間で発生した音を抽出する技術に関する。
【背景技術】
【０００２】
会場で発生した音を抽出するために、エコーキャンセラ技術が用いられる（非特許文献１）。以下、図１を参照して、エコーキャンセラ技術について説明する。
【０００３】
まず、会場Ａで発生した音x(k)(k=1,2,…、以下、kをサンプル番号という)が会場Ｂに伝送される。会場Ｂに伝送された入力音x(k)を、例えば、K個のサンプルで構成されるフレームごとに処理する場合、Kはフレーム長となる。また、入力音x(k)は、例えば、電話の音声、会場Ａに設置されたコンテンツ配信システムの音である。
【０００４】
次に、入力音x(k)が会場Ｂに設置されたスピーカ９１０から再生され、（スピーカ９１０からマイク９２０までの）会場Ｂの音響エコーh0(k)が畳み込まれた畳み込み入力音x(k)*h0(k)として会場Ｂに設置されたマイク９２０により収音される。ここで、*は畳み込み演算子を表す。また、音響エコーのことを伝達関数やインパルス応答ということもあるが、以下では、音響エコーまたは伝達関数ということにする。
【０００５】
マイク９２０により収音される音は、畳み込み入力音x(k)*h0(k)だけではない。会場Ｂで発生する環境音（例えば、音声や拍手音）c1(k)もその音源からマイク９２０までの音響エコーh1(k)が畳み込まれた畳み込み環境音c1(k)*h1(k)として収音される。また、マイク９２０にはノイズn(k)も混入する。したがって、マイク９２０により収音される音y(k)（以下、収音会場音y(k)という。）はy(k)=x(k)*h0(k)+c1(k)*h1(k)+n(k)と表すことができる。
【０００６】
このまま収音会場音y(k)を会場Ａに伝送し、会場Ａで再生すると、ハウリングやダブルトークを生じてしまい、相手方にとって聞きづらい音となってしまう。そこで、エコーキャンセラ９３０は、畳み込み入力音x(k)*h0(k)を近似するx’(k)=x(k)*h0’(k)を推定し、会場Ｂで発生した音を抽出した抽出発生音e(k)=y(k)-x’(k)=c1(k)*h1(k)+n(k)+d(k)を求め、この抽出発生音e(k)を会場Ａに伝送する。
【０００７】
しかし、推定された伝達関数h0’(k)と真の伝達関数h0(k)は異なるため、残留信号d(k)が生じてしまう。この問題を解決するためにNLMS(Normalized Least-Mean-Squares)法などの適応アルゴリズム（適応フィルタ）が使われる。NLMS法を用いると、伝達関数h0’(k)を伝達関数h0(k)に近づけることができる。特に、会場Ｂが小さい（つまり、スピーカとマイクの距離が比較的近くなる）場合は伝達関数h0’(k)を精度よく推定できるため、残留信号d(k)の振幅値は十分小さくなり、聴感上の違和感を小さくすることができる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】北脇信彦，“ディジタル音声・オーディオ技術”，株式会社オーム社，pp.223-225.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記エコーキャンセラ技術を用いることによって、例えば、スピーカホンの用途のようにスピーカとマイクの位置が近い場合には、会場Ｂで発生した音を適切に抽出することができる。
【００１０】
しかし、スピーカとマイクの位置が離れ、あえて残響を加えるように設計されている環境（例えば、コンサート会場や演劇会場のようなライブビューイングにおけるライブ会場（会場Ａ）とは別のビューイング会場（会場Ｂ））では、伝達関数h0’(k)を伝達関数h0(k)に十分に近づけることができない。そのため、残留信号d(k)の振幅値が大きくなってしまい、会場Ｂで発生した音だけを抽出することができないことになる。
【００１１】
スピーカホンによる音声通話などでエコーキャンセラを用いる場合には、会議室（会場Ｂ）での音声を含む環境音c1(k)が相手側に届かないと困るため、残留信号d(k)が多少残っていたとしても、抽出発生音e(k)をそのまま伝送する方が好ましい。
【００１２】
しかし、ライブビューイングの場合には、ライブ会場（会場Ａ）での聴感を大きく損ねることになるため、抽出発生音e(k)をそのまま伝送するのは好ましくない。特に、ビューイング会場（会場Ｂ）で発生した拍手音や手拍子音などの環境音c1(k)そのものを伝送する代わりに、伝送先であるライブ会場（会場Ａ）で環境音c1(k)を生成するために用いるパラメータを伝送する場合、ビューイング会場（会場Ｂ）で発生した環境音c1(k)を誤抽出してしまうと、伝送先で誤った形で拍手音や手拍子音（つまり、拍手音や手拍子音以外の音も含んだ音）を生成してしまい、もともとのコンテンツを楽しんでいるライブ会場（会場Ａ）の聴衆に迷惑がかかってしまうことになる。
【００１３】
図２は、このような状況を示すものであり、残留信号d(k)が大きく残った（入力音x(k)と収音会場音y(k)の差異が大きい）場合における、入力音x(k)、収音会場音y(k)、抽出発生音e(k)の様子を示す図である。図２の網掛け部は、通常のエコーキャンセラを用いた場合に、残留信号d(k)が大きく、スピーカから再生された音x(k)が抽出発生音e(k)に残ってしまっており、会場Ｂの環境音c1(k)が正しく抽出されていないこと示している。
【００１４】
つまり、通常のエコーキャンセラでは、ビューイング会場（会場Ｂ）のようにスピーカとマイクが近くにないような大きな会場で発生する音を、ライブ会場（会場Ａ）で再生する場合の聴感上の違和感を抑えた形で抽出することができないという問題がある。
【００１５】
そこで本発明では、聴感上の違和感を抑えるように、大きな会場で発生した音を抽出した抽出発生音を補正することができる抽出発生音補正技術を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の一態様は、サンプル番号kをk=1,2,…、収音会場音y(k)を会場で再生された音及び当該会場で発生した音を収音したサンプル番号kの音、抽出発生音e(k)を前記収音会場音y(k)から当該会場で発生した音を抽出したサンプル番号kの音とし、前記収音会場音y(k)と前記抽出発生音e(k)から、前記収音会場音y(k)のパワーである収音会場音パワーYkと前記抽出発生音e(k)のパワーである抽出発生音パワーEkを算出するパワー算出部と、前記収音会場音パワーYkと前記抽出発生音パワーEkを用いて、前記抽出発生音e(k)から補正済抽出発生音e’(k)を生成する抽出発生音補正部とを含み、前記抽出発生音補正部は、前記補正済抽出発生音e’(k)を、前記収音会場音パワーYkに対する前記抽出発生音パワーEkの比Ek/Ykが小さいことを示す所定の範囲にある場合は、e’(k)=0とし、それ以外の場合は、e’(k)=e(k)として生成する。
【００１７】
本発明の一態様は、サンプル番号kをk=1,2,…、収音会場音y(k)を会場で再生された音及び当該会場で発生した音を収音したサンプル番号kの音、抽出発生音e(k)を前記収音会場音y(k)から当該会場で発生した音を抽出したサンプル番号kの音とし、前記抽出発生音e(k)から、前記抽出発生音e(k)の時間方向におけるスパースさの程度を表すスパース尺度Skを算出するスパース尺度算出部と、前記スパース尺度Skを用いて、前記抽出発生音e(k)から補正済抽出発生音e’(k)を生成する抽出発生音補正部とを含み、前記抽出発生音補正部は、前記補正済抽出発生音e’(k)を、前記スパース尺度Skが小さいことを示す所定の範囲にある場合は、e’(k)=0とし、それ以外の場合は、e’(k)=e(k)として生成する。
【発明の効果】
【００１８】
本発明によれば、聴感上の違和感を抑えるように、大きな会場で発生した音を抽出した抽出発生音を補正することができる。
【図面の簡単な説明】
【００１９】
【図１】エコーキャンセラ技術を説明するための図。
【図２】残留信号d(k)が大きく残った場合における、入力音x(k)、収音会場音y(k)、抽出発生音e(k)の様子の一例を示す図。
【図３】抽出発生音補正装置１００を含む抽出発生音補正システム１０の構成の一例を示すブロック図。
【図４】抽出発生音補正装置１００の構成の一例を示すブロック図。
【図５】抽出発生音補正装置１００の動作の一例を示すフローチャート。
【図６】抽出発生音補正装置１００の入力である抽出発生音e(k)と出力である補正済抽出発生音e’(k)の様子の一例を示す図。
【図７】抽出発生音補正装置１０１の構成の一例を示すブロック図。
【図８】抽出発生音補正装置１０１の動作の一例を示すフローチャート。
【図９】環境音c1(k)が拍手音である場合の振幅の様子の一例を示す図。
【図１０】抽出発生音補正装置２００の構成の一例を示すブロック図。
【図１１】抽出発生音補正装置２００の動作の一例を示すフローチャート。
【図１２】抽出発生音補正装置２０１の構成の一例を示すブロック図。
【図１３】抽出発生音補正装置２０１の動作の一例を示すフローチャート。
【図１４】抽出発生音補正装置３００の構成の一例を示すブロック図。
【図１５】抽出発生音補正装置３００の動作の一例を示すフローチャート。
【図１６】環境音c1(k)が拍手音である場合の補正済抽出発生音e’(k)の様子の一例を示す図。
【図１７】抽出発生音補正装置３０１の構成の一例を示すブロック図。
【図１８】抽出発生音補正装置３０１の動作の一例を示すフローチャート。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００２１】
ここまでの説明では、会場Ｂに伝送されてくる入力音x(k)をモノラル信号、会場Ｂで発生する環境音はc1(k)の1つであるとして説明してきたが、入力音x(k)はステレオ信号であってもよいし、会場Ｂで発生する環境音は複数あってもよい。
【００２２】
例えば、入力音がモノラル信号x(k)であり、会場Ｂで発生する環境音がc1(k),…,cM(k)のM個（Mは1以上の整数）であった場合、入力音x(k)、環境音c1(k),…,cM(k)の音響エコーをそれぞれh0(k),h1(k),…,hM(k)、ノイズをn(k)とすると、マイクにより収音される収音会場音y(k)はy(k)=x(k)*h0(k)+c1(k)*h1(k)+…+cM(k)*hM(k)+n(k)と表すことができる。さらに、伝達関数h0(k)を推定した伝達関数をh0’(k)、残留信号をd(k)とすると、抽出発生音e(k)はe(k)=y(k)-x(k)*h0’(k)=c1(k)*h1(k)+…+cM(k)*hM(k)+n(k)+d(k)と表すことができる。
【００２３】
また、入力音がステレオ信号xR(k),xL(k)であり、会場Ｂで発生する環境音がc1(k),…,cM(k)のM個（Mは1以上の整数）であった場合、入力音xR(k),xL(k)、環境音c1(k),…,cM(k)の音響エコーをそれぞれhR0(k),hL0(k),h1(k),…,hM(k)、ノイズをn(k)とすると、マイクにより収音される収音会場音y(k)はy(k)=xR(k)*hR0(k)+xL(k)*hL0(k)+c1(k)*h1(k)+…+cM(k)*hM(k)+n(k)と表すことができる。さらに、伝達関数hR0(k),hL0(k)を推定した伝達関数をそれぞれhR0’(k),hL0’(k)、残留信号をd(k)とすると、抽出発生音e(k)はe(k)=y(k)-{xR(k)*hR0’(k)+xL(k)*hL0’(k)}=c1(k)*h1(k)+…+cM(k)*hM(k)+n(k)+d(k)と表すことができる。
【００２４】
３つの例からわかるように、収音会場音y(k)は、畳み込み入力音と畳み込み環境音とノイズの和として表現することができる。また、抽出発生音e(k)は、畳み込み環境音とノイズと残響信号の和として表現することができる。
【００２５】
音響環境としては、モノラルやステレオ以外に、サラウンド環境、22.2ch環境など様々なものが存在するが、収音会場音y(k)、抽出発生音e(k)は上記３つの例と同様に扱うことができる。
【００２６】
そこで、以下説明する各実施形態では、入力音がモノラル信号であり、環境音が1つである場合を用いて説明することにする。
【００２７】
まず、各実施形態で用いる用語について説明する。
【００２８】
サンプル番号kをk=1,2,…とする。入力音x(k)をK個のサンプルで構成されるフレームごとに処理する場合、i番目のフレームXiは、Xi=[x(1) x(2) … x(K)]というベクトルで表現することができる。ここで、i(i=1,2,…)はフレーム番号を表す。
【００２９】
以下、説明を簡素化するために、Xi=x(k)、つまり、各フレームは1個のサンプルで構成されるものとして、各実施形態を説明するが、K個のサンプルで構成されるとした場合と内容は変わらない。
【００３０】
収音会場音y(k)を会場で再生された音及び会場で発生した音を収音したサンプル番号kの音とする。会場で再生された音とは、別の会場から伝送されてきて再生された音のことであり、先ほどの例で言えば、ライブ会場の音である。また、会場で発生した音とは、先ほどの例で言えば、ビューイング会場で発生した拍手音などの環境音やノイズのことである。
【００３１】
抽出発生音e(k)を収音会場音y(k)から会場で発生した音を抽出したサンプル番号kの音とする。
【００３２】
＜第一実施形態＞
以下、図３を参照して抽出発生音補正システム１０について説明する。図３は、抽出発生音補正システム１０の構成を示すブロック図である。図３に示すように抽出発生音補正システム１０は、スピーカ９１０、マイク９２０、エコーキャンセラ９３０、抽出発生音補正装置１００を含む。
【００３３】
スピーカ９１０、マイク９２０、エコーキャンセラ９３０は、図１のそれと同一の機能を有するものである。具体的には、スピーカ９１０は、伝送されてきた会場Ａの音x(k)を会場Ｂにて再生する装置である。マイク９２０は、スピーカ９１０から再生された入力音x(k)を畳み込んだ畳み込み入力音x(k)*h0(k)と会場Ｂで発生した環境音c1(k)を畳み込んだ畳み込み環境音c1(k)*h1(k)とノイズn(k)を収音する装置である。エコーキャンセラ９３０は、入力音x(k)とマイク９２０により収音された収音会場音y(k)（=x(k)*h0(k)+c1(k)*h1(k)+n(k)）から抽出発生音e(k)を生成する。抽出発生音e(k)=c1(k)*h1(k)+n(k)+d(k)は、会場Ｂで発生した音をエコーキャンセラ９３０が抽出した音である。ここで、d(k)は残留信号である。
【００３４】
なお、スピーカ９１０からマイク９２０への伝達遅延を考慮し、入力音x(k)の代わりに、入力音x(k)に所定の遅延を加えてからエコーキャンセラ９３０に入力するようにしてもよい。また、スピーカ９１０からマイク９２０への伝達遅延を考慮し、入力音x(k)の代わりに、環境音やノイズが十分小さいときに測定した伝達関数を入力音x(k)に畳み込んだ畳み込み入力音をエコーキャンセラ９３０に入力するようにしてもよい。
【００３５】
抽出発生音補正装置１００は、収音会場音y(k)と抽出発生音e(k)から補正済抽出発生音e’(k)を生成する。ここで、補正済抽出発生音e’(k)は、収音会場音y(k)と抽出発生音e(k)を用いて抽出発生音e(k)を補正したサンプル番号kの音である。一般に、補正済抽出発生音e’(k)は、残留信号d(k)の振幅値を聴感上の違和感がなくなるほど十分小さくしたものとなる。
【００３６】
以下、図４〜図５を参照して抽出発生音補正装置１００について説明する。図４は、抽出発生音補正装置１００の構成を示すブロック図である。図５は、抽出発生音補正装置１００の動作を示すフローチャートである。図４に示すように抽出発生音補正装置１００は、パワー算出部１１０、抽出発生音補正部１２０、記録部１９０を含む。記録部１９０は、抽出発生音補正装置１００の処理に必要な情報を適宜記録する構成部である。
【００３７】
図５に従い抽出発生音補正装置１００の動作について説明する。パワー算出部１１０は、収音会場音y(k)と抽出発生音e(k)から、収音会場音y(k)のパワーである収音会場音パワーYkと抽出発生音e(k)のパワーである抽出発生音パワーEkを算出する（Ｓ１１０）。例えば、収音会場音パワーYkを、収音会場音y(k)を含む一定時間（Kサンプル分（ただし、Kは1以上の整数））の収音会場音のパワーとして算出する。サンプルk以前のK個のサンプルを用いる場合は次式のようになる。
【００３８】
【数１】
2019024160.tif 000003
【００３９】
また、抽出発生音パワーEkを、抽出発生音e(k)を含む一定時間（Kサンプル分）の抽出発生音のパワーとして算出する。サンプルk以前のK個のサンプルを用いる場合は次式のようになる。
【００４０】
【数２】
2019024160.tif 000004
【００４１】
また、以下のように、上記の収音会場音パワーYk、抽出発生音パワーEkをそれぞれサンプル数Kで割った値を収音会場音パワーYk、抽出発生音パワーEkとしてもよい。
【００４２】
【数３】
2019024160.tif 000005
【００４３】
抽出発生音補正部１２０は、収音会場音パワーYkと抽出発生音パワーEkを用いて、抽出発生音e(k)から補正済抽出発生音e’(k)を生成する（Ｓ１２０）。例えば、Ek>Ykの場合、e’(k)=e(k)とし、Ek≦Ykの場合、e’(k)=0として補正済抽出発生音を生成する。Ek>Ykの場合にe’(k)=e(k)とする理由は、環境音c1(k)が入力音x(k)に比べて十分大きく、残留信号d(k)が大きいと考えられるためである。また、Ek≦Ykの場合、e’(k)=0とする理由は、環境音c1(k)がスピーカ９１０から出力された入力音x(k)に比べて十分小さく、環境音c1(k)は埋もれていると考えられるためである。なお、後述する（変形例２）との関係でいえば、Ek≦Ykの場合、e(k)をパラメータ生成に用いても良好な結果を得られないと考えられるため、e’(k)=0とする。
【００４４】
図６は、抽出発生音補正装置１００の入力である抽出発生音e(k)と出力である補正済抽出発生音e’(k)の様子を示す図である。図６を見ると、スピーカ９１０から再生された入力音x(k)の影響を減じ、環境音c1(k)が抽出できていることがわかる。
【００４５】
なお、αをあらかじめ定められた正の定数（以下、αのことを倍率という）として、Ek>αYkの場合、e’(k)=e(k)とし、Ek≦αYkの場合、e’(k)=0として補正済抽出発生音を生成するようにしてもよい。
【００４６】
もちろん、Ek>Yk、Ek≦Ykの代わりに、Ek≧Yk、Ek<Ykを、Ek>αYk、Ek≦αYkの代わりに、Ek≧αYk、Ek<αYkを用いてもよい。
【００４７】
以上まとめると、α=1の場合も含めて、Ek/Yk≦αまたはEk/Yk<αとなる場合、e’(k)=0とし、それ以外の場合は、e’(k)=e(k)として補正済抽出発生音e’(k)を生成する。あらかじめ定められた正の定数αに対してEk/Yk≦αまたはEk/Yk<αとなることを、収音会場音パワーYkに対する抽出発生音パワーEkの比Ek/Ykが小さいことを示す所定の範囲にあるという。このとき、αのことを比Ek/Ykが小さいことを示す所定の範囲にあることを示す値という。
【００４８】
（変形例１）
抽出発生音補正部１２０における収音会場音パワーYkと抽出発生音パワーEkの比較では、比較条件に用いる倍率αを時間経過によらず不変であるものとして扱ったが、一定のタイミングで倍率αを更新するようにしてもよい。一定のタイミングで更新するようにすると、会場での人数の変化や会場の温度の変化などに対して、倍率αが追従することができるようになる。
【００４９】
例えば、α0（ただし、α0はあらかじめ定められた正の定数）を倍率の初期値として、サンプルごとに倍率αを更新して比較するようにしてもよい。具体的には、k=1,…として、Ek>αk-1Ykの場合、e’(k)=e(k)とし、Ek≦αk-1Ykの場合、e’(k)=0として補正済抽出発生音e’(k)を生成する。次に、次のサンプルのための倍率としてαk=Ek/Ykを求め、同様にEk+1>αkYk+1の場合、e’(k+1)=e(k+1)とし、Ek+1≦αkYk+1の場合、e’(k+1)=0として補正済抽出発生音e’(k+1)を生成する。
【００５０】
なお、倍率αをαk=(Ek-L+1/Yk-L+1+…+Ek/Yk)/LというようにLサンプル分の平均値としてもよい。さらに、単純な平均とする代わりに、倍率αの計算に忘却係数を定めたフィルタを用いてもよいし、線形関数や非線形関数を用いてもかまわない。例えば、ωとσを実数の定数（ただし、ω>0）として、ガウス窓を用いて定義される忘却係数W(i)(i=0,1,…)により、倍率αkを以下のように求めてもよい。
【００５１】
【数４】
2019024160.tif 000006
【００５２】
（変形例２）
抽出発生音補正装置が、補正済抽出発生音e’(k)の代わりに、補正済抽出発生音e’(k)を生成するために用いるパラメータである補正済抽出発生音パラメータp(k)を生成するようにしてもよい。
【００５３】
以下、図７〜図８を参照して抽出発生音補正装置１０１について説明する。図７は、抽出発生音補正装置１０１の構成を示すブロック図である。図８は、抽出発生音補正装置１０１の動作を示すフローチャートである。図７からわかるように、抽出発生音補正装置１０１は、補正済抽出発生音パラメータ生成部１３０をさらに含む点においてのみ抽出発生音補正装置１００と異なる。また、図８からわかるように、抽出発生音補正装置１０１の動作は、Ｓ１３０が追加されている点においてのみ抽出発生音補正装置１００の動作と異なる。補正済抽出発生音パラメータ生成部１３０は、補正済抽出発生音e’(k)から補正済抽出発生音パラメータp(k)を生成する（Ｓ１３０）。補正済抽出発生音e’(k)を生成するために用いることのできるパラメータであれば、補正済抽出発生音パラメータはどのようなものであってもよい。例えば、補正済抽出発生音e’(k)を含む一定時間の補正済抽出発生音のパワーE’kを用いて、補正済抽出発生音パラメータp(k)を生成することができる（式(2)参照）。
【００５４】
【数５】
2019024160.tif 000007
【００５５】
具体的には、パワーE’kの取り得る値の範囲をあらかじめ定められた場合の数に量子化して得られるインデックスを補正済抽出発生音パラメータp(k)とする。
【００５６】
なお、後述する式(8)や式(6)のように、一定時間での絶対値和や任意の累乗和などを上記パワーE’kの代わりに用いて、同様の手順により、補正済抽出発生音パラメータp(k)を生成するようにしてもよい。さらに、それらの対数を取ったもの（logΣi=k-K+1ke(i)×e(i), logΣi=k-K+1k|e(i)|, logΣi=k-K+1ke(i)×e(i)×e(i)×e(i)）を用いて、同様の手順により、補正済抽出発生音パラメータp(k)を生成するようにしてもよい。
【００５７】
また、p(k)のサンプリング周波数が伝送フォーマットのサンプリング周波数と異なることもある。この場合、伝送フォーマットのサンプリング周波数を考慮して、p(k)のサンプリング周波数を変更した新たなパラメータp’(j)(j=1,2,…、ただし、jはサンプル番号)を生成するようにしてもよい。例えば、サンプリング周波数が48kHzであるp(k)を、伝送フォーマットのサンプリング周波数8kHzでサンプリングしたパラメータp’(k)に変更したいときは、次式のように平均値を求めて変更するようにしてもよいし、音響信号で使われるようなリサンプラを用いて変更するようにしてもよい。
【００５８】
【数６】
2019024160.tif 000008
【００５９】
さらに、p(k)やp’(j)の量子化精度と伝送フォーマットの量子化精度が異なる場合には、量子化精度を変換したパラメータp^(k)やp’^(j)を生成するようにしてもよい。例えばp(k)の量子化精度が16ビット、p^(k)の量子化精度が8ビットである場合には、単純にp(k)を8ビット右にシフト、つまり、p^(k)=p(k)>>8と演算して量子化精度を変換してもよい（8ビット右にシフトする代わりに、256で割るようにしてもよい）。もしくは、ITU-T G.711のA-law/μ-law変換のように、16ビット精度を一度14ビット精度に落としてから、対数関数で変換して8ビット精度に変換するようにしてもよい。なお、以上の処理は、ルックアップテーブルを用いて、p^(k)=LUT(p(k))やp’^(j)=LUT(p’(j))のように変換してもよい。
【００６０】
本発明によれば、聴感上の違和感を抑えるように、大きな会場で発生した音を抽出した抽出発生音を補正することができる。これにより、スピーカとマイクが近くになく、あえて残響を加えるように設計されている会場で発生した音も適切に抽出・補正することができるようになる。
【００６１】
＜第二実施形態＞
環境音c1(k)が例えば拍手音である場合、図９の網掛け部に示すように、環境音c1(k)は時間方向にスパースな信号となる。そこで、抽出発生音e(k)の時間方向におけるスパースさの程度を調べ、スパースであると判定された場合、環境音c1(k)が入力音x(k)に比べて十分に大きいと判断して、e’(k)=e(k)とし、スパースでないと判定された場合、環境音c1(k) が入力音x(k)に比べて十分に小さく、環境音c1(k)が抽出できないとして、e’(k)=0として補正済抽出発生音を生成するようにする。
【００６２】
以下、図１０〜図１１を参照して抽出発生音補正装置２００について説明する。図１０は、抽出発生音補正装置２００の構成を示すブロック図である。図１１は、抽出発生音補正装置２００の動作を示すフローチャートである。図１０に示すように抽出発生音補正装置２００は、スパース尺度算出部２１０、抽出発生音補正部２２０、記録部１９０を含む。
【００６３】
図１０に従い抽出発生音補正装置２００の動作について説明する。スパース尺度算出部２１０は、抽出発生音e(k)から、抽出発生音e(k)のスパース尺度Skを算出する（Ｓ２１０）。スパース尺度とは、時間方向におけるスパースさの程度を表す値である。例えば、サンプルk以前のK個のサンプルの抽出発生音を用いて、スパース尺度Skを次式により算出してもよい。
【００６４】
【数７】
2019024160.tif 000009
【００６５】
なお、E2k,E4kのことを尖度といい、スパース尺度Skのことを尖度係数ということもある。また、スパース尺度Skを次式により算出してもよい。
【００６６】
【数８】
2019024160.tif 000010
【００６７】
さらに、別の例として、振幅絶対値の最大値と振幅絶対値の平均値から算出される比をスパース尺度Skとして用いてもよい。
【００６８】
【数９】
2019024160.tif 000011
【００６９】
なお、振幅絶対値の最大値の代わりに、上位P個（ただし、P<K）の平均値をE0kとしてもよい。つまり、j=1,…,Pに対して、fjを|e(i)|（i=k-K+1,…,k）の中でj番目に大きい値として、E0k=(f1+f2+…+fP)/Pとしてもよい。
【００７０】
抽出発生音補正部２２０は、スパース尺度Skを用いて、抽出発生音e(k)から補正済抽出発生音e’(k)を生成する（Ｓ２２０）。例えば、βをあらかじめ定められた定数（以下、βのことを閾値ともいう）として、Sk>βの場合、e’(k)=e(k)とし、Sk≦βの場合、e’(k)=0として補正済抽出発生音を生成する。
【００７１】
もちろん、Sk>β、Sk≦βの代わりに、Sk≧β、Sk<βを用いてもよい。
【００７２】
以上まとめると、Sk≦βまたはSk<βとなる場合、e’(k)=0とし、それ以外の場合は、e’(k)=e(k)として補正済抽出発生音e’(k)を生成する。あらかじめ定められた定数βに対してSk≦βまたはSk<βとなることを、スパース尺度Skが小さいことを示す所定の範囲にあるという。このとき、βのことをスパース尺度Skが小さいことを示す所定の範囲にあることを示す値という。
【００７３】
（変形例１）
抽出発生音補正部２２０におけるスパース尺度Skと閾値βの比較では、比較条件に用いる閾値βを時間経過によらず不変であるものとして扱ったが、一定のタイミングで閾値βを更新するようにしてもよい。一定のタイミングで更新するようにすると、会場での人数の変化や会場の温度の変化などに対して、閾値βが追従することができるようになる。
【００７４】
例えば、β0（ただし、β0はあらかじめ定められた数）を閾値の初期値として、サンプルごとに閾値βを更新して比較するようにしてもよい。具体的には、k=1,…として、Sk>βk-1の場合、e’(k)= e(k)とし、Sk≦βk-1の場合、e’(k)=0として補正済抽出発生音e’(k)を生成する。次に、次のサンプルのための閾値をβk=Skとし、同様にSk+1>βkの場合、e’(k+1)=e(k+1)とし、Sk+1≦βkの場合、e’(k+1)=0として補正済抽出発生音e’(k+1)を生成する。
【００７５】
なお、閾値βをβk=(Sk-L+1+…+Sk)/LというようにLサンプル分の平均値としてもよい。さらに、単純な平均とする代わりに、閾値βの計算に忘却係数を定めたフィルタを用いてもよいし、線形関数や非線形関数を用いてもかまわない。例えば、ωとσを実数の定数（ただし、ω>0）として、ガウス窓を用いて定義される忘却係数W(i)(i=0,1,…)により、閾値βkを以下のように求めてもよい。
【００７６】
【数１０】
2019024160.tif 000012
【００７７】
（変形例２）
第一実施形態で説明したように、抽出発生音補正装置が、補正済抽出発生音e’(k)の代わりに、補正済抽出発生音e’(k)を生成するために用いるパラメータである補正済抽出発生音パラメータp(k)を生成するようにしてもよい。
【００７８】
以下、図１２〜図１３を参照して抽出発生音補正装置２０１について説明する。図１２は、抽出発生音補正装置２０１の構成を示すブロック図である。図１３は、抽出発生音補正装置２０１の動作を示すフローチャートである。図１２からわかるように、抽出発生音補正装置２０１は、補正済抽出発生音パラメータ生成部１３０をさらに含む点においてのみ抽出発生音補正装置２００と異なる。また、図１３からわかるように、抽出発生音補正装置２０１の動作は、Ｓ１３０が追加されている点においてのみ抽出発生音補正装置２００の動作と異なる。補正済抽出発生音パラメータ生成部１３０は、補正済抽出発生音e’(k)から補正済抽出発生音パラメータp(k)を生成する（Ｓ１３０）。補正済抽出発生音e’(k)を生成するために用いることのできるパラメータであれば、補正済抽出発生音パラメータはどのようなものであってもよい。
【００７９】
本発明によれば、聴感上の違和感を抑えるように、大きな会場で発生した音を抽出した抽出発生音を補正することができる。これにより、スピーカとマイクが近くになく、あえて残響を加えるように設計されている会場で発生した音も適切に抽出・補正することができるようになる。
【００８０】
＜第三実施形態＞
第一実施形態ではパワー比Ek/Ykを、第二実施形態ではスパース尺度Skを用いて、抽出発生音を補正するための条件判定を行った。ここでは、パワー比Ek/Ykとスパース尺度Skの２つを用いた形で条件判定を行う。
【００８１】
以下、図１４〜図１５を参照して抽出発生音補正装置３００について説明する。図１４は、抽出発生音補正装置３００の構成を示すブロック図である。図１５は、抽出発生音補正装置３００の動作を示すフローチャートである。図１４に示すように抽出発生音補正装置３００は、パワー算出部１１０、スパース尺度算出部２１０、抽出発生音補正部３２０、記録部１９０を含む。
【００８２】
図１５に従い抽出発生音補正装置３００の動作について説明する。パワー算出部１１０は、収音会場音y(k)と抽出発生音e(k)から、収音会場音y(k)のパワーである収音会場音パワーYkと抽出発生音e(k)のパワーである抽出発生音パワーEkを算出する（Ｓ１１０）。スパース尺度算出部２１０は、抽出発生音e(k)から、抽出発生音e(k)のスパース尺度Skを算出する（Ｓ２１０）。発生音抽出部３２０は、収音会場音パワーYkと抽出発生音パワーEkとスパース尺度Skを用いて、抽出発生音e(k)から補正済抽出発生音e’(k)を生成する（Ｓ３２０）。例えば、倍率α、閾値βに対して、Ek>αYkかつSk>β（Ek≧αYkかつSk≧β）となる場合、e’(k)=e(k)とし、それ以外の場合はe’(k)=0として補正済抽出発生音を生成する。その際、例えば、Yk,Ekについては式(1)、式(2)を用いて、Skについては式(5)〜式(7)を用いて算出することができる。また、Skについては式(5)〜式(7)の代わりに、式(8)〜式(10)や式(11)〜式(13)を用いてもよい。
【００８３】
もちろん、例えば、倍率α、閾値βに対して、Ek≦αYkかつSk≦β（Ek<αYkかつSk<β）となる場合、e’(k)=0とし、それ以外の場合はe’(k)=e(k)として補正済抽出発生音を生成するようにしてもよい。
【００８４】
さらに、抽出発生音補正部３２０における抽出発生音を補正するための条件判定に用いる条件を複数にしてもよい。例えば、発生音抽出部３２０が、収音会場音パワーYkと抽出発生音パワーEkとスパース尺度Skを用いて、抽出発生音e(k)から補正済抽出発生音e’(k)を生成する際、倍率α1,α2、閾値β1,β2（ただし、α1<α2、β1>β2）に対して、以下の第１条件、第２条件のいずれかが成立する場合、e’(k)=e(k)とし、それ以外の場合はe’(k)=0として補正済抽出発生音を生成する。
第１条件：Ek>α1・YkかつSk>β1
第２条件：Ek>α2・YkかつSk>β2
【００８５】
その際、Yk,Ekについては式(3)、式(4)を用いて、Skについては式(11)〜式(13)を用いて算出することができる。この場合、例えば、α1=0.5、α2=1、β1=12、β2=9とすればよい。
【００８６】
図１６は、拍手音を環境音として、抽出発生音e(k)に対して第一実施形態のようにパワー比を用いて生成した補正済抽出発生音e’(k)（図１６(b)）と本実施形態のようにパワー比とスパース尺度を用いて生成した補正済抽出発生音e’(k)（図１６(c)）の様子を示す図である。図１６(b)と図１６(c)を比べると、本実施形態（図１６(c)）の方が、環境音である拍手音の抽出・補正の精度がよいことがわかる。
【００８７】
もちろん、倍率α1,α2、閾値β1,β2（ただし、α1<α2、β1>β2）に対して、以下の第３条件、第４条件のいずれかが成立する場合、e’(k)=0とし、それ以外の場合はe’(k)=e(k)として補正済抽出発生音を生成するようにしてもよい。
第３条件：Ek≦α1・YkかつSk≦β1
第４条件：Ek≦α2・YkかつSk≦β2
【００８８】
（変形例１）
第一実施形態や第二実施形態と同様、倍率αと閾値βをサンプルごとに変化させる構成としてもよい。
【００８９】
（変形例２）
また、第一実施形態や第二実施形態で説明したように、抽出発生音補正装置が、補正済抽出発生音e’(k)の代わりに、補正済抽出発生音e’(k)を生成するために用いるパラメータである補正済抽出発生音パラメータp(k)を生成するようにしてもよい。
【００９０】
以下、図１７〜図１８を参照して抽出発生音補正装置３０１について説明する。図１７は、抽出発生音補正装置３０１の構成を示すブロック図である。図１８は、抽出発生音補正装置３０１の動作を示すフローチャートである。図１７からわかるように、抽出発生音補正装置３０１は、補正済抽出発生音パラメータ生成部１３０をさらに含む点においてのみ抽出発生音補正装置３００と異なる。また、図１８からわかるように、抽出発生音補正装置３０１の動作は、Ｓ１３０が追加されている点においてのみ抽出発生音補正装置３００の動作と異なる。補正済抽出発生音パラメータ生成部１３０は、補正済抽出発生音e’(k)から補正済抽出発生音パラメータp(k)を生成する（Ｓ１３０）。補正済抽出発生音e’(k)を生成するために用いることのできるパラメータであれば、補正済抽出発生音パラメータはどのようなものであってもよい。
【００９１】
本発明によれば、聴感上の違和感を抑えるように、大きな会場で発生した音を抽出した抽出発生音を補正することができる。これにより、スピーカとマイクが近くになく、あえて残響を加えるように設計されている会場で発生した音も適切に抽出・補正することができるようになる。
【００９２】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００９３】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００９４】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００９５】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００９６】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００９７】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００９８】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００９９】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１００】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2019024160.tif 000013
【図２】
2019024160.tif 000014
【図３】
2019024160.tif 000015
【図４】
2019024160.tif 000016
【図５】
2019024160.tif 000017
【図６】
2019024160.tif 000018
【図７】
2019024160.tif 000019
【図８】
2019024160.tif 000020
【図９】
2019024160.tif 000021
【図１０】
2019024160.tif 000022
【図１１】
2019024160.tif 000023
【図１２】
2019024160.tif 000024
【図１３】
2019024160.tif 000025
【図１４】
2019024160.tif 000026
【図１５】
2019024160.tif 000027
【図１６】
2019024160.tif 000028
【図１７】
2019024160.tif 000029
【図１８】
2019024160.tif 000030