(57)【要約】【課題】複数のスピーカを用いて音声信号を再生している最中であっても音声信号を調整することができる音声調整装置を提供する。【解決手段】周波数応答算出部２２は、音声再生系における各チャンネルのインパルス応答をｈ（ｔ）、インパルス応答ｈ（ｔ）をフーリエ変換した周波数応答をＨ（ω）としたとき、入力された第１の音声信号ｘ（ｔ）とスピーカ４１〜４３によって再生された第２の音声信号ｙ（ｔ）との相互相関関数をフーリエ変換したクロススペクトルを、第１の音声信号ｘ（ｔ）の自己相関関数をフーリエ変換したパワースペクトルで除算した信号に相当する周波数応答Ｈ（ω）を算出する。インパルス応答算出部２３は、各チャンネルの周波数応答Ｈ（ω）を逆フーリエ変換して各チャンネルのインパルス応答ｈ（ｔ）を算出する。音声信号調整部２５は、少なくとも１チャンネルの第１の音声信号ｘ（ｔ）の遅延時間と振幅との少なくとも一方を調整する。【選択図】図１
2020127067.tif 000002
【特許請求の範囲】
【請求項１】
複数チャンネルの第１の音声信号と、前記複数チャンネルの第１の音声信号を再生する複数個のスピーカより出力された前記複数チャンネルの音声をマイクロホンで収音した前記複数チャンネルの第２の音声信号とをフーリエ変換して、前記第１の音声信号に対応する各チャンネルの第１の周波数領域信号と、前記第２の音声信号に対応する各チャンネルの第２の周波数領域信号とを生成するフーリエ変換部と、
前記複数個のスピーカを含む音声再生系における各チャンネルのインパルス応答をｈ（ｔ）、前記インパルス応答ｈ（ｔ）をフーリエ変換した周波数応答をＨ（ω）としたとき、前記第１及び第２の周波数領域信号に基づいて、周波数応答Ｈ（ω）を算出する周波数応答算出部と、
各チャンネルの周波数応答Ｈ（ω）を逆フーリエ変換して各チャンネルのインパルス応答ｈ（ｔ）を算出するインパルス応答算出部と、
前記各チャンネルのインパルス応答ｈ（ｔ）に基づいて、前記複数チャンネルの第１の音声信号における少なくとも１チャンネルの第１の音声信号の遅延時間と振幅との少なくとも一方を調整して、前記複数チャンネルの第３の音声信号を出力する音声信号調整部と、
前記複数個のスピーカに供給する音声信号を前記第１の音声信号から前記第３の音声信号に切り替える音声信号切替部と、
を備える音声調整装置。
【請求項２】
前記複数チャンネルの第１の音声信号に所定の周波数以上の高周波信号を加算する高周波加算部をさらに備え、
前記フーリエ変換部は、前記高周波信号が加算された第１の音声信号をフーリエ変換して前記第１の周波数領域信号を生成し、
前記インパルス応答算出部は、前記高周波信号のインパルス応答ｈ（ｔ）を算出する
請求項１に記載の音声調整装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のスピーカを用いて音声信号を再生する際に音声信号を調整する音声調整装置に関する。
【背景技術】
【０００２】
ライブパフォーマンスでは、複数のスピーカを用いて音声信号が再生される。ステージの転換、観客の移動、温度または湿度の変化等によって音響特性が変化することがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３５４３００号公報
【特許文献２】特開２００８−０６７０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ライブパフォーマンスの進行中であっても、音響特性の変化に対応するために、音声信号を調整することができる音声調整装置が求められている。本発明は、複数のスピーカを用いて音声信号を再生している最中であっても音声信号を調整することができる音声調整装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、複数チャンネルの第１の音声信号と、前記複数チャンネルの第１の音声信号を再生する複数個のスピーカより出力された前記複数チャンネルの音声をマイクロホンで収音した前記複数チャンネルの第２の音声信号とをフーリエ変換して、前記第１の音声信号に対応する各チャンネルの第１の周波数領域信号と、前記第２の音声信号に対応する各チャンネルの第２の周波数領域信号とを生成するフーリエ変換部と、前記複数個のスピーカを含む音声再生系における各チャンネルのインパルス応答をｈ（ｔ）、前記インパルス応答ｈ（ｔ）をフーリエ変換した周波数応答をＨ（ω）としたとき、前記第１及び第２の周波数領域信号に基づいて、周波数応答Ｈ（ω）を算出する周波数応答算出部と、各チャンネルの周波数応答Ｈ（ω）を逆フーリエ変換して各チャンネルのインパルス応答ｈ（ｔ）を算出するインパルス応答算出部と、前記各チャンネルのインパルス応答ｈ（ｔ）に基づいて、前記複数チャンネルの第１の音声信号における少なくとも１チャンネルの第１の音声信号の遅延時間と振幅との少なくとも一方を調整して、前記複数チャンネルの第３の音声信号を出力する音声信号調整部と、前記複数個のスピーカに供給する音声信号を前記第１の音声信号から前記第３の音声信号に切り替える音声信号切替部とを備える音声調整装置を提供する。
【発明の効果】
【０００６】
本発明の音声調整装置によれば、複数のスピーカを用いて音声信号を再生している最中であっても音声信号を調整することができる。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態の音声調整装置を示すブロック図である。
【図２Ａ】入力された音声信号の波形の一例を示す波形図である。
【図２Ｂ】図２Ａに示す音声信号をスピーカで再生した音声信号をマイクロホンで収音した波形を示す波形図である。
【図３】第１実施形態の音声調整装置が算出するインパルス応答の一例を示す波形図である。
【図４】音声信号としてタイムストレッチパルスを発生させて、一般的な測定方法で測定したインパルス応答を示す波形図である。
【図５】第１実施形態の音声調整装置がインパルス応答に基づいて音声信号の遅延時間を調整する動作説明するための図である。
【図６】第１実施形態の音声調整装置がインパルス応答に基づいて音声信号の振幅を調整する動作を説明するための図である。
【図７】第２実施形態の音声調整装置を示すブロック図である。
【図８】第２実施形態の音声調整装置において高周波信号を加算した音声信号の一例を示す波形図である。
【図９】図８に示す音声信号に基づいて生成された周波数領域信号を示す波形図である。
【図１０】第２実施形態の音声調整装置が算出するインパルス応答の一例を示す波形図である。
【発明を実施するための形態】
【０００８】
以下、各実施形態の音声調整装置について、添付図面を参照して説明する。図１に示す第１実施形態及び図７に示す第２実施形態においては、３つのスピーカを用いて３チャンネルの音声信号を再生する場合を例とする。
【０００９】
＜第１実施形態＞
図１において、３チャンネルの音声信号ｘ（ｔ）はオーディオインタフェース１０を介してメインアンプ３０に供給される。音声信号ｘ（ｔ）は第１の音声信号である。メインアンプ３０は、各音声信号を増幅してスピーカ４１〜４３に供給し、スピーカ４１〜４３より３チャンネルの音声を出力させる。オーディオインタフェース１０はミキサであってもよい。
【００１０】
オーディオインタフェース１０は、Ａ／Ｄ変換器１１、音声信号切替部１２、操作部１３を有する。音声信号切替部１２が音声信号ｘ（ｔ）をメインアンプ３０に供給すれば、オーディオインタフェース１０に入力された音声信号ｘ（ｔ）がそのまま音声として再生される。
【００１１】
スピーカ４１〜４３の前方には、マイクロホン５０が配置されている。マイクロホン５０は、スピーカ４１〜４３から出力された音声の聴取位置に配置されている。マイクロホン５０は、スピーカ４１〜４３から出力された音声を収音する。マイクロホン５０は、３チャンネルの音声信号ｘ（ｔ）における各チャンネルの音声を個別に収音するよう、各チャンネルの音声のみが出力される期間に音声を収音するのがよい。
【００１２】
オーディオインタフェース１０には、コンピュータ機器２０が接続されている。コンピュータ機器２０は、フーリエ変換部２１、周波数応答算出部２２、インパルス応答算出部２３、記憶部２４、音声信号調整部２５、Ｄ／Ａ変換部２６を有する。
【００１３】
オーディオインタフェース１０のＡ／Ｄ変換器１１は、３チャンネルの音声信号ｘ（ｔ）をＡ／Ｄ変換する。また、Ａ／Ｄ変換器１１は、マイクロホン５０がスピーカ４１〜４３からの音声を収音した３チャンネルの音声信号ｙ（ｔ）をＡ／Ｄ変換する。音声信号ｙ（ｔ）は第２の音声信号である。上記のように、３チャンネルの音声信号ｙ（ｔ）は必ずしもＡ／Ｄ変換器１１に同時に供給されないので、音声信号ｙ（ｔ）は１本の信号線で示されている。
【００１４】
フーリエ変換部２１には、Ａ／Ｄ変換された音声信号ｘ（ｔ）と音声信号ｙ（ｔ）とが供給される。以下の計算式において、音声信号ｘ（ｔ）とは３チャンネルの音声信号ｘ（ｔ）における任意の１チャンネルの音声信号ｘ（ｔ）であるとし、音声信号ｙ（ｔ）とは１チャンネルの音声信号ｘ（ｔ）の音声のみが出力される期間に収音した１チャンネルの音声信号ｙ（ｔ）であるとする。
【００１５】
典型的には、フーリエ変換部２１は、離散フーリエ変換（ＤＦＴ）を高速で計算することができるアルゴリズムである高速フーリエ変換（ＦＦＴ）を用いて、音声信号ｘ（ｔ）及びｙ（ｔ）をフーリエ変換する。フーリエ変換部２１が音声信号ｘ（ｔ）及びｙ（ｔ）をフーリエ変換することによって生成した周波数領域信号をＸ（ω）及びＹ（ω）とする。周波数領域信号Ｘ（ω）は第１の周波数領域信号であり、周波数領域信号Ｙ（ω）は第２の周波数領域信号である。フーリエ変換部２１は、周波数領域信号Ｘ（ω）及びＹ（ω）を周波数応答算出部２２に供給する。
【００１６】
図１に示す音声再生系におけるインパルス応答をｈ（ｔ）とすると、音声信号ｙ（ｔ）はインパルス応答ｈ（ｔ）と音声信号ｘ（ｔ）との畳み込み演算である式（１）で表すことができる。
ｙ（ｔ）＝ｈ（ｔ）×ｘ（ｔ）    …（１）
【００１７】
インパルス応答ｈ（ｔ）をフーリエ変換した結果を周波数応答Ｈ（ω）とすると、周波数領域信号Ｙ（ω）は式（２）で表すことができる。よって、周波数応答Ｈ（ω）は式（３）と表すことができ、さらに式（４）と変形することができる。式（４）におけるＸ*（ω）はＸ（ω）の複素共役を示す。
【００１８】
Ｙ（ω）＝Ｈ（ω）×Ｘ（ω）    …（２）
Ｈ（ω）＝Ｙ（ω）／Ｘ（ω）    …（３）
Ｈ（ω）＝Ｘ*（ω）Ｙ（ω）／Ｘ*（ω）Ｘ（ω）    …（４）
【００１９】
式（４）におけるＸ*（ω）Ｘ（ω）をＳｘ（ω）、Ｘ*（ω）Ｙ（ω）をＳｘｙ（ω）とする。Ｓｘ（ω）は、音声信号ｘ（ｔ）の自己相関関数をフーリエ変換したパワースペクトルである。Ｓｘｙ（ω）は、音声信号ｘ（ｔ）と音声信号ｙ（ｔ）との相互相関関数をフーリエ変換したクロススペクトルである。式（４）は式（５）と変形することができる。
Ｈ（ω）＝Ｓｘｙ（ω）／Ｓｘ（ω）    …（５）
【００２０】
周波数応答算出部２２は、式（５）に基づいて、クロススペクトルをパワースペクトルで除算した信号に相当する各チャンネルの周波数応答Ｈ（ω）を算出して、インパルス応答算出部２３に供給する。インパルス応答算出部２３は、式（６）に基づいて周波数応答Ｈ（ω）を逆フーリエ変換することによって、各チャンネルのインパルス応答ｈ（ｔ）を算出する。式（６）の指数関数ｅ−ｉωｔにおけるωは周波数、ｉは虚数、ｔは時間である。
【００２１】
【数１】
2020127067.tif 000003
【００２２】
記憶部２４には、任意のタイミングで、各チャンネルの音声信号ｘ（ｔ）及びｙ（ｔ）に基づいて算出したインパルス応答ｈ（ｔ）が記憶される。記憶部２４には、周波数応答算出部２２から供給された各チャンネルの周波数領域信号Ｙ（ω）も記憶される。
【００２３】
図２Ａはいずれかのチャンネルの音声信号ｘ（ｔ）の波形の一例を示し、図２Ｂは図２Ａの波形に対応する音声信号ｙ（ｔ）の波形を示している。図３は、インパルス応答算出部２３が図２Ａ及び図２Ｂに示す波形に基づいて算出したインパルス応答ｈ（ｔ）を示している。
【００２４】
図４は、音声信号ｘ（ｔ）としてタイムストレッチパルスを発生させ、一般的な測定方法で測定したインパルス応答ｈ（ｔ）を示している。図１に示す構成によって得られる図３に示すインパルス応答ｈ（ｔ）は、実際に測定した図４に示すインパルス応答ｈ（ｔ）と同様な波形であることが分かる。即ち、本実施形態の音声調整装置によれば、式（６）に基づく計算によって、音声信号ｘ（ｔ）を調整するためのインパルス応答ｈ（ｔ）を得ることができる。
【００２５】
なお、インパルス応答算出部２３は、音声信号ｘ（ｔ）及び音声信号ｙ（ｔ）における全周波数帯域に基づいてインパルス応答ｈ（ｔ）を算出してもよいし、特定の周波数帯域に基づいてインパルス応答ｈ（ｔ）を算出してもよい。
【００２６】
音声信号調整部２５には、Ａ／Ｄ変換器１１より出力された３チャンネルの音声信号ｘ（ｔ）が供給される。音声信号調整部２５は、記憶部２４に記憶されたインパルス応答ｈ（ｔ）に基づいて、３チャンネルの音声信号ｘ（ｔ）のうちの少なくとも１チャンネルの音声信号ｘ（ｔ）の遅延時間または振幅を調整する。音声信号調整部２５は、記憶部２４に記憶された周波数領域信号Ｙ（ω）に基づいて、３チャンネルの音声信号ｘ（ｔ）のうちの少なくとも１チャンネルの周波数特性を調整してもよい。
【００２７】
図５は、スピーカ４１〜４３からの音声を収音した３チャンネルの音声信号ｙ（ｔ）に基づいて算出したインパルス応答ｈ（ｔ）を概念的に示している。図５に示す例では、スピーカ４１〜４３から出力される音声は、スピーカ４２、スピーカ４１、スピーカ４３の順でマイクロホン５０（音声の聴取位置）に到達する。
【００２８】
音声信号調整部２５は、スピーカ４１に供給する音声信号ｘ（ｔ）を時間ｔ４１だけ、スピーカ４２に供給する音声信号ｘ（ｔ）を時間ｔ４２だけ遅延させる。これによって、３チャンネルの音声信号ｘ（ｔ）に基づく音声がスピーカ４１〜４３より出力されて音声の聴取位置に到達するタイミングを一致させることができる。
【００２９】
図５は、音声信号調整部２５が、スピーカ４１及び４２より出力された音声が聴取位置に到達するタイミングを、スピーカ４３より出力された音声が聴取位置に到達するタイミングに合わせるよう調整する例を示している。音声信号調整部２５は、スピーカ４１〜４３より出力された音声が聴取位置に到達するタイミングを合わせるよう、３チャンネルの音声信号ｘ（ｔ）の全てを遅延させてもよい。
【００３０】
同様に、図６は、スピーカ４１〜４３からの音声を収音した３チャンネルの音声信号ｙ（ｔ）に基づいて算出したインパルス応答ｈ（ｔ）を概念的に示している。図６に示す例は、３チャンネルのインパルス応答ｈ（ｔ）の振幅が異なっている場合を示している。３チャンネルのインパルス応答ｈ（ｔ）の振幅は、スピーカ４１〜４３に対応してそれぞれＡ４１〜Ａ４３である。
【００３１】
音声信号調整部２５は、スピーカ４１〜４３に供給する３チャンネルの音声信号ｘ（ｔ）を振幅Ａ４１〜Ａ４３が一致するように調整する。
【００３２】
音声信号調整部２５によって少なくとも１チャンネルの音声信号ｘ（ｔ）の遅延時間もしくは振幅、または周波数特性が調整された３チャンネルの音声信号ｘ（ｔ）は、Ｄ／Ａ変換部２６によってＤ／Ａ変換されて、音声信号切替部１２に供給される。音声信号調整部２５によって調整された３チャンネルの音声信号ｘ（ｔ）は第３の音声信号である。
【００３３】
操作部１３によって音声信号ｘ（ｔ）を切り替える操作がなされる。すると、音声信号切替部１２は、オーディオインタフェース１０に入力された３チャンネルの音声信号ｘ（ｔ）から、コンピュータ機器２０によって遅延時間、振幅、周波数特性のうちの少なくとも１つが調整された３チャンネルの音声信号ｘ（ｔ）へと切り替えてメインアンプ３０に供給する。これによって、スピーカ４１〜４３からは調整された音声が再生されて出力される。
【００３４】
第１実施形態の音声調整装置によれば、スピーカ４１〜４３によって３チャンネルの音声信号ｘ（ｔ）を再生している最中であっても音声信号ｘ（ｔ）を調整することができる。
【００３５】
＜第２実施形態＞
図７に示す第２実施形態において、図１に示す第１実施形態と同一部分には同一符号を付し、その説明を省略する。図７において、Ａ／Ｄ変換器１１より出力された３チャンネルの音声信号ｘ（ｔ）は、コンピュータ機器２０に設けられた高周波加算部２７に供給される。高周波加算部２７は、３チャンネルの音声信号ｘ（ｔ）に一例として２５ｋＨｚ以上の高周波信号を加算する。図８は、高周波信号が加算された、いずれかの１チャンネルの音声信号ｘ（ｔ）を示している。
【００３６】
図９は、フーリエ変換部２１に図８に示す音声信号ｘ（ｔ）が供給される場合に、フーリエ変換部２１より周波数応答算出部２２に供給される周波数領域信号Ｘ（ω）を示している。周波数応答算出部２２は、図９に示す周波数領域信号Ｘ（ω）のうちの２５ｋＨｚ以上の高周波信号を用いて周波数応答Ｈ（ω）を算出してもよい。
【００３７】
図１０は、インパルス応答算出部２３が算出した２５ｋＨｚ以上の高周波信号に基づくインパルス応答ｈ（ｔ）を示している。図１０に示すように、第２実施形態の音声調整装置で得られるインパルス応答ｈ（ｔ）は、図３に示す第１実施形態の音声調整装置で得られるインパルス応答ｈ（ｔ）と同様の波形である。よって、２５ｋＨｚ以上の高周波信号を用いてインパルス応答ｈ（ｔ）を算出する第２実施形態の音声調整装置においても、３チャンネルの音声信号ｘ（ｔ）を調整することができる。
【００３８】
第２実施形態の音声調整装置によれば、実質的に聞こえない所定の周波数以上の高周波信号を用いてインパルス応答ｈ（ｔ）を算出することができるので、可聴範囲の音声信号に影響を与えることがない。また、第１実施形態の音声調整装置と同様に、スピーカ４１〜４３によって３チャンネルの音声信号ｘ（ｔ）を再生している最中であっても音声信号ｘ（ｔ）を調整することができる。
【００３９】
＜第３実施形態＞
第３実施形態の音声調整装置は、第１または第２実施形態におけるマイクロホン５０として、無指向性の２つ以上のマイクロホンが用いられる。第３実施形態の音声調整装置は、２つ以上のマイクロホンが収音した各チャンネルの音声信号ｙ（ｔ）を、ビームフォーミング法を用いたビームフォーミング処理によって強調する。その他の構成及び動作は第１または第２実施形態の音声調整装置と同様である。
【００４０】
第３実施形態の音声調整装置によれば、各チャンネルの音声信号ｙ（ｔ）を強調することができるので、より明確なインパルス応答ｈ（ｔ）を算出することができる。
【００４１】
本発明は以上説明した第１〜第３実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。第１〜第３実施形態の音声調整装置においては、コンピュータ機器２０によって各チャンネルの音声信号ｘ（ｔ）を調整している。即ち、コンピュータ機器２０が備えるプロセッサがソフトウェア（コンピュータプログラム）を実行することによって各チャンネルの音声信号ｘ（ｔ）を調整することができる。
【００４２】
プロセッサがソフトウェアを実行する代わりに、集積回路等のハードウェア構成が、各チャンネルの音声信号ｘ（ｔ）を調整することも可能である。ハードウェアとソフトウェアとの使い分けは任意であり、両者を組み合わせて構成することも可能である。
【符号の説明】
【００４３】
１０  オーディオインタフェース
１１  Ａ／Ｄ変換器
１２  音声信号切替部
１３  操作部
２０  コンピュータ機器
２１  フーリエ変換部
２２  周波数応答算出部
２３  インパルス応答算出部
２４  記憶部
２５  音声信号調整部
２６  Ｄ／Ａ変換部
２７  高周波加算部
３０  メインアンプ
４１〜４３スピーカ
５０  マイクロホン
【図１】
2020127067.tif 000004
【図２Ａ】
2020127067.tif 000005
【図２Ｂ】
2020127067.tif 000006
【図３】
2020127067.tif 000007
【図４】
2020127067.tif 000008
【図５】
2020127067.tif 000009
【図６】
2020127067.tif 000010
【図７】
2020127067.tif 000011
【図８】
2020127067.tif 000012
【図９】
2020127067.tif 000013
【図１０】
2020127067.tif 000014