(57)【要約】【課題】  残響音の影響を受けることなく各話者の音声を収音することができる音声収録装置を提供することを目的とする。【解決手段】  本発明の音声収録装置１は、音源に置かれた音声発生部であるスピーカ１５に入力する基準信号を発生する基準信号発生部５と、前記スピーカ１５で発生された音声を異なる位置に置かれ時間的に同期がとられた複数の音声収音部で収音した音声信号をそれぞれ記憶するインパルス応答記憶部６と、前記インパルス応答記憶部６に記憶された音声信号と前記基準信号に基づいて、前記音源の位置から前記音声収音部であるマイクロホン１１〜１４までの伝達関数を求める伝達関数算出部７と、前記求めた伝達関数の特性を打ち消す逆フィルタ係数を計算する逆フィルタ係数計算部８と、前記逆フィルタ係数に基づいて、前記複数の音声収音部で収音される音声信号をフィルタ処理する逆フィルタ処理部９とを有する。【選択図】          図１
2008022069.tif 000002
【特許請求の範囲】
【請求項１】
音源に置かれた音声発生部に入力する基準信号を発生する基準信号発生部と、
前記音声発生部で発生された音声を異なる位置に置かれ時間的に同期がとられた複数の音声収音部で収音した音声信号をそれぞれ記憶する記憶部と、
前記記憶部に記憶された音声信号と前記基準信号に基づいて、前記音源の位置から前記音声収音部までの伝達関数を求める伝達関数算出部と、
前記求めた伝達関数の特性を打ち消す逆フィルタ係数を計算する逆フィルタ係数計算部と、
前記逆フィルタ係数に基づいて、前記複数の音声収音部で収音される音声信号をフィルタ処理するフィルタ処理部と、を有する音声収録装置。
【請求項２】
前記フィルタ処理部は、前記複数の音声収音部へ到来する音を同位相化し加算することで目的の音声を収音することを特徴とする請求項１に記載の音声収録装置。
【請求項３】
前記基準信号はインパルス入力であり、
前記複数の音声収音部で収音した音声信号はインパルス応答である、請求項１又は請求項２に記載の音声収録装置。
【請求項４】
前記フィルタ処理部がフィルタ処理した音声信号を前記音源で発生された音声信号として記録する音声収録部をさらに有する請求項１から請求項３のいずれかに記載の音声収録装置。
【請求項５】
前記フィルタ処理部は、前記音源の位置を示す音源情報に基づいて前記音源の位置を推定して前記フィルタ処理することを特徴とする請求項１から請求項４のいずれかに記載の音声収録装置。
【請求項６】
前記音源情報は、撮像手段により撮像した画像信号であることを特徴とする請求項５に記載の音声収録装置。
【請求項７】
音源に置かれた音声発生部に入力する基準信号を発生するステップと、
前記音声発生部で発生された音声を異なる位置に置かれ時間的に同期がとられた複数の音声収音部で収音した音声信号をそれぞれ記憶部に記憶するステップと、
前記記憶部に記憶された音声信号と前記基準信号に基づいて、前記音源の位置から前記音声収音部までの伝達関数を求めるステップと、
前記伝達関数の特性を打ち消す逆フィルタ係数を計算するステップと、
前記逆フィルタ係数に基づいて、前記複数の音声収音部で収音される音声信号をフィルタ処理するステップと、を有する音声収録方法。
【請求項８】
前記基準信号はインパルス入力であり、
前記複数の音声収音部で収音した音声信号はインパルス応答である、請求項７に記載の音声収録方法。
【請求項９】
前記フィルタ処理するステップは、前記音源の位置を示す音源情報に基づいて前記音源の位置を推定して前記フィルタ処理することを特徴とする請求項７又は請求項８に記載の音声収録方法。
【請求項１０】
前記音源情報は、撮像手段により撮像した画像信号であることを特徴とする請求項９に記載の音声収録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目的の音声を収録する音声収録装置および音声収録方法に関する。
【背景技術】
【０００２】
従来、話者の音声を個別に収録する方法として、接話型マイク、ヘッドセットマイクなどを使用する方法や話者の音声の特性に基づいて音声信号処理をする方法が提案されている。また、他の従来技術として、遠隔会議等において、複数のマイクロホンにより受音された音声信号をフィルタ処理して出力することにより、雑音や歪を低減し、目的とする音源から発せられた音を高品質に収音する装置が提案されている（特許文献１）。特許文献１に記載の装置は、マイクロホンで受音した信号に基づいて話者位置推定を行う。次に、話者位置推定結果を受け推定話者位置に遅延和アレーの焦点が向くような遅延を遅延器に設定する。各マイクロホンで収録された音声信号について信号対雑音比（ＳＮ比）を推定する。推定されたＳＮ比はフィルタ係数の決定に用いられる。最適フィルタ計算部はアレーの出力のＳＮ比、目的音成分の歪が最適となるような最適フィルタを計算し、フィルタに設定する。
【特許文献１】特開２００１−３０９４８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１に記載の技術では、部屋の壁などで反射した残響音がマイクロホンに入ってくるため、残響音の影響を受けることなく各話者の音声を収音することができないという問題があった。
【０００４】
そこで、本発明は、上記問題点に鑑みてなされたもので、残響音の影響を受けることなく各話者の音声を収音することができる音声収録装置および音声収録方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の音声収録装置は、音源に置かれた音声発生部に入力する基準信号を発生する基準信号発生部と、前記音声発生部で発生された音声を異なる位置に置かれ時間的に同期がとられた複数の音声収音部で収音した音声信号をそれぞれ記憶する記憶部と、前記記憶部に記憶された音声信号と前記基準信号に基づいて、前記音源の位置から前記音声収音部までの伝達関数を求める伝達関数算出部と、前記求めた伝達関数の特性を打ち消す逆フィルタ係数を計算する逆フィルタ係数計算部と、前記逆フィルタ係数に基づいて、前記複数の音声収音部で収音される音声信号をフィルタ処理するフィルタ処理部とを有する。
【０００６】
本発明によれば、音源に置かれた音声発生部に入力する基準信号を発生し、音声発生部で発生された音声を異なる位置に置かれ時間的に同期がとられた複数の音声収音部で収音した音声信号をそれぞれ記憶しておき、この記憶部に記憶された音声信号と基準信号に基づいて、音源の位置から音声収音部までの伝達関数を求め、求めた伝達関数の特性を打ち消す逆フィルタ係数を計算して音声信号をフィルタ処理することで、残響音を除去した音声を作り出すことができるため残響音の影響を受けることなく話者の音声を個別に収音することができる。
【０００７】
前記フィルタ処理部は、前記複数の音声収音部へ到来する音を同位相化し加算することで目的の音声を収音する。前記基準信号はインパルス入力であり、前記複数の音声収音部で収音した音声信号はインパルス応答であるのが好ましい。本発明の音声収録装置は、前記フィルタ処理部がフィルタ処理した音声信号を前記音源で発生された音声信号として記録する音声収録部をさらに有する。
【０００８】
前記フィルタ処理部は、前記音源の位置を示す音源情報に基づいて前記音源の位置を推定して前記フィルタ処理する。これにより、画像や、例えば、椅子の位置や、電波・超音波・赤外線を用いたタグなどを用いた画像以外の音源情報を用いて、音源位置を推定しフィルタ処理をすることもできる。また、残響が少ない部屋であれば声の音源推定も可能である。前記音源情報は、例えば撮像手段により撮像した画像信号である。これにより、画像信号を使って音源の推定の候補を絞ることができ、フィルタ処理の精度を向上させることができる。
【０００９】
本発明の音声収録方法は、音源に置かれた音声発生部に入力する基準信号を発生するステップと、前記音声発生部で発生された音声を異なる位置に置かれ時間的に同期がとられた複数の音声収音部で収音した音声信号をそれぞれ記憶部に記憶するステップと、前記記憶部に記憶された音声信号と前記基準信号に基づいて、前記音源の位置から前記音声収音部までの伝達関数を求めるステップと、前記伝達関数の特性を打ち消す逆フィルタ係数を計算するステップと、前記逆フィルタ係数に基づいて、前記複数の音声収音部で収音される音声信号をフィルタ処理するステップとを有する。本発明によれば、基準信号を使って残響音を除去した音声を作り出すことができるため残響音の影響を受けることなく話者の音声を収音することができる。
【００１０】
前記基準信号はインパルス入力であり、前記複数の音声収音部で収音した音声信号はインパルス応答である。前記フィルタ処理するステップは、前記音源の位置を示す音源情報に基づいて前記音源の位置を推定して前記フィルタ処理する。これにより、画像や、例えば、椅子の位置や、電波・超音波・赤外線を用いたタグなどを用いた画像以外の音源情報を用いて、音源位置を推定しフィルタ処理をすることもできる。また、残響が少ない部屋であれば声の音源推定も可能である。前記音源情報は、撮像手段により撮像した画像信号である。これにより、画像信号を使って音源の推定の候補を絞ることができ、フィルタ処理の精度を向上させることができる。
【００１１】
また、公知技術のＩＣＡ(independent component analysis)を音声に適用したＢＳＳ(Blind
Source Separation)の技術を用いて前記フィルタ処理におけるフィルタのパラメータを最適化することにより、精度を向上することができる。BSSについては、次の文献により提案されている。H.
Saruwatari, T. Kawamura, T.
Nishikawa, K. Shikano,
``Fast-Convergence Algorithm for Blind Source Separation Based
on Array Signal Processing,'' IEICE Trans.
Fundamentals, Vol.E86-A, No.3, pp.286--291 March 2003.
【００１２】
多チャンネルでは計算が複雑で精度も低下するので、ＢＳＳの初期値として、本発明で得たフィルタのパラメータを使うことによって現実的な時間で計算が可能になる。公知のBSSは、帯域ごとに分割した上で、各帯域ごとにフィルタ処理を行って音声を分離するが、本発明ではマイクロホンアレイ技術と同じように、音波のサンプリング単位で処理を行う。ＢＳＳは、複数の音源が独立（２人以上の発話があっても、互いに相関がない）という事実に基づいているが、これは本発明のパラメータを微調整・最適化にも用いることができる。本発明をＢＳＳによる最適化の初期値とすることは可能で、これについては前例はない。本発明のパラメータを初期値として、公知のBSSを適用することにより、より精度を高められることや、体（音源）が動いたときに微調整をすることができる。
【発明の効果】
【００１３】
本発明によれば、残響音の影響を受けることなく各話者の音声を収音することができる音声収録装置および音声収録方法を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について説明する。図１は、受音点までの伝達関数を事前に測定し逆フィルタを計算する音声収録装置を説明する図である。図１に示すように、音声収録装置１は、第１〜第４音声入力端子２１〜２４、音声出力端子３、基準信号出力端子４、基準信号発生部５、インパルス応答記憶部６、伝達関数算出部７、逆フィルタ係数計算部８、逆フィルタ処理部９および音声収録部１０を備える。参照符号１１〜１４は第１〜第４マイクロホン（マイクロホンアレイ、複数の音声収音部）、１５はスピーカ、１６〜１８は話者、２０はビデオカメラなどの撮像部をそれぞれ示している。話者１６〜１８は、それぞれ音源Ａ〜Ｃの位置に存在するものとする。
【００１５】
音声収録装置１は、話者位置から基準信号を発生して、受音点までの伝達関数を事前に測定しておき、その伝達関数の逆フィルタを計算し、受音信号に畳み込むことによって残響を除去して音声を収録するものである。
【００１６】
基準信号発生部５は、音源に置かれた音声発生部であるスピーカ１５に入力する基準信号を発生するものである。基準信号発生部５は、発生した基準信号を基準信号出力端子４に通して話者１６〜１８と同じ位置におかれたスピーカ１５より出力する。第１〜第４マイクロホン１１〜１４は、互いに異なる任意の位置に設置されている。第１〜第４マイクロホンは、例えば会議室の天井や床面に２次元に配列される。発生された基準信号を第１マイクロホン１１〜第４マイクロホン１４で受音する。インパルス応答記憶部６は、スピーカ１５で発生された音声を異なる位置に置かれ時間的に同期がとられた複数のマイクロホン１１〜１４で収音した音声信号（例えばインパルス応答）をそれぞれ記憶する。このインパルス応答記憶部６は、例えばハードディスクや半導体メモリにより構成され、受音された各チャネルのインパルス応答を記憶する。
【００１７】
図２は、インパルス応答記憶部６の内容を説明するための図であり、同図（Ａ）は音源Ａにおけるインパルス入力とインパルス応答を説明する図、同図（Ｂ）は音源Ｂにおけるインパルス入力とインパルス応答を説明する図、同図（Ｃ）は音源Ｃにおけるインパルス入力とインパルス応答を説明する図である。各図において、（ａ）はスピーカ１５に入力される基準信号としてのインパルス入力の波形、（ｂ）は第1マイクロホン１１で受信されたインパルス応答の波形、（ｃ）は第２マイクロホン１２で受信されたインパルス応答の波形、（ｄ）は第３マイクロホン１３で受信されたインパルス応答の波形、(e)は第４マイクロホン１４で受信されたインパルス応答の波形をそれぞれ示す。
【００１８】
伝達関数算出部７は、インパルス応答記憶部６に記憶された音声信号と基準信号に基づいて、音源の位置からマイクロホン１１〜１４までの伝達関数を求める。具体的には、伝達関数計算部７は、受音された各チャンネルの信号と基準信号に基づいて話者１６〜１８の位置から第１マイクロホン１１までの伝達関数と、話者１６〜１８の位置から第２マイクロホン１２までの伝達関数と、話者１６〜１８の位置から第３マイクロホン１３までの伝達関数と、話者１６〜１８の位置から第４マイクロホン１４までの伝達関数を計算する。逆フィルタ係数計算部８は、測定された各チャンネルの伝達関数の特性を打ち消す逆フィルタ係数を計算する。
【００１９】
逆フィルタ処理部９は、逆フィルタ係数に基づいて、複数のマイクロホン１１〜１４で収音される音声信号をフィルタ処理するものである。この逆フィルタ処理部９は、複数のマイクロホン１１〜１４により受音された音声信号を逆フィルタ係数を用いてフィルタ処理して出力することにより、残響が除去された音声信号を音声出力端子３から出力する。音声収録部１０は、逆フィルタ処理部９がフィルタ処理した音声信号を音源で発生された音声信号として記録する。例えばハードディスク装置や半導体メモリにより構成され、音声出力端子３から出力される音声信号を話者１６〜１８毎に格納する。これにより目的とする音源から発せられた音を高品質に収音することができる。
【００２０】
基準信号発生部５、伝達関数算出部７、逆フィルタ係数計算部８、逆フィルタ処理部９の処理は、ＣＰＵ（Central Processing Unit）とその周辺回路によって所定のプログラムを実行することによって実現することもでき、またＡＳＩＣ（Application Specific
Integrated Circuit）などにより実現することもできる。また、逆フィルタ処理部９は、撮像部２０により撮像した画像信号に基づいて、音源の位置を推定してフィルタ処理するようにしてもよい。これにより、画像信号を使って音源の推定の候補を絞ることができ、フィルタ処理の精度を向上させることができる。
【００２１】
図３は、本発明の実施形態に係る逆フィルタ係数計算処理のフローチャートである。次に逆フィルタ係数計算処理について説明する。まず、逆フィルタ係数計算処理では、各話者１６〜１８が発話する予定の位置Ａにスピーカ１５をセットする（ステップＳ１１）。次に、基準信号発生部５は、発生した基準信号（インパルス入力）を基準信号出力端子４に通して話者１６〜１８と同じ位置におかれたスピーカ１５より出力する（ステップ１２）。スピーカ１５より発生された基準信号を第１マイクロホン１１〜第４マイクロホン１４で受音する（ステップＳ１３）。インパルス応答記憶部６は、受音された各チャネルのインパルス応答を記憶する（ステップＳ１４）。
【００２２】
次に、同様に、話者１６〜１８が発話する予定の位置Ｂ、Ｃについても同様の手続きを行い、インパルス応答記憶部６に各チャネルのインパルス応答を記憶する。会議や発表会などの場合、椅子の位置や発表者の位置から音源の位置がおおよそ分かっているためこのような処理が可能となる。
【００２３】
伝達関数算出部７は、全ての発話予定位置についてのインパルス応答が収集されていると判断した場合（ステップＳ１５で「Ｙ」）、受音された各チャンネルの信号と基準信号に基づいて話者１６〜１８の位置から第１マイクロホン１１までの伝達関数と、話者１６〜１８の位置から第２マイクロホン１２までの伝達関数と、話者１６〜１８の位置から第３マイクロホン１３までの伝達関数と、話者１６〜１８の位置から第４マイクロホン１４までの伝達関数を計算する（ステップＳ１６）。逆フィルタ係数計算部８は、測定された各チャンネルの伝達関数の特性を打ち消す逆フィルタ係数を計算する（ステップＳ１７）。
【００２４】
次に、話者毎の音声を個別に収録する際の処理について説明する。図４は話者毎の音声を個別に収録する際の処理フローチャートである。例えば、音源位置Ａにおいて話者１６が発話をしたと仮定する（ステップＳ２１）。第１〜第４マイクロホン１１〜１４に音声信号が入力され、入力された音声信号は第１〜第４音声入力端子２１〜２４を介して逆フィルタ処理部９に入力される（ステップＳ２２）。
【００２５】
逆フィルタ処理部９は、第１〜第４マイクロホン１１〜１４へ到来する音を同位相化し加算することで、焦点位置に対する感度を高める遅延和アレーという手法を用い、目的音源位置に焦点を向けることにより、目的音源位置以外にある雑音を抑圧し、ＳＮ比を向上させた音源Ａの音声信号を生成する（ステップＳ２３）。これにより目的音源からの音を強調した音声信号を生成できる。次に、逆フィルタ処理部９は、複数のマイクロホン１１〜１４により受音された音声信号を逆フィルタ係数を用いてフィルタ処理して出力する（ステップＳ２４）。これにより、残響が除去された音声信号を音声出力端子３から出力される。
【００２６】
音声収録部１０は、音声出力端子３から出力される音声信号を話者１６〜１８毎に格納し、話者の音声を個別的に収録する（ステップＳ２５）。音声収録装置は、音声収録の終了の指示が入力された場合、処理を終了する。これにより目的とする音源から発せられた話者の音声を高品質に個別に収録することができる。
【００２７】
上記実施形態に係る音声収録装置によれば、基準信号を使って残響音を除去した音声を作り出すことができるため残響音の影響を受けることなく話者の音声を個別に収音することができる。
【００２８】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。なお、上記では音源位置は３つの場合を例にとって説明したが、本発明ではこれに限定されることなくさらに多くの音源位置が存在する場合であっても適用することができる。また、上記では４つのマイクロホンを用いた例について説明したが、実際にはさらに多くのマイクロホンを用いるのが精度向上のために良い。また、上記では基準信号の例としてインパルス入力を用いた例について説明したが、本発明ではこれに限定されることなく、基準となる信号であればどのような信号であってもよい。また、本発明は会議の場面だけでなく様々な場面においても適用することができる。また、上記では音源の位置を示す音源情報として撮像部により撮像した画像信号を用いた例について説明したが、本発明では、音源情報は画像信号を用いたものに限定されることはない。すなわち、逆フィルタ処理部は、音源の位置を示す音源情報に基づいて音源の位置を推定してフィルタ処理することも可能である。
【図面の簡単な説明】
【００２９】
【図１】受音点までの伝達関数を事前に測定し逆フィルタを計算する音声収録装置の技術を説明する図である。
【図２】インパルス応答記憶部の内容を説明するための図である。
【図３】本発明の実施形態に係る逆フィルタ係数計算処理のフローチャートである。
【図４】話者毎の音声を個別に収録する際の処理フローチャートである。
【符号の説明】
【００３０】
１  音声収録装置
２１〜２４  音声入力端子
３  音声出力端子
４  基準信号出力端子
５  基準信号発生部
６  インパルス応答記録部
７  伝達関数算出部
８  逆フィルタ係数計算部
９  逆フィルタ処理部
【図１】
2008022069.tif 000003
【図２】
2008022069.tif 000004
【図３】
2008022069.tif 000005
【図４】
2008022069.tif 000006