(57)【特許請求の範囲】
【請求項１】
バイノーラル収録された左収録信号および右収録信号に基づき生成した左出力信号および右出力信号をそれぞれ独立して出力する左および右の各スピーカを備えた再生装置と、予め聴取者の左右それぞれの耳道領域に装備され前記左および右の各出力信号を収音する左および右の各収音マイクとを備えたバイノーラル音声再生システムであって、
前記再生装置は、
前記左および右の各スピーカと前記左および右の各収音マイクとの位置関係で決定される音の空間伝達特性それぞれに対応して予め設定された第１乃至第４の各フィルタ関数の内、当該第１および第２のフィルタ関数に基づき、前記左収録信号が複数分岐されて並列に入力された場合に、相互に並列接続されており前記各左収録信号を同時にフィルタ補正する第１および第２のフィルタと、前記第３および第４のフィルタ関数に基づき、前記右収録信号が複数分岐され並列に入力された場合に、相互に並列接続されており前記各右収録信号を同時にフィルタ補正する前記第３および第４の補正フィルタとを有するフィルタ部と、
前記左右スピーカおよび左右マイクの空間伝達特性に係るクロストーク成分のキャンセル用に、前記第１の補正フィルタの出力と前記第３の補正フィルタの出力とを加算して前記左出力信号を生成する左加算器と、前記第２の補正フィルタの出力と前記第４の補正フィルタの出力とを加算して前記右出力信号を生成する右加算器と、
前記再生装置内における前記左および右の出力信号の出力にかかる遅延時間と前記左および右の収音マイクでの音声収音にかかる遅延時間とに基づき、前記左および右の出力信号の遅延時間の補正を行い左および右の補正遅延信号をそれぞれ出力する遅延処理部と、
前記各収音信号と前記各補正遅延信号とが入力されると稼働し、それらの対比関係に基づいて適応信号処理を行い前記第１乃至第４の補正フィルタのそれぞれに個別に対応する前記第１乃至第４のフィルタ関数をリアルタイムで導出し更新設定するフィルタ関数導出更新機能を備えたフィルタ関数導出部と、を備え、
前記更新された第１乃至第４のフィルタ関数に基づいて前記左および右の収録信号を処理しバイノーラル音声を再生するバイノーラル音声再生機能を備えていることを特徴とするバイノーラル音声再生システム。
【請求項２】
請求項１に記載のバイノーラル音声再生システムにおいて、
前記フィルタ関数導出部は入出力に対して並列に第１乃至第４の各適応フィルタを備え、当該第１乃至第４の適応フィルタは、前記左収音マイクが前記左出力信号に基づいて左収音信号を出力すると共に前記右収音マイクが前記右出力信号に基づいて右収音信号を出力する場合に、前記左収音信号と前記左補正遅延信号，前記右収音信号と前記左補正遅延信号，前記左収音信号と前記右補正遅延信号，および前記右収音信号と前記右補正遅延信号の対比関係にそれぞれ個別に対応して前記フィルタ部の前記第１乃至第４のフィルタ関数を直接かつ同時に導出することを特徴とするバイノーラル音声再生システム。
【請求項３】
請求項２に記載のバイノーラル音声再生システムにおいて、
前記第１乃至第４の適応フィルタは、前記再生装置で出力される前記左および右の補正遅延信号と前記左および右の収音マイクそれぞれで収音された前記左右収音信号それぞれとの対比関係が１に近似するように前記第１乃至第４のフィルタ関数それぞれを算出することを特徴とするバイノーラル音声再生システム。
【請求項４】
請求項２または３に記載のバイノーラル音声再生システムにおいて、
前記各適応フィルタを、高速H∞フィルタで構成したことを特徴とするバイノーラル音声再生システム。
【請求項５】
バイノーラル収録された左収録信号および右収録信号に基づき生成した左出力信号および右出力信号をそれぞれ独立して出力する左および右の各スピーカを備えた再生装置と、予め聴取者の左右それぞれの耳道領域に装備され前記左および右の各出力信号を収音する左および右の各収音マイクとを備えたバイノーラル音声再生システムにおけるバイノーラル音声再生方法であって、
前記左および右の各スピーカと前記左および右の各収音マイクとの位置関係で決定される音の空間伝達特性それぞれに対応して予め設定された第１乃至第４の各フィルタ関数の内、当該第１および第２のフィルタ関数に基づき、前記左収録信号が複数分岐されて並列に入力された場合に、前記各左収録信号を相互に並列接続された第１および第２のフィルタが同時にフィルタ補正すると共に、前記第３および第４のフィルタ関数に基づき、前記右収録信号が複数分岐され並列に入力された場合に、前記各右収録信号を相互に並列接続された前記第３および第４の補正フィルタが同時にフィルタ補正し、
前記左右スピーカおよび左右マイクの空間伝達特性に係るクロストーク成分のキャンセル用に、前記第１の補正フィルタの出力と前記第３の補正フィルタの出力とを左加算器が加算して前記左出力信号を生成し、前記第２の補正フィルタの出力と前記第４の補正フィルタの出力とを右加算器が加算して前記右出力信号を生成し、
前記再生装置内における前記左および右の出力信号の出力にかかる遅延時間と前記左および右の収音マイクでの音声収音にかかる遅延時間とに基づき、遅延処理部が前記左および右の出力信号の遅延時間の補正を行い左および右の補正遅延信号をそれぞれ出力し、
前記各収音信号と前記各補正遅延信号とがフィルタ関数導出部に入力されると当該フィルタ関数導出部が稼働し、それらの対比関係に基づいて適応信号処理を行い前記第１乃至第４の補正フィルタのそれぞれに個別に対応する前記第１乃至第４のフィルタ関数をリアルタイムで導出し更新設定し、
前記更新された第１乃至第４のフィルタ関数に基づいて前記左および右の収録信号を処理しバイノーラル音声を再生することを特徴とするバイノーラル音声再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、バイノーラル収録された音声の再生を行うトランスオーラル再生システムに関する。
【背景技術】
【０００２】
録音者の周囲音環境を音源の方向情報を含み再現する手法としてのバイノーラル収録再生システムが利用されている。このバイノーラル収音再生システムでは、例えば、録音者の左右耳道近辺に配置されたそれぞれのマイクロフォンを利用して音声の収録することにより、収録時における音場を含んだ音声が収録される（バイノーラル収録）。また、上述のようにバイノーラル収録された音声をヘッドフォンなどを利用して聴取者の耳道近辺で再生することにより、収録時の音場が再現される。
【０００３】
このバイノーラル収録再生システムでは、収録音声の再生時に録音者自身が聴取者となった場合には、収録時と再生時の頭部伝達関数（ＨＲＴＦ）が原理的には一致するため、収録時の音場がより忠実に再現された音声再生が可能となる。
【０００４】
一方、通常のバイノーラル収録再生システムでは、人間の頭部を模擬したダミーヘッドを利用して音声収録を行う。この場合、ダミーヘッドの耳道入り口付近（または耳道内）にマイクロフォンが設置された状態で音声収録が行われる。
また、収録された音声を再生した場合、これを聴取する聴取者の頭の形状と収録時に利用したダミーヘッドの形状（頭部伝達関数）が異なること、収録時に使われたマイクロフォン、および再生時に利用されるヘッドフォンにおける特定が異なるため、聴取者の耳道付近収録時の音場は再現されない。
【０００５】
上記バイノーラル収録再生システムの関連技術として、収録された音声を再生するヘッドフォンから再生された音声を収音するマイクロフォンまでの空間伝達特性と、上記ヘッドフォンおよびマイクロフォンそれぞれの特性とを合成した合成特性を、適応フィルタを利用することにより同定することにより、音声収録時の音場が再現された音声をヘッドフォンから再生するための技術が開示されている（特許文献１）。
【０００６】
この関連技術では、ヘッドフォンを利用した音声再生時に、収録時に利用したマイクロフォンを聴取者の耳に装着すると共にこのマイクロフォンを覆うかたちでヘッドフォンを装着した状態で収録音声を再生する。このとき、上記適応フィルタは、ヘッドフォンからマイクロフォンまでの音の伝達特性に対する逆特性を求め、この逆特性を収録音声に対してたたみ込む演算処理を行うことにより、各耳におけるヘッドフォンからマイクロフォンまでの音の伝達特性を補正する。
【０００７】
また、これに対する関連技術として、収録された音声を左右ステレオラウドスピーカから出力再生すると共に、ステレオラウドスピーカから再生された音声と、このスピーカに対向した聴取者の左右耳との位置関係におけるクロストーク成分を、再生される音声からキャンセルする音声再生技術が開示されている（特許文献２）。
【０００８】
また、これに対する関連技術として、マイクロフォンを装着した聴取者と音源としてのスピーカとの間に位置計測装置を設置し、この位置計測装置で音源とマイクフォロンとの相対位置情報を算出し、これに基づき再生音声に対してトランスオーラル用の補正を行うシステムが開示されている（非特許文献１）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−３１８０６１号公報
【特許文献２】特開２０００−２７８８００号公報
【非特許文献】
【００１０】
【非特許文献１】３次元センサとトランスオーラル処理を用いた音像の定位（ＴＶＲＳＪ  Ｖｏｌ．５  Ｎｏ．３，２０００）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記特許文献１に記載の関連技術では、バイノーラル収録された音声をステレオスピーカで再生した場合に、聴取者に対してバイノーラル信号の音場定位を再現することができないという不都合がある。
【００１２】
また、上記特許文献２に記載の関連技術では、スピーカとこれに対向して位置する聴取者との位置関係が固定された状態が前提とされており、聴取者の位置や向きが変動した場合には、この状態変動を追従して迅速にクロストーク成分をキャンセルすることが困難となるという不都合がある。
【００１３】
また、上記非特許文献１に記載の関連技術では、マイクロフォンとスピーカの位置関係を計測するための装置が必要となるため、システム構成が複雑化し、システム運用に係るコストも膨大なものとなってしまうといった不都合がある。
【００１４】
［発明の目的］
本発明は、上記関連技術の有する不都合を改善し、バイノーラル収録された音声を収録時の音場を忠実に再現した状態で再現再生するバイノーラル音声再生システム、バイノーラル音声再生方法を提供することを、その目的とする。
【課題を解決するための手段】
【００１５】
上記目的を達成するため、本発明に係るバイノーラル音声再生システムは、バイノーラル収録された左収録信号および右収録信号に基づき生成した左出力信号および右出力信号をそれぞれ独立して出力する左および右の各スピーカを備えた再生装置と、予め聴取者の左右それぞれの耳道領域に装備され前記左および右の各出力信号を収音する左および右の各収音マイクとを備えたバイノーラル音声再生システムであって、
前記再生装置は、
前記左および右の各スピーカと前記左および右の各収音マイクとの位置関係で決定される音の空間伝達特性それぞれに対応して予め設定された第１乃至第４の各フィルタ関数の内、当該第１および第２のフィルタ関数に基づき、前記左収録信号が複数分岐されて並列に入力された場合に、相互に並列接続されており前記各左収録信号を同時にフィルタ補正する第１および第２のフィルタと、前記第３および第４のフィルタ関数に基づき、前記右収録信号が複数分岐され並列に入力された場合に、相互に並列接続されており前記各右収録信号を同時にフィルタ補正する前記第３および第４の補正フィルタとを有するフィルタ部と、
前記左右スピーカおよび左右マイクの空間伝達特性に係るクロストーク成分のキャンセル用に、前記第１の補正フィルタの出力と前記第３の補正フィルタの出力とを加算して前記左出力信号を生成する左加算器と、前記第２の補正フィルタの出力と前記第４の補正フィルタの出力とを加算して前記右出力信号を生成する右加算器と、
前記再生装置内における前記左および右の出力信号の出力にかかる遅延時間と前記左および右の収音マイクでの音声収音にかかる遅延時間とに基づき、前記左および右の出力信号の遅延時間の補正を行い左および右の補正遅延信号をそれぞれ出力する遅延処理部と、
前記各収音信号と前記各補正遅延信号とが入力されると稼働し、それらの対比関係に基づいて適応信号処理を行い前記第１乃至第４の補正フィルタのそれぞれに個別に対応する前記第１乃至第４のフィルタ関数をリアルタイムで導出し更新設定するフィルタ関数導出更新機能を備えたフィルタ関数導出部と、を備え、
前記更新された第１乃至第４のフィルタ関数に基づいて前記左および右の収録信号を処理しバイノーラル音声を再生するバイノーラル音声再生機能を備えている、という構成を採っている。
【００１６】
また、本発明に係るバイノーラル音声再生方法は、バイノーラル収録された左収録信号および右収録信号に基づき生成した左出力信号および右出力信号をそれぞれ独立して出力する左および右の各スピーカを備えた再生装置と、予め聴取者の左右それぞれの耳道領域に装備され前記左および右の各出力信号を収音する左および右の各収音マイクとを備えたバイノーラル音声再生システムにおけるバイノーラル音声再生方法であって、
前記左および右の各スピーカと前記左および右の各収音マイクとの位置関係で決定される音の空間伝達特性それぞれに対応して予め設定された第１乃至第４の各フィルタ関数の内、当該第１および第２のフィルタ関数に基づき、前記左収録信号が複数分岐されて並列に入力された場合に、前記各左収録信号を相互に並列接続された第１および第２のフィルタが同時にフィルタ補正すると共に、前記第３および第４のフィルタ関数に基づき、前記右収録信号が複数分岐され並列に入力された場合に、前記各右収録信号を相互に並列接続された前記第３および第４の補正フィルタが同時にフィルタ補正し、
前記左右スピーカおよび左右マイクの空間伝達特性に係るクロストーク成分のキャンセル用に、前記第１の補正フィルタの出力と前記第３の補正フィルタの出力とを左加算器が加算して前記左出力信号を生成し、前記第２の補正フィルタの出力と前記第４の補正フィルタの出力とを右加算器が加算して前記右出力信号を生成し、
前記再生装置内における前記左および右の出力信号の出力にかかる遅延時間と前記左および右の収音マイクでの音声収音にかかる遅延時間とに基づき、遅延処理部が前記左および右の出力信号の遅延時間の補正を行い左および右の補正遅延信号をそれぞれ出力し、
前記各収音信号と前記各補正遅延信号とがフィルタ関数導出部に入力されると当該フィルタ関数導出部が稼働し、それらの対比関係に基づいて適応信号処理を行い前記第１乃至第４の補正フィルタのそれぞれに個別に対応する前記第１乃至第４のフィルタ関数をリアルタイムで導出し更新設定し、
前記更新された第１乃至第４のフィルタ関数に基づいて前記左および右の収録信号を処理しバイノーラル音声を再生する、という構成を採っている。
【発明の効果】
【００１７】
本発明は、上述したように、バイノーラル収録された音声を収録時の音場を忠実に再現したトランスオーラル再生を行うバイノーラル音声再生システム、バイノーラル音声再生方法を提供することができる。
【００１８】
さらに、本発明は、空間伝達特性それぞれに対応した補正フィルタの各フィルタ関数を算出するときに、この各フィルタ関数を、直接、且つ同時に（リアルタイムで）算出し、フィルタ部の各フィルタ関数を瞬時に更新するので、聴取者の耳の位置とスピーカとの位置関係が変動し、上記空間伝達特性が変動する場合でも、これに追従して、クロストークをキャンセルし、バイノーラル収録された音声を収録時の音場を忠実に再現したトランスオーラル再生を行うことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係るバイノーラル音声再生システムの一実施形態を示す概略ブロック図である。
【図２】図１で示したバイノーラル音声再生システムにおける再生装置の内部構成の一例を示す概略ブロック図である。
【図３】図１で示したバイノーラル音声再生システムにおけるフィルタ特性導出部（以下、「フィルタ関数導出部」とする）の内部構成の一例を示す概略ブロック図である。
【図４】図１で示したバイノーラル音声再生システムにおける全体的な動作処理ステップを示すフローチャートである。
【発明を実施するための形態】
【００２０】
［実施形態］
次に、本発明を実施するための実施形態について図面を参照して説明する。
【００２１】
本発明の実施形態であるバイノーラル音声再生システム１００は、図１に示すように、予めバイノーラル収録された左収録信号、右収録信号からなるステレオ収録信号を保持する収録音声保持部１と、収録音声保持部１から提供されたステレオ収録信号に対して予め設定されたフィルタ関数（このフィルタ関数に含まれるフィルタ係数を含む）に基づく補正処理を行い、再生用音声として予め設置された左および右の各スピーカ３，４それぞれから出力する再生装置２と、この再生装置２の左右スピーカ３，４に対向した聴取者７の左右耳道入口（耳道領域）に装備され、スピーカ３，４から出力された音声を収音する左および右収音マイク（左収音マイク、右収音マイク）５，６を有する。
【００２２】
再生装置２は、図２に示すように、収録音声保持部１から提供された収録信号（バイノーラル収録音声）に対する補正処理を行うフィルタ部１０と、フィルタ部１０から出力された補正済み信号を、左右スピーカ３，４および収音マイク５，６の位置関係に基づくクロストークキャンセル用に加算処理すると共にスピーカ３，４それぞれに対して再生用音声として出力する再生音声処理部２０と、収音マイク５，６それぞれで収音した音声信号（以下「収音信号」という）と、再生音声処理部２０から取得した再生用音声とを取得し、これら音声の対比関係に基づいて、前記フィルタ部１０に備えられている第１乃至第４の各補正フィルタ１１，１２，１３，１４それぞれに個別に対応する第１乃至第４の各フィルタ関数（フィルタ係数、フィルタ特性）を同定する（導出する）フィルタ関数導出部（ＪＦＨＦ）３０を備えている。
【００２３】
ここで、右スピーカ４から左収音マイク５に到達する音声信号成分（Ｃ１２：図１）、および左スピーカ３から右収音マイク６に到達する音声信号成分（Ｃ２１：図１）それぞれをクロストーク成分とする。
【００２４】
一般に、バイノーラル収録されたステレオ収録音声信号を再生する場合、左右スピーカ３，４に対向して位置する聴取者７側では、クロストーク成分（Ｃ１２，Ｃ２１）の影響により、収録時における音の空間的広がりや定位感が軽減されてしまう。
このため、本実施形態の再生装置２では、このクロストーク成分のキャンセルを行う。
【００２５】
再生音声処理部２０は、フィルタ部１０で補正処理がなされた左収録信号および右収録信号（左補正信号および右補正信号）を取得すると共に、これら信号を相互に加算する処理を行う左音声加算器２１および右音声加算器２２と、加算処理された音声に対して、音声の入出力時に発生した遅延時間の補正を行い、遅延補正信号としてフィルタ関数導出部３０に入力する遅延補正処理部２５を備えた構成を有する。
【００２６】
左音声加算器２１では、第１の補正フィルタ１１で補正された補正信号と第３の補正フィルタ１３で補正された補正信号とが加算されることにより、スピーカ４からマイク５までの空間伝達特性であるクロストーク成分（Ｃ１２）がキャンセルされる。また、右音声加算器２２では、第２の補正フィルタ１２で補正された補正信号と第４の補正フィルタ１４で補正された補正信号とが加算されることにより、スピーカ３からマイク６までの空間伝達特性であるクロストーク成分（Ｃ２１）がキャンセルされる。
【００２７】
遅延補正部２５は、加算処理された音声がスピーカ３，４から出力されるまでに発生する遅延と、スピーカ３，４から出力された音声が空間を伝搬することにより発生する遅延、およびマイク５，６で収音された収音信号がフィルタ関数導出部３０に送られるまでの遅延を合算した遅延を補正する。
尚、遅延補正部２５は、加算処理された音声を上記遅延時間に基づき一定時間保持する、例えば、半導体メモリなどの一時記憶手段であるものとする。
【００２８】
フィルタ部１０は、フィルタ関数導出部（ＪＦＨＦ）３０により同定されたフィルタ係数（フィルタ特性）に基づいて、収録音声保持部1から提供された左収録信号に対する補正処理を行う第１の補正フィルタ１１および第２の補正フィルタ１２と、同様にフィルタ関数導出部（ＪＦＨＦ）３０により同定されたフィルタ係数に基づき、収録音声保持部1から提供された右収録信号に対する補正処理を行う第３の補正フィルタ１３および第４の補正フィルタ１４から成る。
【００２９】
尚、収録音声保持部１からフィルタ部１０送り込まれる左収録信号は、収録音声保持部１で複製され第１の補正フィルタ１１および第２の補正フィルタ１２それぞれに対して入力されるものとする。また、収録音声保持部１からフィルタ部１０送り込まれる右収録信号についても同様に、収録音声保持部１で複製され第３の補正フィルタ１３および第４の補正フィルタ１４それぞれに対して入力されるものとする。
【００３０】
第１の補正フィルタ１１は、左収録信号に対して、フィルタ関数導出部（ＪＦＨＦ）３０により予め設定されたフィルタ係数（フィルタ特性）により左収録信号に対する補正処理を行うと共に、補正した左収録信号（左補正信号という）を左音声加算器２１に入力する。
具体的には、第１の補正フィルタ１１は、入力された左収録信号に対して、フィルタ関数同定処理部（ＪＦＨＦ）３０で設定されたフィルタ係数（関数、特性）を用いてたたみ込み演算処理を行う。
尚、第１の補正フィルタ１１は、ＦＩＲフィルタであり、そのフィルタ係数がフィルタ関数導出部（ＪＦＨＦ）３０により随時更新設定される。
【００３１】
第２の補正フィルタ１２は、左収録信号に対して、フィルタ関数導出部（ＪＦＨＦ）３０により予め設定されたフィルタ係数（フィルタ特性）により左収録信号に対する補正処理を行うと共に、補正した左収録信号（左補正信号という）を右音声加算器２２に入力する。
具体的には、第２の補正フィルタ１２は、入力された左収録信号に対して、フィルタ関数同定処理部（ＪＦＨＦ）３０で設定されたフィルタ係数（関数、特性）を用いてたたみ込み演算処理を行う。
尚、第２の補正フィルタ１２はＦＩＲフィルタであり、そのフィルタ係数がフィルタ関数同定処理部（ＪＦＨＦ）３０により随時更新設定される。また、第２の補正フィルタ１２は、再生音声信号における左スピーカ３から右マイク６までのクロストーク成分（Ｃ２１）をキャンセルする補正を行う。
【００３２】
第３の補正フィルタ１３は、右収録信号に対して、フィルタ関数導出部（ＪＦＨＦ）３０により予め設定されたフィルタ係数（フィルタ特性）による補正処理を行うと共に、補正した右収録信号（右補正信号という）を左音声加算器２１に入力する。
具体的には、第３の補正フィルタ１３は入力された右収録信号に対して、フィルタ関数同定処理部（ＪＦＨＦ）３０で設定されたフィルタ係数（関数、特性）を用いてたたみ込み演算処理を行う。
尚、第３の補正フィルタ１３はＦＩＲフィルタであり、そのフィルタ係数がフィルタ関数導出部（ＪＦＨＦ）３０により随時更新設定される。また、第３の補正フィルタ１３は、再生音声信号における右スピーカ４から左マイク５までのクロストーク成分（Ｃ１２）をキャンセルにする補正を行う。
【００３３】
第４の補正フィルタ１４は、右収録信号に対して、フィルタ関数導出部（ＪＦＨＦ）３０により予め設定されたフィルタ係数（関数、特性）により右収録信号に対する補正処理を行うと共に、補正した右収録信号（右補正信号という）を右音声加算器２２に入力する。
具体的には、第４の補正フィルタ１４は、入力された右収録信号に対して、フィルタ関数導出部（ＪＦＨＦ）３０で設定されたフィルタ係数（関数、特性）を用いてたたみ込み演算処理を行う。
尚、第４の補正フィルタ１４は、ＦＩＲフィルタであり、そのフィルタ係数がフィルタ関数導出部（ＪＦＨＦ）３０により随時更新設定される。
【００３４】
尚、上記補正フィルタ１１〜１４は、予め設定されたフィルタ関数に基づく畳み込み演算処理を行うデジタルフィルタ（例えば、ＦＩＲ）であって、左収録信号および右収録信号に対して、スピーカ３，４から収音マイク５，６それぞれまでの空間伝達特性（C２２、Ｃ１２、Ｃ２１、Ｃ１１）それぞれに対応した補正処理を行う。
【００３５】
フィルタ関数導出部３０は、再生音声処理部２０（遅延補正部２５）から送り込まれた音声信号（Ｄ）と、収音マイク３，４から送り込まれた収音信号（Ｙ）に基づき、これらの対比関係から補正フィルタ１１〜１４それぞれにおけるフィルタ係数を算出する。
フィルタ関数導出部３０は、具体的には、以下に示す行列演算式［式１］に基づき、フィルタ係数を算出するものとする。
［式１］
Ｃ＝Ｙ／Ｄ
Ｈ＝１／Ｃ
（Ｄは音声入出力デバイスと空間伝達によって遅延した信号を示す。Ｃは音の空間伝達関数を示す）
【００３６】
これにより、フィルタ関数導出部３０は、取得した再生用音声信号と収音信号とに基づき、リアルタイムに近似したタイミングで第１〜第４の各フィルタ関数を、迅速に算出し、そのフィルタ関数を対応する補正フィルタ１１〜１４に対して設定することができるので、聴取者７とスピーカ３，４との位置関係や相互の方向が変動した場合でも、この変動に適応して補正フィルタ１１〜１４の各フィルタ特性（フィルタ係数）をクロストークキャンセル用に対応設定することが可能となる。
【００３７】
フィルタ関数導出部３０は、マイク５，６で収音したそれぞれの信号である収音信号Ｙ１（ｎ）、Ｙ２（ｎ）と、遅延補正部２５から送り込まれた遅延処理信号（以下、「補正遅延信号」とする）Ｄ１（ｎ−ｄ）、Ｄ２（ｎ−ｄ）とが入力され、これらの信号に基づき、フィルタ部１０における補正フィルタ（Ｈ１１〜Ｈ２２）の各フィルタ係数を算出する（適応信号処理）。
尚、補正遅延信号Ｄ１（ｎ−ｄ）は、左出力音声に対して補正処理を行った補正遅延信号であり、
補正遅延信号Ｄ２（ｎ−ｄ）は、右出力音声に対して補正処理を行った補正遅延信号であるものとする。
【００３８】
フィルタ関数導出部３０は、図３に示すように、左マイク５で収音された音声信号である収音信号Ｙ１（ｎ）と遅延補正部２５から送り込まれた補正遅延信号Ｄ１（ｎ−ｄ）に基づき、補正フィルタ１１のフィルタ係数（H１１）を算出するフィルタ係数算出手段（ここでは、適応フィルタである。以下、「適応フィルタ」とする）３１１と、右マイク６で収音された音声信号である収音信号Ｙ２（ｎ）と遅延補正部２５から送り込まれた補正遅延信号Ｄ１（ｎ−ｄ）に基づき、補正フィルタ１２のフィルタ係数（H２１）を算出する適応フィルタ３２１と、左マイク５で収音された音声信号である収音信号Ｙ１（ｎ）と遅延補正部２５から送り込まれた補正遅延信号Ｄ２（ｎ−ｄ）に基づき、補正フィルタ１３のフィルタ係数（H１２）を算出する適応フィルタ３１２と、右マイク６で収音された音声信号である収音信号Ｙ２（ｎ）と遅延補正部２５から送り込まれた補正遅延信号Ｄ２（ｎ−ｄ）に基づき、補正フィルタ１４のフィルタ係数（H２２）を算出する適応フィルタ３２２を備えている。
【００３９】
ここで、フィルタ係数（Ｈｘｘ）を算出する上記各適応フィルタ３１１，３２１，３１２，３２２は、収音信号Ｙ（ｎ）と補正遅延信号Ｄ（ｎ−ｄ）の対比関係が１に近似するように（Ｙ／Ｄ＝１）、補正フィルタ１１，１２，１３，１４それぞれのフィルタ係数を決定するデジタルフィルタ（典型的にはＦＩＲ）であるものとする。
【００４０】
尚、図３に示すように、適応フィルタ３１１は、プラス成分としての収音信号Ｙ１（ｎ）とマイナス成分としての補正遅延信号Ｄ１（ｎ−ｄ）に基づきフィルタ係数（Ｈ１１）を算出し、適応フィルタ３２１は、プラス成分としての収音信号Ｙ２（ｎ）とマイナス成分としての補正遅延信号Ｄ１（ｎ−ｄ）に基づきフィルタ係数（Ｈ２１）を算出し、適応フィルタ３１２は、プラス成分としての収音信号Ｙ１（ｎ）とマイナス成分としての補正遅延信号Ｄ２（ｎ−ｄ）に基づきフィルタ係数（Ｈ１２）を算出し、適応フィルタ３２２は、プラス成分としての収音信号Ｙ２（ｎ）とマイナス成分としての補正遅延信号Ｄ２（ｎ−ｄ）に基づきフィルタ係数（Ｈ２２）を算出する。
【００４１】
ここで、補正フィルタ１１、１２はそれぞれ独立して左収録音声に対して、また、補正フィルタ１３、１４はそれぞれ独立して右収録音声に対して、決定されたフィルタ係数で畳込み演算処理を行い、これにより、対応する空間伝達特性の変動に適応した補正処理が行われる。
【００４２】
言い換えると、前記リアルタイムで更新された第１乃至４フィルタ関数に基づいて前記左および右収録信号を処理しバイノーラル音声（バイノーラル収録されたステレオ収録音声信号）を再生する（バイノーラル音声再生機能）。ここで、このバイノーラル音声再生機能における「前記左および右収録信号を処理」については、上述したように、フィルタ部１０の第１乃至４補正フィルタと、左および右加算器とにより行われる。又、バイノーラル音声の再生については、上述したように、左および右の各スピーカにより行われる。
【００４３】
尚、本実施形態では、フィルタ関数導出部３０の適応フィルタ（３１１，３２１，３１２，３２２）による適応信号処理を、特許第４０６７２６９号に開示された高速Ｈ∞フィルタ（「ＦＨＦ」という）を用いて実現するものとする。
【００４４】
これにより、フィルタ関数導出部３０は、ＦＨＦを用いて各フィルタ係数を算出することにより、スピーカ（３，４）からマイクロフォン（５，６）への空間伝達系（Ｃ１１，Ｃ１２，Ｃ２１，Ｃ２２）それぞれに対応する特性を正確に同定することができ、更には、その収束速度も高速であるため、聴取者の移動などに伴う伝達系の急激な変動を、迅速に、ほぼリアルタイムに追随することが可能となり、更には、同定誤りなどを有効に抑制することができる。
【００４５】
また、フィルタ関数導出部３０は、空間伝達特性Ｃ１１，Ｃ１２，Ｃ２１，Ｃ２２それぞれに対応した補正フィルタ１１，１２，１３，１４のフィルタ関数それぞれを算出するときに、各空間伝達特性Ｃ１１，Ｃ１２，Ｃ２１，Ｃ２２を算出した後それぞれの逆特性としてのフィルタ関数を算出するのではなく、補正フィルタ１１，１２，１３，１４それぞれのフィルタ関数（Ｈ１１，Ｈ２１，Ｈ１２，Ｈ２２）を、直接、且つ同時に算出することができる。
【００４６】
以上のように、フィルタ関数導出部３０が、高速に適応信号処理を行うことによりスピーカ３，４と聴取者の耳位置（つまり、マイク５，６）との位置関係の変動に伴う空間伝達特性の変動をリアルタイムに追随するので、上述のようにＨＣ＝１に近似した（収束した）状態を維持することができる。
【００４７】
このため、スピーカ３，４とマイク５，６間におけるクロストーク成分（Ｃ１２，Ｃ２１）はそれぞれキャンセルされ、左収録音声信号と右収録音声信号が聴取者の左耳、右耳それぞれにそのまま聴こえることになり、トランスオーラル再生が確立する。
【００４８】
本実施形態では、マイク５，６から送り込まれた収音信号および遅延補正部２５から送り込まれた補正遅延信号に基づいて都度フィルタ係数（Ｈ１１，１２，２１，２２）を求める場合について説明しているが、予め決定したフィルタ係数に基づき、新たに入力された収音信号および補正遅延信号との対比関係から新たにフィルタ係数を算出する設定であってもよい。
【００４９】
［実施形態の動作説明］
次に、上記の実施形態について、その全体的な動作内容を説明する。
【００５０】
まず、再生音声処理部２０が、収録音声保持部１からフィルタ部１０を介して送り込まれた左および右収録音声をスピーカ３，４から再生し、収音マイク（以下「マイク」）５，６がそれぞれこれを収音する。
次いで、フィルタ関数導出部３０が、各収音マイク５，６で収音された左右収音信号と、再生音声処理部８から取得した左右出力信号との対比関係に基づいて、左および右の各スピーカ３，４から左及び右の各収音マイク５，６までの空間伝達特性の逆特性に対応する、補正フィルタ１１〜１４それぞれのフィルタ関数を導出し、補正フィルタ１１〜１４それぞれのフィルタ関数（１１〜１４）を更新設定する。
【００５１】
次に、補正フィルタ１１、１２は入力された左収録信号に対する補正を行い、補正フィルタ１３、１４が入力された右収録信号に対する補正を行い再生音声処理部２０に入力し、次いで、加算器２１がクロストーク成分のキャンセル用に補正フィルタ１１および１３で補正された各信号を加算することにより左出力用音声信号を生成し、加算器２２がクロストーク成分のキャンセル用に補正フィルタ１２および１４で加算された各信号を加算することにより右出力用音声信号を生成する。
【００５２】
次いで、左および右出力用音声信号は複製され、一方の左および右出力用音声信号は左スピーカ、右スピーカから再生音声として出力される。また、他方の左および右出力用音声信号は遅延処理がなされフィルタ関数導出部３０に入力される。
【００５３】
次に、フィルタ関数導出部３０が、左右収音マイク（５，６）が左スピーカおよび右スピーカからの再生音声を収音して得た収音信号と、上記入力された左出力用音声信号および右出力用音声信号とに基づき補正フィルタ１１〜１４それぞれのフィルタ関数の更新設定を行う。
【００５４】
次に、本実施形態の動作について、図４のフローチャートに基づき具体的に説明する。
【００５５】
まず、収録音声保持部１からフィルタ部１０に対して、予めバイノーラル収録された左収録信号、右収録信号が送り込まれる（ステップＳ１０１）。
フィルタ部１０は、送り込まれた左および右の各収録信号に対して、予め設定されたフィルタ係数（フィルタ関数）に基づく補正処理を行い、再生音声処理部２０に入力する（ステップＳ１０２）。
ここで、上記補正処理では、補正フィルタ１１、１２がそれぞれ独立して左収録音声に対して、また、補正フィルタ１３、１４がそれぞれ独立して右収録音声に対して、予め決定されたフィルタ係数で畳込み演算処理を行う。
【００５６】
再生音声処理部２０の左音声加算器２１では、補正フィルタ１１で補正された補正信号と補正フィルタ１３で補正された補正信号とを加算することにより、スピーカ３から出力する再生音声信号（左再生用信号）を合成する。また、右音声加算器２２では、補正フィルタ１２で補正された補正信号と補正フィルタ１４で補正された補正信号とを加算することにより、スピーカ４から出力する再生音声信号（右再生用信号）を合成する（ステップＳ１０３）。
【００５７】
ここで、左音声加算器２１では、スピーカ４からマイク５までの空間伝達特性であるクロストーク成分（Ｃ１２）に対応する逆特性としてのフィルタ関数（Ｈ１２）が正確に同定されている場合、このクロストーク成分（Ｃ１２）はキャンセルされることになる。
また、右音声加算器２２では、スピーカ３からマイク６までの空間伝達特性であるクロストーク成分（Ｃ２１）に対応する逆特性としてのフィルタ関数（Ｈ２１）が正確に同定されている場合、このクロストーク成分（Ｃ２１）はキャンセルされることになる。
【００５８】
次いで、左および右の各音声加算器２１，２２は、合成した左再生用信号をスピーカ３およびスピーカ４にそれぞれ入力すると共に、遅延補正部２５に入力する（ステップＳ１０４）。
【００５９】
スピーカ３、４は入力された再生用信号をそれぞれ再生（音声出力）し、マイク５，６がこれを収音する。マイク５，６は収音された信号を、それぞれ収音信号Ｙ１（ｎ）、Ｙ２（ｎ）としてフィルタ関数導出部３０に送る（ステップＳ１０５）。
【００６０】
ここで、フィルタ関数導出部３０の適応フィルタ３１１，３２１，３１２，３２２は、それぞれ以下に示す［式１］に基づき、遅延補正部２５から送り込まれた補正遅延信号Ｄ１（ｎ−ｄ）、Ｄ２（ｎ−ｄ）とに基づき、これらの対比関係から補正フィルタ１１〜１４それぞれにおけるフィルタ係数（Ｈ１１，Ｈ２１，Ｈ１２，Ｈ２２）を算出する適応信号処理を行う（ステップＳ１０６）。
【００６１】
［式１］
Ｃ＝Ｙ／Ｄ
Ｈ＝１／Ｃ
（Ｃは音の空間伝達関数を示す。また、Ｄは音声入出力デバイスと空間伝達によって遅延した信号を示す。）
【００６２】
ここで、算出されたフィルタ関数はそれぞれ対応する補正フィルタ１１〜１４に瞬時に更新設定されるものとする。
【００６３】
これにより、聴取者７とスピーカ３，４との位置関係や相互の方向が変動した場合でも、この変動に適応して補正フィルタ１１〜１４の各フィルタ特性（フィルタ係数）をクロストークキャンセル用に決定することができる。
尚、補正遅延信号Ｄ１（ｎ−ｄ）は、左出力音声に対して補正処理を行った補正遅延信号であり、補正遅延信号Ｄ２（ｎ−ｄ）は、右出力音声に対して補正処理を行った補正遅延信号であるものとする。
【００６４】
ここで、補正フィルタ１１、１２がそれぞれ独立して左収録音声に対して、また、補正フィルタ１３、１４がそれぞれ独立して右収録音声に対して、決定されたフィルタ係数で畳込み演算処理を行い、これにより、対応する空間伝達特性の変動に適応した補正処理を行う（ステップＳ１０２へ）。
【００６５】
以降、フィルタ関数導出部３０が、高速に適応信号処理を行うことによりスピーカ３，４と聴取者の耳位置（つまり、マイク５，６）との位置関係の変動に伴う空間伝達特性の変動をリアルタイムに追随するので、上述のようにＨＣ＝１に近似した（収束した）状態が維持される。
【００６６】
以上のように、本実施形態では、聴取者の耳の位置とスピーカとの位置関係の変動に対して逐次高速に追従して空間伝達関数をほぼリアルタイムに同定することが可能となり、このため、スピーカ３，４とマイク５，６間におけるクロストーク成分（Ｃ１２，Ｃ２１）はそれぞれキャンセルされるので、左収録音声信号（Ｓ１）と右収録音声信号（Ｓ２）が聴取者の左耳、右耳それぞれに収録音声の収録現場での音場感、空間的な広がりや、定位感が損なわれることなく忠実に再現される、トランスオーラル再生が確立される。
【００６７】
上述の実施形態については、その新規な技術的内容の要点をまとめると、以下のようになる。
尚、上記実施形態の一部または全部は、新規な技術として以下のようにまとめられるが、本発明は必ずしもこれに限定されるものではない。
【００６８】
（付記１）
バイノーラル収録された左収録信号および右収録信号に基づき生成した左出力信号および右出力信号をそれぞれ独立して出力する左および右の各スピーカを備えた再生装置と、
予め聴取者の左右それぞれの耳道領域に装備され前記左および右出力信号を収音する左および右収音マイクとを備えたバイノーラル音声再生システムであって、
複製分岐された各左収録信号を対象として予め設定された第１および２フィルタ関数に基づくフィルタ補正を行い前記再生装置に出力する第１および２補正フィルタと、複製分岐された各右収録信号を対象として予め設定された第３および４フィルタ関数に基づくフィルタ補正を行い前記再生装置に出力する第３および４補正フィルタとを有するフィルタ部と、
前記各集音マイクで収音される前記各左右スピーカからの収音信号と前記各左右スピーカから出力される左右出力信号の対比関係に基づいて、前記左および右の各スピーカから前記左及び右の各集音マイクとの位置関係で決定される音の空間伝達特性それぞれに対応する前記各第１乃至４のフィルタ関数を同時に導出するフィルタ関数導出部とを備え、
前記再生装置は、
前記左右スピーカおよび左右マイクの空間伝達特性に係るクロストーク成分のキャンセル用に、前記第１および３補正フィルタの各出力を加算して前記左出力信号を生成する左加算器と、前記第２および４補正フィルタの各出力を加算して前記右出力信号を生成する右加算器とを備えたことを特徴とするバイノーラル音声再生システム。
【００６９】
（付記２）
付記１に記載のバイノーラル音声再生システムにおいて、
前記フィルタ関数導出部は、前記再生装置で出力される前記左および右出力音声信号と前記左および右収音マイクそれぞれで収音された左右収音信号それぞれとの対比関係が１に近似するように前記第１乃至４のフィルタ関数それぞれを算出する特性算出適応フィルタを備えたことを特徴とするバイノーラル音声再生システム。
【００７０】
（付記３）
付記１に記載のバイノーラル音声再生システムにおいて、
前記フィルタ関数導出部は、予め算出した第１乃至４のフィルタ関数と新たに入力された左右収音信号との差分に基づき新たに第１乃至４のフィルタ関数を更新算出するフィルタ関数更新算出機能を備えたことを特徴とするバイノーラル音声再生システム。
【００７１】
（付記４）
付記１または２に記載のバイノーラル音声再生システムにおいて、
前記再生装置は、当該再生装置内における左および右出力音声信号の出力にかかる遅延時間、および前記左および右集音マイクでの音声収音にかかる遅延時間に基づき前記フィルタ関数導出部に対して入力する左および右出力音声信号に対する遅延補正を行う遅延処理部を備えたことを特徴とするバイノーラル音声再生システム。
【００７２】
（付記５）
バイノーラル収録された左および右収録音声信号に対してフィルタ補正を行うフィルタ装置と、前記フィルタ補正された左および右出力音声信号それぞれを予め設置された左および右の各スピーカから出力する再生装置と、予め聴取者の左右それぞれの耳道領域に装備され前記出力された音声を収音する左および右収音装置とを備えたバイノーラル音声再生システムにあって、前記出力される再生音声信号における前記収録時のバイノーラル定位を再現するバイノーラル音声再生方法であって、
前記再生装置で出力される前記左および右出力音声信号と、前記左および右収音装置それぞれで収音された収音信号とを取得し、これら信号の対比関係に基づき前記左スピーカから前記左収音装置までの伝達関数の逆関数である第１のフィルタ関数、前記左スピーカから前記右収音装置までの伝達関数の逆関数である第２のフィルタ関数、前記右スピーカから前記左収音装置までの伝達関数の逆関数である第３のフィルタ関数、および前記右スピーカから前記右収音装置までの伝達関数の逆関数である第４のフィルタ関数それぞれを導出し、
前記フィルタ装置は、前記左収録音声信号に対して前記第１のフィルタ関数に基づくフィルタ補正を行い、前記左収録音声信号に対して前記第２のフィルタ関数に基づくフィルタ補正を行い、前記右収録音声信号に対して前記第３のフィルタ関数に基づくフィルタ補正を行い、前記右収録音声信号に対して前記第４のフィルタ関数に基づくフィルタ補正を行い、
前記再生装置が、第１の補正フィルタによりフィルタ補正された音声信号に対して前記第３の補正フィルタによりフィルタ補正された音声信号をクロストーク音声信号として加算することにより前記左出力音声信号を生成すると共に、前記第４の補正フィルタによりフィルタ補正された音声信号に対して前記第２の補正フィルタによりフィルタ補正された音声信号をクロストーク音声信号として加算することにより前記右出力音声信号を生成し、当該左および右出力音声信号を出力することを特徴としたバイノーラル音声再生方法。
【産業上の利用可能性】
【００７３】
本発明は、バイノーラル収録された仮想世界の聴覚情報を現実世界における周囲の音と重ねあわせて聴取者に聴覚情報として提供するトランスーオーラルシステムなどに対して有用に適用することができる。
【符号の説明】
【００７４】
１  収録音声保持部
２  再生装置
３，４  スピーカ
５，６  収音マイク
７  聴取者
１０  フィルタ部
２０  再生音声処理部
３０  フィルタ関数導出部
Ｄ１（ｎ−ｄ）  遅延処理信号（補正遅延信号）
Ｄ２（ｎ−ｄ）  遅延処理信号（補正遅延信号）
【図１】
0005809805.tif 000002
【図２】
0005809805.tif 000003
【図３】
0005809805.tif 000004
【図４】
0005809805.tif 000005