(57)【要約】【課題】両耳間到達時間差や振幅差の情報から、到来方向ごとに音を聞き分けること特徴とする人間の聴覚プロセスを利用した音再生装置および音再生方法を実現する。【解決手段】本発明による音再生装置１は、複数のスピーカ１１２を備えている。音再生装置１は、さらに、再生音源以外の音源のユーザ聴取位置での音源方向を推定する音源位置推定部３０３と、推定した音源方向との方向の異なりが最大となる方向に位置するスピーカ１１２を再生用スピーカとして選択する出力係数決定部３０６と、を有している。【選択図】図３
2010161735.tif 000002
【特許請求の範囲】
【請求項１】
複数のスピーカを備えた音再生装置であって、
再生音源以外の音源のユーザ聴取位置での音源方向を推定する音源方向推定部と、
推定した音源方向と前記複数のスピーカから音を放射した際の音像定位方向が異なるように前記複数のスピーカそれぞれの出力係数を決定する出力係数決定部と、
を有することを特徴とする音再生装置。
【請求項２】
複数のマイクロホンからなるマイクロホンアレイを有し、
前記マイクロホンアレイの位置での音源方向を推定する音源方向推定処理部と、
推定した前記マイクロホンアレイの位置での音源方向をユーザ聴取位置での音源方向に変換する音源方向変換処理部と、
を有することを特徴とする請求項１に記載の音再生装置。
【請求項３】
乗員を検出する座席センサを備え、
前記出力係数決定部は、前記座席センサによって検出した乗員位置に雑音源が存在すると見なして演算を行うことを特徴とする請求項１または請求項２に記載の音再生装置。
【請求項４】
乗員を検出する座席センサを備え、
前記出力係数決定部は、前記座席センサによって検出した乗員位置がユーザ聴取位置であると見なして演算を行うことを特徴とする請求項１に記載の音再生装置。
【請求項５】
所定の位置に複数のマイクロホンと複数のスピーカとが配置された環境において、前記複数のスピーカを用いて音再生装置からの音を再生する音再生方法であって、
複数のマイクロホンからなるマイクロホンアレイからの音の情報と、前記マイクロホンアレイと各前記スピーカとの位置関係の情報とを用いて、前記複数のスピーカからの再生音源以外の音源の、前記マイクロホンアレイでの音源方向を推定する音源方向推定工程と、
前記マイクロホンアレイでの音源方向をユーザ聴取位置での音源方向に変換する音源方向変換工程と、
前記ユーザ聴取位置での音源方向と、前記複数のスピーカから音を放射した際の音像定位方向が異なるようにそれぞれの前記スピーカの出力係数を決定する出力係数決定工程と、
決定した前記出力係数によって前記スピーカから音を放射する音放射工程と、
を含むことを特徴とする音再生方法。
【請求項６】
前記出力係数決定工程では、前記複数のスピーカのうち、前記ユーザ聴取位置での音源方向が異なる方向に位置するものを選択する、
ことを特徴とする請求項５に記載の音再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車室内などの雑音環境下で複数台のスピーカの音再生制御を行う音再生装置および音再生方法に関する。
【背景技術】
【０００２】
これまで複数のスピーカを用いて、高臨場感で音を再生する技術が広く検討されてきている。一例を挙げると、5.1chサラウンド再生が代表的な技術と言える。また、自動車の車室内のように雑音が大きい環境でも、十分な音量で音声を再生することが可能なように、雑音量をモニタリングして、それに合わせて、再生音量をコントロールするオートボリュームコントロール技術が検討されてきている（例えば、特許文献１参照）。
【０００３】
さらに、複数のマイクロホンを用いた複数チャンネルのデジタルフィルタ処理により、所望の目的音以外の音を高精度に抑圧する技術が検討されてきている（例えば、非特許文献１参照）。この技術は、複数チャンネルのデジタルフィルタ処理により、所望の方向の音のみを歪みを生じさせることなく抽出することを目的とするものである。この音源分離技術を応用すれば、雑音量の高精度なモニタリングが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−２３５６００号公報
【非特許文献】
【０００５】
【非特許文献１】戸上真人，天野明雄“人間共生ロボットEMIEWの騒音下音声認識技術”，計測と制御，Vol.46，No.6，２００７年６月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のオートボリュームコントロール技術（特許文献１記載）では、ユーザ聴取位置から見た雑音源の方向と再生音をスピーカアレイで再生した際の音像定位方向が重なった場合に、音が聞き取りにくくなるという問題点があった。つまり、人間の聴覚プロセスには、両耳間到達時間差や振幅差の情報から到来方向ごとに音を聞き分ける機能が組み込まれていると考えられている。しかし、音の方向が重なると、そのような機能ではスピーカ再生音を聞き分けることができなくなってしまうためだと考えられる。
【０００７】
本発明は、このような問題点に鑑みてなされたものであり、雑音が存在する環境でも、所望音を聞きやすい音で聴取可能にできる音再生装置および音再生方法を提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するために、本発明による音再生装置は、例えば、複数のマイクロホンアレイを用いた音源分離処理により、マイクロホンアレイなどから見た相対的な音源方向を推定するとともに、推定した音源方向をユーザ位置から見た音源方向に変換する音源方向変換処理部を有する。そして、音源方向変換処理部などによって変換された雑音のユーザ位置から見た音源方向とスピーカアレイの音像定位方向とが異なるように音像定位方向を制御する出力係数設定部を有する、ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、雑音が存在する環境でも、所望音を聞きやすい音で聴取可能である。
【図面の簡単な説明】
【００１０】
【図１】本発明による第１実施形態の音再生装置の適用例を示す説明図である。
【図２】本発明による第１実施形態の音再生装置を示すハードウェア構成図である。
【図３】本発明による第１実施形態のプログラム構成を示すブロック図である。
【図４】音源位置変換処理の幾何学的なイメージを示す説明図である。
【図５】本実施形態で設定した出力係数を出力ソースに重畳して、スピーカから出力する構成を示したブロック図である。
【図６】音源位置変換部の詳細な構成を示すブロック図である。
【図７】図３の出力係数決定部の第１例を詳細に示すブロック図である。
【図８】本発明の第１実施形態で生成されるヒストグラムの一例である。
【図９】推定した雑音の音源位置とユーザ位置及びスピーカ合成波面のユーザ位置から見た定位方向の一例を示す説明図である。
【図１０】図３の出力係数決定部の第２例を詳細に示すブロック図である。
【図１１】変形例の方向行列計算部を示すブロック図である。
【図１２】図３の音源分離部を詳細に示すブロック図である。
【図１３】音源分離フィルタの適応処理を示すフローチャートである。
【図１４】図３の音源位置推定部を詳細に示すブロック図である。
【図１５】図３の音響エコーキャンセラを詳細に示すブロック図である。
【図１６】本発明による第１実施形態のソフトウェアブロックとハードウェアとの関連性を示す説明図である。
【図１７】本実施形態において音楽などのオーディオ出力音の出力方法を制御する構成を示すブロック図である。
【図１８】出力係数決定タイミングを決める処理を示すフローチャートである。
【図１９】出力係数設定タイミングとオーディオソース再生タイミングの一例を示したタイミングチャートである。
【図２０】本発明による第２実施形態の音再生装置を示すハードウェア構成図である。
【図２１】本発明によるユーザ聴取位置での音源位置変換処理を使って、仮想的な音源位置における音場を再現する音場再現システムのソフトウェア構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための最良の形態（以下、「実施形態」という）について、添付した各図を参照し、詳細に説明する。
【００１２】
図１は、本発明による第１実施形態の音再生装置１の適用例を示す説明図である。
図１を参照し、音再生装置１の概要を説明する。自動車１０などの車室１１内に複数のマイクロホン１０２を有するマイクロホンアレイ１０１を設置する。マイクロホンアレイ１０１で収録した音から雑音の到来方向を推定する。そして、スピーカ１１２によって再生される音が、ユーザ聴取位置で、雑音の到来方向と異なる方向に定位されるように、スピーカ１１２ごとにスピーカ出力係数を設定する。このような構成により、ユーザは、聞きやすい音でスピーカ再生音を聞くことが可能となる。
【００１３】
図２は、本発明による第１実施形態の音再生装置１を示すハードウェア構成図である。
マイクロホンアレイ１０１は、車室１１内で音を収録し、収録した音を示すアナログ信号を出力する。
多チャンネルＡ／Ｄ変換機２０２は、このアナログ信号をマイクロホン１０２ごとにデジタル信号に変換する。
スピーカアレイ１１１は、所望の再生音を車室１１内に放射する。
【００１４】
中央演算装置２０３は、変換されたデジタル信号に、デジタル信号処理を施す。具体的には、デジタル信号中に含まれる雑音成分を抽出し、雑音到来方向を推定する。そして、その雑音到来方向からスピーカ出力係数を制御する。信号処理プログラムは、不揮発性メモリ２０５に蓄えられていて、実行時に揮発性メモリ２０４にロードされ、展開される。またワークメモリなどプログラム実行に必要なメモリ領域は揮発性メモリ２０４内に確保される。また、マイクロホン１０２の配置などの情報は不揮発性メモリ２０５に蓄えられている。
中央演算装置２０３は、スピーカ出力係数を制御し、生成したデジタル信号（スピーカ出力信号）を出力する。
【００１５】
多チャンネルＤ／Ａ変換機２０６は、スピーカ出力信号をアナログ信号に変換して、スピーカアレイ１１１の複数のスピーカ１１２ごとに出力する。
スピーカ１１２は、このアナログ信号によって鳴動し、音を空中に放射する。
【００１６】
また、座席センサ２０８によって乗員／同乗者の存在（着席）を検出し、乗員／同乗者の発話の有無にかかわらず、乗員位置／同乗者位置を音源位置またはユーザ聴取位置とみなして、スピーカ出力係数を制御するような構成にしてもよい。具体的には、乗員／同乗者を雑音源とみなして、乗員方向／同乗者方向と異なる方向にスピーカ出力音が定位されるように制御してもよいし、乗員／同乗者を聴取者とみなして、乗員位置／同乗者位置でのスピーカ出力音の定位方向と雑音の到来方向とが異なるようにスピーカ出力音の係数を制御するような構成にしてもよい。後者の構成を採ることで、運転者のみならず他の乗員／同乗者にとっても所望の音を聞きやすい音場を形成することが可能となる。
【００１７】
図３は、本発明による第１実施形態のプログラム構成を示すブロック図である。
波形取り込み部３０１は、多チャンネルＡ／Ｄ変換機２０２（図２参照）を制御し、デジタル信号を取得する。
音響エコーキャンセラ３０７は、取得したデジタル信号に含まれるスピーカ出力に起因する成分（音響エコー成分）を除去する。音響エコーキャンセラ３０７の具体的な構成については後記する。音響エコーキャンセラ３０７は、マイクロホン素子ごとに動作する。音響エコー消去後の複数チャンネル信号は、音源分離部３０２に送られる。
【００１８】
通常、車室１１内には多数の音源が存在する。音源分離部３０２は、この多数の音源を音源ごとの信号に分離する。音源の分離は、音響エコーキャンセラ３０７の出力信号を一定時間分取得するたびに行う。分離したそれぞれの信号は、音源ごとに音源位置推定部３０３に送られて、それぞれの音源位置が推定される。推定した音源位置は、マイクロホンアレイ１０１の位置と音源位置の相対位置となる。本実施形態では、ユーザ聴取位置から音源までの相対位置が必要となるため、音源位置変換部３０４では、事前のユーザ聴取位置情報から、ユーザ聴取位置（ユーザ位置）から見た音源位置を算出する。
【００１９】
図４は、音源位置変換処理の幾何学的なイメージを示す説明図である。
具体的には、図４に示すように、ユーザ位置とマイクロホンアレイ１０１（図１参照）の位置から求めることができるユーザ位置ベクトルＶ１をマイクロホンアレイ１０１から見た音源の推定音源位置ベクトルＶ２に足し合わせることで、ユーザ位置から見た変換後音源位置ベクトルＶ３を取得することが可能となる。なお、マイクロホンアレイ１０１の設置位置は固定位置とする。この場合、ユーザ位置ベクトルＶ１は、ユーザ位置が分かれば決まる。ユーザ位置は、「運転席１２」にプリセットしてもよいし、座席センサ２０８（図２参照）が検知した乗員位置／同乗者位置の情報から決めてもよい。
【００２０】
図３に戻り、ヒストグラム更新部３０５は、変換した音源位置の情報から、雑音の到来方向のヒストグラムＰ(θ)を生成する。ここで、θは、音源方位角とする。ヒストグラムは、Ｐ(θ,φ)といった形で、方位角θと仰角φの二次元ヒストグラムを生成してもよい。ここでｉ番目の分離信号の音源方向を方位角θi，仰角φiとする。雑音の到来があるごとに、到来した雑音のθi、φiに相当するヒストグラムＰ(θi,φi)に値 １を加算する。また、ｉ番目の分離信号の平均パワーもしくはパワーの関数をＰ(θi,φi)に加えるような構成を採ってもよい。また、ヒストグラムは音源分離部３０２で一度処理するたびに初期化してもよいし（すなわち、Ｐ(θ,φ)＝０（すべてのθ、φに対して）としてもよいし）、音源分離を一度行うたびに、Ｐ(θ,φ)←αＰ(θ,φ)（αは０以上１以下の定数）といったように忘却係数αを乗算することで、過去の情報をゆっくりと忘れる構成としてもよい。
【００２１】
出力係数決定部３０６は、得られたヒストグラムＰ(θ,φ)の情報からスピーカ出力係数を決定する。ヒストグラムの値が大きいほど、雑音が大きい方向と考えられる。スピーカ出力係数は、得られたヒストグラムＰ(θ,φ)の値が大きい方向との方向の異なりが大きい方向にスピーカ出力音が定位されるように制御する。つまり、ヒストグラムＰ(θ,φ)の値が大きい方向とは、雑音が聞こえる頻度が大きく、雑音が大きいと見なせる方向であるから、本実施形態では、この雑音が大きいと見なせる方向を避けて、雑音が聞こえる方向とは異なる方向（典型的には、反対方向）から所望の音が聞こえるように、スピーカ出力音が定位するようにする。
【００２２】
図５は、本実施形態で設定した出力係数を出力ソースに重畳して、スピーカ１１２から出力する構成を示したブロック図である。
本実施形態で設定された出力係数記憶部４０１は、不揮発性メモリ２０５または揮発性メモリ２０４上に確保される。出力ソース取得部４０３は、オーディオやハンズフリー通話の出力音などの原信号を取得する。そして、スピーカ出力部４０２は、出力するスピーカ１１２ごとに、出力係数記憶部４０１に蓄えられている出力係数を重畳して、出力を行う。出力係数は、単なる音量値でもよいし、ＦＩＲ（Finite Impulse Response）フィルタまたは、短時間フーリエ変換により時間周波数領域に変換した後、周波数ごとに出力係数を設定し、時間周波数領域に戻して出力するような構成を採ってもよい。
【００２３】
図６は、図３の音源位置変換部３０４の詳細な構成を示すブロック図である。
音源位置推定部３０３が推定した各音源のマイクロホンアレイ１０１の位置からみた相対的な音源位置Ｐ=(ｘ,ｙ,ｚ)T（肩字のＴは、ベクトル・行列の転置であることを示す。）が、音源位置変換部３０４へ入力となる。
マイク位置データベース５０４には、マイクロホンアレイ１０１の車室１１内における空間的位置ｐ2(ｘ2,ｙ2,ｚ2)Tが記載されているものとする。ユーザ位置抽出部５０２は、車室１１内におけるユーザ聴取位置の空間的位置ｐu=(ｘu,ｙu,ｚu)Tを取得する。座席センサ２０８などにより検出した乗員／同乗者の位置からユーザ聴取位置を決めてもよいし、予めユーザ聴取位置を運転席１２（図１参照）に固定するなどしてプリセットしておいてもよい。変換ベクトル生成部５０３では、ユーザ聴取位置ｐuとマイクロホンアレイ１０１の空間的位置ｐ2の差ｂ＝ｐ2−ｐuを計算する。変換ベクトル加算部５０５では推定したマイクロホンアレイ位置での音源位置Ｐにｂを加算したＰ´＝Ｐ＋ｂを得る。Ｐ´は、ユーザ聴取位置から見た音源の相対的な位置となる。
【００２４】
このように（図４参照）、簡単なベクトル計算によってユーザ聴取位置での音源位置を知ることができる。音源位置変換処理は、音源分離処理を１度実行するごとに、音源分離部３０２が分離して出力する音源ごとに１回ずつ行ってもよいし、音源分離部３０２が、音源または周波数ごとに音を分離する場合、音源分離処理を１回行うごとに、音源または周波数ごとに１回ずつ音源位置変換処理を行うようにしてもよい。
【００２５】
図７は、図３の出力係数決定部３０６の第１例を詳細に示すブロック図である。
出力係数決定部３０６は、音源位置変換部３０４（図３参照）により変換した音源ごとかつ周波数ごとの音源位置から、音源の相対的な方位角θまたは仰角値φを取り出す。これは音源位置(ｘ,ｙ,ｚ)を極座標(ｒcosθcosφ,ｒsinθcosφ,sinφ)と見立てて、推定することができる。通常、車室１１内では音源はすべて同一水平面上に存在すると仮定しても実用上問題がないと考えられるため、φ＝０としてもよい。
【００２６】
方向行列計算部６０２は、抽出した音源ごとかつ周波数ごとの音源方向（θ）または（θ,φ）から、前記した方法で、音源方向ごとの頻度を示すヒストグラムＰ(θ)またはヒストグラムＰ(θ,φ)を生成する。
【００２７】
図８は、本発明の第１実施形態で生成されるヒストグラムＰ(θ)の一例である。
音源方向θごとに、音源の頻度ＰがヒストグラムＰ(θ)上に得られる。
【００２８】
ここで、以後の説明で用いるステアリングベクトルを定義する。音源位置ｐに存在する周波数ｆの音が各マイクロホン１０２に到達するまでの位相の遅延量を要素に持つベクトルａp(ｆ)を、次の式（１）で定義する。
【００２９】
【数１】
2010161735.tif 000003
【００３０】
ここで、ｊは虚数単位を表すものとする。ここで、Ｍはマイクロホン１０２の数とする。
【００３１】
人間の両耳を２つのマイクロホン１０２と見立てると、音源位置ｐから両耳に音が届くまでの位相の遅延量もａp(ｆ)で表すことができる。本実施形態においては、ａp(ｆ)のマイクロホン１０２間で共通の遅延量は特に意味をもたないため、ａp(ｆ)は必ずしも、音源位置からの遅延量として定義する必要はなく、基準のマイクロホン１０２からの遅延量として定義してもよい。本実施形態では、１番目のマイクロホン１０２を基準のマイクロホン１０２として遅延量Ｔp,m（ｆ）を次の式（２）で定義する。ｔm(ｐ)は音源位置ｐの音がｍ番目のマイクロホン１０２まで届くまでの時間とする。
【００３２】
【数２】
2010161735.tif 000004
【００３３】
人間の両耳のようにマイクロホン１０２が直線上に並んでいると仮定し、音源位置ｐがマイクロホン間隔に対して十分遠い距離に存在すると仮定すると、Ｔp,m(ｆ)は、次の式（３）で近似することができる。
【００３４】
【数３】
2010161735.tif 000005
【００３５】
ここで、ｄmはｍ番目のマイクロホン１０２と１番目のマイクロホン１０２の間の距離とする。ｃは音速であり、常温で340[m/s]程度となるため、通常この値に設定する。θは、マイクロホンアレイ１０１を構成する直線に対して直交する平面に対して、マイクロホンアレイ１０１と音源位置ｐを結んだ直線が成す角とする。これをマイクロホンアレイ１０１の位置から見た相対的な方位角とする。マイクロホンアレイ１０１が直線配置以外の場合は、Ｔp,m(ｆ)はより複雑な形となるが、いずれにせよマイクロホンアレイ１０１の幾何学配置が既知であれば、単純な幾何学計算により求めることができる。本実施形態では、マイクロホンアレイ１０１の幾何学配置はあらかじめ不揮発性メモリ２０５（図２参照）に記憶されているとし、その情報を利用してステアリングベクトルを生成するものとする。
【００３６】
図７に戻り、方向行列計算部６０２は、ヒストグラムＰ(θ)またはヒストグラムＰ(θ，φ)を使って次の式（４）で定義されるマイクロホンアレイ１０１の位置での雑音共分散行列推定値Ｒn(ｆ)を計算する。
【００３７】
【数４】
2010161735.tif 000006
【００３８】
ここでＪはヒストグラムの分割数とする。Ｊは各分割された格子として、θjは格子ｊの方位角、φjは格子ｊの仰角とする。ｎj(ｆ)は格子ｊの位置に音源が存在すると仮定した時のユーザ聴取位置から見たステアリングベクトルとする。つまりＲn(ｆ)はヒストグラムの頻度が大きいところの影響が大きくなるように設定した行列となる。
【００３９】
さらにＨ(ｆ)を次の式（５）で定義する。
【００４０】
【数５】
2010161735.tif 000007
【００４１】
ここで、Ｌはスピーカ素子数とする。ｈi(ｆ)はｉ番目のスピーカ位置に音源があると仮定した時のユーザ聴取位置から見たステアリングベクトルとする。
【００４２】
Ｈ(ｆ)とＲn(ｆ)を用いて、行列Ａ(ｆ)を、次の式（６）で求める。
【００４３】
【数６】
2010161735.tif 000008
【００４４】
ユーザ聴取位置が複数存在する場合は、次の式（７）のようにユーザ聴取位置ごとに雑音共分散行列Ｒi,n(ｆ)と、スピーカ１１２のステアリングベクトルからなる行列Ｈi(ｆ)を用いてＡ(ｆ)を構成してもよい。
【００４５】
【数７】
2010161735.tif 000009
【００４６】
Ａ(ｆ)をこのような構成にすることで、複数の聴取位置で聞き取りやすいスピーカ出力音を得ることができる。
【００４７】
固有値・ベクトル計算部６０３では、Ａ(ｆ)の最小固有値を与える固有ベクトルＳ(ｆ)を求める。Ｓ(ｆ)はスピーカ素子数分の要素数を持つ。ここで、Ｓ(ｆ)の各要素を各スピーカ素子の伝達関数に重畳して、すべてのスピーカ１１２から同時に音を放射した場合、放射音の合成波面のステアリングベクトルはＨ(ｆ)Ｓ(ｆ)となる。Ｈ(ｆ)Ｓ(ｆ)は雑音のステアリングベクトルとの異なりが最大となるステアリングベクトルになる。
【００４８】
最小コスト係数算出部６０４は、求めた周波数ごとのスピーカ出力係数Ｓ(ｆ)をスピーカ（素子）１１２ごとに逆フーリエ変換して時間領域のスピーカ出力係数Ｓ(ｔ)を求める。Ｓ(ｔ)はＦＩＲフィルタとみなせるため、Ｓ(ｔ)をスピーカ１１２から出力する時間領域の音に畳みこむことで周波数ごとのステアリングベクトルがＨ(ｆ)Ｓ(ｆ)となる合成波面を得ることができる。またＳ(ｆ)を得るために、次の式（８）で定義される雑音のステアリングベクトルとの異なりが最大となる音源位置ｐminを得た後、その次の式（９）でＳ(ｆ)を求めてもよい。
【００４９】
【数８】
2010161735.tif 000010
【００５０】
【数９】
2010161735.tif 000011
【００５１】
このようにして求めた合成波面のステアリングベクトルＨ(ｆ)Ｓ(ｆ)は定義される音源位置ｐminのステアリングベクトルと完全に一致するとともに、出力係数Ｓ(ｆ)が最小となるようなものとなる。
【００５２】
図９は、推定した雑音の音源位置とユーザ位置及びユーザ位置から見たスピーカ合成波面の定位方向の一例を示す説明図である。
本発明では、このように合成波面の方向を雑音の音源位置との異なりが大きい方向に設定することが可能となる。
【００５３】
図１０は、出力係数決定部３０６の第２例を詳細に示すブロック図である。
この出力係数決定部３０６は、複数のスピーカ１１２の中から雑音とのステアリングベクトルの違いが最も大きいスピーカ（素子）１１２を選択する構成を有している。
【００５４】
この第２例の方向行列計算部７０２は、図７に示す第１例の方向行列計算部６０２と同様に、Ｒn(ｆ)を計算する。
スピーカ内積計算部７０３は、次の式（１０）で定義される各スピーカ（素子）１１２のステアリングベクトルとＲn(ｆ)との内積計算を行う。
【００５５】
【数１０】
2010161735.tif 000012
【００５６】
最小コスト係数算出部７０４は、次の式（１１）により内積値が最小となるスピーカ（素子）１１２を選択する。
【００５７】
【数１１】
2010161735.tif 000013
【００５８】
図１１は、変形例の方向行列計算部８０１を示すブロック図である。
この方向行列計算部８０１は、図１０に示す方向行列計算部７０２に、同乗者位置推定部８０２および既知雑音位置８０３が付加された構成である。したがって、この方向行列計算部８０１は、音源分離により検出した音源の情報のみから雑音共分散行列Ｒn(ｆ)を生成するのではなく、同乗者位置推定部８０２からの乗員／同乗者の情報やワイパー音、エンジン音など予め既知の音源の情報を表す既知雑音位置８０３も用いてＲn(ｆ)を生成する構成を有している。
【００５９】
同乗者位置推定部８０２は、座席センサ２０８（図２参照）の情報から乗員／同乗者が座っている位置を検出し、その位置を仮想的な雑音音源位置とみなして、雑音の方向ヒストグラムＰ(θ)に追加する。追加する頻度値はあらかじめ定めた値を入力する。既知雑音位置８０３はワイパー音やエンジン音などの既知の音源位置をプリセットしておいたものを読み出し、雑音の方向ヒストグラムＰ(θ)に追加する。方向行列計算部８０１では、ユーザ聴取位置への変換後の雑音の音源位置と乗員位置／同乗者位置及び既知雑音位置の情報から作られた雑音の方向ヒストグラムＰ(θ)から雑音の共分散行列Ｒn(ｆ)を生成し、Ｒn(ｆ)を出力する。
【００６０】
図１２は、図３の音源分離部３０２を詳細に示すブロック図である。
各マイクロホン（素子）１０２で受音したデジタル音圧波形は、バッファリング部９０１に送られる。
バッファリング部９０１は、マイクロホン（素子）１０２ごとに例えば数秒間データが溜められ、データが溜まる度に後段処理にデータを出力する。
短時間周波数変換部９０２は、バッファリング部９０１の出力信号を例えば数十[ｍｓ]ごとに処理する。処理の単位をフレームと呼び、１フレームで処理するマイクロホン（素子）１０２ごとのポイント数をフレームサイズLframeと呼ぶ。１フレームごとに処理を開始する位置をフレームシフトLshift分ずつずらす。つまりτ番目のフレームで処理するデータはτ*Lshiftポイントからτ*Lshift＋Lframeである。フレームごとにデータを短時間フーリエ変換により周波数領域に変換する。ｍ番目のマイクロホン素子について、フレームτでの周波数ｆ成分をｘm(ｆ,τ)と表記する。短時間フーリエ変換に先立って、直流成分カット、窓関数重畳などの処理を波形（信号）に施してもよい。窓関数としてはハミング窓やハニング窓、ブラックマン窓などが適用可能である。
【００６１】
フィルタ適応部９０３では音源分離に必要なフィルタを周波数ｆごとに適応処理する。
フィルタリング部９０４では、フィルタ適応部９０３で適応した音源分離フィルタを使って、フレームごと、周波数ごとに音を音源ごとに分離する。ここで、ベクトルＸ(ｆ,τ)を[ｘ1(ｆ,τ),ｘ2(ｆ,τ),…,ｘM(ｆ,τ)]Tで定義する。つまり、Ｘ(ｆ,τ)は、フレームτ、周波数ｆのすべてのマイクロホン（素子）１０２の信号を要素に持つベクトルとなる。Ｘ(ｆ,τ)から音源分離フィルタＷを使って、次の式（１２）で分離信号を得る。
【００６２】
【数１２】
2010161735.tif 000014
【００６３】
ここでベクトルｙ(ｆ,τ)の各要素は、各分離信号の時間τ、周波数ｆ成分に相当する。フィルタリング部９０４が出力する分離信号は、パワー正規化部９０５で、時間τ、周波数ｆごとに、
ｙnorm(ｆ,τ)←ｙ(ｆ,τ)/|ｙ(ｆ,τ)|
で正規化される。つまりｙnorm(ｆ,τ)のパワーは０から１までの値をとる。棄却判定部９０６では、正規化したパワーのフレーム平均値が閾値より小さい音源・周波数成分については、背景雑音成分と見直して音源分離結果から外し、閾値以上の成分についてのみ音源・周波数成分を出力する。出力の際、音源ごとに短時間フーリエ逆変換をかけて、時間領域の波形に戻した後、出力してもよい。
【００６４】
図１３は、音源分離フィルタＷの適応処理を示すフローチャートである。
音源分離フィルタＷの値が十分収束したかどうかを判定する（収束判定；ステップＳ１００１）。フィルタ更新回数が所定回数に達した場合収束したと判定してもよいし、後述する非線形共分散行列の非対角項のパワーが対角項のパワーに対してあらかじめ定める値以下になった場合に収束したと判定してもよい。
【００６５】
収束したと判定されれば（ステップＳ１００１のＹｅｓ）、処理を終了し、音源分離フィルタＷを出力する。
収束したと判定されなければ（ステップＳ１００１のＮｏ）、次のステップへ進む。
【００６６】
処理開始位置をバッファリング部９０１が取り込んだ波形の先頭にセットする。また後記するＲ(ｆ)を０クリアする（初期化；ステップＳ１００２）。
【００６７】
処理開始位置がバッファリング部９０１が取り込んだ波形の終了位置以下かどうかを判定する（ｉ≦length?判定、ステップＳ１００３）。
【００６８】
処理開始位置が波形の終了位置に達していない場合（ステップＳ１００３のＮｏ）、フレームごと、周波数ごとのＸ(f,τ)をフィルタリング処理して、音源分離音ｙ(ｆ,τ)を得る（フィルタリング；ステップＳ１００４）。
【００６９】
ここで、得た音源分離音は、適応中の音源分離フィルタにより分離した波形であるため、分離が不十分であると考えられる。そこで、Ｒ(ｆ)を、次の式（１３）で更新する（共分散更新；ステップＳ１００５）。
【００７０】
【数１３】
2010161735.tif 000015
【００７１】
ここでφ(ｘ)は音源の確率分布の微分関数に相当する関数であり、次の式（１４）で定義する。
【００７２】
【数１４】
2010161735.tif 000016
【００７３】
Ｒ(ｆ)は非線形共分散行列と呼び、この非対角項が０に近づくほど、分離した各音源が独立になっていることを意味する。対角項は各音源の大きさに相当する。したがって、非対角項と対角項の比が重要になる。分離フィルタの収束判定ではこの比をチェックし、収束判定してもよい。
【００７４】
次に、波形の処理開始位置をフレームシフトLshift分加算する（変数更新；ステップＳ１００７）。
そして、ステップＳ１００３以降の処理を繰り返す。
【００７５】
波形処理開始地点がバッファリング部９０１で取り込んだ波形の終了地点に達している場合（ステップＳ１００３のＮｏ）、ステップＳ１００６に処理を移す。
【００７６】
次の式（１５）で分離フィルタを更新する（フィルタ更新；ステップＳ１００６）。
【００７７】
【数１５】
2010161735.tif 000017
【００７８】
ηはフィルタ更新速度を制御するための変数であり、大きいほどフィルタ収束速度は上がるが、フィルタが発散する可能性が大きくなる。小さいほどフィルタ収束速度は遅いが、フィルタが発散する可能性は低くなる。
そして、ステップＳ１００１以降の処理を繰り返す。
【００７９】
図１４は、図３の音源位置推定部３０３を詳細に示すブロック図である。
音源分離部３０２（図３参照）が分離した分離フィルタの逆行列は音源ごとのステアリングベクトルから構成される行列であることが知られている。
逆行列計算部１１０２は、分離フィルタの逆行列の第ｉ列ｗ(ｆ,τ)−１iを抽出する。以降のブロックはフレームごと、周波数ごとに実行される。マイクロホンアレイ１０１は直線配置とする。本実施形態における音源位置推定部３０３は、マイクロホンアレイ１０１を構成するマイクロホン（素子）１０２を２分割する。分割後のマイクロホンアレイ１０１をサブアレイと呼ぶ。それぞれのサブアレイで音源方向を推定した後、三角測量法により、その音源方向の交点をとることで、方向と距離を知ることができる。
【００８０】
２分割したサブアレイで音源方向を推定するので、１つのサブアレイ分割部１１０３ごとに２つの方向推定部１１０４を具備し、２つの方向推定部１１０４の推定結果によって、１つの交点推定部１１０５は、ひとつの交点を推定することとなる。
【００８１】
分離フィルタの逆行列の第ｉ列は、サブアレイごとに、次の式（１６）のように分割される。
【００８２】
【数１６】
2010161735.tif 000018
【００８３】
また音源位置ｐに音源があると仮定した時のステアリングベクトルも、次の式（１７）のようにサブアレイごとに２分割される。
【００８４】
【数１７】
2010161735.tif 000019
【００８５】
方向推定部１１０４は、各サブアレイごとに、次の式（１８）及び式（１９）に基づき、音源方向^θi,1(ｆ,τ)及び音源方向^θi,2(ｆ,τ)を推定する。
【００８６】
【数１８】
2010161735.tif 000020
【００８７】
【数１９】
2010161735.tif 000021
【００８８】
交点推定部１１０５は、各サブアレイの中心位置から見て推定した音源方向に音源が存在すると考え、三角測量により音源方向と距離を推定する。各サブアレイの中心位置間の距離は予め既知であると仮定できるため、三角測量により音源方向と距離の推定は容易に実行可能である。
【００８９】
ヒストグラム推定部１１０６は、周波数ごとに求めた音源方向と距離のヒストグラムを推定し、最もヒストグラムの頻度が大きい音源方向と距離をその音源の方向と距離であると判断し、頻度が大きい音源方向と距離を出力する。
【００９０】
図１５は、図３の音響エコーキャンセラ３０７を詳細に示すブロック図である。
スピーカ出力音は空間を伝播し、マイクロホンアレイ１０１で受音される。本実施形態では、入力音は一義的に雑音であると判定するため、音響エコーキャンセラ３０７が存在しない場合、マイクロホンアレイ１０１で受音されたスピーカ出力音は雑音と判断される。したがって、音響エコーキャンセラ３０７が存在しない場合、スピーカ出力係数を設定する際に、以前のスピーカ出力係数との異なりが大きくなるようにスピーカ出力係数を設定することになり、スピーカ出力係数が安定せず音響出力の定位方向が時々刻々不安定に変化してしまうという問題が起こる。この問題を避けるために、マイクロホンアレイ１０１で受音されたスピーカ出力音中に含まれるスピーカ出力成分をあらかじめ除去する必要がある。
【００９１】
参照信号取り込み部１５０１ではスピーカ１１２からの出力音源信号ｕ(ｔ)を取得する。各スピーカ出力信号はスピーカ１１２ごとに異なる出力係数Ｓm(ｔ)を重畳される。出力係数重畳部１５０３ではｕ(ｔ)にＳm(ｔ)を次の式（２０）で畳みこむ。
【００９２】
【数２０】
2010161735.tif 000022
【００９３】
畳み込み後の信号をｕm(ｔ)とする。ここでｕm(ｔ)は後段のエコー量推定フィルタと同じ長さを持つベクトルとし、畳み込み後の信号が時間という観点で新しいものから順番に並んでいるベクトルとする。ｕm(ｔ)をマイクロホンｍの音響エコーキャンセラ３０７の参照信号として使用する。
【００９４】
入力信号バッファリング部１５０２は、入力信号を所定時間分バッファリングし、後段へ出力する。
【００９５】
フィルタリング部１５０４は、参照信号にエコー量推定フィルタｇmを畳みこむ。
エコー消去部１５０６は、推定したエコー量をマイクロホン入力信号ｘm(ｔ)から引くことで、エコー消去後の信号ｅm(ｔ)を次の式（２１）のように得る。
【００９６】
【数２１】
2010161735.tif 000023
【００９７】
フィルタ更新部１５０５は、エコー消去後の信号を０に近づけるようにエコー量推定フィルタｇmを次の式（２２）に定義されるようにして更新する。
【００９８】
【数２２】
2010161735.tif 000024
【００９９】
ここでμはフィルタ更新係数で０から１までの値をとる。エコー消去部１５０６で出力したエコー消去後の信号を音響エコーキャンセラ３０７による処理済の出力信号として出力する。
【０１００】
図１６は、本発明による第１実施形態のソフトウェアブロックとハードウェアとの関連性を示す説明図である。
複数のマイクロホン１０２から構成されるマイクロホンアレイ１０１で取り込んだアナログ音圧値は、Ａ／Ｄ変換装置１６０２内に配置されるＡ／Ｄ変換処理部１６０２ａによりデジタル音圧値に変換される。
変換されたデジタル音圧値は、中央演算装置２０３に送られて各種デジタル信号処理を施される。波形取り込み部１６０３ａ（図３の波形取り込み部３０１に対応）はデジタル音圧波形を取り込んでバッファリングする。
音響エコーキャンセラ１６０３ｂ（図３の音響エコーキャンセラ３０７に対応）は取り込んだデジタル音圧波形中のスピーカ出力信号成分を消去する。
エコー消去後の信号は、音源分離部１６０３ｄ（図３の音源分離部３０２に対応）に送られ、音源ごとに分離される。
音源位置推定部１６０３ｅ（図３の音源位置推定部３０３に対応）は、音源ごとの音源位置を推定する。推定した音源位置はマイクロホンアレイ位置から見た音源位置となる。
音源位置変換部１６０３ｆ（図３の音源位置変換部３０４に対応）は、マイクロホンアレイ位置から見た音源位置をユーザ聴取位置から見た音源方向に変換する。
出力係数決定部１６０３ｇは、ユーザ聴取位置から見た音源方向とスピーカ出力音の合成波面のユーザ聴取位置での音源方向の異なりが最大となるようにスピーカ出力係数を決定する。
音声再生部１６０３ｃは、決定したスピーカ１１２ごとの出力係数を出力音に畳み込む。ここまでのデジタル信号処理で必要なワークメモリ及びマイク配置等の事前情報は不揮発性メモリ２０５、揮発性メモリ２０４（図２参照）に記憶される。
Ｄ／Ａ変換装置１６０４内に配置されるＤ／Ａ変換処理部１６０４ａは、音声再生部１６０３ｃが出力するデジタル信号をアナログ信号に変換する。
このアナログ信号は複数のスピーカ１１２からなるスピーカアレイ１１１に送られ、各スピーカ１１２から音響信号として出力され空中に放射される。
【０１０１】
図１７は、本実施形態において音楽などのオーディオ出力音の出力方法を制御する構成を示すブロック図である。
スピーカ出力係数決定部１７０１は、前記したように、スピーカ合成波面のユーザ聴取位置での音源方向と雑音方向との異なりが最大となるようにスピーカ出力係数を決定する。
【０１０２】
オーディオソース取得部１７０２では、コンパクトディスクプレーヤなどの再生機器から再生音を取得する。オーディオ再生１７０３では、取得した再生音にスピーカ１１２ごとの出力係数を重畳した後、各スピーカ１１２から出力し、空中に放射する。また出力係数を雑音方向が変化するたびに、常に変化させると、かえって聞き取りにくい音になってしまう可能性がある。少なくとも同一ソース、例えば同じ音楽の曲を流している間は出力係数は変えないことが望まれる。
【０１０３】
図１８は、出力係数決定タイミングを決める処理を示すフローチャートである。
まず、出力音のソースが変更されたかどうかを判定する（ソース変更判定；ステップＳ２００１）。これは、音楽の場合は再生曲が終了したかどうかをオーディオ機器に問い合わせることで実現可能である。
【０１０４】
ソースが変更されている場合（ステップＳ２００１のＹｅｓ）、スピーカ出力係数を変更し（出力係数変更；ステップＳ２００２）、次のステップ（ステップＳ２００３）へ進む。
なお、出力係数変更（ステップＳ２００２）では、更新したヒストグラムからスピーカ出力係数を決定する。
【０１０５】
ソースが変更されていない場合（ステップＳ２００１のＮｏ）、および出力係数を変更した後は、次の時間の波形を取り込む（波形取り込み；ステップＳ２００３）。
【０１０６】
取り込んだ波形は音響エコーキャンセラ３０７に送られ、音響エコー成分が消去される（ステップＳ２００４）。
次に、音源ごとに分離される（音源分離；ステップＳ２００５）。
そして、音源ごとのマイクロホン位置での音源位置が推定される（音源位置変換推定；ステップＳ２００６）。
そして、ユーザ聴取位置での音源方向が算出される（音源位置変換；ステップＳ２００７）。
そして、ユーザ聴取位置での音源方向のヒストグラムを更新する（ヒストグラム更新；ステップＳ２００８）。
そして、再生終了か否かを判断する（ステップＳ２００９）。再生終了の場合（ステップＳ２００９のＹｅｓ）、処理を終了する。
再生終了でない場合（ステップＳ２００９のＮｏ）、ステップＳ２００１以降の処理を繰り返す。
【０１０７】
図１９は、出力係数設定タイミングとオーディオソース再生タイミングの一例を示したタイミングチャートである。
雑音方向はθ１からθ２に変化するものとする。スピーカ出力係数を常時更新する場合、雑音の方向が変化したタイミングでスピーカ出力係数が変化することになるが、この例の場合、ソース（２）再生中に出力係数が変化することになり、ユーザにとって聞き取りにくい音となる。本例に示すように、ソース（２）とソース（３）のソースが変わるタイミングで出力係数を変化させる構成を取ることで、ユーザに与える不快感を軽減することが可能となる。5.1chサラウンド音楽など一つのソースに複数の音源が含まれている場合は、スピーカ出力音の合成波面の音源方向が雑音の音源方向との異なりが大きくなるものから順番に音源数分だけスピーカ出力係数を選択し、それぞれの音源に重畳するような構成を取ってもよい。
【０１０８】
図２０は、本発明による第２実施形態の音再生装置１ｂを示すハードウェア構成図である。
図２０に示す音再生装置１ｂは、車室１１内でのハンズフリー通話に応用する際のハードウェア構成を示すものであって、図２で示した構成に加えて、携帯電話１８０１をハードウェアとして加えたものである。
【０１０９】
中央演算装置２０３で取得した車室１１内のデジタル音圧データは携帯電話１８０１に送られる。
携帯電話１８０１は電話網を通してデジタル音圧データを通話相手に送信する。また電話網を通して通話相手の音声が送られてきた音を、中央演算装置２０３内で計算したスピーカごとの出力係数を重畳した後、多チャンネルＤ／Ａ変換機２０６に送りアナログ信号に変換する。
アナログ信号はスピーカアレイ１１１に送られ各スピーカ１１２から出力されて、空中に放射される。
ハンズフリー通話の構成においては、ユーザ聴取位置から音が放射される可能性がある。そこで、本実施形態のスピーカ出力係数決定部１７０１においては、音源分離後の各音源の信号のうち音源位置がユーザ聴取位置近傍となる音源については棄却し雑音とみなさないという構成を取ってもよい。また、音源分離後のユーザ聴取位置近傍の音源を携帯電話１８０１に送信するような構成を取ってもよい。このような構成を取ることで、雑音が存在する車室１１内でも雑音の少ないクリアな音を通話相手に送ることが可能となる。
【０１１０】
図２１は、本発明によるユーザ聴取位置での音源位置変換処理を使って、仮想的な音源位置における音場を再現する音場再現システムのソフトウェア構成を示すブロック図である。
波形取り込み部３０１で取り込んだ複数チャンネルのデジタル波形は、音響エコーキャンセラ３０７に送られ、スピーカ出力音の成分が除去される。
音源分離部３０２は、除去後の波形（信号）を音源ごとに分離する。
音源位置推定部３０３は、分離した音源ごとにマイクロホンアレイ１０１の位置での音源位置を推定する。
音源位置変換部３０４は、仮想的なユーザ聴取位置での音源位置に変換する。
話者ボリューム決定部１９０６は、音源分離部３０２で分離した出力信号に仮想的なユーザ聴取位置から見た音源のステアリングベクトルを重畳する。
すべての音源に対して同様な処理を繰り返した後、波形再結合部１９０７は、マイクロホン（素子）１０２ごとに音源ごとの波形を統合して出力する。
【符号の説明】
【０１１１】
１      音再生装置（第１実施形態）
１ｂ    音再生装置（第２実施形態）
１０    自動車
１１    車室
１２    運転席
１０１  マイクロホンアレイ
１０２  マイクロホン
１１１  スピーカアレイ
１１２  スピーカ
２０２  多チャンネルＡ／Ｄ変換機
２０３  中央演算装置
２０４  揮発性メモリ
２０５  不揮発性メモリ
２０６  多チャンネルＤ／Ａ変換機
２０８  座席センサ
３０１  波形取り込み部
３０２  音源分離部
３０３  音源位置推定部
３０４  音源位置変換部
３０５  ヒストグラム更新部
３０６  出力係数決定部
３０７  音響エコーキャンセラ
４０１  出力係数記憶部
４０２  スピーカ出力部
４０３  出力ソース取得部
５０２  ユーザ位置抽出部
５０３  変換ベクトル生成部
５０４  マイク位置データベース
５０５  変換ベクトル加算部
６０２  方向行列計算部
６０３  固有値・ベクトル計算部
６０４  最小コスト係数算出部
７０２  方向行列計算部
７０３  スピーカ内積計算部
７０４  最小コスト係数算出部
８０１  方向行列計算部
８０２  同乗者位置推定部
８０３  既知雑音位置
９０１  バッファリング部
９０２  短時間周波数変換部
９０３  フィルタ適応部
９０４  フィルタリング部
９０５  パワー正規化部
９０６  棄却判定部
１１０２  逆行列計算部
１１０３  サブアレイ分割部
１１０４  方向推定部
１１０５  交点推定部
１１０６  ヒストグラム推定部
１５０１  参照信号取り込み部
１５０３  出力係数重畳部
１５０４  フィルタリング部
１５０５  フィルタ更新部
１５０６  エコー消去部
１６０２  Ａ／Ｄ変換装置
１６０４  Ｄ／Ａ変換装置
１７０１  スピーカ出力係数決定部
１７０２  オーディオソース取得部
１７０３  オーディオ再生
１８０１  携帯電話
１９０６  話者ボリューム決定部
１９０７  波形再結合部
【図１】
2010161735.tif 000025
【図２】
2010161735.tif 000026
【図３】
2010161735.tif 000027
【図４】
2010161735.tif 000028
【図５】
2010161735.tif 000029
【図６】
2010161735.tif 000030
【図７】
2010161735.tif 000031
【図８】
2010161735.tif 000032
【図９】
2010161735.tif 000033
【図１０】
2010161735.tif 000034
【図１１】
2010161735.tif 000035
【図１２】
2010161735.tif 000036
【図１３】
2010161735.tif 000037
【図１４】
2010161735.tif 000038
【図１５】
2010161735.tif 000039
【図１６】
2010161735.tif 000040
【図１７】
2010161735.tif 000041
【図１８】
2010161735.tif 000042
【図１９】
2010161735.tif 000043
【図２０】
2010161735.tif 000044
【図２１】
2010161735.tif 000045