(57)【要約】【課題】受聴者の頭部が回転した場合であっても回転しない場合の音像の定位感を維持することを課題とする。【解決手段】カメラで撮影された受聴者の頭部画像に基づいて、頭部方向検出／予測装置１２で受聴者の頭部の回転が検出されると、受聴者の頭部の回転に応じて、受聴者の両耳付近が制御音の制御領域内に含まれるように制御点を配置設定し、音源１１から出力された原音をフィルタ１４で変換処理して得られた制御音を可聴音にしてスピーカ１８を介して受聴者に出力することを特徴とする。【選択図】図１
2009303021.tif 000002
【特許請求の範囲】
【請求項１】
予め用意された原音を出力する音源と、
受聴者の挙動を検出する挙動検出手段と、
前記挙動検出手段で検出された受聴者の挙動に基づいて、受聴者の頭部の回転を検出および／または予測する頭部検出／予測手段と、
前記音源から出力された原音を制御音に変換処理し、前記頭部検出／予測手段で検出／予測された受聴者の頭部の回転に応じて、受聴者の両耳付近が制御音の制御領域内に含まれるように制御点を配置設定するフィルタ手段と、
前記フィルタ手段で得られた制御音を可聴音として受聴者に出力する出力手段と
を有することを特徴とする音場制御システム。
【請求項２】
少なくとも独立して同時に制御できる前記制御点の数以上の前記出力手段を備えている
ことを特徴とする請求項１に記載の音場制御システム。
【請求項３】
前記音源は、少なくとも独立して同時に制御できる前記制御点の数以上の前記原音を出力する
ことを特徴とする請求項１に記載の音場制御システム。
【請求項４】
前記受聴者の頭部が正面方向から左右の一方に回転したときに、前記制御点を増加させる
ことを特徴とする請求項１〜３のいずれか１項に記載の音場制御システム。
【請求項５】
前記受聴者の頭部が正面方向を向いていたときの制御領域を保持する
ことを特徴とする請求項４に記載の音場制御システム。
【請求項６】
前記頭部検出／予測手段は、前記挙動検出手段を構成するカメラで撮影された頭部画像に基づいて検出する
ことを特徴とする請求項１〜５のいずれか１項に記載の音場制御システム。
【請求項７】
前記頭部検出／予測手段は、前記挙動検出手段で収集された受聴者の車両運転時の操作挙動に基づいて検出する
ことを特徴とする請求項１〜５のいずれか１項に記載の音場制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意に配置された複数のスピーカを用いて、受聴者の両耳付近の音場を制御する音場制御システムに関する。
【背景技術】
【０００２】
任意に配置された複数のスピーカを用いて、音の定位方向および距離を再現しうる従来の音場制御方法としては、例えばトランスオーラルシステムが知られている。このトランスオーラルシステムでは、受聴者の両耳付近の音を制御することで音の定位方向及び距離を再現することができる。しかし、音像が制御されている領域から受聴者の両耳が外れると、音の定位感を維持させることができなかった。
【０００３】
このような問題に対して、以下に示す文献では、複数の音源の中から選択的に２つのラウドスピーカを選び、選択した２つのラウドスピーカだけを用いて音場制御を行なうことで、受聴位置のずれに対して定位感の低下を抑制したシステムを提案している。
【特許文献１】特開２００２−１２７８５４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献で採用されている技術では、受聴者の頭部が回転して、受聴者の頭部が２つのラウドスピーカを結ぶ線に対して平行な方向に向けられると、定位感が得られなくなるといった不具合を招くおそれがあった。
【０００５】
そこで、本発明は、上記に鑑みてなされたものであり、その目的とするところは、受聴者の頭部が回転した場合であっても回転しない場合の音像の定位感を維持することができる音場制御システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の課題を解決する手段は、受聴者の頭部の回転に応じて、受聴者の両耳付近が制御音の制御領域内に含まれるように制御点を配置設定し、音源から出力された原音を変換処理して得られた制御音を可聴音にして受聴者に出力することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、受聴者の頭部の回転に応じて音像の制御点を変更するようにしたので、受聴者の頭部が回転した場合であっても回転していないときの音像の定位感を維持することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を用いて本発明を実施するための最良の実施例を説明する。
【実施例１】
【０００９】
図１は本発明の実施例１に係る音場制御システムの構成を示す図である。図１に示す実施例１の音場制御システムは、音源１１、頭部方向検出／予測装置１２、各種の検出装置１３、フィルタ１４、フィルタ切替装置１５、フィルタ格納装置１６、増幅装置１７ならびにスピーカ１８を備えて構成されている。
【００１０】
音源１１は、マルチチャネル音源、または仮想音源で構成される。マルチチャネル音源は、例えば図２に示すように、ダミーヘッド２１の耳および頭部周辺に配置されたマイクロホン２２で音源２３を集音して録音するＨＡＴＳ（Ｈｅａｄ  Ａｎｄ  Ｔｏｒｓｏ  Ｓｉｍｕｌａｔｏｒ）で生成されたものである。
【００１１】
一方、仮想音源は、図２に示すようにマルチチャネル音源と同じようなマイクロホン２２の配置で集音して録音し、例えばヘッドホン２４で受聴したときに、擬似的に特定の方向から聞こえるように調整された音として形成され、例えば図３に示すように、マルチチャネル録音と同じ位置において伝達関数Ｇ（ＨＡＲＴＦ：Ｈｅａｄ  Ｒｅｌａｔｅｄ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）を測定し、この伝達関数Ｇを音源Ｘに畳み込むことで、次式に示すように仮想音源Ｙ（Ｙ１〜Ｙ４）が生成される、
（数１）
Ｙ１（ω）＝Ｘ（ω）Ｇ１（ω）
Ｙ２（ω）＝Ｘ（ω）Ｇ２（ω）
Ｙ３（ω）＝Ｘ（ω）Ｇ３（ω）
Ｙ４（ω）＝Ｘ（ω）Ｇ４（ω）
図１に戻って、頭部方向検出／予測装置１２は、受聴者の頭部方向の検出、または予測を行なう。ここで、頭部の方向を検出する受聴者は、以下では例えば車両の運転者として説明するが、本装置によって制御される音場の受聴者は車両の運転者に限定されることはない。
【００１２】
頭部方向を検出する場合は、車両内に受聴者の頭部を撮影できる位置に配置されたカメラを用いて受聴者の頭部を撮影し、得られた画像データに基づいて頭部の移動を検出する。このときに、必ずしも頭部の位置が厳密に検出される必要はなく、頭部の回転方向と、おおよその回転角が検出できるだけでもよい。
【００１３】
例えば従来から知られている視線方向検出アルゴリズム等を用いて、受聴者の頭部が左右の何れの方向を向いているのかを検出することが可能である。また、頭部方向は、厳密に知る必要はなく、例えば図４に示すように８分割程度に方向がわかるだけでもよい。
【００１４】
一方、予測を行なう場合には、車両の挙動や運転者の挙動の変化に基づいて予測し、例えば車両の進行方向が変化するたびに、その方向に受聴者の頭部が回転するものと推定して予測する。
【００１５】
例えば図５に示すように、受聴者が運転する自車両５１が、自車両が走行している道路よりも道幅が広い道路に合流しようとする場合に、運転者はウィンカーを操作するが、運転者は合流する道路側の右方向を確認する必要があるため、運転者が右方向を視認することが予測できる。このような予測に基づいて、運転者が右方向を向いたときの頭部位置に対応させて制御点は配置される。
【００１６】
なお、頭部方向検出／予測装置１２は、上記検出、予測の何れか一方または双方の機能を有していてもよい。
【００１７】
各種の検出装置１３は、既述した頭部を撮影するカメラ、ならびに車両の挙動や運転者の挙動を検出するセンサ類で構成されている。カメラは、受聴者の頭部の回転が検出できる程度の解像度、配置位置、ならびに画像サイズに設定されている。
【００１８】
車両の挙動を検出するセンサとしては、車速センサ、ステアリングの角度を検出するセンサ、トランスミッションのポジションを検出するセンサ等で構成され、運転者の挙動の検出としては、運転者によるエアコンやカーナビゲーションの操作などの情報で構成され、これらの操作情報は、ＣＡＮ等の車載ネットワークシステムを介して頭部方向検出／予測装置１２に与えられる。
【００１９】
フィルタ１４は、音源１１から与えられた音信号に対して予めフィルタ毎に設定されたフィルタ（演算）処理を実行する。フィルタ１４は、音場に予め設定された所定の制御点とスピーカ１８との間の空間伝達特性（空間伝達関数）に基づいた演算式であり、スピーカや受聴者の頭部の位置等に基づいて予め設定された制御点毎に生成されて用意される。
【００２０】
次に、図６を参照して、フィルタ処理について説明する。
【００２１】
例えば図６に示すような音場環境において、フィルタＨ（Ｈ１１、Ｈ１２、Ｈ２１、Ｈ２２）は、入力信号（Ｘ１、Ｘ２）と観測信号（Ｙ１、Ｙ２）が一致するように、伝達系の逆特性を計算することにより実現できる。実現の方法としては、逆行列（スピーカ数と制御点数が同数の場合）、ノルム最小解（文献：日本音響学会誌、Ｖｏｌ．５７、Ｎｏ０３、ｐｐ．１７５−１８３、２００１−０３）、または、ガウス消去法（文献：「マトリクスと連立一次方程式」、東海大学出版会、ｐｐ．１０８−１１３）等を用いることができる。例えばノルム最小解を用いる場合は以下のように処理すればよい。
【００２２】
位置Ｃ１、Ｃ２（運転者の両耳付近）における観測信号Ｙ１、Ｙ２が、入力信号Ｘ１、Ｘ２と等価になるようにフィルタＨを調整するために、伝達特性ＧとフィルタＨとの関係がＨＧ＝単位行列となるようにフィルタＨを調整する。伝達特性Ｇは、ＴＳＰ法等を用いて実環境において予め測定しておく。入力信号、観測信号、伝達特性、フィルタを次式で表したときに、
【数２】
2009303021.tif 000003
【００２３】
観測信号は、次式で表すことができる。
【００２４】
（数３）
Ｙ＝ＧＨＸ
ここで、Ｙ＝Ｘとすることにより、マルチチャネル音源による原音が観測音と一致するため、特定の方向に音像を構成することができる。Ｙ＝Ｘを満たすためには、ＧＨ＝Ｉ（Ｉは単位行列）となるようにＨを決定すればよい。よって、次式によりフィルタＨを求めることができる。
【００２５】
（数４）
Ｈ＝Ｇ−
ここで、Ｇ−  はＧの一般逆行列を表す。行列Ｇがｍ×ｍ行列の場合は、次式に示すように逆行列を計算すればよい。
【００２６】
（数５）
Ｈ＝Ｇ−１
一方、ｍ×ｎ（ｍ＜ｎ）行列であれば、例えば次式に示すようにノルム最小解を用いることで、Ｈを求めることができる。
【００２７】
（数６）
Ｈ＝Ｇ（ＧＧ）−１
なお、Ｙ，Ｘ，Ｇ、Ｈに係る上記の計算は、例えば周波数領域で、夫々の周波数毎に行なえばよい。
【００２８】
このようなフィルタ処理を施す制御点の配置としては、例えば図７に示すような配置例が設定される。この配置例は、例えば図７（ａ）に示すように、受聴者７１の頭部周辺に対して制御可能な制御点７２の位置は８箇所、同時に独立して制御できる制御点７２の最大数は４点、マルチチャネル音源の音源数は８点、スピーカ７３の数は４つというような音場制御システムにおいて、同図（ｂ）に示す右４５度（４点制御）、同図（ｃ）に示す右４５度（３点制御）、同図（ｄ）に示す右９０度（４点制御）、同図（ｅ）に示す正面（２点制御）である。
【００２９】
図１に戻って、フィルタ切替装置１５は、頭部方向検出／予測装置１２で頭部回転運動が検出された場合は、回転後の頭部位置および正位置（運転者が正面を向いた位置）において、受聴者が入力音を適切に受聴できるように制御点を配置するように、予め生成されて用意されたフィルタの中から適切なフィルタを選択して切替える。
【００３０】
例えば４つの音源のシステムにおいて、２チャネルから４チャネルにフィルタを切り替える切替例としては、図８に示すようにして行われる。図８において、Ｘ１〜Ｘ４は、制御点Ｃ１〜Ｃ４において再現したい音（原音）であり、フィルタＨを用いて伝達系Ｇの影響を除去することで、４つのスピーカＳ１〜Ｓ４を通してＸ１〜Ｘ４の音をＣ１〜Ｃ４で再現する。
【００３１】
受聴者（運転者）８１が、正方向（正面）を向いているときは、受聴者８１の両耳位置の制御点であるＣ１，Ｃ２だけが制御できればよい。このため、フィルタＨはＨ１１，Ｈ１２，Ｈ２１，Ｈ２２，Ｈ３１，Ｈ３２，Ｈ４１，Ｈ４２の８つのフィルタだけを用い、それ以外のフィルタ係数を０にするか、入力Ｘ３，Ｘ４の出力を停止する等の処理を行なう。
【００３２】
一方、受聴者８１の頭部移動が検出された場合は、受聴者の両耳位置に加え、受聴者の前方の制御点Ｃ３，Ｃ４も追加する。このとき、フィルタＨは先の８つのフィルタＨ１１，Ｈ１２，Ｈ２１，Ｈ２２，Ｈ３１，Ｈ３２，Ｈ４１，Ｈ４２に加えて、Ｈ１３，Ｈ１４，Ｈ２３，Ｈ２４，Ｈ３３，Ｈ３４，Ｈ４３，Ｈ４４の８つのフィルタを用い、制御点を増加させる。制御点を減少させる場合には、上記と逆の動作をすればよい。
【００３３】
なお、このようなフィルタの切り替えにおいては、使用するすべてのフィルタを作業用のメモリ空間上に展開しておいてもよいし、必要に応じて最小限のフィルタを外部記憶から読み込みんでメモリ空間上に展開してもよい。
【００３４】
図１に戻って、フィルタ格納装置１６は、上述したように制御点に応じて予め生成された複数のフィルタを記憶して格納し、格納されたフィルタはフィルタ切替装置１５により適宜選択されてフィルタ１４と入れ換えられて使用される。
【００３５】
増幅装置１７は、フィルタ１４で処理された制御音を、可聴音としてスピーカ１８から受聴者に出力されるように増幅調整する。
【００３６】
次に、図９に示すフローチャートを参照して、音場の制御手順を説明する。
【００３７】
図９において、先ずシステムを初期化した後（ステップＳ９１）、受聴者の頭部の回転運動を検出もしくは予測したか否かを判別する（ステップＳ９２）。判別の結果、頭部の回転運動を検出もしくは予測した場合には、検出もしくは予測された頭部の方向に基づいてフィルタ１４（もしくは入力信号）を調整変更して、制御点を変更（増加／減少）する（ステップＳ９３）。
【００３８】
例えば、図１０に示すように、受聴者となる運転者１０１が運転時に正面方向を向いているときには、音場の制御点１０２は運転者１０１の両耳付近の２点に設定される。制御点１０２において、バイノーラル録音された原音、または仮想音源による原音が再現されているが、実際には制御点１０２だけではなく、制御点１０２を中心に概ね直径５〜１０ｃｍ程度の球状の領域（制御領域）１０３でも当該原音に近い音が再現されている。
【００３９】
このような状態において、車内に設置されたカメラ１０４で撮影されて得られた運転者１０１の頭部画像、ならびに運転者１０１の操作動作に基づいて、運転者１０１の頭部の回転が検出もしくは予測された場合には、図１１に示すように当該検出等された方向および当初の位置（正面方向）が受聴できるように制御点１０２を２点から例えば４点に増加させ、４つの制御点で音場を制御する。
【００４０】
制御点間が近接している場合は、図１１に示すように制御点間に制御領域１０３が形成されるため、図１１に示すように、運転者１０１が正面方向を向いた場合、および例えば左に３０°程度回転した場合の何れにおいても、制御領域１０３から運転者１０１の両耳位置が外れることはなくなる。これにより、運転者１０１の頭部が回転移動しても音像の位置および方向を維持することが可能となる。
【００４１】
なお、運転者１０１の頭部移動が解消されて、例えば図１０に示すように正面方向を向いた場合は、制御点１０２を４つから２つに減少させる。
【００４２】
このように、上記実施例においては、受聴者が正面を向いているときは音像の距離と方向の定位感を保持し、頭部回転を検出もしくは予測したときには制御領域を拡張することで、頭部回転時には受聴者の音像定位感を維持させることができる。また、受聴者の頭部回転が明らかな場合に限り制御領域を広げることで、受聴領域を拡大して制御性能劣化に伴う音質劣化が発生しても、定位感を維持することができる。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施例１に係る音場制御システムの構成を示す図である。
【図２】マルチチャネル音源の生成の様子を示す図である。
【図３】仮想音源の生成の様子を示す図である。
【図４】受聴者の頭部回転運動の検出例を示す図である。
【図５】受聴者の頭部回転運動の予測例を示す図である。
【図６】トランスオーラルシステムの構成を示す図である。
【図７】制御点の配置例を示す図である。
【図８】フィルタの切り替え処理の一例を示す図である。
【図９】本発明の実施例１に係る音場制御システムの処理動作を示すフローチャートである。
【図１０】音場において制御点を変更する際の変更前の様子を示す図である。
【図１１】音場において制御点を変更する際の変更後の様子を示す図である。
【符号の説明】
【００４４】
１１…音源
１２…頭部方向検出／予測装置
１３…各種の検出装置
１４…フィルタ
１５…フィルタ切替装置
１６…フィルタ格納装置
１７…増幅装置
１８…スピーカ
【図１】
2009303021.tif 000004
【図２】
2009303021.tif 000005
【図３】
2009303021.tif 000006
【図４】
2009303021.tif 000007
【図５】
2009303021.tif 000008
【図６】
2009303021.tif 000009
【図７】
2009303021.tif 000010
【図８】
2009303021.tif 000011
【図９】
2009303021.tif 000012
【図１０】
2009303021.tif 000013
【図１１】
2009303021.tif 000014