(57)【要約】【課題】  リスニングルーム内のリスナの「位置」および「方向」に応じて、最適な音場を実現する。【解決手段】  リスニングルーム内に設けられたビデオカメラ１４−１〜１４−８によって、リスナの画像が撮像され、これによってリスナの位置と方向とがＣＰＵ２によって求められる。信号源１８が５．１サラウンドシステムの音声信号を出力すると、これらのうちサブウーハーを除く信号はミキサ２０に供給され、ここで「１６個」のスピーカに放音させる「１６系統」の信号ＳＡ０〜ＳＡ７，ＳＢ０〜ＳＢ７が生成される。ミキサ２０におけるミキシング比は、リスナに対して最適な音場を提供するように演算される。【選択図】  図１
2006270522.tif 000002
【特許請求の範囲】
【請求項１】
リスナの位置および方向を検出する位置・方向検出手段と、
前記リスナの位置および方向に基づいて、ｍ系統の入力信号と、ｎ系統の出力信号とに対して、ｍ・ｎ個のミキシング係数を決定するミキシング係数決定手段と、
該決定されたミキシング係数に基づいて前記ｍ系統の入力信号をミキシングし、前記ｎ系統の出力信号を出力するミキシング手段と
を有することを特徴とする音像定位制御装置。
【請求項２】
前記リスナの位置に基づいて、前記ｎ系統の出力信号が放音された後に前記リスナに同時に到着させるための遅延時間を決定する遅延時間決定手段と、
該決定された遅延時間に基づいて前記ｎ系統の出力信号のうち何れかを遅延させる遅延手段と
をさらに有することを特徴とする請求項１記載の音像定位制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サラウンドシステムに用いて好適な音像定位制御装置に関する。
【背景技術】
【０００２】
近年、普及している５．１サラウンドシステムにおいては、複数のスピーカがリスナの周囲に配置される。ここで、各スピーカに割り当てられるチャンネルは各スピーカ毎に固定的に決定されていた。なお、２台のスピーカを用いるシステムにおいて、リスナの位置を検出し定位を自動的に補正する技術が特許文献１に開示されている。また、サラウンドシステムにおいては、リスナから各スピーカまでの距離を同一にすることが理想的であるが、リスニングルーム等の制約によって必ずしも距離を同一にすることができない場合がある。そこで、各スピーカからリスナまでの距離に応じて各チャンネルの音声信号を遅延させ、理想的なスピーカ配置を模擬する技術が特許文献２に開示されている。
【０００３】
【特許文献１】特開平８−２６５９００号公報
【特許文献２】特開平７−８７５９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述した各技術においては、リスナの「位置」に応じて各種音声信号の補正を行うが、リスナの顔の「方向」に関して特に制御を行うものではなかった。また、イベント会場等においてサラウンドシステムを用いて音声信号を放音する場合、リスナの位置や方向は刻々と変化するが、そのようなリスナの状態に応じて最適な条件で音声信号を放音できるものでもなかった。
この発明は上述した事情に鑑みてなされたものであり、リスナの「位置」および「方向」に応じて最適な音場を提供できる音像定位制御装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記課題を解決するため本発明にあっては、下記構成を具備することを特徴とする。なお、括弧内は例示である。
請求項１記載の音像定位制御装置にあっては、リスナの位置および方向を検出する位置・方向検出手段（２，１２，１４）と、前記リスナの位置および方向に基づいて、ｍ系統の入力信号と、ｎ系統の出力信号とに対して、ｍ・ｎ個のミキシング係数を決定するミキシング係数決定手段（２）と、該決定されたミキシング係数に基づいて前記ｍ系統の入力信号をミキシングし、前記ｎ系統の出力信号を出力するミキシング手段とを有することを特徴とする。
さらに、請求項２記載の構成にあっては、請求項１記載の音像定位制御装置において、前記リスナの位置に基づいて、前記ｎ系統の出力信号が放音された後に前記リスナに同時に到着させるための遅延時間を決定する遅延時間決定手段（２）と、該決定された遅延時間に基づいて前記ｎ系統の出力信号のうち何れかを遅延させる遅延手段（２２）とをさらに有することを特徴とする。
【発明の効果】
【０００６】
このように、本発明によれば、リスナの位置および方向を検出することによって、ｍ・ｎ個のミキシング係数を演算し、演算されたミキシング係数に基づいてｍ系統の入力信号をミキシングしてｎ系統の出力信号を出力するように構成しているので、リスナの「位置」および「方向」に応じて最適な音場を実現することができる。
【発明を実施するための最良の形態】
【０００７】
1．実施例の構成
次に、本発明の一実施例のサラウンドシステムの構成を図１を参照し説明する。
図１において１８は信号源であり、５．１サラウンドシステムを構成する「６」系統の信号、すなわちフロント左信号Ｓ_Ｌ、センター信号Ｓ_Ｃ、フロント右信号Ｓ_Ｒ、サラウンド左信号Ｓ_ＬＳ、サラウンド右信号Ｓ_ＲＳおよびサブウーハー信号Ｓ_ＳＷを出力する。２０はミキサであり、上記「６」系統の信号の信号のうちサブウーハー信号Ｓ_ＳＷを除く「５」系統の信号を入力信号とし、これらをミキシングした結果である「１６」系統の信号ＳＡ０〜ＳＡ７，ＳＢ０〜ＳＢ７を出力する。より詳細に説明すると、ミキサ２０においては各入力信号（計「５」系統）毎に当該入力信号を各出力信号ＳＡ０〜ＳＡ７，ＳＢ０〜ＳＢ７（計「１６」系統）に対してどの程度の割合で反映させるかを示す「８０」（＝５×１６）種類のミキシング係数が記憶されている。このミキシング係数に応じて各入力信号がミキシングされ、出力信号ＳＡ０〜ＳＡ７，ＳＢ０〜ＳＢ７が生成されることになる。
【０００８】
２２はディレイ部であり、「１６」系統の出力信号に対して定位補正のための遅延処理を施す。２４はアンプであり、これら「１６」系統の信号ＳＡ０〜ＳＡ７，ＳＢ０〜ＳＢ７と、サブウーハー信号Ｓ_ＳＷとを増幅する。増幅された信号は、各々スピーカＡ０〜Ａ７，Ｂ０〜Ｂ７と、サブウーハー２６，２７とに供給される。２はＣＰＵであり、ＲＯＭ４に記憶された制御プログラム（詳細は後述する）に基づいて、バス１６を介して各部を制御する。６はＲＡＭであり、ＣＰＵ２によって読み出し／書き込み自在になっており、該制御プログラムに使用される各種データ等を格納する。８はディスプレイであり、操作者に対して各種の情報を表示する。１０は入力装置であり、ＣＰＵ２に対して指示を与えるためのキーボード等から構成されている。１４−１〜１４−８は「８台」のビデオカメラであり、リスニングルーム内の各所を撮像する。１２はインタフェース部であり、これら撮像結果を受信する。
【０００９】
次に、リスニングルームの構成および各スピーカの配置を図２を参照し説明する。
図２においてリスニングルームは各々が略正方形状のルーム３０，３１から構成されている。
ルーム３０において図上右辺中央部にはスピーカＡ０が配置されており、スピーカＡ１〜Ａ７は、スピーカＡ０から時計回りに順次「４５°」づつ隔てた隅部および辺中央部に配置されている。また、ビデオカメラ１４−１〜１４−４は、ルーム３０の四隅に設けられルーム３０の中央に向かうように配置されている。同様に、ルーム３１において図上右辺中央部にはスピーカＢ０が配置されており、スピーカＢ１〜Ｂ７は、スピーカＢ０から時計回りに順次「４５°」づつ隔てた隅部および辺中央部に配置されている。また、ビデオカメラ１４−５〜１４−８は、ルーム３１の四隅に設けられルーム３１の中央に向かうように配置されている。これらスピーカおよびビデオカメラは、各々ルーム３０，３１の天井から吊り下げられており、ルーム３０，３１の間には着脱自在の仕切り板３２が延在している。なお、サブウーハー２６，２７は特に図示していないが、各々ルーム３０，３１内の床上の適当な場所に配置される。
【００１０】
2．実施例の動作
次に、本実施例の動作を説明する。まず、ＣＰＵ２が立ち上げられると、図３に示すスピーカ制御ルーチンが起動される。図において処理がステップＳＰ２に進むと、所定の初期設定が行われる。次に、処理がステップＳＰ４に進むと、ビデオカメラ１４−１〜１４−８によって撮影された画像がインタフェース部１２を介してＲＡＭ６内に取り込まれ、この画像が解析される。ここで、その解析処理の詳細を説明しておく。まず、リスナがリスニングルームに入室すると、ビデオカメラ１４−１〜１４−８によってそのリスナの画像が撮像される。これらの画像がインタフェース部１２を介してＣＰＵ２に供給されると、ＣＰＵ２によってリスナの位置と顔の方向とが把握される。すなわち、これらビデオカメラの位置および方向は既知であるから、各カメラに撮像された画像上におけるリスナの像の位置により、リスナの位置が直ちに把握される。さらに、各像内におけるリスナの耳、眼球、鼻等の位置により、リスナの顔の方向も把握されるのである。
【００１１】
次に処理がステップＳＰ６に進むと、上記解析処理が成功したか否か、すなわちリスナの位置および顔の方向が解析できたか否かが判定される。そもそもリスニングルーム内にリスナがいなかった場合、あるいはリスナの存在が把握できたとしても顔の方向の解析ができなかった場合は「ＮＯ」と判定され、処理はステップＳＰ４に戻る。これにより、解析が成功するまで、画像が取り込まれ、解析処理が繰り返されることになる。ここで解析が成功するとステップＳＰ６において「ＹＥＳ」と判定され、処理はステップＳＰ８に進む。ここでは、リスナの位置と顔の方向とに応じて、ミキサ２０内のミキシング係数と、ディレイ部２２内の遅延時間とがＣＰＵ２によって更新される。そして、処理はステップＳＰ４に戻り、以後はステップＳＰ４〜ＳＰ８の処理が繰り返されることになる。
【００１２】
上記ステップＳＰ８においては、ミキサ２０から同時に出力された各信号ＳＡ０〜ＳＡ７，ＳＢ０〜ＳＢ７が各スピーカを介してリスナに同時に到着するように、ディレイ部２２における遅延時間が設定される。すなわち、リスナからの距離が短いスピーカほど長い遅延時間が設定されることになる。また、ミキサ２０においては、リスナの顔の方向を基準として、５．１サラウンドシステムを構成する各チャンネルの音声信号が適切な方向から聞こえるように、ミキシング係数が設定される。ところで、本実施例においては、ルーム３０，３１の間に仕切り板３２を介挿し、これらを個別のリスニングルームとして使用する動作モードと、該仕切り板３２を撤去してルーム３０，３１を「１個」のリスニングルームとして使用する動作モードとがある。そこで、まず、単独のルーム（ここではルーム３０）のみを使用する場合のミキシング係数の詳細を図４，図５を参照し説明する。
【００１３】
まず、図４(a)においてリスナがルーム３０の中央に位置しスピーカＡ０の方向Ｄ０を向いている場合、各ミキシング係数は図５(a)に示すように設定される。この図において、信号ＳＡ０は、センター信号Ｓ_Ｃのミキシング係数を「１．０」とし、他の信号のミキシング係数を「０．０」として生成され、結局センター信号Ｓ_Ｃに等しい信号になる。同様に、信号ＳＡ１はフロント右信号Ｓ_Ｒに、信号ＳＡ３はサラウンド右信号Ｓ_ＲＳに、信号ＳＡ５はサラウンド左信号Ｓ_ＬＳに、信号ＳＡ７はフロント左信号Ｓ_Ｌに、各々等しい信号になる。また、信号ＳＡ２，ＳＡ４，ＳＡ６は、全ての入力信号のミキシング係数が「０．０」であるから無音になる。この結果、図４(a)に示すように、各スピーカＡ０，Ａ１，Ａ３，Ａ５，Ａ７には、センタースピーカ（Ｃ）、フロント右スピーカ（Ｒ）、サラウンド右スピーカ（ＲＳ）、サラウンド左スピーカ（ＬＳ）、フロント左スピーカ（Ｌ）の機能が各々付与されることになる。
【００１４】
また、リスナがスピーカＡ１の方向Ｄ１を向いている場合、各ミキシング係数は図５(b)に示すように設定される。すなわち、図４(b)に示すように、各スピーカＡ０，Ａ１，Ａ２，Ａ４，Ａ６に対して、フロント左スピーカ（Ｌ）、センタースピーカ（Ｃ）、フロント右スピーカ（Ｒ）、サラウンド右スピーカ（ＲＳ）、サラウンド左スピーカ（ＬＳ）の機能が各々付与されることになる。リスナが他のスピーカの正面を向いた場合においても、同様にその正面のスピーカに対してセンタースピーカ（Ｃ）としての機能が付与され、その他のスピーカにはセンタースピーカ（Ｃ）との位置関係に応じた機能が付与される。その状態を図４(c)〜(h)に示す。
【００１５】
また、リスナは必ずしも何れかのスピーカの正面を向くわけではなく、「２台」のスピーカの間を向く場合もある。かかる場合には、センター信号Ｓ_Ｃの音像がリスナの正面に定位するように、この「２台」のスピーカに対するセンター信号Ｓ_Ｃのミキシング係数が設定され、他の信号についても同様に所期の位置に音像が定位するようにミキシング係数が設定される。その一例として、リスナが方向Ｄ０および方向Ｄ１の中間である方向Ｄ０．５を向いた場合のミキシング係数を図５(c)に示す。同図においてフロント左信号Ｓ_Ｌは、信号ＳＡ０および信号ＳＡ７に対して「０．５」づつのミキシング比で分配される。これにより、フロント左信号Ｓ_ＬはスピーカＡ０，Ａ７の中間点に音像が定位することになる。同様に、センター信号Ｓ_ＣはスピーカＡ０，Ａ１、フロント右信号Ｓ_ＲはスピーカＡ１，Ａ２、サラウンド右信号Ｓ_ＲＳはスピーカＡ３，Ａ４、サラウンド左信号Ｓ_ＬＳはスピーカＡ５，Ａ６の各中間点に音像が定位することになる。
【００１６】
次に、仕切り板３２を撤去し、ルーム３０，３１を一のリスニングルームとして使用する場合のミキシング係数の設定方法を図６，図７を参照し説明する。ここで、「ルーム係数Ｒ」という値を想定し、ルーム係数Ｒが「０」であるときはリスナがルーム３０内に位置し、「１」である場合はリスナがルーム３１内に位置し、「０．５」である場合はリスナがルーム３０および３１の境界に位置することとする。まず、図６(a)のように、リスナがルーム３０の中央付近に位置し方向Ｄ０を向いている場合、各ミキシング係数は図７(a)に示すようになる。この例においては、ルーム３０内のスピーカに係るミキシング係数は上述した図５(a)に示したものと同様であり、ルーム３１内のスピーカは全て無音状態に設定される。また、図６(b)のように、リスナがルーム３０，３１の境界に位置し（ルーム係数Ｒ＝０．５）、方向Ｄ０を向いている場合、各ミキシング係数は図７(b)に示すようになる。この例においては、各スピーカＢ７，Ｂ０，Ｂ１，Ａ３，Ａ５にフロント左スピーカ（Ｌ）、センタースピーカ（Ｃ）、フロント右スピーカ（Ｒ）、サラウンド右スピーカ（ＲＳ）、サラウンド左スピーカ（ＬＳ）の機能が各々付与されることになる。
【００１７】
また、図６(c)のように、リスナがルーム３１の中央付近に位置し（ルーム係数Ｒ＝１）、方向Ｄ０を向いている場合、各ミキシング係数は図７(c)に示すようになる。この例においては、各スピーカＢ７，Ｂ０，Ｂ１，Ｂ３，Ｂ５にフロント左スピーカ（Ｌ）、センタースピーカ（Ｃ）、フロント右スピーカ（Ｒ）、サラウンド右スピーカ（ＲＳ）、サラウンド左スピーカ（ＬＳ）の機能が各々付与されることになる。このルーム係数Ｒは、図６(a)の位置から図６(c)の位置までリスナが歩いてゆくと、リスナの位置に応じて「０」〜「１」の範囲で連続的に増加していく値である。ルーム係数Ｒが「０」を超え「０．５」未満であるときは、各ミキシング係数は、図７(a)に示す係数と図７(b)に示す係数とをルーム係数Ｒによって直線補間した値にされ、ルーム係数Ｒが「０．５」を超え「１」未満であるときは、各ミキシング係数は、図７(b)に示す係数と図７(c)に示す係数とをルーム係数Ｒによって直線補間した値にされる。これにより、リスナの位置に応じたスピーカの切換がきわめてスムーズに実行されることになる。
なかった。
【００１８】
以上のように、本実施例によれば、リスナの「位置」および「方向」に応じて、時々刻々のミキシング係数が決定されるから、リスナがリスニングルーム内を移動したり、方向を変更したりした場合に、きわめてスムーズに最適な音場を提供することができる。
【００１９】
3．変形例
本発明は上述した実施例に限定されるものではなく、例えば以下のように種々の変形が可能である。
(1)上記実施例においては、本発明を５．１サラウンドシステムに適用した例を説明したが、本発明は５．１サラウンドシステムに限定されないことは言うまでも無い。例えば、図８(a)，(b)に示すように、６チャンネルまたは７チャンネルのサラウンドシステムに適用し、リスナの方向に応じてスピーカの機能を切り替えるようにしてもよい。
【００２０】
(2)また、上記実施例は「一人」のリスナに対して最適な音場を提供しようとするものであったが、ビデオカメラ１４−１〜１４−８によって複数のリスナが検出された場合は、これら複数のリスナに対して、スイートスポットの広い音場を提供するようにしてもよい。一例として、ルーム３０，３１に渡って「３人」のリスナが検出された際に、７チャンネルのサラウンドシステムとして各スピーカの機能を設定した例を図８(c)に示す。なお、図８(c)の例においては、リスナの位置が図示の通りである限り各スピーカの機能は図示された機能に固定され、特にリスナの方向に応じて機能を切り替えるものではない。
【００２１】
(3)また、本発明は防犯システムにも応用することができる。例えば、リスニングルームの外に不審者が発見された場合、複数の人が歩きながら会話をしているような音声を放音させることができる。しかも、この音声の発生源となるスピーカを部屋から部屋へとスムーズに移動させることができるから、きわめて現実性の高い音声を放音させることができる。
【００２２】
(4)また、上記実施例においては、リスナの位置および方向を検出するためにビデオカメラ１４−１〜１４−８を用いたが、リスナの位置および方向は他の方法によって検出することもできる。例えば、位置を検出するためのＧＰＳ受信機と、方向を検出するための地磁気センサとをリスナが装着し、これらによって測定された位置および方向を有線または無線でインタフェース部１２に送信することが考えられる。かかる場合には、初期設定として、リスナがルーム３０の中央に立ちスピーカＡ０に向いたときの緯度、経度および方向をＲＡＭ６に記録し、次にリスナがルーム３１の中央に立ちスピーカＢ０に向いたときの緯度、経度および方向をＲＡＭ６に記録しておくとよい。以後は、所定周期でリスナの緯度、経度および方向を計測し、計測結果とＲＡＭ６内の記憶値とを比較することによって、各時点におけるリスナの位置および方向を把握することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施例のサラウンドシステムのブロック図である。
【図２】リスニングルームにおけるスピーカおよびビデオカメラの配置図である。
【図３】一実施例の制御プログラムのフローチャートである。
【図４】ルーム３０のみを使用する場合における実施例の動作説明図である。
【図５】ルーム３０のみを使用する場合におけるミキシング係数を示す図である。
【図６】ルーム３０，３１を使用する場合における実施例の動作説明図である。
【図７】ルーム３０，３１を使用する場合におけるミキシング係数を示す図である。
【図８】本発明の各種変形例の動作説明図である。
【符号の説明】
【００２４】
２：ＣＰＵ（ミキシング係数決定手段、遅延時間決定手段）、４：ＲＯＭ、６：ＲＡＭ、８：ディスプレイ、１０：入力装置、１２：インタフェース部（位置・方向検出手段）、１４−１〜１４−８：ビデオカメラ（位置・方向検出手段）、１６：バス、１８：信号源、２０：ミキサ、２２：ディレイ部、２４：アンプ、３２：仕切り板、２６，２７：サブウーハー、３０，３１：ルーム、Ａ１〜Ａ７，Ｂ１〜Ｂ７：スピーカ、Ｃ：センタースピーカ、Ｒ：フロント右スピーカ、Ｌ：フロント左スピーカ、ＬＳ：サラウンド左スピーカ、ＲＳ：サラウンド右スピーカ。
【図１】
2006270522.tif 000003
【図２】
2006270522.tif 000004
【図３】
2006270522.tif 000005
【図４】
2006270522.tif 000006
【図５】
2006270522.tif 000007
【図６】
2006270522.tif 000008
【図７】
2006270522.tif 000009
【図８】
2006270522.tif 000010