(57)【要約】２以上のスピーカを通じて音を出力する音発生システムである。２以上のスピーカの夫々の音出力は、２以上のスピーカの位置に対するユーザの位置に基づいて調整される。システムは、視聴領域において学習可能であり画像認識ソフトウエアを有する処理部に結合される（ビデオカメラといった）少なくとも１つの画像捕捉装置を含む。処理部は、画像捕捉装置によって発生される画像中でユーザを識別するために画像認識ソフトウエアを使用する。処理部はまた、画像中のユーザの位置に基づいてユーザの位置の少なくとも１つの測定値を発生するソフトウエアを有する。【特許請求の範囲】
【請求項１】
２つ以上のスピーカを通じて音を出力し、上記２つ以上のスピーカの夫々の音出力は上記２つ以上のスピーカの位置に対するユーザの位置に基づいて調整可能である、音発生システムであって、
上記システムは、視聴領域で学習可能であり画像捕捉装置によって発生される画像中でユーザを識別する画像認識ソフトウエアを有する処理部に結合される少なくとも１つの画像捕捉装置を含み、上記処理部は上記画像中のユーザの位置に基づいてユーザの位置の少なくとも１つの測定値を発生する追加的なソフトウエアを有する音発生システム。
【請求項２】
上記システムはオーディオビジュアルシステムの一部である、請求項１記載の音発生システム。
【請求項３】
上記オーディオビジュアルシステムはホームシアターシステムである、請求項２記載の音発生システム。
【請求項４】
上記処理部は、上記ユーザの位置の少なくとも１つの測定値に基づいて上記スピーカのうちの少なくとも１つの音出力を調整する、請求項１記載の音発生システム。
【請求項５】
上記処理部は、画像中のユーザを識別し、上記ユーザの位置の少なくとも１つの測定値を発生し、上記ユーザの位置の少なくとも１つの測定値に基づいて上記スピーカのうちの少なくとも１つの音出力を調整する単一の処理ユニットから構成される、請求項４記載の音発生システム。
【請求項６】
上記処理部は、画像中のユーザを識別し、上記ユーザの位置の少なくとも１つの測定値を発生する第１の処理ユニットと、上記ユーザの位置の少なくとも１つの測定値に基づいて上記スピーカのうちの少なくとも１つの音出力を調整する第２の処理ユニットとから構成される、請求項４記載の音発生システム。
【請求項７】
上記少なくとも１つの画像捕捉装置はビデオカメラである、請求項１記載の音発生システム。
【請求項８】
上記ユーザの位置の少なくとも１つの測定値は基準座標系における角度である、請求項７記載の音発生システム。
【請求項９】
上記処理部は、少なくとも１つのスピーカの出力を調整するために上記角度を使用する、請求項７記載の音発生システム。
【請求項１０】
上記少なくとも１つの画像捕捉装置は２つ以上のビデオカメラである、請求項１記載の音発生システム。
【請求項１１】
上記処理部は、上記２つ以上のビデオカメラの夫々によって発生される画像中のユーザの位置を用いて基準座標系におけるユーザの位置を決定する、請求項１０記載の音発生システム。
【請求項１２】
上記処理部は、上記２以上のビデオカメラの夫々によって発生される画像中のユーザの位置を用いて上記基準座標系におけるユーザの位置を決定するために３次元コンピュータビジョンのステレオ技術を使用する、請求項１１記載の音発生システム。
【請求項１３】
上記処理部は、ユーザと上記２以上のスピーカの夫々との間の距離を決定するために上記基準座標系におけるユーザの位置と上記基準座標系における２以上のスピーカの位置とを使用する、請求項１１記載の音発生システム。
【請求項１４】
上記ユーザと上記２以上のスピーカの夫々との間の距離は上記２以上のスピーカのうちの少なくとも１つの音出力を調整するために使用される、請求項１３記載の音発生システム。
【発明の詳細な説明】
【０００１】
［発明の分野］
本発明は、ステレオシステム、テレビジョンオーディオシステム、及びホームシアターシステムといった音響システムに関連する。特に、本発明は音響システムを調整するシステム及び方法に関連する。
【０００２】
［発明の背景］
聴取者（「ユーザ」）の位置に基づいて種々の音響システムの出力を調整する幾つかのシステムが知られている。例えば、英国特許出願ＧＢ２，２２８，３２４号は、聴取者に対するステレオ効果を維持するためにユーザが動くにつれステレオシステムのバランスを調整するシステムについて記載している。ユーザによって持ち運ばれる発信器は、２つのステレオスピーカに隣接した２つの別々の受信器へ信号を発する。発せられる信号は、超音波信号、赤外線信号、又は無線信号でありえ、開始信号に応じて発せられうる（有線の電気信号であってもよい）。システムは、ユーザとスピーカとの間の距離を決定するために、（スピーカに隣接する）受信器が発信器からの信号を受信するまでの時間を使用する。ユーザと２つのスピーカの夫々との間の距離はこのように計算される。音は音源からの距離の３乗で減少するという原理に基づき、システムは、各スピーカからユーザへ略等しい音強度が与えられるよう各スピーカを調整するために各スピーカとユーザとの間の距離を使用する。
【０００３】
ＧＢ２，２２８，３２４号は、各スピーカからのユーザの距離が重なり合う点を決定することによってユーザの位置を決定するシステムについて記載しているが、位置の決定はステレオバランスの調整には必要でないとしている。
【０００４】
日本国公開特許英文抄録第５−１３７２００号は、テレビジョンの正面に対する５つの角度的なゾーンのうちの１つにいる聴取者の位置を各ゾーンにある別々の赤外線検出器を指すことにより検出する。テレビジョン画面の側面に位置するステレオスピーカのバランスは聴取者がいるゾーンに基づいて調整されると述べられている。
【０００５】
日本国公開特許英文抄録第４−１３０９００号は、聴取者と２つの発光・光検出部との間の距離を計算するために光伝送にかかる時間を使用する。ユーザと２つの部分との間の距離と、２つの部分間の距離は、聴取者の位置を計算し、オーディオ信号のバランスを調整するために使用される。
【０００６】
同様に、日本国公開特許英文抄録第７−３０２２１０号は、視聴位置と一連のスピーカとの間の距離を測定し、スピーカと視聴位置との間の距離に基づいて各スピーカについての適切な遅延時間を調整するために赤外線信号を使用する。
【０００７】
［発明の概要］
従来技術のシステムの１つの明らかな困難性は、ステレオシステムのバランスの自動調整を楽しむためには、（ＧＢ２，２２８，３２４号のように）ユーザが発信器を装着するか持ち運ぶこと、又は、そうでなければ、聴取者の位置の検出の信頼性が低い及び／又は粗い（赤外線センサといった）センサに依存することが必要とされることである。例えば、赤外線検出器を使用すると聴取者の検出に失敗する場合があり、結果として上述のシステムはユーザの位置に対する正しいバランス調整に失敗する。更に、センサによって他の人々（又はペットといった他のもの）が感知されることがあり、その場合は結果として聴取者ではなく他の人物又は他の物に対してバランス調整がされてしまう。
【０００８】
更に、上述のシステムは、例えばホームシアターシステムといった単純なステレオシステムよりも複雑な音響システムにはあまり適していない。ホームシアターシステムは、一般的には、音響効果を含む音を聴取者に対して投射するために使用される部屋の周りに配置される多数のスピーカを有する。音は、単純にスピーカの間で「バランス調整」されるのではない。むしろ、特定のスピーカ位置の出力は、自分の場所にいる聴取者に対して与えられるべき音響効果に基づいて上下されるか又は他の方法で整合される。例えば、多数のスピーカのうちの２つのスピーカは、特定の音響効果を聴取者の位置にいる聴取者へ与えるために、位相を合わせて又は位相をずらして駆動されうる。
【０００９】
従って、聴取者の位置に対する多数のスピーカの夫々の位置の正確な決定は、幾つかのエンターテインメント体験のためには非常に重要である。更に、多数のスピーカの必要とされる出力を聴取者の変化した位置又は変化している位置に対して調整するために、聴取者の位置をより高い信頼性で正確に決定することが必要とされる。
【００１０】
従って、本発明は、システムの聴取者又はユーザの位置に対して自動的に調整しうる、ユーザの位置の変化を含む、音響システム（オーディオビジュアルシステムを含む）を提供する。システムは、人間の体（例えばユーザ）の輪郭の幾つか又は一部を認識する画像捕捉及び認識を用いる。視野の中のユーザの位置に基づいて、システムはユーザの位置情報を決定する。システムの１つの実施例では、例えば、ユーザの角度的な位置は、撮像捕捉装置の視野の中のユーザの画像の位置に基づいて決定され、システムは決定された角度に基づいて２つ以上のスピーカの出力を調整しうる。
【００１１】
画像捕捉装置は、例えば、人間の体の形状の全て又は一部を認識するようプログラムされる画像認識ソフトウエアを有する制御ユニット又はＣＰＵに接続されるビデオカメラでありうる。人間の体といった活動的な輪郭を検出し追跡する種々の方法が開発されてきた。例えば、人間の体（又は例えば頭部又は手）をビデオ画像中で見つけ追跡する「ｐｅｒｓｏｎ ｆｉｎｄｅｒ」は、ここに参照として組み入れられるＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌ． １９， ｎｏ． ７， ｐｐ ７８０−８５（Ｊｕｌｙ １９９７）で発表されたＭ．Ｉ．Ｔ． Ｍｅｄｉａ Ｌａｂｏｒａｔｏｒｙ Ｐｅｒｃｅｐｔｕａｌ Ｃｏｍｐｕｔｉｎｇ Ｓｅｃｔｉｏｎ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ． ３５３のＷｒｅｎ外による”Ｐｆｉｎｄｅｒ： Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ ｏｆ ｔｈｅ Ｈｕｍａｎ Ｂｏｄｙ”に記載されている。
【００１２】
テンプレートマッチング法を用いた画像中の人（歩行者）の検出は、ここに参照として組み入れられるＰｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２０００（ｗｗｗ．ｇｒａｖｉｌａ．ｎｅｔで入手可能）のＤ．Ｍ． Ｇａｖｒｉｌａ （Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｓｙｓｔｅｍｓ， ＤａｉｍｌｅｒＣｈｒｙｓｌｅｒ Ｒｅｓｅａｒｃｈ）による”Ｐｅｄｅｓｔｒｉａｎ Ｄｅｔｅｃｔｉｏｎ Ｆｒｏｍ Ａ Ｍｏｖｉｎｇ Ｖｅｈｉｃｌｅ”に記載されている。
【００１３】
画像中の静的な対象の検出のための統計的サンプリングアルゴリズム及び対象の動きの検出の確率論的モデルは、ここに参照として組み入れられるＩｎｔ． Ｊ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ｖｏｌ． ２９， １９９８ （ｗｗｗ．ｄａｉ．ｅｄ．ａｃ．ｕｋ／ＣＶｏｎｌｉｎｅ／ＬＯＣＡＬ／ＣＯＰＩＥＳ／ＩＳＡＲＤ１／ｃｏｎｄｅｎｓａｔｉｏｎ．ｈｔｍｌで”Ｃｏｎｄｅｎｓａｔｉｏｎ”ソースコードと共に入手可能）のＩｓａｒｄ及び及びＢｌａｃｋ（Ｏｘｆｏｒｄ Ｕｎｉｖ． Ｄｅｐｔ． ｏｆ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｃｉｅｎｃｅ）による”Ｃｏｎｄｅｎｓａｔｉｏｎ−Ｃｏｎｄｉｔｉｏｎａｌ Ｄｅｎｓｉｔｙ Ｐｒｏｐａｇａｔｉｏｎ Ｆｏｒ Ｖｉｓｕａｌ Ｔｒａｃｋｉｎｇ”に記載されている。
【００１４】
或いは、制御ユニット又はＣＰＵは、人間の頭部の輪郭、又は、特定のユーザの顔の輪郭を認識するようプログラムされうる。画像（ディジタル画像を含む）中の顔を認識しうるソフトウエアは市販されており、例えばＶｉｓｉｏｎｉｃｓ社から販売されｗｗｗ．ｆａｃｅｉｔ．ｃｏｍに記載されている「ＦａｃｅＩｔ」のようなものがある。人間の体、顔等を検出するために使用されうるアルゴリズムを組み込んだソフトウエアは、一般的に、以下の説明では、画像認識ソフトウエア、画像認識アルゴリズム等と称するものとする。カメラの視野に対する認識された体又は頭の位置は、例えば、カメラに対するユーザの位置の角度を決定するために使用されうる。決定された角度は、各スピーカによってユーザの位置へ与えられる音の出力及び音響効果をバランス調整又は他の方法で調整するために使用されうる。
【００１５】
人間の体又は特定の顔の輪郭を識別する画像捕捉装置及び関連する画像感知ソフトウエアは、ユーザの検出をより正確で信頼性の高いものとする。
【００１６】
重なり合う視野を有する２以上のかかるプログラムされた画像捕捉装置は、ユーザの位置を正確に決定するために使用されうる。例えば、上述のような２つの別個のカメラは、別々に配置されてもよく、夫々が基準座標系におけるユーザの位置を決定するために使用されうる。ユーザの位置は、例えば、ユーザの現在の場所と基準座標系における各スピーカの固定の（既知の）位置との間の距離を決定するために、また、ホームシアターシステムにおける音響効果のようにユーザの位置に対して正しいオーディオミックスを与えるためにスピーカ出力を正しく調整するために、音響システムによって使用されうる。
【００１７】
従って、一般的に、本発明は２以上のスピーカを通じて音を出力する音発生システムを含む。２以上のスピーカの夫々の音出力は、２以上のスピーカの位置に対してユーザの位置に基づいて調整可能である。システムは、聴取領域に対して学習可能であり、画像認識ソフトウエアを有する処理部に結合される少なくとも１つの（ビデオカメラといった）画像捕捉装置を含む。処理部は、画像捕捉装置によって発生された画像中でユーザを認識するために画像認識ソフトウエアを使用する。処理部はまた、画像中のユーザの位置に基づいてユーザの位置の少なくとも１つの測定値を発生するソフトウエアを有する。
【００１８】
［詳細な説明］
図１を参照するに、ユーザ１０はホームシアターシステムのオーディオコンポーネント及びビジュアルコンポーネントの間にいるものとして示される。ホームシアターシステムは、ビデオディスプレイ画面１４と、ディスプレイ画面１４のための快適な視聴領域の周囲を囲む一連のオーディオスピーカ１８ａ−ｅとを含む。システムは更に、図１中はディスプレイ画面１４の上に載るものとして示される制御ユニット２２を含む。もちろん、制御ユニット２２はどの場所に置かれてもよく、ディスプレイユニット１４自体の中に組み込まれてもよい。制御ユニット２２、ディスプレイ画面１４、及びスピーカ１８ａ−ｅは、全て、電気的なワイヤ及びコネクタによって電気的に接続される。ワイヤは一般的には室内のカーペットの下側を通されるか又は隣接する壁の中を通されるため、図１には示さない。
【００１９】
図１のホームシアターシステムは、ディスプレイ画面１４から視覚出力を生成しスピーカ１８ａ−ｅから対応する音出力を生成する電気的コンポーネントを含む。ホームシアター出力のためのオーディオ及びビデオ処理は、一般的には、プロセッサ、メモリ、及び関連する処理ソフトウエアを含みうる制御ユニット２２の中で生ずる。このような制御ユニット及び関連する処理コンポーネントは公知であり種々の市販の形態で入手可能である。制御ユニット２２へ与えられるオーディオ及びビデオ入力は、テレビジョン信号、ケーブル信号、衛星信号、ＤＶＤ及びＶＣＲから入来しうる。制御ユニット２２は、図１Ａに示すように、入力信号を処理し、ディスプレイ画面１４の駆動回路への適当な信号を与え、結果としてビデオ表示を生じさせ、また、入力信号を処理し、スピーカ１８ａ−ｅへの適当な駆動信号を与える。
【００２０】
制御ユニット２２への信号入力のオーディオ部分は、立体音響信号であってもよく、又は、制御ユニット２２によって処理される音響効果といったより複雑な音響処理をサポートしてもよい。例えば、制御ユニット２２は、ディスプレイの右側の部分を通過する車をまねるために重なり合うシーケンスでスピーカ１８ｂ，１８ｃ，１８ｄを駆動しうる。各スピーカ１８ｂ，１８ｃ，１８ｄの振幅及び位相は、制御ユニット２２により受信されたオーディオ信号に基づいて、また、制御ユニット２２のメモリに格納されるようにユーザ１０に対するスピーカ１８ｂ，１８ｃ，１８ｄの位置に基づいて駆動される。
【００２１】
制御ユニット２２は、例えば図１中で原点Ｏと単位ベクトル（ｘ，ｙ，ｚ）によって定義されるような共通基準系に対するスピーカ１８ａ−ｅの位置及びユーザ１０の位置を受信し記憶しうる。基準座標系における各スピーカ１８ａ−ｅ及びユーザ１０のｘ，ｙ及びｚ座標は、物理的に測定されるか他の方法で決定され、制御ユニット２２へ入力される。
【００２２】
図１中のユーザ１０の位置は、基準座標系において座標（ＸＰ，ＹＰ，ＺＰ）を有するとして示される。一般的には基準座標系は、図１に示される以外の場所に配置されうる。（以下更に詳述するように、図１に示す基準座標系は、本発明によるユーザ１０の自動測位を容易とするために、カメラの位置にあるよう選択される）。基準座標系におけるスピーカ１８ａ−ｅ及びユーザ１０の座標が制御ユニット２２によって受信されると、制御ユニット２２は代わりに座標を内部基準座標系へ平行移動しうる。
【００２３】
かかる共通基準座標系におけるユーザ１０及びスピーカ１８ａ−ｅの位置は、制御ユニット１０が各スピーカ１８ａ−ｅに対するユーザ１０の位置を決定することを可能とする。（ユーザ１０の座標をスピーカ１８ａの座標から差し引くことにより、基準座標系におけるそれらの相対的な位置が決まることは周知である）。制御ユニット２２の中のソフトウエアは、受信されたオーディオ信号と、スピーカに対するユーザ１０の位置とに基づいて各スピーカの音出力（例えば音量、周波数、位相）のための駆動信号を電気的に調整する。ユーザ１０に対するスピーカ１８ａ−ｅの相対的な位置に基づく制御ユニット２２による音出力の電子的な調整は、従来技術で周知である。或いは、制御システムは、ユーザが各スピーカ１８ａ−ｅの音出力を手動で調整することを可能としても良い。このような制御ユニット２２を介したオーディオコンポーネントの手動制御もまた従来技術で周知である。いずれの場合も、入力は、制御ユニット２２と無線でインタフェース接続されディスプレイ画面１４上にメニューを投写する、例えば位置データの入力を可能とする遠隔制御器によって与えられうる。
【００２４】
図１に示すホームシアターシステムは、また、基準座標系におけるユーザとユーザの位置を自動的に識別しうる。上述の説明では、原点Ｏに置かれる基準座標系におけるユーザ１０及びスピーカ１８ａ−ｅの位置は、例えばユーザによって与えられる手動入力に基づいて知られていると仮定される。ユーザ１０の位置が知られていないか変化するとき、又は、ユーザの位置の自動的な検出及び決定が他の方法で所望であるとき、スピーカ１８ａ−ｅの位置は、通常は配置された後は固定されたままであるため、制御ユニット２２によって通常は既知のままである。従って、基準座標系におけるスピーカ１８ａ−ｅの位置は、初期システムセットアップ中に制御システム２２へ夫々手動で入力され、一般的にはその後は固定されたままである。（もちろんスピーカの位置は変更されえ、新しい位置が入力されうるが、これはシステムの通常の使用では生じない）。ユーザの位置がシステムによって自動的に決定されると、以下詳述するように、制御ユニット２２は、上述のように手動で位置を入力する場合のように、ユーザ及びスピーカ１８ａ−ｅの位置に基づいて各スピーカ１８ａ−ｅへの音出力を調整する。
【００２５】
図１中のユーザ１０が存在するか否かを自動的に検出し、存在する場合はその位置を検出するために、システムは更にディスプレイ画面１４の上に載せられ、ディスプレイ画面１４の通常の視聴領域に向けられる２つのビデオカメラ２６ａ，２６ｂを含む。カメラ２６ａは、共通基準座標系の原点Ｏに配置される。以下の説明から明らかであるように、ビデオカメラ２６ａ，２６ｂは他の場所に配置されうる；基準座標系はカメラ２６ａの異なる場所又は他の場所へ場所を変更されうる。ビデオカメラ２６ａ，２６ｂは、制御ユニット２２とインタフェース接続され、視聴領域中で捕捉される画像を制御ユニット２２に与える。画像認識ソフトウエアは制御ユニット２２にロードされ、カメラ２６ａ，２６ｂから受信されるビデオ画像を処理するためにその中のプロセッサによって処理される。画像認識に使用される制御ユニット２２のメモリを含むコンポーネントは、別々であるか、図１Ａに示すように、制御ユニット２２の他の機能と共用される。或いは、画像認識は別個のユニットにおいて行われうる。
【００２６】
図２Ａは、図１のディスプレイ画面の一方の側のカメラ２６ａの視野内の画像を示す図である。図２Ａの画像は、制御ユニット２２へ送信され、制御ユニット２２において例えばその中にロードされた周知の画像認識ソフトウエアを用いて処理される。画像認識アルゴリズムは、ユーザ１０といった人間の体の輪郭を認識するために使用されうる。或いは、顔を認識する、又は、例えばユーザ１０の顔といった特定の１以上の顔を認識するようプログラムされうる画像認識ソフトウエアが使用されうる。
【００２７】
画像認識ソフトウエアが人間の体の輪郭又は特定の顔を識別すると、制御ユニット２２は、画像中のユーザ１０の頭部の中心の点Ｐｉ’と、画像の左上の隅の点Ｏｉ’に対する座標（ｘ’，ｙ’）とを決定するようプログラムされる。図２Ａの画像中の点Ｏｉ’は、図１の基準座標系における点（０，０，ＺＰ）に略対応する。
【００２８】
同様に、図２Ｂは、図１のディスプレイ画面の他方の側のカメラ２６ｂの視野内の画像を示す図である。同様に、図２Ｂの画像は、制御ユニット２２へ送信され、制御ユニット２２においてユーザ１０又はユーザの顔の画像を認識するために画像認識ソフトウエアを用いて処理される。カメラ２６ｂはディスプレイ画面の他方の側に配置されるため、ユーザ１０の画像は図２Ａと比較すると視野の異なる部分に配置される。制御ユニットは、図２Ｂの画像中のユーザの頭部の中心の点Ｐｉ’’と画像の左上の隅の点Ｏｉ’’に対する座標（ｘ’’，ｙ’’）とを決定する。
【００２９】
図２Ａ及び図２Ｂに示すカメラ画像中でユーザ１０の位置Ｐｉ’及びＰｉ’’が夫々画像座標（ｘ’，ｙ’）及び（ｘ’’，ｙ’’）を有するものであると識別すると、図１の基準座標系におけるユーザ１０の位置Ｐの座標（ＸＰ，ＹＰ，ＺＰ）は、「ステレオ問題」として知られるコンピュータビジョンの標準的な技術を用いて一意に決定されうる。３次元コンピュータビジョンの基本的なステレオ技術は、例えば、ここに参照として組み入れられるＴｒｕｃｃｏ及び及びＶｅｒｒｉによる”Ｉｎｔｒｏｄｕｃｔｏｒｙ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ３−Ｄ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ” （Ｐｒｅｎｔｉｃｅ Ｈａｌｌ， １９９８）と、特にそのうちの第７章”Ｓｔｅｒｅｏｐｓｉｓ”に記載されている。このような周知の技術を用いて、図１中のユーザの位置Ｐ（未知の座標（ＸＰ，ＹＰ，ＺＰ）を有する）と、図２Ａ中のユーザの画像位置Ｐｉ’（既知の画像座標（ｘ’，ｙ’）を有する）は、以下の式、
ｘ’＝Ｘｐ／ＺＰ　　　　　　　　　（式１）
ｙ’＝Ｙｐ／ＺＰ　　　　　　　　　（式２）
によって与えられる。同様に、図１中のユーザの位置Ｐと、図２Ｂ中のユーザの画像位置Ｐｉ’’（既知の画像座標（ｘ’’，ｙ’’）を有する）は、以下の式、
ｘ’’＝（Ｘｐ−Ｄ）／ＺＰ　　　　　（式３）
ｙ’’＝Ｙｐ／ＺＰ　　　　　　　　　（式４）
によって与えられ、但し、Ｄはカメラ２６ａ，２６ｂの間の距離である。当業者は、式１乃至４で与えられる項はカメラの幾何学形状によって決められる線形変換によることを認識するであろう。
【００３０】
式１乃至式４は、３つの未知の変数（座標ＸＰ，ＹＰ，ＺＰ）を有するため、連立方程式の解によりＸＰ，ＹＰ及びＺＰの値が得られ、従って、図１の基準座標系におけるユーザ１０の位置が与えられる。
【００３１】
必要であれば、座標（ＸＰ，ＹＰ，ＺＰ）は制御ユニット２２の他の内部座標系へ平行移動されうる。ユーザの位置（ＸＰ，ＹＰ，ＺＰ）を決定し、必要であれば放射座標を他の基準座標へ平行移動するために必要な処理は、制御ユニット２２以外の処理ユニットにおいても行われうる。例えば、この処理は、画像認識処理をサポートし、従って画像検出及び測位のタスクのみを行う別個の処理ユニットを含みうる。
【００３２】
上述のように、スピーカ１８ａ−ｅの固定の位置は、以前の入力に基づいて制御ユニット２２において知られている。例えば、各スピーカ１８ａ−ｅは図１に示すように室内に配置されると、基準座標系における各スピーカ１８ａ−ｅの座標（ｘ，ｙ，ｚ）、及び、カメラ２６ａ，２６ｂの間の距離Ｄは、測定され、制御ユニット２２においてメモリへ入力されうる。画像認識ソフトウエアを用いて（上述のステレオ問題の後認識処理と共に）決定されるユーザ１０の座標（ＸＰ，ＹＰ，ＺＰ）と、各スピーカの予め記憶された座標は、各スピーカ１８ａ−ｅに対するユーザ１０の位置を決定するために使用されうる。上述のように、制御ユニット２２の音響処理は、入力オーディオ信号及びスピーカ１８ａ−ｅに対するユーザ１０の位置に基づいて、各スピーカ１８ａ−ｅの出力（振幅、周波数、及び位相を含む）を適当に調整しうる。
【００３３】
従って、ビデオカメラ２６ａ，２６ｂ、画像認識ソフトウエア、及び検出されたユーザの位置を決定するための後認識処理を使用することにより、図１のホームシアターシステムのユーザの位置が自動的に検出され決定されることが可能となる。ユーザが動いた場合、処理は繰り返され、ユーザの新しい位置が決定され、制御ユニット２２はスピーカ１８ａ−ｅによって出力されるオーディオ信号を調整するために新しい位置を使用する。
【００３４】
自動検出特徴は、スピーカの出力がユーザ１０の位置のデフォルト入力又はマニュアル入力に基づくようオフとされうる。画像認識ソフトウエアは、例えば多数の異なる顔を認識するようプログラムされえ、特定のユーザの顔は認識及び自動調整のために選択されうる。このように、システムは視聴領域にいる特定のユーザの位置を調整しうる。或いは、画像認識ソフトウエアは、視聴領域にある全ての顔又は人間の体を検出するために使用されえ、処理は夫々の場所を自動的に決定しうる。各スピーカ１８ａ−ｅの音出力の調整は、各検出されたユーザの場所における聞き取り経験の最適化を試みるアルゴリズムによって決定されうる。
【００３５】
図１の実施例はホームシアターシステムを示すが、自動検出及び調整は他のオーディオビジュアルシステム又は他の純粋な音響システムによって使用されうる。例えば、ユーザの位置において立体音響音のバランスを正しく（又は予め決められたように）維持するためにスピーカに対するユーザの決定された位置に基づいて各スピーカ位置において音量を調整するために多数のスピーカを有するステレオシステムと共に使用されうる。
【００３６】
従って、図３中、２つのスピーカを有するステレオシステムに適用される本発明のより簡単な実施例を示す。ステレオシステムの基本的な構成要素は、２つのスピーカ１００ａ，１００ｂに取り付けられたステレオ増幅器１３０を含む。カメラ１１０は、視聴領域にいる聴取者１４０の画像を含む視聴領域の画像を検出するために使用される。スピーカ１００ａ，１００ｂ、カメラ１１０、及びユーザ１４０の相対的な位置は、上から見た、又は床の平面へ投影されたものとして示される。図３はまた、平面上の簡単な基準座標系を示し、この座標系は、カメラの位置に原点Ｏを有し、カメラ１００の軸Ａに対する対象の角度から構成される。従って、角度βはスピーカ１００ａの角度的な位置であり、角度φはスピーカ１００ｂの角度的な位置であり、角度θはユーザ１４０の角度的な位置である（図３は、ユーザの頭部の一番上を示す）。
【００３７】
図３のシステムでは、ユーザ１４０は原点Ｏから適当な距離Ｄにおいて図３の中央領域においてステレオを聴くと想定される。スピーカ１００ａ，１００ｂは、視聴領域の略中央である軸Ａに沿った位置Ｄにおいてデフォルトバランスを有する。
【００３８】
スピーカ１００ａ，１００ｂの位置の角度β及びφは、測定され処理ユニット１２０の中に予め格納される。カメラ１１０によって捕捉される画像は、上述の実施例に記載されるように人間の体、特に顔等の輪郭を検出する画像認識ソフトウエアを含む処理ユニット１２０へ転送される。画像中の検出された体又は顔の位置は、基準座標系におけるユーザ１４０の位置に対応する角度θを決定するために処理ユニットによって使用される。例えば、図３Ａを参照するに、角度θの一次の決定は、以下の式、
θ＝（ｘ／Ｗ）（Ｐ）
で表わされ、但しｘは処理ユニット１２０によって測定される画像の中心Ｃからの水平方向の像距離、Ｗは画像の水平方向の全幅、Ｐは視野、又は、カメラによって固定されるシーンの角度的な幅である。
【００３９】
処理ユニット１２０は、ユーザ１４０とスピーカ１００ａ，１００ｂの相対的な角度的な位置に基づいてスピーカ１００ａ，１００ｂのバランスを調整する信号を順に増幅器へ送信する。例えば、スピーカ１００ａの出力は係数（β−θ）を用いて調整され、スピーカ１００ｂの出力は係数（φ＋θ）を用いて調整される。このように、スピーカ１００ａ，１００ｂのバランスは、スピーカ１００ａ，１００ｂに対するユーザ１４０の位置に基づいて自動的に調整される。上述したように、図４のシステムでは、ユーザ１４０は図３の中央視聴領域にそのまま、原点Ｏから略距離Ｄにいると想定される。従って、ユーザの角度的な位置θに基づくバランスの調整は許容可能な１次の調整である。
【００４０】
本発明の例示的な実施例は、添付の図面を参照して説明されたが、本発明はこれらの厳密な実施例に限られるものではなく、本発明の範囲は請求項の範囲によって決められることが意図されることが理解されるべきである。
【図面の簡単な説明】
【図１】
本発明の第１の実施例によるユーザの自動検出及び測位と出力の調整を含むホームシアターシステムを示す斜視図である。
【図１Ａ】
図１のシステムの制御システムの部分を示す図である。
【図２Ａ】
図１のシステムの第１のカメラによって捕捉されるユーザの画像を含む画像を示す図である。
【図２Ｂ】
図１のシステムの第２のカメラによって捕捉されるユーザの画像を含む画像を示す図である。
【図３】
本発明の第１の実施例によるユーザの自動検出及び測位と出力の調整を含むステレオシステムを示す斜視図である。
【図３Ａ】
図３のシステムのカメラによって捕捉されるユーザの画像を含む画像を示す図である。
【図１Ａ】
2004514359.tif 000002
【国際公開パンフレット】
2004514359.tif 000003
2004514359.tif 000004
2004514359.tif 000005
2004514359.tif 000006
2004514359.tif 000007
2004514359.tif 000008
2004514359.tif 000009
2004514359.tif 000010
2004514359.tif 000011
2004514359.tif 000012
2004514359.tif 000013
2004514359.tif 000014
2004514359.tif 000015
2004514359.tif 000016
2004514359.tif 000017
2004514359.tif 000018
2004514359.tif 000019