(57)【特許請求の範囲】
【請求項１】
適応的サラウンドサウンドを実現する方法であって、
目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集するとともに、対応する合焦パラメータを記録するステップであって、前記部屋における指定位置は、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点を含み、そのうち、壁境界線中点は、この壁境界線の、合焦画像に現れているその部分の中点を示す、ステップと、
採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出するステップと、
算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、前記部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出するステップと、
算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによってスピーカアレイにおけるフィルタ群を調整するステップと、
音声信号を、前記パラメータの調整されたフィルタ群によってフィルタリングしてから、スピーカアレイによって再生して、前記部屋内におけるユーザの位置でサラウンドサウンドを形成するステップと、
を含み、
上記の、部屋のカメラに対する位置情報を算出することは、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度を算出し、ならびに、左壁境界線の方程式、右壁境界線の方程式及び対向壁境界線の方程式を算出する処理を含む、
方法。
【請求項２】
上記の、目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集することは、壁境界線認識技術により、前記部屋における指定位置を認識する処理と、顔認識技術により、部屋内におけるユーザの面部を認識する処理と、目標が認識されてから、目標の所在領域に対して計算を行うとともに、計算結果に基づいて、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせる処理と、を含み、
上記の、ユーザのカメラに対する位置情報を算出することは、ユーザからカメラまでの被写体距離及びユーザのカメラレンズ中軸線に対する角度を算出する処理を含む、
請求項１に記載の方法。
【請求項３】
上記の、計算結果に基づいて、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせる処理は、計算結果に基づいて、合焦モータを駆動して、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせるか、若しくは、計算結果に基づいて、ライトフィールド再構築方式により、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせることを含む、
請求項２に記載の方法。
【請求項４】
上記の、部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームとは、壁面で一次反射又は二次反射されてから前記ユーザの位置に到達した音響ビームであり、第１左音響ビーム、第２左音響ビーム、第１右音響ビーム及び第２右音響ビームを含み、そのうち、
前記第１左音響ビームは、左側壁にぶつかって、左側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
前記第２左音響ビームは、左側壁にぶつかって、左側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
前記第１右音響ビームは、右側壁にぶつかって、右側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
前記第２右音響ビームは、右側壁にぶつかって、右側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームである、
請求項２に記載の方法。
【請求項５】
上記の、計算された部屋のカメラに対する位置情報、前記ユーザのカメラに対する位置情報、及び、前記カメラとスピーカアレイとの間の相対的位置関係により、前記部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出することは、
カメラとスピーカアレイとの間の相対的位置関係により、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を、部屋のスピーカアレイに対する位置情報及びユーザのスピーカアレイに対する位置情報に変換する処理と、
スピーカアレイの所在位置を零点として、まず、ユーザの左壁境界線に関するミラーポイントを得て、そして、零点及び該ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、前記第１左音響ビームの方程式を得る処理と、
スピーカアレイの所在位置を零点として、まず、ユーザの対向壁境界線に関する第１ミラーポイントを得て、次に、第１ミラーポイントにより、該第１ミラーポイントの左壁境界線に関する第２ミラーポイントを得て、そして、零点及び第２ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、前記第２左音響ビームの方程式を得る処理と、
同様に、前記第１右音響ビーム及び前記第２右音響ビームの方程式を得る処理と、
を含む、請求項４に記載の方法。
【請求項６】
左壁隅及び／又は右壁隅の画像が採集できない場合に、対応する側の二つの音響ビームの方向をユーザと一定の角度ずらすか、若しくは、前記第１左音響ビーム、前記第２左音響ビーム、前記第１右音響ビーム及び前記第２右音響ビームのいずれかがユーザに遮断された場合に、その音響ビームをキャンセルすることを含む、請求項４に記載の方法。
【請求項７】
適応的サラウンドサウンドを実現するシステムであって、
カメラ、目標認識及び結像手段、位置情報抽出手段、音響ビーム制御手段、及び、スピーカアレイを含み、
前記カメラは、画像を採集するために用いられ、
前記目標認識及び結像手段は、目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集するとともに、対応する合焦パラメータを記録するために用いられ、前記部屋における指定位置は、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点を含み、そのうち、壁境界線中点は、この壁境界線の、前記合焦画像に現れているその部分の中点を示し、
前記位置情報抽出手段は、採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出するために用いられ、
前記音響ビーム制御手段は、算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、前記部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出してから、算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによってスピーカアレイにおけるフィルタ群を調整するために用いられ、
前記スピーカアレイは、音声信号を、パラメータの調整されたフィルタ群によりフィルタリングしてから再生して、前記部屋内におけるユーザの位置でサラウンドサウンドを形成するために用いられ、
前記位置情報抽出手段は、具体的に、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度を算出し、ならびに、左壁境界線の方程式、右壁境界線の方程式及び対向壁境界線の方程式を算出するために用いられる、
システム。
【請求項８】
前記目標認識及び結像手段は、具体的に、壁境界線認識技術により、前記部屋における指定位置を認識し、顔認識技術により、部屋内にいるユーザの面部を認識し、目標が認識されてから、目標の所在領域に対して計算を行うとともに、計算結果に基づいて、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせるために用いられ、
前記位置情報抽出手段は、具体的に、ユーザからカメラまでの被写体距離及びユーザのカメラレンズ中軸線に対する角度を算出するために用いられる、
請求項７に記載のシステム。
【請求項９】
前記目標認識及び結像手段は、具体的に、計算結果に基づいて、合焦モータを駆動して、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせるか、若しくは、計算結果に基づいて、ライトフィールド再構築方式により、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせるために用いられる、
請求項８に記載のシステム。
【請求項１０】
上記の、部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームとは、壁面で一次反射又は二次反射されてから前記ユーザの所在位置に到達した音響ビームであり、第１左音響ビーム、第２左音響ビーム、第１右音響ビーム及び第２右音響ビームを含み、そのうち、
前記第１左音響ビームは、左側壁にぶつかって、左側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
前記第２左音響ビームは、左側壁にぶつかって、左側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
前記第１右音響ビームは、右側壁にぶつかって、右側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
前記第２右音響ビームは、右側壁にぶつかって、右側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
前記音響ビーム制御手段は、具体的に、カメラとスピーカアレイとの間の相対的位置関係により、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を、部屋のスピーカアレイに対する位置情報及びユーザのスピーカアレイに対する位置情報に変換し、スピーカアレイの所在位置を零点として、まず、ユーザの左壁境界線に関するミラーポイントを得て、そして、零点及び該ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、前記第１左音響ビームの方程式を得て、
スピーカアレイの所在位置を零点として、まず、ユーザの対向壁境界線に関する第１ミラーポイントを得て、次に、第１ミラーポイントにより、該第１ミラーポイントの左壁境界線に関する第２ミラーポイントを得て、そして、零点及び第２ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、前記第２左音響ビームの方程式を得て、
同様に、前記第１右音響ビーム及び前記第２右音響ビームの方程式を得るために用いられる、
請求項８に記載のシステム。
【請求項１１】
前記音響ビーム制御手段は、更に、左壁隅及び／又は右壁隅の画像が採集できない場合に、対応する側の二つの音響ビームの方向をユーザと一定の角度ずらすか、若しくは、前記第１左音響ビーム、前記第２左音響ビーム、前記第１右音響ビーム及び前記第２右音響ビームのいずれかがユーザに遮断された場合に、該音響ビームをキャンセルするために用いられる、請求項１０に記載のシステム。
【請求項１２】
前記カメラが、受動合焦タイプのカメラ、能動合焦タイプのカメラ、又は、奥行き知覚が可能なカメラである、請求項７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディア再生分野に関し、特に、適応的サラウンドサウンドを実現する方法及びシステムに関する。
【背景技術】
【０００２】
マルチメディア技術の発展に伴って、人々がマルチメディア視聴機能を楽しむことのできるマルチメディア機器の種類も日進月歩で変化しつつある。本願は、カメラ及びスピーカアレイを備え、且つ、サラウンドサウンド効果を生じさせる必要があるマルチメディア機器に関する。ここで、説明の便宜上、スマートテレビを例として説明する。
【０００３】
テレビ製造技術及び表示技術の進歩につれて、家庭用テレビが軽くて薄くなり、画像がより鮮明で明るくなった。それに応じて、人々のオーディオ再生システムに対する要求も高まってきている。
【０００４】
現在、スマートテレビは、例えばサウンドバー（Soundbar）等の軽量且つ薄型の再生システムを持っており、体積が相対的に膨大で配置が比較的に分散した従来の5.1再生システムの代わりに、スピーカアレイを用いている。スピーカアレイには、デジタル信号処理チップが内蔵されており、サウンドエフェクト処理を完了させることができる。しかし、軽量且つ薄型のスピーカアレイの一つの欠陥は、ステレオサラウンド効果が不十分であることである。この点に関する従来の解決方案としては、ダイポール（双極子）ステレオ拡張技術及び音響ビーム形成技術などがある。ダイポール（双極子）は、聴取領域が小さくて、ユーザの姿勢にも制限があり、比較的広い領域で豊富なサラウンドサウンドを生成するのは困難である。一方、音響ビーム形成技術は、ホール内の構造及びアレイの特性を十分に活かして、スピーカアレイから発した音声により、壁に指向した音響ビームを形成するようにすることができ、壁面の複数回の反射及び散乱により、ホール内全体で豊富なサラウンドサウンド効果を生み出すことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の、音響ビームの形成によってホール内でサラウンドサウンドを生み出す技術は、音響ビームが確かに側壁にぶつかって、反射及びサラウンド効果が発生したことを確認するために、音響校正過程を経る必要がある。このため、次のような課題を有している。第一に、スピーカアレイの使用前に手動で校正する必要があり、操作過程に手間がかかる。第二に、例えば測定マイク等の追加の校正機器が必要である。第三に、ユーザの聴取位置が比較的狭い範囲に制限される。このため、もしユーザがほかの位置での良好なサラウンドサウンド効果も希望する場合、改めて校正する必要がある。
【０００６】
上記課題に鑑みて、本発明は、上記課題を克服するか、又は、少なくとも部分的に上記課題を解決する適応的サラウンドサウンドを実現する方法及びシステムを提供する。
【課題を解決するための手段】
【０００７】
本発明の一つの局面によれば、適応的サラウンドサウンドを実現する方法が開示されており、この方法は、
目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集するとともに、対応する合焦パラメータを記録するステップと、
採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出するステップと、
算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、前記部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出するステップと、
算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによってスピーカアレイにおけるフィルタ群を調整するステップと、
音声信号を、前記パラメータの調整されたフィルタ群によってフィルタリングしてから、スピーカアレイによって再生して、前記部屋内におけるユーザの位置でサラウンドサウンドを形成するステップと、
を含む。
【０００８】
本発明のもう一つの局面によれば、適応的サラウンドサウンドを実現するシステムが提供されており、該システムは、カメラ、目標認識及び結像手段、位置情報抽出手段、音響ビーム制御手段、及び、スピーカアレイを含み、
カメラが、画像を採集するために用いられ、
目標認識及び結像手段が、目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集するとともに、対応する合焦パラメータを記録するために用いられ、
位置情報抽出手段が、採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出するために用いられ、
音響ビーム制御手段が、算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、前記部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出してから、算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによってスピーカアレイにおけるフィルタ群を調整するために用いられ、
スピーカアレイが、音声信号を、パラメータの調整されたフィルタ群によりフィルタリングしてから再生して、前記部屋内におけるユーザの位置でサラウンドサウンドを形成するために用いられる。
【発明の効果】
【０００９】
本発明は、目標認識及び合焦制御技術により、部屋における指定位置及びユーザの合焦画像を採集するとともに、合焦パラメータを記録し、更に、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出し、これらの情報により、ユーザの位置でサラウンドサウンドが実現可能な音響ビームを算出し、算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、フィルタ群を調整し、そして、パラメータの調整されたフィルタ群によってフィルタリングされた音響ビームをスピーカアレイによって再生することにより、目標部屋内におけるユーザの所在位置でサラウンドサウンドを適応的に形成する。本発明の技術方案では、追加の音響校正過程及び校正機器を避けることができ、手動で校正する必要がなく、ユーザに最適なスピーカアレイの音響ビームの向き角度を自動的に算出し、ユーザに豊富なサラウンドサウンド効果を体験させ、そして、ユーザが位置を移動した場合でも、移動後の位置でタイムリーにサラウンドサウンドを適応的に実現することができ、ユーザの位置及び聴取習慣が限定されない。
【図面の簡単な説明】
【００１０】
【図１】本発明の一つの実施例による適応的サラウンドサウンドを実現する方法のフローチャートである。
【図２】本発明の一つの実施例による適応的サラウンドサウンドを実現する方法の原理模式図である。
【図３】本発明の一つの実施例によるサラウンドサウンドを実現する音響ビームの経路模式図である。
【図４】本発明の一つの実施例による認識対象目標のカメラで撮影した写真における位置の模式図である。
【図５】本発明の一つの実施例によるユーザとカメラレンズとの間の距離関係の模式図である。
【図６】本発明の一つの実施例によるユーザとカメラレンズとの間の角度関係の模式図である。
【図７】本発明の一つの実施例による左壁隅とカメラレンズとの間の距離関係の模式図である。
【図８】本発明の一つの実施例による左壁隅とカメラレンズとの間の角度関係の模式図である。
【図９】本発明の一つの実施例による音響ビームの経路計算模式図である。
【図１０】本発明の一つの実施例による一側の壁隅が検出できない模式図である。
【図１１】本発明の一つの実施例による音響ビームがユーザに遮断される可能性がある模式図である。
【図１２】本発明の実施例による適応的サラウンドサウンドを実現するシステムの模式図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の例示的な実施例を更に詳しく説明する。図面には本発明の例示的な実施例が示されているが、本発明は、ここで述べる実施例に限定されるものではなく、様々な形式によって実現することができると理解すべきである。また、逆に、これらの実施例を提供するのは、本発明をより十分に理解できるとともに、本発明の範囲を全て当業者に伝え切れるためでもある。
【００１２】
図１は、本発明の一つの実施例による適応的サラウンドサウンドを実現する方法のフローチャートである。図１を参照して、該方法は、次のステップを含む。
【００１３】
ステップＳ１１０は、目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集するとともに、対応する合焦パラメータを記録する。
【００１４】
そのうち、部屋における指定位置は、部屋のサイズ、方位等の情報を確定することに利用可能な、部屋内におけるいずれかの位置である。例えば、部屋の四つの壁隅、壁隅を構成する壁境界線、壁境界線の中点等の位置である。
【００１５】
本発明の一つの実施例において、壁境界線認識技術（floor-wall boundary recognition）により壁隅及び壁境界線を認識し、そして、合焦制御技術により壁隅及び壁境界線に対して合焦し、壁隅及び壁境界線の合焦画像を採集する。本発明の一つの実施例において、ユーザに対して認識を行うとは、具体的に、ユーザの面部に対して認識を行うことであり、即ち、顔認識技術によりユーザの面部を認識し、そして、合焦制御技術によりユーザの面部に対して合焦し、ユーザの面部の合焦画像を採集する。記録された合焦パラメータには、合焦画像の採集時の焦点距離及び像距離が含まれる。本発明のその他の実施例において、採用可能なその他の技術によりユーザに対する認識を行ってもよい。
【００１６】
即ち、壁境界線認識技術により、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点を認識し、そのうち、壁境界線中点とは、該壁境界線の、合焦画像に現れているその部分の中点であり、顔認識技術により、部屋内にいるユーザの面部を認識し、目標が認識されてから、目標の所在領域に対して計算を行うとともに、計算結果に基づいて、認識対象目標に対して正確な合焦及び明瞭な結像をカメラに行わせ、正確な合焦及び明瞭な結像を実現する方式は、複数の種類を含んでもよく、カメラの類型によって決められるものであり、通常のカメラにおいての合焦モータを駆動するという方式であってもよく、若しくは、ライトフィールド(light field)カメラのライトフィールド再構築という方式であってもよい。本発明構成の記載においては、合焦モータを駆動する方式を例として、目標に対して正確な合焦及び明瞭な結像を行う方式を説明する。
【００１７】
本発明の実施例において、シングルユーザの面部合焦画像のみ採集する。もし部屋内に複数の人がいれば、部屋の中心に一番近い人をユーザとして、その面部合焦画像を採集する。
【００１８】
ステップＳ１２０は、採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出する。前記カメラは、受動合焦タイプのカメラ、能動合焦タイプのカメラ、又は、奥行き知覚が可能なカメラであってもよい。
【００１９】
このステップにおいて、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度を算出し、且つ、左壁境界線の方程式、右壁境界線の方程式及び対向壁境界線の方程式を算出し、ならびに、ユーザからカメラまでの被写体距離、及び、ユーザのカメラレンズ中軸線に対する角度を算出する。
【００２０】
本発明の一つの実施例において、ユーザの面部の合焦画像を採集するときに記録された焦点距離及び像距離により、共役結像原理に基づいて、ユーザからカメラまでの被写体距離を得て、合焦画像におけるユーザの面部の位置により、カメラレンズの画角パラメータと合わせて、ユーザのカメラレンズ中軸線に対する角度を確定し、同様に、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度をそれぞれ得て、左壁隅及び左壁境界線中点の座標情報により、二つの点によって一つの直線が決められるという原理に基づいて左壁境界線の方程式を得て、右壁隅及び右壁境界線中点の座標情報により、二つの点によって一つの直線が決められるという原理に基づいて右壁境界線の方程式を得る。ここで、左壁隅及び右壁隅の座標、左壁境界線及び右壁境界線の方程式によれば、部屋のカメラに対する位置情報を確定することができる。
【００２１】
ステップＳ１３０は、算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出する。
【００２２】
ステップＳ１４０は、算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによってスピーカアレイにおけるフィルタ群を調整する。即ち、音響ビームの向き角度を算出してから、スピーカアレイにおけるフィルタ群を算出する。
【００２３】
ステップＳ１５０は、音声信号を、パラメータの調整されたフィルタ群によってフィルタリングしてから、スピーカアレイによって再生して、部屋内におけるユーザの所在位置でサラウンドサウンドを形成する。
【００２４】
図１に示すこのような方法では、目標部屋内におけるユーザの所在位置でサラウンドサウンドを適応的に形成することができる。また、このような方法は、手動で校正する必要がなく、スマートテレビにとっても、さらなるハードウェアを追加する必要がなく、そして、ユーザが位置を移動した場合でも、移動後の位置でタイムリーにサラウンドサウンドを適応的に実現することができる。
【００２５】
図２は、本発明の一つの実施例による適応的サラウンドサウンドを実現する方法の原理模式図である。図２に示すように、本実施例による方法は、次の三つのステップに大きく分かれる。
【００２６】
第一のステップは、目標認識及び結像であり、このステップの役割は、目標認識技術により、即ち、壁境界線認識技術及び顔認識技術のそれぞれにより、部屋における指定位置（本発明の実施例においては、左右壁隅及び左右壁境界線中点）及びユーザの面部に対して認識を行い、カメラを制御して自動合焦を行い、対応する目標の合焦画像を採集するとともに、合焦画像の採集時の合焦パラメータを記録する。
【００２７】
第二のステップは、位置情報抽出であり、位置情報抽出は、ユーザのスピーカアレイに対する位置情報の計算、及び、部屋のスピーカアレイに対する位置情報の計算を含む。
【００２８】
第三のステップは、音響ビーム制御であり、第二のステップで算出された関連データにより、部屋内におけるユーザの所在位置でサラウンドサウンドが実現可能な音響ビームの経路を算出する。算出された音響ビームの経路によりフィルタ群のパラメータを算出し、音源信号をフィルタリングしてからスピーカアレイによって再生して、サラウンドサウンドを形成する。各スピーカ素子について、左チャネル音源が左音響ビームフィルタ群によってフィルタリングされてから重畳され、右チャネル音源が右音響ビームフィルタ群によってフィルタリングされてから重畳され、共に重畳されてから該スピーカ素子によって再生される。
【００２９】
左、右音響ビームフィルタ群を区分するのは、各素子にとって、左チャネルの二つの音響ビームが、左音源が第１左音響ビーム１のフィルタと第２左音響ビーム２のフィルタとの二つのフィルタによってフィルタリングされたものであり、右チャネル音響ビームは、右音源が第１右音響ビーム１のフィルタと第２右音響ビーム２のフィルタとの二つのフィルタによってフィルタリングされたものであるためである。各フィルタには、独立した意味を有し、そのウェイトも異なり、別々に処理する必要があり、しかも、左右音源も異なるため、左右フィルタ群を区分するようにしている。
【００３０】
図３は、本発明の一つの実施例によるサラウンドサウンドを実現する音響ビームの経路模式図である。本発明の実施例において、部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームとは、音源から発した各音響ビームのうち壁面で一次反射又は二次反射されてからユーザの位置に到達した音響ビームである。具体的には、部屋内におけるユーザの所在位置でサラウンドサウンドが実現可能な音響ビームの経路は、図３に示すように、左チャネルの音源が二つの音響ビームを形成し、それぞれ壁面で一次及び二次反射されてユーザに到達し、右チャネルについても同様である。
【００３１】
即ち、本実施例において、部屋内におけるユーザの所在位置でサラウンドサウンドが実現可能な音響ビームには、第１左音響ビーム１、第２左音響ビーム２、第１右音響ビーム１及び第２右音響ビーム２が含くまれており、そのうち、第１左音響ビーム１は、左側壁にぶつかって、左側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、第２左音響ビーム２は、左側壁にぶつかって、左側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームであり、第１右音響ビーム１は、右側壁にぶつかって、右側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、第２右音響ビーム２は、右側壁にぶつかって、右側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームである。また、対向壁とは、スピーカアレイ及びカメラと対向した壁、即ち、スピーカアレイ及びカメラの所在した壁面と平行した壁である。
【００３２】
以下、上記過程について、更に詳しく説明する。ここで、表明しておくべきなのは、スマートテレビにおけるカメラ及びスピーカアレイの位置が相対的に固定したものであり、例えばより一般的な形式として、カメラが、通常、テレビの頂端の中心に位置するのに対し、スピーカアレイがテレビの底辺に位置し、且つ、カメラとスピーカアレイとが、通常、同一の垂直線上にあり、後続の実施例において、本発明は、この形式に従うのもとし、カメラの焦平面がスピーカアレイに平行しながら地面に垂直し、カメラの中心とスピーカアレイの中心とを結ぶ線が地面に垂直し、即ち、各目標のカメラに対する水平角度位置と各目標のスピーカアレイに対する水平角度位置とが同じであるとする。しかし、本発明の方法は、このような配置形式に限らず、もしカメラがスピーカアレイの中心に位置しないか、若しくは、カメラの焦平面がスピーカアレイに平行するのではなく一定の夾角があるとしても、本発明の方法が依然として適用可能であり、音響ビームの角度に、対応する幾何学的座標変換を加えればよい。
【００３３】
１．目標認識及び合焦結像
図４は、本発明の一つの実施例による認識対象目標のカメラで撮影した写真における位置の模式図である。図４を参照すると、本発明の一つの実施例において、認識対象目標には、部屋の左壁隅、右壁隅、左壁境界線、右壁境界線及びユーザの面部が含まれる。目標が認識されてから、自動合焦制御装置が目標の所在領域に対して計算を行い、計算結果に基づいて、合焦モータを駆動して、カメラに、目標に対して正確な合焦及び明瞭な結像を行わせる。
【００３４】
壁境界線認識技術（floor-wall boundary recognition）により、壁隅及び壁境界線を認識し、顔認識技術により、ユーザの面部を認識する。
【００３５】
合焦制御技術により、カメラを制御して、部屋における指定位置（例えば、部屋の左右壁隅、左右壁境界線中点）及びユーザの面部等の各目標に対して正確に合焦するとともに、前記左右壁隅、左右壁境界線及びユーザの面部の合焦画像を採集し、合焦結像すると同時に合焦パラメータを記録し、後続の、部屋のカメラに対する位置及びユーザの部屋においてのカメラに対する位置を算出することに用いる。
【００３６】
２．位置情報抽出
採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出することについては、具体的には、次のようになる。
【００３７】
２．１  ユーザのカメラに対する位置情報の計算
採集された合焦画像及び記録された対応する合焦パラメータにより、ユーザからカメラレンズ平面までの距離、及び、ユーザのカメラ中軸線に対する角度座標を算出することができる。
【００３８】
２．１．１  ユーザからカメラまでの距離の計算
ユーザの面部の合焦画像を採集する時に記録された焦点距離及び像距離により、共役結像原理に基づいてユーザからカメラまでの被写体距離を得る。
【００３９】
能動合焦タイプのカメラである場合、合焦する前に測距を行い、例えば、赤外線測距、補助光測距又は超音波測距等を行うことにより、ユーザからカメラレンズまでの距離を直接に測定でき、別に計算する必要がない。なお、奥行き知覚が可能なカメラ、例えばマルチレンズのカメラ又は３Ｄカメラの場合、画角の差等の手段によって被写体距離を直接に確定してもよい。受動合焦タイプのカメラの場合なら、被写体距離を得るには、計算する必要がある。計算方式については、図５を参照する。
【００４０】
図５は、本発明の一つの実施例によるユーザとカメラレンズとの間の距離関係の模式図である。図５に示すように、ユーザからレンズ平面までの距離をｌＣ即ち被写体距離として、正確に合焦結像するとき、結像平面からレンズ平面までの距離がｌ′Ｃ即ち像距離であり、レンズの焦点距離がｆであり、焦点距離がレンズの固有パラメータであり、正確に合焦したとき、ｌ′Ｃも既知のものである。そうすると、共役結像原理ｌＣの式により、例えば下式のように、ユーザからレンズ平面までの距離を算出できる。
0006291055.tif 000002
【００４１】
２．１．２  ユーザの角度座標の計算
合焦画像におけるユーザの面部の位置により、カメラレンズの視角パラメータと合わせて、ユーザのカメラレンズ中軸線に対する角度を確定する。
【００４２】
図６は、本発明の一つの実施例によるユーザとカメラレンズとの間の角度関係の模式図である。図６に示すように、正確に合焦した明瞭な画像が得られてから、顔認識及び輪郭抽出等の画像処理技術を用いて、画像から、画像におけるユーザの面部の位置を得ることができ、レンズの画角パラメータと合わせて、ユーザのレンズ中軸線に対する角度、即ち角度座標を確定することができる。
【００４３】
ユーザの面部の合焦画像において、ユーザの面部中心から画像左縁までの距離をｄＣＬ、右縁までの距離をｄＣＲとし、レンズの画角をαとし、レンズ中軸線の指向した角度を０度とする。ユーザの面部のレンズ中軸線に対する角度をβとし、ユーザからテレビまでの距離即ち被写体距離をｌＣとする。そうすると、三角関数により、他のパラメータが既知であるとき、ユーザの面部の角度座標を算出できる。
0006291055.tif 000003
0006291055.tif 000004
そうすると、
0006291055.tif 000005
が得られる。
【００４４】
２．２  部屋のカメラに対する位置情報の計算
「２．１  ユーザのカメラに対する位置情報の計算」に類似して、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度をそれぞれ得ることができ、左壁隅及び左壁境界線中点の座標情報により、二つの点によって一つの直線が決められるという原理に基づいて、左壁境界線の方程式が得られ、右壁隅及び右壁境界線中点の座標情報により、二つの点によって一つの直線が決められるという原理に基づいて、右壁境界線の方程式が得られる。
【００４５】
壁境界線認識(floor-wall boundary recognition)技術及び合焦制御技術により得られた合焦画像及び対応する合焦パラメータにより、左右壁隅及び左右壁境界線中点からレンズまでの距離、及び、角度座標を算出する。本発明のその他の実施例においても、壁境界線のレンズ中軸線に対する角度を算出することが可能である。図４に示すように、壁境界線中点とは、この壁境界線の、合焦画像に現れているその部分の中点である。合焦画像に現れているその部分とは、図４に示す合焦画像で（即ち撮影写真で）見られる壁境界線である。
【００４６】
ここで説明すべきなのは、壁境界線の方程式の確定には、壁境界線中点が必要とされるとは限らず、壁隅及び壁境界線におけるいずれの点によっても、壁境界線の方程式を確定することができる。本実施例において壁境界線中点を取るのは、写真縁部における変形及びぼかしを回避するためである。具体的な方法としては、左壁境界線を例とし、写真における左壁隅の座標が既知で、左壁境界線（十分な壁境界線ではなく、壁境界線の一部であるかもしれない）も検出されていると、左壁境界線中点から写真左縁までの距離がちょうど左壁隅から左縁までの距離の半分となり、且つ左壁境界線上に位置する。このように、座標位置を算出し、そして、正確に合焦することができる。
【００４７】
図７は、本発明の一つの実施例による左壁隅とカメラレンズとの間の距離関係の模式図である。図７に示すように、左壁隅及び左壁境界線中点を例とすると、左壁隅からレンズ平面までの距離をｌＬＷとして、正確に合焦結像したとき、結像平面からレンズ平面までの距離がｌ′ＬＷ即ち像距離であり、レンズの焦点距離がｆであり、焦点距離がレンズの固有パラメータであり、共役結像により、左壁隅からレンズ平面までの距離ｌＬＷが下式によって算出される。
0006291055.tif 000006
【００４８】
正確に合焦した明瞭な画像が得られ、壁隅が認識されてから、レンズパラメータにより、左壁隅角度座標を算出することができる。図８は、本発明の一つの実施例による左壁隅とカメラレンズとの間の角度関係の模式図である。図８に示すように、左壁隅の合焦画像において左壁隅から左縁までの距離をｄＬＷＬ、右縁までの距離をｄＬＷＲとし、レンズの画角をαとし、レンズ中軸線の指向した角度を０度とする。左壁隅のレンズ中軸線に対する角度をγＬとすると、左壁隅のレンズ中軸線に対する角度γＬは、下式により算出することができる。
0006291055.tif 000007
【００４９】
カメラの位置を零点として、カメラの中軸線をｘ軸とする平面直角座標系においては、左壁隅の平面直角座標が（ｌＬＷ，ｌＬＷ，ｔａｎγＬ）である。同様に、左壁境界線中点について、そのレンズに対する距離及び角度を求めることができ、それぞれｌＬＷＭ及びγＬＭとすると、左壁境界線中点の平面直角座標は（ｌＬＷＭ，ｌＬＷＭ，ｔａｎγＬＭ）となり、更に、二つの点によって一つの直線が決められるという原理により、左壁境界線の方程式：ｙ＝ｋｘ＋ｃが求められる。ここで、
0006291055.tif 000008
0006291055.tif 000009
である。同様にして、右壁隅及び右壁境界線の方程式を算出することができる。
【００５０】
本実施例において、部屋のカメラに対する位置情報は、具体的に、左右壁隅の座標及び左右壁境界線の方程式であり、そのうち、採用される座標系は、カメラを零点とし、カメラレンズ中軸線をｘ軸とし、且つ、ｘ軸ｙ軸とによって決められた平面が水平面と平行した直角座標系であり、本実施例において基準座標と称される。
【００５１】
３．音響ビーム制御
３．１  音響ビーム経路の計算
本発明の一つの実施例において、部屋内におけるユーザの所在位置でサラウンドサウンドが実現可能な好ましい音響ビームは、図３に示す第１左音響ビーム１、第２左音響ビーム２、第１右音響ビーム１及び第２右音響ビーム２を含む。
【００５２】
算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、部屋内におけるユーザの所在位置でサラウンドサウンドが実現可能な音響ビームの経路を算出する必要がある。本発明の一つの実施例において、カメラが一般的にテレビの中心位置に配置され、スピーカアレイの中心位置に近接し、且つ、カメラのレンズ平面も一般的にスピーカアレイのアレイ素子の平面に平行するため、カメラによって測定された位置は、音響ビーム方向を計算する根拠とすることが可能である。音声伝播の原理により、左音響ビーム位置を算出することができる。即ち、本実施例において、カメラ及びスピーカアレイが同一の垂直線上に位置するため、カメラ及びスピーカアレイが前記座標系における同じ位置に位置し、即ち、各目標のカメラに対する位置と各目標のスピーカアレイに対する位置とが一致しているとされる。
【００５３】
３．１．１  第１左音響ビーム１の方程式の計算
前記基準座標において、カメラの所在位置を零点とし、ユーザの所在位置の左壁境界線に関するミラーポイントを得て、零点及び該ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、第１左音響ビーム１の方程式を得る。具体的には、２．２における計算により、左壁境界線の方程式：ｙ＝ｋｘ＋ｃが得られ、ユーザの基準座標系における座標を（ａ，ｂ）とし、ユーザの左壁境界線に関するミラーポイントを（ａ１，ｂ１）として、（ａ，ｂ）と（ａ１，ｂ１）とを結ぶ線の垂直二等分線が左壁境界線の方程式となる。
【００５４】
そうすると、第１左音響ビーム１が零点及びユーザのミラーポイント（ａ１，ｂ１）を通過し、左音響ビーム方程式が、
0006291055.tif 000010
となる。ミラー関係の方程式から分かるように、
0006291055.tif 000011
0006291055.tif 000012
である。
【００５５】
３．１．２  第２左音響ビーム２の方程式の計算
第２左音響ビーム２を求める方法は、３．１．１における方法に類似し、ただし、二次反射を算出することが必要である。カメラの所在位置を零点とし、ユーザの所在位置の対向壁境界線に関する第１ミラーポイント１を得て、第１ミラーポイント１により、該第１ミラーポイント１の左壁境界線に関する第２ミラーポイント２を得て、零点及び第２ミラーポイント２の座標により、二つの点によって一つの直線が決められるという原理に基づいて、第２左音響ビーム２の方程式を得る。
【００５６】
具体的には、カメラと対向した壁の壁境界線（ここで対向壁境界線と称する）の方程式をｙ＝ｋ２ｘ＋ｃ２として、左壁境界線及びユーザの定義が上記の通りである。図９に示すように、ユーザの対向壁境界線に関する第１ミラーポイントを（ａ２，ｂ２）とし、（ａ２，ｂ２）の左壁境界線に関する第２ミラーポイントを（ａ３，ｂ３）とする。図９は、本発明の一つの実施例による音響ビームの経路計算模式図であり、第２左音響ビーム２の方程式は、
0006291055.tif 000013
となる。
【００５７】
（ａ２，ｂ２）は、（ａ，ｂ）の対向壁境界線ｙ＝ｋ２ｘ＋ｃ２に関するミラーポイントであり、即ち、ｙ＝ｋ２ｘ＋ｃ２上における任意の点であり、（ａ２，ｂ２）及び（ａ，ｂ）までの距離が等しいため、ミラー関係の方程式から、以下の関係式を得ることができる。
0006291055.tif 000014
0006291055.tif 000015
【００５８】
同様に、（ａ３，ｂ３）は、（ａ２，ｂ２）の左壁境界線ｙ＝ｋｘ＋ｃに関するミラーポイントであるため、同様に、ミラー関係の方程式により、下式を得ることができる。
0006291055.tif 000016
0006291055.tif 000017
【００５９】
これにより、左壁境界線位置、対向壁境界線位置及びユーザの位置がいずれも既知の場合、第２左音響ビーム２の方程式を求めることができる。同様にして、第１右音響ビーム１及び第２右音響ビーム２の方程式も得られる。
【００６０】
本発明のその他の実施例において、もしカメラとスピーカとの間に相対的な位置差が存在する（即ち、基準座標系において異なる点に位置する）と、カメラとスピーカアレイとの間の相対的位置関係により、部屋のカメラに対する位置情報、及び、ユーザのカメラに対する位置情報を、部屋のスピーカアレイに対する位置情報、及び、ユーザのスピーカアレイに対する位置情報に変換する必要があり、そして、スピーカアレイの所在位置を零点として座標系を確立するとともに、該座標系においてユーザの所在位置の左壁境界線に関するミラーポイントを得て、零点及び該ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、第１左音響ビーム１の方程式が得られる。スピーカアレイの所在位置を零点として座標系を確立するとともに、該座標系においてユーザの所在位置の対向壁境界線に関する第１ミラーポイントを得て、ユーザの対向壁境界線に関する第１ミラーポイントにより、該第１ミラーポイントの左壁境界線に関する第２ミラーポイントを得ることができ、二つの点によって一つの直線が決められるという原理に基づいて、第２左音響ビーム２の方程式が得られる。同様にして、第１右音響ビーム１及び第２右音響ビーム２の方程式も得られる。
【００６１】
３．２  異常状況の処理
実際の使用中には、なんらかの異常状況が発生する可能性がある。例えば、壁隅の位置が十分に検出できないか、若しくは、テレビ及びスピーカアレイが隅位置に配置されるか、若しくは、部屋の壁面に平行しないか、若しくは、音響ビームがユーザに遮断される可能性がある等の状況がある。これらの場合、音響ビームの計算には、いくつかの変更がある。
【００６２】
図１０は、本発明の一つの実施例による一側の壁隅が検出できない模式図である。一側の壁隅の位置を検出できないし、その対応した壁の位置も算出できない場合、図１０に示すように、この側の二つの音響ビームの方向をユーザと一定の角度ずらして、例えば、経験値により６０度及び４５度にして、この側の二つの音響ビームのデフォルト角度としてもよい。即ち、左壁隅及び／又は右壁隅の画像が採集できない場合、対応する側の二つの音響ビームの方向をユーザと一定の角度ずらす。例えば、もし左側壁境界線がレンズ内に現れていないと、第１左音響ビーム１の角度は、ユーザの方位角に６０度を加算したものであり、第２左音響ビーム２は、ユーザの方位角に４５度を加算したものであり、右側についても同様である。
【００６３】
デフォルト角度では、音響ビームの一次反射点が側壁上に位置し、それがレンズの画角に関連するように設定し、もしレンズ内に一辺の壁隅が撮影されていないとしたら、壁隅とレンズ中心とを結ぶ線の角度（レンズ中軸線に対する角度）は、画角よりも大きくなるのが必然であり、そして、カメラの画角は、通常、対向壁の半分以上の幅をカバーすることになる。一般的なスマートテレビ用カメラでは、その画角範囲が±４５度を超えることなく、一般的には、±３０度の範囲内にあるため、デフォルト角度を４５度以上にすると、一次反射点が側壁上に位置する可能性が大きい。デフォルト角度の設定は、その他の方式又はその他の数値にしてもよく、もしカメラの画角が大きい場合、デフォルト角度もそれに応じて大きくなる。画角が小さい場合、デフォルト角度もそれに応じて小さくなる。
【００６４】
図１１は、本発明の一つの実施例による異常状況の発生した音響ビームがユーザに遮断される可能性がある模式図である。音響ビームがユーザに遮断される可能性がある場合、例えば、図１１に示すように、第２左音響ビーム２がユーザに遮断された場合、この方向の第２左音響ビーム２がキャンセルされる。同様に、第１左音響ビーム１、第２左音響ビーム２、第１右音響ビーム及び第２右音響ビーム２のいずれかがユーザに遮断されると、その音響ビームをキャンセルする。
【００６５】
説明すべきなのは、ユーザ以外のその他の遮断物なら、音響ビームをキャンセルする必要がなく、ユーザに遮断された場合のみ、音響ビームをキャンセルする。
【００６６】
３．３  フィルタ群のパラメータの計算
算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによって、スピーカアレイにおけるフィルタ群を調整する。
【００６７】
音響ビームの経路が算出されたら、音響ビームのスピーカアレイに対する向き角度が分かるようになり、スピーカアレイにおけるフィルタ群を算出することができる。スピーカアレイの各素子の周波数応答が、
0006291055.tif 000018
であり、そのうち、ｆが周波数、θが角度、Ｒｉが第ｉ個のアレイ素子の周波数応答関数であると、フィルタ群が、
0006291055.tif 000019
であり、そのうち、ＨＬ１ｉが第ｉ個のフィルタの周波数応答関数である。
【００６８】
アレイ素子の位置については、音響ビーム形成の一般的な定理に基づいてフィルタ群を算出することができ、一般的なアルゴリズムとしては、例えば、最小分散無歪応答アルゴリズム（ＭＶＤＲ）、又は、遅延和ビーム形成アルゴリズム（Delay-And-Sum）等がある。
【００６９】
ＭＶＤＲを例として、フィルタ群は、次のように算出することができる。音響ビームの角度をθＬ１とすると、最も理想的な音響ビームポインティングは、放射エネルギーを、すべてθＬ１に集中させ、その他の領域では０にするべきである。即ち、理想的な音響ビームの応答関数が、
0006291055.tif 000020
である。
【００７０】
実際に形成可能な音響ビームが、ＤＬ１（θ，ｆ）であり、理想的な音響ビームＤＬ１ｏｐｔ（θ，ｆ）にできる限り近接すべきである。
【００７１】
実際の音響ビームの方程式が、
0006291055.tif 000021
であり、そのうち、＊Ｔが、ベクトルに対して転置演算を行うことを表す。
【００７２】
したがって、理想的な音響ビームに最も近接した場合、
0006291055.tif 000022
が得られるべきである。
【００７３】
したがって、
0006291055.tif 000023
が得られるべきであり、そのうち、Ｒ（θ，ｆ）＊が、Ｒ（θ，ｆ）に対して共役演算を行うことを表す。
【００７４】
もしDelay-And-Sumの場合、次のように算出することができる。
0006291055.tif 000024
ＨＬ１（ｆ）がＭ個の要素をもつベクトルであり、各要素が、それぞれ、一つのスピーカ素子のフィルタに対応する。第ｉ個のスピーカ素子については、その対応するフィルタがＨＬ１（ｆ）における第ｉ個の要素である。
【００７５】
なお、第２左音響ビーム２、第１右音響ビーム１、第２右音響ビーム２に対応するフィルタ群はＨＬ１（ｆ）の計算に類似する。
【００７６】
以上のステップを経て、理想的なフィルタ群が算出され、音源信号がフィルタリングされてからスピーカアレイによって再生される。各スピーカ素子については、左チャネル音源が左音響ビームフィルタ群によってフィルタリングされてから重畳され、右チャネル音源が右音響ビームフィルタ群によってフィルタリングされてから重畳され、共に重畳されてから該スピーカ素子によって再生される。
【００７７】
現在、スマートテレビ、会議システム等の多くのマルチメディア機器は、カメラ及びオーディオビデオ処理制御チップを備え、例えば対象物認識などの複雑な演算をサポートすることができる。そして、スマートテレビにおけるカメラ及びスピーカアレイの位置は、相対的に固定しており、カメラが、通常、テレビの頂端の中心に位置するのに対し、スピーカアレイがテレビの底辺に位置する。従って、画像認識技術及び自動合焦技術により、カメラで撮影された画像から部屋の壁隅及びユーザの位置を認識することができ、更にカメラの固有パラメータにより、ユーザの部屋における位置、及び、部屋情報例えば部屋サイズ等を算出する。部屋情報及びユーザの位置によれば、好ましいサラウンド効果に達したときのスピーカ音響ビームの向くべき角度を算出することができ、ユーザに好ましいサラウンドサウンド効果を聞かせることができる。そのうち、本発明の一つの実施例において、好ましいサラウンドサウンド効果とは、音響ビームが壁面で一次反射又は二次反射されてからユーザに到達することである。
【００７８】
図１２は、本発明の実施例による適応的サラウンドサウンドを実現するシステムの模式図である。図１２に示すように、該システムは、カメラ１２０１、目標認識及び結像手段１２０２、位置情報抽出手段１２０３、音響ビーム制御手段１２０４、及び、スピーカアレイ１２０５を含む。
【００７９】
カメラ１２０１は、画像を採集するために用いられる。目標認識及び結像手段１２０２は、目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集するとともに、対応する合焦パラメータを記録するために用いられる。位置情報抽出手段１２０３は、採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出するために用いられる。音響ビーム制御手段１２０４は、算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、前記部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出してから、算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによってスピーカアレイにおけるフィルタ群を調整するために用いられる。スピーカアレイ１２０５は、音声信号を、パラメータの調整されたフィルタ群によりフィルタリングしてから再生して、前記部屋内におけるユーザの位置でサラウンドサウンドを形成するために用いられる。
【００８０】
本発明の一つの実施例において、目標認識及び結像手段１２０２は、壁境界線認識技術により壁隅及び壁境界線を認識し、そして、合焦制御技術により、カメラを制御して、壁隅及び壁境界線に対して合焦して壁隅及び壁境界線の合焦画像を採集し、顔認識技術によりユーザの面部を認識し、そして、合焦制御技術により、カメラを制御して、ユーザの面部に対して合焦してユーザの面部の合焦画像を採集するために用いられる。具体的には、前記「１．目標認識及び合焦結像」における記載を参照すること。
【００８１】
具体的に、目標認識及び結像手段１２０２は、壁境界線認識技術により、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点を認識し、そのうち、壁境界線中点とは、この壁境界線の、合焦画像に現れているその部分の中点であり、顔認識技術により、部屋内にいるユーザの面部を認識し、目標が認識されてから、目標の所在領域に対して計算を行うとともに、計算結果に基づいて、合焦モータを駆動して、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせる。
【００８２】
本発明の一つの実施例において、目標認識及び結像手段１２０２によって記録された合焦パラメータは、合焦画像の採集時の焦点距離及び像距離を含み、位置情報抽出手段１２０３は、具体的に、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度を算出し、且つ、左壁境界線の方程式、右壁境界線の方程式及び対向壁境界線の方程式を算出し、ならびに、ユーザからカメラまでの被写体距離、及び、ユーザのカメラレンズ中軸線に対する角度を算出するために用いられる。
【００８３】
具体的に、位置情報抽出手段１２０３は、ユーザの面部の合焦画像を採集するときに記録された焦点距離及び像距離により、共役結像原理に基づいてユーザからカメラまでの被写体距離を得て、合焦画像におけるユーザの面部の位置により、カメラレンズの画角パラメータと合わせて、ユーザのカメラレンズ中軸線に対する角度を確定し、同様に、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度をそれぞれ得て、左壁隅及び左壁境界線中点の座標情報により、二つの点によって一つの直線が決められるという原理に基づいて、左壁境界線の方程式を得て、右壁隅及び右壁境界線中点の座標情報により、二つの点によって一つの直線が決められるという原理に基づいて、右壁境界線の方程式を得るために用いられる。具体的には、前記２．１、前記２．２を参照すること。
【００８４】
本発明の一つの実施例において、前記音響ビーム制御手段１２０４によって算出された前記部屋内におけるユーザの所在位置でサラウンドサウンドが実現可能な音響ビームは、壁面で一次反射又は二次反射されてから前記ユーザの所在位置に到達した音響ビームであり、次の第１左音響ビーム１、第２左音響ビーム２、第１右音響ビーム１及び第２右音響ビーム２を含む。第１左音響ビーム１は、左側壁にぶつかって、左側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、第２左音響ビーム２は、左側壁にぶつかって、左側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームであり、第１右音響ビーム１は、右側壁にぶつかって、右側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、第２右音響ビーム２は、右側壁にぶつかって、右側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームである。
【００８５】
音響ビーム制御手段１２０４は、具体的に、カメラとスピーカアレイとの間の相対的位置関係により、部屋のカメラに対する位置情報、及び、ユーザのカメラに対する位置情報を、部屋のスピーカアレイに対する位置情報、及び、ユーザのスピーカアレイに対する位置情報に変換し、スピーカアレイの所在位置を零点として、まず、ユーザの左壁境界線に関するミラーポイントを得て、そして、零点及び該ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、第１左音響ビーム１の方程式を得て、スピーカアレイの所在位置を零点として、まず、ユーザの対向壁境界線に関する第１ミラーポイント１を得て、次に、第１ミラーポイント１により、該第１ミラーポイント１の左壁境界線に関する第２ミラーポイント２を得て、そして、零点及び第２ミラーポイント２の座標により、二つの点によって一つの直線が決められるという原理に基づいて、第２左音響ビーム２の方程式を得て、同様にして、第１右音響ビーム１及び第２右音響ビーム２の方程式を得るために用いられる。具体的には、前記３．１における関連記載を参照すること。
【００８６】
音響ビーム制御手段１２０４は、更に、左壁隅及び／又は右壁隅の画像が採集できない場合、対応する側の二つの音響ビームの方向をユーザと一定の角度ずらすか、若しくは、第１左音響ビーム１、第２左音響ビーム２、第１右音響ビーム１及び第２右音響ビーム２のいずれかがユーザに遮断された場合、その音響ビームをキャンセルするために用いられる。
【００８７】
音響ビーム制御手段１２０４は、映像プロセッサによって算出された音響ビームの経路により、最小分散無歪応答アルゴリズム又は遅延和ビーム形成アルゴリズムに基づいて、スピーカアレイにおけるフィルタ群のパラメータを確定するために用いられる。具体的には、前記３．３における関連記載を参照すること。
【００８８】
カメラ１２０１は、受動合焦タイプのカメラ、能動合焦タイプのカメラ、又は、奥行き知覚が可能なカメラである。
【００８９】
以上をまとめて、本発明のような技術方案において、目標認識及び合焦制御技術を用いることにより、部屋における指定位置及びユーザの合焦画像を採集するとともに、合焦パラメータを記録し、更に、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出し、これらの情報により、ユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出し、算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともにフィルタ群を調整して、そして、フィルタ群によってフィルタリングされた音響ビームをスピーカアレイによって再生し、目標部屋内におけるユーザの所在位置でサラウンドサウンドを適応的に形成する。このような方式は、手動で校正する必要がなく、従来のマルチメディア機器にとって、さらなるハードウェアを追加する必要がなく、追加の音響校正過程を避けて、ユーザに最適なスピーカアレイの音響ビームの向き角度を自動的に算出し、ユーザに豊富なサラウンドサウンド効果を体験させ、そして、ユーザが位置を移動した場合でも、移動後の位置でタイムリーにサラウンドサウンドを適応的に実現することができる。本発明の技術方案では、追加の音響校正を避けることができ、機器が簡単で使用しやすく、ユーザの位置及び聴取習慣も限定されなく、従来の音響ビーム形成によってホール内でサラウンドサウンドを生み出す技術の問題点が克服されると同時に、ユーザに好ましいサラウンドサウンド効果を感じさせる。
【００９０】
上記したのは、あくまでも本発明の好ましい実施例であり、本発明の保護範囲を限定するためのものではない。本発明の精神及び原則内になされたすべての変更、均等的置換、改良等は、いずれも本発明の保護範囲に含まれるものとされる。
【図１】
0006291055.tif 000025
【図２】
0006291055.tif 000026
【図３】
0006291055.tif 000027
【図４】
0006291055.tif 000028
【図５】
0006291055.tif 000029
【図６】
0006291055.tif 000030
【図７】
0006291055.tif 000031
【図８】
0006291055.tif 000032
【図９】
0006291055.tif 000033
【図１０】
0006291055.tif 000034
【図１１】
0006291055.tif 000035
【図１２】
0006291055.tif 000036