(57)【要約】【課題】  そこで、本発明は、受話側において、送話側の話者の映像と話者が発した音声や音とのずれをなくし、送話側の話者が音声や音を発している状況をそのまま再現でき、より臨場感のある空間を創造することができる映像信号と音響信号を統合的に制御する装置を提供することを課題とする。【解決手段】  顔領域検出部１０８は映像情報から人物の顔領域位置情報を算出する。受音方向決定部１０５は、当該顔領域位置情報、カメラ１０３のズーム倍率およびカメラの向きに基づいて送話側会議参加者の存在方向を特定する。受音部１０４は、特定された存在方向から音情報を取得する。受音信号再生部１０９は、顔領域位置情報に基づいて、受話側端末の表示装置１０７に表示された送話側の会議出席者の顔領域付近に当該音情報を結像する。【選択図】 図３
2006339869.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を取得する映像取得手段と、
音響信号を取得する音響取得手段と、
該音響取得手段により取得された音響信号および前記映像取得手段により取得された映像信号を送信する送信手段と、
該送信手段により送信された前記映像信号および前記音響信号を受信する受信手段と、
該受信手段により受信された前記映像信号を表示する映像表示手段と、
該受信手段により受信された前記音響信号を制御する音響制御手段と、
該音響制御手段により制御された音響信号を出力する音響出力手段と、
からなる映像信号と音響信号の統合装置であって、
前記映像取得手段により取得された映像信号から該映像信号上の１又は２以上の人物の顔位置を検出する顔位置検出手段と、
該顔位置検出手段によって検出された前記各人物の顔位置および前記映像取得手段の映像取得条件に基づいて該各人物の存在方向を特定する人物方向特定手段とを備え、
前記音響取得手段は、前記人物特定手段により特定された前記各人物の存在方向からの音響信号をそれぞれ取得し、
前記音響制御手段は、前記表示手段に表示される映像信号上の前記各人物の顔位置付近に該各人物に対応する前記各音響信号を結像することを特徴とする映像信号と音響信号の統合装置。
【請求項２】
映像信号を取得する映像取得手段と、
音響信号を取得する音響取得手段と、
該音響取得手段により取得された音響信号および前記映像取得手段により取得された映像信号を送信する送信手段と、
該送信手段により送信された前記映像信号および前記音響信号を受信する受信手段と、
該受信手段により受信された前記映像信号を表示する映像表示手段と、
該受信手段により受信された前記音響信号を制御する音響制御手段と、
該音響制御手段により制御された音響信号を出力する音響出力手段と、
からなる映像信号と音響信号の統合装置であって、
前記映像取得手段により取得された映像信号から該映像信号上の１又は２以上の人物の顔位置を検出する顔位置検出手段と、
該顔位置検出手段によって検出された前記各人物の顔位置および前記映像取得手段の映像取得条件に基づいて該各人物の存在方向を特定する人物方向特定手段とを備え、
前記音響取得手段は、全方位からの音響信号を取得し、
前記音響制御手段は、該全方位からの音響信号から、前記人物特定手段により特定された前記各人物の存在方向に関する情報に基づいて、該各人物の存在方向からの音響信号をそれぞれ生成し、前記表示手段に表示される映像信号上の該各人物の顔位置付近に該各人物に対応する前記生成された各音響信号を結像することを特徴とする映像信号と音響信号の統合装置。
【請求項３】
前記映像取得手段の映像取得条件は、前記映像取得手段のズーム倍率を含むことを特徴とする請求項１又は２に記載の映像信号と音響信号の統合装置。
【請求項４】
前記映像取得手段の映像取得条件は、前記映像取得手段の向いている方向情報を含むことを特徴とする請求項１乃至３のいずれかに記載の映像信号と音響信号の統合装置。
【請求項５】
前記音響取得手段は、前記映像取得条件のうちの前記ズーム倍率に応じて取得する音響信号の音量レベルを増減させることを特徴とする請求項３または４に記載の映像信号と音響信号の統合装置。
【請求項６】
前記音響制御手段は、前記映像取得条件のうちの前記ズーム倍率に応じて前記音響出力手段が出力する音響信号の音量レベルを増減させることを特徴とする請求項３または４に記載の映像信号と音響信号の統合装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ電話など、空間的に離れた地点から映像信号と音や音声等の音響信号を伝送し、これらの信号を用いて臨場感のある空間を創造する映像信号と音響信号を統合的に制御する装置に関する。
【背景技術】
【０００２】
近年、ブロードバンドネットワークの普及により、VoIP技術を利用したテレビ電話
が急速に普及してきている。具体的には、パーソナルコンピュータを利用したテレビ
電話やテレビに接続するタイプのテレビ電話等が浸透し始めてきている。
【０００３】
このようなテレビ電話は、画面を見ながら会話するといった利用形態であるため、
ハンズフリー通話となっている。しかしながら、ステレオ通話に対応したエコーキャンセラの実現が難しく、また高価であることから通話音声はモノラルとなっている。このため、送話側と受話側との会話において、１人対１人で会話している限りにおいては、良好な会話が可能であるが、１人対複数人、あるいは複数人対複数人で会話する場合には、受話側では、送話側のいずれの話者が発言しているかが映像と通話音声だけではわかりにくくなる。また、送話側で複数人が同時に発言した場合、それらの音声はモノラルとして受話側へ伝送されるため、受話側では発言内容の了解度が著しく劣化する。
【０００４】
一方、業務用のテレビ電話システムでは、一部でステレオエコーキャンセラの実装
によるステレオ通話に対応し、より臨場感のあるテレビ電話を実現しているものも登場し始めている。通話音声がステレオになると、モノラルと比較し送話側の空間の雰囲気が伝わりやすく、送話側で複数話者が同時に発言しても各話者の発言内容を了解しやすい、などの利点がある。さらに通話音声の帯域を広げることで、より臨場感のあるテレビ電話を実現することが可能となる。
【０００５】
しかしながら、テレビ画面に映し出される映像とスピーカから再生される音声との間にずれが生じやすく、かえって不自然となる場合がある。例えば、映像をズームにした場合、テレビ画面には特定の領域が拡大された映像が表示されるが、スピーカから再生される音声等には変化がなく、受話側では映像と音声との間のずれがさらに大きくなり、かえって不自然な通話感となる。
【０００６】
このような不自然な通話感を解消する方法としては、以下の特許文献に記載の方法
が提案されている。この特許文献１では、映像を解析することで、通話相手側がどのような空間で会話しているかを推定し、その推定結果に応じて音響信号を処理するためのパラメータを変更するというものである。例えば、通話相手側が広い部屋で会話しているような場合には、残響などを付加するようなパラメータが選択される、等により臨場感のあるテレビ電話を実現している。
【特許文献１】特開平７−１３１７７０
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような処理を行ったとしても、映像と音声がずれるという問題は依然として解消されていない。
【０００８】
そこで、本発明は、受話側において、送話側の話者の映像と話者が発した音声や音
とのずれをなくし、送話側の話者が音声や音を発している状況をできるだけ忠実に再現でき、より臨場感のある空間を創造することができる映像信号と音響信号を統合的に制御する装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る映像信号と音響信号の統合装置は、映像信号を取得する映像取得手段と、音響信号を取得する音響取得手段と、該音響取得手段により取得された音響信号および前記映像取得手段により取得された映像信号を送信する送信手段と、該送信手段により送信された前記映像信号および前記音響信号を受信する受信手段と、該受信手段により受信された前記映像信号を表示する映像表示手段と、該受信手段により受信された前記音響信号を制御する音響制御手段と、該音響制御手段により制御された音響信号を出力する音響出力手段と、からなる映像信号と音響信号の統合装置であって、前記映像取得手段により取得された映像信号から該映像信号上の１又は２以上の人物の顔位置を検出する顔位置検出手段と、該顔位置検出手段によって検出された前記各人物の顔位置および前記映像取得手段の映像取得条件に基づいて該各人物の存在方向を特定する人物方向特定手段とを備え、前記音響取得手段は、前記人物特定手段により特定された前記各人物の存在方向からの音響信号をそれぞれ取得し、前記音響制御手段は、前記表示手段に表示される映像信号上の前記各人物の顔位置付近に該各人物に対応する前記各音響信号を結像することを特徴とする。
【００１０】
また、本発明に係る映像信号と音響信号の統合装置は、映像信号を取得する映像取得手段と、音響信号を取得する音響取得手段と、該音響取得手段により取得された音響信号および前記映像取得手段により取得された映像信号を送信する送信手段と、該送信手段により送信された前記映像信号および前記音響信号を受信する受信手段と、該受信手段により受信された前記映像信号を表示する映像表示手段と、該受信手段により受信された前記音響信号を制御する音響制御手段と、該音響制御手段により制御された音響信号を出力する音響出力手段と、からなる映像信号と音響信号の統合装置であって、前記映像取得手段により取得された映像信号から該映像信号上の１又は２以上の人物の顔位置を検出する顔位置検出手段と、該顔位置検出手段によって検出された前記各人物の顔位置および前記映像取得手段の映像取得条件に基づいて該各人物の存在方向を特定する人物方向特定手段とを備え、前記音響取得手段は、全方位からの音響信号を取得し、前記音響制御手段は、該全方位からの音響信号から、前記人物特定手段により特定された前記各人物の存在方向に関する情報に基づいて、該各人物の存在方向からの音響信号をそれぞれ生成し、前記表示手段に表示される映像信号上の該各人物の顔位置付近に該各人物に対応する前記生成された各音響信号を結像することを特徴とする。
【００１１】
これらの発明によると、表示装置に表示されている話者が、その場で実際にしゃべっているような臨場感あふれる空間を創造することができる。
【００１２】
また、本発明に係る映像信号と音響信号の統合装置では、映像取得手段の映像取得条件は、映像取得手段のズーム倍率を含むことを特徴とする。
【００１３】
また、本発明に係る映像信号と音響信号の統合装置では、映像取得手段の映像取得条件は、前記映像取得手段の向いている方向情報を含むことを特徴とする。
【００１４】
また、本発明に係る映像信号と音響信号の統合装置では、音響取得手段は、映像取得条件のうちのズーム倍率に応じて取得する音響信号の音量レベルを増減させることを特徴とする。
【００１５】
また、本発明に係る映像信号と音響信号の統合装置では、音響制御手段は、前記映像取得条件のうちの前記ズーム倍率に応じて前記音響出力手段が出力する音響信号の音量レベルを増減させることを特徴とする。
【００１６】
上記２つの発明に係る映像信号と音響信号の統合装置によると、映像取得手段のズーム倍率を増減することにより、映像表示手段に表示される人物等のサイズも増減し、これに応じて音響出力手段により出力される当該人物の音響信号の音量レベルも増減する。従って、より臨場感のある空間が創造されることとなる。
【発明の効果】
【００１７】
本発明によれば、受話側において、送話側の話者の映像と話者が発した音声や音
とのずれをなくし、送話側の話者が音声や音を発している状況をできるだけ忠実に再現でき、より臨場感のある空間を創造することができる映像信号と音響信号を統合的に制御する装置を提供することができる。
【００１８】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。
【００１９】
ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２０】
以下、本発明をハンズフリーテレビ電話装置に実施した形態につき、図面に沿って説明する。
【００２１】
図１は、本発明の実施形態の一つであるハンズフリーテレビ電話をテレビ会議に利用する場合の構成の概略を示す図である。
【００２２】
図１において、送話側のハンズフリーテレビ電話装置（以下、送話側端末と記載する。）の前で、発話者が発話等により音声や音（以下、音情報と記載する。）を発すると、発話者の映像および発話者が発した音情報が直接あるいはネットワークを経由して受話側のハンズフリーテレビ電話装置（以下、受話側端末と記載する。）に送信される。
【００２３】
受話側端末は、送話側の発話者の映像が表示装置の画面上に再生するとともに発話者が発した音情報を画面上の発話者の顔領域付近から出力する。また、送話側の映像がズームアップで表示された場合には、出力する音情報の音量レベルも増加させる。このような処理を行うことにより、受話側端末は、あたかも画面上で送話側の発話者が実際にしゃべっているように感じさせる臨場感あふれる空間を創造することができる。逆に、送話側においても、受話側と同様な臨場感あふれる空間が創造される。これにより、会話が行い易く、より臨場感のあるテレビ会議を行うことができる。
【００２４】
図２は、本発明の実施形態の一つであるハンズフリーテレビ電話装置の構成を示す図である。
【００２５】
図２において、ハンズフリーテレビ電話装置１００は、映像情報および音情報を受話側端末に送信する送話処理部１０１、受話側端末からの映像信号および音情報を再生する受話処理部１０２から構成される。
【００２６】
送話処理部１０１は、映像情報の取得および送信ならびにカメラのズーム倍率やカメラが向いている方向といったカメラ情報の送信を行うカメラ１０３、音情報の取得および送信を行う受音部１０４、受音部１０４がいずれの方向の音情報をどの程度の音量レベルで取得するかを決定する受音方向決定部１０５から構成される。受音部１０４は、例えば、指向性の高い複数の小型マイクロフォンが配列されて構成され、所望の方向の音情報を所望の音量レベルで取得することができる。
【００２７】
受話処理部１０２は、送話側端末から送信される音情報を出力するスピーカ１０６、送話側端末から送信される映像情報を表示する表示装置１０７、送話側端末から送信される映像情報から人物の顔領域を検出する顔領域検出部１０８、顔領域検出部１０８により検出された顔領域の位置情報に基づいて、スピーカ１０８から出力される音情報を表示装置１０７に表示される人物の顔領域付近から出力されているように制御する受音信号再生部１０９から構成される。
【００２８】
図３は、ハンズフリーテレビ電話装置１００を２台用いてテレビ会議を行う場合の構成およびデータの流れを示す図である。
【００２９】
図３において、送話側端末のカメラ１０３は、送話側においてテレビ会議に出席している人物を含む会議風景を撮影し、撮影した映像情報を受話側端末の顔領域検出部１０８および表示装置１０７へネットワークを経由して送信する。また、カメラ１０３は、カメラのズーム倍率やカメラが向いている方向といったカメラ情報を後述する受音方向決定部１０５へ送信する。
【００３０】
受話側端末の顔領域検出部１０８は、カメラ１０３より送信された映像情報から、人物の顔領域を検出し、検出した人物の顔領域の位置情報を算出し、受音信号再生部１０９及び送話端末側の受音方向決定部１０５へ送信する。
【００３１】
図４は、顔領域検出部１０８が算出する顔領域位置情報を示す図である。
【００３２】
顔領域検出部１０８は、図４に示すように、カメラ１０３から所定サイズの映像情報を取得すると、該映像情報の左下隅を原点とし、垂直方向および水平方向に最小値０°、最大値１８０°の座標系を設定し、検出した顔領域の中心座標を顔領域位置情報として算出する。図４では、顔領域検出部１０８は、映像情報から２名の人物の顔領域を検出し、各人物の顔領域位置情報として（Θｐｘ１° , Θｐｙ１° ）, （ Θｐｘ２° , Θｐｙ２° ）
を算出する。
【００３３】
尚、映像情報から人物の顔領域の検出については、例えば特許第３４９０９１０号「顔領域検出装置」において開示されているような方法を利用することができる。
【００３４】
受音方向決定部１０５は、顔領域検出部１０８より送信された顔領域位置情報およびカメラ１０３より送信されたカメラ情報に基づいて送話側におけるテレビ会議出席者が存在する方向を特定し、受音部１０４に特定された方向の音情報を取得させる。
送話側におけるテレビ会議出席者が複数人存在する場合には、受音方向決定部１０５は各出席者の存在方向を特定し、受音部１０４に特定した各出席者の存在方向毎の音情報を取得させる。
【００３５】
受音方向決定部１０５は、顔領域検出部１０８より送信される顔領域位置情報のうち、特に水平方向の位置情報に基づいて受音方向を特定するが、受音方向を特定するためには、カメラ情報、例えば、カメラのズーム倍率やカメラの向いている方向を考慮する必要がある。
【００３６】
図５は、顔領域検出部１０８により算出された人物の顔領域位置情報が同じであっても、カメラ１０３のズーム倍率に応じて人物の存在方向が変化することを示す図である。
【００３７】
図５に示す如く、映像情報から顔領域検出部１０８が検出した人物の顔領域の水平位置が、映像データサイズの横の長さのａ：ｂの位置であった場合であっても、カメラ１０３がズームアップしている場合は、人物の存在方向がカメラ１０３の正面方向を基準としてΘｚ°と算出されたとしても、カメラがワイド撮影している場合には、人物の存在方向はΘｗ°と算出され、この場合Θｚ°＞Θｗ°となることは明らかである。即ち、カメラ１０３がズームアップで撮影している場合とワイドで撮影している場合とで人物の存在方向が相違することとなる。
【００３８】
したがって、映像情報から検出した人物の顔領域位置情報から人物の存在方向を特定する場合には、該顔領域位置情報をカメラ１０３のズーム倍率に応じて補正する必要がある。
【００３９】
図６は、受音方向決定部１０５が、顔領域検出部１０８より送信される顔領域位置情報から、カメラ１０３のズーム倍率およびカメラ１０３の向きを考慮して受音方向を特定するまでの流れを示す図である。
【００４０】
図６において、顔領域検出部１０８から送信された２人の人物の顔領域位置情報のうち、水平方向の位置情報がそれぞれΘｐｘ１°, Θｐｘ２°であったとすると、カメラ１０３のズーム倍率がλの場合、受音方向決定部１０５は、第１の補正後の受音方向Θｃ１ °, Θｃ２°を、次式（１）、（２）により算出する。
【００４１】
Θｃ１＝Θｐｘ１・ｆ（λ）・・・（１）
Θｃ２＝Θｐｘ２・ｆ（λ）・・・（２）
但し、ｆ（λ）はカメラ１０３のズーム倍率λを入力とした場合の補正関数
次に、カメラ１０３が向いている方向が、図６に示す如く、例えば複数のマイクロフォンから構成される受音部１０４の正面方向を基準（０°）としてΘｄ°である場合、受音方向決定部１０５は、第２補正後の受音方向Θｔ１°、Θｔ２°を次式（３）、（４）により算出する。
【００４２】
Θｔ１＝Θｃ１＋Θｄ      ・・・（３）
Θｔ２＝Θｃ２＋Θｄ      ・・・（４）
受音方向決定部１０５は、第２補正後の受音方向Θｔ１°、Θｔ２°を検出された各領域に対応する人物の存在方向として決定し、受音部１０４に該方向からの音情報を取得させる。
【００４３】
また、受音方向決定部１０５は、カメラのズーム倍率に応じて、取得する音情報の音量レベルを決定し、該音量レベルで受音部１０４に音情報を取得させる。
【００４４】
受音部１０４は、受音方向決定部１０５により特定されたそれぞれの方向から送話側の各テレビ会議出席者の音情報を受音方向決定部１０５により決定された音量レベルで取得し、受話側端末の受音信号再生部１０９へ送信する。
【００４５】
受音信号再生部１０９は、顔領域検出部１０８により送信された顔領域位置情報および受音部１０４より送信された音情報に基づいて、表示装置１０７に表示される送話側の各出席者の顔領域付近から各出席者に対応する音情報が発せられているように音情報を制御し、スピーカ１０６から該音情報を出力する。
【００４６】
図７は、受音信号再生部１０９による音情報の出力方法を示す図である。
【００４７】
受音信号再生部１０９は、受信した音情報を制御する信号処理部１０９ａ、該音情報に畳み込むための複数の伝達関数が格納された伝達関数データベース１０９ｂを備えている。伝達関数データベース１０９ｂには、受音した音情報の結像位置を制御するための複数の伝達関数（例えば、伝達関数１、伝達関数２、伝達関数３、・・・）が格納されている。図７に示すように表示装置１０７の画面が予め所定の領域毎（図７の１、２、３・・・）に分割され、各伝達関数は、分割された各領域に対応している。信号処理部１０９ａは、受信した音情報に各伝達関数を畳み込むことにより、音情報を各伝達関数が対応する領域に結像することができる。
【００４８】
信号処理部１０９ａは、受信した顔領域位置情報より、受音した音情報を結像すべき領域を判断し、該領域に対応する伝達関数を選択する。次に、受音した音情報に選択した伝達関数を畳み込み、スピーカ１０６から再生する。これにより、表示装置１０７に表示される送話側の各出席者の顔領域付近に各出席者の音情報を結像することができる。
【００４９】
この結果、受話側のテレビ会議参加者は、送話側の各出席者が実際に受話側端末の表示装置１０７からしゃべっているように感じることができる。
【００５０】
尚、人間は左右で一対の耳を持っているため、人間にとっては、水平方向（左右方向）について、音情報がいずれの向から出力されているかを聞き分けることは比較的容易であるが、垂直方向（上下方向）について、音情報がいずれの方向から出力されているかを聞き分けることは容易ではない。
【００５１】
従って、受音信号再生部１０９に、顔領域検出部１０８により送信された顔領域位置情報のうちの水平位置情報に基づいて、表示装置１０７上の各出席者の顔領域の水平位置を特定し、該水平位置付近から各出席者に対応する音情報が発せられているように受音部１０４より送信された音情報を制御することとしてもよい。この場合、顔領域の垂直方向の位置については予め適当な位置に固定しておく。
【００５２】
具体的には、図８に示す如く、受音信号再生部１０９の伝達関数データベース１０９ｂには、受音した音情報の結像位置を制御するための複数の伝達関数（例えば、伝達関数１、伝達関数２、伝達関数３、・・・）が格納され、図８に示すように表示装置１０７の画面が予め水平方向の所定の領域毎（図８の１、２、３・・・）に分割され、各伝達関数は、分割された各領域に対応している。この場合、信号処理部１０９ａは、受信した音情報に各伝達関数を畳み込むことにより、各伝達関数が対応する領域、即ち顔領域の水平位置付近に音情報を結像することができる。
【００５３】
上記実施形態では、図２又は図３に示すように、２つのスピーカ１０６を用いて音情報を制御しているが、スピーカ１０６に替えて、図９に示すように、フラットパネルスピーカ１１０を採用し、表示装置１０９の背面に配置してもよい。このような構成によると表示装置１０７に表示される送話側の各出席者の顔領域付近から実際に音情報を出力することができるため、より臨場感のある空間を創造することができる。
【００５４】
さらに、図２に示すハンズフリーテレビ電話装置１００の構成のうち、送話処理部１０１の受音方向決定部１０５を無くし、図１０に示すような構成としてもよい。
【００５５】
このような構成では、受音部１０４は、例えば指向性のほとんどない、いわゆる、
無指向性マイクロフォンが複数配列されたマイクロフォンアレイで構成されており、各マイクロフォンは全範囲の音情報を取得する。当該構成のハンズフリーテレビ電話装置１００を２台用いてテレビ会議を行う場合、図１１に示すごとく、送話端末側の受音部１０４は、各マイクロフォンで取得した音情報を受話側端末の受音信号再生部１０９へ送信する。送話側端末のカメラ１０３は、カメラ情報を受話側端末の受音信号再生部１０９へ送信する。
【００５６】
受話側端末の受音信号再生部１０９は、顔領域検出部１０８より送信された顔領
域位置情報およびカメラ１０３より送信されたカメラ情報に基づいて送話側におけるテレビ会議出席者が存在する方向を特定し、受音部１０４より送信された各マイクロフォン毎の音情報から特定された方向に対応する音情報を抽出あるいは生成する。
【００５７】
尚、受音信号再生部１０９による存在方向の特定の仕方は、上記した図２または図３の受音方向決定部１０５による存在方向の特定方法と同様である。
【００５８】
受音信号再生部１０９は、顔領域検出部１０８により送信された顔領域位置情報に基づいて、抽出あるいは生成した音情報を表示装置１０７に表示される送話側の各出席者の顔領域付近から各出席者に対応する音情報が発せられているように音情報を制御し、スピーカ１０６から該音情報を出力する。
【００５９】
本発明の実施形態に係る各部構成は上述の実施形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能である。例えば、上述の実施形態では、受音方向決定部１０５は送話処理部１０１に備えられ、顔領域検出部１０６および受音信号再生部１０７は受話処理部１０２に備えれた構成としているが、これらを送話処理部１０１および受話処理部１０２のどちらに備えるかは適宜選択可能である。
【００６０】
さらに、上述した本発明に係る実施形態におけるハンズフリーテレビ電話装置１０
０を構成する受音方向決定部１０５、顔領域検出部１０８および受音信号再生部１０９は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩなどで実現でき、ソフトウェア的には、メモリにロードされたプログラムなどによっても実現できる。言うまでもなく、ハードウェアとソフトウェアを組み合わせて実現することもできる。
【００６１】
以上のように、上述のハンズフリーテレビ電話装置１００は、顔領域検出部１０８が、カメラ１０３によって撮影された送話側会議風景の映像情報から会議に参加している人物の顔領域位置情報を算出する。
【００６２】
ハンズフリーテレビ電話装置１００が図２に示す構成を取る場合は、受音方向決定部１０５が、該顔領域位置情報、カメラのズーム倍率およびカメラの向きに基づいて送話側の会議参加者の存在方向を特定し、受音部１０４が該方向からの音情報を取得する。このとき、カメラ１０３のズーム倍率に応じて音量レベルを増減させて音情報を取得する。受音信号再生部１０９は、顔領域位置情報に基づいて、表示装置１０７に表示される送話側会議参加者の顔位置付近に取得した音情報を結像させる。
【００６３】
ハンズフリーテレビ電話装置１００が図１０に示す構成を取る場合は、受音部１０４は複数の無指向性マイクロフォンにより全方位の方向から音情報を取得する。受音信号再生部１０９は前記顔領域位置情報、カメラ１０３のズーム倍率およびカメラ１０３の向きに基づいて、送話側の会議参加者の存在方向を特定する。次に、受音信号再生部１０９は、取得した音情報を加工し、各会議参加者の存在方向からの音情報を生成する。次に、受音信号再生部１０９は、表示装置１０７に表示される各送話側会議出席者の顔位置付近に、各参加者に対応する生成した音情報を結像する。この際、カメラ１０３のズーム倍率に応じて音量レベルを増減させて音情報を結像する。
【００６４】
これにより、受話側の会議出席者は、送話側の会議出席者があたかも受話側の表示装置から音情報を発していると感じることができる。即ち、ハンズフリーテレビ電話装置によると、受話側において、送話側の会議参加者が音声や音を発している状況をできるだけ忠実に再現でき、より臨場感溢れる空間を創造することができる。
【図面の簡単な説明】
【００６５】
【図１】実施の形態に係るハンズフリーテレビ電話をテレビ会議に利用する場合の構成の概略を示す図である。
【図２】実施の形態に係るハンズフリーテレビ電話装置の構成を示す図である。
【図３】実施の形態に係るハンズフリーテレビ電話装置を用いてテレビ会議を行う場合の構成およびデータの流れを示す図である。
【図４】実施の形態に係るハンズフリーテレビ電話装置が備える顔領域検出部が算出する顔領域位置情報を示す図である。
【図５】実施の形態に係るハンズフリーテレビ電話装置において、人物の顔領域位置情報およびカメラのズーム倍率と人物の存在方向の関係を説明する図である。
【図６】実施の形態に係るハンズフリーテレビ電話装置において、顔領域位置情報からカメラのズーム倍率および向きを考慮して受音方向を特定するまでの流れを示す図である。
【図７】実施の形態に係るハンズフリーテレビ電話装置において、音情報の制御方法を説明するため図である。
【図８】実施の形態に係るハンズフリーテレビ電話装置において、音情報の制御方法を説明するため図である。
【図９】実施の形態に係るハンズフリーテレビ電話装置の第２の構成を示す図である。
【図１０】実施の形態に係るハンズフリーテレビ電話装置の第３の構成を示す図である。
【図１１】実施の形態に係る第３の構成のハンズフリーテレビ電話装置を用いてテレビ会議を行う場合の構成およびデータの流れを示す図である。
【符号の説明】
【００６６】
１００  ハンズフリーテレビ電話装置
１０１  送話処理部
１０２  受話処理部
１０３  カメラ  
１０４  受音部
１０５  受音方向決定部
１０６  スピーカ
１０７  表示装置
１０８  顔領域検出部
１０９  受音信号再生部
【図１】
2006339869.tif 000003
【図２】
2006339869.tif 000004
【図３】
2006339869.tif 000005
【図４】
2006339869.tif 000006
【図５】
2006339869.tif 000007
【図６】
2006339869.tif 000008
【図７】
2006339869.tif 000009
【図８】
2006339869.tif 000010
【図９】
2006339869.tif 000011
【図１０】
2006339869.tif 000012
【図１１】
2006339869.tif 000013