(57)【要約】本発明の代表的な形態は、プロセッサ、メモリ及びインタフェースを備える第１通信装置と、プロセッサ、メモリ及びインタフェースを備え、前記第１通信装置に接続される第２通信装置と、を備える通信システムであって、第１通信装置は、特定の方向からの音声を取得する指向性マイクを備え、音源の位置を特定し、前記特定された音源の位置からの音声が取得されるように、前記指向性マイクの指向性を制御し、前記指向性マイクによって取得された音声及び前記特定された音源の位置を、前記第２通信装置に送信し、前記第２通信装置は、前記送信された音源の位置に基づいて音像を定位させて、前記送信された音声を出力することを特徴とする。
2007122729.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサ、メモリ及びインタフェースを備える第１通信装置と、プロセッサ、メモリ及びインタフェースを備え、前記第１通信装置に接続される第２通信装置と、を備える通信システムであって、
第１通信装置は、
特定の方向からの音声を取得する指向性マイクを備え、
音源の位置を特定し、
前記特定された音源の位置からの音声が取得されるように、前記指向性マイクの指向性を制御し、
前記指向性マイクによって取得された音声及び前記特定された音源の位置を、前記第２通信装置に送信し、
前記第２通信装置は、
前記送信された音源の位置に基づいて音像を定位させて、前記送信された音声を出力することを特徴とする通信システム。
【請求項２】
請求項１に記載の通信システムであって、
前記第１通信装置は、
複数のマイクを含むマイクアレイを備え、
前記マイクアレイによって取得された音声に基づいて、当該マイクアレイを基点とする音源の方向を推定し、
前記推定された音源の方向に基づいて、音源の位置を特定することを特徴とする。
【請求項３】
請求項１に記載の通信システムであって、
前記第１通信装置は、
映像を撮影するカメラを備え、
前記カメラによって撮影された映像に基づいて、当該カメラを基点とする音源の方向を推定し、
前記推定された音源の方向に基づいて、音源の位置を特定することを特徴とする。
【請求項４】
請求項１に記載の通信システムであって、
前記第１通信装置は、
複数のマイクを含むマイクアレイと、映像を撮影するカメラと、を備え、
前記マイクアレイによって取得された音声に基づいて、当該マイクアレイを基点とする音源の方向を推定し、
前記カメラによって撮影された映像に基づいて、当該カメラを基点とする音源の方向を推定し、
前記推定されたマイクアレイを基点とする音源の方向及び前記推定されたカメラを基点とする音源の方向に基づいて、音源の位置を特定することを特徴とする。
【請求項５】
請求項１に記載の通信システムであって、
前記第１通信装置は、
映像を撮影するカメラを備え、
前記特定された位置が撮影されるように、前記カメラの方向を制御することを特徴とする。
【請求項６】
プロセッサ、メモリ及びインタフェースを備える通信装置であって、
音像を定位して音声を出力する出力装置に接続され、
特定の方向からの音声を取得する指向性マイクを備え、
音源の位置を特定し、
前記特定された音源の位置からの音声が取得されるように、前記指向性マイクの指向性を制御し、
前記特定された音源の位置を音像定位用のデータとして、前記指向性マイクによって取得された音声と共に、前記出力装置に送信することを特徴とする通信装置。
【請求項７】
請求項６に記載の通信装置であって、
更に、複数のマイクを含むマイクアレイを備え、
前記マイクアレイによって取得された音声に基づいて、当該マイクアレイを基点とする音源の方向を推定し、
前記推定された音源の方向に基づいて、音源の位置を特定することを特徴とする。
【請求項８】
請求項６に記載の通信装置であって、
更に、映像を撮影するカメラを備え、
前記カメラによって撮影された映像に基づいて、当該カメラを基点とする音源の方向を推定し、
前記推定された音源の方向に基づいて、音源の位置を特定することを特徴とする。
【請求項９】
請求項６に記載の通信装置であって、
更に、複数のマイクを含むマイクアレイと、映像を撮影するカメラと、を備え、
前記マイクアレイによって取得された音声に基づいて、前記マイクアレイを基点とする音源の方向を推定し、
前記カメラによって撮影された映像に基づいて、前記カメラを基点とする音源の方向を推定し、
前記推定されたマイクアレイを基点とする音源の方向及び前記推定されたカメラを基点とする音源の方向に基づいて、音源の位置を特定することを特徴とする。
【請求項１０】
請求項６に記載の通信装置であって、
映像を撮影するカメラを備え、
前記特定された位置が撮影されるように、前記カメラの方向を制御することを特徴とする。
【請求項１１】
プロセッサ、メモリ及びインタフェースを備える音源方向特定装置であって、
複数のマイクを含むマイクアレイと、特定の方向からの音声を取得する指向性マイクと、を備え、
前記マイクアレイによって取得された音声に基づいて、音源の方向を推定し、
前記推定された音源の方向からの音声が取得されるように、前記指向性マイクの指向性を制御することを特徴とする音源方向特定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１通信装置及び第２通信装置を備える通信システムに関し、特に、参加者の音声を収集する技術に関する。
【背景技術】
【０００２】
近年、インターネットのブロードバンド化が進み、広帯域データ通信を利用したアプリケーションが普及しつつある。例えば、コミュニケーション分野では、画像及び音声を利用したテレビ会議システムが普及しつつある。テレビ会議システムで円滑な会議を行うためには、参加者の発言のニュアンスを伝えることが重要となる。そのため、テレビ会議システムでは、臨場感を伝えることが重要となる。
また、テレビビデオ装置が、特開２０００−３１２３３６号公報に開示されている。このテレビビデオ装置は、録画を入力する入力手段と、入力された録画を再生する映像再生手段と、人物の顔を撮影する撮影手段と、前記映像再生手段の人物の顔画像をデジタル解析して顔画像データを保存する映像録画手段と、画像変更を指示する画像変更手段と、前記映像再生手段の人物の顔画像を、前記撮影手段で撮影した顔画像に変更して編集処理をする画像編集処理手段と、顔の変更された録画を表示する映像表示手段と、その音声を出力する映像音声手段と、を備える。
また、動画像における動作の認証方法が、特開２００５−０９２３４６号公報に開示されている。当該認証方法では、立体高次局所自己相関特徴抽出方式によって、動画像の３次元データから特徴データを抽出する。次に、多変量解析などの統計的手法によって、抽出された特徴データを変換して、新たな特徴データを生成する。そして、生成された特徴データと登録データとを比較することによって、動作を認証する。
【発明の開示】
【０００３】
従来のテレビ会議システムでは、会議の参加者は、固定マイクを利用する。しかし、参加者が移動する場合、従来のテレビ会議システムでは、参加者の音声を拾い切れないという問題があった。
そこで、参加者がワイヤレスマイクを利用することも考えられる。しかし、ワイヤレスマイクの電波状態は、目に見えず不安定である。そのため、参加者がワイヤレスマイクを利用したとしても、テレビ会議システムは、必ずしも安定した音声で通信できるとは限らない。
また、従来のテレビ会議システムは、受信した画像及び音声を固定的に再生する。そのため、従来のテレビ会議システムでは、参加者は、画像と音声との不一致によって、違和感を覚える。
本発明は、前述した問題点に鑑みてなされたものであって、臨場感のある通信システムを提供することを目的とする。
本発明の代表的な形態は、プロセッサ、メモリ及びインタフェースを備える第１通信装置と、プロセッサ、メモリ及びインタフェースを備え、前記第１通信装置に接続される第２通信装置と、を備える通信システムであって、第１通信装置は、特定の方向からの音声を取得する指向性マイクを備え、音源の位置を特定し、前記特定された音源の位置からの音声が取得されるように、前記指向性マイクの指向性を制御し、前記指向性マイクによって取得された音声及び前記特定された音源の位置を、前記第２通信装置に送信し、前記第２通信装置は、前記送信された音源の位置に基づいて音像を定位させて、前記送信された音声を出力することを特徴とする。
本発明の代表的な形態によれば、臨場感のあるコミュニケーション環境を提供できる。
【図面の簡単な説明】
【０００４】
第１図は、本発明の第１の実施の形態の通信システムの構成図である。
第２図は、本発明の第１の実施の形態の通信システムに備わる送受信部のブロック図である。
第３図は、本発明の第１の実施の形態の音源方向推定部の処理のフローチャートである。
第４図は、本発明の第１の実施の形態の音源の方向の説明図である。
第５図は、本発明の第１の実施の形態の雑音低減部の処理のフローチャートである。
第６図は、本発明の第１の実施の形態の通信処理部のパケット送信処理の説明図である。
第７図は、本発明の第１の実施の形態の定位処理部の処理のフローチャートである。
【発明を実施するための最良の形態】
【０００５】
以下、本発明の実施の形態を図面を参照して説明する。
（第１の実施の形態）
第１図は、本発明の第１の実施の形態の通信システムの構成図である。
第１図では、講堂１及び会議室２に設置される通信システムを説明する。講堂１及び会議室２は、互いに離れた場所に存在する。
講堂１は、演壇４及び客席を含む。演壇４では、講演者５Ａ及び５Ｂが移動しながら講演する。客席では、視聴者９Ａが講演を視聴する。また、視聴者９Ａは、会議室２の様子も視聴できる。一方、会議室では、視聴者９Ｂが講演を視聴する。
講堂１には、マイクアレイ６Ａ、指向性マイク７Ａ、７Ｂ、カメラ８Ａ、ディスプレイ１０Ａ、スピーカ１２Ａ、１２Ｂ及び送受信部１１Ａが設置される。一方、会議室２には、マイクアレイ６Ｂ、ディスプレイ１０Ｂ、スピーカ１２Ｃ、１２Ｄ及び送受信部１１Ｂが設置される。
マイクアレイ６Ａ及び６Ｂは、複数のマイクを含む。マイクアレイ６Ａに含まれるマイクは、第１図の横方向（ｘ軸方向）にマイク間隔ｄで並んでいる。同様に、マイクアレイ６Ｂに含まれるマイクも、第１図の縦方向（ｙ軸方向）にマイク間隔ｄで並んでいる。
指向性マイク７Ａ及び７Ｂは、特定の方向から発せられた音声を取得する。送受信部１１Ａは、マイクアレイ６Ａによって取得された音声及びカメラ８Ａによって撮影された映像を参照して、指向性マイク７Ａ及び７Ｂの方向を制御する。例えば、送受信部１１Ａは、指向性マイク７Ａを、講演者５Ａ又は講演者５Ｂの一方の方向に向ける。同様に、送受信部１１Ａは、指向性マイク７Ｂを、講演者５Ａ又は講演者５Ｂの方向に向ける。これによって、指向性マイク７Ａ及び７Ｂは、講演者５Ａ及び５Ｂの音声を取得できる。
カメラ８Ａ及び８Ｂは、映像を撮影する。具体的には、カメラ８Ａは、講堂１の演壇４の映像を撮影する。送受信部１１Ａは、マイクアレイ６Ａによって取得された音声及びカメラ８Ａによって撮影された映像を参照して、カメラ８Ａの方向を制御する。例えば、送受信部１１Ａは、カメラ８Ａを、講演者５Ａ又は講演者５Ｂの方向に向ける。これによって、カメラ８Ａは、講演者５Ａ及び講演者５Ｂの少なくとも一方を撮影できる。
一方、カメラ８Ｂは、会議室２の映像を撮影する。送受信部１１Ｂは、マイクアレイ６Ｂによって取得された音声及びカメラ８Ｂによって撮影された映像を参照して、カメラ８Ｂの方向を制御する。例えば、送受信部１１Ｂは、カメラ８Ｂを、視聴者９Ｂの方向に向ける。これによって、カメラ８Ｂは、視聴者９Ｂを撮影できる。
ディスプレイ１０Ａは、会議室２に設置されたカメラ８Ｂによって撮影された映像を表示する。これによって、講堂１に居る視聴者９Ａは、会議室２の映像を見ることができる。一方、ディスプレイ１０Ｂは、講堂１に設置されたカメラ８Ａによって撮影された映像を表示する。これによって、会議室２に居る視聴者９Ｂは、講堂１の映像を見ることができる。
スピーカ１２Ａ及び１２Ｂは、会議室に設置されたマイクアレイ６Ｂによって取得された音声を出力する。これによって、講堂に居る視聴者９Ａは、会議室２の音声を聴くことができる。このとき、送受信部１１Ａは、スピーカ１２Ａ及び１２Ｂからの音声の出力タイミングを制御することによって、音像定位処理を行う。なお、音像定位の効果をもたらすために、スピーカ１２Ａ及びスピーカ１２Ｂは、スクリーン１０Ａの中心線から等距離に配置されるのが望ましい。
一方、スピーカ１２Ｃ及び１２Ｄは、講堂１によって設置されたマイクアレイ６Ｂ及び指向性マイク７Ａ、７Ｂのうち少なくとも一つによって取得された音声を出力する。これによって、会議室２に居る視聴者９Ｂは、講堂１の音声を聴くことができる。このとき、送受信部１１Ｂは、スピーカ１２Ｃ及び１２Ｄからの音声の出力タイミングを制御することによって、音像定位処理を行う。なお、音像定位の効果をもたらすために、スピーカ１２Ｃ及びスピーカ１２Ｄは、スクリーン１０Ｂの中心線から等距離に配置されるのが望ましい。
送受信部１１Ａと送受信部１１Ｂとは、通信回線３によって接続される。通信回線３は、デジタル信号をリアルタイムに伝送できるものであれば、なんでもよい。例えば、通信回線３は、ＬＡＮ（Ｌｏａｃｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、専用回線、公衆回線又は無線通信回線などである。
送受信部１１Ａ及び１１Ｂは、マイクアレイ６Ａ、６Ｂ及び指向性マイク７Ａ、７Ｂによって取得された音声を送受信する。また、送受信部１１Ａ及び１１Ｂは、カメラ８Ａ及び８Ｂによって撮影された映像を送受信する。また、送受信部１１Ａ及び１１Ｂは、指向性マイク７Ａ、７Ｂの方向及びカメラ８Ａ、８Ｂの方向を制御する。更に、送受信部１１Ａ及び１１Ｂは、音像定位処理を行う。なお、送受信部１１Ａ及び１１Ｂについては、第２図で詳細を説明する。
なお、第１の実施の形態の通信システムは、いかなる場所に設置されてもよい。例えば、通信システムは、二つの講堂に設置されてもよいし、二つの会議室に設置されてもよい。
第２図は、本発明の第１の実施の形態の通信システムに備わる送受信部１１のブロック図である。
送受信部１１は、雑音低減部２０、音源方向推定部２１、音声処理部２２、話者位置特定部２３、映像処理部２４、通信処理部２５、人物抽出部２６、画面内位置特定部２７、位置制御部２８及び定位処理部２９を備える。
なお、送受信部１１は、プロセッサ、メモリ及びインタフェースを備える。送受信部１１に備わるプロセッサは、メモリに記憶されるプログラムを実行することによって、雑音低減部２０、音源方向推定部２１、音声処理部２２、話者位置特定部２３、映像処理部２４、通信処理部２５、人物抽出部２６、画面内位置特定部２７、位置制御部２８及び定位処理部２９を実現する。
送受信部１１に備わるメモリは、プロセッサによって実行される情報及びプロセッサに必要とされる情報等を記憶する。送受信部１１に備わるインタフェースは、マイクアレイ６、指向性マイク７、カメラ８及びスピーカ１２と接続する。更に、送受信部１１に備わるインタフェースは、通信回線３を介して、他の送受信部１１と接続する。
雑音低減部２０は、指向性マイク７によって取得された音声信号から、話者音声信号を抽出する。本実施の形態では、話者は、講演者５Ａ、５Ｂ及び視聴者９Ｂである。なお、雑音低減部２０は、話者音声信号の代わりに、雑音低減信号を算出してもよい。雑音低減信号は、指向性マイク７によって取得された音声信号に含まれる雑音が低減された信号である。なお、雑音低減部２０の処理については、第５図で詳細を説明する。
音源方向推定部２１は、マイクアレイ６によって取得された音声信号の位相差及び強度に基づいて、音源の方向を推定する。複数の音源が存在する場合、音源方向推定部２１は、当該複数の音源のそれぞれの方向を推定する。なお、音源方向推定部２１の処理については、第３図で詳細を説明する。
音声処理部２２は、雑音低減部２０によって抽出された話者音声を、通信回線３の特性に対応する信号に変換する。例えば、音声処理部２２は、雑音低減部２０によって抽出された話者音声に対して、符号化等の処理を行う。
映像処理部２４は、カメラ８によって撮影された映像を、通信回線３の特性に対応する信号に変換する。例えば、映像処理部２４は、カメラ８によって撮影された映像に対して、符号化等の処理を行う。
人物抽出部２６は、カメラ８によって撮影された映像から、当該映像に映っている人物の領域を抽出する。本実施の形態では、人物は、講演者５Ａ、５Ｂ及び視聴者９Ｂである。なお、人物抽出部２６は、一般的な方法で、カメラ８によって撮影された映像から、人物の領域を抽出する。例えば、人物の領域の抽出方法は、「画像系列からの人物領域の抽出（玉木徹、山村毅、大西昇：電気学会論、文誌、Ｃ分冊、ｖｏｌ．１１９−Ｃ、Ｎｏ．１、ｐｐ．３７−４３）」に開示されている。
画面内位置特定部２７は、カメラ８によって撮影された映像内における、人物抽出部２６によって抽出された人物の領域の位置を特定する。更に、画面内位置特定部２７は、映像内における人物の領域の位置及びカメラ８の現在の向きに基づいて、カメラ８を基点とする人物の方向を推定する。
話者位置特定部２３は、音源方向推定部２１によって推定されたマイクアレイ６を基点とする音源の方向、及び画面内位置特定部２７によって推定されたカメラ８を基点とする人物の方向に基づいて、話者の位置を特定する。
具体的には、話者位置特定部２３は、数式（１）及び数式（２）を用いて、話者の位置（ｘ，ｙ）を特定する。
ｘ＝ｔａｎθ／（ｔａｎφ−ｔａｎθ）・・・（１）
ｙ＝（ｔａｎθ×ｔａｎφ）／（ｔａｎφ−ｔａｎθ）・・・（２）
なお、本実施の形態では、第１図の横方向をｘ軸とし、第１図の縦方向をｙ軸とする。また、講堂１においては、特定の視聴者９Ａの位置を原点とする。同様に、会議室２においては、特定の視聴者９Ｂの位置を原点とする。
また、θは、マイクアレイ６を基点とする音源の方向である。具体的には、θは、マイクアレイ６と音源とを結ぶ直線と、ｘ軸と、の角度である。また、φは、カメラ８を基点とする音源の方向である。具体的には、φは、カメラ８と人物（音源）とを結ぶ直線と、ｘ軸と、の角度である。
位置制御部２８は、話者位置特定部２３によって特定させた話者の位置に基づいて、指向性マイク７及びカメラ８の方向を制御する。具体的には、位置制御部２８は、話者位置特定部２３によって特定させた話者の位置からの音声が取得されるように、指向性マイク７の方向を制御する。これによって、指向性マイク７は、話者が発した音声を明確に取得できる。また、位置制御部２８は、話者位置特定部２３によって特定させた話者の位置が撮影されるように、カメラ８の方向を制御する。これによって、カメラ８は、話者を的確に撮影できる。
なお、位置制御部２８は、話者の位置でなく、音源方向推定部２１によって推定された音源の方向からの音声が取得されるように、指向性マイク７の方向を制御してもよい。他にも、位置制御部２８は、画面内位置特定部２７によって特定された人物の方向からの音声が取得されるように、指向性マイク７の方向を制御してもよい。
同様に、位置制御部２８は、音源方向推定部２１によって推定された音源の方向が撮影されるように、カメラ８の方向を制御してもよい。他にも、位置制御部２８は、画面内位置特定部２７によって特定された人物の方向が撮影されるように、カメラ８の方向を制御してもよい。
通信処理部２５は、他の送受信部１１に備わる通信処理部２５と通信回線３を介して通信する。具体的には、通信処理部２５は、音声処理部２２によって変換された音声信号、映像処理部２４によって変換された映像信号、及び話者位置特定部２３によって特定された話者の位置を送受信する。例えば、通信処理部２５は、音声処理部２２によって変換された音声信号、映像処理部２４によって変換された映像信号、及びを話者位置特定部２３によって特定された話者の位置を、一つのパケットに含めて送信する。なお、通信処理部２５のパケット送信処理については、第６図で詳細を説明する。
また、通信処理部２５は、受信したパケットから、音声信号、映像信号及び話者の位置をそれぞれ抽出する。
映像処理部２４は、通信処理部２５が受信した映像信号を復号化する。そして、映像処理部２４は、復号化された映像をディスプレイ１０から出力する。また、音声処理部２２は、通信処理部２５が受信した音声信号を復号化する。そして、音声処理部２２は、復号化された音声信号を定位処理部２９に引き渡す。
定位処理部２９は、通信処理部２５が受信した話者の位置に基づいて、音声処理部２２から受け取った音声信号に対して音像定位処理を行う。つまり、定位処理部２９は、音声処理部２２から受け取った音声の音像を定位して、スピーカ１２から出力する。
第３図は、本発明の第１の実施の形態の音源方向推定部２１の処理のフローチャートである。
音源方向推定部２１は、マイクアレイ６によって取得された音声信号を、デジタル信号に変換する（Ｓ４１）。
次に、音源方向推定部２１は、マイクアレイ６に含まれる複数のマイクによって取得された音声信号の時間差Δｔを求める。具体的には、音源方向推定部２１は、以下の数式（３）を満たす時間差Δｔを算出する（Ｓ４２）。
Ｍ＿ｎ（ｔ）≒αＭ＿ｋ（ｔ＋Δｔ）・・・（３）
なお、ｎ及びｋは、マイクアレイ６に含まれるマイクを右又は左から数えた順番である。Ｍ＿ｎ（ｔ）は、時刻ｔにおいて、マイクアレイ６に含まれるｎ番目のマイクによって取得された音声信号である。同様に、Ｍ＿ｋ（ｔ＋Δｔ）は、時刻ｔ＋Δｔにおいて、マイクアレイ６に含まれるｋ番目のマイクによって取得された音声信号である。αは、Ｍ＿ｎ（ｔ）に対応する信号の振幅とＭ＿ｋ（ｔ＋Δｔ）に対応する信号の振幅との比である。
次に、音源方向推定部２１は、数式（４）を満たすような、マイクアレイ６を基点とする音源の方向θを算出する（Ｓ４３）。なお、マイクアレイ６を基点とする音源の方向θについては、第４図で詳細を説明する。
ｄ＋ｖ＿ａ×ｔ×ｃｏｓθ≒ｖ＿ａ×（ｔ＋Δｔ）×ｃｏｓθ・・・（４）
ｄは、マイクアレイ６のマイク間隔である。ｖ＿ａは、空気中の音声速度である。そして、音源方向推定部２１は、本処理を終了する。
以上のように、音源方向推定部２１は、音源の方向θを算出する。
第４図は、本発明の第１の実施の形態の音源の方向θの説明図である。
マイクアレイ６Ａを基点とする音源の方向θは、マイクアレイ６Ａに含まれるマイクが並んでいる直線と、マイクアレイ６Ａと音源とを結ぶ直線と、の角度である。つまり、マイクアレイ６Ａを基点とする音源の方向θは、マイクアレイ６Ａと音源とを結ぶ直線と、ｘ軸と、の角度である。これによって、音源方向推定部２１は、数式（４）を用いて、音源の方向θを算出できる。
第５図は、本発明の第１の実施の形態の雑音低減部２０の処理のフローチャートである。
まず、雑音低減部２０は、指向性マイク７によって取得された音声信号Ｍ＿ｇ（ｔ）を受信する（Ｓ５１）。
次に、雑音低減部２０は、指向性マイク７によって取得された音声信号Ｍ＿ｇ（ｔ）に、音声帯域フィルタを通す（Ｓ５２）。音声帯域フィルタは、音声帯域の信号のみを通すフィルタである。これによって、雑音低減部２０は、話者音声信号Ａ＿ｓ（ｔ）を取得する。
次に、雑音低減部２０は、数式（５）を用いて、雑音信号Ｎ（ｔ）を求める。
Ｎ（ｔ）＝Ｍ＿ｇ（ｔ）−Ａ＿ｓ（ｔ）・・・（５）
次に、雑音低減部２０は、数式（６）を用いて、雑音低減信号Ａ＿ｒ（ｔ）を求める（Ｓ５３）。
Ａ＿ｒ（ｔ）＝Ｍ＿ｇ（ｔ）−ｋ×Ｎ（ｔ）・・・（６）
ただし、ｋは、ユーザに予め設定される定数である。なお、雑音低減信号Ａ＿ｒ（ｔ）は、指向性マイク７によって取得された音声信号Ｍ＿ｇ（ｔ）に含まれる雑音が低減された信号である。つまり、雑音低減信号Ａ＿ｒ（ｔ）は、話者音声信号Ａ＿ｓ（ｔ）と低減された雑音信号Ｎ（ｔ）とが合わさった信号である。
そして、雑音低減部２０は、本処理を終了する。
なお、雑音低減部２０は、雑音低減信号Ａ＿ｒ（ｔ）及び話者音声信号Ａ＿ｓ（ｔ）のうち少なくとも一方を求めればよい。雑音低減部２０が話者音声信号Ａ＿ｓ（ｔ）のみを求める場合には、ステップＳ５３は省略される。
第６図は、本発明の第１の実施の形態の通信処理部２５のパケット送信処理の説明図である。
まず、通信処理部２５は、音声処理部２２によって変換された音声信号を、音声キュー１１１に格納する。また、通信処理部２５は、映像処理部２４によって変換された映像信号を、映像キュー１１２に格納する。また、通信処理部２５は、話者位置特定部２３によって特定された話者の位置情報を、データキュー１１３に格納する。なお、音声キュー１１１、映像キュー１１２及びデータキュー１１３は、送受信部１１に備わるメモリの一部が使用される。
一方、通信処理部２５は、音声キュー１１１から、音声信号を順番に抽出する。また、通信処理部２５は、映像キュー１１２から、映像信号を順番に抽出する。更に、通信処理部２５は、データキュー１１３から、話者の位置情報を順番に抽出する（１１４）。
次に、通信処理部２５は、抽出した音声信号、映像信号及び話者の位置情報をパケットに含めることによって、パケットを作成する（１１５）。そして、通信処理部２５は、作成したパケットを、他の送受信部１１に備わる通信処理部２５に送信する（１１６）。
そして、通信処理部２５は、パケット送信処理を終了する。
第７図は、本発明の第１の実施の形態の定位処理部２９の処理のフローチャートである。
まず、定位処理部２９は、通信処理部２５が受信した話者の位置（ｘ，ｙ）に基づいて、話者の方向ψを算出する。具体的には、定位処理部２９は、数式（７）を用いて、話者の方向ψを算出する（Ｓ６１）。なお、話者の方向ψは、特定の視聴者９Ｂを基点とする、画面１０Ｂに映る講演者５Ａ又は５Ｂの方向である。
ψ＝ａｃｏｓ（ｘ／√（ｘ２＋ｙ２））・・・（７）
次に、定位処理部２９は、数式（８）を用いて、遅延時間Δｕを算出する（Ｓ６２）。
Δｕ＝（ｄ＿ｓｐ×ｃｏｓψ）／ｖ＿ａ・・・（８）
なお、ｄ＿ｓｐは、スピーカ１２間の距離である。講堂１においては、ｄ＿ｓｐは、スピーカ１２Ａとスピーカ１２Ｂとの間の距離である。また、会議室２においては、ｄ＿ｓｐは、スピーカ１２Ｃとスピーカ１２Ｄとの間の距離である。
次に、定位処理部２９は、音声処理部２２から受け取った音声の音像を定位して、スピーカ１２から出力する（Ｓ６３）。このとき、定位処理部２９は、二つのスピーカ１２のうちの一方から出力される音声を、遅延時間Δｕだけ遅延させる。
まずは、講堂１における音像定位処理について説明する。まず、定位処理部２９は、話者の方向ψがπ／２以下であるか否かを判定する。話者の方向ψがπ／２以下の場合、定位処理部２９は、講堂１の左側に設置されているスピーカ１２Ａから出力される音声を、遅延時間Δｕだけ遅延させる。一方、話者の方向ψがπ／２より大きい場合、定位処理部２９は、講堂１の右側に設置されているスピーカ１２Ｂから出力される音声を、遅延時間Δｕだけ遅延させる。
次に、会議室２における音像定位処理について説明する。まず、定位処理部２９は、話者の方向ψがπ／２以下であるか否かを判定する。話者の方向ψがπ／２以下の場合、定位処理部２９は、会議室２の左側に設置されているスピーカ１２Ｃから出力される音声を、遅延時間Δｕだけ遅延させる。一方、話者の方向ψがπ／２より大きい場合、定位処理部２９は、会議室２の右側に設置されているスピーカ１２Ｄから出力される音声を、遅延時間Δｕだけ遅延させる。
以上のように、本発明の実施の形態では、送受信部１１は、話者（音源）の位置を特定する。そして、送受信部１１は、特定した話者の位置に基づいて、指向性マイク７及びカメラ８の方向の制御、並びに音像定位を行う。
【産業上の利用可能性】
【０００６】
本発明は、テレビ会議システムに適用できる。
【図１】
2007122729.tif 000003
【図２】
2007122729.tif 000004
【図３】
2007122729.tif 000005
【図４】
2007122729.tif 000006
【図５】
2007122729.tif 000007
【図６】
2007122729.tif 000008
【図７】
2007122729.tif 000009
【国際調査報告】
2007122729.tif 000010
2007122729.tif 000011
2007122729.tif 000012
2007122729.tif 000013