(57)【要約】【課題】テレビ会議システムにおいて、自拠点と通信相手拠点との会話を円滑に進めることができる映像通信装置を提供する。【解決手段】映像通信装置１００であって、マイク１２０に収音された音の音源の位置を示す音源位置情報を生成する音源位置情報生成部１０４と、音源位置情報が示す音源の位置に、音源を示す音源情報が表示されるように、映像に音源情報が付加された映像の映像信号を生成する映像信号生成部１０５と、映像信号生成部１０５が生成した映像信号を映像再生装置３００へ送信する映像信号送信部１０６と、収音信号を映像再生装置３００へ送信する収音信号送信部１０７と、音源からの音の音量を増減する指示を示す制御信号を映像再生装置３００から受信し、収音信号を変化させる収音信号制御部１０８とを備え、収音信号送信部１０７は、さらに、収音信号制御部１０８が変化させた後の収音信号を映像再生装置３００へ送信する。【選択図】図３
2010193017.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置に撮像された映像の映像信号と、収音装置に収音された音の収音信号とを、他の装置へ送信する映像通信装置であって、
前記収音装置に収音された音の音源の位置を示す情報である音源位置情報を生成する音源位置情報生成部と、
生成された前記音源位置情報が示す音源の位置に、前記音源を示す情報である音源情報が表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する映像信号生成部と、
前記映像信号生成部が生成した映像信号を前記他の装置へ送信する映像信号送信部と、
前記収音信号を前記他の装置へ送信する収音信号送信部と、
前記収音装置に収音された前記音源からの音の音量を増減する指示を示す制御信号を前記他の装置から受信し、前記制御信号に従って前記収音信号を変化させる収音信号制御部とを備え、
前記収音信号送信部は、さらに、前記収音信号制御部が変化させた後の収音信号を前記他の装置へ送信する
映像通信装置。
【請求項２】
前記音源位置情報生成部は、複数の音源のそれぞれについて、複数の音源位置情報を生成し、
前記映像信号生成部は、生成された前記複数の音源位置情報が示す音源の位置のそれぞれに、前記複数の音源に対応する音源情報が表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成し、
前記収音信号制御部は、
前記複数の音源のうちの１の音源からの音の音量を増減する指示を示す制御信号を、前記他の装置から受信する制御信号受信部と、
受信された前記制御信号によって示される前記１の音源からの音を収音している収音装置を特定する収音装置特定部と、
前記制御信号によって示される前記１の音源からの音の音量を増減する指示に従って、前記収音装置特定部が特定した収音装置が収音した音の収音信号を変化させる指示を行う制御指示部と、
前記制御指示部の指示に従って、前記収音装置特定部が特定した収音装置が収音した音の収音信号を変化させる収音信号調整部とを備える
請求項１に記載の映像通信装置。
【請求項３】
前記映像信号生成部は、
前記収音信号制御部が変化させた後の収音信号を取得する収音信号取得部と、
取得された前記収音信号から前記音源の音量の分布を示す音圧分布を算出する音圧分布算出部と、
算出された前記音圧分布に基づき、予め定められた一定時間での前記音源ごとの音量の大きさを示す音圧量を算出する音圧量算出部と、
算出された前記音圧量の大きさに応じて前記音源ごとの音源情報が異なって表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する音源情報付加部とを備える
請求項１又は２に記載の映像通信装置。
【請求項４】
前記音源情報付加部は、前記収音信号制御部が前記音源からの音の音量を零にする指示を示す制御信号に従って前記収音信号を変化させた場合、前記音量を零にした音源がいずれの音源かを示す情報が前記音源情報として表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する
請求項３に記載の映像通信装置。
【請求項５】
前記映像信号生成部は、
前記収音信号に基づき、前記音源からの音の種類を識別する音源識別部と、
前記音源識別部の識別結果に基づき、前記音源情報が音の種類ごとに識別して表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する音源情報付加部とを備える
請求項１〜４のいずれか１項に記載の映像通信装置。
【請求項６】
前記音源識別部は、前記音源からの音の種類が話者の音声か否かを識別し、
前記音源情報付加部は、前記音源情報が話者の音声か否かを識別して表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する
請求項５に記載の映像通信装置。
【請求項７】
前記音源識別部は、前記音源ごとに音を認識し、
前記音源情報付加部は、前記音源識別部が認識した音を文字情報にすることで、前記音源情報として前記音源に対応する前記文字情報が表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する
請求項５又は６に記載の映像通信装置。
【請求項８】
さらに、
前記撮像装置の位置である撮像位置を取得する撮像位置取得部と、
前記収音装置の位置である収音位置を取得する収音位置取得部と、
前記撮像位置と前記収音位置とを比較し、前記撮像位置に対する前記収音位置である相対収音位置を特定する相対収音位置特定部とを備え、
前記音源位置情報生成部は、複数の前記相対収音位置のそれぞれに対応する前記収音信号を比較することで、前記撮像位置に対する前記音源の位置を特定し、前記映像中での前記音源の位置を示す情報である前記音源位置情報を生成する
請求項１〜７のいずれか１項に記載の映像通信装置。
【請求項９】
ディスプレイに映像を表示させる表示部と、スピーカに音を再生させる音再生部とを備える映像再生装置であって、
前記表示部は、請求項１に記載の映像通信装置から映像信号を受信して、受信した前記映像信号に基づき、前記音源位置情報が示す音源の位置に前記音源情報が表示された映像を前記ディスプレイに表示させ、
前記音再生部は、前記映像通信装置から収音信号を受信し、受信した前記収音信号に基づき前記スピーカに音を再生させ、
前記映像再生装置は、さらに、
前記音源の中から、前記ディスプレイに表示された映像に基づいてユーザに選択される、音量を増減する音源を取得する音源取得部と、
取得された前記音源について、前記スピーカに再生された音に基づいてユーザに決定される、増減する音量の大きさである音圧変化量を取得する音圧変化量取得部と、
取得された前記音源と前記音圧変化量とから、前記音源からの音の前記音圧変化量の音量を増減する指示を示す制御信号を生成する制御信号生成部と、
生成された前記制御信号を前記映像通信装置へ送信する制御信号送信部とを備える
映像再生装置。
【請求項１０】
撮像装置に撮像された映像の映像信号と、収音装置に収音された音の収音信号との通信を行うテレビ会議システムであって、
請求項１に記載の映像通信装置と、
前記映像通信装置と通信ネットワークを介して接続される、請求項１に記載の他の装置である請求項９に記載の映像再生装置と
を備えるテレビ会議システム。
【請求項１１】
撮像装置に撮像された映像の映像信号と、収音装置に収音された音の収音信号とを、映像通信装置が他の装置へ送信する映像通信方法であって、
前記映像通信装置が、前記収音装置に収音された音の音源の位置を示す情報である音源位置情報を生成する音源位置情報生成ステップと、
前記映像通信装置が、生成された前記音源位置情報が示す音源の位置に、前記音源を示す情報である音源情報が表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する映像信号生成ステップと、
前記映像通信装置が、前記映像信号生成ステップで生成された映像信号を前記他の装置へ送信する映像信号送信ステップと、
前記映像通信装置が、前記収音信号を前記他の装置へ送信する収音信号送信ステップと、
前記映像通信装置が、前記収音装置に収音された前記音源からの音の音量を増減する指示を示す制御信号を前記他の装置から受信し、前記制御信号に従って前記収音信号を変化させる収音信号制御ステップと、
前記映像通信装置が、前記収音信号制御ステップで変化した後の収音信号を前記他の装置へ送信する映像信号再送信ステップと
を含む映像通信方法。
【請求項１２】
撮像装置に撮像された映像の映像信号と、収音装置に収音された音の収音信号とを、映像通信装置が映像再生装置へ送信する映像通信方法であって、
前記映像通信装置が、前記収音装置に収音された音の音源の位置を示す情報である音源位置情報を生成する音源位置情報生成ステップと、
前記映像通信装置が、生成した前記音源位置情報が示す音源の位置に、前記音源を示す情報である音源情報が表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する映像信号生成ステップと、
前記映像通信装置が、生成した前記映像信号を前記映像再生装置へ送信する映像信号送信ステップと、
前記映像通信装置が、前記収音信号を前記映像再生装置へ送信する収音信号送信ステップと、
前記映像再生装置が、前記映像通信装置から映像信号を受信して、受信した前記映像信号に基づき、前記音源位置情報が示す音源の位置に前記音源情報が表示された映像をディスプレイに表示させる表示ステップと、
前記映像再生装置が、前記映像通信装置から収音信号を受信し、受信した前記収音信号に基づきスピーカに音を再生させる再生ステップと、
前記映像再生装置が、前記音源の中から、前記ディスプレイに表示された映像に基づいてユーザに選択される、音量を増減する音源を取得する音源取得ステップと、
前記映像再生装置が、取得された前記音源について、前記スピーカに再生された音に基づいてユーザに決定される、増減する音量の大きさである音圧変化量を取得する音圧変化量取得ステップと、
前記映像再生装置が、取得された前記音源と前記音圧変化量とから、前記音源からの音の前記音圧変化量の音量を増減する指示を示す制御信号を生成する制御信号生成ステップと、
前記映像再生装置が、生成された前記制御信号を前記映像通信装置へ送信する制御信号送信ステップと、
前記映像通信装置が、前記制御信号を前記映像再生装置から受信し、前記制御信号に従って前記収音信号を変化させる収音信号制御ステップと、
前記映像通信装置が、前記収音信号制御ステップで変化した後の収音信号を前記映像再生装置へ送信する映像信号再送信ステップと
を含む映像通信方法。
【請求項１３】
撮像装置に撮像された映像の映像信号と、収音装置に収音された音の収音信号とを、他の装置へ送信するためのプログラムであって、
前記収音装置に収音された音の音源の位置を示す情報である音源位置情報を生成する音源位置情報生成ステップと、
生成された前記音源位置情報が示す音源の位置に、前記音源を示す情報である音源情報が表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する映像信号生成ステップと、
前記映像信号生成ステップで生成された映像信号を前記他の装置へ送信する映像信号送信ステップと、
前記収音信号を前記他の装置へ送信する収音信号送信ステップと、
前記収音装置に収音された前記音源からの音の音量を増減する指示を示す制御信号を前記他の装置から受信し、前記制御信号に従って前記収音信号を変化させる収音信号制御ステップと、
前記収音信号制御ステップで変化した後の収音信号を前記他の装置へ送信する映像信号再送信ステップと
をコンピュータに実行させるプログラム。
【請求項１４】
撮像装置に撮像された映像の映像信号と、収音装置に収音された音の収音信号とを、他の装置へ送信する映像通信装置を制御する集積回路であって、
前記収音装置に収音された音の音源の位置を示す情報である音源位置情報を生成する音源位置情報生成部と、
生成された前記音源位置情報が示す音源の位置に、前記音源を示す情報である音源情報が表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する映像信号生成部と、
前記映像信号生成部が生成した映像信号を前記他の装置へ送信する映像信号送信部と、
前記収音信号を前記他の装置へ送信する収音信号送信部と、
前記収音装置に収音された前記音源からの音の音量を増減する指示を示す制御信号を前記他の装置から受信し、前記制御信号に従って前記収音信号を変化させる収音信号制御部とを備え、
前記収音信号送信部は、さらに、前記収音信号制御部が変化させた後の収音信号を前記他の装置へ送信する
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラに撮像された映像の映像信号と、マイクに収音された音の収音信号とを通信する映像通信装置に関する。
【背景技術】
【０００２】
ＨＤ（High-Definition）カメラや大型ディスプレイの普及に伴い、テレビ会議システムでの音声は高音質になり、またマルチチャンネル化が進んでいる。しかし、マイクに収音された音と、その場で聞いている音には大きな差異がある。つまり、マイクの近くに音源がある場合は、マイクには大きな信号レベルで収音され、マイクの遠くに音源がある場合は、マイクには小さな信号レベルで収音される。そして、テレビ会議システムでの一方の拠点（以下、自拠点という）でこのような信号レベルで収音された音が、テレビ会議システムでの他方の拠点（以下、通信相手拠点という）に伝送される。
【０００３】
このため、自拠点においてマイクの近くで雑音が発生した場合は、通信相手拠点では、耳障りな雑音として聞こえる。また、自拠点においてマイクの遠くで話者が話をした場合は、通信相手拠点では、当該話者の音声が聞き取りづらい。このように、通信相手拠点では、耳障りな雑音が発生したり、音声が聞き取りづらいといった問題が起きてしまう。
【０００４】
ここで、従来、音源を探索し、探索した音源からの音の強さの分布を映像に合わせて表示するシステムが提案されている（例えば、特許文献１参照）。このシステムは、複数のマイクの出力信号の位相差情報を用いて音源の位置を特定し、この際に音源近傍を撮像した映像に、音源からの音の強さの分布を表示する。
【０００５】
この従来のシステムを、テレビ会議システムの自拠点の映像を通信相手拠点に送信する映像通信装置に適用すれば、通信相手拠点に自拠点で発生する音源からの音の強さの分布を表示することができる。このため、通信相手拠点では、自拠点で発生する雑音や聞きづらい音声などの音源の位置を把握することができる。
【特許文献１】国際公開第２００４／０２１０３１号（図１等）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のシステムを適用した映像通信装置では、以下の通り、自拠点と通信相手拠点とが円滑に会話を進めることができないという問題がある。
【０００７】
つまり、従来のシステムを適用した映像通信装置では、通信相手拠点に表示される映像に、自拠点で発生する音源からの音の強さの分布表示を行うにとどまっている。このため、自拠点では、通信相手拠点にとって耳障りな雑音や聞きづらい音声などの音源を把握することができない。したがって、自拠点では、把握できない音源の音を調整することは困難であり、通信相手拠点と円滑に会話を進めることができない。
【０００８】
また、自拠点で雑音や聞きづらい音声などの音源を把握することができたとしても、通信相手拠点でどのように聞こえているか分からないため、通信相手拠点のユーザが希望する音源の音を調整できない可能性がある。また、通信相手拠点からの指示により、自拠点で音源の音を調整する場合でも、自拠点と通信相手拠点とで会話以外のやりとりが必要になるため、自拠点と通信相手拠点とが円滑に会話を進めることができない。
【０００９】
そこで、本発明は、このような問題に鑑みてなされたものであり、テレビ会議システムにおいて自拠点と通信相手拠点との会話を円滑に進めることができる映像通信装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る映像通信装置は、撮像装置に撮像された映像の映像信号と、収音装置に収音された音の収音信号とを、他の装置へ送信する映像通信装置であって、前記収音装置に収音された音の音源の位置を示す情報である音源位置情報を生成する音源位置情報生成部と、生成された前記音源位置情報が示す音源の位置に、前記音源を示す情報である音源情報が表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する映像信号生成部と、前記映像信号生成部が生成した映像信号を前記他の装置へ送信する映像信号送信部と、前記収音信号を前記他の装置へ送信する収音信号送信部と、前記収音装置に収音された前記音源からの音の音量を増減する指示を示す制御信号を前記他の装置から受信し、前記制御信号に従って前記収音信号を変化させる収音信号制御部とを備え、前記収音信号送信部は、さらに、前記収音信号制御部が変化させた後の収音信号を前記他の装置へ送信する。
【００１１】
これによれば、通信相手拠点にある他の装置へ、音源情報が表示された映像の映像信号を出力する。このため、通信相手拠点のユーザが当該音源情報の表示された映像を見て、音源からの音の音量を増減する指示を与えることができる。そして、映像通信装置が、他の装置からの当該指示である制御信号を受信することで、当該音源からの音の音量を増減するように変化させた収音信号を他の装置へ出力する。すなわち、自拠点で雑音や聞きづらい音声などの音源を把握したり当該音源の音を調整したりする必要がなく、通信相手拠点のユーザが希望する音源の音を調整することができる。このため、テレビ会議システムにおいて、自拠点と通信相手拠点との会話を円滑に進めることができる。
【００１２】
また、好ましくは、前記音源位置情報生成部は、複数の音源のそれぞれについて、複数の音源位置情報を生成し、前記映像信号生成部は、生成された前記複数の音源位置情報が示す音源の位置のそれぞれに、前記複数の音源に対応する音源情報が表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成し、前記収音信号制御部は、前記複数の音源のうちの１の音源からの音の音量を増減する指示を示す制御信号を、前記他の装置から受信する制御信号受信部と、受信された前記制御信号によって示される前記１の音源からの音を収音している収音装置を特定する収音装置特定部と、前記制御信号によって示される前記１の音源からの音の音量を増減する指示に従って、前記収音装置特定部が特定した収音装置が収音した音の収音信号を変化させる指示を行う制御指示部と、前記制御指示部の指示に従って、前記収音装置特定部が特定した収音装置が収音した音の収音信号を変化させる収音信号調整部とを備える。
【００１３】
これによれば、通信相手拠点では、複数の音源の音源情報が表示され、通信相手拠点のユーザが、当該複数の音源の中から希望する１の音源の音の音量を増減する指示を与えることができる。そして、映像通信装置が、当該１の音源からの音を収音している収音装置の収音信号を変化させる。これにより、通信相手拠点のユーザが希望する音源の音を調整することができる。このため、テレビ会議システムにおいて、自拠点と通信相手拠点との会話を円滑に進めることができる。
【００１４】
また、好ましくは、前記映像信号生成部は、前記収音信号制御部が変化させた後の収音信号を取得する収音信号取得部と、取得された前記収音信号から前記音源の音量の分布を示す音圧分布を算出する音圧分布算出部と、算出された前記音圧分布に基づき、予め定められた一定時間での前記音源ごとの音量の大きさを示す音圧量を算出する音圧量算出部と、算出された前記音圧量の大きさに応じて前記音源ごとの音源情報が異なって表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する音源情報付加部とを備える。
【００１５】
これによれば、通信相手拠点では、例えば、音量が大きい音源ほど音源情報が大きく表示される。このため、通信相手拠点のユーザが、音量を増減する音源を選択し易くなる。したがって、テレビ会議システムにおいて、自拠点と通信相手拠点との会話を円滑に進めることができる。
【００１６】
また、好ましくは、前記音源情報付加部は、前記収音信号制御部が前記音源からの音の音量を零にする指示を示す制御信号に従って前記収音信号を変化させた場合、前記音量を零にした音源がいずれの音源かを示す情報が前記音源情報として表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する。
【００１７】
これによれば、通信相手拠点では、音量を零にした音源がいずれの音源かを示す情報が音源情報として表示される。このため、通信相手拠点のユーザが、音量を零にした音源がいずれの音源か分かるため、音量を増減する音源を選択し易くなる。したがって、テレビ会議システムにおいて、自拠点と通信相手拠点との会話を円滑に進めることができる。
【００１８】
また、好ましくは、前記映像信号生成部は、前記収音信号に基づき、前記音源からの音の種類を識別する音源識別部と、前記音源識別部の識別結果に基づき、前記音源情報が音の種類ごとに識別して表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する音源情報付加部とを備える。
【００１９】
これによれば、通信相手拠点では、音源情報が音の種類ごとに識別して表示される。このため、通信相手拠点のユーザが、音量を増減する音源を選択し易くなる。したがって、テレビ会議システムにおいて、自拠点と通信相手拠点との会話を円滑に進めることができる。
【００２０】
また、好ましくは、前記音源識別部は、前記音源からの音の種類が話者の音声か否かを識別し、前記音源情報付加部は、前記音源情報が話者の音声か否かを識別して表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する。
【００２１】
これによれば、通信相手拠点では、音源情報が話者の音声か否かを識別して表示される。このため、通信相手拠点のユーザが、例えば、話者以外の音の音量を減少させ、話者の音声の音量を増加させたい場合に、音量を増減する音源を選択し易くなる。したがって、テレビ会議システムにおいて、自拠点と通信相手拠点との会話を円滑に進めることができる。
【００２２】
また、好ましくは、前記音源識別部は、前記音源ごとに音を認識し、前記音源情報付加部は、前記音源識別部が認識した音を文字情報にすることで、前記音源情報として前記音源に対応する前記文字情報が表示されるように、前記映像に前記音源情報が付加された映像の映像信号を生成する。
【００２３】
これによれば、通信相手拠点では、音源ごとに、音源情報として音源に対応する文字情報が表示される。このため、通信相手拠点のユーザが、話者が話した音声や音声以外の音を文字情報として認識することができ、音量を増減する音源を選択し易くなる。したがって、テレビ会議システムにおいて、自拠点と通信相手拠点との会話を円滑に進めることができる。
【００２４】
また、好ましくは、さらに、前記撮像装置の位置である撮像位置を取得する撮像位置取得部と、前記収音装置の位置である収音位置を取得する収音位置取得部と、前記撮像位置と前記収音位置とを比較し、前記撮像位置に対する前記収音位置である相対収音位置を特定する相対収音位置特定部とを備え、前記音源位置情報生成部は、複数の前記相対収音位置のそれぞれに対応する前記収音信号を比較することで、前記撮像位置に対する前記音源の位置を特定し、前記映像中での前記音源の位置を示す情報である前記音源位置情報を生成する。
【００２５】
これによれば、収音位置、撮像位置及び収音信号から、適応ビームフォーマなどを利用して、音源位置情報が自動的に生成される。このため、自拠点で音源位置情報を入力したりする必要がないため、テレビ会議システムにおいて、自拠点と通信相手拠点との会話を円滑に進めることができる。
【００２６】
また、上記目的を達成するために、本発明に係る映像再生装置は、ディスプレイに映像を表示させる表示部と、スピーカに音を再生させる音再生部とを備える映像再生装置であって、前記表示部は、上記に記載の映像通信装置から映像信号を受信して、受信した前記映像信号に基づき、前記音源位置情報が示す音源の位置に前記音源情報が表示された映像を前記ディスプレイに表示させ、前記音再生部は、前記映像通信装置から収音信号を受信し、受信した前記収音信号に基づき前記スピーカに音を再生させ、前記映像再生装置は、さらに、前記音源の中から、前記ディスプレイに表示された映像に基づいてユーザに選択される、音量を増減する音源を取得する音源取得部と、取得された前記音源について、前記スピーカに再生された音に基づいてユーザに決定される、増減する音量の大きさである音圧変化量を取得する音圧変化量取得部と、取得された前記音源と前記音圧変化量とから、前記音源からの音の前記音圧変化量の音量を増減する指示を示す制御信号を生成する制御信号生成部と、生成された前記制御信号を前記映像通信装置へ送信する制御信号送信部とを備える。
【００２７】
これによれば、通信相手拠点にある映像再生装置が、自拠点にある映像通信装置から受信した映像信号と収音信号とから、制御信号を生成し、当該制御信号を映像通信装置へ送信する。つまり、通信相手拠点のユーザが音源からの音の音量を増減する指示を自拠点へ送ることで、通信相手拠点のユーザが希望する音源の音を調整することができる。このため、テレビ会議システムにおいて、自拠点と通信相手拠点との会話を円滑に進めることができる。
【００２８】
なお、本発明は、このような映像通信装置や映像再生装置として実現することができるだけでなく、その映像通信装置と映像再生装置とが通信ネットワークを介して接続されたテレビ会議システムとしても実現することができる。また、映像通信装置、映像再生装置又はテレビ会議システムが備える特徴的な各処理部の処理をステップとする方法として実現したり、各処理部の処理をコンピュータに実行させるプログラムとして実現したり、各処理部の処理を行う集積回路として実現したりすることができる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００２９】
本発明によれば、テレビ会議システムにおいて、自拠点で雑音や聞きづらい音声などの音源を把握したり当該音源の音を調整したりする必要がなく、通信相手拠点のユーザが希望する音源の音を調整することができるため、自拠点と通信相手拠点との会話を円滑に進めることができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態について、図面を参照しながら説明する。
図１は、本発明に係るテレビ会議システム１の概略構成図である。
【００３１】
同図に示すように、テレビ会議システム１は、自拠点１０と通信相手拠点２０とが通信ネットワーク３０を介して映像及び音声の通信を行うシステムである。
【００３２】
自拠点１０は、映像と音とを、通信相手拠点２０へ送信する。つまり、自拠点１０で話者が話した場合などに、話者の映像と音声が通信相手拠点２０へ送信される。ここで、自拠点１０は、映像通信装置１００と映像表示装置２００とを備えている。
【００３３】
映像通信装置１００は、映像の信号と音の信号とを送信する装置である。映像通信装置１００の詳細な説明については、後述する。また、映像表示装置２００は、映像を表示し、音を再生する装置である。
【００３４】
通信相手拠点２０は、自拠点１０から送信される映像と音とを受信し、再生する。つまり、自拠点１０で話者が話した場合などに、通信相手拠点２０では、話者の映像が表示されるとともに話者の音声が再生される。ここで、通信相手拠点２０は、映像再生装置３００と映像表示装置４００とを備えている。
【００３５】
映像再生装置３００は、映像通信装置１００と通信ネットワーク３０を介して接続されており、映像通信装置１００から映像の信号と音の信号とを受信する装置である。映像再生装置３００の詳細な説明については、後述する。また、映像表示装置４００は、映像再生装置３００が受信した映像の信号と音の信号とから、映像を表示し、音を再生する装置である。
【００３６】
図２は、自拠点１０の主要な構成を示す模式図である。
同図に示すように、自拠点１０は、図１に示された映像通信装置１００及び映像表示装置２００の他に、カメラ１１０、マイク１２０、話者が座るためのソファー１４０及びテーブル１５０を備えている。
【００３７】
カメラ１１０は、映像を撮像し、撮像した映像の映像信号である第一映像信号を出力する。なお、カメラ１１０は、特許請求の範囲に記載の「撮像装置」に包含される。
【００３８】
マイク１２０は、音源からの音を収音し、収音した音の収音信号である第一収音信号を出力する。また、ここでは、６個（同図に示す３個と、奥行きに３個）のマイク１２０が備えられている。つまり、映像表示装置２００、ソファー１４０及びテーブル１５０の上にそれぞれ２個ずつのマイク１２０が備えられている。なお、マイク１２０は、特許請求の範囲に記載の「収音装置」に包含される。
【００３９】
このように、自拠点１０のソファー１４０に話者が座り話をすることで、カメラ１１０が話者の映像を撮像し、マイク１２０が話者の音声を収音して、映像通信装置１００が映像の映像信号と音声の収音信号とを、通信相手拠点２０の映像再生装置３００に送信する。
【００４０】
なお、通信相手拠点２０についても、自拠点１０と同様の構成をしているため、通信相手拠点２０の構成の説明は省略する。
【００４１】
次に、映像通信装置１００の詳細について説明する。
図３は、本実施の形態における自拠点１０の映像通信装置１００の機能構成を示すブロック図である。
【００４２】
同図に示すように、映像通信装置１００は、収音位置取得部１０１、撮像位置取得部１０２、相対収音位置特定部１０３、音源位置情報生成部１０４、映像信号生成部１０５、映像信号送信部１０６、収音信号送信部１０７、及び収音信号制御部１０８を備えている。
【００４３】
収音位置取得部１０１は、マイク１２０の位置である収音位置を取得する。
撮像位置取得部１０２は、カメラ１１０の位置である撮像位置を取得する。この撮像位置には、カメラ１１０の向きの情報も含まれる。具体的には、撮像位置取得部１０２は、当該撮像位置をカメラ１１０に入力された情報から取得する。なお、撮像位置取得部１０２は、当該撮像位置を予めユーザから取得してもよい。
【００４４】
相対収音位置特定部１０３は、撮像位置取得部１０２が取得した撮像位置と収音位置取得部１０１が取得した収音位置とを比較し、撮像位置に対する収音位置である相対収音位置を特定する。
【００４５】
音源位置情報生成部１０４は、マイク１２０に収音された音の音源の位置を示す情報である音源位置情報を生成する。つまり、音源位置情報生成部１０４は、複数の音源のそれぞれについて、複数の音源位置情報を生成する。具体的には、音源位置情報生成部１０４は、複数の相対収音位置のそれぞれに対応する収音信号を比較することで、撮像位置に対する音源の位置を特定し、映像中での音源の位置を示す情報である音源位置情報を生成する。
【００４６】
映像信号生成部１０５は、音源位置情報生成部１０４が生成した音源位置情報が示す音源の位置に、音源を示す情報である音源情報が表示されるように、映像に音源情報が付加された映像の映像信号を生成する。具体的には、映像信号生成部１０５は、音源位置情報生成部１０４が生成した複数の音源位置情報が示す音源の位置のそれぞれに、複数の音源に対応する音源情報が表示されるように、映像に音源情報が付加された映像の映像信号を生成する。
【００４７】
つまり、映像信号生成部１０５は、カメラ１１０に撮像された映像の信号である第一映像信号を受信し、当該映像に音源情報が付加された映像の信号である第二映像信号を生成する。映像信号生成部１０５の詳細な説明は、後述する。
【００４８】
映像信号送信部１０６は、映像信号生成部１０５が生成した第二映像信号を、通信ネットワーク３０を介して映像再生装置３００へ送信する。
【００４９】
収音信号制御部１０８は、通信ネットワーク３０を介して、映像再生装置３００から制御信号を受信し、当該制御信号に従って収音信号を変化させる。ここで、制御信号とは、マイク１２０に収音された音源からの音の音量を増減する指示を示す信号である。具体的には、制御信号は、複数の音源のうちの１の音源からの音の音量を増減する指示を示す信号である。
【００５０】
つまり、収音信号制御部１０８は、マイク１２０に収音された音の収音信号である第一収音信号を受信し、当該第一収音信号を変化させて第二収音信号を生成する。収音信号制御部１０８の詳細な説明は、後述する。
【００５１】
収音信号送信部１０７は、通信ネットワーク３０を介して第二収音信号を映像再生装置３００へ送信する。ここで、収音信号制御部１０８が収音信号を変化させる前は、収音信号送信部１０７は、第一収音信号を第二収音信号として送信する。また、収音信号制御部１０８が収音信号を変化させた後は、収音信号送信部１０７は、収音信号制御部１０８が変化させた後の収音信号である第二収音信号を、映像再生装置３００へ送信する。
【００５２】
図４は、映像信号生成部１０５の機能構成を詳細に示すブロック図である。
同図に示すように、映像信号生成部１０５は、収音信号取得部１０５ａ、音圧分布算出部１０５ｂ、音圧量算出部１０５ｃ、音源識別部１０５ｄ、及び音源情報付加部１０５ｅを備えている。
【００５３】
収音信号取得部１０５ａは、収音信号制御部１０８から第二収音信号を取得する。
音圧分布算出部１０５ｂは、収音信号取得部１０５ａが取得した第二収音信号から音源の音量の分布を示す音圧分布を算出する。
【００５４】
音圧量算出部１０５ｃは、音圧分布算出部１０５ｂが算出した音圧分布に基づき、予め定められた一定時間での音源ごとの音量の大きさを示す音圧量を算出する。
【００５５】
音源識別部１０５ｄは、収音信号に基づき、音源からの音の種類を識別する。具体的には、音源識別部１０５ｄは、音源からの音の種類が話者の音声か否かを識別する。
【００５６】
音源情報付加部１０５ｅは、カメラ１１０に撮像された映像の信号である第一映像信号を受信し、当該映像に音源情報が付加された映像の信号である第二映像信号を生成する。具体的には、音源情報付加部１０５ｅは、音圧量算出部１０５ｃが算出した音圧量の大きさに応じて前記音源ごとの音源情報が異なって表示されるように、第二映像信号を生成する。例えば、音源情報付加部１０５ｅは、音圧量が大きい音源ほど、音源情報が大きく又は前記音源情報の色が濃く表示されるように、第二映像信号を生成する。
【００５７】
また、音源情報付加部１０５ｅは、収音信号制御部１０８が音源からの音の音量を零にする指示を示す制御信号に従って収音信号を変化させた場合、音量を零にした音源がいずれの音源かを示す情報が音源情報として表示されるように、第二映像信号を生成する。
【００５８】
さらに、音源情報付加部１０５ｅは、音源識別部１０５ｄの識別結果に基づき、音源情報が音の種類ごとに識別して表示されるように、第二映像信号を生成する。具体的には、音源情報付加部１０５ｅは、音源情報が話者の音声か否かを識別して表示されるように、第二映像信号を生成する。
【００５９】
図５は、収音信号制御部１０８の機能構成を詳細に示すブロック図である。
同図に示すように、収音信号制御部１０８は、制御信号受信部１０８ａ、収音装置特定部１０８ｂ、制御指示部１０８ｃ、収音信号調整部１０８ｄ、及びデータ格納部１０８ｆを備えている。
【００６０】
制御信号受信部１０８ａは、複数の音源のうちの１の音源からの音の音量を増減する指示を示す制御信号を、映像再生装置３００から受信する。
【００６１】
収音装置特定部１０８ｂは、制御信号受信部１０８ａが受信した制御信号によって示される１の音源からの音を収音しているマイク１２０を特定する。具体的には、収音装置特定部１０８ｂは、データ格納部１０８ｆに格納されている収音装置特定データ１０８ｇを更新していくことで、収音装置特定データ１０８ｇから、特定する対象のマイク１２０の情報を取得し、当該マイク１２０を特定する。収音装置特定データ１０８ｇの詳細な説明については、後述する。
【００６２】
制御指示部１０８ｃは、制御信号によって示される１の音源からの音の音量を増減する指示に従って、収音装置特定部１０８ｂが特定したマイク１２０が収音した音の収音信号を変化させる指示を行う。
【００６３】
収音信号調整部１０８ｄは、制御指示部１０８ｃの指示に従って、収音装置特定部１０８ｂが特定したマイク１２０が収音した音の収音信号を変化させる。具体的には、収音信号調整部１０８ｄは、複数のマイク１２０のそれぞれに対応した複数のゲイン調整部１０８ｅを備えている。
【００６４】
つまり、制御指示部１０８ｃの指示に従って、収音装置特定部１０８ｂが特定したマイク１２０に対応するゲイン調整部１０８ｅが、収音信号のゲインを調整することで、当該収音信号を変化させる。なお、マイク１２０は６個備えられているため、収音信号調整部１０８ｄは、６つのゲイン調整部１０８ｅを備えている。
【００６５】
データ格納部１０８ｆは、収音装置特定データ１０８ｇなどを格納している。
図６は、収音装置特定データ１０８ｇの一例を示す図である。
【００６６】
図７は、収音装置特定データ１０８ｇを説明するための図である。なお、同図は、自拠点１０を上から見た図であるが、説明の便宜のため、同図では、映像通信装置１００及びカメラ１１０を省略して図示している。
【００６７】
収音装置特定データ１０８ｇは、収音装置特定部１０８ｂが制御信号によって示される１の音源からの音を収音しているマイク１２０を特定するためのデータである。図６に示すように、収音装置特定データ１０８ｇは、「マイク」、「収音範囲」、及び「音源」などからなる。
【００６８】
「マイク」は、６本のマイク１２０を識別する記号である。つまり、図７に示すように、６本のマイク１２０を、例えば、「Ｘ」の記号で示されるマイク１２０であるマイクＸや、「Ｙ」の記号で示されるマイク１２０であるマイクＹなどと識別する。
【００６９】
図６に戻り、「収音範囲」は、マイク１２０が収音できる範囲である。つまり、図７に示すように、例えば、マイクＸは、範囲ｘの範囲内にある音源からの音を収音できる。
【００７０】
図６に戻り、「音源」は、マイク１２０の収音範囲内に存在する音源を示す記号である。つまり、図７に示すように、例えば、マイクＸの収音範囲である範囲ｘ内には、「Ａ」の記号で示される音源である音源Ａと「Ｂ」の記号で示される音源である音源Ｂとが存在する。同様に、マイクＹの収音範囲である範囲ｙ内には、音源Ｂが存在する。つまり、音源Ａは、マイクＸの収音範囲内に存在し、音源Ｂは、マイクＸとマイクＹの収音範囲内に存在する。
【００７１】
次に、映像再生装置３００の詳細について説明する。
図８は、本実施の形態における通信相手拠点２０の映像再生装置３００の機能構成を示すブロック図である。
【００７２】
同図に示すように、映像再生装置３００は、表示部３０１、音再生部３０２、音源取得部３０３、音圧変化量取得部３０４、制御信号生成部３０５、及び制御信号送信部３０６を備えている。
【００７３】
また、映像表示装置４００は、ディスプレイ４０１、及びスピーカ４０２を備えている。
【００７４】
表示部３０１は、映像通信装置１００から第二映像信号を受信して、受信した第二映像信号に基づき、音源位置情報が示す音源の位置に音源情報が表示された映像をディスプレイ４０１に表示させる。
【００７５】
音再生部３０２は、映像通信装置１００から第二収音信号を受信し、受信した第二収音信号に基づき、スピーカ４０２に音を再生させる。
【００７６】
音源取得部３０３は、表示部３０１が表示した複数の音源の中から、ディスプレイ４０１に表示された映像に基づいてユーザに選択される、音量を増減する音源を取得する。具体的には、通信相手拠点２０に備えられるリモコン３１０で、ユーザが所望の音源を選択することで、音源取得部３０３が当該音源を取得する。
【００７７】
音圧変化量取得部３０４は、音源取得部３０３が取得した音源について、スピーカ４０２に再生された音に基づいてユーザに決定される、増減する音量の大きさである音圧変化量を取得する。具体的には、リモコン３１０で、ユーザが所望の音圧変化量を決定することで、音圧変化量取得部３０４が当該音圧変化量を取得する。
【００７８】
制御信号生成部３０５は、音源取得部３０３が取得した音源と音圧変化量取得部３０４が取得した音圧変化量とから、当該音源からの音の当該音圧変化量の音量を増減する指示を示す制御信号を生成する。
【００７９】
制御信号送信部３０６は、制御信号生成部３０５が生成した制御信号を映像通信装置１００へ送信する。
【００８０】
次に、映像通信装置１００の動作の一例について、詳細に説明する。
図９は、本実施の形態における映像通信装置１００の動作の一例を示すフローチャートである。
【００８１】
まず、撮像位置取得部１０２は、カメラ１１０の位置である撮像位置を取得する（Ｓ１０２）。
【００８２】
そして、収音位置取得部１０１は、マイク１２０の位置である収音位置を取得する（Ｓ１０４）。この収音位置取得部１０１が収音位置を取得する処理の詳細については、後述する。
【００８３】
次に、音源位置情報生成部１０４は、撮像位置と収音位置と収音信号とから、マイク１２０に収音された音の音源位置情報を生成する（Ｓ１０６）。この音源位置情報生成部１０４が音源位置情報を生成する処理の詳細については、後述する。
【００８４】
そして、ユーザからの終了指示があるまで、以下の処理（Ｓ１１０〜Ｓ１１８）が繰り返される（ループ１：Ｓ１０８〜Ｓ１２０）。
【００８５】
まず、映像信号生成部１０５は、音源位置情報が示す音源の位置に音源情報が表示されるように、第二映像信号を生成する（Ｓ１１０）。この映像信号生成部１０５が第二映像信号を生成する処理の詳細については、後述する。
【００８６】
そして、映像信号送信部１０６は、通信ネットワーク３０を介して、第二映像信号を映像再生装置３００へ送信する（Ｓ１１２）。
【００８７】
そして、収音信号送信部１０７は、通信ネットワーク３０を介して、第二収音信号を映像再生装置３００へ送信する（Ｓ１１４）。ここで、収音信号送信部１０７は、マイク１２０に収音された第一収音信号を第二収音信号として送信する。
【００８８】
そして、収音信号制御部１０８は、通信ネットワーク３０を介して、映像再生装置３００から制御信号を受信する（Ｓ１１６）。
【００８９】
そして、収音信号制御部１０８は、当該制御信号に従って収音信号を変化させる（Ｓ１１８）。この収音信号制御部１０８が収音信号を変化させる処理の詳細については、後述する。
【００９０】
そして、ユーザからの終了指示がなければ、さらに、映像信号生成部１０５が第二映像信号を生成し（Ｓ１１０）、映像信号送信部１０６が第二映像信号を送信する（Ｓ１１２）。
【００９１】
そして、収音信号送信部１０７は、通信ネットワーク３０を介して、第二収音信号を映像再生装置３００へ送信する（Ｓ１１４）。ここで、収音信号送信部１０７は、収音信号制御部１０８が変化させた後の収音信号である第二収音信号を、映像再生装置３００へ送信する。
【００９２】
そして、収音信号制御部１０８が制御信号を受信し（Ｓ１１６）、収音信号制御部１０８が当該制御信号に従って収音信号を変化させる（Ｓ１１８）。
【００９３】
このようにして、ユーザからの終了指示があるまで、以上の処理（Ｓ１１０〜Ｓ１１８）が繰り返され（ループ１：Ｓ１０８〜Ｓ１２０）、ユーザから終了指示があれば、映像通信装置１００の処理は終了する。
【００９４】
次に、収音位置取得部１０１が収音位置を取得する処理（図９のＳ１０４）の詳細について、説明する。
【００９５】
図１０は、収音位置取得部１０１が収音位置を取得する処理（図９のＳ１０４）の詳細を示すフローチャートである。
【００９６】
前提として、６個のマイク１２０が、自拠点１０のユーザによって、任意の場所に配置されている。具体的には、図７に示されたように、映像表示装置２００、ソファー１４０及びテーブル１５０の上にそれぞれ２個ずつのマイク１２０が配置されている。また、マイク１２０が収音することができる範囲の大きさ及びマイク１２０の向きは、ユーザによって、予め収音位置取得部１０１に入力されている。
【００９７】
そして、例えば、ソファー１４０に座っている話者が会話をすることで、マイク１２０が当該話者の音声を収音する（Ｓ２０２）。なお、マイク１２０は、話者の音声以外の音でも、発生した音を収音する。
【００９８】
そして、収音位置取得部１０１は、マイク１２０の位置である収音位置を算出する（Ｓ２０８）。
【００９９】
例えば、マイク１２０にはＲＦタグが備えられており、収音位置取得部１０１は、当該ＲＦタグを認識することで、収音位置を算出する。また、予め設置されているスピーカ（図示せず）から基準音を再生させることで、収音位置取得部１０１は、各マイク１２０が収音した基準音の収音信号から、収音位置を算出することにしてもよい。また、マイク１２０は、収音信号の伝送を赤外線で行う赤外線マイクであり、収音位置取得部１０１は、３つ以上の赤外線受光部（図示せず）が受光する当該赤外線を用いた３点測量により、収音位置を算出することにしてもよい。
【０１００】
そして、収音位置取得部１０１は、算出した収音位置を取得する（Ｓ２１０）。
以上により、収音位置取得部１０１が収音位置を取得する処理（図９のＳ１０４）は終了する。
【０１０１】
次に、音源位置情報生成部１０４が音源位置情報を生成する処理（図９のＳ１０６）の詳細について、説明する。
【０１０２】
図１１は、音源位置情報生成部１０４が音源位置情報を生成する処理（図９のＳ１０６）の詳細を示すフローチャートである。
【０１０３】
図１２は、音源位置情報生成部１０４が行う音源位置の特定を説明する図である。
図１１に示すように、全ての音源の位置が特定されるまで、以下の処理（Ｓ３０４〜Ｓ３１４）が繰り返される（ループ２：Ｓ３０２〜Ｓ３１６）。なお、全ての音源の位置が特定されなくても、所定の数以上の音源の位置が特定されるまで、又は所定の音量以上の音源の位置が特定されるまで、ループ２の処理が繰り返されることにしてもよい。
【０１０４】
まず、相対収音位置特定部１０３は、相対収音位置を特定する（Ｓ３０４）。具体的には、相対収音位置特定部１０３は、撮像位置取得部１０２が取得した撮像位置と収音位置取得部１０１が取得した収音位置とを比較し、撮像位置に対する収音位置である相対収音位置を特定する。
【０１０５】
次に、音源位置情報生成部１０４は、音源の位置を特定する対象となるマイク１２０を抽出する（Ｓ３０６）。具体的には、音源位置情報生成部１０４は、各マイク１２０が収音した収音信号から、最も大きな音圧レベルで収音したマイク１２０と、その次に大きな音圧レベルで収音したマイク１２０とを抽出する。
【０１０６】
そして、音源位置情報生成部１０４は、抽出した２つのマイク１２０が収音した収音信号の時間差を算出する（Ｓ３０８）。具体的には、音源位置情報生成部１０４は、当該２つのマイク１２０の収音信号の相互相関をとることで、収音信号の時間差を算出する。
【０１０７】
そして、音源位置情報生成部１０４は、収音信号の到来方向を算出する（Ｓ３１０）。具体的には、音源位置情報生成部１０４は、算出した収音信号の時間差と当該２つのマイク１２０の相対収音位置とから、収音信号の到来方向を算出する。
【０１０８】
つまり、図１２に示すように、音源位置情報生成部１０４は、マイクＸ及びマイクＹが収音した収音信号の時間差と、マイクＸ及びマイクＹの相対収音位置とから、マイクＸ及びマイクＹへの収音信号の到来方向を算出する。例えば、マイクＸへの収音信号の到来方向Ｐ１に対し、マイクＹへの収音信号の到来方向Ｑ１であり、また、マイクＸへの収音信号の到来方向Ｐ２に対し、マイクＹへの収音信号の到来方向Ｑ２である。このようにして、音源の位置を特定する対象の音源は、円周Ｒ上に存在することが算出される。
【０１０９】
図１１に戻り、音源位置情報生成部１０４は、指向性死角の方向を算出する（Ｓ３１２）。具体的には、音源位置情報生成部１０４は、当該２つのマイク１２０の収音信号から、音圧レベルが最も小さくなるような指向性死角の方向を、適応ビームフォーマを利用するなどして、当該２つのマイク１２０のそれぞれについて算出する。例えば、図１２に示されたように、音源位置情報生成部１０４は、マイクＸについての指向性死角の方向がＰ１であると算出する。
【０１１０】
そして、音源位置情報生成部１０４は、音源の位置を特定する（Ｓ３１４）。具体的には、図１２に示されたように、音源位置情報生成部１０４は、算出したマイクＸについての指向性死角の方向がＰ１であれば、円周Ｒと方向Ｐ１との交点の位置（同図に示す音源Ａの位置）を音源の位置として特定する。
【０１１１】
このようにして、音源位置情報生成部１０４は、順次、複数の音源の位置を特定していく。なお、複数の音源から同時に音が発生した場合でも、音源位置情報生成部１０４は、マイク１２０が収音した収音信号の、特定の周波数の遅延量や特定の周波数のパワに着目することで、複数の音源の位置を特定することが可能である。
【０１１２】
また、音源位置情報生成部１０４は、音源分離技術を利用し、独立成分分析を用いることでも、複数の音源の位置を特定することが可能である。つまり、音源位置情報生成部１０４は、音源の数がＮ個に対し、マイク１２０が最低Ｎ個あればそれぞれの音源を分離することが可能であり、それぞれの収音信号の到来方向とその到来時間を算出できる。
【０１１３】
そして、所望の音源の位置が特定されると、音源位置情報生成部１０４は、特定した音源の位置を示す情報である音源位置情報を生成する（Ｓ３１８）。音源位置情報とは、例えば、映像中の音源の位置を示す座標などである。
【０１１４】
以上により、音源位置情報生成部１０４が音源位置情報を生成する処理（図９のＳ１０６）は終了する。
【０１１５】
次に、映像信号生成部１０５が第二映像信号を生成する処理（図９のＳ１１０）の詳細について、説明する。
【０１１６】
図１３は、映像信号生成部１０５が第二映像信号を生成する処理（図９のＳ１１０）の詳細を示すフローチャートである。
【０１１７】
まず、収音信号取得部１０５ａは、収音信号制御部１０８から第二収音信号を取得する（Ｓ４０２）。ここで、収音信号制御部１０８が収音信号を変化させる前は、収音信号取得部１０５ａは、第一収音信号を第二収音信号として取得する。また、収音信号制御部１０８が収音信号を変化させた後は、収音信号取得部１０５ａは、収音信号制御部１０８が変化させた後の収音信号である第二収音信号を取得する。
【０１１８】
そして、音圧分布算出部１０５ｂは、収音信号取得部１０５ａが取得した第二収音信号から音源の音量の分布を示す音圧分布を算出する（Ｓ４０４）。具体的には、音圧分布算出部１０５ｂは、音源位置情報生成部１０４が生成した音源位置情報に示される音源の位置にある音源の音圧分布を算出する。ここで、音圧分布とは、映像中における、第二収音信号が示す音圧レベルの大きさを示す分布である。
【０１１９】
次に、音圧量算出部１０５ｃは、音圧分布算出部１０５ｂが算出した音圧分布に基づき、予め定められた一定時間での音源ごとの音量の大きさを示す音圧量を算出する（Ｓ４０６）。具体的には、音圧量算出部１０５ｃは、音源ごとに、当該一定時間での音圧レベルの積分値を算出し、当該積分値を音圧量として算出する。なお、音圧量算出部１０５ｃは、音源ごとに、当該一定時間での音圧レベルの平均値を算出し、当該平均値を音圧量として算出してもよい。
【０１２０】
また、音源識別部１０５ｄは、音源からの音の種類を識別する（Ｓ４０８）。具体的には、音源識別部１０５ｄは、収音信号制御部１０８が受信した第一収音信号に基づき、音源からの音の種類が話者の音声か否かを識別する。つまり、音源識別部１０５ｄは、周波数分析による特徴抽出や信号波形の特徴を抽出することなどにより、音源からの音の種類が話者の音声か気泡音などの雑音かを識別する。
【０１２１】
そして、音源情報付加部１０５ｅは、複数の音源位置情報が示す音源の位置のそれぞれに、複数の音源に対応する音源情報が表示されるように、映像に音源情報が付加された映像の映像信号である第二映像信号を生成する（Ｓ４１０）。
【０１２２】
図１４〜図１７は、音源情報付加部１０５ｅが第二映像信号を生成する処理を説明する図である。
【０１２３】
カメラ１１０に撮像された映像の信号である第一映像信号によって、図１４に示す映像が、映像表示装置４００のディスプレイ４０１に表示されるものとする。
【０１２４】
この場合、図１５に示すように、音源情報付加部１０５ｅは、音圧量算出部１０５ｃが算出した音圧量が大きい音源ほど音源情報が大きく表示されるように、第二映像信号を生成する。同図では、例えば、音源Ａ１よりも音源Ａ２の方が音圧量が大きいと算出されたため、音源Ａ１よりも音源Ａ２の方が大きく表示される。
【０１２５】
また、同図に示すように、さらに、音源情報付加部１０５ｅは、音源識別部１０５ｄの識別結果に基づき、音源情報が音の種類ごとに識別して表示されるように、第二映像信号を生成する。具体的には、音源情報付加部１０５ｅは、音源情報が話者の音声か否かを識別して表示されるように、第二映像信号を生成する。同図では、例えば、話者の音声である音源Ａ１及び音源Ａ２と、ビールのような炭酸飲料の気泡がはじける音（以下、気泡音という）など話者の音声以外の音を発生している音源Ｂとが識別して表示される。なお、音源情報は、色によって識別されてもよいし、模様や形状によって識別されてもよい。
【０１２６】
また、図１６に示すように、音源情報付加部１０５ｅは、収音信号制御部１０８が音源からの音の音量を減少させる指示を示す制御信号に従って収音信号を変化させた場合、制御信号に従った大きさの音量に対応した大きさの音源情報が表示されるように、第二映像信号を生成する。同図では、音源Ｂの音量を減少させる指示を示す制御信号に従って収音信号が変化されたため、音源Ｂが、図１５に示された音源Ｂと比べて小さく表示される。
【０１２７】
また、図１７に示すように、音源情報付加部１０５ｅは、収音信号制御部１０８が音源からの音の音量を零にする指示を示す制御信号に従って収音信号を変化させた場合、音量を零にした音源がいずれの音源かを示す情報が音源情報として表示されるように、第二映像信号を生成する。同図では、音源Ｂの音量を零にする指示を示す制御信号に従って収音信号が変化されたため、音源Ｂに消音を示すマークが表示される。
【０１２８】
以上により、映像信号生成部１０５が第二映像信号を生成する処理（図９のＳ１１０）は終了する。
【０１２９】
次に、収音信号制御部１０８が収音信号を変化させる処理（図９のＳ１１８）の詳細について、説明する。
【０１３０】
図１８は、収音信号制御部１０８が収音信号を変化させる処理（図９のＳ１１８）の詳細を示すフローチャートである。
【０１３１】
まず、制御信号受信部１０８ａは、複数の音源のうちの１の音源からの音の音量を増減する指示を示す制御信号を、映像再生装置３００から受信する（Ｓ５０２）。
【０１３２】
そして、収音装置特定部１０８ｂは、制御信号受信部１０８ａが受信した制御信号によって示される１の音源からの音を収音しているマイク１２０を特定する（Ｓ５０４）。具体的には、収音装置特定部１０８ｂは、図６に示された収音装置特定データ１０８ｇを更新していくことで、収音装置特定データ１０８ｇから、特定する対象のマイク１２０の情報を取得し、当該マイク１２０を特定する。
【０１３３】
例えば、収音装置特定部１０８ｂは、相対収音位置特定部１０３からマイク１２０の相対収音位置を取得し、収音範囲を特定する。そして、収音装置特定部１０８ｂは、特定した収音範囲を収音装置特定データ１０８ｇに書き込むことで、収音装置特定データ１０８ｇを更新する。
【０１３４】
そして、収音装置特定部１０８ｂは、音源位置情報生成部１０４から音源の位置を取得し、音源がどの収音範囲に存在するのかを特定する。そして、収音装置特定部１０８ｂは、特定した音源を収音装置特定データ１０８ｇに書き込むことで、収音装置特定データ１０８ｇを更新する。
【０１３５】
これにより、収音装置特定部１０８ｂは、更新された収音装置特定データ１０８ｇから、特定する対象のマイク１２０の情報を取得し、当該マイク１２０を特定する。
【０１３６】
なお、収音装置特定部１０８ｂは、予め定められ収音装置特定データ１０８ｇに記憶されているマイク１２０に対応する収音範囲を取得することにしてもよく、また、制御信号から制御対象の音源の位置を取得しても良い。
【０１３７】
次に、制御指示部１０８ｃは、制御信号によって示される１の音源からの音の音量を増減する指示に従って、収音装置特定部１０８ｂが特定したマイク１２０が収音した音の収音信号を変化させる指示を行う（Ｓ５０６）。
【０１３８】
そして、収音信号調整部１０８ｄは、制御指示部１０８ｃの指示に従って、収音装置特定部１０８ｂが特定したマイク１２０が収音した音の収音信号を変化させる（Ｓ５０８）。つまり、収音信号調整部１０８ｄは、マイク１２０に収音された音の収音信号である第一収音信号を受信し、当該第一収音信号を変化させて第二収音信号を生成する。
【０１３９】
以上により、収音信号制御部１０８が収音信号を変化させる処理（図９のＳ１１８）は終了する。
【０１４０】
次に、映像再生装置３００の動作の一例について、詳細に説明する。
図１９は、本実施の形態における映像再生装置３００の動作の一例を示すフローチャートである。
【０１４１】
まず、表示部３０１は、映像通信装置１００から第二映像信号を受信する（Ｓ６０２）。
【０１４２】
そして、表示部３０１は、受信した第二映像信号に基づき、音源位置情報が示す音源の位置に音源情報が表示された映像をディスプレイ４０１に表示させる（Ｓ６０４）。
【０１４３】
また、音再生部３０２は、映像通信装置１００から第二収音信号を受信する（Ｓ６０６）。
【０１４４】
そして、音再生部３０２は、受信した第二収音信号に基づき、スピーカ４０２に音を再生させる（Ｓ６０８）。
【０１４５】
次に、音源取得部３０３は、表示部３０１が表示した複数の音源の中から、ディスプレイ４０１に表示された映像に基づいてユーザに選択される、音量を増減する音源を取得する（Ｓ６１０）。例えば、図１５に示された音源Ｂからのビールの気泡音が雑音となっている場合は、通信相手拠点２０のユーザは、ディスプレイ４０１を見ながら、リモコン３１０で音源Ｂを選択することで、音源取得部３０３が音源Ｂを取得する。
【０１４６】
そして、音圧変化量取得部３０４は、音源取得部３０３が取得した音源について、スピーカ４０２に再生された音に基づいてユーザに決定される、増減する音量の大きさである音圧変化量を取得する（Ｓ６１２）。例えば、図１５に示された音源Ｂの音量を、図１６に示された大きさの音量に下げたい場合は、ユーザがディスプレイ４０１を見ながら、リモコン３１０で音源Ｂの音量を低減したい変化量を決定することで、音圧変化量取得部３０４が当該音圧変化量を取得する。
【０１４７】
次に、制御信号生成部３０５は、音源取得部３０３が取得した音源と音圧変化量取得部３０４が取得した音圧変化量とから、当該音源からの音の当該音圧変化量の音量を増減する指示を示す制御信号を生成する（Ｓ６１４）。
【０１４８】
そして、制御信号送信部３０６は、制御信号生成部３０５が生成した制御信号を映像通信装置１００へ送信する（Ｓ６１６）。
【０１４９】
このように、リモコン３１０とＧＵＩ（Graphical User Interface）とを組み合わせることで、ユーザが簡便に不要な音は抑圧し、聞きづらい音は増幅するといった指示を与えることができる。
【０１５０】
以上のように、通信相手拠点２０では、複数の音源の音源情報が表示され、通信相手拠点２０のユーザが当該音源情報が表示された映像を見て、音源からの音の音量を増減する指示を与えることができる。すなわち、自拠点１０で雑音や聞きづらい音声などの音源を把握したり当該音源の音を調整したりする必要がなく、通信相手拠点２０のユーザが希望する音源の音を調整することができる。
【０１５１】
また、通信相手拠点２０では、音量が大きい音源ほど音源情報が大きく表示されたり、音量を零にした音源がいずれの音源かを示す情報が表示されたり、音源情報が音の種類ごとに識別して表示される。このため、通信相手拠点２０のユーザが、音量を増減する音源を選択し易くなる。
【０１５２】
また、通信相手拠点２０では、音源情報が話者の音声か否かを識別して表示される。このため、通信相手拠点２０のユーザが、例えば、話者以外の音の音量を減少させ、話者の音声の音量を増加させたい場合に、音量を増減する音源を選択し易くなる。
【０１５３】
また、音源位置情報が自動的に生成され、自拠点１０で音源位置情報を入力したりする必要がない。
【０１５４】
このように、本発明によれば、テレビ会議システム１において、自拠点１０で雑音や聞きづらい音声などの音源を把握したり当該音源の音を調整したりする必要がなく、通信相手拠点２０のユーザが希望する音源の音を調整することができるため、自拠点１０と通信相手拠点２０との会話を円滑に進めることができる。
【０１５５】
（変形例）
次に、本実施の形態における変形例について説明する。上記実施の形態では、音源識別部１０５ｄは、音源からの音の種類が話者の音声か否かを識別し、音源情報付加部１０５ｅは、話者の音声か否かが識別して表示されるように、第二映像信号を生成することとした。しかし、本変形例では、音源識別部１０５ｄは、音源ごとに音を認識し、音源情報付加部１０５ｅは、当該音が文字情報として表示されるように、第二映像信号を生成する。
【０１５６】
図２０は、本実施の形態における変形例を説明する図である。
本変形例では、上記実施の形態における音源識別部１０５ｄ及び音源情報付加部１０５ｅが行う処理が異なる。このため、音源識別部１０５ｄ及び音源情報付加部１０５ｅ以外の、上記実施の形態と同じ処理部についての説明は省略する。
【０１５７】
音源識別部１０５ｄは、音源ごとに音を認識する。
音源情報付加部１０５ｅは、音源識別部１０５ｄが認識した音を文字情報にすることで、音源情報として音源に対応する文字情報が表示されるように、映像に音源情報が付加された映像の映像信号を第二映像信号として生成する。
【０１５８】
具体的には、図１３に示された映像信号生成部１０５が第二映像信号を生成する処理（図９のＳ１１０）において、音圧量算出部１０５ｃが音圧量を算出する処理（図１３のＳ４０６）の後、以下の処理が行われる。
【０１５９】
音源識別部１０５ｄは、音源ごとに音を認識する。つまり、図２０に示すように、音源識別部１０５ｄは、音源Ａ１〜Ａ４からの話者の音声と、音源Ｂ１からのビールの気泡音とを認識する。例えば、音源識別部１０５ｄは、音源Ａ２からの話者の音声を「シュート」と認識する。また、音源識別部１０５ｄは、音源Ｂ１からのビールの気泡音を「シュワシュワ」と認識する。
【０１６０】
そして、音源情報付加部１０５ｅは、当該音源に対応する文字情報が表示されるように、第二映像信号を生成する。つまり、同図に示すように、音源情報付加部１０５ｅは、音源識別部１０５ｄが認識した音源Ａ１〜Ａ４からの話者の音声や音源Ｂ１からのビールの気泡音から、文字情報を生成する。そして、音源情報付加部１０５ｅは、音源情報として音源に対応する文字情報が表示されるように、映像に音源情報が付加された映像の映像信号を第二映像信号として生成する。
【０１６１】
例えば、音源情報付加部１０５ｅは、音源Ａ２に対応する文字情報として、「シュート！」の文字を生成する。また、音源情報付加部１０５ｅは、音源Ｂ１に対応する文字情報として、「シュワシュワ、、」の文字を生成する。そして、音源情報付加部１０５ｅは、例えば、音源Ａ２に対応する文字情報として映像中に「シュート！」の文字が表示されるように、また、音源Ｂ１に対応する文字情報として映像中に「シュワシュワ、、」の文字が表示されるように、第二映像信号を生成する。
【０１６２】
以上のように、通信相手拠点２０では、第二映像信号に基づき、音源ごとに、音源情報として音源に対応する文字情報が、同図のように映像表示装置４００のディスプレイ４０１に表示される。このため、通信相手拠点２０のユーザが、話者が話した音声や音声以外の音を文字情報として認識することができ、音量を増減する音源を選択し易くなる。したがって、テレビ会議システム１において、自拠点１０と通信相手拠点２０との会話を円滑に進めることができる。
【０１６３】
なお、図３に示された映像通信装置１００や図８に示された映像再生装置３００のブロック図の各機能ブロックは集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【０１６４】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１６５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサ を利用しても良い。
【０１６６】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１６７】
以上、本発明に係る映像通信装置について、上記実施の形態及びその変形例を用いて説明したが、本発明は、これに限定されるものではない。
【０１６８】
つまり、今回開示された実施の形態及びその変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【０１６９】
たとえば、本実施の形態及びその変形例では、映像通信装置１００は、図３に示された各処理部の機能を備え、映像再生装置３００は、図８に示された各処理部の機能を備えていることとした。しかし、映像通信装置１００が、映像再生装置３００が備えている各処理部の全部又は一部の機能をさらに備えていることにしてもよく、また、映像再生装置３００が、映像通信装置１００が備えている各処理部の全部又は一部の機能をさらに備えていることにしてもよい。
【０１７０】
また、本実施の形態及びその変形例では、自拠点１０は、図３に示された各装置を備え、通信相手拠点２０は、図８に示された各装置を備えていることとした。しかし、自拠点１０が、通信相手拠点２０が備えている各装置の全部又は一部をさらに備えていることにしてもよく、また、通信相手拠点２０が、自拠点１０が備えている各装置の全部又は一部をさらに備えていることにしてもよい。
【０１７１】
また、本実施の形態及びその変形例では、制御信号生成部３０５は、ユーザの指示によって取得された音源と音圧変化量とから、制御信号を生成することとした。しかし、制御信号生成部３０５は、ユーザの指示にはよらず自動で、例えば、音声と判断した音源の音量を増大させ、音声ではないと判断した音源の音量を減少させる制御信号を生成することにしてもよい。
【０１７２】
また、本実施の形態及びその変形例では、収音位置取得部１０１は、収音位置を算出することで、収音位置を取得することとした。しかし、収音位置取得部１０１は、どのような方法で収音位置を取得してもよく、例えば、収音位置が予めユーザにより定められていたり、ユーザによる入力によって収音位置を取得することにしてもよい。
【０１７３】
また、本実施の形態及びその変形例では、自拠点１０が６個のマイク１２０を備えていることとしたが、マイク１２０は２個以上であればいくつ備えられていてもよい。なお、マイク１２０の数を増加させて、各マイク１２０の収音範囲を狭くすることで、音源位置情報生成部１０４が音源位置情報を生成するときの音源位置の特定、及び収音装置特定部１０８ｂによるマイク１２０の特定が容易になり、また、希望する音源の音を選択的に調整することができる。
【０１７４】
また、本実施の形態及びその変形例では、マイク１２０は、予めユーザによって配置され、固定されていることとした。しかし、マイク１２０は、固定されていなくともよく、必要な音源の近くに移動していくような移動式マイクであってもよい。
【０１７５】
また、本実施の形態では、音源識別部１０５ｄは、音源からの音の種類が話者の音声か否かを識別することとした。しかし、音源識別部１０５ｄは、音源からの音の種類が話者の音声か否かを識別するのに限られず、識別可能な音の種類の一部又は全部を識別することにしてもよい。
【０１７６】
また、本実施の形態及びその変形例では、収音装置特定部１０８ｂは、収音装置特定データ１０８ｇに基づいて、音源に対応するマイク１２０を特定することとした。しかし、収音装置特定部１０８ｂは、各マイク１２０が収音している音を順次出力することで、音源に対応するマイク１２０を特定してもよい。
【０１７７】
また、本実施の形態及びその変形例では、収音信号調整部１０８ｄが、収音信号のゲインを調整して収音信号を変化させることで、音量を調整することとした。しかし、適応ビームフォーマを利用して、例えば、雑音の方向に指向性死角を向けるなどにより、音量を調整することにしてもよい。
【産業上の利用可能性】
【０１７８】
本発明は、テレビ会議システムにおける映像通信装置に適用でき、特に、自拠点と通信相手拠点との会話を円滑に進めることができる映像通信装置に適用できる。
【図面の簡単な説明】
【０１７９】
【図１】本発明に係るテレビ会議システムの概略構成図である。
【図２】自拠点の主要な構成を示す模式図である。
【図３】本実施の形態における自拠点の映像通信装置の機能構成を示すブロック図である。
【図４】映像信号生成部の機能構成を詳細に示すブロック図である。
【図５】収音信号制御部の機能構成を詳細に示すブロック図である。
【図６】収音装置特定データの一例を示す図である。
【図７】収音装置特定データを説明するための図である。
【図８】本実施の形態における通信相手拠点の映像再生装置の機能構成を示すブロック図である。
【図９】本実施の形態における映像通信装置の動作の一例を示すフローチャートである。
【図１０】収音位置取得部が収音位置を取得する処理（図９のＳ１０４）の詳細を示すフローチャートである。
【図１１】音源位置情報生成部が音源位置情報を生成する処理（図９のＳ１０６）の詳細を示すフローチャートである。
【図１２】音源位置情報生成部が行う音源位置の特定を説明する図である。
【図１３】映像信号生成部が第二映像信号を生成する処理（図９のＳ１１０）の詳細を示すフローチャートである。
【図１４】音源情報付加部が第二映像信号を生成する処理を説明する図である。
【図１５】音源情報付加部が第二映像信号を生成する処理を説明する図である。
【図１６】音源情報付加部が第二映像信号を生成する処理を説明する図である。
【図１７】音源情報付加部が第二映像信号を生成する処理を説明する図である。
【図１８】収音信号制御部が収音信号を変化させる処理（図９のＳ１１８）の詳細を示すフローチャートである。
【図１９】本実施の形態における映像再生装置の動作の一例を示すフローチャートである。
【図２０】本実施の形態における変形例を説明する図である。
【符号の説明】
【０１８０】
１    テレビ会議システム
１０    自拠点
２０    通信相手拠点
３０    通信ネットワーク
１００    映像通信装置
１０１    収音位置取得部
１０２    撮像位置取得部
１０３    相対収音位置特定部
１０４    音源位置情報生成部
１０５    映像信号生成部
１０５ａ  収音信号取得部
１０５ｂ  音圧分布算出部
１０５ｃ  音圧量算出部
１０５ｄ  音源識別部
１０５ｅ  音源情報付加部
１０６    映像信号送信部
１０７    収音信号送信部
１０８    収音信号制御部
１０８ａ  制御信号受信部
１０８ｂ  収音装置特定部
１０８ｃ  制御指示部
１０８ｄ  収音信号調整部
１０８ｅ  ゲイン調整部
１０８ｆ  データ格納部
１０８ｇ  収音装置特定データ
１１０    カメラ
１２０    マイク
１４０    ソファー
１５０    テーブル
２００    映像表示装置
３００    映像再生装置
３０１    表示部
３０２    音再生部
３０３    音源取得部
３０４    音圧変化量取得部
３０５    制御信号生成部
３０６    制御信号送信部
３１０    リモコン
４００    映像表示装置
４０１    ディスプレイ
４０２    スピーカ
【図１】
2010193017.tif 000003
【図２】
2010193017.tif 000004
【図３】
2010193017.tif 000005
【図４】
2010193017.tif 000006
【図５】
2010193017.tif 000007
【図６】
2010193017.tif 000008
【図７】
2010193017.tif 000009
【図８】
2010193017.tif 000010
【図９】
2010193017.tif 000011
【図１０】
2010193017.tif 000012
【図１１】
2010193017.tif 000013
【図１２】
2010193017.tif 000014
【図１３】
2010193017.tif 000015
【図１４】
2010193017.tif 000016
【図１５】
2010193017.tif 000017
【図１６】
2010193017.tif 000018
【図１７】
2010193017.tif 000019
【図１８】
2010193017.tif 000020
【図１９】
2010193017.tif 000021
【図２０】
2010193017.tif 000022