(57)【要約】【課題】音の方向と表示内容が一致し、リアル感のあるテレビ会議が行える音声の定位方法を提供する。【解決手段】ネットワークを利用したテレビ電話やテレビ会議で、複数のステーションにおける参加者の映像を表示装置１０上に複数表示する場合に、各ステーションから送信される音声信号の位置を、表示装置１０上の表示位置に合わせてミキシングしてステレオ再生するテレビ会議における音声の定位方法。このように、ステレオ機能を用いて、ネットワークからの複数の音声データを音声に戻してミキシングする際のバランスを、映像の表示位置に合わせて調整することにより、音声が実際の映像の位置と対応した位置から聞こえるので、リアルなテレビ会議が実現できる。【選択図】  図１
2005110103.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを利用したテレビ電話やテレビ会議で、複数のステーションにおける参加者の映像を表示装置上に複数表示する場合に、前記各ステーションから送信される音声信号の位置を、前記表示装置上の表示位置に合わせてミキシングしてステレオ再生することを特徴とするテレビ会議における音声の定位方法。
【請求項２】
前記音声信号の位置を、サラウンド機能を用いてミキシングおよび再生することを特徴とする請求項１記載のテレビ会議における音声の定位方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、社内ＬＡＮやインターネット通信網などのネットワークを利用したテレビ会議（テレビ電話を含む）における音声の定位方法に関する。
【背景技術】
【０００２】
テレビ電話、テレビ会議は、会話を行う複数の者が、カメラで撮像した映像信号とマイクロフォンで収集した音声信号をＬＡＮ（Local Area Network）やブロードバンドインターネット通信網などのネットワークを介して送受信し、互いに相手の顔を見ながら会話、会議を行うものである。特にテレビ会議は、１対１ではなく、３人以上が会議を行うことがあり、通常、テレビ画面には３つ以上のマルチ画面を表示して、会議に参加する全員の顔が見えるようにしている。
【０００３】
最近では、プラズマディスプレイや液晶ディスプレイのように、大画面の表示装置が用いられるようになってきた。小さな画面であれば、音声はモノラルでも問題が無かったが、大画面になると、臨場感を出すために、ステレオで音声を出力することが要請されてきた。
【０００４】
特開平５−３５６７号公報（特許文献１）には、音声入力部と音声出力部を備えるとともに、音声入力部から入力されたそれぞれの音声データを交信フレーム内に組み込んで送信する一方、受信した交信フレーム内に組み込まれている複数の音声データを個々の音声データに分離して音声出力部に導くマルチ・デマルチプレクサを備えた映像通信装置が開示されている。これにより、ステレオ化された音声が出力されるために、テレビ会議の臨場感が高まる。
【０００５】
特開平１０−８４５３９号公報（特許文献２）には、ビデオカメラとマイクとを雲台に取り付け、雲台の方向を表す雲台方向情報に基づいて、相手テレビ会議装置から転送され音声複号化装置により複号化されたモノラルの音声信号からステレオ化された音声信号を生成する音場生成装置を設け、音場生成装置で生成されたステレオ化された音声信号を左右のスピーカによりステレオ再生するステレオ音声テレビ会議装置が開示されている。
【０００６】
また、特開２００２−５８００５号公報（特許文献３）には、送信装置では、Ｌ（左）およびＲ（右）チャネルの２つの音声信号を加算したデータをモノラル音声として第１の通信チャネルで送信し、２つの音声信号を減算したデータを非標準の音声として第２の通信チャネルで送信し、受信装置では、２つの音声信号を加算したデータをモノラル音声として受信し、２つの音声信号を減算したデータを非標準の音声として受信し、２つの音声信号を基に演算して元の音声に復元するテレビ電話・テレビ会議システムが開示されている。
【０００７】
以上の従来技術においては、いずれも複数のテレビ電話、テレビ会議の参加者の音声を再生するとき、ステレオ音声とするものである。
例えば、参加者が５人（５ステーション）の場合、図３（ａ）に示すように、表示装置１０には５つのマルチ画面が表示される。図３（ｂ）に示すように、各ステーションＳ１〜Ｓ５の音声データは、ネットワークインターフェイス１１により均等にミキシングされ、再生手段１２において、ステレオ信号に復元されるが、図３（ｃ）に示すように、全ての音が、画面の位置や大きさに関係なく再生される。
【０００８】
【特許文献１】特開平５−３５６７号公報
【特許文献２】特開平１０−８４５３９号公報
【特許文献３】特開２００２−５８００５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
以上のように、特許文献１〜３に開示されたテレビ会議システムにおいては、複数箇所からネットワークを通して伝送されてきた音声データを画面の位置や大きさに関係なく同等に再生していたので、マルチ画面の右側に表示されている人の発言か、左側に表示されている人の発言かは、映像で口の動きを見ないと判断できなかった。
また、背景の物音などは、音の発生原因が画面内に表示されなければ、どの画面の相手から発生したものか、判断できなかった。
【００１０】
本発明は、画面右側の映像の音声は右側から、画面左側の映像の音声は左側から聞こえるようにすることで、音の方向と表示内容が一致し、リアル感のあるテレビ会議が行える音声の定位方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の構成は、ネットワークを利用したテレビ電話やテレビ会議で、複数のステーションにおける参加者の映像を表示装置上に複数表示する場合に、前記各ステーションから送信される音声信号の位置を、前記表示装置上の表示位置に合わせてミキシングしてステレオ再生することを特徴とするテレビ会議における音声の定位方法である。
また、本発明の第２の構成は、前記音声信号の位置を、サラウンド機能を用いてミキシングおよび再生することを特徴とする。
【００１２】
本発明においては、社内ＬＡＮやブロードバンドを利用したテレビ会議システムにおいて、複数の相手を表示した際に、表示位置に合わせてミキシングレベルを調整し、ステレオ効果や、サラウンド効果を利用して、表示位置と実際に聞こえてくる音声位置が一致するようにする。
また、大きく表示した場合は、音量を大きくし、小さく表示した場合は、音量を下げることで、音声の遠近感が出て、聞きたい音声を聞きやすくする効果を与える。
【００１３】
ネットワークから送られてきた音声データを音声に戻す際に、ステレオのＬチャンネルとＲチャンネルを同等のレベルで再現せず、現在、表示装置上に表示されている映像の位置情報から、ＬチャンネルとＲチャンネルの再生レベルを調整する。
各映像は、それぞれ位置が違うので、その位置に応じた音声の定位ができる。
また、表示サイズの情報を使い、音声レベルを比例させることで、遠近感を作り出す。
この方法で、テレビ会議を行うと異なる場所にいる表示装置内の人の発言が、表示装置内の表示されている位置に存在するように聞こえる。
【発明の効果】
【００１４】
本発明によれば、ステレオ機能を用いて、ネットワークからの複数の音声データを音声に戻してミキシングする際のバランスを映像の表示位置に合わせて調整することにより、音声が実際の映像の位置と対応した位置から聞こえるので、リアルなテレビ会議が実現できる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
図１は本発明の第１実施形態を示すもので、（ａ）は表示装置におけるマルチ映像表示、（ｂ）は音声ミキシングのフローチャート、（ｃ）はステレオ再生時の各ステーションの定位状態を示す説明図である。
【００１６】
本実施形態は、５箇所（ステーション）のテレビ会議システムを示しており、表示装置１０の上部に２画面（センター振り分け）、下部に３画面（中央と左右）を配置している。
各ステーションＳ１〜Ｓ５の音声データ（ステレオ）は、ネットワークインターフェイス１１によりそれぞれネットワーク経由で送信される。各音声データに復元されたステレオ信号は、表示装置１０のドライバにおける表示位置情報と表示サイズ情報により、図１（ｂ）の１２に示すようにミキシングされる。
【００１７】
例えば、上部左画面の音声のＬＲの比率を７：３、上部右画面の音声のＬＲの比率を３：７、下部左画面の音声のＬＲの比率を１０：０、下部中央画面の音声のＬＲの比率を５：５、下部右画面の音声のＬＲの比率を０：１０にすることで、それぞれの画面の位置から音声が出ているように聞こえる。
【００１８】
また、上部の表示のサイズを大きくし、下部の表示サイズを小さくして、ミキシングのレベルを３：２に合わせることで、図１（ｃ）に示すように、上部に表示されている相手が、より近くにいるように感じる。
【００１９】
なお、各ステーションＳ１〜Ｓ５の音声データは、ステレオ信号を基本とするが、モノラル信号でも、これを画面の位置と大きさで振り分けることで、テレビ会議システムとしては各ステーションＳ１〜Ｓ５の音声と映像の位置が整合した定位を持った音源となる。
【００２０】
（第２実施形態）
図２は本発明の第２実施形態を示す配置図である。本実施形態では、複数の表示装置２１，２２，２３を左右と正面に配置した場合、サラウンドステレオ再生のために前方左右にフロントスピーカＬ３１、フロントスピーカＲ３２、中央にセンタースピーカ３３を配置し、出席者の後部にリアスピーカＬ３４、リアスピーカＲ３５を配置することで、左右だけではなく前後方向の定位が決まる。
【００２１】
この場合、各表示装置２１，２２，２３の位置、各スピーカ３１〜３５の位置、出席者の位置の情報を計算して、各スピーカからの出力配分を決める。
各表示装置２１，２２，２３に複数箇所の映像が表示されている場合は、その情報を出力配分に付加する。
サラウンドステレオ方式としては各種あるが、いずれの方式でもよい。
【産業上の利用可能性】
【００２２】
本発明は、音声が実際の映像の位置と対応した位置から聞こえ、リアルなテレビ会議が実現できるテレビ会議システムに利用することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態を示すもので、（ａ）は表示装置におけるマルチ映像表示、（ｂ）は音声ミキシングのフローチャート、（ｃ）はステレオ再生時の各ステーションの定位状態を示す説明図である。
【図２】本発明の第２実施形態を示す配置図である。
【図３】従来のテレビ会議システムを示すもので、（ａ）は表示装置におけるマルチ映像表示、（ｂ）は音声ミキシングのフローチャート、（ｃ）はステレオ再生時の各ステーションの定位状態を示す説明図である。
【符号の説明】
【００２４】
１０  表示装置
１１  ネットワークインターフェイス
２１〜２３  表示装置
３１〜３５  スピーカ
【図１】
2005110103.tif 000003
【図２】
2005110103.tif 000004
【図３】
2005110103.tif 000005