(57)【特許請求の範囲】
【請求項１】
複数の会議会場に設置された複数の会議端末であって、設置された会議会場の発話を処理してオーディオデータとして多地点制御装置へ送信し、前記多地点制御装置から受信されたオーディオデータを処理し、前記処理されたオーディオデータを出力するよう構成された会議端末であって、前記会議端末のうちの少なくとも１つは、前記多地点制御装置から送信された前記オーディオデータが示す前記会議会場の前記発話を通訳する通訳機能を有し、前記通訳されたオーディオデータを処理し、前記処理されたオーディオデータを前記多地点制御装置へ送信するよう構成された通訳端末である、会議端末と、  前記会議端末からの前記オーディオデータの音声混合処理を、前記会議端末の言語タイプに応じて、各々異なる言語タイプに対応する複数の音声チャネルで実行して、各々が一つの言語タイプに対応する複数の音声混合結果を含むオーディオデータを取得し、前記音声混合処理後の混合された前記オーディオデータの各音声混合結果を、前記会議端末の言語タイプに従って、前記会議端末へ送信するよう構成された、多地点制御装置と、  を備え、  前記通訳端末の言語タイプは、前記通訳端末が通訳を行う一対の言語であり、  各会議会場は、一つの会議端末を有し、  前記多地点制御装置は、発話の音量が最も大きい会議会場から音量の大きい順に複数の会議会場を選択し、選択した前記複数の会議会場のオーディオデータを音声混合処理する、多言語会議を実現するシステム。
【請求項２】
前記会議端末のそれぞれは、１つの入力インタフェースと１つの出力インタフェースとを有する会議端末である、請求項１に記載のシステム。
【請求項３】
前記会議端末のそれぞれは、単一チャネルコーデックを採用して符号化および復号を実行する会議端末である、請求項２に記載のシステム。
【請求項４】
前記多地点制御装置は、１パーティ音声混合、２パーティ音声混合、３パーティ音声混合、または４つ以上のパーティの音声混合の方針を採用する多地点制御装置である、請求項１に記載のシステム。
【請求項５】
複数の会議会場の各々に設置された会議端末のそれぞれから送信されたオーディオデータを多地点制御装置で受信し、前記会議端末のそれぞれからの前記オーディオデータの音声混合処理を、前記会議端末の言語タイプに応じて、各々異なる言語タイプに対応する複数の音声チャネルで実行して、各々が一つの言語タイプに対応する複数の音声混合結果を含むオーディオデータを取得し、混合された前記オーディオデータの各音声混合結果を、前記会議端末の言語タイプに従って、前記会議端末へ送信すること、  を含む、多言語会議を実現する方法であって、  前記多地点制御装置によって受信される前記オーディオデータは、前記会議端末が会議会場の発話を処理してオーディオデータとして前記多地点制御装置へ送信されたオーディオデータ、および、前記会議端末のうちの通訳機能を有する通訳端末が、前記多地点制御装置から送信された前記オーディオデータが示す前記会議会場の前記発話を通訳し、前記通訳されたオーディオデータを処理した後に、前記多地点制御装置へ送信されたオーディオデータの少なくとも一方を含み、  前記通訳端末の言語タイプは、前記通訳端末が通訳を行う一対の言語であり、  各会議会場は、一つの会議端末を有し、  前記多地点制御装置は、発話の音量が最も大きい会議会場から音量の大きい順に複数の会議会場を選択し、選択した前記複数の会議会場のオーディオデータを音声混合処理する、方法。
【請求項６】
前記会議端末は、１つの入力インタフェースおよび１つの出力インタフェースを通して前記オーディオデータを処理する、請求項５に記載の方法。
【請求項７】
前記会議端末は、単一チャネルコーデックを採用して前記オーディオデータを処理する、請求項６に記載の方法。
【請求項８】
前記音声混合処理は、１パーティ音声混合、２パーティ音声混合、３パーティ音声混合、または４つ以上のパーティの音声混合の処理である、請求項６に記載の方法。
【請求項９】
前記多地点制御装置が、前記会議端末に対応する前記言語タイプ、および、前記複数の会議端末のうちの前記通訳端末を識別するための識別子情報の少なくとも一方をあらかじめ設定すること、又は、  前記多地点制御装置が、前記会議端末から送信された前記言語タイプ、および、前記複数の会議端末のうちの前記通訳端末を識別するための識別子情報の少なくとも一方を受信して記憶すること、をさらに含む、請求項５に記載の方法。
【請求項１０】
請求項５、８のいずれか一項に記載の多言語会議を実現する方法を実行する多地点制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２００６年９月３０日出願の中国特許出願第２００６１００６３０１７．７号の優先権を主張する、２００７年９月２９日出願の国際出願ＰＣＴ／ＣＮ２００７／０７０８３５号の優先権を主張する。
本発明は、通信技術の分野に関し、特に、多言語会議を実現するシステム、方法、及び多地点制御装置に関する。
【背景技術】
【０００２】
近年、通信技術の発達に伴い、ビデオ会議が広く応用されている。ビデオ会議は、一般的にはテレビ会議サービスと理解されてよい。２つ以上の場所の間で画像、音声、およびデータのインタラクションを同時に実現するためにマルチメディア通信手段を介し、テレビ機器および通信ネットワークを用いて会議が行われる。図１に示されるように、ビデオ会議は、一般に、ビデオ端末（すなわち、会議端末）、伝送ネットワーク、および多地点制御装置（ＭＣＵ）で構成されている。
【０００３】
ビデオ端末機器は、主に、ビデオ入出力機器、オーディオ入出力機器、ビデオコーデック、オーディオコーデック、情報通信機器、および多重化／信号分配機器などを含む。ビデオ端末は、ローカルカメラで撮影された画像信号、およびマイクロホンで取り込まれた音声信号に対して圧縮符号化を実行し、それらの信号を、伝送ネットワークを通して、遠隔会議会場へ送信するという基本機能を有する。同時に、ビデオ端末は、遠隔会議会場から信号を受信し、それらの信号を復号してから、アナログの画像および音声信号に還元する。音声信号の処理の様子を図２に示し、後で説明する。
【０００４】
完結したテレビ会議システムを形成するためには、ビデオ端末機器およびＭＣＵを、通信ネットワークを介して互いに接続しなければならず、伝送チャネルは、光ファイバ、電気ケーブル、マイクロ波、または衛星の形態であってよい。
【０００５】
ＭＣＵは、ビデオ会議の制御の中核である。会議に参加している会議端末の数が３つ以上の場合は、ＭＣＵによる制御が必須である。すべての会議端末が、標準インタフェースを介してＭＣＵに接続される必要がある。ＭＣＵは、国際標準のＨ．２２１およびＨ．２４５のようなプロトコルに従って実現される。ＭＣＵの主な機能は、画像および音声の混合（mixing）および交換を実現し、すべての会議会場の制御を実現することである。
【０００６】
ＭＣＵは、多（複数）地点の会議会場の音声混合を実現するようにオーディオデータを処理し、音声混合に参加する会議会場は、多地点の会議会場のうちの、音量が大きい会議会場である。３地点の音声混合が実現される場合、音声混合に参加する会議会場は、多地点の会議会場のうちで音量が最も大きい３つの会議会場である。以下に、音声混合の方針（ポリシー）を紹介する。
【０００７】
１）１つの会議会場で発話された場合、その会議会場の話者には自分の声が聞こえず、他のすべての会議会場の参加者は発話側の会議会場の声が聞こえるようにする。
【０００８】
２）２つの会議会場で発話された場合、発話側の会議会場の両方の話者には相手の声は聞こえるが自分の声は聞こえず、他のすべての会議会場の参加者は、２つの発話側の会議会場の声が同時に聞こえるようにする。
【０００９】
３）３つ以上の会議会場で発話された場合、音量が最も大きい３つの会議会場が、音声混合に参加する。図３に示されるように、Ｔ１、Ｔ２、Ｔ３が、現在の会議会場のうちの、音量が最も大きい３つの会議会場であり、これら３つの会議会場のいずれにおける話者も、他の２つの会議会場の声が聞こえるようにする。たとえば、Ｔ１会議会場の話者は、Ｔ２およびＴ３の会議会場の声が聞こえ、それら以外のすべての会議会場の話者は、これら３つの会議会場の声が同時に聞こえるようにする。
【００１０】
現行のビデオ会議システムを用いて会議が行われる場合に、この会議システムによる音声処理は、図２に示されたとおりである。発話側の会議会場のデータが符号化されてからＭＣＵへ送信され、ＭＣＵは、発話側の会議会場の音声データの音声混合処理を実行し、処理した音声データを他の会議端末へ送信し、他の会議端末における参加者は、その音声データが復号された後に話者側の会議会場の音声が聞こえる。現行のビデオ会議システムでは、ＭＣＵおよびビデオ端末は、特定の会議会場の音声データを、１つのデータフローとして処理する。会議システム全体で１つの言語だけが話されている場合には、複数の会議会場の間のコミュニケーションは、円滑に行われることが可能である。しかし、会議システム全体で２つ以上の言語が話されている場合には、参加者間の言語コミュニケーションに障害が生じる可能性がある。この問題に対して、従来技術は次の２つの解決策を有する。以下の説明では、一例として、中国語と英語が混在する会議を取り上げ、複数の会議会場のうちの一つの参加者が英語で発話するケースについて考察する。
【００１１】
第１の方法では、上述の英語の会議会場の発話内容を理解するために、他のすべての中国語の会議会場に、それぞれの会場に向けて英語を中国語に通訳する、会場担当の通訳者がそれぞれ割り当てられる。結果として、会議規模が比較的大きい場合には多数の通訳者が必要になり、人員の浪費につながる。さらに、中国語の各会議会場の通訳者が通訳をしているときに、マイクロホンはその通訳されたデータを他の会議会場にも配信するため、状況が混乱する可能性があり、現実的に実現困難である。マイクロホンが通訳されたデータを他の会議会場に配信しないように設定されている場合は、発話側の会議会場は、中国語の会議会場での通訳が完了したのかどうかがわからないため、自分の発話速度を制御できず、結果として会議全体の質が低下する。
【００１２】
第２の方法では、１つの会議会場が、音声混合に参加する会議会場の音声を通訳する専用通訳端末として割り当てられる。しかし、この解決策にも欠点がある。１つの会議会場で英語が話されていて、通訳端末が英語を中国語に通訳する場合、各会議会場の参加者には英語が先に聞こえ、次に中国語が聞こえる。しかし、実際には、中国語の会議会場の参加者には英語の発話が聞こえる必要がなく、英語の会議会場の参加者も中国語に通訳された発話が聞こえる必要がない。この結果、参加者は、非常に無駄な情報を聞かなければならない。中国語と英語が混在すると会議が混乱し、参加者はすぐに疲れてしまう。さらに、通訳は会議のテンポを遅くさせ、効率を低下させる可能性がある。
【００１３】
会議で３つ以上の言語が話され、これらの言語が複数の会議会場で並行して話される場合を考えると、前述の２つの解決策は会議の質の低下につながり、音声混合の効果の点で適切ではない。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
以上を鑑みて、本発明の諸実施形態は、多言語多地点会議システムにおいて、各会議会場が、選択された言語のみを使用して会議に参加するようにする多言語会議を、少ない通訳リソースで実現するシステム、方法、及び多地点制御装置を提供する。
【課題を解決するための手段】
【００１５】
本発明の実施形態は、会議端末および多地点制御装置を含む、多言語会議を実現するシステムを提供する。
【００１６】
会議端末は、会議会場の発話を処理後に多地点制御装置へ送信することと、多地点制御装置から受信されたオーディオデータを処理し、処理されたオーディオデータを出力することと、を行うよう構成される。会議端末のうちの少なくとも１つは、多地点制御装置から送信されたオーディオデータに基づいて会議会場の発話を通訳することと、通訳されたオーディオデータを処理し、処理されたオーディオデータを多地点制御装置へ送信することと、を行うよう構成された通訳端末である。
【００１７】
多地点制御装置は、会議端末からのオーディオデータの音声混合処理を、言語タイプに応じて、異なる複数の音声チャネルで実行することと、音声混合処理後のオーディオデータを、会議端末へ送信することと、を行うよう構成される。
【００１８】
本発明の実施形態は、以下のステップを含む、多言語会議を実現する方法を提供する。
【００１９】
多地点制御装置が、会議端末のそれぞれから送信されたオーディオデータを受信し、会議端末のそれぞれからのオーディオデータの音声混合処理を、言語タイプに応じて異なる複数の音声チャネルで実行し、処理されたオーディオデータを会議端末へ送信する。
【００２０】
多地点制御装置によって受信されたオーディオデータは、会議端末が会議会場の発話を処理した後に多地点制御装置へ送信したオーディオデータ、および／または、通訳端末が、多地点制御装置から送信されたオーディオデータに従って会議会場の発話を通訳し、通訳されたオーディオデータを処理した後に多地点制御装置へ送信したオーディオデータを含む。
本発明の実施形態は、多言語会議を実現するシステムを実現する方法のステップを実行するよう構成された、多地点制御装置を提供する。
【００２１】
上述の技術方式から理解されるとおり、本発明の諸実施形態では、多チャネル技術が使用されるために、各会議会場の参加者には１つの言語の発話が聞こえ、さらに、必要に応じて、必要な言語で発話が聞こえるため、無用な言語情報を回避することができる。多チャネル技術が使用されるために、会議システムにおいて複数の言語での発話を実現することができ、その一方で、複数の言語は互いに邪魔にならず、異なる複数の言語がシームレスに結合されるため、様々な人々の言語の要求が満たされる。
【図面の簡単な説明】
【００２２】
【図１】従来技術の多地点ビデオ会議を行うためのシステムの概略図である。
【図２】従来技術の会議端末によるオーディオデータの処理方式の概略図である。
【図３】従来技術の多地点制御装置の音声混合方針の概略図である。
【図４】本発明の一実施形態の適用状況の概略図である。
【図５】本発明の一実施形態によるシステムの概略図である。
【図６】本発明の第１の実施形態によるシステムにおける会議端末によるオーディオデータ処理方式の概略図である。
【図７】本発明の第１の実施形態によるシステムにおける多地点制御装置によるオーディオデータ処理方式の概略図である。
【図８】本発明の第１の実施形態によるシステムにおいて、中国語、英語、およびロシア語を含む３つの言語が存在する場合の音声混合方式の概略図である。
【図９】本発明の第１の実施形態によるシステムにおいて、中国語、英語、およびロシア語を含む３つの言語が存在する場合の音声混合方式の概略図である。
【図１０】本発明の第２または第３の実施形態によるシステムにおける、会議端末と多地点制御装置との間の関係の概略図である。
【図１１】本発明の第３の実施形態によるシステムにおける、多地点制御装置の実施方式の概略図である。
【図１２】本発明の第４の実施形態によるシステムの概略図である。
【図１３】本発明の第５の実施形態によるシステムの概略図である。
【図１４】本発明の第５の実施形態によるシステムにおける、多地点制御装置の実施方式の概略図である。
【図１５】本発明の一実施形態によるシステムにおいて、中国語、英語、およびロシア語を含む３つの言語が存在する場合の音声混合の解決手段の第１の概略図である。
【図１６】本発明の一実施形態によるシステムに、中国語、英語、およびロシア語を含む３つの言語が存在する場合の音声混合の解決手段の第２の概略図である。
【発明を実施するための形態】
【００２３】
本発明の実施形態に従って説明されるシステムおよび方法では、多地点会議システムのＭＣＵにおいて多チャネル処理技術を用いることにより、異なる言語に応じて異なる音声チャネルが設定され、異なる音声チャネルに応じて異なる言語のオーディオデータが処理される。異なる音声チャネルに応じた処理とは、種々の言語のオーディオデータを、それぞれの言語に対応する音声チャネルを通して処理することを意味する。たとえば、中国語のオーディオデータは音声チャネル１で処理され、英語のオーディオデータは音声チャネル２で処理され、種々の言語のオーディオデータの処理は、互いに妨害しない。本発明の実施形態で説明される多地点会議システムは、従来の音声のみの多地点会議システムだけでなく、テレビ会議システムあるいはビデオ会議システムも含む。
【００２４】
本発明の実施形態は、一例として、中国語と英語の多地点会議を取り上げるが、他の２つ以上の言語を使用する会議も同様に処理される。
【００２５】
図４は、本発明の一実施形態の適用状況を示している。各会議会場は会議端末に対応しており、多地点会議システムの会議会場のうちの任意の１つが、各会議会場の発話に対する中国語から英語への通訳、または英語から中国語への通訳を担当する通訳用会議会場に割り当てられている。図５では、本発明の本実施形態によるシステムは、各会議端末とＭＣＵとを含んでいる。
【００２６】
以下では、本発明のシステムの第１の実施形態について説明する。
【００２７】
会議端末および通訳端末（通訳用会議会場の会議端末を「通訳端末」と呼ぶ）は、入出力インタフェースを１つだけ使用し、ＭＣＵは複数の音声チャネルからの音声混合を採用し、ＭＣＵは各会議端末が対応する言語と、通訳端末として動作する会議端末とを割り当てる。この方式では、会議端末および通訳端末に対する特別な要件はなく、作業の大部分はＭＣＵによって達成される。以下では、各部の詳細を説明する。
【００２８】
図６に示されるように、会議端末は現場で入力されたオーディオ信号を収集し、これらの信号を符号化し、符号化された信号をＭＣＵへ送信する。会議端末はまた、ＭＣＵから送信されたオーディオ符号ストリームを受信し、このオーディオ符号ストリームを復号後に再生する。したがって、会議端末は入力言語と出力言語とを区別する必要がない。
【００２９】
通訳端末は、各会議会場における発話の言語を通訳すること、たとえば、中国語の発話を英語に通訳すること、または英語の発話を中国語に通訳することを担当する。この実施形態では、通訳用会議会場において、通訳者による同時通訳が行われてよく、あるいは、通訳機を用いることによるインテリジェント同時機械通訳が行われてもよい。同時通訳が導入されるため、通訳に起因する会議の遅延は本質的に無視でき、これによって確実に会議を円滑に完了することができるようになる。
【００３０】
図７に示されるように、ＭＣＵは会議を設定する際に、まず、各会議端末に対して言語情報を割り当て、同時通訳機能を有する会議端末を通訳端末として割り当てる。たとえば、会議端末１の言語として中国語が割り当てられ、会議端末２の言語として英語が割り当てられ、その一方で、会議端末３が通訳端末として割り当てられる。ＭＣＵが会議端末からオーディオデータを受信すると、まず復号が行われ、次に復号された音声データが、会議端末に対して割り当てられた言語情報に従って、音声混合のために対応する言語混合器へ送信される。たとえば、中国語が割り当てられている会議端末については、ＭＣＵは、この会議端末の受信オーディオデータを音声混合のために中国語の混合器へ送信し、英語が割り当てられている会議端末のオーディオデータを音声混合のために英語の混合器へ送信する。通訳端末からＭＣＵへ送信されるオーディオデータは必ず音声混合に参加し、このオーディオデータがどの言語の音声混合に参加するかは、後に説明する。ＭＣＵが、異なる各言語に応じて個別に音声混合を実行した後、種々の言語に対する音声混合方針には従来技術が参考にされてよく、音声混合後のデータは、対応する各言語が割り当てられた会議端末にそれぞれ送信される。たとえば、中国語の音声混合に参加している会議端末は、中国語の音声混合がなされた対応するデータを受信し、英語の音声混合に参加している会議端末は、英語の音声混合がなされた対応するデータを受信する。
【００３１】
ＭＣＵの音声混合は、２つのステップで行われる。まず各会議会場の音量を比較し、次にそれらの音量に従って、ブロードキャストされるべき音声を有する会議会場を選択し、その音声を受信側会議会場へ送信する。音声混合は、１パーティ音声混合、２パーティ音声混合、３パーティ音声混合、さらには、４つ以上のパーティの音声混合を採用することが可能である。１パーティ音声混合では、音量が最も大きいパーティの音声だけが、各会議会場にブロードキャストされる。２パーティ音声混合では、音量が最も大きい２つのパーティの音声だけが混合されてブロードキャストされ、音声がブロードキャストされている音量が最も大きいこれら２つの会議会場の参加者には、自パーティの音声は聞こえないが、他方のパーティの音声は聞こえる。１パーティ音声混合および２パーティ音声混合は、４つ以上の会議会場が関与するインタラクティブな会議では、言葉が途切れるという問題が起こりがちである。そこで、３パーティ音声混合が提案される。３パーティ音声混合の概略図が図３に示されている。
【００３２】
異なる会議会場の音量が比較され、音量が最も大きい３つの会議会場、すなわち、Ｔ１、Ｔ２、およびＴ３が決定され、これらが音声混合に参加する。Ｔ１、Ｔ２、およびＴ３のデータは、データ加算された後に、音声混合に参加していない他の会議会場へ送信される。Ｔ１、Ｔ２、およびＴ３の参加者には、それぞれ、他の２つの会議会場の混合音声が聞こえる。すなわち、Ｔ１の参加者には、Ｔ２およびＴ３の会議会場の混合音声が聞こえ、Ｔ２の参加者には、Ｔ１およびＴ３の会議会場の混合音声が聞こえ、Ｔ３の参加者には、Ｔ１およびＴ２の会議会場の混合音声が聞こえる。１パーティ音声混合は実現が容易であり、議長だけが発話するケースには比較的適合するが、インタラクティブ性能は低い。２パーティ音声混合はある程度のインタラクティブ性能を有しうるが、第３のパーティが言葉を差し挟むと、１つのパーティの音声が途切れる事態が起こりがちである。３パーティ音声混合のインタラクティブ性能は、比較的良好である。
【００３３】
ＭＣＵが、異なる各言語に応じて別々に音声を混合した後、音声混合結果は、対応する各言語が割り当てられている会議会場に、それぞれ送信される。たとえば、中国語の音声混合に参加している会議端末は、中国語の音声混合がなされた対応するデータを受信し、英語の音声混合に参加している会議端末は、英語の音声混合がなされた対応するデータを受信する。
【００３４】
図７では、各言語ペアが通訳端末を１つだけ使用している。たとえば、中国語−英語通訳端末は、中国語から英語への通訳と、さらに英語から中国語への通訳とを行うことができる。種々の会議会場の発話の通訳作業が少数の会議会場で集中的に処理されるため、通訳の品質を保証しながら、通訳リソースが大幅に節約され、したがって会議コストが低減される。１パーティ音声混合が採用された場合は、音量が最も大きい、中国語および英語のパーティの音声が、通訳端末へ送信される。音量比較に参加しなかった通訳端末は、音量が最も大きいオーディオデータを通訳用会議会場へ送信する。中国語が最も大きい音量で話されている場合は、通訳端末へ送信されるオーディオデータの言語は中国語である。次の音声混合では、通訳端末のオーディオデータは、英語の音声混合に参加する。英語が最も大きい音量で話されている場合は、通訳端末へ送信されるオーディオデータの言語は英語である。次の音声混合では、通訳端末のオーディオデータは、中国語の音声混合に参加する。中国語および英語のうちの、音量の大きい方だけが通訳端末へ送信されるが、中国語または英語の音声混合自体は、１パーティ、２パーティ、３パーティ、さらには４つ以上のパーティの音声混合を採用することが可能である。通訳端末は、音量が最も大きい、または、いくつかのうちの音量が最も大きい１つの、対応する言語の音声混合に、常に参加する。
【００３５】
２パーティ音声混合が採用された場合は、音量が最も大きい２つのパーティのオーディオデータが選択されて通訳のために通訳端末へ送信されるため、通訳端末が２つ必要である。一方の通訳端末は音量が最も大きい会議会場の音声を通訳し、他方の通訳端末は音量が２番目に大きい会議会場の音声を通訳する。通訳用会議会場の音量は、音量比較に参加しない。通訳された音声は、音声混合のために、対応する言語の混合器へ送信される。音量が最も大きい２つのパーティが両方とも中国語或いは英語である場合、通訳端末によって通訳されたデータは、次の音声混合で、音量が最も大きい２つのパーティ、またはいくつかのパーティのうちの音量が最も大きい２つとして、英語または中国語の音声混合に参加する。音量が最も大きい２つのパーティの一方が中国語であり他方が英語である場合、これら２つのパーティは、対応する通訳端末によって通訳された後に、それぞれ、英語および中国語の音声混合に参加する。通訳端末は常に音声混合に参加し、その音量は通訳をした会議会場の音量と同じであってよく、あるいは、そのうちの最も大きな音量であってもよい。同様に、中国語の混合器、または英語の混合器は、２パーティ、３パーティ、または多パーティの音声混合を採用することが可能である。
【００３６】
３パーティまたは多パーティの音声混合が採用された場合、音声混合の処理は２パーティ音声混合の場合と同様であり、音量が最も大きい、いくつかのパーティの音量を通訳するために、３つ以上の通訳端末が必要である。
【００３７】
上記では、例示の容易さのために、中国語および英語の２言語の多言語会議について説明したが、上記の方法に従って任意の２言語による多言語会議を実施することが可能である。会議において同時に使用される言語の数は、２つより多くてもよい。言語が追加された場合、端末の処理は変わらず、ＭＣＵは混合器を対応して追加する。図８に示されるように、一例として、中国語、英語、およびロシア語を含む３つの言語の会議を取り上げると、３つの通訳端末が設けられており、１つは中国語と英語の通訳を実現するために使用され、１つは中国語とロシア語の通訳を実現するために使用され、１つは英語とロシア語の通訳を実現するために使用される。中国語、英語、およびロシア語の音声混合結果は、それぞれの聞き側会議会場へ送信される。図８では１パーティ音声混合が採用されており、中国語、英語、およびロシア語の中の音量が最も大きい１つのパーティのデータが、符号化された後に対応する通訳用会議端末へ送信され、通訳用会議端末の音量は音量比較に参加しない。中国語が最も大きい音量で話されている場合は、中国語のデータが中国語と英語の通訳用会議会場、および中国語とロシア語の通訳用会議会場へ送信される。英語またはロシア語が最も大きい音量で話されている場合も、処理方法は同様である。この方法では、中国語、英語、およびロシア語のうちの、音量が最も大きい１つだけが通訳される。４つ以上の言語の場合も、同様に推定されるであろう。
【００３８】
２つ以上のパーティの音声混合の処理も上記説明と同様であるが、音量が２番目に大きい会議会場の音声を通訳するために、さらにいくつかの通訳端末が必要である。
【００３９】
図９は、音声混合を実施する、より柔軟な方法を示す。音声混合では、中国語と英語、中国語とロシア語、ならびに英語とロシア語について、それぞれ音量が比較され、音量が最も大きい１つのパーティのデータが、通訳のために対応する通訳端末へ送信される。たとえば、中国語と英語の音量が比較された場合は、音量がより大きい１つのパーティの音声が、中国語−英語の通訳用会議端末へ送信される。中国語とロシア語の音量が比較された場合は、音量がより大きい１つのパーティの音声が、中国語−ロシア語の通訳用会議端末へ送信される。英語とロシア語の音量が比較された場合は、音量がより大きい１つのパーティの音声が、英語−ロシア語の通訳用会議端末へ送信される。通訳されたオーディオデータは、対応する言語の音声混合に参加する。たとえば、中国語の音声混合に参加するデータには、中国語のデータと、英語から通訳された中国語のデータと、ロシア語から通訳された中国語のデータとが含まれる。中国語の音声混合は、１パーティ音声混合、２パーティ音声混合、３パーティ音声混合、および、さらに多くのパーティの音声混合を含む。中国語の音声混合では、英語から通訳された中国語の音量が、英語の音量に従って音声混合に参加し、ロシア語から通訳された中国語の音量が、ロシア語の音量に従って音声混合に参加する。英語およびロシア語の音声混合処理も中国語の場合と同様であり、４つ以上の言語の場合も、同様に推定されるであろう。
【００４０】
図９では、どの２つの言語の間でも、２つ以上のパーティの音声混合が実施されることが可能であるが、通訳端末の数も相応して多くなる。
【００４１】
以下では、本発明のシステムの第２の実施形態について説明する。
【００４２】
会議端末および通訳端末は、入出力インタフェースを１つだけ使用する。会議端末は、自身の言語をＭＣＵに通知するか、自身が通訳端末であることを、シグナリングを通してＭＣＵに通知する必要がある。ＭＣＵは、複数の音声チャネルからの音声の混合を採用している。会議端末、通訳端末、およびＭＣＵで使用されているコーデックは、単一チャネルコーデックである。以下で、各部の詳細を説明する。
【００４３】
会議端末の実施態様は、第１の実施形態の場合とほぼ同等である。異なるのは、図１０に示されるように、会議端末が会議会場の言語割り当てをサポートし、会議会場の言語をＨ．２４５のようなシグナリングを通して、ＭＣＵに確認する点である。たとえば、会議端末が言語として中国語を選択すると、ＭＣＵはその会議端末が中国語の会議会場に属することを通知される。
【００４４】
通訳端末の実施態様は、第１の実施形態の場合と同等であるが、異なる点として、会議端末は通訳端末として割り当てられると、ＭＣＵは会議端末が通訳端末であることを、Ｈ．２４５のようなシグナリングを通して通知される。
【００４５】
ＭＣＵの実施態様は、第１の実施形態の場合と同等であるが、異なる点として、ＭＣＵは、会議端末に割り当てられた言語、または会議端末が通訳端末として動作するかどうかを、Ｈ．２４５のようなシグナリングを通して通知される。すなわち、図７の会議会場属性割り当て情報が、Ｈ．２４５のようなシグナリングを通して、会議端末から取得される。
【００４６】
以下では、本発明のシステムの第３の実施形態について説明する。
【００４７】
会議端末および通訳端末は、入出力インタフェースを１つだけ使用する。会議端末は、自身の言語を帯域内方式でＭＣＵに通知するか、自身が通訳端末であることをＭＣＵに通知する必要がある。ＭＣＵは、複数の音声チャネルからの音声の混合を採用している。会議端末、通訳端末、およびＭＣＵで使用されているコーデックは、単一チャネルコーデックである。以下で、各部の詳細を説明する。
【００４８】
会議端末の実施態様は、第２の実施形態の場合と同等であるが、異なる点として、会議端末は、入力されたオーディオデータを受信および符号化し、符号化された符号ストリームと、その符号ストリームに対応する言語情報とを、ＭＣＵへの送信のためにパッキング（パッケージ化）する。たとえば、図１０に示されるように、中国語の会議端末は、ＭＣＵへ送信される符号ストリームに中国語識別子を付加し、英語の会議端末は、ＭＣＵへ送信される符号ストリームに英語識別子を付加し、シグナリングによるＭＣＵへの言語の通知は行われない。
【００４９】
通訳端末の実施態様は、第２の実施形態の場合と同等であるが、異なる点として、会議端末は通訳端末として割り当てられると、通訳端末はシグナリングを通してではなく、ＭＣＵへ送信される符号ストリームに通訳端末の識別子を付加することによって、自身が通訳端末であることをＭＣＵに通知する（図１０を参照）。
【００５０】
ＭＣＵの実施態様は、第２の実施形態の場合と同等であるが、異なる点として、図１１に示されるように、ＭＣＵは、符号ストリームの言語、ならびに、会議端末が通訳端末かどうかを、シグナリングを通してではなく、受信したオーディオ符号ストリームを解析することによって特定する。
【００５１】
以下では、本発明のシステムの第４の実施形態について説明する。
【００５２】
場合によっては、１つの会議会場において、発話または聞き取りが複数の言語で行われることがある。その会議会場での発話において複数の言語が交互に話される場合、会議端末の言語は、前述の方法に従うと連続的に更新される必要があり、これは非常に不便な動作である。この実施態様では、会議端末は複数の入出力インタフェースを使用する。
【００５３】
会議端末は２つの入力チャネルを有し、会議端末のチャネル言語割り当てモジュールが、各入力チャネルに対応する言語を割り当てる（たとえば、中国語がチャネル１に対応し、英語がチャネル２に対応する）。図１２に示されるように、まず、チャネル１およびチャネル２のデータが、符号化器へ送信される前に音量を比較され、音量が高いほうのパーティのデータが符号化のために符号化器へ送信される。このチャネルに対応する言語情報が、符号化された符号ストリームに付加されてから、符号化された符号ストリームがＭＣＵへ送信される。たとえば、会議会場で中国語だけが話されている場合には、チャネル１のデータが符号化のために符号化器へ送信され、符号化された符号ストリームに中国語識別子がマーキングされてから符号ストリームがＭＣＵへ送信される。会議会場で英語だけが話されている場合には、チャネル２のデータが符号化のために符号化器へ送信され、符号化された符号ストリームに英語識別子がマーキングされてから符号ストリームがＭＣＵへ送信される。中国語および英語が同時に話されている場合には、音量が大きいほうのパーティのデータが符号化され、対応する言語情報を付加されてから、ＭＣＵへ送信される。
【００５４】
通訳端末として割り当てられている会議端末は、ＭＣＵへの送信のために、通訳端末識別子を符号ストリームに付加する。もちろん、通訳端末として割り当てられている会議端末は自身が通訳端末であることを、Ｈ．２４５のようなシグナリングを通してＭＣＵに通知することも可能である。
【００５５】
図１１に示されるように、ＭＣＵは、会議端末からオーディオ符号ストリームを受信した後、その符号ストリームに対応する言語、および、その符号ストリームが通訳端末からのものかどうかを、端末言語および通訳端末識別子から識別する。符号ストリームは復号された後、音声混合のために、識別された言語情報に従って、異なる各言語に対応する混合器へ送信される。たとえば、中国語のデータは音声混合のために中国語の混合器へ送信され、英語のデータは音声混合のために英語の混合器へ送信される。音声混合後、中国語の音声混合結果と英語の音声混合結果とが音量に従って１つずつペアにされ、符号化され、それぞれ言語識別子によるマーキングが施され、その後、対応する受信側会議端末へ送信される。たとえば、中国語の音声混合結果と英語の音声混合結果とを含む、音量が最も大きいペアが、中国語または英語の最も大きな音量を受信する会議会場へ送信される。
【００５６】
図１２に示されるように、この方式では、会議端末が受信する言語を選択することも可能である。会議端末は受信することを選択した言語を、Ｈ．２４５のようなシグナリングを通してＭＣＵに通知する。音声混合後、ＭＣＵは、会議端末が聞くことを選択した言語の情報に従って、混合されたデータを会議端末へ送信する。会議端末が、中国語および英語の言語情報を聞くことを選択した場合、ＭＣＵによって会議端末へ送信されるデータは、前述のように処理される。会議端末が、中国語を聞くことだけを選択した場合は、中国語の音声混合の結果が、対応する受信側会議端末へ送信され、英語の場合も同様に処理される。通訳端末は、中国語と英語の両方を受信するように設定される必要がある。
【００５７】
会議端末は、聞く対象言語の割り当てに従って、受信されたＭＣＵ符号ストリームを選択的に、またはすべて復号し、次に、復号された符号ストリームを対応する出力チャネルへ出力する。たとえば、出力チャネル１が中国語を出力するように割り当てられ、出力チャネル２が英語を出力するように割り当てられている場合は、会議端末が中国語および英語の符号ストリームを受信すると、会議端末はそれらの符号ストリームをそれぞれ復号し、復号された符号ストリームを対応する出力チャネルに出力する。出力チャネル１が中国語だけを出力するように割り当てられている場合は、英語の符号ストリームのデータが破棄され、中国語の符号ストリームのデータだけが復号されて、出力のために出力チャネル１へ送信される。出力チャネル２が英語だけを出力するように割り当てられている場合は、中国語の符号ストリームのデータが破棄され、英語の符号ストリームのデータだけが復号されて、出力のために出力チャネル２へ送信される。
【００５８】
通訳端末と、通訳端末が参加している言語音声混合とに送信されたオーディオデータは、以下のように処理される。ＭＣＵは、受信した中国語および英語のオーディオデータの音量を比較し（通訳端末は音量比較に参加しない）、音量が最も大きいオーディオデータを通訳用会議会場へ送信する。中国語が最も大きい音量で話されている場合、通訳端末へ送信されるオーディオデータの言語は中国語であり、次の音声混合では、ＭＣＵで受信される、通訳端末のオーディオデータは英語の音声混合に参加する。英語が最も大きい音量で話されている場合、通訳端末へ送信されるオーディオデータの言語は英語であり、通訳の完了後、通訳端末は通訳された中国語のデータを、中国語の音声混合に参加させるためにＭＣＵへ送信する。
【００５９】
以下では、本発明のシステムの第５の実施形態について説明する。
【００６０】
本方式は、方式４と同様であり、その違いは多チャネル符号化器が採用されていることである。
【００６１】
図１３に示されるように、本方式における会議端末の処理と方式４における会議端末の処理との違いは、異なる複数の言語の符号化が、多チャネル符号化器の符号化音声チャネルに対応することである。たとえば、中国語は対応する左チャネルで符号化され、英語は右チャネルで符号化され、符号化されたデータは、パッキングされた後にＭＣＵへ送信される。
【００６２】
通訳端末として割り当てられている会議端末は、ＭＣＵへ送信される符号ストリームに通訳端末識別子を付加する。この会議端末はさらに、自身の識別情報を、Ｈ．２４５のようなシグナリングを通して、ＭＣＵに通知することもできる。
【００６３】
図１４に示されるように、ＭＣＵは会議端末から送信されたオーディオ符号ストリームを受信して復号し、音声チャネルデータを音声混合のために対応する混合器に配信する。たとえば、左チャネルのデータは、音声混合のために中国語の混合器に配信され、右チャネルのデータは、音声混合のために英語の混合器に配信される。音声混合後、中国語の音声混合結果と英語の音声混合結果とが音量に従って１つずつペアにされ、多チャネル符号化器の対応する音声チャネルで符号化され、その後、会議端末へ送信される。
【００６４】
会議端末は、ＭＣＵによって送信された符号ストリームを受信して復号し、選択された出力言語に従って、対応する言語の復号されたデータを出力チャネルへ送信する。通訳端末は、中国語と英語の両方を受信するように設定されている。
【００６５】
通訳端末と、通訳端末が参加する言語音声混合とに送信されたオーディオデータは、以下のように処理される。ＭＣＵは、受信した中国語および英語のオーディオデータの音量を比較し（通訳端末は音量比較に参加しない）、音量が最も大きいオーディオデータを通訳用会議会場へ送信する。中国語が最も大きい音量で話されている場合、通訳端末へ送信されるオーディオデータの言語は中国語であり、次の音声混合では、ＭＣＵで受信された、通訳端末のオーディオデータは、英語の音声混合に参加する。英語が最も大きい音量で話されている場合、通訳端末へ送信されるオーディオデータの言語は英語であり、通訳の完了後、通訳端末は通訳された中国語のデータを、中国語の音声混合に参加させるためにＭＣＵへ送信する。
【００６６】
上記では、例示の簡便さを期すために中国語および英語の２言語の多言語会議について説明したが、上記の方法に従えば、任意の２言語の多言語会議を実施することが可能である。会議において同時に使用される言語の数は、２つより多くてもよい。言語が追加された場合、端末の処理は変わらないが、ＭＣＵは混合器を対応して追加する。図１５に示されるように、一例として、中国語、英語、およびロシア語の３つの言語の会議を取り上げると、中国語、英語、およびロシア語の音声混合結果は、これらのそれぞれの聞き側の会議会場へ送信される。さらに、中国語、英語、およびロシア語のうちの、音量が最も大きい１つのパーティのデータが、符号化されてから、対応する通訳用会議端末へ送信される。通訳端末からの音量は、音量比較に参加しないことに注意されたい。中国語が最も大きい音量で話されている場合は、中国語のデータが、中国語と英語の通訳用会議会場、および中国語とロシア語の通訳用会議会場へ送信される。英語またはロシア語が最も大きい音量で話されている場合も、処理方法は同様である。この方法では、中国語、英語、およびロシア語のうちの、音量が最も大きい１つのパーティだけが通訳される。４つ以上の言語の場合も、同様に推定されるであろう。
【００６７】
図１６は、音声混合を実施する、より柔軟な方法である。音声混合後、中国語と英語、中国語とロシア語、ならびに英語とロシア語について、それぞれ音量が比較され、その後、これらの言語は通訳のために対応する通訳端末へ送信される。このようにして、中国語、英語、およびロシア語の各会議会場の参加者は、同時に発話することが可能である。４つ以上の言語の場合も、同様に推定されるであろう。
【００６８】
以下では、本発明の方法の実施態様の諸実施形態を説明する。
【００６９】
前述のシステムの実施形態と同様であるが、最初に、各々の会議会場に言語情報と、それぞれの会議会場に対して会議端末を適切に接続する入出力インタフェースとが割り当てられ、ある会議会場が、各会議会場の発話の通訳を担当する通訳用会議会場に割り当てられる。多地点会議システムに言語が２つしか存在しない場合は、１つの会議会場を通訳用会議会場として割り当てるだけで十分である。４つ以上の言語が存在する場合は、複数の通訳用会議会場を割り当てる必要がある。各会議端末は、会議の発話を多地点制御装置へ送信されるオーディオデータに変換する。本方法はさらに、以下のステップを含む。
【００７０】
通訳用会議会場は、各会議会場の発話に対して同時通訳を実行し、通訳された発話を言語タイプに応じて多地点制御装置へ送信する。
【００７１】
多地点制御装置は、会議端末からの異なる複数の音声チャネルのオーディオデータを言語タイプに応じて混合し、処理されたオーディオデータを、多地点制御装置によってあらかじめ設定された言語、または会議端末の言語選択に従って、会議端末へ送信する。
【００７２】
会議端末は多地点制御装置からのオーディオデータを処理し、処理されたオーディオデータを出力する。
【００７３】
会議端末および多地点制御装置の諸実施態様は、前述のシステムの第１から第５の実施形態に関連して示されているため、ここでは詳細に説明しない。
【００７４】
本方法を用いると、通訳用会議会場の参加者だけが発話する場合でも、他の会議会場の参加者だけが発話する場合でも、通訳用会議会場と他の会議会場との両方が発話に参加する場合でも、言語タイプに応じて、異なる複数の音声チャネルの処理を実現することが可能であり、各種言語の発話内容が互いの邪魔になることがなく、各会議会場が会議に参加するために必要な言語を選択することが可能である。
【００７５】
本発明の前述の実施形態は、一例として中国語と英語の会議を取り上げたが、本発明の実施形態の実際の適用方法では、会議で使用される言語は中国語および英語に限定されず、任意の２つの言語の組み合わせであってよい。会議で使用される言語は２種類に限定されず、３種類以上であってよい。多地点制御装置で使用される音声混合方針は、従来技術で使用されている方法に限定されず、他の音声混合方針も同様に適用可能である。本発明の実施形態によるシステムおよび方法が使用される場合、各会議会場はそれぞれが選択した言語で会議に参加することが可能である。たとえば、中国語、英語、およびロシア語の３つの言語が会議システムに存在する場合は、３つの音声チャネルを設ければ対応する言語のオーディオデータを処理するために十分である。３つの通訳用会議会場、すなわち、中国語−英語の通訳用会議会場、中国語−ロシア語の通訳用会議会場、および英語−ロシア語の通訳用会議会場が、同時に割り当てられる。各会議会場は割り当て情報に従って、それぞれが必要とする言語だけを出力することを決定し、無用な発話情報を遮断する。
【００７６】
最後に、前述の諸実施形態は説明のために用いられているに過ぎず、本発明の技術的解決策を限定するものではないことを理解されたい。前述の好ましい諸実施形態を参照して本発明を詳細に説明してきたが、様々な修正、変更、または等価的置き換えが、当業者によって、本発明の趣旨および範囲から逸脱することなくなされることが可能であり、これらは本発明の特許請求項でカバーされることを理解されたい。
【図１】
0005534813.tif 000002
【図２】
0005534813.tif 000003
【図３】
0005534813.tif 000004
【図４】
0005534813.tif 000005
【図５】
0005534813.tif 000006
【図６】
0005534813.tif 000007
【図７】
0005534813.tif 000008
【図８】
0005534813.tif 000009
【図９】
0005534813.tif 000010
【図１０】
0005534813.tif 000011
【図１１】
0005534813.tif 000012
【図１２】
0005534813.tif 000013
【図１３】
0005534813.tif 000014
【図１４】
0005534813.tif 000015
【図１５】
0005534813.tif 000016
【図１６】
0005534813.tif 000017