(57)【要約】【課題】複数の通信端末を用いて遠隔会議等を行う際に、エラーやノイズ等が発生した場合に発話者側にその状況を伝えることのできる技術を提供する。【解決手段】参加者１Ａが発した音声は会議端末１０Ａに接続されたマイクロホン１５で収音され、収音された音声を表す音声データが、会議端末１０Ｂへ送信される。会議端末１０Ｂは、会議端末１０Ａから受信される音声データをスピーカ１７に出力する。マイクロホン３５は、スピーカ１７から放音される音声を収音して音声信号を出力する。テキスト変換装置３０はマイクロホン３５から出力される音声信号をＡ／Ｄ変換して音声データを生成し、生成した音声データをテキスト変換してテキストデータを生成し、テキスト表示装置４０へ送信する。テキスト表示装置４０は、テキスト変換装置３０からテキストデータを受信し、受信したテキストデータの示すテキストを表示装置４３に表示する。【選択図】図５
2009302824.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワークを介して互いに接続された第１、第２の端末を有する音声通信システムであって、
前記第１の端末は、
収音した音声を表す音声データを出力する収音装置から出力される音声データが入力される第１の音声入力端子と、
供給されるデータに応じた画像を表示する表示装置にデータを出力する映像出力端子と、
前記第１の音声入力端子に入力される音声データを、前記第２の端末へ送信する音声データ送信手段と、
前記第２の端末からテキストデータを受信するテキストデータ受信手段と、
前記テキストデータ受信手段によって受信されたテキストデータを前記映像出力端子に出力するテキストデータ出力手段と
を具備し、
前記第２の端末は、
供給される音声データに応じて放音する放音装置に音声データを出力する音声出力端子と、
前記放音装置によって放音される音声を収音し、収音した音声を表す音声データを出力する収音装置から出力される音声データが入力される第２の音声入力端子と、
前記第１の端末から送信されてくる音声データを受信する第２の音声データ受信手段と、
前記第２の音声データ受信手段によって受信された音声データを、前記音声出力端子に出力する出力手段と、
前記第２の音声入力端子に入力された音声データをテキスト変換してテキストデータを生成するテキスト変換手段と、
前記テキスト変換手段によって生成されたテキストデータを、前記第１の端末へ送信するテキストデータ送信手段と
を具備することを特徴とする音声通信システム。
【請求項２】
通信ネットワークを介して互いに接続された第１、第２の端末を有する音声通信システムであって、
前記第１の端末は、
収音した音声を表す音声データを出力する収音装置から出力される音声データが入力される第１の音声入力端子と、
供給されるデータに応じた画像を表示する表示装置にデータを出力する映像出力端子と、
前記第１の音声入力端子に入力される音声データを、前記第２の端末へ送信する音声データ送信手段と、
前記第２の端末からテキストデータを受信するテキストデータ受信手段と、
前記テキストデータ受信手段によって受信されたテキストデータを前記映像出力端子に出力するテキストデータ出力手段と
を具備し、
前記第２の端末は、
前記第１の端末から送信されてくる音声データを受信する第２の音声データ受信手段と、
前記第２の音声データ受信手段により受信された音声データをテキスト変換してテキストデータを生成するテキスト変換手段と、
前記テキスト変換手段によって生成されたテキストデータを、前記第１の端末へ送信するテキストデータ送信手段と
を具備することを特徴とする音声通信システム。
【請求項３】
通信ネットワークを介して互いに接続された第１、第２の端末を有する音声通信システムであって、
前記第１の端末は、
収音した音声を表す音声データを出力する収音装置から出力される音声データが入力される第１の音声入力端子と、
供給されるデータに応じた画像を表示する表示装置にデータを出力する映像出力端子と、
前記第１の音声入力端子に入力される音声データを、前記第２の端末へ送信する音声データ送信手段と、
前記第１の音声入力端子に入力される音声データをテキスト変換してテキストデータを生成する第１のテキスト変換手段と、
前記第２の端末からテキストデータを受信するテキストデータ受信手段と、
前記テキストデータ受信手段によって受信されたテキストデータと前記第１のテキスト変換手段によって生成されたテキストデータとを比較し、両者の差分に応じたメッセージを、前記映像出力端子及び供給される音声に応じて放音する放音装置に接続された第１の音声出力端子の少なくともいずれか一方に出力するメッセージ出力手段と
を具備し、
前記第２の端末は、
供給される音声データに応じて放音する放音装置に音声データを出力する第２の音声出力端子と、
前記放音装置によって放音される音声を収音し、収音した音声を表す音声データを出力する収音装置から出力される音声データが入力される第２の音声入力端子と、
前記第１の端末から送信されてくる音声データを受信する第２の音声データ受信手段と、
前記第２の音声データ受信手段によって受信された音声データを、前記第２の音声出力端子に出力する出力手段と、
前記第２の音声入力端子に入力された音声データをテキスト変換してテキストデータを生成する第２のテキスト変換手段と、
前記第２のテキスト変換手段によって生成されたテキストデータを、前記第１の端末へ送信するテキストデータ送信手段と
を具備することを特徴とする音声通信システム。
【請求項４】
前記第１の端末は、
前記第１の音声入力端子に入力される音声データをテキスト変換して第２のテキストデータを生成する第２のテキスト変換手段と、
前記テキストデータ受信手段によって受信されたテキストデータと前記第２のテキスト変換手段によって生成された第２のテキストデータとを比較し、両者の差分に応じたメッセージを、前記映像出力端子及び供給される音声に応じて放音する放音装置に接続された音声出力端子の少なくともいずれか一方に出力するメッセージ出力手段と
を具備することを特徴とする請求項１に記載の音声通信システム。
【請求項５】
前記第２の端末は、
前記音声データ受信手段によって受信された音声データをテキスト変換して第３のテキストデータを生成する第３のテキスト変換手段と、
前記第３のテキスト変換手段によって生成された第３のテキストデータを、前記第１の端末へ送信する第３のテキストデータ送信手段と
を具備し、
前記第１の端末は、
前記第３のテキストデータ送信手段によって送信された第３のテキストデータを受信する第３のテキストデータ受信手段
を具備し、
前記第１の端末の前記メッセージ出力手段は、前記第３のテキストデータ受信手段によって受信された第３のテキストデータを、前記テキストデータ及び前記第２のテキストデータの少なくともいずれか一方と比較し、比較結果に応じたメッセージを出力する
ことを特徴とする請求項４に記載の音声通信システム。
【請求項６】
前記第２の端末の前記テキストデータ送信手段は、前記テキスト変換手段によって生成されたテキストデータと自端末を識別する識別情報とを前記第１の端末へ送信し、
前記第１の端末の前記テキストデータ受信手段は、前記第２の端末から前記テキストデータと前記識別情報とを受信し、
前記第１の端末の前記テキストデータ出力手段は、前記テキストデータ受信手段によって受信されたテキストデータと識別情報とを前記映像出力端子に出力する
ことを特徴とする請求項１乃至５のいずれか１項に記載の音声通信システム。
【請求項７】
前記第１の端末は、
前記識別情報と表示態様との対応関係を記憶する記憶手段
を具備し、
前記テキストデータ出力手段は、前記テキストデータ受信手段によって受信されたテキストデータの示すテキストを、前記テキストデータ受信手段によって受信された識別情報に対応する表示態様で前記表示装置に表示させる
ことを特徴とする請求項６に記載の音声通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声通信システムに関する。
【背景技術】
【０００２】
近年、通信網を介して接続された複数の通信端末を用いて会議を行う遠隔会議システムが普及している。このような遠隔会議システムにおいては、発話者と聴取者が直接対面していないため、発話者は自身の声が相手にきちんと届いているかを不安に感じる場合がある。特許文献１には、発話者の不安を解消するために、送信した音声・画像データが受信側においてどのような状態で届いているかを送信側でリアルタイムに表示する技術が提案されている。また、会議の後確認（議事録作成）などの為に、会話の内容をテキスト変換する技術が提案されている（特許文献２、３等）。また、近年では、携帯電話などのように、接続が不安定になると「ピーピーピー」といった警告音を鳴らす装置が用いられている。
【特許文献１】特開２００５−２６９４９８号公報
【特許文献２】特開平０４−３６２７６９号公報
【特許文献３】特開２００３−２８３６７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、遠隔会議等の音声通信を行う場合においては、音声に雑音が混入したり、音声がかすれたり、あるいはエコー等の残響によって音声が不明瞭になる場合がある。しかしながら、上述した従来の技術では、通信状況の致命的な問題は認識できるが、このような音声が不明瞭になっている場合であっても、その状況を発話者側に認識させることはできなかった。
本発明は上述した背景に鑑みてなされたものであり、複数の通信端末を用いて遠隔会議等の音声通信を行う際に、会話の途中でエラーやノイズ等が発生した場合に発話者側にその状況を伝えることのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明は、通信ネットワークを介して互いに接続された第１、第２の端末を有する音声通信システムであって、前記第１の端末は、収音した音声を表す音声データを出力する収音装置から出力される音声データが入力される第１の音声入力端子と、供給されるデータに応じた画像を表示する表示装置にデータを出力する映像出力端子と、前記第１の音声入力端子に入力される音声データを、前記第２の端末へ送信する音声データ送信手段と、前記第２の端末からテキストデータを受信するテキストデータ受信手段と、前記テキストデータ受信手段によって受信されたテキストデータを前記映像出力端子に出力するテキストデータ出力手段とを具備し、前記第２の端末は、供給される音声データに応じて放音する放音装置に音声データを出力する音声出力端子と、前記放音装置によって放音される音声を収音し、収音した音声を表す音声データを出力する収音装置から出力される音声データが入力される第２の音声入力端子と、前記第１の端末から送信されてくる音声データを受信する第２の音声データ受信手段と、前記第２の音声データ受信手段によって受信された音声データを、前記音声出力端子に出力する出力手段と、前記第２の音声入力端子に入力された音声データをテキスト変換してテキストデータを生成するテキスト変換手段と、前記テキスト変換手段によって生成されたテキストデータを、前記第１の端末へ送信するテキストデータ送信手段とを具備することを特徴とする音声通信システムを提供する。
【０００５】
また、本発明は、通信ネットワークを介して互いに接続された第１、第２の端末を有する音声通信システムであって、前記第１の端末は、収音した音声を表す音声データを出力する収音装置から出力される音声データが入力される第１の音声入力端子と、供給されるデータに応じた画像を表示する表示装置にデータを出力する映像出力端子と、前記第１の音声入力端子に入力される音声データを、前記第２の端末へ送信する音声データ送信手段と、前記第２の端末からテキストデータを受信するテキストデータ受信手段と、前記テキストデータ受信手段によって受信されたテキストデータを前記映像出力端子に出力するテキストデータ出力手段とを具備し、前記第２の端末は、前記第１の端末から送信されてくる音声データを受信する第２の音声データ受信手段と、前記第２の音声データ受信手段により受信された音声データをテキスト変換してテキストデータを生成するテキスト変換手段と、前記テキスト変換手段によって生成されたテキストデータを、前記第１の端末へ送信するテキストデータ送信手段とを具備することを特徴とする音声通信システムを提供する。
【０００６】
また、本発明は、通信ネットワークを介して互いに接続された第１、第２の端末を有する音声通信システムであって、前記第１の端末は、収音した音声を表す音声データを出力する収音装置から出力される音声データが入力される第１の音声入力端子と、供給されるデータに応じた画像を表示する表示装置にデータを出力する映像出力端子と、前記第１の音声入力端子に入力される音声データを、前記第２の端末へ送信する音声データ送信手段と、前記第１の音声入力端子に入力される音声データをテキスト変換してテキストデータを生成する第１のテキスト変換手段と、前記第２の端末からテキストデータを受信するテキストデータ受信手段と、前記テキストデータ受信手段によって受信されたテキストデータと前記第１のテキスト変換手段によって生成されたテキストデータとを比較し、両者の差分に応じたメッセージを、前記映像出力端子及び供給される音声に応じて放音する放音装置に接続された第１の音声出力端子の少なくともいずれか一方に出力するメッセージ出力手段とを具備し、前記第２の端末は、供給される音声データに応じて放音する放音装置に音声データを出力する第２の音声出力端子と、前記放音装置によって放音される音声を収音し、収音した音声を表す音声データを出力する収音装置から出力される音声データが入力される第２の音声入力端子と、前記第１の端末から送信されてくる音声データを受信する第２の音声データ受信手段と、前記第２の音声データ受信手段によって受信された音声データを、前記第２の音声出力端子に出力する出力手段と、前記第２の音声入力端子に入力された音声データをテキスト変換してテキストデータを生成する第２のテキスト変換手段と、前記第２のテキスト変換手段によって生成されたテキストデータを、前記第１の端末へ送信するテキストデータ送信手段とを具備することを特徴とする音声通信システムを提供する。
【０００７】
また、本発明の好ましい態様において、前記第１の端末は、前記第１の音声入力端子に入力される音声データをテキスト変換して第２テキストデータを生成する第２のテキスト変換手段と、前記テキストデータ受信手段によって受信されたテキストデータと前記第２のテキスト変換手段によって生成された第２テキストデータとを比較し、両者の差分に応じたメッセージを、前記映像出力端子及び供給される音声に応じて放音する放音装置に接続された音声出力端子の少なくともいずれか一方に出力するメッセージ出力手段とを具備してもよい。
【０００８】
また、本発明の更に好ましい態様において、前記第２の端末は、前記音声データ受信手段によって受信された音声データをテキスト変換して第３のテキストデータを生成する第３のテキスト変換手段と、前記第３のテキスト変換手段によって生成された第３のテキストデータを、前記第１の端末へ送信する第３のテキストデータ送信手段とを具備し、前記第１の端末は、前記第３のテキストデータ送信手段によって送信された第３のテキストデータを受信する第３のテキストデータ受信手段を具備し、前記第１の端末の前記メッセージ出力手段は、前記第３のテキストデータ受信手段によって受信された第３のテキストデータを、前記テキストデータ及び前記第２のテキストデータの少なくともいずれか一方と比較し、比較結果に応じたメッセージを出力してもよい。
【０００９】
また、本発明の更に好ましい態様において、前記第２の端末の前記テキストデータ送信手段は、前記テキスト変換手段によって生成されたテキストデータと自端末を識別する識別情報とを前記第１の端末へ送信し、前記第１の端末の前記テキストデータ受信手段は、前記第２の端末から前記テキストデータと前記識別情報とを受信し、前記第１の端末の前記テキストデータ出力手段は、前記テキストデータ受信手段によって受信されたテキストデータと識別情報とを前記映像出力端子に出力してもよい。
【００１０】
また、本発明の更に好ましい態様において、前記第１の端末は、前記識別情報と表示態様との対応関係を記憶する記憶手段を具備し、前記テキストデータ出力手段は、前記テキストデータ受信手段によって受信されたテキストデータの示すテキストを、前記テキストデータ受信手段によって受信された識別情報に対応する表示態様で前記表示装置に表示させてもよい。
【発明の効果】
【００１１】
本発明によれば、複数の通信端末を用いて遠隔会議等の音声通信を行う際に、会話の途中でエラーやノイズ等が発生した場合に発話者側にその状況を伝えることができる。
【発明を実施するための最良の形態】
【００１２】
＜第１実施形態＞
＜第１実施形態の構成＞
図１は、この発明の一実施形態に係る遠隔会議システム１００の構成を示すブロック図である。この遠隔会議システム１００は、複数の拠点のそれぞれに設置された複数の会議端末１０Ａ，１０Ｂと、会議端末１０Ａに対応して設置されたテキスト表示装置４０と、会議端末１０Ｂに対応して設置されたテキスト変換装置３０とが、インターネット等の通信ネットワーク２０を介して互いに接続されて構成される。なお、図１においては２つの会議端末１０Ａ，１０Ｂ、１つのテキスト変換装置３０及び１つのテキスト表示装置４０を図示しているが、会議端末等の数はこれに限定されるものではなく、これより多くてもよい。図１に示す例においては、遠隔会議の参加者１Ａ，１Ｂがそれぞれ、会議端末１０Ａ，１０Ｂを用いて音声通信を行うことで、遠隔会議が実現される。以下の説明においては、説明の便宜上、会議端末１０Ａ，１０Ｂを各々区別する必要がない場合には、これらを「会議端末１０」と称して説明する。
【００１３】
テキスト変換装置３０は、会議の参加者の音声をテキスト変換してテキストデータを生成する装置であり、例えばパーソナルコンピュータである。テキスト表示装置４０は、通信ネットワーク２０を介してテキスト変換装置３０から送信されてくるテキストデータを受信し、受信したテキストデータの示すテキスト（文字）を表示する装置であり、例えばパーソナルコンピュータである。
【００１４】
図２は、会議端末１０の構成の一例を示すブロック図である。図において、制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、バスＢＵＳを介して会議端末１０の各部を制御する。記憶部１２は、制御部１１によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。映像出力端子１３ａは、表示装置１３に接続され、表示装置１３にデータを出力する出力端子である。表示装置１３は、液晶パネルを備え、供給されるデータに応じて各種の画像を表示する。操作部１４は、会議端末１０の利用者による操作に応じた信号を出力する。マイクロホン１５は、収音し、収音した音声を表す音声信号（アナログ信号）を出力する。音声入力端子１６ａは、マイクロホン１５とオーディオケーブルを介して接続され、マイクロホン１５から出力される音声信号が入力される入力端子である。音声出力端子１６ｂは、オーディオケーブルを介してスピーカ１７に接続され、スピーカ１７へ音声信号を出力する出力端子である。音声処理部１６は、マイクロホン１５が出力する音声信号（アナログ信号）をＡ／Ｄ変換によりデジタルデータに変換する。また、音声処理部１６は、供給されるデジタルデータをＤ／Ａ変換によるアナログ信号に変換してスピーカ１７に供給する。スピーカ１７は、音声処理部１６から出力されるアナログ信号に応じた強度で放音する。通信部１８は、他の会議端末１０との間で通信ネットワーク２０を介して通信を行うための通信手段である。撮影装置１９は、撮影し、撮影した映像を表す映像データを出力する。映像入力端子１９ａは、撮影装置１９から出力されるデータが入力される入力端子である。
【００１５】
なお、この実施形態では、会議端末１０が入力端子及び出力端子を備え、会議端末１０がマイクロホン１５及びスピーカ１７とオーディオケーブルを介して接続される場合について説明するが、これに限らず、会議端末１０にマイクロホン１５とスピーカ１７とが内蔵される構成としても良い。表示装置１３及び撮影装置１９についても同様であり、会議端末１０に表示部や撮影部が含まれる構成としてもよい。
【００１６】
次に、テキスト変換装置３０の構成について、図面を参照しつつ説明する。図３は、テキスト変換装置３０の構成の一例を示すブロック図である。図において、制御部３１は、ＣＰＵやＲＯＭ、ＲＡＭを備え、ＲＯＭ又は記憶部３２に記憶されているコンピュータプログラムを読み出して実行することにより、バスＢＵＳを介してテキスト変換装置３０の各部を制御する。記憶部３２は、制御部３１によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。マイクロホン３５は、収音し、収音した音声を表す音声信号（アナログ信号）を出力する。音声入力端子３６ａは、マイクロホン３５とオーディオケーブルを介して接続され、マイクロホン１５から出力される音声信号が入力される入力端子である。音声処理部３６は、マイクロホン３５が出力する音声信号（アナログ信号）をＡ／Ｄ変換によりデジタルデータに変換する。通信部３８は、他の装置との間で通信ネットワーク２０を介して通信を行うための通信手段である。この実施形態ではテキスト変換装置３０が外部のマイクロホン３５とオーディオケーブルを介して接続される構成について説明するが、マイクロホン３５がテキスト変換装置３０に内蔵される構成であってもよい。
【００１７】
次に、テキスト表示装置４０の構成について、図面を参照しつつ説明する。図４は、テキスト表示装置４０の構成の一例を示すブロック図である。図において、制御部４１は、ＣＰＵやＲＯＭ、ＲＡＭを備え、ＲＯＭ又は記憶部４２に記憶されているコンピュータプログラムを読み出して実行することにより、バスＢＵＳを介してテキスト表示装置４０の各部を制御する。記憶部４２は、制御部４１によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。映像出力端子４３ａは、表示装置４３と接続され、表示装置４３にデータを出力する出力端子である。表示装置４３は、液晶パネルを備え、制御部１１による制御の下に各種の画像を表示する。通信部４８は、他の装置との間で通信ネットワーク２０を介して通信を行うための通信手段である。この実施形態ではテキスト表示装置４０が表示装置４３と外部接続する構成について説明するが、テキスト表示装置４０が表示装置４３を内蔵する構成であってもよい。
【００１８】
＜第１実施形態の動作＞
次に、本実施形態に係る会議端末１０の動作について説明する。会議端末１０は、マイクロホン１５で収音した音声を表す音声データと撮影装置１９で撮影した映像を表す映像データとを含むデータ（以下「会議データ」と称する）を、他の会議端末１０に送信する。また、会議端末１０は、複数の他の会議端末１０のそれぞれについて、各会議端末１０の利用者の音声を収音するマイクロホン１５によって収音された音声を表す音声データと、撮影装置１９によって撮影された映像を表す映像データとを含む会議データを、通信ネットワーク２０を介して受信し、受信した会議データに含まれる音声データをスピーカ１７から音として放音するとともに、受信した会議データに含まれる映像データを表示装置１３に出力して映像を表示させる。これにより遠隔会議が実現される。
【００１９】
図５は、本実施形態に係るシステムの動作を説明するための図である。ここでは、会議端末１０Ａを用いる参加者１Ａが発話を行い、一方、会議端末１０Ｂを用いる参加者１Ｂが参加者１Ａの発言を聴取する場合の動作例について説明する。参加者１Ａが発言すると、参加者１Ａが発した音声が会議端末１０Ａに接続されたマイクロホン１５で収音される。会議端末１０Ａの制御部１１は、音声入力端子１６ａに入力された音声データを、会議端末１０Ｂへ送信する。
【００２０】
会議端末１０Ｂは、会議端末１０Ａから音声データを受信し、受信した音声データを音声出力端子１６ｂに出力する。これにより、会議端末１０Ｂのスピーカ１７からは、受信した音声データの表す音声が放音される。このとき、テキスト変換装置３０に接続されたマイクロホン３５は、スピーカ１７から放音される音声を収音し、収音した音声を表す音声信号を出力する。テキスト変換装置３０はマイクロホン３５から出力される音声信号をＤ／Ａ変換して音声データを生成し、生成した音声データを音声解析することによって音声データをテキスト変換してテキストデータを生成する。テキスト変換装置３０は、生成したテキストデータを、テキスト表示装置４０へ送信する。すなわち、テキスト変換装置３０は、マイクロホン３５で収音された音声を表すテキストデータをテキスト表示装置４０へ送信する。このとき、テキスト変換装置３０は、マイクロホン３５から出力される音声信号の音圧を検出し、音圧が予め定められた閾値以下の期間が所定時間長以上続いた時間区間を音声の途切れとして検出する。テキスト変換装置３０は、音声の途切れを文節として検出し、文節が検出される毎にテキスト変換処理を行う。
【００２１】
テキスト表示装置４０は、テキスト変換装置３０からテキストデータを受信し、受信したテキストデータを映像出力端子４３ａに出力することによって、受信したテキストデータの示すテキスト（文字）を表示装置４３に表示させる。図６は、表示装置４３に表示される画面の一例を示す図である。図示のように、表示装置４３には、テキスト変換装置３０によって収音された音声がテキスト変換された結果を示す文字が表示される。テキスト表示装置４０の制御部４１は、テキストデータを受信する毎に表示装置４３の表示内容を更新する。すなわち、遠隔会議が行われている最中において、表示装置４３に表示される文字がリアルタイムに更新される。
【００２２】
会議の参加者は、表示装置４３に表示された画面を確認しつつ会議を行うことができる。例えば、発話者の声がマイクにうまく入っていない場合には、発話者の音声が正確に相手側の会議端末１０に届いていない場合がある。具体的には、例えば、参加者１Ａが「これは１００円です」と発言した場合でも、聴取者１Ｂは、「これは・・・円です」といったように、発言の一部又は全部が聞き取れない場合がある。そのような場合であっても、本実施形態によれば、テキスト変換装置３０が、マイクロホン３５によって収音された音声をテキスト変換してテキストデータを生成してテキスト表示装置４０へ送信し、テキスト表示装置４０がテキストデータの表すテキストを表示するから、これにより、発話者である参加者１Ａは、自身の発言が聴取者に対してどのように伝わっているかを或る程度把握することができる。このとき、表示装置４３に表示される画面を確認して、自身の発言が正確に伝わっていないと把握される場合には、発話者である参加者１Ａは、もう少しマイクロホン１５に近づいて発言を行ったり、声を大きくしたり、話の内容を繰り返す、といった種々のアクションを起こすことができ、遠隔会議をより円滑に進めることができる。
【００２３】
ところで、発話者の音声が聴取者側でどのように聞こえているかを発言者に把握するために、音声でフィードバックをかける事が考えられるが、音声によってフィードバックする場合には、エコーやハウリングが発生した場合のように音声が不明瞭になって聞き取り難くなる場合がある。それに対し、本実施形態によれば、音声をテキスト変換して文字として通知することによって、発話者は自身の発言の伝達状況を客観的に判断することができる。また、音声ではなく、テキスト変換によってテキストとして状況を知らせることで、発話者にフィードバックするデータ量を減らし、レスポンスを高めることができる。
【００２４】
以上説明したように本実施形態によれば、会話（文節）の途中で、エラー／ノイズ等が発生しても、発話者側にその状況を伝えることができる。発話者側はその部分や状況をリアルタイムに認識し、その対応策をとることができる。具体的な対応策としては、例えば、マイクロホンに近づいたり、声を大きくしたり（マイクのボリューム／レベルを上げる）、話の内容を繰り返したりする、等が考えられる。
【００２５】
本実施形態では、会議端末１０Ａとテキスト表示装置４０とが別体の装置として構成されていたが、会議端末１０Ａとテキスト表示装置４０とがひとつの装置として構成されていてもよい。すなわち、本実施形態に係る会議端末１０Ａの機能と、本実施形態に係るテキスト表示装置４０の機能とを有する装置を用いるようにしてもよい。同様に、本実施形態では、会議端末１０Ｂとテキスト変換装置３０とが別体の装置として構成されていたが、会議装置１０Ｂとテキスト変換装置３０とがひとつの装置として構成されていてもよい。すなわち、本実施形態に係る会議端末１０Ｂの機能と、本実施形態に係るテキスト変換装置３０の機能とを有する装置を用いるようにしてもよい。
【００２６】
＜第２実施形態＞
次に、本発明の第２の実施形態について説明する。図７は、本実施形態に係る遠隔会議システム２００の構成を示すブロック図である。この遠隔会議システム２００は、複数の拠点のそれぞれに設置された複数の会議端末１０Ｃ，１０Ｄが、インターネット等の通信ネットワークを介して互いに接続されて構成される。なお、図７においては２つの会議端末１０Ｃ，１０Ｄを図示しているが、会議端末の数はこれに限定されるものではなく、これより多くてもよい。
【００２７】
本実施形態に係る会議端末１０Ｃ，１０Ｄが、上述した第１の実施形態において説明した会議端末１０Ａ，１０Ｂと異なる点は、会議端末１０Ｃの制御部が行う動作が異なる点と、会議端末１０Ｄの制御部が行う動作が異なる点であり、会議端末１０Ｃ，１０Ｄのハードウェア構成は、上述した第１の実施形態において説明した会議端末１０の構成と同様である。そのため以下では各装置の構成の説明を省略する。また、以下の説明においては、説明の便宜上、会議端末１０Ｃ，１０Ｄを各々区別する必要がない場合には、これらを「会議端末１０」と称して説明する。
【００２８】
次に、本実施形態の動作について、図８を参照しつつ説明する。図８は、本実施形態に係る会議端末１０Ｃ及び会議端末１０Ｄの機能的構成の一例を示す図である。図において、送信制御部１１１，テキスト変換部１１２，受信制御部１１７，テキスト比較部１１８及びメッセージ出力部１１９は、会議端末１０Ｃの制御部１１が記憶部１２に記憶されたコンピュータプログラムを読み出して実行することにより実現される。また、図において、受信制御部１１３，テキスト変換部１１４，送信制御部１１５及びテキスト変換部１１６は、会議端末１０Ｄの制御部１１が、記憶部１２に記憶されたコンピュータプログラムを読み出して実行することにより実現される。なお、図中の矢印はデータの流れを概略的に示すものである。
【００２９】
図において、送信制御部１１１は、音声処理部１６から出力される音声データ、すなわちマイクロホン１５で収音された音声を表す音声データを、通信部１８を介して会議端末１０Ｄへ送信する。テキスト変換部１１２は、音声処理部１６から出力される音声データ、すなわちマイクロホン１５で収音された音声を表す音声データをテキスト変換してテキストデータを生成し、生成したテキストデータ（以下「テキストデータＴ１」という）を記憶部１２の所定の記憶領域に記憶する。
【００３０】
会議端末１０Ｄの受信制御部１１３は、通信部１８を介して会議端末１０Ｃから音声データを受信し、受信した音声データを音声処理部１６に供給してスピーカ１７から音として放音させる。また、受信制御部１１３は、受信した音声データをテキスト変換部１１４に供給する。テキスト変換部１１４は、受信制御部１１３から供給される音声データをテキスト変換してテキストデータを生成し、生成したテキストデータ（以下「テキストデータＴ２」という）を送信制御部１１５に出力する。
【００３１】
テキスト変換部１１６は、音声処理部１６から供給される音声データ、すなわちマイクロホン１５で収音された音声を表す音声データをテキスト変換してテキストデータを生成し、生成したテキストデータ（以下「テキストデータＴ３」という）を送信制御部１１５に出力する。なお、テキスト変換部１１２、テキスト変換部１１４及びテキスト変換部１１６のそれぞれが行うテキスト変換処理の処理結果にばらつきが生じないように、テキスト変換部１１２、テキスト変換部１１４及びテキスト変換部１１６は同一のアルゴリズムを用いてテキスト変換処理を行うことが好ましい。なお、会議端末１０Ｃ及び会議端末１０Ｄが行うテキスト変換処理は従来のテキスト変換技術を用いればよく、ここでは処理についての詳細な説明を省略する。送信制御部１１５は、音声処理部１６から出力される音声データと、テキスト変換部１１４から供給されるテキストデータＴ２、及びテキスト変換部１１６から供給されるテキストデータＴ３を、通信部１８を介して会議端末１０Ｃへ送信する。
【００３２】
会議端末１０Ｃの受信制御部１１７は、通信部１８を介して会議端末１０Ｄから音声データとテキストデータＴ２，Ｔ３とを受信し、受信したテキストデータＴ２，Ｔ３をテキスト比較部１１８に供給する。なお、受信制御部１１７は、受信した音声データを音声処理部１６を介してスピーカ１７に供給することによって音として放音させるが、この音声データの流れについては図面が煩雑になるのを防ぐため、図８においては図示を省略している。
【００３３】
テキスト比較部１１８は、記憶部１２に記憶されたテキストデータＴ１、受信されたテキストデータＴ２及びテキストデータＴ３をそれぞれ比較し、比較結果に応じてメッセージを生成する。具体的には、例えば、テキストデータＴ１とテキストデータＴ２との間に差分がある場合には、テキスト比較部１１８は、ネットワークの問題によりデータの欠落が発生していると判定し、その旨を示すメッセージを生成する。また、例えば、テキストデータＴ２とテキストデータＴ３との間に差分がある場合には、テキスト比較部１１８は、スピーカ１７の放音又はマイクロホン１５の収音に問題があるか、又は、マイクロホン１５の周囲の騒音によってノイズが発生していると判定し、その旨を示すメッセージを生成する。テキスト比較部１１８は、生成したメッセージをメッセージ出力部１１９に供給する。
【００３４】
メッセージ出力部１１９は、テキスト比較部１１８から供給されるメッセージデータを表示装置１３に出力する。このとき、メッセージ出力部１１９は、テキストデータＴ１、Ｔ２及びＴ３を表示装置１３に出力することによって、テキストデータＴ１、Ｔ２及びＴ３それぞれの示すテキストを表示させるようにしてもよい。
【００３５】
会議の参加者は、表示装置１３に表示された画面を確認しつつ会議を行うことができる。このように本実施形態によれば、複数ポイントで音声のテキスト変換を行い、それぞれの変換結果を比較することによって、どの経路でノイズが発生したかを発話者側に明示することができる。このようにノイズが発生するポイントや経路を発話者に報知することによって、発話者がノイズに対して対策を（リアルタイム又は次回準備として）とることが可能となる。
【００３６】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述の実施形態では、本発明に係る通信端末を用いて遠隔会議を行う場合について説明したが、本発明はこれに限らず、例えば、通信ネットワークを介して講義や講演を行う場合においても本発明を適用することができる。
【００３７】
（２）上述の第２の実施形態では、テキスト変換部１１２で生成されたテキストデータＴ１、テキスト変換部１１４で生成されたテキストデータＴ２、及びテキスト変換部１１６で生成されたテキストデータＴ３を比較し、比較結果に応じてメッセージを生成するようにしたが、３つのテキストデータを全て相互に比較する必要はなく、例えば、会議端末１０Ｃのテキスト比較部１１８が、テキストデータＴ１とテキストデータＴ３とを比較し、両者の差分に応じたメッセージを出力するようにしてもよい。要は、テキスト比較部１１８は、テキストデータＴ１，Ｔ２及びＴ３の少なくともいずれか２つを比較し、比較結果に応じてメッセージを出力するようにすればよい。
【００３８】
（３）上述の第２の実施形態では、メッセージ出力部１１９は、テキスト比較部１１８によって生成されたメッセージデータを映像出力端子１３ａに出力するようにしたが、メッセージの出力態様は、これに限らず、音として発話者に報知するようにしてもよい。この場合の会議端末１０の構成の一例を図９に示す。図９において、メッセージ出力部１１９ａは、テキスト比較部１１８によって生成されたメッセージデータ（比較結果を示すデータ）を音声データに変換して音声出力端子１６ｂに出力する。要は、メッセージ出力部１１９（又はメッセージ出力部１１９ａ）が、映像出力端子１３ａ及び音声出力端子１６ｂの少なくともいずれか一方に、メッセージを表すデータを出力するようにすればよい。
【００３９】
（４）上述の第２の実施形態において、会議端末１０Ｃが、テキストデータの比較結果を示すメッセージを出力するに加えて、テキストデータＴ１，Ｔ２及びＴ３の少なくともいずれか一つを表示装置１３に出力するようにしてもよい。
また、上述の第２の実施形態において、会議端末１０Ｃが、比較結果を示すメッセージを出力せずに、テキストデータＴ１，Ｔ２及びＴ３の少なくともいずれかひとつを表示装置１３に出力するようにしてもよい。具体的には、例えば、会議端末１０Ｃが、会議端末１０Ｄから受信したテキストデータＴ２（すなわちテキスト変換部１１４で音声からテキストに変換されたデータ）を表示装置１３に出力することによって、テキストデータＴ２の示す文字を表示装置１３に表示させるようにしてもよい。
テキストデータＴ１、Ｔ２、Ｔ３の表示にあたっては、それぞれ不具合の意味するところが異なる。例えば、テキストデータＴ１であれば、会議端末１Ｃ側でのマイク収音系の不具合、テキストデータＴ２であれば通信上の不具合、テキストデータＴ３であれば会議端末１Ｄ側での放音から収音系の不具合となる。そこで、会議端末１０Ｄがテキストデータを表示する際に、どこの系でどのような不具合が起こっているかという情報がわかる形式で表示することが好ましい。
【００４０】
（５）上述の第１の実施形態において、テキスト変換装置３０が、生成したテキストデータと、会議端末１０Ｂ（又はテキスト変換装置３０）を識別する識別情報とをあわせてテキスト表示装置４０へ送信するようにしてもよい。この場合、テキスト表示装置４０は、テキスト変換装置３０から送信されてくるテキストデータと識別情報とを受信し、受信したテキストデータと識別情報とを映像出力端子に出力する。これにより、テキスト表示装置４０に接続された表示装置４３には、受信されたテキストデータの示す文字と会議端末１０Ｂ（又はテキスト変換装置３０）を識別する識別情報とが表示される。例えば、３以上の複数の会議端末１０を用いて遠隔会議を行っている場合において、テキストデータと各テキストデータに対応する識別情報（端末ＩＤ）が表示されることによって、会議の参加者は、他の会議端末１０との通信状況（エラー、ノイズが発生していないか、等）を、会議端末１０毎に把握することができる。すなわち、発話者は、どの拠点でどのような問題が発生したかを、表示される画面を参照することで確認することができる。
【００４１】
また、この態様において、テキスト表示装置４０の記憶部４２に、識別情報と表示態様との対応関係を予め記憶しておく構成とし、テキスト表示装置４０の制御部４１が、テキストデータと識別情報とを受信すると、受信したテキストデータの示すテキストを、受信された識別情報に対応する表示態様で表示するように表示装置４３を制御するようにしてもよい。このようにすることで、多地点との会話において、発話者が各拠点の状況を把握することができ、重要度に応じた対応を行うことができる。
【００４２】
上述の第２の実施形態についても同様であり、会議端末１０Ｄが、生成したテキストデータと会議端末１０Ｄを識別する識別情報とをあわせて会議端末１０Ｃへ送信し、会議端末１０Ｃが、比較結果を示すメッセージと識別情報とを出力するようにしてもよい。この場合において会議端末１０Ｃの表示装置１３に表示される画面の一例を図１０に示す。図１０に示す例においては、会議端末１０Ｃの制御部１１は、受信されたテキストデータＴ２の示すテキストＰ１，Ｐ２，…を拠点（会議端末１０Ｃ）毎に表示するとともに、テキストデータの比較結果に応じたメッセージＭ１を表示装置１３に表示させる。
また、会議端末１０Ｃの記憶部１２に識別情報と表示態様との対応関係を予め記憶しておく構成とし、会議端末１０Ｃの制御部１１が、比較結果を示すメッセージを、受信された識別情報に対応する表示態様で表示するように表示装置１３を制御するようにしてもよい。
【００４３】
（６）上述の第２の実施形態では、遠隔会議を行っている最中に会議端末１０Ｃがテキストデータの比較を行って比較結果を示すメッセージを出力するようにしたが、比較結果をリアルタイムに出力するに限らず、比較結果をログとして記憶部１２の所定の記憶領域に蓄積するようにしてもよい。このようにすることにより、会議の参加者等は、次回の会議等においてロス対策（環境の整備や、伝聞内容の吟味）等を行うことができる。
【００４４】
（７）上述の実施形態において、会議端末１０の制御部１１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由で会議端末１０にダウンロードさせることも可能である。また、上述の第２の実施形態において図８に示した送信制御部１１１、テキスト変換部１１２、受信制御部１１３、テキスト変換部１１４、送信制御部１１５、テキスト変換部１１６、受信制御部１１７、テキスト比較部１１８及びメッセージ出力部１１９の各部は、制御部１１がＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを実行することによってソフトウェアとして実現されたが、これに限らず、各部がハードウェアで構成されていてもよい。
【図面の簡単な説明】
【００４５】
【図１】遠隔会議システムの構成の一例を示す図である。
【図２】会議端末のハードウェア構成の一例を示すブロック図である。
【図３】テキスト変換装置３０のハードウェア構成の一例を示すブロック図である。
【図４】テキスト表示装置４０のハードウェア構成の一例を示すブロック図である。
【図５】遠隔会議システムの動作を説明するための図である。
【図６】表示装置に表示される画面の一例を示す図である。
【図７】遠隔会議システムの構成の一例を示す図である。
【図８】遠隔会議システムの動作を説明するための図である。
【図９】遠隔会議システムの動作を説明するための図である。
【図１０】表示装置に表示される画面の一例を示す図である。
【符号の説明】
【００４６】
１０…会議端末、１１，３１，４１…制御部、１２，３２，４２…記憶部、１３，４３…表示装置、１４…操作部、１５，３５…マイクロホン、１６，３６…音声処理部、１７…スピーカ、１８，３８，４８…通信部、１９…撮影装置、２０…通信ネットワーク、３０…テキスト変換装置、４０…テキスト表示装置、１００，２００…遠隔会議システム、１１１，１１５…送信制御部、１１２，１１４，１１６…テキスト変換部、１１３，１１７…受信制御部、１１８…テキスト比較部、１１９…メッセージ出力部。
【図１】
2009302824.tif 000003
【図２】
2009302824.tif 000004
【図３】
2009302824.tif 000005
【図４】
2009302824.tif 000006
【図５】
2009302824.tif 000007
【図６】
2009302824.tif 000008
【図７】
2009302824.tif 000009
【図８】
2009302824.tif 000010
【図９】
2009302824.tif 000011
【図１０】
2009302824.tif 000012