(57)【要約】【課題】会議をより効率化可能な遠隔会議支援装置及び遠隔会議支援方法を提供する【解決手段】会議処理装置の通信を制御する通信部によって接続された遠隔会議支援装置であって、参加者の音声と時間区間とを記録する音声記録部と、前記音声をフィルタ処理加工し、加工された前記音声信号を記録する劣化音声記録部と、前記劣化音声記録部の音声信号の時間区間と前記音声記録部に記録された音声信号の時間区間とを比較し、所定以上の時間差がある場合には前記音声信号の音声劣化区間を算出する差分比較部と、前記音声劣化区間内の前記音声信号から字幕情報を生成する字幕情報生成部と、前記字幕情報を表示する字幕情報表示部とを備える。【選択図】      図３
2010226377.tif 000002
【特許請求の範囲】
【請求項１】
会議処理装置の通信を制御する通信部によって接続された遠隔会議支援装置であって、
参加者の音声と時間区間とを記録する音声記録部と、
前記音声をフィルタ処理加工し、加工された前記音声信号を記録する劣化音声記録部と、
前記劣化音声記録部の音声信号の時間区間と前記音声記録部に記録された音声信号の時間区間とを比較し、所定以上の時間差がある場合には前記音声信号の音声劣化区間を算出する差分比較部と、
前記音声劣化区間内の前記音声信号から字幕情報を生成する字幕情報生成部と、
前記字幕情報を表示する字幕情報表示部と
を備えることを特徴とする遠隔会議支援装置。
【請求項２】
前記字幕情報生成部は、
前記音声記録部の音声の音声認識を行い、字幕を生成して記憶する字幕情報記憶部と、
前記音声劣化区間に相当する字幕に強調処理をする字幕強調処理部と、
前記強調処理された字幕を含む字幕情報を送信する字幕情報送信部とを更に備える請求項１に記載の遠隔会議支援装置。
【請求項３】
前記音声記録部は、前記音声信号を送信した送信時間を前記差分比較部に入力する手段を有し、
前記差分比較部は、前記音声信号の入力と次の音声信号の入力までに所定時間経過した場合に、前記音声記録部に前記音声信号を再送するように通知し、
前記音声記録部は、前記音声信号の再送を所定の回数以上に行った場合に、タイムアウトエラーであることを示す情報を字幕情報生成部へ送信すること、
を特徴とする請求項１に記載の遠隔会議支援装置。
【請求項４】
会議処理装置の通信を制御する通信部によって接続された遠隔会議を支援する方法であって、
参加者の音声と時間区間とを記録し、
前記音声をフィルタ処理加工し、加工された前記音声信号を記録し、
前記劣化音声記録部の音声信号の時間区間と前記音声記録部に記録された音声信号の時間区間とを比較し、所定以上の時間差がある場合には前記音声信号の音声劣化区間を算出し、
前記音声劣化区間内の前記音声信号から字幕情報を生成し、
前記字幕情報を表示することを特徴とする遠隔会議支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議をより効率化可能な遠隔会議支援装置及び遠隔会議支援方法に関する。
【背景技術】
【０００２】
遠隔会議において、ネットワークの輻輳によるパケット損失やエコーキャンセラなどによる音声加工が行われることによって、音声が聞き取りにくくなったり、音声が断絶したりする現象が頻繁に発生する。そのためローカル側（発信側）で発言した音声がリモート側（受信側）に正しく聞こえているのかが分からないという問題が生じる。特に遠隔会議においてはリモート側の状況を一見しただけでは把握が難しいため、音声が伝わっているか確認するという作業が生じる。例えば、音声が伝わっているか確認する手段として、リモート側に呼びかけ動作を行う方法がある。
【０００３】
特許文献１では、受信ユーザ装置に送信される映像・音声の品質情報を発言ユーザ装置に通知できるようにする技術を開示している。特許文献１では従来、発言ユーザが自分の発言や映像が受信側のユーザに正しく届いていないと感ずるときには、受信側のユーザに「聞こえましたか」と確認しながら会議などを進めていくようにしていると、会議などの進行を大きく損ねるだけでなく、受信側のユーザが「言ったことを理解できたか」というニュアンスで受け取られる可能性があり、お互いの信頼を損ねる虞があったため、受信側のユーザが受信した音声や映像の品質情報を発言ユーザに通知するという機能を有している。品質情報は発言ユーザ装置から多地点サーバ装置への映像及び音声のＴ Ｃ Ｐ 及びＵ Ｄ Ｐ フレームを観測して、廃棄フレーム数及び実スループットを監視することにより把握し、各受信ユーザ装置で受信された映像・音声の品質情報としてその品質劣化の品質情報を特定して、それを発言ユーザ装置に通知している。
【０００４】
また特許文献２では，複数の拠点同士で音声データの送受信を行って音声会議を行う際に、拠点Ａから伝送された入力音声が、拠点Ｂにおいて期待する明瞭な音声品質で再生されているか否かを確認する技術を開示している。相手先で再生される音声の音圧レベルでの確認では、実際に相手側拠点の音声再生装置でどのような品質の音声が出力されているかを確認することはできないという問題点に対し、音源より発生した音声と音声出力部Bから出力された音声であるエコーとを集音して入力する音声入力部とを有することによって、拠点Ａから伝送された入力音声が拠点Ｂのフィルタを通してループバックすることで音声が正しく伝わっているか確認する技術である。
【０００５】
特許文献１では、多地点ビデオ会議やビデオチャットなどにおいて、発言ユーザは、サービス品質劣化時に受信ユーザの介在なしに自分の判断で再発言することが可能となり、特許文献２では、自拠点から伝送された入力音声が、相手拠点において期待する明瞭な音声品質で再生されているか否かを自拠点において確認できるが、発言ユーザは、これら情報に基づき再度発言を繰り返す必要がある。また、リモート側に呼びかけ動作を行う方法では，一時的に音声品質が劣化した場合，音声が途切れてしまったことに気づかず，異常状態のまま話し続けてしまうこともある。更に音声が復帰し、再度呼びかけ動作を行う必要があり煩雑で、相手にどこまで聞こえたか確認が難しいことから、話しを戻すなど後戻りが発生してしまう問題もあり、会議等を必ずしもスムーズに進めることができない
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２４４３８４公報
【特許文献２】特開２００７−２７４１７６公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで本発明は上記問題点に鑑み、会議をより効率化可能な遠隔会議支援装置及び遠隔会議支援方法を提供する。
【課題を解決するための手段】
【０００８】
本発明の遠隔会議支援装置は、会議処理装置の通信を制御する通信部によって接続された遠隔会議支援装置であって、参加者の音声と時間区間とを記録する音声記録部と、前記音声をフィルタ処理加工し、加工された前記音声信号を記録する劣化音声記録部と、前記劣化音声記録部の音声信号の時間区間と前記音声記録部に記録された音声信号の時間区間とを比較し、所定以上の時間差がある場合には前記音声信号の音声劣化区間を算出する差分比較部と、前記音声劣化区間内の前記音声信号から字幕情報を生成する字幕情報生成部と、前記字幕情報を表示する字幕情報表示部ととを備えることを特徴とする。
【０００９】
また、本発明の遠隔会議支援方法は会議処理装置の通信を制御する通信部によって接続された遠隔会議を支援する方法であって、参加者の音声と時間区間とを記録し、前記音声をフィルタ処理加工し、加工された前記音声信号を記録し、前記劣化音声記録部の音声信号の時間区間と前記音声記録部に記録された音声信号の時間区間とを比較し、所定以上の時間差がある場合には前記音声信号の音声劣化区間を算出し、前記音声劣化区間内の前記音声信号から字幕情報を生成し、前記字幕情報を表示することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、音声が相手にどれほど伝わっているのか確実に分かり、会議におけるミスコミュニケーションの発生を減らすことが可能になり、話しの後戻りの発生も防ぐことができるため、会議をより効率化可能になる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態にかかる遠隔会議支援ステムの構成を説明する図である。
【図２】本実施形態にかかるハードウェア構成を説明する図である。
【図３】本実施形態にかかる遠隔会議装置の構成を説明する図である。
【図４】本実施形態にかかる字幕表示例を示す図である。
【図５】本実施形態にかかる字幕表示例を示す図である。
【図６】本実施形態にかかる音声処理を説明するための図である。
【図７】本実施形態にかかる音声処理を説明するための図である。
【図８】本実施形態にかかる音声処理を説明するための図である。
【図９】本実施形態にかかる字幕表示を説明するための図である。
【図１０】本実施形態にかかる遠隔会議支援ステムの構成を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本実施形態に関する遠隔会議装置について図面に基づいて説明する。
【実施例】
【００１３】
（第１の実施形態）  
（１）構成
図１は本実施形態にかかる遠隔会議システムの構成を例示する図である。当該会議システムでは、会議支援装置１０と、会議処理装置１１とが各々異なる会議室に備えられ、通信回線を介して各々接続される。説明の都合上、会議支援装置１０のある会議室を「ローカル側」と記載し、会議処理装置１１が備えられる会議室を「リモート側」と記載する。当該会議システムでは、ローカル側とリモート側とで合同で行われる会議において、ローカル側の会議室にいる会議の参加者（Ａ）の音声情報が会議支援装置１０に入力されると共に、リモート側の参加者（Ｂ，Ｃ，Ｄ）の画像が表示される。また、会議支援装置１０に入力された音声情報及びローカル側の参加者（Ａ）の画像が通信回線を介して会議処理装置１１に送信され音声が再生されると共に参加者（Ａ）の画像が表示される。また同様にリモート側では、会議室にいる会議の参加者（Ｂ，Ｃ，Ｄ）の音声情報が会議処理装置１１に入力されると共にローカル側の参加者（Ａ）の画像が表示され、音声情報及びリモート側の参加者の（Ｂ，Ｃ，Ｄ）の画像が通信回線を介して会議支援装置１０に送信され音声が再生されると共に当該画像が表示される。この結果、ローカル側の会議室ではリモート側の会議室の参加者の発言を音声として聞くことができると共に当該参加者の姿を画像により見ることができ、リモート側の各会議室ではローカル側の会議室の参加者の発言を聞くことができると共に当該参加者の姿を画像により見ることができる。ここでは、ローカル側の会議室には参加者Ａがおり、遠隔地の会議室には参加者Ｂ，Ｃ，Ｄがおり、会議支援装置１０の利用者は参加者Ａであるとしている。
【００１４】
また、本実施形態にかかる遠隔会議システムでは、会議支援装置１に入力された音声情報は、音声記録部を介して音声をテキスト等を用いた言語情報に変換して会議処理装置１１に送信し、会議処理装置１１では、会議参加者（Ａ）の画像と共に会議参加者（Ａ）の発言を字幕情報として表示する。
【００１５】
次に、会議支援装置１０のハードウェア構成について図２を用いて説明する。会議支援装置１０は、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部１０１と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）１０４やＲＡＭ（Random Access Memory）１０５等の記憶部と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の外部記憶部１０７と、これらを接続するバス１０８とを備えており、通常のコンピュータを利用したハードウェア構成となっている。また、会議支援装置１０には、音声が入力されるマイクなどの音声入力部１１０と、音声を出力するスピーカなどの音声出力部１１１と、音声を言語情報に変換して字幕を生成する字幕生成部１１３、字幕などの情報を表示する表示部１０３と、ユーザの指示入力を受け付けるキーボードやマウス等の操作部１０２と、会議処理装置１１などの外部装置との通信を制御する通信部１０９と、参加者等の映像を撮像する撮像部１１２とが有線又は無線により各々接続される。音声情報を会議処理装置１１のハードウェア構成についても会議支援装置１０と略同様であるためその説明を省略する。
【００１６】
次に、このようなハードウェア構成において、会議支援装置１０の制御部１０１がＲＯＭ１０４や外部記憶部１０７に記憶された各種プログラムを実行することにより実現される各種機能について具体的に説明する。図３は、会議支援装置１０の機能的構成を会議処理装置１１の構成と共に例示する図である。
【００１７】
会議支援装置（ローカル側）１０の音声入力部３０１は、会議参加者の音声を取得し、会議参加者の発言の時刻、例えば、発話の開始時刻と終了時刻とを計時して、開始時刻及び終了時刻を対応付けた音声情報を音声記録部３０２に渡す。音声入力部３０１は別途音声取得のための音声入力部を設けてもよいが、例えばパーソナルコンピュータ（ＰＣ）等の装置に備えつけられたマイクロホンやマイクアレイなどであってもよい。同様に会議処理装置（リモート側）１１には、参加者の発言等を収集し、ローカル側１０に送信する音声入力部３５５を備える。
【００１８】
音声記録部３０２は、音声入力部３０１の音声信号を外部記録装置３０３などに記録する。前述の通り、参加者の音声は発話開始・終了時刻で区切るなど、音声を予め決められた所定の時間毎のセグメントに区切って記録する。発話単位に限らず、音声信号を例えば500msec毎に区切るなどの方法や、他の方法を用いてもよい。ここで、所定時間毎のセグメントに区切った音声信号をタイムスタンプ付き音声セグメントと呼ぶ。タイムスタンプ付き音声セグメントは、通信部１０９、通信部３５０を介し、フィルタ処理部３５１へ送信する。またローカル側の字幕情報生成部３０４へも渡す。音声記録部３０２はタイムスタンプ付き音声セグメントを通信部１０９へ渡した時間を計時し、差分比較部３０５へ渡す。なお、通信部１０９、通信部３５０は、ローカル側、サーバ側を接続する通信部であり、ISDN、専用線、IPネットワークなどの遠隔会議を実現するネットワーク手段であれば何を用いてもよい。外部記録装置３０３の記録例を表1に示す。これらは装置内に配した一時記憶装置等に一時的に記憶させても良い。
【表１】
2010226377.tif 000003
【００１９】
フィルタ処理部３５１は、通信部３５０からタイムスタンプ付き音声セグメントを受け取り、ハウリングを防止するためのエコーキャンセラ、ノイズ低減処理を行うエコーサプレッサの処理を行うことでタイムスタンプ付き音声セグメントを加工し、劣化音声記録部３５２および音声出力部３５３へと出力される。音声出力部３５３は、フィルタ処理部３５２から得られる音声信号を出力する。出力は、会議室備えつけのスピーカやPC付属のスピーカなど音を出力できる手段であればよい。同様にリモート側の音声を出力するための音声出力部３０８をリモート側に備える。
【００２０】
劣化音声記録部３５２は、フィルタ処理部３５１から加工されたタイムスタンプ付き音声セグメントを受け取り、通信部３５０に出力する。受け取った加工されたタイムスタンプ付き音声セグメントは一時的な記憶部（バッファなど）に記録してもよい。
【００２１】
差分比較部３０５は、フィルタ処理３５１で加工された音声セグメントを用いて音声信号が劣化したか否かを確認する。音声記録部３０２のタイムスタンプ付き音声セグメントと通信部1０９を介して劣化音声部３５２から得られるタイムスタンプ付き音声セグメントを入力とし、音声記録部３０２のタイムスタンプ付き音声セグメントと劣化音声部３５２の加工されたタイムスタンプ付き音声セグメントとの差異を比較する。比較は、例えば相互相関を取る方法を用いる。相互相関処理における相互相関係数が閾値以下であればタイムスタンプ付き音声セグメントの音声信号が劣化していると判定することができる。ユーザはこの閾値を任意に設定しても良い。音声信号が劣化していると判定された場合には，劣化判定パラメータである相互相関係数および音声記録部３０２のタイムスタンプ付き音声セグメントの開始時刻と終了時刻とを字幕強調処理部３０６へ出力する。音声信号が劣化していないと判定された場合には、音声信号の開始時刻と終了時刻にnullを入れて字幕強調処理部３０６へ出力してもよい。なお、差分比較部３０５は、タイムスタンプつき音声信号の差異を比較できる手段であれば相互相関による方法でなくてもよい。相互相関については後述する。
【００２２】
差分比較部３０５では、タイムスタンプ付き音声セグメントを音声記録部３０２から送信する送信時間を受け取り、このタイムスタンプ付き音声セグメントを受ける状態（入力待ち状態）となる場合がある。この場合、タイムアウトエラー処理とし、一定時間以上経過してもタイムスタンプ付き音声セグメントが入力されない場合には、音声記録部３０２に、タイムスタンプ付き音声セグメントを再送させることを通知する。一方で、音声記録部３０２は、差分比較部３０５からタイムスタンプ付き音声セグメントが入力されていない通知を受け取った場合、当該タイムスタンプ付き音声セグメントを通信部１０９へ再送しても良い。予め決められた回数以上の再送行った場合、音声記録部３０２はタイムアウトエラーであるとし、タイムアウトエラーを示すフラグにTRUEに変えて字幕情報生成部３０６へ渡す。このとき、再送の対象となったタイムスタンプ付き音声セグメントも同時に字幕情報生成部へ渡す。また、音声記録部３０２は、差分比較部３０５にこのタイムスタンプ付き音声セグメント入力待ち状態の破棄を通知しても良い。音声記録部３０２からタイムスタンプ付き音声セグメントの入力待ち状態を破棄する通知が来た場合には、次の音声信号の入力待ち状態に移行する。
【００２３】
字幕情報生成部３０４は、音声記録部３０２からタイムスタンプ付き音声セグメントを受け取り、受け取った音声信号について音声認識処理をしてテキスト化する。また音声記録部３０２から入力されるタイムアウトエラーフラグがTRUEであった場合、タイムアウトエラーである旨のテキストを生成してもよい。この場合も音声認識処理したテキストに追加して字幕強調処理部３０６へ出力する。表2に記録形式の例を示す。
【表２】
2010226377.tif 000004
【００２４】
字幕強調処理部３０６は、音声信号の劣化判定パラメータである相互相関係数、差分比較部３０５から算出された音声信号の開始時刻と終了時刻との時間区間、字幕情報生成部３０４で生成されたタイムスタンプ付きの字幕テキストを入力とする。字幕テキストの強調範囲は、タイムスタンプ付きの字幕テキストと音声信号の開始時刻と終了時刻との時間区間を照合し、差分比較部３０５で算出された開始時刻と終了時刻とを強調範囲の区間とする。字幕テキストの強調方法は時間区間のテキストを下線、ボールド、文字色の変化、文字のサイズ変化など、文字の装飾の組み合わせを用いればよく、照合された時間区間に該当する字幕テキストとその他の時間区間の字幕テキストとの差異が分かるような方法であればよい。また相互相関係数の値の大小によって文字の装飾方法を変化させても良い。例えば、相互相関係数の値が0.9であれば字幕テキストに下線処理だけを行うが、相互相関係数の値が0.5であれば下線処理に加えボールド体、文字色を赤にするなどをおこない、音声信号の劣化が高いと推定される文字をより強調させても良い。差分比較部３０５から算出された音声信号の開始及び終了時刻にnullが入っていた場合や、文字列にタイムアウトエラーを表す文字が含まれていた場合には強調処理を行わないことが好ましい。強調された字幕テキストは，字幕情報表示部３０７、および３５４へ出力される。
【００２５】
字幕情報表示部３０７、３５４は、字幕強調処理部３０６からえた字幕テキストをスクリーンに表示する。字幕テキストの表示のためのスクリーンは、PCのディスプレイや会議室に配置されている大型ディスプレイ、電子白板など強調処理の違う字幕テキストが視覚化可能な表示装置であればよい。
【００２６】
図３においてはローカル側１０における装置の概要を例に説明したが、リモート側１１に同様の処理手段を有し、リモート側の音声信号の劣化について通知するシステムを有していてもよい。例えば、図４は、ローカル側の会議室にいる会議の参加者（Ａ）が、リモート側の参加者（Ｂ，Ｃ，Ｄ）の画像と共に、会議の様子が表示される例を示している。会議中に、「打合せ日程を」の音声信号が途切れ、字幕表示エリア４０１に字幕強調処理部３０６から“打ち合わせ日程を”の文字列を強調処理して表示する。またタイムアウトエラーを起こした場合の表示例を図５に示した。
【００２７】
次に図６及び図７を用いてローカル側における音声信号の処理とサーバ側の音声信号処理のためのフローについて説明する。
【００２８】
ローカル側の音声信号の処理は、まず、音声を所定時間毎のセグメントに区切って、タイムスタンプ付き音声セグメントを作成し、記録する（ステップ６０１）。次に記録したタイムスタンプ付き音声セグメントを通信部１０９を介してリモート側に伝送する（ステップ６０２）。タイムスタンプ付き音声セグメントは音声認識処理を行い、字幕用のテキストを生成する（ステップ６０３）。次に、差分比較部は通信部３５０を介してリモート側から受信したタイムスタンプ付き音声セグメント、記録したタイムスタンプ付き音声セグメントとを用いて、音声が劣化している時間区間（音声劣化区間）を算出する（ステップ６０４）。生成した字幕テキストと差分比較部が算出した音声劣化区間を照合し、音声劣化区間に該当する字幕テキストの文字を強調する（ステップ６０５)。強調処理された字幕テキストをローカル側およびリモート側に送り、字幕テキストを表示させる（ステップ６０６）。
【００２９】
一方、リモート側の音声処理は次のようになる。通信部３５０を介してイムスタンプ付き音声セグメントを受信する（ステップ７０１）。次にタイムスタンプ付き音声セグメントにフィルタ処理加工を行い（ステップ７０２）、フィルタ処理されたタイムスタンプ付き音声セグメントを再び通信部３５０を通じて再度ローカル側に送信する（ステップ７０３）。 
次に差分比較部３０５のタイムスタンプ付き音声セグメントの差分比較と、相互相関係数の算出の詳細についての処理の流れを図８を用いて説明する。
【００３０】
通信部１０９を介してサーバ側へ出力されるタイムスタンプ付き音声セグメントのタイムスタンプを基準に、音声記録部３０２から同じタイムスタンプを持つ音声信号を検索し、該当の音声信号を、サーバ側へ出力されたタイムスタンプ付き音声セグメントに対応する音声信号とする（ステップ８０１）。これらの音声セグメントの開始・終了時刻区間が[ｔs ,ｔe ]を持つ１次元関数f(t)，g(t)とするとき、各々の音声信号におかえるのパワーを算出し、平均値減算した系列f＾, g＾(＾はハットを表す）を計算する（ステップ８０２）。f＾, g＾の算出式はそれぞれ式（１）、式（２）と計算できる。
【数１】
2010226377.tif 000005
【数２】
2010226377.tif 000006
【００３１】
また、f, gの相互相関Ｃfgは式（３）のように表され、その相互相関係数Ｒfg は式（４）のように算出できる（ステップ８０３）。
【数３】
2010226377.tif 000007
【数４】
2010226377.tif 000008
【００３２】
式（４）において、相互相関係数の取る値は[-1, 1]と正規化されるため、１に近くなるほど２つの音声信号の類似性が高く、-1は類似性が低いことを意味する。相互相関係数が予め定められた閾値以下であるか否かを判定し（ステップ８０４）、所定の閾値以下である場合には、音声信号が劣化していると判定する。劣化している場合にステップ８０１で得ている音声信号の開始・終了時刻を字幕強調処理部３０６へ出力する（ステップ８０６）。例えば相互相関係数が0.8以下の場合に、出力された音声信号が劣化していると判定することができる。ユーザはこの閾値をネットワークの状況などに応じて任意に設定しても良い。また、相互相関係数が所定の閾値以下である場合には、音声信号が劣化していないと判定し、音声信号の開始・終了時刻にnullを入れて（ステップ８０５）字幕強調処理部３０６へ出力する。
【００３３】
相互相関係数の算出においては、リモート側にも差分比較部の差分パラメータの調整を設けてもよい。相互相関係数による２つの音声信号の類似度の閾値を０．６から１．０の間で調整し、場合によって音声信号の劣化判定を緩やかに行ったり、厳しくしたりしてもよい。入力はユーザによる手動入力でもよい。
【００３４】
また、タイムアウトエラーの処理の流れについて図９を用いて説明する。音声記録部３０２で記録された音声信号は通信部を介して、ローカル側からリモート側へ送信する（ステップ９０１）。このとき、送信時間を差分比較部３０５へ出力すると（ステップ９０２）差分比較部３０５において音声信号の入力待ち状態に入る（ステップ９０３）。差分比較部はリモート側への送信時間から予め決められ時間以上経過したか否かを判定し（ステップ９０４）、経過していない場合は再び入力待ち状態となる。所定時間以上経過した場合は、さらに音声記録部３０２が音声信号を所定の回数以上再送したか否かを判定する（ステップ９０５）。所定回数以上の再送を行っていない場合には、音声記録部３０２に音声信号を再送するように通知する（ステップ９０６）。一方、所定の回数以上再送している場合には、音声記録部３０２は差分比較部３０５に現在の音声信号の入力待ち状態を破棄する通知を行い（ステップ９０７）、差分比較部３０５は次の音声信号の入力待ち状態に移行する。音声記録部３０２は、タイムアウトエラーフラグをTRUEに設定し、音声信号とともに字幕情報生成部３０４に出力する（ステップ９０８）。字幕情報生成部３０４がタイムアウトエラーを示すテキストを生成し、テキストは字幕強調部３０６通して字幕表示部で表示される（ステップ９０９）。たとえば、差分比較部で１秒以上の時間が経過した場合に、音声記録部は音声の再送を通知する。この操作が５回以上繰り返された場合には差分比較部は入力待ち状態を一旦破棄して、次の入力待ち状態へ移行するようにする。
【００３５】
本実施形態では、物理的に離れた地点にいる会議参加者とお互いに会議を行う場合にも適用可能である。例えば、図１０のように、通信ネットワークを介して会議サーバＡ１００１、会議サーバＢ１００２、会議サーバＣ１００３等の複数の会議サーバ間を接続することで、遠隔地同士の会議が可能な遠隔会議システムの形態で用いることができる。会議サーバＡ、Ｂ、Ｃはいずれも会議支援装置１０あるいは会議処理装置１１の各機能を有し、各会議サーバでの参加者からの音声、画像、字幕情報通信ネットワークを介して双方向に受け渡しする。あるいは、各会議サーバにおける音声記録情報、字幕情報を通信ネットワークを介してコーディネータサーバ１０００に蓄積することによって、各会議サーバへの情報伝達状況を制御してもよい。通信ネットワークは、ISDN、専用線、IPネットワークなどの遠隔会議を実現するネットワーク手段であればこれに限定しない。また実際の会議室を利用した会議のほかに、PCを用いたWeb会議など専用の会議室が存在しない個人空間においても利用することができる。
【符号の説明】
【００３６】
１０・・・遠隔会議支援装置、１１・・・遠隔会議処理装置、
３０１、３５５・・・音声入力部、３０２・・・音声記録部、
３０３・・・外部記録装置、３０４・・・字幕情報生成部、３０５・・・差分比較部、３０６・・・字幕強調処理部、３０７、３５４・・・字幕情報表示部、
３５１・・・フィルタ処理部、３５２・・・劣化音声記録部
【図１】
2010226377.tif 000009
【図２】
2010226377.tif 000010
【図３】
2010226377.tif 000011
【図４】
2010226377.tif 000012
【図５】
2010226377.tif 000013
【図６】
2010226377.tif 000014
【図７】
2010226377.tif 000015
【図８】
2010226377.tif 000016
【図９】
2010226377.tif 000017
【図１０】
2010226377.tif 000018