(57)【要約】【課題】遠隔会議において送受信されるデータに基づいて決定される遠隔会議の状態に応じ、音声データを音声認識した文字データまたは音声データを圧縮した圧縮音声データを送信することができる遠隔会議プログラム、端末装置および遠隔会議方法を提供する。【解決手段】ＣＰＵ３１は遠隔会議に参加する会議端末３の数、遠隔会議で発話するユーザの数等に基づき、音声モードを併用モードまたは自然音声モードに設定する（Ｓ８）。ＣＰＵ３１は会議端末３のユーザに対する権限情報、資料共有の有無、資料に対する操作の有無、会議端末３のユーザの発話時間長、会議端末３のユーザの平均発話時間長等に基づき、音声種別を自然音声または合成音声に設定する（Ｓ１２）。ＣＰＵ３１は併用モード且つ合成音声の場合、音声認識処理で音声データを変換した音声合成用の発話内容データを会議サーバ１に送信し、そうでなければ圧縮音声データを送信する（Ｓ１５）。【選択図】図２
2015122682.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して接続するサーバを介し、各種データの送受信を行うことで遠隔会議を実行可能な複数の端末装置のうちの１の端末装置のコンピュータが実行可能なプログラムであって、
前記１の端末装置のコンピュータに、
前記遠隔会議の実行において行う処理の判断基準となる前記遠隔会議の状態を示す情報であり、前記複数の端末装置と前記サーバとの間で送受信されるデータに基づいて決定される状態情報を取得する第一取得ステップと、
前記第一取得ステップにおいて取得された前記状態情報の示す状態が所定の状態である第一状態の場合、前記１の端末装置に接続されたマイクを介して取得される音声データを前記サーバに送信する設定を示す送信設定を第一設定に設定し、前記状態情報の示す状態が前記第一状態とは異なる第二状態である場合、前記送信設定を第二設定に設定する設定ステップと、
前記設定ステップにおいて前記送信設定が前記第一設定に設定された場合、前記音声データに対する音声認識処理を行う認識ステップと、
前記認識ステップにおいて行われる前記音声認識処理によって生成される文字データを取得する第二取得ステップと、
前記設定ステップにおいて前記送信設定が前記第二設定に設定された場合、前記音声データを所定のパラメータに従って圧縮した圧縮音声データを生成する生成ステップと、
前記第二取得ステップにおいて前記文字データが取得された場合には前記文字データを前記サーバに送信する制御を行い、前記生成ステップにおいて前記圧縮音声データが生成された場合には前記圧縮音声データを前記サーバに送信する制御を行う送信制御ステップと
を実行させることを特徴とする遠隔会議プログラム。
【請求項２】
前記第一取得ステップは、
前記遠隔会議における前記１の端末装置の権限を示す権限情報を前記状態情報として前記サーバから受信する第一受信ステップを含み、
前記１の端末装置のコンピュータに、前記受信された権限情報の示す権限が前記遠隔会議における一般参加者を表す一般権限であるか否か判断する第一判断ステップをさらに実行させ、
前記設定ステップは、
前記第一判断ステップにおいて前記権限情報が前記一般権限であると判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、
前記第一判断ステップにおいて前記権限情報が前記一般権限でないと判断された場合、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定すること
を特徴とする請求項１に記載の遠隔会議プログラム。
【請求項３】
前記サーバとの間で送受信されるデータには、前記複数の端末装置間で共有し、前記複数の端末装置のそれぞれにおいて提示可能な資料を示す資料データが含まれており、
前記第一取得ステップは、
前記資料データを前記状態情報として前記サーバから受信する第二受信ステップをさらに含み、
前記１の端末装置のコンピュータに、前記受信された資料データが前記１の端末装置において提示されているか否か判断する第二判断ステップをさらに実行させ、
前記設定ステップは、
前記第二判断ステップにおいて前記資料データが提示されていないと判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、
前記第二判断ステップにおいて前記資料データが提示されていると判断された場合、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定すること
を特徴とする請求項１または２に記載の遠隔会議プログラム。
【請求項４】
前記第一取得ステップは、
前記サーバに対して送信された、前記資料データに対する前記１の端末装置の操作部を介する操作を示す資料操作情報の履歴を示す資料操作履歴を、前記状態情報として取得する第三取得ステップをさらに含み、
前記１の端末装置のコンピュータに、前記取得された資料操作履歴が、前記第三取得ステップよりも前の所定の期間内に前記資料操作情報が前記サーバに対して送信されたことを示すか否か判断する第三判断ステップをさらに実行させ、
前記設定ステップは、
前記第三判断ステップにおいて、前記所定の期間内に前記資料操作情報が前記サーバに対して送信されていないと判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、
前記第三判断ステップにおいて、前記所定の期間内に前記資料操作情報が前記サーバに対して送信されたと判断された場合、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定すること
を特徴とする請求項３に記載の遠隔会議プログラム。
【請求項５】
前記１の端末装置のコンピュータに、前記マイクから取得される前記音声データが取得された時間を示す取得時刻を、前記１の端末装置が備える記憶装置に記憶する記憶ステップをさらに実行させ、
前記第一取得ステップは、
前記記憶ステップにおいて記憶された前記取得時刻に基づいて、前記１の端末装置において発話が行われた時間帯を示す発話区間を検出する検出ステップと、
前記検出ステップにおいて検出された前記発話区間に基づいて、前記１の端末装置において発話が行われた時間長を示す発話時間を前記状態情報として決定する第一決定ステップと
をさらに含み、
前記１の端末装置のコンピュータに、前記第一決定ステップにおいて決定された前記発話時間が、所定の第一しきい値より大きいか否か判断する第四判断ステップをさらに実行させ、
前記設定ステップは、
前記第四判断ステップにおいて前記発話時間が前記第一しきい値以下であると判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、
前記第四判断ステップにおいて前記発話時間が前記第一しきい値より大きいと判断された場合、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定すること
を特徴とする請求項１から４のいずれかに記載の遠隔会議プログラム。
【請求項６】
前記第一取得ステップは、
前記発話区間と前記発話時間とに基づいて、１回の発話に対する前記発話時間の平均値である平均発話時間を前記状態情報として決定する第二決定ステップをさらに含み、
前記１の端末装置のコンピュータに、前記第二決定ステップにおいて決定された前記平均発話時間が、所定の第二しきい値より大きいか否か判断する第五判断ステップをさらに実行させ、
前記設定ステップは、
前記第五判断ステップにおいて前記平均発話時間が前記第二しきい値以下であると判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、
前記第五判断ステップにおいて前記平均発話時間が前記第二しきい値より大きいと判断された場合、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定すること
を特徴とする請求項５に記載の遠隔会議プログラム。
【請求項７】
前記第一取得ステップは、
前記遠隔会議に参加する前記複数の端末装置の数を示す参加数情報を前記状態情報として前記サーバから受信する第三受信ステップをさらに含み、
前記１の端末装置のコンピュータに、前記第三受信ステップにおいて受信された前記参加数情報が所定の第三しきい値より大きいか否か判断する第六判断ステップをさらに実行させ、
前記設定ステップは、
前記第六判断ステップにおいて前記参加数情報が前記第三しきい値より大きいと判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、
前記第六判断ステップにおいて前記参加数情報が前記第三しきい値以下であると判断された場合には、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定すること
を特徴とする請求項１から６のいずれかに記載の遠隔会議プログラム。
【請求項８】
前記第一取得ステップは、
前記遠隔会議において前記複数の端末装置のうち発話が行われた端末装置の数を示す発話数情報を前記状態情報として前記サーバから受信する第四受信ステップをさらに含み、
前記１の端末装置のコンピュータに、前記第四受信ステップにおいて受信された前記発話数情報が所定の第四しきい値より大きいか否か判断する第七判断ステップをさらに実行させ、
前記設定ステップは、
前記第七判断ステップにおいて前記発話数情報が前記第四しきい値より大きいと判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、
前記第七判断ステップにおいて前記発話数情報が前記第四しきい値以下であると判断された場合には、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定すること
を特徴とする請求項１から７のいずれかに記載の遠隔会議プログラム。
【請求項９】
ネットワークを介して接続するサーバを介し、各種データの送受信を行うことで遠隔会議を実行可能な複数の端末装置のうちの１の端末装置であって、
前記遠隔会議の実行において行う処理の判断基準となる前記遠隔会議の状態を示す情報であり、前記複数の端末装置と前記サーバとの間で送受信されるデータに基づいて決定される状態情報を取得する第一取得手段と、
前記第一取得手段が取得した前記状態情報の示す状態が所定の状態である第一状態の場合、前記１の端末装置に接続されたマイクを介して取得される音声データを前記サーバに送信する設定を示す送信設定を第一設定に設定し、前記状態情報の示す状態が前記第一状態とは異なる第二状態である場合、前記送信設定を第二設定に設定する設定手段と、
前記設定手段が前記送信設定を前記第一設定に設定した場合、前記音声データに対する音声認識処理を行う認識手段と、
前記認識手段が行う前記音声認識処理によって生成される文字データを取得する第二取得手段と、
前記設定手段が前記送信設定を前記第二設定に設定した場合、前記音声データを所定のパラメータに従って圧縮した圧縮音声データを生成する生成手段と、
前記第二取得手段が前記文字データを取得した場合には前記文字データを前記サーバに送信する制御を行い、前記生成手段が前記圧縮音声データを生成した場合には前記圧縮音声データを前記サーバに送信する制御を行う送信制御手段と
を備えたことを特徴とする端末装置。
【請求項１０】
ネットワークを介して接続するサーバを介し、各種データの送受信を行うことで遠隔会議を実行可能な複数の端末装置のうちの１の端末装置のコンピュータが実行可能な遠隔会議方法であって、
前記遠隔会議の実行において行う処理の判断基準となる前記遠隔会議の状態を示す情報であり、前記複数の端末装置と前記サーバとの間で送受信されるデータに基づいて決定される状態情報を取得する第一取得ステップと、
前記第一取得ステップにおいて取得された前記状態情報の示す状態が所定の状態である第一状態の場合、前記１の端末装置に接続されたマイクを介して取得される音声データを前記サーバに送信する設定を示す送信設定を第一設定に設定し、前記状態情報の示す状態が前記第一状態とは異なる第二状態である場合、前記送信設定を第二設定に設定する設定ステップと、
前記設定ステップにおいて前記送信設定が前記第一設定に設定された場合、前記音声データに対する音声認識処理を行う認識ステップと、
前記認識ステップにおいて行われる前記音声認識処理によって生成される文字データを取得する第二取得ステップと、
前記設定ステップにおいて前記送信設定が前記第二設定に設定された場合、前記音声データを所定のパラメータに従って圧縮した圧縮音声データを生成する生成ステップと、
前記第二取得ステップにおいて前記文字データが取得された場合には前記文字データを前記サーバに送信する制御を行い、前記生成ステップにおいて前記圧縮音声データが生成された場合には前記圧縮音声データを前記サーバに送信する制御を行う送信制御ステップと
を含むことを特徴とする遠隔会議方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して接続するサーバを介し、各種データの送受信を行うことで遠隔会議を実行することができる遠隔会議プログラム、端末装置および遠隔会議方法に関する。
【背景技術】
【０００２】
従来、ネットワークを介してサーバとパーソナルコンピュータ（ＰＣ）等、複数の端末装置を接続し、サーバを介し、端末装置間で音声データの送受信を行って音声による遠隔会議を行うシステムが知られている。１つの遠隔会議に参加する端末装置の数が増えると音声データの送受信に必要なネットワークの帯域が圧迫されるため、端末装置において再生される音声は、遅延を生じたり途切れたりする場合がある。例えば特許文献１が開示する通話方法は、送話側端末が音声認識処理によって音声データから文字データを生成して送信し、受話側端末が受信した文字データから音声合成処理によって合成した音声を再生することで帯域を確保し、音声の遅延または途切れを防止する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２８５２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、合成音声は必ずしも聞き取り易い音声ではなく、特に音声認識処理において誤認識が生ずると、送話側端末は受話側端末に発言内容の伝達ミスを生ずる可能性があった。また、特許文献１では、送話側端末において音声認識に失敗した場合、失敗した部分を音声データの圧縮データで埋める処理が行われるが、受話側端末では合成音声と圧縮音声とが繋ぎ合わされて再生されるため、聞き取りにくいという問題もあった。
【０００５】
本発明は、遠隔会議において送受信されるデータに基づいて決定される遠隔会議の状態に応じ、音声データを音声認識した文字データまたは音声データを圧縮した圧縮音声データを送信することができる遠隔会議プログラム、端末装置および遠隔会議方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一態様によれば、ネットワークを介して接続するサーバを介し、各種データの送受信を行うことで遠隔会議を実行可能な複数の端末装置のうちの１の端末装置のコンピュータが実行可能なプログラムであって、前記１の端末装置のコンピュータに、前記遠隔会議の実行において行う処理の判断基準となる前記遠隔会議の状態を示す情報であり、前記複数の端末装置と前記サーバとの間で送受信されるデータに基づいて決定される状態情報を取得する第一取得ステップと、前記第一取得ステップにおいて取得された前記状態情報の示す状態が所定の状態である第一状態の場合、前記１の端末装置に接続されたマイクを介して取得される音声データを前記サーバに送信する設定を示す送信設定を第一設定に設定し、前記状態情報の示す状態が前記第一状態とは異なる第二状態である場合、前記送信設定を第二設定に設定する設定ステップと、前記設定ステップにおいて前記送信設定が前記第一設定に設定された場合、前記音声データに対する音声認識処理を行う認識ステップと、前記認識ステップにおいて行われる前記音声認識処理によって生成される文字データを取得する第二取得ステップと、前記設定ステップにおいて前記送信設定が前記第二設定に設定された場合、前記音声データを所定のパラメータに従って圧縮した圧縮音声データを生成する生成ステップと、前記第二取得ステップにおいて前記文字データが取得された場合には前記文字データを前記サーバに送信する制御を行い、前記生成ステップにおいて前記圧縮音声データが生成された場合には前記圧縮音声データを前記サーバに送信する制御を行う送信制御ステップとを実行させることを特徴とする遠隔会議プログラムが提供される。
【０００７】
１の端末装置は遠隔会議の状態を示す状態情報に応じ、音声データに対する音声認識処理によって生成した文字データ、または音声データを圧縮して生成した圧縮音声データを送信することができる。状態情報は、遠隔会議において送受信されるデータに基づいて決定される情報である。状態情報は、例えば、遠隔会議における発言の重要度、資料共有の有無、資料に対する操作の有無、発話時間またはその平均値、遠隔会議に参加する端末装置の数（参加数）または遠隔会議において発話が行われた端末装置の数（発話数）等に基づいて決定することができる。したがって、複数の端末装置のそれぞれが状態情報に応じ、音声データを文字データまたは圧縮音声データとして送信することで、端末装置は、ネットワークの帯域を確保し、重要な発言に対しては圧縮音声データを再生することによって聞き取り易くすることができる。
【０００８】
第一態様において、前記第一取得ステップは、前記遠隔会議における前記１の端末装置の権限を示す権限情報を前記状態情報として前記サーバから受信する第一受信ステップを含んでもよい。前記１の端末装置のコンピュータに、前記受信された権限情報の示す権限が前記遠隔会議における一般参加者を表す一般権限であるか否か判断する第一判断ステップをさらに実行させてもよい。前記設定ステップは、前記第一判断ステップにおいて前記権限情報が前記一般権限であると判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、前記第一判断ステップにおいて前記権限情報が前記一般権限でないと判断された場合、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定してもよい。
【０００９】
１の端末装置は、権限情報が一般権限であれば、重要な発言がなされないと判断し、音声データを文字データとして送信することで、ネットワークの帯域を確保することができる。また、権限情報が一般権限でなく、例えば遠隔会議の議長権限であったり、発表者権限であったりする場合がある。この場合、１の端末装置は、発言の重要性が高いと判断し、音声データを圧縮音声データとして送信することで、他の端末装置が音声データを再生した場合の聞き取り易さを高め、議長および発表者の発言の聞き漏らしを防ぐことができる。
【００１０】
第一態様において、前記サーバとの間で送受信されるデータには、前記複数の端末装置間で共有し、前記複数の端末装置のそれぞれにおいて提示可能な資料を示す資料データが含まれていてもよい。前記第一取得ステップは、前記資料データを前記状態情報として前記サーバから受信する第二受信ステップをさらに含んでもよい。前記１の端末装置のコンピュータに、前記受信された資料データが前記１の端末装置において提示されているか否か判断する第二判断ステップをさらに実行させてもよい。前記設定ステップは、前記第二判断ステップにおいて前記資料データが提示されていないと判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、前記第二判断ステップにおいて前記資料データが提示されていると判断された場合、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定してもよい。
【００１１】
１の端末装置は、資料データが提示されていない場合、重要な発言がなされていないと判断し、音声データを文字データとして送信することで、ネットワークの帯域を確保することができる。また、資料データが提示されている場合、１の端末装置は、発言の重要性が高いと判断し、音声データを圧縮音声データとして送信することで、他の端末装置が音声データを再生した場合の聞き取り易さを高め、資料の説明等の聞き漏らしを防ぐことができる。
【００１２】
第一態様において、前記第一取得ステップは、前記サーバに対して送信された、前記資料データに対する前記１の端末装置の操作部を介する操作を示す資料操作情報の履歴を示す資料操作履歴を、前記状態情報として取得する第三取得ステップをさらに含んでもよい。前記１の端末装置のコンピュータに、前記取得された資料操作履歴が、前記第三取得ステップよりも前の所定の期間内に前記資料操作情報が前記サーバに対して送信されたことを示すか否か判断する第三判断ステップをさらに実行させてもよい。前記設定ステップは、前記第三判断ステップにおいて、前記所定の期間内に前記資料操作情報が前記サーバに対して送信されていないと判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、前記第三判断ステップにおいて、前記所定の期間内に前記資料操作情報が前記サーバに対して送信されたと判断された場合、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定してもよい。
【００１３】
１の端末装置は、資料データに対する操作が所定の期間内になされていない場合、重要な発言がなされていないと判断し、音声データを文字データとして送信することで、ネットワークの帯域を確保することができる。また、資料データに対する操作が所定の期間内になされている場合、１の端末装置は、発言の重要性が高いと判断し、音声データを圧縮音声データとして送信することで、他の端末装置が音声データを再生した場合の聞き取り易さを高め、資料の説明等の聞き漏らしを防ぐことができる。
【００１４】
第一態様において、前記１の端末装置のコンピュータに、前記マイクから取得される前記音声データが取得された時間を示す取得時刻を、前記１の端末装置が備える記憶装置に記憶する記憶ステップをさらに実行させてもよい。前記第一取得ステップは、前記記憶ステップにおいて記憶された前記取得時刻に基づいて、前記１の端末装置において発話が行われた時間帯を示す発話区間を検出する検出ステップと、前記検出ステップにおいて検出された前記発話区間に基づいて、前記１の端末装置において発話が行われた時間長を示す発話時間を前記状態情報として決定する第一決定ステップとをさらに含んでもよい。前記１の端末装置のコンピュータに、前記第一決定ステップにおいて決定された前記発話時間が、所定の第一しきい値より大きいか否か判断する第四判断ステップをさらに実行させてもよい。前記設定ステップは、前記第四判断ステップにおいて前記発話時間が前記第一しきい値以下であると判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、前記第四判断ステップにおいて前記発話時間が前記第一しきい値より大きいと判断された場合、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定してもよい。
【００１５】
１の端末装置は、発話時間が短く、第一しきい値以下である場合、重要な発言がなされていないと判断し、音声データを文字データとして送信することで、ネットワークの帯域を確保することができる。発話時間が長く、第一しきい値より大きい場合、１の端末装置は、発言の重要性が高いと判断し、音声データを圧縮音声データとして送信することで、他の端末装置が音声データを再生した場合の聞き取り易さを高め、発言の聞き漏らしを防ぐことができる。
【００１６】
第一態様において、前記第一取得ステップは、前記発話区間と前記発話時間とに基づいて、１回の発話に対する前記発話時間の平均値である平均発話時間を前記状態情報として決定する第二決定ステップをさらに含んでもよい。前記１の端末装置のコンピュータに、前記第二決定ステップにおいて決定された前記平均発話時間が、所定の第二しきい値より大きいか否か判断する第五判断ステップをさらに実行させてもよい。前記設定ステップは、前記第五判断ステップにおいて前記平均発話時間が前記第二しきい値以下であると判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、前記第五判断ステップにおいて前記平均発話時間が前記第二しきい値より大きいと判断された場合、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定してもよい。
【００１７】
１の端末装置は、平均発話時間が短く、第二しきい値以下である場合、重要な発言がなされていないと判断し、音声データを文字データとして送信することで、ネットワークの帯域を確保することができる。平均発話時間が長く、第二しきい値より大きい場合、１の端末装置は、発言の重要性が高いと判断し、音声データを圧縮音声データとして送信することで、他の端末装置が音声データを再生した場合の聞き取り易さを高め、発言の聞き漏らしを防ぐことができる。
【００１８】
第一態様において、前記第一取得ステップは、前記遠隔会議に参加する前記複数の端末装置の数を示す参加数情報を前記状態情報として前記サーバから受信する第三受信ステップをさらに含んでもよい。前記１の端末装置のコンピュータに、前記第三受信ステップにおいて受信された前記参加数情報が所定の第三しきい値より大きいか否か判断する第六判断ステップをさらに実行させてもよい。前記設定ステップは、前記第六判断ステップにおいて前記参加数情報が前記第三しきい値より大きいと判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、前記第六判断ステップにおいて前記参加数情報が前記第三しきい値以下であると判断された場合には、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定してもよい。
【００１９】
遠隔会議に参加する端末装置の数が多く、参加数情報が第三しきい値より大きい場合、ネットワークの帯域は圧迫され易い。故に、１の端末装置は、第一設定において音声データを文字データとして送信することで、ネットワークの帯域を確保することができる。遠隔会議に参加する端末装置の数が少なく、参加数情報が第三しきい値以下である場合、ネットワークの帯域は圧迫され難い。故に、１の端末装置は、第二設定において音声データを圧縮音声データとして送信することで、他の端末装置が音声データを再生した場合の聞き取り易さを高め、発言の聞き漏らしを防ぐことができる。
【００２０】
第一態様において、前記第一取得ステップは、前記遠隔会議において前記複数の端末装置のうち発話が行われた端末装置の数を示す発話数情報を前記状態情報として前記サーバから受信する第四受信ステップをさらに含んでもよい。前記１の端末装置のコンピュータに、前記第四受信ステップにおいて受信された前記発話数情報が所定の第四しきい値より大きいか否か判断する第七判断ステップをさらに実行させてもよい。前記設定ステップは、前記第七判断ステップにおいて前記発話数情報が前記第四しきい値より大きいと判断された場合、前記状態情報の示す状態が前記第一状態であるとして、前記送信設定を前記第一設定に設定し、前記第七判断ステップにおいて前記発話数情報が前記第四しきい値以下であると判断された場合には、前記状態情報の示す状態が前記第二状態であるとして、前記送信設定を前記第二設定に設定してもよい。
【００２１】
遠隔会議における発話が行われた端末装置の数が多く、発話数情報が第四しきい値より大きい場合、ネットワークの帯域は圧迫され易い。故に、１の端末装置は、第一設定において音声データを文字データとして送信することで、ネットワークの帯域を確保することができる。遠隔会議における発話が行われた端末装置の数が少なく、発話数情報が第四しきい値以下である場合、ネットワークの帯域は圧迫され難い。故に、１の端末装置は、第二設定において音声データを圧縮音声データとして送信することで、他の端末装置が音声データを再生した場合の聞き取り易さを高め、発言の聞き漏らしを防ぐことができる。
【００２２】
本発明の第二態様によれば、ネットワークを介して接続するサーバを介し、各種データの送受信を行うことで遠隔会議を実行可能な複数の端末装置のうちの１の端末装置であって、前記遠隔会議の実行において行う処理の判断基準となる前記遠隔会議の状態を示す情報であり、前記複数の端末装置と前記サーバとの間で送受信されるデータに基づいて決定される状態情報を取得する第一取得手段と、前記第一取得手段が取得した前記状態情報の示す状態が所定の状態である第一状態の場合、前記１の端末装置に接続されたマイクを介して取得される音声データを前記サーバに送信する設定を示す送信設定を第一設定に設定し、前記状態情報の示す状態が前記第一状態とは異なる第二状態である場合、前記送信設定を第二設定に設定する設定手段と、前記設定手段が前記送信設定を前記第一設定に設定した場合、前記音声データに対する音声認識処理を行う認識手段と、前記認識手段が行う前記音声認識処理によって生成される文字データを取得する第二取得手段と、前記設定手段が前記送信設定を前記第二設定に設定した場合、前記音声データを所定のパラメータに従って圧縮した圧縮音声データを生成する生成手段と、前記第二取得手段が前記文字データを取得した場合には前記文字データを前記サーバに送信する制御を行い、前記生成手段が前記圧縮音声データを生成した場合には前記圧縮音声データを前記サーバに送信する制御を行う送信制御手段とを備えた端末装置が提供される。
【００２３】
第二態様に係る端末装置が他の端末装置に、遠隔会議において送受信されるデータに基づいて決定される遠隔会議の状態に応じ、音声データを文字データまたは圧縮音声データとして送信することで、第一態様と同様の効果を得ることができる。
【００２４】
本発明の第三態様によれば、ネットワークを介して接続するサーバを介し、各種データの送受信を行うことで遠隔会議を実行可能な複数の端末装置のうちの１の端末装置のコンピュータが実行可能な遠隔会議方法であって、前記遠隔会議の実行において行う処理の判断基準となる前記遠隔会議の状態を示す情報であり、前記複数の端末装置と前記サーバとの間で送受信されるデータに基づいて決定される状態情報を取得する第一取得ステップと、前記第一取得ステップにおいて取得された前記状態情報の示す状態が所定の状態である第一状態の場合、前記１の端末装置に接続されたマイクを介して取得される音声データを前記サーバに送信する設定を示す送信設定を第一設定に設定し、前記状態情報の示す状態が前記第一状態とは異なる第二状態である場合、前記送信設定を第二設定に設定する設定ステップと、前記設定ステップにおいて前記送信設定が前記第一設定に設定された場合、前記音声データに対する音声認識処理を行う認識ステップと、前記認識ステップにおいて行われる前記音声認識処理によって生成される文字データを取得する第二取得ステップと、前記設定ステップにおいて前記送信設定が前記第二設定に設定された場合、前記音声データを所定のパラメータに従って圧縮した圧縮音声データを生成する生成ステップと、前記第二取得ステップにおいて前記文字データが取得された場合には前記文字データを前記サーバに送信する制御を行い、前記生成ステップにおいて前記圧縮音声データが生成された場合には前記圧縮音声データを前記サーバに送信する制御を行う送信制御ステップとを含むことを特徴とする遠隔会議方法が提供される。
【００２５】
第三態様に係る遠隔会議方法に従って、遠隔会議において送受信されるデータに基づいて決定される遠隔会議の状態に応じ、１の端末装置のコンピュータが他の端末装置に音声データを文字データまたは圧縮音声データとして送信することで、第一態様と同様の効果を得ることができる。
【図面の簡単な説明】
【００２６】
【図１】遠隔会議システム１００の全体構成図である。
【図２】会議端末３が実行する遠隔会議プログラムのフローチャートである。
【図３】遠隔会議プログラムにおける音声プロファイル登録処理のフローチャートである。
【図４】遠隔会議プログラムにおける音声モード判定処理のフローチャートである。
【図５】遠隔会議プログラムにおける音声種別判定処理のフローチャートである。
【図６】遠隔会議プログラムにおける発話内容送信処理のフローチャートである。
【図７】遠隔会議プログラムにおける発話内容提示処理のフローチャートである。
【図８】発話内容がテキスト表示された場合の例を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明の一実施形態について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００２８】
図１を参照し、本実施形態に係る会議端末３を含む遠隔会議システム１００について説明する。会議端末３は、本発明に係る「端末装置」の一例である。遠隔会議システム１００は、会議サーバ１が仮想的に構築する会議室に複数の会議端末３がネットワーク８を介してそれぞれ仮想的に参加し、画像および音声を用いた遠隔会議（テレビ会議）を開催できるシステムである。会議サーバ１および複数の会議端末３は、ネットワーク８を介して互いに接続し、遠隔会議システム１００を構成する。会議端末３は、遠隔会議に参加するユーザが使用する。会議サーバ１は、複数の会議端末３の間で実行される遠隔会議を制御する。
【００２９】
図１に示す遠隔会議システム１００は、一例として、１つの会議サーバ１と３つの会議端末３が、それぞれネットワーク８に接続して構成するシステムである。会議サーバ１は、複数の会議端末３を用いて行われる遠隔会議の場として仮想的な会議室を構築し、各会議端末３の会議室への入退室を管理するサーバである。複数の会議端末３は、ネットワーク８を介して会議サーバ１に接続し、画像（映像）および音声のデータを互いに送受信することで、リアルタイムな会話による遠隔会議を実行する。会議サーバ１は、記憶部（例えばＨＤＤ）に、複数の端末が会議サーバ１に対して接続して遠隔会議を行うことを可能にする各処理のプログラム記憶されている点を除いては、公知の構成のワークステーションやパーソナルコンピュータ（ＰＣ）と同様の構成である。
【００３０】
会議サーバ１はデータベースを構築する記憶装置２に接続する。会議サーバ１は、ユーザＩＤに対応付けて、入退室情報と、権限情報と、音声プロファイル（後述）と、受信ログ情報と、操作ログ情報とを記憶装置２に記憶する。ユーザＩＤは、会議端末３が会議室に入室する際に用いるＩＤ情報である。入退室情報は、会議端末３が会議室に入室した日時と退室した日時を記録する情報である。権限情報は、会議端末３のユーザの遠隔会議における役割に応じて設定される情報である。権限情報は、例えば、議長、発表者等、特別な権限を有する参加者を示す特別権限の情報と、特別な権限を有さない参加者を示す一般権限の情報を含む。権限情報の違いは、例えば、遠隔会議アプリケーションにおいて、利用可能な機能の違いとして現れる。受信ログ情報は、複数の会議端末３のうちの１つの会議端末３（以下、「１の会議端末３」ともいう。）が会議サーバ１を介して他の会議端末３に対して送信する圧縮音声データおよび発話内容データ（後述）を、会議サーバ１が受信した受信日時を記す情報である。操作ログ情報は、遠隔会議において共有される資料に対し、会議端末３において行われた操作の内容等を示す資料操作情報と、操作が行われた時刻とを対応付けて記録した情報である。
【００３１】
会議端末３は、モニタ４１、マイク４３、カメラ４４、スピーカ４５等が接続される端末装置であり、例えばＰＣが用いられる。会議端末３として、スマートフォン、タブレット端末等の携帯端末が用いられてもよい。１の会議端末３は、遠隔会議時に、カメラ４４が撮像する画像データとマイク４３が収音する音声データを、会議サーバ１に送信する。画像データと音声データは、会議サーバ１を介し、遠隔会議に参加する他の会議端末３に送信される。また、１の会議端末３は、他の会議端末３から会議サーバ１を介して受信する画像データに基づく画像をモニタ４１に表示する。１の会議端末３は、他の会議端末３から受信する音声データに基づく音声をスピーカ４５から出力する。その結果、遠隔会議システム１００は、複数の会議端末３から送信された画像データおよび音声データを、複数の会議端末３間で共有する。遠隔会議システム１００は、遠隔会議の参加者（会議端末３のユーザ）のすべてが同一の場所にいなくとも、参加者同士による円滑な会議の場を提供することができる。なお、遠隔会議システム１００における遠隔会議の制御については従来と同様であるため、詳細な説明を省略する。また、本実施形態では、会議端末３間で送受信される画像データおよび音声データのうち、音声データの送受信における制御について説明を行い、画像データの送受信の制御については、説明を省略する。
【００３２】
会議サーバ１の電気的構成について説明する。会議サーバ１は、上記したように、公知の構成のＰＣやワークステーションを用いて構築され、会議サーバ１の制御を司るＣＰＵ１１を備える。ＣＰＵ１１はチップセット１５に接続し、チップセット１５を介してＲＯＭ１２、ＲＡＭ１３、および表示制御部１４と電気的に接続する。チップセット１５はチップセット１６と接続する。ＣＰＵ１１は、チップセット１６を介し、入力部２２、ハードディスクドライブ（ＨＤＤ）１７、外部接続インターフェイス（Ｉ／Ｆ）１９、および通信Ｉ／Ｆ１８と電気的に接続する。
【００３３】
チップセット１５は、ＣＰＵ１１と、ＲＯＭ１２、ＲＡＭ１３、および表示制御部１４との間でデータの送受信を管理する一連の回路群である。ＲＯＭ１２は、ブートプログラム、ＢＩＯＳ等を記憶する。ＲＡＭ１３は、種々の一時データを記憶する。表示制御部１４は、モニタ２１への画像の表示を制御する。チップセット１６は、ＣＰＵ１１と、入力部２２、ＨＤＤ１７、外部接続Ｉ／Ｆ１９、および通信Ｉ／Ｆ１８との間でデータの送受信を管理する一連の回路群である。入力部２２は、キーボード、マウス等、会議サーバ１に対する操作の入力を行う装置である。ＨＤＤ１７は、基本ソフト（Operating System, OS）、会議サーバ１をサーバとして機能させるためのソフトウェア、その他各種アプリケーション、データ等を記憶する。外部接続Ｉ／Ｆ１９は、上記のデータベースを構築する記憶装置２に接続するインターフェイスである。通信Ｉ／Ｆ１８は、有線または無線によってネットワーク８に接続し、データ通信を行うためのインターフェイスである。
【００３４】
会議端末３の電気的構成について説明する。会議端末３は、公知の構成のＰＣであり、会議端末３の制御を司るＣＰＵ３１を備える。ＣＰＵ３１はチップセット３５に接続し、チップセット３５を介してＲＯＭ３２、ＲＡＭ３３、および表示制御部３４と電気的に接続する。チップセット３５はチップセット３６と接続する。ＣＰＵ３１は、チップセット３６を介し、入力部４２、ＨＤＤ３７、通信Ｉ／Ｆ３８、ＵＳＢ  Ｉ／Ｆ３９と電気的に接続する。
【００３５】
チップセット３５は、ＣＰＵ３１と、ＲＯＭ３２、ＲＡＭ３３、および表示制御部３４との間でデータの送受信を管理する一連の回路群である。ＲＯＭ３２は、ブートプログラム、ＢＩＯＳ等を記憶する。ＲＡＭ３３は、種々の一時データを記憶する。ＲＡＭ３３は、後述する遠隔会議プログラムの実行に従ってＣＰＵ３１が確保する一時的な記憶領域であるサウンドバッファ、受信バッファおよび送信バッファを備える。サウンドバッファは、マイク４３（後述）が音声を収音し、サンプリングして出力する音声データを一時的に記憶する。受信バッファおよび送信バッファは、遠隔会議プログラムの実行において、会議サーバ１との間で送受信する圧縮音声データおよび発話内容データ（後述）を一時的に記憶する。
【００３６】
表示制御部３４は、モニタ４１への画像の表示を制御する。チップセット３６は、ＣＰＵ３１と、入力部４２、ＨＤＤ３７、および通信Ｉ／Ｆ３８との間でデータの送受信を管理する一連の回路群である。入力部４２は、キーボード、マウス等、会議端末３に対する操作の入力を行う装置である。ＨＤＤ３７は、ＯＳ、会議端末３をクライアントとして機能させるためのソフトウェア（後述する遠隔会議プログラム）、その他各種アプリケーション、データ等を記憶する。通信Ｉ／Ｆ３８は、有線または無線によってネットワーク８に接続し、データ通信を行うためのインターフェイスである。
【００３７】
なお、後述する遠隔会議プログラムは、会議端末３に応じたコードにコンパイルされ、ファイルサーバ（図示略）、会議サーバ１等に設けられたコンピュータが読み取り可能な記憶装置に記憶されている。遠隔会議プログラムは、ファイルサーバ、会議サーバ１等から各会議端末３にネットワーク８等の電気通信回線を通じて一時的な伝送信号として送信されて提供される。あるいは、遠隔会議プログラムは、ＣＤ−ＲＯＭ、ＤＶＤーＲＯＭ、フラッシュＲＯＭ等の記録媒体（図示略）に記憶され、会議端末３のＣＰＵ３１が、会議端末３に接続可能な読取装置（図示略）で記録媒体から読み取ることで提供されてもよい。ＣＰＵ３１は、会議端末３が備えるコンピュータで読み取り可能な記憶装置に、遠隔会議プログラムを記憶する。本実施形態における記憶装置はＨＤＤ３７であるが、ＨＤＤ３７に限らず、例えば、ＳＳＤ（Solid State Drive）、フラッシュＲＯＭ等、データを記憶する時間の長さに関わらずにデータを保持できる不揮発性の記憶装置を用いることが好ましい。
【００３８】
ＵＳＢ  Ｉ／Ｆ３９は、ＵＳＢ規格に基づく通信を行うためのインターフェイスである。ＣＰＵ３１は、ＵＳＢ  Ｉ／Ｆ３９を介し、マイク４３、カメラ４４、およびスピーカ４５と電気的に接続する。マイク４３は、会議端末３の周囲の音声を収音してＡ／Ｄ変換（サンプリング）した音声データを、ＵＳＢ  Ｉ／Ｆ３９を介してＯＳに送信する。後述する遠隔会議プログラムの実行において、ＣＰＵ３１は、マイク４３が出力する音声データをＯＳを介して取得し、ＲＡＭ３３に設けたサウンドバッファに記憶する。カメラ４４は、会議端末３の周囲の景色を撮像してＡ／Ｄ変換し、ＵＳＢ  Ｉ／Ｆ３９を介してＣＰＵ３１に画像データを送信する。スピーカ４５は、ＵＳＢ  Ｉ／Ｆ３９を介してＯＳから受信する音声データをＤ／Ａ変換し、音声を出力する。後述する遠隔会議プログラムの実行において、ＣＰＵ３１は、圧縮音声データを伸張した自然音声の音声データ、および発話内容データから合成した合成音声の音声データをＯＳを介してスピーカ４５に出力し、スピーカ４５から音声を出力させる。
【００３９】
遠隔会議システム１００において、会議端末３のＣＰＵ３１は、遠隔会議プログラムに従って、以下の各処理を行う。ＣＰＵ３１は、マイク４３で収音した音声データを公知のエンコーダで、所定のパラメータに従って圧縮して圧縮音声データを生成する。所定のパラメータは、エンコード条件であり、例えば、「コーデックにＨＥ−ＡＡＣ  ｖ２を用い、ビットレートを４８ｋｂｐｓ（ＣＢＲ）とし、サンプリングレートを２４ｋＨｚとする」等である。ＣＰＵ３１は、生成した圧縮音声データを、会議サーバ１を介して他の会議端末３に送信する。他の会議端末３のＣＰＵ３１は、圧縮音声データを受信した場合、圧縮音声データを公知のデコーダで伸張して音声データを生成し、スピーカ４５から再生する。
【００４０】
また、１の会議端末３のＣＰＵ３１は、遠隔会議において送受信されるデータに基づき、遠隔会議の状態を決定し、遠隔会議の状態を示す情報を状態情報として取得する。ＣＰＵ３１は、状態情報が示す遠隔会議の状態に応じ、他の会議端末３に音声データを送信する場合の設定を行う。例えば、ＣＰＵ３１は、状態情報が示す遠隔会議の状態に応じ、上記のように、音声データから生成した圧縮音声データを、他の会議端末３に送信する設定を行う。あるいは、ＣＰＵ３１は、状態情報が示す遠隔会議の状態に応じ、音声データに対する音声認識処理を行って生成した発話内容データを、圧縮音声データの代わりに、他の会議端末３に送信する設定を行う。音声認識処理は、入力された音声データを解析して音響特徴量（例えば音素）を抽出し、特徴量の音響を、認識対象の単語をデータ化した辞書と比較して確率統計的な手法（例えば、隠れマルコフモデル）で単語を決定し、テキストのデータとして出力する公知の処理である。発話内容データは、本実施形態では、音声認識処理によって認識した文字をアスキーコードによって記述したテキスト形式のデータである。なお、発話内容データは、音声認識処理によって認識した文字を所定のフォーマットによって記述したバイナリ形式のデータであってもよい。
【００４１】
他の会議端末３のＣＰＵ３１は、発話内容データを受信した場合、発話内容データに対する音声合成処理を行って合成音声を生成し、スピーカ４５から再生する。音声合成処理は、音声パラメータを調整して、テキストのデータに記述される単語や成句、文節等に対応する波形を生成することによって人工的な音声を合成し、音声データとして出力する公知の処理である。音声パラメータは、例えば、声の高さを表す基本周波数、声質を表すメル周波数ケプストラム、声量を表すパワー等である。なお、音声合成処理は、テキストのデータに記述される単語や成句、文節等に対応する音声を、予め録音された音声のデータから検索して組み合わせることで合成し、音声パラメータによる調整を行って、音声データとして出力する処理であってもよい。
【００４２】
また、遠隔会議において、会議において会議端末３間で共有する資料が予め設定されている場合、ＣＰＵ３１は、会議サーバ１の記憶装置２に記憶された資料データを取得して、資料データが示す資料をモニタ４１に表示する。会議端末３のＣＰＵ３１は、資料共有処理を行い、１の会議端末３において行われた資料に対する操作の内容（例えば、ポインタ移動、ページ移動等）を、他の会議端末３のＣＰＵ３１と共有する。例えば、１の会議端末３の入力部４２において、モニタ４１に表示された資料に対する操作の入力が受け付けられた場合、ＣＰＵ３１は、資料共有処理を行って、会議サーバ１を介して他の会議端末３に資料操作情報を送信する。資料操作情報は、入力部４２において受け付けた資料に対する操作内容を示す情報と、操作された資料を特定するための資料ＩＤと、会議端末３のユーザＩＤとを含む。操作内容を示す情報は、例えば、入力部４２を介して操作されるポインタの座標、資料に対して入力される注釈、資料のページ移動操作などを示す。なお、資料操作情報は、他の会議端末３に送信される過程で経由する会議サーバ１のＣＰＵ１１によって操作時刻に対応付けられて、操作ログ情報として記憶装置２に記憶される。他の会議端末３のＣＰＵ３１は、受信した資料操作情報に基づき、１の会議端末３において行われた資料に対する操作を、資料共有処理を行うことによって、他の会議端末３のモニタ４１に表示する資料に対して反映する。例えば、１の会議端末３において、資料中の第一位置を指し示すポインタを第二位置に移動する操作が行われた場合、他の会議端末３のＣＰＵ３１は、資料操作情報に基づいて、資料中のポインタを、第一位置から第二位置に移動する処理を行う。
【００４３】
上記のエンコーダ、デコーダ、音声認識処理、音声合成処理および資料共有処理は、ＣＰＵ３１が、遠隔会議プログラムの実行において適宜呼び出して処理を行わせるプログラムモジュールの一つであり、遠隔会議プログラムに含めて予めインストールされている。ＰＣの基本ソフトはマルチタスク型のＯＳであり、遠隔会議プログラム、音声認識処理、音声合成処理、エンコーダ、デコーダ、資料共有処理等を、並列処理によって実行することができる。なお、基本ソフトがマルチタスク型のＯＳでない場合、各プログラムモジュールは、ハードウェアからのイベント割込み等を契機に起動してもよい。
【００４４】
ところで、上記した状態情報が示す遠隔会議の状態とは、１の会議端末３と会議サーバ１との間で送受信されるデータに基づいて決定される状態である。例えば、遠隔会議の状態の一つは、１の会議端末３が、権限情報によって示される権限を有する状態である。後述する遠隔会議プログラムの実行において、ＣＰＵ３１は、権限情報に基づいて、音声種別を設定する。音声種別は、他の会議端末３のスピーカ４５から出力させる音声の種別を示す情報であり、自然音声または合成音声が設定される。自然音声は、１の会議端末３においてマイク４３に収音される音声の周波数特性等を残した状態で、他の会議端末３において再生される音声である。自然音声は、１の会議端末３が、マイク４３で収音した音声の音声データを圧縮した圧縮音声データを、他の会議端末３に送信し、他の会議端末３が、圧縮音声データを伸張した音声データに基づく音声をスピーカ４５から出力することによって、再生される。合成音声は、１の会議端末３においてマイク４３に収音される音声に周波数特性等を似せた状態で、他の会議端末３において再生される音声である。合成音声は、１の会議端末３が、マイク４３で収音した音声の音声データに音声認識処理を行って生成した発話内容データを他の会議端末３に送信し、他の会議端末３が、発話内容データに基づき合成した音声をスピーカ４５から出力することによって、再生される。例えば、ＣＰＵ３１は、権限情報が議長または発表者を示す特別権限である場合、音声種別を自然音声に設定する。権限情報が一般の参加者を示す一般権限である場合、ＣＰＵ３１は、音声種別を合成音声に設定する。議長または発表者が発話する内容は重要発言である可能性が高いという経験則に基づき、権限情報が特別権限である場合の音声種別は、自然音声に設定される。
【００４５】
遠隔会議の状態の一つは、遠隔会議において、資料の共有が有るか否かを示す状態である。ＣＰＵ３１は、遠隔会議において共有する設定がなされている資料がある場合、会議サーバ１から資料データを取得して、会議の進行中にモニタ４１に表示することができる。後述する遠隔会議プログラムの実行において、ＣＰＵ３１は、資料共有の有無によって、上記同様、音声種別を設定する。例えば、ＣＰＵ３１は、遠隔会議において、権限情報が一般権限であり、資料を共有する場合、音声種別を自然音声に設定する。権限情報が一般権限であり、資料を共有しない場合、ＣＰＵ３１は、音声種別を合成音声に設定する。資料共有中に発話される内容は、一般参加者であっても重要発言である可能性が高いという経験則に基づき、資料共有がある場合の音声種別は、自然音声に設定される。
【００４６】
遠隔会議の状態の一つは、１の会議端末３において、共有資料に対する操作が行われているか否かを示す状態である。後述する遠隔会議プログラムの実行において、ＣＰＵ３１は、共有資料に対する操作（例えば、ポインタ移動、注釈入力、ページ移動等）がなされた否かによって、上記同様、音声種別を設定する。例えば、ＣＰＵ３１は、遠隔会議において、権限情報が一般権限であり、共有資料に対する操作がなされた場合、音声種別を自然音声に設定する。権限情報が一般権限であり、共有資料に対する操作がなされなかった場合、ＣＰＵ３１は、音声種別を合成音声に設定する。共有資料に対する操作が行われた場合に発話される内容は、一般参加者であっても重要発言である可能性が高いという経験則に基づき、共有資料に対する操作がある場合の音声種別は、自然音声に設定される。
【００４７】
遠隔会議の状態の一つは、遠隔会議において、マイク４３から取得される音声データに基づいて検出される発話時間の長さに応じた１の会議端末３の状態である。発話時間は、１の会議端末３のユーザによる発話が行われた時間長である。後述する遠隔会議プログラムの実行において、ＣＰＵ３１は、発話時間を合計した合計発話時間が変数ＡＴＬとして予め設定された所定時間より長いか否かによって、上記同様、音声種別を設定する。例えば、ＣＰＵ３１は、権限情報が一般権限であり、合計発話時間がＡＴＬより長い場合、音声種別を自然音声に設定する。権限情報が一般権限であり、合計発話時間がＡＴＬ以下の場合、ＣＰＵ３１は、音声種別を合成音声に設定する。資料共有中に発話される発話時間が長いほど、一般参加者であっても重要発言が行われている可能性が高いという経験則に基づき、合計発話時間がＡＴＬより長い場合の音声種別は、自然音声に設定される。
【００４８】
遠隔会議の状態の一つは、遠隔会議において、マイク４３から取得される音声データに基づいて検出される平均発話時間の長さに応じた１の会議端末３の状態である。平均発話時間は、１の会議端末３のユーザによる１回の発話が行われた時間長の平均値である。後述する遠隔会議プログラムの実行において、ＣＰＵ３１は、平均発話時間が変数ＭＴＬとして予め設定された所定時間より長いか否かによって、上記同様、音声種別を設定する。例えば、ＣＰＵ３１は、権限情報が一般権限であり、平均発話時間がＭＴＬより長い場合、音声種別を自然音声に設定する。権限情報が一般権限であり、平均発話時間がＭＴＬ以下の場合、ＣＰＵ３１は、音声種別を合成音声に設定する。資料共有中に１回の発話における発話時間の平均値が長いほど、一般参加者であっても重要発言が行われている可能性が高いという経験則に基づき、平均発話時間がＭＴＬより長い場合の音声種別は、自然音声に設定される。
【００４９】
遠隔会議の状態の一つは、遠隔会議に参加する会議端末３の数に応じた１の会議端末３の状態である。後述する遠隔会議プログラムの実行において、ＣＰＵ３１は、遠隔会議に参加する会議端末３の数が変数ＵＳＲとして予め設定された所定数より多いか否かによって、音声モードを設定する。音声モードは、１の会議端末３が他の会議端末３に対して送信する音声データに基づくデータの形態を示す。音声モードは、併用モードと自然音声モードとを含む。併用モードは、１の会議端末３が他の会議端末３に対し、自然音声による音声の再生を行うための圧縮音声データと、合成音声による音声の再生を行うための発話内容データとを、１の会議端末３の状態に応じて併用し、送信可能とする形態である。自然音声モードは、１の会議端末３が他の会議端末３に対し、自然音声による音声の再生を行うための圧縮音声データのみを送信可能とする形態である。例えば、ＣＰＵ３１は、遠隔会議に参加する会議端末３の数がＵＳＲより多い場合、音声モードを併用モードに設定する。遠隔会議に参加する会議端末３の数がＵＳＲ以下の場合、ＣＰＵ３１は、音声モードを自然音声モードに設定する。遠隔会議に参加する会議端末３の数が多いほど、会議端末３と会議サーバ１との間で送受信されるデータ量は増加する。遠隔会議に参加する会議端末３の数が多いほどネットワーク８の帯域が圧迫され、圧縮音声データの送信に遅延を生ずる可能性が高い。そのため、遠隔会議に参加する会議端末３の数がＵＳＲより多い場合の音声モードは、併用モードに設定される。
【００５０】
遠隔会議の状態の一つは、遠隔会議において発話するユーザの数に応じた１の会議端末３の状態である。後述する遠隔会議プログラムの実行において、ＣＰＵ３１は、遠隔会議において発話したユーザ数が変数ＳＰＫとして予め設定された所定数より多いか否かによって、音声モードを設定する。例えば、ＣＰＵ３１は、遠隔会議において発話したユーザ数がＳＰＫより多い場合、音声モードを併用モードに設定する。遠隔会議において発話したユーザ数がＳＰＫ以下の場合、ＣＰＵ３１は、音声モードを自然音声モードに設定する。例えば、会議端末３と会議サーバ１との間で送受信されるデータ量を削減するため、静音時は圧縮音声データが会議端末３から会議サーバ１に対して送信されず、発話時（例えば、マイク４３の入力レベルが所定値以上の場合）に、圧縮音声データが送信される形態が考えられる。このような場合、遠隔会議において発話するユーザの数が多いほどネットワーク８の帯域が圧迫され、圧縮音声データの送信に遅延を生ずる可能性が高い。そのため、遠隔会議において発話したユーザ数がＳＰＫより多い場合の音声モードは、併用モードに設定される。
【００５１】
以下、図２〜図８を参照し、会議端末３のＣＰＵ３１が遠隔会議プログラムの実行に従って行う処理の過程について説明する。会議端末３のＣＰＵ３１は、入力部４２に対して入力される操作に基づき、遠隔会議プログラムをＨＤＤ３７から読み込んで実行する。ＣＰＵ３１は、遠隔会議プログラム実行時の初期設定で、送信バッファと受信バッファの記憶領域をＲＡＭ３３にそれぞれ確保する。送信バッファは、ＣＰＵ３１が、会議サーバ１を介して他の会議端末３に送信する圧縮音声データおよび発話内容データを一時的に記憶する記憶領域である。受信バッファは、ＣＰＵ３１が会議サーバ１を介して他の会議端末３から受信する圧縮音声データおよび発話内容データを一時的に記憶する記憶領域である。なお、本実施形態では、圧縮音声データおよび発話内容データは、１の会議端末３のＣＰＵ３１によって会議サーバ１に送信され、会議サーバ１のＣＰＵ１１によって、他の会議端末３に送信される。同様に、他の会議端末３から会議サーバ１に送信される圧縮音声データおよび発話内容データは、会議サーバ１によって、１の会議端末３に送信される。圧縮音声データおよび発話内容データの送受信は、ＣＰＵ３１が、ＯＳの処理に従って行う。また、圧縮音声データおよび発話内容データには、送信元の会議端末３のユーザＩＤが付加される。なお、１の会議端末３のＣＰＵ３１は、圧縮音声データおよび発話内容データを、会議サーバ１を含め、個々の会議端末３に直接送信してもよい。
【００５２】
図２に示すように、ＣＰＵ３１は、会議サーバ１の記憶装置２に構築されたデータベースに、会議端末３のユーザが発声する音声に対応する音声プロファイル（後述）が登録されているか否か判断する（Ｓ１）。例えば、ＣＰＵ３１は、会議端末３のユーザの遠隔会議に対するユーザＩＤの入力欄もしくは選択欄を表示する処理を行い、入力部４２に対する操作によって入力または選択されたユーザＩＤを取得する。ＣＰＵ３１は、会議サーバ１に対し、ユーザＩＤと対応付けられた音声プロファイルが記憶装置２のデータベースに登録されているか否か問い合わせを行う（Ｓ１）。会議サーバ１からの回答の結果、音声プロファイルが登録されていない場合（Ｓ１：ＮＯ）、ＣＰＵ３１は処理をＳ２に進め、音声プロファイル登録処理のサブルーチンを実行する（Ｓ２）。なお、会議サーバ１からの回答の結果、音声プロファイルが登録済であれば、ＣＰＵ３１は処理をＳ３に進める（Ｓ１：ＹＥＳ）。
【００５３】
音声プロファイル登録処理は、ＣＰＵ３１が、会議サーバ１に音声プロファイルを送信し、会議サーバ１のＣＰＵ１１によって、記憶装置２に記憶させることで、データベースに登録させる処理である。音声プロファイルは、音声パラメータと音素区間とを対応付けた情報である。音声パラメータは、音声合成処理を行うプログラムモジュールが、ユーザが発声する音声の特徴に似た合成音声を生成するために用いるパラメータである。音素区間は、例えば日本語の場合、発声された言葉を、子音と母音とを組み合わせた発音単位に区切った区間である。音声プロファイル登録処理において、音声パラメータ（基本周波数、メル周波数ケプストラム、パワー等）を取得する処理は公知であるので、以下では音声プロファイル登録処理の説明を簡略化して行う。
【００５４】
図３に示すように、音声プロファイル登録処理において、ＣＰＵ３１は、遠隔会議プログラムが利用するデータとして予めＨＤＤ３７にインストールされた例文を読み込み、モニタ４１に表示する（Ｓ３１）。これにより、ユーザに例文が提示される。ＣＰＵ３１は、マイク４３から、マイク４３が収音したユーザの音声に基づく音声データを、ＯＳを介して取得する（Ｓ３２）。ＣＰＵ３１は、取得した音声データを公知の手法によって解析し、音声パラメータを算出する（Ｓ３３）。
【００５５】
さらにＣＰＵ３１は、公知の手法によって、音声データの音素区間を推定する処理を行う（Ｓ３５）。ＣＰＵ３１は、算出した音声パラメータと、推定した音素区間とを対応付けた音声プロファイルを作成し、ＲＡＭ３３に記憶する（Ｓ３６）。ＣＰＵ３１は、予めインストールされたすべての例文を提示したか否か判断し（Ｓ３７）、未提示の例文がある場合は（Ｓ３７：ＹＥＳ）、処理をＳ３１に戻し、音声プロファイルの作成を継続する。ＣＰＵ３１は、すべての例文を提示し、未提示の例文がない場合（Ｓ３７：ＮＯ）、ＲＡＭ３３に記憶した音声プロファイルを会議サーバ１に送信する（Ｓ３８）。送信された音声プロファイルは、会議サーバ１のＣＰＵ１１によって記憶装置２に記憶され、データベースに登録される。ＣＰＵ３１は、遠隔会議プログラムのメインルーチン（図２参照）に処理を戻し、処理をＳ３に進める。
【００５６】
図２に示すように、ＣＰＵ３１は、ユーザが参加を希望する仮想的な会議室のＩＤの入力を、入力部４２を介して受け付ける（Ｓ３）。例えば、遠隔会議の開催予定日時以前に、遠隔会議に参加予定の会議端末３の各電子メールアドレスを宛先として、会議サーバ１から電子メールが送信される。この電子メールは、会議端末３による遠隔会議のためのＵＲＬ（Uniform Resource Locator）を含む。このＵＲＬは、例えば、仮想的な会議室のＩＤをクエリパラメータとして含む。このＵＲＬを選択する操作が入力部４２によって受け付けられることで、ＣＰＵ３１は、ユーザが入力した会議室ＩＤを取得する。ＣＰＵ３１は、ネットワーク８を介し、会議サーバ１との接続を試みる。ＣＰＵ３１は、会議サーバ１との接続が確立したら、会議サーバ１に対し、会議室ＩＤとユーザＩＤを含む入室リクエストを送信する。会議サーバ１において、会議室ＩＤに基づき作成される会議室、あるいは会議室ＩＤが一致する既存の会議室への参加を許可する通知が入室リクエストに基づいて生成され、ユーザＩＤが会議室ＩＤに関連付けられて、記憶装置２に記憶される。ＣＰＵ３１は、入室リクエストに応じて会議サーバ１から送信される、会議室への参加を許可する通知を受信する。ＣＰＵ３１は、遠隔会議に参加して、会議サーバ１が仮想的に作成した会議室にユーザを入室させる（Ｓ３：ＹＥＳ）。なお、ＣＰＵ３１は、会議室への参加を中止する指示の入力が行われ、会議室に参加しない場合（Ｓ３：ＮＯ）、遠隔会議プログラムの実行を終了する。
【００５７】
ＣＰＵ３１は、参加した会議室において、遠隔会議において会議端末３間で共有する資料が予め設定され、会議サーバ１の記憶装置２に記憶されている場合、会議サーバ１から資料データを受信し（Ｓ５）、ＲＡＭ３３に記憶する。ＣＰＵ３１は、資料データを受信した場合、モニタ４１に資料を表示する。なお、入力部４２において、モニタ４１に表示された資料に対する操作の入力が受け付けられた場合、ＣＰＵ３１は、資料共有処理を行って、会議サーバ１を介して他の会議端末３に、資料操作情報を送信する。
【００５８】
ＣＰＵ３１は、会議室に参加するすべての会議端末３のユーザＩＤにそれぞれ対応付けられた音声プロファイルを会議サーバ１から受信し（Ｓ６）、ＲＡＭ３３に記憶する。ＣＰＵ３１は、入力部４２に対する入力操作に基づいて、発話内容提示モードを、テキスト表示モードまたは合成音声出力モードに設定する（Ｓ７）。発話内容提示モードは、後述する発話内容提示処理（図７参照）において、他の会議端末３において取得された音声データに基づく音声の内容（発話内容）を、１の会議端末３のＣＰＵ３１が提示する形態を示す。テキスト表示モードは、発話内容をテキストにしてモニタ４１に表示する形態である。合成音声出力モードは、発話内容に基づいて音声を合成し、スピーカ４５から出力する形態である。ＣＰＵ３１は、モニタ４１に発話内容提示モードの選択肢を表示する。ＣＰＵ３１は、入力部４２における入力操作に基づき選択されたモードをＲＡＭ３３に記憶する。なお、テキスト表示モードは、会議端末３として、例えば、スマートフォン等、ＰＣに比べてＣＰＵ３１の処理能力の低いデバイスが利用される場合に、ＣＰＵ３１の負担を軽減でき、有効である。
【００５９】
ＣＰＵ３１は、音声モード判定処理のサブルーチンを実行する（Ｓ８）。音声モード判定処理は、ＣＰＵ３１が、音声モードを併用モードまたは自然音声モードに設定する処理である。図４に示すように、音声モード判定処理において、ＣＰＵ３１は、会議サーバ１に参加数リクエストを送信する（Ｓ４１）。参加数リクエストは、会議室ＩＤに基づき作成された会議室において開催される遠隔会議に参加する会議端末３の数を取得するためのリクエストである。前述したように、会議サーバ１の記憶装置２には、ユーザＩＤに対応付けた入退室情報が記憶されている。ＣＰＵ３１は、会議サーバ１から、参加数リクエストに対応する参加数レスポンスを受信する。参加数レスポンスは、会議サーバ１のＣＰＵ１１が、会議室ＩＤに対応するユーザＩＤと入退室情報を抽出し、入退室情報において入室が記録され退室が未記録であるユーザＩＤの数を集計した会議端末３の数を示す情報である。
【００６０】
ＣＰＵ３１は、遠隔会議に参加する会議端末３の数が、ＵＳＲより多いか否か判断する（Ｓ４２）。ＣＰＵ３１は、遠隔会議に参加する会議端末３の数がＵＳＲ以下であり、ＵＳＲより多くない場合（Ｓ４２：ＮＯ）、ネットワーク８における帯域の圧迫は小さいとして、音声モードを自然音声モードに設定した設定情報をＲＡＭ３３に記憶する（Ｓ４７）。この場合、ＣＰＵ３１は、遠隔会議プログラムのメインルーチン（図２参照）に処理を戻し、処理をＳ１０に進める。
【００６１】
遠隔会議に参加する会議端末３の数がＵＳＲより多い場合（Ｓ４２：ＹＥＳ）、ＣＰＵ３１は、会議サーバ１に発話数リクエストを送信する（Ｓ４３）。発話数リクエストは、会議室ＩＤに基づき作成された会議室において開催される遠隔会議において、過去Ｎ分間に発話したユーザの数を取得するためのリクエストである。前述したように、会議サーバ１の記憶装置２には、ユーザＩＤに対応付けた受信ログ情報が記憶されている。ＣＰＵ３１は、会議サーバ１から、発話数リクエストに対応する発話数レスポンスを受信する。発話数レスポンスは、会議サーバ１のＣＰＵ１１が、会議室ＩＤに対応するユーザＩＤと受信ログ情報を抽出し、受信ログ情報において圧縮音声データまたは発話内容データの受信日時が過去Ｎ分間以内であるユーザＩＤの数を集計したユーザ数を示す情報である。
【００６２】
ＣＰＵ３１は、遠隔会議において過去Ｎ分間に発話したユーザの数が、ＳＰＫより多いか否か判断する（Ｓ４５）。ＣＰＵ３１は、発話したユーザ数がＳＰＫ以下であり、ＳＰＫより多くない場合（Ｓ４５：ＮＯ）、遠隔会議に参加する会議端末３の数は多いがネットワーク８における帯域の圧迫は小さいとして、音声モードを自然音声モードに設定した設定情報をＲＡＭ３３に記憶する（Ｓ４７）。この場合、ＣＰＵ３１は、遠隔会議プログラムのメインルーチン（図２参照）に処理を戻し、処理をＳ１０に進める。
【００６３】
遠隔会議において過去Ｎ分間に発話したユーザ数がＳＰＫより多い場合（Ｓ４５：ＹＥＳ）、ＣＰＵ３１は、ネットワーク８における帯域の圧迫が大きいとして、音声モードを併用モードに設定した設定情報をＲＡＭ３３に記憶する（Ｓ４６）。ＣＰＵ３１は、遠隔会議プログラムのメインルーチン（図２参照）に処理を戻し、処理をＳ１０に進める。
【００６４】
図２に示すように、ＣＰＵ３１は、音声モードが併用モードに設定されているか否か判断する（Ｓ１０）。音声モードが自然音声モードに設定され、併用モードでない場合（Ｓ１０：ＮＯ）、他の会議端末３に対して送信する音声データに基づくデータは圧縮音声データのみであるので、ＣＰＵ３１は、音声種別を自然音声に設定した設定情報をＲＡＭ３３に記憶し（Ｓ１１）、処理をＳ１３に進める。音声モードが併用モードである場合（Ｓ１０：ＹＥＳ）、ＣＰＵ３１は、音声種別判定処理のサブルーチンを実行する（Ｓ１２）。
【００６５】
音声種別判定処理は、音声種別を自然音声または合成音声に設定する処理である。図５に示すように、音声種別判定処理において、ＣＰＵ３１は、会議サーバ１に権限リクエストを送信する（Ｓ５１）。権限リクエストは、１の会議端末３のユーザＩＤに対応する権限情報を取得するためのリクエストである。前述したように、会議サーバ１の記憶装置２には、ユーザＩＤに対応付けた権限情報が記憶されている。ＣＰＵ３１は、会議サーバ１から、権限リクエストに対応する権限レスポンスを受信し、ユーザＩＤに対応付けられた権限情報が、一般権限を示すか否か判断する（Ｓ５２）。
【００６６】
権限情報が議長または発表者を示す特別権限であり、一般権限でない場合（Ｓ５２：ＮＯ）、ＣＰＵ３１は、１の会議端末３のユーザによって重要発言がなされる可能性が高いとして、音声種別を自然音声に設定した設定情報をＲＡＭ３３に記憶する（Ｓ６６）。この場合、ＣＰＵ３１は、遠隔会議プログラムのメインルーチン（図２参照）に処理を戻し、処理をＳ１３に進める。権限情報が一般の参加者を示す一般権限である場合（Ｓ５２：ＹＥＳ）、ＣＰＵ３１は、会議サーバ１から受信した資料データがあり、資料の共有が行われているか否か判断する（Ｓ５３）。ＣＰＵ３１は、資料の共有がない場合（Ｓ５３：ＮＯ）、１の会議端末３のユーザによって重要発言がなされる可能性が低いとして、音声種別を合成音声に設定した設定情報をＲＡＭ３３に記憶する（Ｓ６７）。この場合、ＣＰＵ３１は、遠隔会議プログラムのメインルーチンに処理を戻し、処理をＳ１３に進める。
【００６７】
資料を共有し、モニタ４１に表示する場合（Ｓ５３：ＹＥＳ）、ＣＰＵ３１は、会議サーバ１に、操作履歴リクエストを送信する。操作履歴リクエストは、１の会議端末３のユーザＩＤに対応する操作ログ情報を取得するためのリクエストである。前述したように、会議サーバ１の記憶装置２には、ユーザＩＤを含む資料操作情報と、操作時刻とが対応付けられて記憶されている。ＣＰＵ３１は、会議サーバ１から、操作履歴リクエストに対応する操作履歴レスポンスを受信する（Ｓ５４）。操作履歴レスポンスは、会議サーバ１のＣＰＵ１１が、１の会議端末３のユーザＩＤに対応する資料操作情報を記録した操作ログ情報を抽出し、抽出した操作ログ情報の中に、過去Ｍ分間の操作ログ情報があるか否かを示す情報である。
【００６８】
ＣＰＵ３１は、操作履歴レスポンスに基づき、資料に対する操作の入力が過去Ｍ分間に行われたか否か判断する（Ｓ５５）。資料に対する操作の入力がない場合（Ｓ５５：ＮＯ）、ＣＰＵ３１は、１の会議端末３のユーザによって重要発言がなされる可能性が低いとして、音声種別を合成音声に設定した設定情報をＲＡＭ３３に記憶する（Ｓ６７）。この場合、ＣＰＵ３１は、遠隔会議プログラムのメインルーチン（図２参照）に処理を戻し、処理をＳ１３に進める。
【００６９】
資料に対する操作の入力があった場合（Ｓ５５：ＹＥＳ）、ＣＰＵ３１は、サウンドバッファに音声データが記憶されているか否か判断する（Ｓ５６）。後述する発話内容送信処理（図６参照）において、ＣＰＵ３１は、マイク４３が収音した音声の音声データをＯＳを介して取得し、サウンドバッファに記憶する処理を行う。マイク４３が収音した音声が、例えば所定のレベルよりも音量が小さく、無音とみなされる状態である場合、マイク４３は音声データを出力しない。サウンドバッファに音声データが記憶されていない場合（Ｓ５６：ＮＯ）、ＣＰＵ３１は、音声種別を合成音声に設定した設定情報をＲＡＭ３３に記憶し（Ｓ６７）、処理をメインルーチン（図２参照）に戻す。
【００７０】
サウンドバッファに音声データが記憶されている場合（Ｓ５６：ＹＥＳ）、ＣＰＵ３１は、サウンドバッファに記憶された音声データを取得し、ＲＡＭ３３の作業領域に読み込む（Ｓ５７）。ＣＰＵ３１は、音声データの解析を行い、発話区間の検出を行う（Ｓ５８）。詳細については公知であるので省略するが、ＣＰＵ３１は、例えば、取得した音声データが示す音声信号の振幅が一定レベルを越え、且つゼロ点を交差する回数（零交差数）が一定数を越えた場合を発話区間の始端として検出する。また、ＣＰＵ３１は、振幅のレベルが一定以下となった場合を発話区間の終端として検出する。
【００７１】
ＣＰＵ３１は、発話区間の始端と終端とをそれぞれ検出した場合、発話区間の時間長を算出し、発話時間としてＲＡＭ３３に記憶する（Ｓ６０）。ＣＰＵ３１は、遠隔会議プログラムのメインルーチン（図２参照）においてＳ８〜Ｓ２２の処理を繰り返し実行するので、音声種別判定処理も繰り返し実行し、発話区間の始端と終端とを検出するたびに、発話時間を算出してＲＡＭ３３に記憶する。ＣＰＵ３１は、それまでにＲＡＭ３３に記憶した発話時間の合計を算出し（Ｓ６１）、合計発話時間としてＲＡＭ３３に記憶する。なお、ＣＰＵ３１は、音声種別判定処理を行うたびに合計発話時間を算出するのではなく、Ｓ６０の処理において新たな発話時間を記憶した場合に合計発話時間を算出し、更新すればよい。
【００７２】
ＣＰＵ３１は、合計発話時間がＡＴＬより長いか否か判断する（Ｓ６２）。合計発話時間がＡＴＬ以下であり、ＡＴＬより長くない場合（Ｓ６２：ＮＯ）、ＣＰＵ３１は、１の会議端末３のユーザによって重要発言が行われている可能性が低いとして、音声種別を合成音声に設定し（Ｓ６７）、処理をメインルーチン（図２参照）に戻す。合計発話時間がＡＴＬより長い場合（Ｓ６２：ＹＥＳ）、ＣＰＵ３１は、ＲＡＭ３３に記憶した発話時間の数で合計発話時間を割る演算を行って、１回の発話時間の平均値を算出し（Ｓ６３）、平均発話時間としてＲＡＭ３３に記憶する。なお、ＣＰＵ３１は、音声種別判定処理を行うたびに平均発話時間を算出するのではなく、Ｓ６１の処理において合計発話時間を更新した場合に平均発話時間を算出し、更新すればよい。
【００７３】
ＣＰＵ３１は、平均発話時間がＭＴＬより長いか否か判断する（Ｓ６５）。平均発話時間がＭＴＬ以下であり、ＭＴＬより長くない場合（Ｓ６５：ＮＯ）、ＣＰＵ３１は、１の会議端末３のユーザによって重要発言が行われている可能性が低いとして、音声種別を合成音声に設定した設定情報をＲＡＭ３３に記憶し（Ｓ６７）、処理をメインルーチン（図２参照）に戻す。平均発話時間がＭＴＬより長い場合（Ｓ６５：ＹＥＳ）、ＣＰＵ３１は、１の会議端末３のユーザによって重要発言が行われている可能性が高いとして、音声種別を自然音声に設定した設定情報をＲＡＭ３３に記憶し（Ｓ６６）、処理をメインルーチンに戻す。
【００７４】
図２に示すように、ＣＰＵ３１は、マイク４３が周囲の音声を収音し、音声データを出力しているか否か判断する（Ｓ１３）。マイク４３から音声データの出力がない場合（Ｓ１３：ＮＯ）、ＣＰＵ３１は、処理をＳ１６に進める。マイク４３から音声データの出力がある場合（Ｓ１３：ＹＥＳ）、ＣＰＵ３１は、発話内容送信処理のサブルーチンを実行する（Ｓ１５）。
【００７５】
発話内容送信処理は、ＣＰＵ３１が音声データから圧縮音声データまたは発話内容データを生成し、他の会議端末３への送信を指示する処理である。図６に示すように、発話内容送信処理において、ＣＰＵ３１は、マイク４３が周囲の音声を収音して出力する音声データを、ＯＳを介して取得する（Ｓ７１）。ＣＰＵ３１は、取得した音声データを、ＲＡＭ３３のサウンドバッファに記憶する（Ｓ７２）。前述したように、マイク４３が収音した音声の音量が小さい場合、マイク４３は音声データを出力しない。
【００７６】
ＣＰＵ３１は、音声種別判定処理（図５参照）において設定され、ＲＡＭ３３に記憶する音声種別の設定情報を、ＲＡＭ３３の作業領域に読み込む（Ｓ７３）。ＣＰＵ３１は、音声種別が、合成音声であるか否か判断する（Ｓ７５）。音声種別が自然音声に設定されており、合成音声でない場合（Ｓ７５：ＮＯ）、ＣＰＵ３１は、サウンドバッファに記憶した音声データをエンコーダで圧縮して圧縮音声データを生成し、送信バッファに記憶する（Ｓ７６）。ＣＰＵ３１は、送信バッファに蓄積される圧縮音声データを、生成順に、ＯＳがネットワーク８を介したデータの送受信処理を行う記憶領域であるソケットバッファに記憶する。ＣＰＵ３１は、ＯＳに従って、ソケットバッファに記憶する圧縮音声データを会議サーバ１に送信したら（Ｓ７７）、遠隔会議プログラムのメインルーチン（図２参照）に処理を戻し、処理をＳ１６に進める。
【００７７】
Ｓ７５の処理において、音声種別が合成音声に設定されている場合（Ｓ７５：ＹＥＳ）、ＣＰＵ３１は、サウンドバッファに記憶する音声データの解析を行い、１の会議端末３のユーザによる発話が行われているか否か判断する（Ｓ７８）。ＣＰＵ３１は、前述した発話区間の検出と同様に、発話の検出を行う。すなわちＣＰＵ３１は、音声データを解析し、取得した音声データが示す音声信号の振幅が一定レベルを越え、且つ零交差数が一定数を越え場合に発話区間の始端を検出し、振幅のレベルが一定以下となった場合に発話区間の終端を検出する。ＣＰＵ３１は、音声データの解析によって、発話区間内（すなわち発話中）であると判断した場合（Ｓ７８：ＹＥＳ）、ＲＡＭ３３に記憶する認識中フラグをＯＮにする（Ｓ８０）。ＣＰＵ３１は、サウンドバッファに音声データを記憶する処理を継続して行う間は音声認識処理を行わず、発話の区切りを待つ。ＣＰＵ３１は、遠隔会議プログラムのメインルーチン（図２参照）に処理を戻し、処理をＳ１６に進める。
【００７８】
ＣＰＵ３１は、遠隔会議プログラムのメインルーチン（図２参照）のＳ８〜Ｓ２２の処理を繰り返し実行するうちに発話が区切られ、発話内容送信処理のＳ７８の処理で発話中でないと判断した場合（Ｓ７８：ＮＯ）、処理をＳ８１に進める。ＣＰＵ３１は、音声認識処理のプログラムモジュールを実行し、発話が区切られた音声データを音声認識処理に入力する（Ｓ８１）。ＣＰＵ３１は、音声認識処理が音声認識結果として出力する発話内容データを取得し、送信バッファに記憶する（Ｓ８２）。ＣＰＵ３１は、送信バッファに記憶した発話内容データを、ＯＳのソケットバッファに記憶する。ＣＰＵ３１は、ＯＳに従って、ソケットバッファに記憶する発話内容データを会議サーバ１に送信したら（Ｓ８３）、認識中フラグをＯＦＦにする（Ｓ８５）。ＣＰＵ３１は、遠隔会議プログラムのメインルーチン（図２参照）に処理を戻し、処理をＳ１６に進める。
【００７９】
図２に示すように、ＣＰＵ３１は、会議サーバ１を介して他の会議端末３から受信した圧縮音声データまたは発話内容データが受信バッファに記憶されているか否か判断する（Ｓ１６）。受信バッファに圧縮音声データおよび発話内容データがない場合（Ｓ１６：ＮＯ）、ＣＰＵ３１は、処理をＳ１８に進める。受信バッファに圧縮音声データまたは発話内容データがある場合（Ｓ１６：ＹＥＳ）、ＣＰＵ３１は、発話内容提示処理のサブルーチンを実行する（Ｓ１７）。
【００８０】
発話内容提示処理は、ＣＰＵ３１が圧縮音声データまたは発話内容データから生成した音声データに基づく音声をスピーカ４５から出力したり、発話内容データに基づくテキストをモニタ４１に表示したりする処理である。図７に示すように、発話内容提示処理において、ＣＰＵ３１は、受信バッファに記憶されたデータが発話内容データであるか否か判断する（Ｓ９１）。受信バッファに圧縮音声データが記憶されており、発話内容データがない場合（Ｓ９１：ＮＯ）、ＣＰＵ３１は、圧縮音声データをデコーダで伸張し、音声データを生成する（Ｓ９２）。ＣＰＵ３１は、ＯＳを介してスピーカ４５に音声データを出力し、他の会議端末３において収音された音声の周波数特性等を再現した音声をスピーカ４５から出力させる（Ｓ９８）。ＣＰＵ３１は、遠隔会議プログラムのメインルーチン（図２参照）に処理を戻し、処理をＳ１８に進める。
【００８１】
Ｓ９１の処理において、受信バッファに発話内容データが記憶されている場合（Ｓ９１：ＹＥＳ）、ＣＰＵ３１は、ＲＡＭ３３に記憶する発話内容提示モードを、ＲＡＭ３３の作業領域に読み込む（Ｓ９３）。ＣＰＵ３１は、発話内容提示モードが、テキスト表示モードであるか否か判断する（Ｓ９５）。発話内容提示モードが合成音声出力モードに設定されており、テキスト表示モードでない場合（Ｓ９５：ＮＯ）、ＣＰＵ３１は、発話内容データに付加する送信元の会議端末３のユーザＩＤに対応する音声プロファイルを作業領域に読み込む（Ｓ９６）。ＣＰＵ３１は、音声合成処理のプログラムモジュールを実行し、音声プロファイルを適用した音声合成処理に発話内容データを入力する（Ｓ９７）。ＣＰＵ３１は、音声合成処理が音声合成の結果として出力する音声データを取得する。ＣＰＵ３１は、ＯＳを介してスピーカ４５に音声データを出力し、他の会議端末３において収音された音声の周波数特性等に似せた合成音声をスピーカ４５から出力させる（Ｓ９８）。ＣＰＵ３１は、遠隔会議プログラムのメインルーチン（図２参照）に処理を戻し、処理をＳ１８に進める。
【００８２】
Ｓ９５の処理において、発話内容提示モードがテキスト表示モードに設定されている場合（Ｓ９５：ＹＥＳ）、ＣＰＵ３１は、発話内容データに付加されたユーザＩＤを取得する（Ｓ１００）。ＣＰＵ３１は、発話内容データに含まれるテキストをモニタ４１に表示する。例えば、図８に示すように、ＣＰＵ３１は、遠隔会議プログラムの操作画面として生成するユーザインターフェイス５０に、他の会議端末３から受信する画像（映像）５１を表示する。画像５１には、画像５１の送信元である会議端末３のユーザＩＤが付加されている。ＣＰＵ３１は、発話内容データに付加されたユーザＩＤと一致するユーザＩＤが付加された画像５１に、発話内容データから読み出したテキスト５２を、吹き出し状にして重ね合わせ、ユーザインターフェイス５０に表示する（Ｓ１０１）。ＣＰＵ３１は、遠隔会議プログラムのメインルーチン（図２参照）に処理を戻し、処理をＳ１８に進める。
【００８３】
図２に示すように、ＣＰＵ３１は、遠隔会議に新たに参加した会議端末３がいるか否か判断する（Ｓ１８）。新たに参加する会議端末３がある場合、ＣＰＵ３１は、会議サーバ１から、新たに参加した会議端末３のユーザＩＤの通知を受ける。会議サーバ１から新たに参加した会議端末３の通知がない場合（Ｓ１８：ＮＯ）、ＣＰＵ３１は、処理をＳ２１に進める。会議サーバ１から新たに参加した会議端末３の通知を受けた場合（Ｓ１８：ＹＥＳ）、ＣＰＵ３１は、会議サーバ１に、新たに参加した会議端末３のユーザＩＤに対応付けられた音声プロファイルを取得するリクエストを送信する。ＣＰＵ３１は、会議サーバ１から、新たに参加した会議端末３の音声プロファイルを受信したら、ＲＡＭ３３に、他の会議端末３の音声プロファイルに加えて記憶し（Ｓ２０）、処理をＳ２１に進める。
【００８４】
ＣＰＵ３１は、遠隔会議を終了する通知を受信したか否か判断する（Ｓ２１）。例えば、特別権限が付与された会議端末３において、遠隔会議を終了する操作の入力が受け付けられた場合、１の会議端末３のＣＰＵ３１は、会議サーバ１から、遠隔会議を終了する通知を受信する。遠隔会議を終了する通知を受信していない場合（Ｓ２１：ＮＯ）、ＣＰＵ３１は、認識中フラグがＯＮであるか否か判断する（Ｓ２２）。認識中フラグがＯＮであり、発話内容送信処理において音声認識処理に入力する音声データの取得中である場合（Ｓ２２：ＹＥＳ）、ＣＰＵ３１は、音声モードおよび音声種別の設定に変更が生じないように、処理をＳ１３に戻し、Ｓ１３〜Ｓ２２の処理を繰り返す。認識中フラグがＯＦＦであり、音声認識処理に入力する音声データの取得中でない場合（Ｓ２２：ＮＯ）、ＣＰＵ３１は、処理をＳ８に戻して音声モードおよび音声種別を適宜設定し、Ｓ８〜Ｓ２２の処理を繰り返す。このように、ＣＰＵ３１は、Ｓ８〜Ｓ１５の処理を行うことで、遠隔会議の状態に応じ、自然音声を再生するための圧縮音声データまたは合成音声を生成するための発話内容データを生成し、会議サーバ１を介して他の会議端末３に送信する。そして、Ｓ２１の処理において、会議サーバ１から遠隔会議を終了する通知を受信した場合（Ｓ２１：ＹＥＳ）、ＣＰＵ３１は、遠隔会議プログラムの実行を終了する。
【００８５】
以上説明したように、１の会議端末３は遠隔会議の状態を示す状態情報に応じ、音声データに対する音声認識処理によって生成した発話内容データ、または音声データを圧縮して生成した圧縮音声データを送信することができる。状態情報は、遠隔会議において送受信されるデータに基づいて決定される情報である。状態情報は、例えば、遠隔会議における発言の重要度、資料共有の有無、資料に対する操作の有無、発話時間またはその平均値、遠隔会議に参加する端末装置の数（参加数）または遠隔会議において発話が行われた端末装置の数（発話数）等に基づいて決定することができる。したがって、複数の会議端末３のそれぞれが状態情報に応じ、音声データを発話内容データまたは圧縮音声データとして送信することで、会議端末３は、ネットワーク８の帯域を確保できる。よって会議端末３は、重要な発言に対しては圧縮音声データを再生することによって聞き取り易くすることができる。
【００８６】
１の会議端末３は、権限情報が一般権限であれば、重要な発言がなされないと判断し、音声データを発話内容データとして送信することで、ネットワーク８の帯域を確保することができる。また、権限情報が一般権限でなく、例えば遠隔会議の議長権限であったり、発表者権限であったりする場合がある。この場合、１の会議端末３は、発言の重要性が高いと判断し、音声データを圧縮音声データとして送信することで、他の会議端末３が音声データを再生した場合の聞き取り易さを高め、議長および発表者の発言の聞き漏らしを防ぐことができる。
【００８７】
１の会議端末３は、資料データが共有されていない場合、重要な発言がなされていないと判断し、音声データを発話内容データとして送信することで、ネットワーク８の帯域を確保することができる。また、資料データが提示されている場合、１の会議端末３は、発言の重要性が高いと判断し、音声データを圧縮音声データとして送信することで、他の会議端末３が音声データを再生した場合の聞き取り易さを高め、資料の説明等の聞き漏らしを防ぐことができる。
【００８８】
１の会議端末３は、資料データに対する操作が所定の期間内になされていない場合、重要な発言がなされていないと判断し、音声データを発話内容データとして送信することで、ネットワーク８の帯域を確保することができる。また、資料データに対する操作が所定の期間内になされている場合、１の会議端末３は、発言の重要性が高いと判断し、音声データを圧縮音声データとして送信することで、他の会議端末３が音声データを再生した場合の聞き取り易さを高めることができる。よって、１の会議端末３は、資料の説明等の聞き漏らしを防ぐことができる。
【００８９】
１の会議端末３は、発話時間が短く、第一しきい値以下である場合、重要な発言がなされていないと判断し、音声データを発話内容データとして送信することで、ネットワーク８の帯域を確保することができる。発話時間が長く、第一しきい値より大きい場合、１の会議端末３は、発言の重要性が高いと判断し、音声データを圧縮音声データとして送信することで、他の会議端末３が音声データを再生した場合の聞き取り易さを高め、発言の聞き漏らしを防ぐことができる。
【００９０】
１の会議端末３は、平均発話時間が短く、第二しきい値以下である場合、重要な発言がなされていないと判断し、音声データを発話内容データとして送信することで、ネットワーク８の帯域を確保することができる。平均発話時間が長く、第二しきい値より大きい場合、１の会議端末３は、発言の重要性が高いと判断し、音声データを圧縮音声データとして送信することで、他の会議端末３が音声データを再生した場合の聞き取り易さを高め、発言の聞き漏らしを防ぐことができる。
【００９１】
遠隔会議に参加する会議端末３の数が多く、参加数情報が第三しきい値より大きい場合、ネットワーク８の帯域は圧迫され易い。故に、１の会議端末３は、第一設定において音声データを発話内容データとして送信することで、ネットワーク８の帯域を確保することができる。遠隔会議に参加する会議端末３の数が少なく、参加数情報が第三しきい値以下である場合、ネットワーク８の帯域は圧迫され難い。故に、１の会議端末３は、第二設定において音声データを圧縮音声データとして送信することで、他の会議端末３が音声データを再生した場合の聞き取り易さを高め、発言の聞き漏らしを防ぐことができる。
【００９２】
遠隔会議における発話が行われた会議端末３の数が多く、発話数情報が第四しきい値より大きい場合、ネットワーク８の帯域は圧迫され易い。故に、１の会議端末３は、第一設定において音声データを発話内容データとして送信することで、ネットワーク８の帯域を確保することができる。遠隔会議における発話が行われた会議端末３の数が少なく、発話数情報が第四しきい値以下である場合、ネットワーク８の帯域は圧迫され難い。故に、１の会議端末３は、第二設定において音声データを圧縮音声データとして送信することで、他の会議端末３が音声データを再生した場合の聞き取り易さを高め、発言の聞き漏らしを防ぐことができる。
【００９３】
なお本発明は上記実施形態に限定されず、種々の変更が可能である。例えば、会議端末３は、ラップトップ型、タワー型のＰＣに限らず、ノート型のＰＣであってもよいし、スマートフォン、タブレット型端末等であってもよい。すなわち会議端末３は、遠隔会議プログラムを実行でき、且つネットワーク８に接続でき、マイク４３による音声の収音と、スピーカ４５による音声の出力が可能な端末装置であればよい。また、会議端末３は、マイク４３およびスピーカ４５を内蔵してもよい。
【００９４】
また、本実施形態において、会議端末３のＣＰＵ３１は、音声プロファイルによって提示される音声パラメータを用いて合成音声を生成した。これに限らず、例えば、ユーザが発声した音声データを解析し、音素区間あるいは単語ごとに分解したデータを作成して、発話内容データが示すテキストに基づいてつなぎ合わせることで、合成音声を生成してもよい。
【００９５】
また、ＣＰＵ３１は、音声モード判定処理において、遠隔会議に参加する会議端末３の数および発話したユーザ数に基づき、音声モードの設定を行った。これに限らず、例えば、ＣＰＵ３１は、音声モード判定処理において、遠隔会議に参加する会議端末３の数のみに基づき、音声モードの設定を行ってもよいし、遠隔会議において発言したユーザ数のみに基づき、音声モードの設定を行ってもよい。
【００９６】
音声種別判定処理のＳ５４の処理において、ＣＰＵ３１は、会議サーバ１から、１の会議端末３のユーザＩＤに対応する操作ログ情報を取得した。これに限らず、ＣＰＵ３１は、操作ログ情報をＲＡＭ３３もしくはＨＤＤ３７に記憶することで、会議サーバ１ではなく、１の会議端末３に保持してもよい。また、ＣＰＵ３１は、音声モード判定処理のＳ４１の処理において、会議サーバ１から、遠隔会議に参加する会議端末３の数を取得した。これに限らず、ＣＰＵ３１は、例えば遠隔会議の会議室に会議端末３が入室・退室するたびに会議サーバ１から入退室した会議端末３のユーザＩＤを取得し、入室した日時と退室した日時の記録をＲＡＭ３３もしくはＨＤＤ３７に記憶することで、１の会議端末３に入退室情報を保持してもよい。これにより、ＣＰＵ３１は、Ｓ４１の処理において、遠隔会議に参加する会議端末３の数を、１の会議端末３が保持する入退室情報に基づいて集計してもよい。同様に、ＣＰＵ３１は、会議サーバ１を介して受信する圧縮音声データまたは発話内容データの受信日時をＲＡＭ３３もしくはＨＤＤ３７に記憶することで、１の会議端末３に受信ログ情報を保持してもよい。これにより、ＣＰＵ３１は、Ｓ４３の処理において、遠隔会議において発話した会議端末３の数を、１の会議端末３が保持する受信ログ情報に基づいて集計してもよい。
【００９７】
また、ＣＰＵ３１は、Ｓ８の音声モード判定処理を、Ｓ８〜Ｓ２２の繰り返すたびに毎回行わなくてもよい。例えば、タイマーやカウンタ等を設けることで、ＣＰＵ３１は、所定時間ごとに、あるいはＳ８〜Ｓ２２を所定回数繰り返すたびに、音声モード判定処理を行ってもよい。あるいは、ＣＰＵ３１は、音声モード判定処理を行わず、音声モードとして常に併用モードを設定してもよい。Ｓ１２の音声種別判定処理も同様であり、ＣＰＵ３１は、例えば、タイマーやカウンタ等を設けることで、所定時間ごとに、あるいはＳ８〜Ｓ２２を所定回数繰り返すたびに、音声種別判定処理を行ってもよい。
【００９８】
ＣＰＵ３１は、遠隔会議の状態に応じて音声モードと音声種別を設定したが、遠隔会議の状態として、本実施形態では複数の状態を例に挙げた。ＣＰＵ３１は、必ずしも、上記例示したすべての遠隔会議の状態を、音声モードと音声種別の設定に反映する必要はなく、少なくともいずれか１以上の上記遠隔会議の状態を、音声モードと音声種別の設定に反映すればよい。
【００９９】
Ｓ７の処理において、ＣＰＵ３１は、発話内容提示モードとしてテキスト表示モードの設定を行わず、常に、合成音声出力モードを設定してもよい。この場合、ＣＰＵ３１は、発話内容データに対して常に音声合成処理を適用し、スピーカ４５から合成音声を出力させればよい。
【０１００】
ＣＰＵ３１は、発話内容送信処理のＳ７２の処理において、音声データをサウンドバッファに記憶する際に、例えば公知のフィルタリング処理によって、音声データから所定の音量以下の音声データと、人の声の周波数帯から外れる音声データをカットしてもよい。
【０１０１】
Ｓ１０１の処理において、ＣＰＵ３１は、ユーザインターフェイス５０に表示する画像５１にテキスト５２を吹き出し状に重ねて表示した。これに限らず、発話内容データに基づくテキストをウインドウにライン表示してもよい。この場合、ＣＰＵ３１は、例えば会議サーバ１に、発話内容データの発信元の会議端末３のユーザに関する情報（例えばニックネーム、性別等の情報）を示すユーザプロファイルをリクエストし、取得する。ＣＰＵ３１は、発話内容データに基づくテキストをウインドウに表示する際に、ユーザプロファイルに対応付けてテキストを表示すれば、発言者を明確にすることができ、好ましい。
【０１０２】
本発明においては、会議端末３が「端末装置」に相当する。Ｓ５１の処理と、Ｓ５の処理と、Ｓ５４の処理と、Ｓ５８およびＳ６０の処理と、Ｓ６３の処理と、Ｓ４１の処理と、Ｓ４３の処理とが、「第一取得ステップ」に相当する。遠隔会議の状態を表す情報が、「状態情報」である。音声モードが併用モードであり、音声種別が合成音声である場合の設定が、「第一設定」に相当する。音声モードが自然音声モードである場合、または、音声モードが併用モードであり、音声種別が自然音声である場合の設定が、「第二設定」に相当する。音声モードを併用モードに設定するＳ４６の処理、音声モードを自然音声モードに設定するＳ４７の処理、音声種別を自然音声に設定するＳ６６の処理、および音声種別を合成音声に設定するＳ６７の処理が、「設定ステップ」に相当する。音声認識処理を行うＳ８１の処理が、「認識ステップ」に相当する。音声認識処理が出力する発話内容データを取得するＳ８２の処理が、「第二取得ステップ」に相当する。音声データを圧縮して圧縮音声データを生成するＳ７６の処理が、「生成ステップ」に相当する。会議サーバ１に、圧縮音声データを送信するＳ７７の処理、および、発話内容データを送信するＳ８３の処理が、「送信ステップ」に相当する。
【０１０３】
会議サーバ１から権限情報を取得するＳ５１の処理が、「第一受信ステップ」に相当する。権限情報が一般権限を示すか否か判断するＳ５２の処理が「第一判断ステップ」に相当する。会議サーバ１から資料データを受信するＳ５の処理が、「第二受信ステップ」に相当する。資料データの示す資料が共有されているか否か判断するＳ５３の処理が、「第二判断ステップ」に相当する。入力部４２が「操作部」に相当する。会議サーバ１から操作ログ情報を取得するＳ５４の処理が、「第三取得ステップ」に相当する。資料に対する操作の入力が行われたか否か判断するＳ５５の処理が、「第三判断ステップ」に相当する。
【０１０４】
ＲＡＭ３３のサウンドバッファが「記憶装置」に相当する。音声データをサウンドバッファに記憶するＳ７２の処理が、「記憶ステップ」に相当する。音声データを解析し、発話区間を検出するＳ５８の処理が、「検出ステップ」に相当する。発話区間に基づいて発話時間を算出するＳ６０の処理と、発話時間を合計した合計発話時間を算出するＳ６０の処理が、「第一決定ステップ」に相当する。変数ＡＴＬが、「第一しきい値」に相当する。合計発話時間がＡＴＬより長いか否か判断するＳ６２の処理が、「第四判断ステップ」に相当する。平均発話時間を算出するＳ６３の処理が、「第二決定ステップ」に相当する。変数ＭＴＬが、「第二しきい値」に相当する。平均発話時間がＭＴＬより長いか否か判断するＳ６５の処理が、「第五判断ステップ」に相当する。参加数レスポンスが、「参加数情報」に相当する。会議サーバ１から参加数レスポンスを取得するＳ４１の処理が、「第三受信ステップ」に相当する。変数ＵＳＲが、「第三しきい値」に相当する。参加数レスポンスが示す遠隔会議に参加する会議端末３の数が、ＵＳＲより多いか否か判断するＳ４２の処理が、「第六判断ステップ」に相当する。会議サーバ１から発話数レスポンスを取得するＳ４３の処理が、「第四受信ステップ」に相当する。発話数レスポンスが、「発話数情報」に相当する。発話数レスポンスが示す遠隔会議において発話したユーザの数が、ＳＰＫより多いか否か判断するＳ４５の処理が、「第七判断ステップ」に相当する。
【符号の説明】
【０１０５】
１                    会議サーバ
３                    会議端末
８                    ネットワーク
３１                    ＣＰＵ
３３                    ＲＡＭ
４２                    入力部
４３                    マイク
【図１】
2015122682.tif 000003
【図２】
2015122682.tif 000004
【図３】
2015122682.tif 000005
【図４】
2015122682.tif 000006
【図５】
2015122682.tif 000007
【図６】
2015122682.tif 000008
【図７】
2015122682.tif 000009
【図８】
2015122682.tif 000010