(57)【要約】【課題】文字入力の受け付けに伴う端末装置の振動を抑制することができる遠隔会議プログラム、端末装置および遠隔会議方法を提供する。【解決手段】遠隔会議においてチャットに参加した会議端末のＣＰＵは、チャット入力フィールドがタップ操作によってアクティブ化された場合、マイクが収音した音声データを音声エンコーダに入力する処理を停止する。これにより、ＣＰＵは会議サーバを介して他の会議端末に送信する音声データの送信処理を停止する（Ｓ１０３）。ＣＰＵは、音声入力モードを起動し（Ｓ１０８）、マイクが収音した音声データを音声認識部に入力して得られるテキストデータをチャットメッセージとして取得し、チャット入力フィールドに表示する。入力部の受け付けによるチャットメッセージの入力が行われないので、会議端末は外力を受けず、ゆえに振動せず、カメラの撮影する映像データがぶれない。【選択図】図７
2015126524.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介してサーバに接続し、前記サーバを介して各種データの送受信を行うことで遠隔会議を実行可能な複数の端末装置のうちの１の端末装置のコンピュータが実行可能なプログラムであって、
前記１の端末装置のコンピュータに、
前記１の端末装置が備え、画像を表示する表示部と、前記表示部に重ねて設けられ、操作の入力を受け付ける入力部とを有するタッチパネルから出力される信号に基づいて、前記表示部に表示された、文字の入力を受け付ける領域である文字入力領域に対する操作を前記入力部が受け付けたか否か判断する第一判断ステップと、
前記１の端末装置が備え、前記１の端末装置の周囲の様子を撮影するカメラから取得した映像データを、前記サーバに対して送信しているか否か判断する第二判断ステップと、
前記第一判断ステップにおいて前記文字入力領域に対する操作を前記入力部が受け付けたと判断され、且つ、前記第二判断ステップにおいて前記サーバに前記映像データを送信していると判断された場合、前記１の端末装置に接続されたマイクを介して取得される音声データを、前記サーバに対するデータの送信処理を行う送信部に対して出力する処理を停止し、且つ、前記音声データに対する音声認識処理を行う認識部に対して出力する処理を開始する制御を行う第一制御ステップと、
前記第一制御ステップにおいて開始された前記認識部に対する前記音声データの出力に応じ、前記音声認識処理の結果として前記認識部から出力される文字データを取得する取得ステップと、
前記文字データを前記送信部に対して出力する指示を前記入力部が受け付けたことに応じて、前記音声データを前記認識部に対して出力する処理を停止し、且つ、前記音声データを前記送信部に対して出力する処理を開始し、且つ、前記取得ステップにおいて取得された前記文字データを前記送信部に対して出力する制御を行う第二制御ステップと
を実行させることを特徴とする遠隔会議プログラム。
【請求項２】
前記１の端末装置のコンピュータに、
前記第一制御ステップにおいて前記音声データが前記送信部に対して出力する処理が停止された場合に、音声認識中であることを通知する通知情報を前記送信部に対して出力する処理を開始し、前記第二制御ステップにおいて前記音声データが前記送信部に対して出力する処理が開始された場合に、前記通知情報を前記送信部に対して出力する処理を停止する第三制御ステップをさらに実行させることを特徴とする請求項１に記載の遠隔会議プログラム。
【請求項３】
前記１の端末装置のコンピュータに、
前記映像データが示す映像に、音声認識中であることを示す画像または映像を合成した合成映像データを生成する生成ステップをさらに実行させ、
前記第三制御ステップは、前記合成映像データを前記通知情報として用いることを特徴とする請求項２に記載の遠隔会議プログラム。
【請求項４】
前記１の端末装置のコンピュータに、
前記複数の端末装置のうち前記通知情報を送信する対象である第一対象端末装置を識別する識別情報と、前記複数の端末装置のうちの少なくとも１つの端末装置であり、前記第一対象端末装置とは異なる第二対象端末装置に、前記通知情報を送信するか否か設定する設定情報とを前記送信部に対して出力する第一出力ステップをさらに実行させることを特徴とする請求項２または３に記載の遠隔会議プログラム。
【請求項５】
前記第一出力ステップは、
第一対象端末装置を識別する前記識別情報として、前記文字データを送信する対象となる端末装置を識別する識別情報を出力することを特徴とする請求項４に記載の遠隔会議プログラム。
【請求項６】
前記１の端末装置のコンピュータに、
前記第一制御ステップにおいて前記音声データが前記認識部に対して出力された場合に、前記タッチパネルから出力される信号に基づいて、前記表示部に表示される前記文字入力領域の外部の領域である第一領域に対する操作を前記入力部が受け付けたか否か判断する第三判断ステップと、
前記第三判断ステップにおいて前記第一領域に対する操作を前記入力部が受け付けたと判断された場合に、前記音声データを前記認識部に対して出力する処理を停止し、且つ、前記音声データを前記送信部に対して出力する処理を開始する制御を行う第四制御ステップと
をさらに実行させることを特徴とする請求項１から５のいずれかに記載の遠隔会議プログラム。
【請求項７】
前記１の端末装置のコンピュータに、
前記第一制御ステップにおいて前記音声データが前記認識部に対して出力された場合に、前記タッチパネルから出力される信号に基づいて、前記第一領域内に設けた所定の領域である第二領域に対する操作を前記入力部が受け付けたか否か判断する第四判断ステップと、
前記第四判断ステップにおいて前記第二領域に対する操作を前記入力部が受け付けたと判断された場合に、前記音声データを前記認識部に対して出力する処理を停止し、且つ、前記音声データを前記送信部に対して出力する処理を開始する制御を行う第五制御ステップと、
前記文字データを、前記１の端末装置が備える記憶部に保存する保存ステップと、
前記第一判断ステップにおいて前記文字入力領域に対する操作を前記入力部が受け付けたと判断された場合、前記保存された文字データを前記文字入力領域に表示する指示を出力する第二出力ステップと
をさらに実行させることを特徴とする請求項６に記載の遠隔会議プログラム。
【請求項８】
前記１の端末装置のコンピュータに、
前記第一判断ステップにおいて前記文字入力領域に対する操作を前記入力部が受け付けたと判断され、且つ、前記第二判断ステップにおいて前記サーバに前記映像データを送信していないと判断された場合、前記第一制御ステップによる前記送信部に対する前記音声データの出力処理の停止を行わず、且つ、文字の入力を受け付けるための仮想入力装置を前記表示部に表示する指示を出力する第三出力ステップをさらに実行させることを特徴とする請求項１から７のいずれかに記載の遠隔会議プログラム。
【請求項９】
ネットワークを介してサーバに接続し、前記サーバを介して各種データの送受信を行うことで遠隔会議を実行可能な複数の端末装置のうちの１の端末装置であって、
画像を表示する表示部と、前記表示部に重ねて設けられ、操作の入力を受け付ける入力部とを有するタッチパネルと、
前記タッチパネルから出力される信号に基づいて、前記表示部に表示された、文字の入力を受け付ける領域である文字入力領域に対する操作を前記入力部が受け付けたか否か判断する第一判断手段と、
周囲の様子を撮影するカメラと、
前記カメラから取得した映像データを、前記サーバに対して送信しているか否か判断する第二判断手段と、
前記第一判断手段が、前記文字入力領域に対する操作を前記入力部が受け付けたと判断し、且つ、前記第二判断手段が、前記サーバに前記映像データを送信していると判断した場合、前記１の端末装置に接続されたマイクを介して取得される音声データを、前記サーバに対するデータの送信処理を行う送信部に対して出力する処理を停止し、且つ、前記音声データに対する音声認識処理を行う認識部に対して出力する処理を開始する制御を行う第一制御手段と、
前記第一制御手段が開始した前記認識部に対する前記音声データの出力に応じ、前記音声認識処理の結果として前記認識部から出力される文字データを取得する取得手段と、
前記文字データを前記送信部に対して出力する指示を前記入力部が受け付けたことに応じて、前記音声データを前記認識部に対して出力する処理を停止し、且つ、前記音声データを前記送信部に対して出力する処理を開始し、且つ、前記取得手段が取得した前記文字データを前記送信部に対して出力する制御を行う第二制御手段と
を備えたことを特徴とする端末装置。
【請求項１０】
ネットワークを介してサーバに接続し、前記サーバを介して各種データの送受信を行うことで遠隔会議を実行可能な複数の端末装置のうちの１の端末装置のコンピュータが実行可能な遠隔会議方法であって、
前記１の端末装置が備え、画像を表示する表示部と、前記表示部に重ねて設けられ、操作の入力を受け付ける入力部とを有するタッチパネルから出力される信号に基づいて、前記表示部に表示された、文字の入力を受け付ける領域である文字入力領域に対する操作を前記入力部が受け付けたか否か判断する第一判断ステップと、
前記１の端末装置が備え、前記１の端末装置の周囲の様子を撮影するカメラから取得した映像データを、前記サーバに対して送信しているか否か判断する第二判断ステップと、
前記第一判断ステップにおいて前記文字入力領域に対する操作を前記入力部が受け付けたと判断され、且つ、前記第二判断ステップにおいて前記サーバに前記映像データを送信していると判断された場合、前記１の端末装置に接続されたマイクを介して取得される音声データを、前記サーバに対するデータの送信処理を行う送信部に対して出力する処理を停止し、且つ、前記音声データに対する音声認識処理を行う認識部に対して出力する処理を開始する制御を行う第一制御ステップと、
前記第一制御ステップにおいて開始された前記認識部に対する前記音声データの出力に応じ、前記音声認識処理の結果として前記認識部から出力される文字データを取得する取得ステップと、
前記文字データを前記送信部に対して出力する指示を前記入力部が受け付けたことに応じて、前記音声データを前記認識部に対して出力する処理を停止し、且つ、前記音声データを前記送信部に対して出力する処理を開始し、且つ、前記取得ステップにおいて取得された前記文字データを前記送信部に対して出力する制御を行う第二制御ステップと
を含むことを特徴とする遠隔会議方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介してサーバに接続し、サーバを介して各種データの送受信を行うことで遠隔会議を実行することができる遠隔会議プログラム、端末装置および遠隔会議方法に関する。
【背景技術】
【０００２】
従来、ネットワークを介し、サーバと端末装置とを接続し、サーバを介し、端末装置間で映像データの送受信を行って、映像による遠隔会議を行うシステムが知られている。遠隔会議において、端末装置は、映像データに加え、キーボード等の入力装置から入力された文字データを他の端末装置に送信することができる。例えば、特許文献１に開示される通信端末装置は、文字入力を受け付けている場合、他の端末装置に送信する音声データの音量を通常時よりも小さくし、キーボードのタイプ音が送信されることを防ぐ。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１３８７４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、表示画面に入力部を重ねて設けたタッチパネルと、周囲の様子を撮影するカメラとを搭載したタブレット端末、スマートフォン等、携帯型の端末装置が普及している。このような端末装置は、文字入力時に、例えば、表示画面に表示するキーボード画像に対する操作の入力を受け付けることによって、振動を生ずる場合がある。遠隔会議において、端末装置は、周囲の様子をカメラで撮影し、撮影した映像データを他の端末装置に送信する。端末装置において、カメラの撮影中に文字入力の受け付けが行われると、他の端末装置に送信される映像データは、再生された場合の映像がぶれて表示されるという問題があった。
【０００５】
本発明は、文字入力の受け付けに伴う端末装置の振動を抑制することができる遠隔会議プログラム、端末装置および遠隔会議方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一態様によれば、ネットワークを介してサーバに接続し、前記サーバを介して各種データの送受信を行うことで遠隔会議を実行可能な複数の端末装置のうちの１の端末装置のコンピュータが実行可能なプログラムであって、前記１の端末装置のコンピュータに、前記１の端末装置が備え、画像を表示する表示部と、前記表示部に重ねて設けられ、操作の入力を受け付ける入力部とを有するタッチパネルから出力される信号に基づいて、前記表示部に表示された、文字の入力を受け付ける領域である文字入力領域に対する操作を前記入力部が受け付けたか否か判断する第一判断ステップと、前記１の端末装置が備え、前記１の端末装置の周囲の様子を撮影するカメラから取得した映像データを、前記サーバに対して送信しているか否か判断する第二判断ステップと、前記第一判断ステップにおいて前記文字入力領域に対する操作を前記入力部が受け付けたと判断され、且つ、前記第二判断ステップにおいて前記サーバに前記映像データを送信していると判断された場合、前記１の端末装置に接続されたマイクを介して取得される音声データを、前記サーバに対するデータの送信処理を行う送信部に対して出力する処理を停止し、且つ、前記音声データに対する音声認識処理を行う認識部に対して出力する処理を開始する制御を行う第一制御ステップと、前記第一制御ステップにおいて開始された前記認識部に対する前記音声データの出力に応じ、前記音声認識処理の結果として前記認識部から出力される文字データを取得する取得ステップと、前記文字データを前記送信部に対して出力する指示を前記入力部が受け付けたことに応じて、前記音声データを前記認識部に対して出力する処理を停止し、且つ、前記音声データを前記送信部に対して出力する処理を開始し、且つ、前記取得ステップにおいて取得された前記文字データを前記送信部に対して出力する制御を行う第二制御ステップとを実行させることを特徴とする遠隔会議プログラムが提供される。
【０００７】
タッチパネルの文字入力領域に対する操作を入力部が受け付けた場合、１の端末装置は、音声データをサーバに送信する処理を停止して音声認識処理に対して出力することで、文字入力領域への文字入力を、音声認識処理によって認識した文字データを入力することによって行うことができる。１の端末装置は、文字入力領域への文字入力が入力部における操作の受け付けによって行われる場合、外力を受けて振動する。この場合に、カメラによって撮影される映像は、ぶれを生ずる可能性がある。しかし、文字入力領域への文字入力を音声認識処理によって行うことで、１の端末装置は外力を受けず、振動を生じにくい。ゆえに、カメラによって撮影される映像は、ぶれを生じにくい。したがって、１の端末装置は、文字入力領域への文字入力を受け付けている間も継続してカメラが撮影した、ぶれの少ない映像データを出力することができる。
【０００８】
第一態様において、前記１の端末装置のコンピュータに、前記第一制御ステップにおいて前記音声データが前記送信部に対して出力する処理が停止された場合に、音声認識中であることを通知する通知情報を前記送信部に対して出力する処理を開始し、前記第二制御ステップにおいて前記音声データが前記送信部に対して出力する処理が開始された場合に、前記通知情報を前記送信部に対して出力する処理を停止する第三制御ステップをさらに実行させてもよい。
【０００９】
１の端末装置は、映像データの送信中に音声データの送信を停止するので、他の端末装置において、１の端末装置からの映像は再生されるが音声は再生されない場合が生ずる。この場合に、１の端末装置は、通知情報を送信することによって、他の端末装置に、１の端末装置が音声認識による文字入力の受け付け中であることを報せることができる。
【００１０】
第一態様において、前記１の端末装置のコンピュータに、前記映像データが示す映像に、音声認識中であることを示す画像または映像を合成した合成映像データを生成する生成ステップをさらに実行させてもよい。この場合に、前記第三制御ステップは、前記合成映像データを前記通知情報として用いてもよい。
【００１１】
１の端末装置は、通知情報を他の端末装置に拡散する処理をサーバに行わせずとも、サーバを介して他の端末装置に送信する映像データを合成映像データに差し替えるだけで、他の端末装置に、１の端末装置が音声認識による文字入力の受け付け中であることを報せることができる。
【００１２】
第一態様において、前記１の端末装置のコンピュータに、前記複数の端末装置のうち前記通知情報を送信する対象である第一対象端末装置を識別する識別情報と、前記複数の端末装置のうちの少なくとも１つの端末装置であり、前記第一対象端末装置とは異なる第二対象端末装置に、前記通知情報を送信するか否か設定する設定情報とを前記送信部に対して出力する第一出力ステップをさらに実行させてもよい。また、前記第一出力ステップは、第一対象端末装置を識別する識別情報として、前記文字データを送信する対象となる端末装置を識別する識別情報を出力してもよい。
【００１３】
１の端末装置は、１の端末装置が音声認識による文字入力の受け付け中であることを、通知情報の送信対象である第一対象端末装置に対してのみ通知するか、第一対象端末装置以外の第二対象端末装置にも通知する、すなわち、遠隔会議に参加するすべての端末装置に対して通知するか、設定することができる。さらに、１の端末装置は、文字データの送信対象の端末装置を第一対象端末装置とすることで、文字データの送信対象の端末装置に対してのみ、１の端末装置が音声認識による文字入力の受け付け中であることを報せることができる。
【００１４】
第一態様において、前記１の端末装置のコンピュータに、前記第一制御ステップにおいて前記音声データが前記認識部に対して出力された場合に、前記タッチパネルから出力される信号に基づいて、前記表示部に表示される前記文字入力領域の外部の領域である第一領域に対する操作を前記入力部が受け付けたか否か判断する第三判断ステップと、前記第三判断ステップにおいて前記第一領域に対する操作を前記入力部が受け付けたと判断された場合に、前記音声データを前記認識部に対して出力する処理を停止し、且つ、前記音声データを前記送信部に対して出力する処理を開始する制御を行う第四制御ステップとをさらに実行させてもよい。
【００１５】
１の端末装置は、音声認識による文字入力の受け付け中であっても、音声データに対する処理を、第一領域に対する操作が受け付けられたら、直ちに、音声認識処理から送信処理に変更することができる。
【００１６】
第一態様において、前記１の端末装置のコンピュータに、前記第一制御ステップにおいて前記音声データが前記認識部に対して出力された場合に、前記タッチパネルから出力される信号に基づいて、前記第一領域内に設けた所定の領域である第二領域に対する操作を前記入力部が受け付けたか否か判断する第四判断ステップと、前記第四判断ステップにおいて前記第二領域に対する操作を前記入力部が受け付けたと判断された場合に、前記音声データを前記認識部に対して出力する処理を停止し、且つ、前記音声データを前記送信部に対して出力する処理を開始する制御を行う第五制御ステップと、前記文字データを、前記１の端末装置が備える記憶部に保存する保存ステップと、前記第一判断ステップにおいて前記文字入力領域に対する操作を前記入力部が受け付けたと判断された場合、前記保存された文字データを前記文字入力領域に表示する指示を出力する第二出力ステップとをさらに実行させてもよい。
【００１７】
１の端末装置は、第二領域に対する操作の入力を受け付けた場合、音声データに対する処理を、音声認識処理から送信処理に直ちに変更し、さらに文字データを保存することができる。そして、入力部が再度、文字入力領域に対する操作を受け付けた場合、１の端末装置は、保存した文字データを文字入力領域に表示させることができる。このため、１の端末装置は、文字入力領域に対する操作の続きを行わせることができる。
【００１８】
第一態様において、前記１の端末装置のコンピュータに、前記第一判断ステップにおいて前記文字入力領域に対する操作を前記入力部が受け付けたと判断され、且つ、前記第二判断ステップにおいて前記サーバに前記映像データを送信していないと判断された場合、前記第一制御ステップによる前記送信部に対する前記音声データの出力処理の停止を行わず、且つ、文字の入力を受け付けるための仮想入力装置を前記表示部に表示する指示を出力する第三出力ステップをさらに実行させてもよい。
【００１９】
１の端末装置は、映像データを送信しておらず、映像のぶれに対する対策が必要とされない場合には、仮想入力装置を用いた文字の入力を受け付けることで、文字入力の受け付け中であっても継続して音声データの送信を行うことができる。
【００２０】
本発明の第二態様によれば、ネットワークを介してサーバに接続し、前記サーバを介して各種データの送受信を行うことで遠隔会議を実行可能な複数の端末装置のうちの１の端末装置であって、画像を表示する表示部と、前記表示部に重ねて設けられ、操作の入力を受け付ける入力部とを有するタッチパネルと、前記タッチパネルから出力される信号に基づいて、前記表示部に表示された、文字の入力を受け付ける領域である文字入力領域に対する操作を前記入力部が受け付けたか否か判断する第一判断手段と、周囲の様子を撮影するカメラと、前記カメラから取得した映像データを、前記サーバに対して送信しているか否か判断する第二判断手段と、前記第一判断手段が、前記文字入力領域に対する操作を前記入力部が受け付けたと判断し、且つ、前記第二判断手段が、前記サーバに前記映像データを送信していると判断した場合、前記１の端末装置に接続されたマイクを介して取得される音声データを、前記サーバに対するデータの送信処理を行う送信部に対して出力する処理を停止し、且つ、前記音声データに対する音声認識処理を行う認識部に対して出力する処理を開始する制御を行う第一制御手段と、前記第一制御手段が開始した前記認識部に対する前記音声データの出力に応じ、前記音声認識処理の結果として前記認識部から出力される文字データを取得する取得手段と、前記文字データを前記送信部に対して出力する指示を前記入力部が受け付けたことに応じて、前記音声データを前記認識部に対して出力する処理を停止し、且つ、前記音声データを前記送信部に対して出力する処理を開始し、且つ、前記取得手段が取得した前記文字データを前記送信部に対して出力する制御を行う第二制御手段とを備えた端末装置が提供される。
【００２１】
第二態様に係る端末装置は、文字入力領域に対する入力を受け付けた場合に、音声データに対する処理を送信処理から音声認識処理に変更することで、文字入力の受け付けに伴う端末装置の振動を抑制し、第一態様と同様の効果を得ることができる。
【００２２】
本発明の第三態様によれば、ネットワークを介してサーバに接続し、前記サーバを介して各種データの送受信を行うことで遠隔会議を実行可能な複数の端末装置のうちの１の端末装置のコンピュータが実行可能な遠隔会議方法であって、前記１の端末装置が備え、画像を表示する表示部と、前記表示部に重ねて設けられ、操作の入力を受け付ける入力部とを有するタッチパネルから出力される信号に基づいて、前記表示部に表示された、文字の入力を受け付ける領域である文字入力領域に対する操作を前記入力部が受け付けたか否か判断する第一判断ステップと、前記１の端末装置が備え、前記１の端末装置の周囲の様子を撮影するカメラから取得した映像データを、前記サーバに対して送信しているか否か判断する第二判断ステップと、前記第一判断ステップにおいて前記文字入力領域に対する操作を前記入力部が受け付けたと判断され、且つ、前記第二判断ステップにおいて前記サーバに前記映像データを送信していると判断された場合、前記１の端末装置に接続されたマイクを介して取得される音声データを、前記サーバに対するデータの送信処理を行う送信部に対して出力する処理を停止し、且つ、前記音声データに対する音声認識処理を行う認識部に対して出力する処理を開始する制御を行う第一制御ステップと、前記第一制御ステップにおいて開始された前記認識部に対する前記音声データの出力に応じ、前記音声認識処理の結果として前記認識部から出力される文字データを取得する取得ステップと、前記文字データを前記送信部に対して出力する指示を前記入力部が受け付けたことに応じて、前記音声データを前記認識部に対して出力する処理を停止し、且つ、前記音声データを前記送信部に対して出力する処理を開始し、且つ、前記取得ステップにおいて取得された前記文字データを前記送信部に対して出力する制御を行う第二制御ステップとを含むことを特徴とする遠隔会議方法が提供される。
【００２３】
第三態様に係る遠隔会議方法に従って、端末装置のコンピュータが、文字入力領域に対する入力を受け付けた場合に、音声データに対する処理を送信処理から音声認識処理に変更することで、文字入力の受け付けに伴う端末装置の振動を抑制し、第一態様と同様の効果を得ることができる。
【図面の簡単な説明】
【００２４】
【図１】遠隔会議システム１００の全体構成図である。
【図２】会議サーバ１が実行する会議管理プログラムのフローチャートである。
【図３】会議端末３が実行する遠隔会議プログラムのフローチャートである。
【図４】遠隔会議プログラムにおける映像送信処理のフローチャートである。
【図５】遠隔会議プログラムにおけるチャットルーム開設処理のフローチャートである。
【図６】遠隔会議プログラムにおけるチャット処理のフローチャートである。
【図７】遠隔会議プログラムにおけるチャット処理（続き）のフローチャートである。
【図８】遠隔会議プログラムにおける音声モード停止処理のフローチャートである。
【図９】遠隔会議プログラムの操作画面として表示部３６に表示されるユーザインターフェイス５０の一例を示す図である。
【図１０】遠隔会議プログラムの操作画面として表示部３６に表示されるユーザインターフェイス５０の一例を示す図である。
【発明を実施するための形態】
【００２５】
以下、本発明の一実施形態について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００２６】
図１を参照し、本実施形態に係る会議端末３を含む遠隔会議システム１００について説明する。会議端末３は、本発明に係る「端末装置」の一例である。遠隔会議システム１００は、会議サーバ１が仮想的に構築する会議室に複数の会議端末３がネットワーク８を介してそれぞれ仮想的に参加し、画像および音声を用いた遠隔会議（テレビ会議）を開催できるシステムである。会議サーバ１および複数の会議端末３は、ネットワーク８を介して互いに接続し、遠隔会議システム１００を構成する。会議端末３は、遠隔会議に参加するユーザが使用する。会議サーバ１は、複数の会議端末３の間で実行される遠隔会議を制御する。
【００２７】
図１に示す遠隔会議システム１００は、一例として、１つの会議サーバ１と３つの会議端末３が、それぞれネットワーク８に接続して構成するシステムである。会議サーバ１は、複数の会議端末３を用いて行われる遠隔会議の場として仮想的な会議室を構築し、各会議端末３の会議室への入退室を管理するサーバである。複数の会議端末３は、ネットワーク８を介して会議サーバ１に接続し、画像（映像）および音声のデータを互いに送受信することで、リアルタイムな会話による遠隔会議を実行する。会議サーバ１は、公知の構成のワークステーションやパーソナルコンピュータ（ＰＣ）の記憶部に対して、複数の端末が会議サーバ１に対して接続して遠隔会議を行うことを可能にする各処理のプログラムをインストールすることで構築される。
【００２８】
会議サーバ１はデータベースを構築する記憶装置２に接続する。会議サーバ１は、会議室ＩＤに対応付けて、会議サーバ１が仮想的に構築する遠隔会議の会議室に関する各種設定情報、ユーザＩＤ、ルームＩＤ、通知対象設定情報等を記憶装置２に記憶する。会議室ＩＤは、遠隔会議を行う場として会議サーバ１が仮想的に構築する会議室のＩＤ情報である。ユーザＩＤは、会議端末３が会議室に入室する際に用いるＩＤ情報である。ルームＩＤは、遠隔会議中に特定の会議端末３間においてチャットを行う場として会議サーバ１が仮想的に構築するチャットルームのＩＤ情報である。通知対象設定情報については後述する。また、会議サーバ１は、遠隔会議において使用される文書や動画などの資料データ等を記憶する。さらに、会議サーバ１は、ユーザＩＤに対応付けて、遠隔会議に参加する会議端末３のユーザに関する情報であるユーザ情報を記憶装置２に記憶する。ユーザ情報は、例えば、ユーザ名、性別、所属等の情報である。
【００２９】
会議端末３は、タッチパネル３８、マイク３９、カメラ４０、スピーカ４１を備えた、例えばスマートフォン、タブレット端末等の携帯端末である。複数の会議端末３のうちの１つの会議端末３（以下、「１の会議端末３」ともいう。）は、遠隔会議時に、カメラ４０が撮影する画像データとマイク３９が収音する音声データを、会議ＩＤおよびユーザＩＤを含めて、会議サーバ１に送信する。画像データと音声データは、会議サーバ１を介し、同一の会議ＩＤで識別される遠隔会議に参加する他の会議端末３に送信される。また、１の会議端末３は、他の会議端末３から会議サーバ１を介して受信する画像データに基づく画像をタッチパネル３８の表示部３６に表示する。１の会議端末３は、他の会議端末３から受信する音声データに基づく音声をスピーカ４１から出力する。その結果、遠隔会議システム１００は、画像データおよび音声データを、複数の会議端末３間で共有する。遠隔会議システム１００は、遠隔会議の参加者（会議端末３のユーザ）のすべてが同一の場所にいなくとも、参加者同士による円滑な会議の場を提供することができる。なお、遠隔会議システム１００における遠隔会議の制御については従来と同様であるため、詳細な説明を省略する。
【００３０】
会議サーバ１の電気的構成について説明する。会議サーバ１は、上記したように、公知の構成のＰＣやワークステーションを用いて構築され、会議サーバ１の制御を司るＣＰＵ１１を備える。ＣＰＵ１１はチップセット１５に接続し、チップセット１５を介してＲＯＭ１２、ＲＡＭ１３、および表示制御部１４と電気的に接続する。チップセット１５はチップセット１６と接続する。ＣＰＵ１１は、チップセット１６を介し、入力部２２、ハードディスクドライブ（ＨＤＤ）１７、外部接続インターフェイス（Ｉ／Ｆ）１９、および通信Ｉ／Ｆ１８と電気的に接続する。
【００３１】
チップセット１５は、ＣＰＵ１１と、ＲＯＭ１２、ＲＡＭ１３、および表示制御部１４との間でデータの送受信を管理する一連の回路群である。ＲＯＭ１２は、ブートプログラム、ＢＩＯＳ等を記憶する。ＲＡＭ１３は、種々の一時データを記憶する。表示制御部１４は、モニタ２１への画像の表示を制御する。チップセット１６は、ＣＰＵ１１と、入力部２２、ＨＤＤ１７、外部接続Ｉ／Ｆ１９、および通信Ｉ／Ｆ１８との間でデータの送受信を管理する一連の回路群である。入力部２２は、キーボード、マウス等、会議サーバ１に対する操作の入力を行う装置である。ＨＤＤ１７は、基本ソフト（Operating System, OS）、会議サーバ１をサーバとして機能させるためのソフトウェア（後述する会議管理プログラム（図２参照））、その他各種アプリケーション、データ等を記憶する。外部接続Ｉ／Ｆ１９は、上記のデータベースを構築する記憶装置２に接続するインターフェイスである。通信Ｉ／Ｆ１８は、有線または無線によってネットワーク８に接続し、データ通信を行うためのインターフェイスである。
【００３２】
会議端末３の電気的構成について説明する。会議端末３は、一例として、公知のタブレット端末であり、会議端末３の制御を司るＣＰＵ３１を備える。ＣＰＵ３１は、ＲＯＭ３２、ＲＡＭ３３、フラッシュメモリ３４、通信Ｉ／Ｆ２５、タッチパネル３８、マイク３９、カメラ４０およびスピーカ４１と電気的に接続する。ＲＯＭ１２は、ブートプログラム、ＢＩＯＳ等を記憶する。ＲＡＭ１３は、種々の一時データを記憶する。後述する遠隔会議プログラムの実行において、ＣＰＵ３１は、ＲＡＭ１３に、会議サーバ１との間で送受信するデータを一時的に記憶する送信バッファと受信バッファの記憶領域を確保する。フラッシュメモリ３４は、ＯＳ、遠隔会議プログラム（後述）、その他各種アプリケーション、データ等を記憶する。遠隔会議プログラムは、会議端末３を遠隔会議におけるクライアントとして機能させるためのソフトウェアである。
【００３３】
通信Ｉ／Ｆ３５は、ＷｉＦｉ（登録商標）等の無線ＬＡＮ、または３Ｇ、ＬＴＥ（Long Term Evolution）、４Ｇ等の通信規格による無線通信を行うためのインターフェイスである。会議端末３は、ネットワーク８のアクセスポイント（図示略）に接続し、同様にしてネットワーク８に接続する会議サーバ１、他の会議端末３と、ネットワーク８を介して通信する。なお、通信Ｉ／Ｆ３５は、有線通信を行うインターフェイスであってもよい。また、図示しないが、会議端末３は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）規格の通信Ｉ／Ｆを備えてもよい。マイク３９およびスピーカ４１は、Ｂｌｕｅｔｏｏｔｈによって会議端末３に接続する外部機器であってもよい。
【００３４】
表示部３６は、例えば液晶パネル等の表示装置である。なお、表示部３６は、有機ＥＬ（Organic Electro-Luminescence）ディスプレイなど、その他の表示方式を用いた表示装置であってもよい。入力部３７は、例えば、静電容量式の位置検出装置であり、指等が触れた位置を検出する。なお、入力部３７は、感圧式タッチパッドなど、その他の検出方式を用いた位置検出装置であってもよい。表示部３６と入力部３７は略同じ大きさに形成される。表示部３６上に入力部３７が重ねて設けられることで、タッチパネル３８が構成される。操作ボタン４２は、ユーザが会議端末３に対する入力操作を入力部３７の他にも行うことができる物理的なスイッチである。操作ボタン４２は、本実施形態では遠隔会議プログラムの実行の終了（アプリケーションの終了）に用いられる。
【００３５】
なお、後述する遠隔会議プログラムは、会議端末３に応じたコードにコンパイルされ、ファイルサーバ（図示略）、会議サーバ１等に設けられたコンピュータが読み取り可能な記憶装置に記憶されている。遠隔会議プログラムは、ファイルサーバ、会議サーバ１等から各会議端末３にネットワーク８等の電気通信回線を通じて一時的な伝送信号として送信されて提供される。あるいは、遠隔会議プログラムは、ＣＤ−ＲＯＭ、ＤＶＤーＲＯＭ、フラッシュＲＯＭ等の記録媒体（図示略）に記憶されて提供されてもよい。この場合、ＰＣが、ＰＣの読取装置（図示略）で記録媒体から読み取り、例えばＵＳＢ規格に基づく通信ケーブル等（図示略）を用いて会議端末３に接続して会議端末３に遠隔会議プログラムを転送すればよい。ＣＰＵ３１は、会議端末３が備えるコンピュータで読み取り可能な記憶装置に、遠隔会議プログラムを記憶する。本実施形態における記憶装置はフラッシュメモリ３４であるが、フラッシュメモリ３４に限らず、例えば、ＳＳＤ（Solid State Drive）、ＨＤＤ等、データを記憶する時間の長さに関わらずにデータを保持できる不揮発性の記憶装置を用いることが好ましい。
【００３６】
マイク３９は、会議端末３の周囲の音声を収音してＡ／Ｄ変換（サンプリング）した音声データをＯＳに送信する。後述する遠隔会議プログラムの実行において、ＣＰＵ３１は、ＯＳを介して音声データを取得し、Ｇ．７１１やＨＥ−ＡＡＣなどの公知のエンコーダ（音声エンコーダ３１Ａ、後述）で圧縮して生成した圧縮音声データを会議サーバ１に送信する。カメラ４０は、会議端末３の周囲の景色を撮影してＡ／Ｄ変換した映像データをＯＳに送信する。後述する遠隔会議プログラムの実行において、ＣＰＵ３１は、ＯＳを介して映像データを取得し、Ｈ．２６４、Ｈ．２６５などの公知のエンコーダ（映像エンコーダ３１Ｂ、後述）で圧縮して生成した圧縮映像データを会議サーバ１に送信する。スピーカ４１は、ＯＳから受信する音声データをＤ／Ａ変換し、音声を出力する。後述する遠隔会議プログラムの実行において、ＣＰＵ３１は、会議サーバ１から受信した圧縮音声データを公知のデコーダ（音声デコーダ３１Ｃ、後述）で伸張して音声データを生成し、ＯＳを介してスピーカ４１に出力してスピーカ４１から音声を出力させる。また、ＣＰＵ３１は、会議サーバ１から受信した圧縮映像データを公知のデコーダ（映像デコーダ３１Ｄ、後述）で伸張して映像データを生成し、遠隔会議プログラムの操作画面として表示部３６に表示するユーザインターフェイス５０（図９参照）において、映像を表示する。ユーザインターフェイス５０は、遠隔会議プログラムの実行においてＣＰＵ３１が画像、映像、テキストデータ、資料等の各種情報を表示したり操作の入力を受け付けたりするため、表示部３６に表示される操作画面である。
【００３７】
ＣＰＵ３１は、遠隔会議プログラムの実行において、遠隔会議プログラムに含めて予めインストールされた複数のプログラムモジュールを適宜呼び出して処理を行わせる。ＰＣの基本ソフトはマルチタスク型のＯＳであり、遠隔会議プログラムと、複数のプログラムモジュールを並列処理によって実行することができる。以下では、便宜上、ＣＰＵ３１が実行するプログラムモジュールによって実現される機能を処理ブロックとして表す。本実施形態において、ＣＰＵ３１は、処理ブロックとして、音声エンコーダ３１Ａ、映像エンコーダ３１Ｂ、音声デコーダ３１Ｃ、映像デコーダ３１Ｄ、映像合成部３１Ｅ、音声認識部３１Ｆ、送信処理部３１Ｇおよび受信処理部３１Ｈを備える。
【００３８】
音声エンコーダ３１Ａは、入力される音声データを所定のパラメータに従って圧縮し、圧縮音声データを生成して出力する公知の処理を行う処理ブロックである。所定のパラメータは音声データのエンコード条件であり、例えば、「コーデックにＨＥ−ＡＡＣ  ｖ２を用い、ビットレートを４８ｋｂｐｓ（ＣＢＲ）とし、サンプリングレートを２４ｋＨｚとする」等である。映像エンコーダ３１Ｂは、入力される映像データを所定のパラメータに従って圧縮し、圧縮映像データを生成して出力する公知の処理を行う処理ブロックである。所定のパラメータは映像データのエンコード条件であり、例えば、「コーデックにＨ．２６５を用い、解像度１２８０×７２０ｐ、３０ｆｐｓ、ビットレートを１Ｍｂｐｓ（ＶＢＲ）とする」等である。音声デコーダ３１Ｃは、入力される圧縮音声データを伸張し、音声データを生成して出力する公知の処理を行う処理ブロックである。映像デコーダ３１Ｄは、入力される圧縮映像データを伸張し、映像データを生成して出力する公知の処理を行う処理ブロックである。映像合成部３１Ｅは、映像データと画像データの入力を受け付け、映像データが示す映像に画像データが示す画像を重ね合わせた合成映像を示すことができる合成映像データを生成して出力する公知の処理を行う処理ブロックである。
【００３９】
音声認識部３１Ｆは、入力された音声データを解析して音響特徴量（例えば音素）を抽出し、特徴量の音響を認識対象の単語をデータ化した辞書と比較して確率統計的な手法（例えば、隠れマルコフモデル）で単語を決定し、テキストのデータとして出力する公知の処理を行う処理ブロックである。なお、音声認識部３１Ｆの処理結果として得られるデータは、本実施形態では、音声認識処理によって認識した文字をアスキーコードによって記述したテキスト形式のデータであるが、所定のフォーマットによって記述したバイナリ形式のデータであってもよい。送信処理部３１Ｇは、遠隔会議プログラムの実行においてＣＰＵ３１が送信バッファに記憶したデータを会議サーバ１に送信する処理を行う公知の処理ブロックである。受信処理部３１Ｈは、会議サーバ１からデータを受信し、受信バッファに記憶する処理を行う公知の処理ブロックである。
【００４０】
次に、図２を参照し、遠隔会議システム１００において、遠隔会議に参加する会議端末３が会議サーバ１を介して送受信するデータに対し、会議サーバ１のＣＰＵ１１が行う処理について説明する。会議サーバ１のＣＰＵ１１は、入力部２２に対して入力される操作に基づき、会議管理プログラムをＨＤＤ１７から読み込んで実行する。ＣＰＵ１１は、会議管理プログラム実行時の初期設定で、ＲＡＭ１３に、送信バッファと受信バッファの記憶領域をそれぞれ確保する。送信バッファは、ＣＰＵ１１が、複数の会議端末３のそれぞれに対して送信するデータを一時的に記憶する記憶領域である。受信バッファは、ＣＰＵ１１が、複数の会議端末３のそれぞれから受信したデータを一時的に記憶する記憶領域である。ＣＰＵ１１は、データ送受信の処理を行うプログラムモジュール（図示略）を実行し、会議管理プログラムの処理において送信バッファに記憶されたデータを会議端末３に送信し、会議端末３から受信したデータを受信バッファに記憶する。
【００４１】
図２に示すように、ＣＰＵ１１は、Ｓ１，Ｓ５，Ｓ８，Ｓ１１，Ｓ１５，Ｓ２０およびＳ２５の判断処理において、受信バッファの記憶内容に基づいて、会議端末３からデータ受信の有無を判断する処理を行う。ＣＰＵ１１は、受信バッファにデータが記憶されていなければ（Ｓ１：ＮＯ，Ｓ５：ＮＯ，Ｓ８：ＮＯ，Ｓ１１：ＮＯ，Ｓ１５：ＮＯ，Ｓ２０：ＮＯ，Ｓ２５：ＮＯ）、処理をＳ１に戻し、処理を繰り返すことで待機する。
【００４２】
Ｓ１の処理において、ＣＰＵ１１は、会議端末３から会議室に対する入室リクエストを受信したか否か判断する（Ｓ１）。ＣＰＵ１１は、例えば、遠隔会議の開催予定日時以前に、遠隔会議の開催を管理する他のプログラムに従って、遠隔会議に参加予定の会議端末３の各電子メールアドレスを宛先として電子メールを送信する。この電子メールは、会議端末３による遠隔会議のためのＵＲＬ（Uniform Resource Locator）を含む。このＵＲＬは、例えば、仮想的な会議室の会議室ＩＤをクエリパラメータとして含む。会議端末３のＣＰＵ３１は、後述する遠隔会議プログラムの実行において、電子メールに含まれる上記ＵＲＬを選択する操作がタッチパネル３８の入力部３７に対する操作によって受け付けられることで、ユーザが入力した会議室ＩＤを取得する。ＣＰＵ３１は、ネットワーク８を介して会議サーバ１に接続し、会議サーバ１に対し、会議室ＩＤとユーザＩＤを含む入室リクエストを送信する。
【００４３】
会議サーバ１のＣＰＵ１１は、入室リクエストを受信した場合（Ｓ１：ＹＥＳ）、入室リクエストに含まれる会議室ＩＤが一致する既存の会議室に、送信元の会議端末３のユーザを入室させる処理を行う（Ｓ２）。ＣＰＵ１１は、会議室ＩＤと一致する会議室をまだ仮想的に作成していない場合、仮想的な会議室を作成し、送信元の会議端末３のユーザを入室させる。ＣＰＵ１１は、ユーザＩＤを会議室ＩＤに対応付けて記憶装置２に記憶し、遠隔会議に参加する会議端末３の管理を行う。ＣＰＵ１１は、入室リクエストの送信元の会議端末３に、会議室ＩＤが一致する既存の会議室への入室を許可する通知をレスポンスとして送信し（Ｓ３）、処理をＳ１に戻してデータ受信を待機する。レスポンスは、会議室に関する各種設定情報と、遠隔会議に参加する会議端末３のユーザに関するユーザ情報を含む。各種設定情報は、例えば、会議端末３の音声エンコーダ３１Ａおよび映像エンコーダ３１Ｂに適用するパラメータの設定、後述する入力中情報として合成映像を用いるか否かの設定等である。
【００４４】
Ｓ５の処理において、ＣＰＵ１１は、遠隔会議に参加する会議端末３から圧縮音声データを受信したか否か判断する（Ｓ５）。ＣＰＵ１１は、圧縮音声データを受信した場合（Ｓ５：ＹＥＳ）、圧縮音声データを公知のデコーダで伸張し、音声データを生成する。複数の会議端末３からそれぞれの圧縮音声データを受信した場合、受信バッファには複数の会議端末３の圧縮音声データが記憶されている。ＣＰＵ１１は、音声データを生成する処理を、受信バッファに記憶されたすべての圧縮音声データに対して行う。ＣＰＵ１１は、複数の音声データから１つの音声データを混合する公知のミキシング処理を行う（Ｓ６）。ＣＰＵ１１は、混合した音声データを公知のエンコーダで圧縮して圧縮音データを生成して送信バッファに記憶し、遠隔会議に参加するすべての会議端末３に送信する（Ｓ７）。ＣＰＵ１１は、処理をＳ１に戻してデータ受信を待機する。なお、詳細な説明は省略するが、１の会議端末３のＣＰＵ３１は、会議サーバ１が混合した音声データに基づく音声を再生する場合に、１の会議端末３において収音した音声を公知のフィルタリング処理によって除去した状態で再生する。
【００４５】
Ｓ８の処理において、ＣＰＵ１１は、遠隔会議に参加する会議端末３から圧縮映像データを受信したか否か判断する（Ｓ８）。ＣＰＵ１１は、圧縮音声データを受信した場合（Ｓ８：ＹＥＳ）、圧縮映像データを送信バッファに記憶し、送信元の会議端末３を除く他の会議端末３にそれぞれ送信する（Ｓ１０）。ＣＰＵ１１は、処理をＳ１に戻してデータ受信を待機する。
【００４６】
Ｓ１１の処理において、ＣＰＵ１１は、チャットルームの開設を希望する開設リクエストを受信したか否か判断する（Ｓ１１）。チャットルームは、遠隔会議に参加する複数の会議端末３のうち、特定の会議端末３間で、会議サーバ１を介してテキストデータによるメッセージ（以下、「チャットメッセージ」ともいう。）を送受信して情報交換する、いわゆるチャットを行う仮想の部屋である。開設リクエストは、後記するＳ６７（図５）において、会議端末３から会議サーバ１に対して送信される。開設リクエストは、チャットルームの開設を希望する会議端末３のユーザＩＤと、チャットルームへの参加を求める他の会議端末３のユーザＩＤと、後述する通知対象設定情報とを含む。ＣＰＵ１１は、チャットルーム開設リクエストを受信した場合（Ｓ１１：ＹＥＳ）、ルームＩＤを生成して仮想的なチャットルームを作成し（Ｓ１２）、送信元の会議端末３のユーザを入室させる。ＣＰＵ１１は、ルームＩＤにチャットへの参加対象のユーザＩＤと、通知対象設定情報とを対応付けて記憶装置２に記憶し、チャットに参加する会議端末３の管理を行う。ＣＰＵ１１は、チャットルーム情報を生成して送信バッファに記憶し、ルームＩＤに対応付けられたユーザＩＤに対応する会議端末３に、チャットルーム情報を送信する（Ｓ１３）。チャットルーム情報は、チャットルームを開設した１の会議端末３が、チャットルームへの参加を求める他の会議端末３に対し、チャットルームが開設されたことを報せ、チャットへの参加を促す情報である。ＣＰＵ１１は、処理をＳ１に戻してデータ受信を待機する。
【００４７】
Ｓ１５の処理において、ＣＰＵ１１は、会議端末３から音声入力通知を受信したか否か判断する（Ｓ１５）。後述する遠隔会議プログラムの実行において、会議端末３のＣＰＵ３１は、チャット中に、音声入力によるチャットメッセージの入力を受け付ける。この場合にＣＰＵ３１は、会議サーバ１に音声入力通知を送信し、音声入力によるチャットメッセージの入力を受け付けたことを報せる。会議サーバ１のＣＰＵ１１は、音声入力通知を受信した場合（Ｓ１５：ＹＥＳ）、通知対象設定情報に基づいて、入力中情報等を送信する対象の会議端末３を、チャットに参加する他の会議端末３のみとするか否か判断する（Ｓ１６）。入力中情報は、１の会議端末３が音声入力中であることを報せる情報（例えばアイコン等）を、他の会議端末３の表示部３６に表示させる指示を示す情報である。図９に示すように、入力中情報を受信した会議端末３のＣＰＵ３１は、ユーザインターフェイス５０において、１の会議端末３から受信した映像データに基づく映像５１の表示位置の近傍に、１の会議端末３が音声入力中であることを示す情報（アイコン等５２）を表示する。Ｓ１２で受信された開設リクエストに含まれる通知対象設定情報は、会議サーバ１が１の会議端末３におけるチャットメッセージの入力に関連する各種情報（例えば、入力中情報、入力終了情報（後述））を送信する対象の会議端末３を、チャットに参加する会議端末３（第一対象端末装置）のみとするか、チャットに参加しない他の会議端末３（第二対象端末装置）も含めるかを設定する情報である。
【００４８】
図２に示すように、通知対象設定情報に、チャットに参加する会議端末３のみに入力中情報等を送信する設定がなされている場合（Ｓ１６：ＹＥＳ）、ＣＰＵ１１は、入力中情報を送信バッファに記憶して、ルームＩＤに対応付けられたユーザＩＤに対応する会議端末３に対して送信する（Ｓ１７）。チャットに参加する他の会議端末３以外にも送信する設定がなされている場合（Ｓ１６：ＮＯ）、ＣＰＵ１１は、入力中情報を送信バッファに記憶して、遠隔会議に参加するすべての会議端末３に対して送信する（Ｓ１８）。ＣＰＵ１１は、入力中情報を送信したら、処理をＳ１に戻してデータ受信を待機する。
【００４９】
Ｓ２０の処理において、ＣＰＵ１１は、会議端末３から音声入力終了通知を受信したか否か判断する（Ｓ２０）。１の会議端末３のＣＰＵ３１は、チャットメッセージの音声入力が終了した場合、会議サーバ１に音声入力終了通知を送信し、音声入力によるチャットメッセージの入力が終了したことを報せる。会議サーバ１のＣＰＵ１１は、音声入力終了通知を受信した場合（Ｓ２０：ＹＥＳ）、通知対象設定情報に基づいて、入力終了情報を送信する対象の会議端末３を、チャットに参加する他の会議端末３のみとするか否か判断する（Ｓ２１）。入力終了情報は、１の会議端末３が音声入力中であることを報せる情報の表示部３６への表示を会議端末３に停止させる指示を示す情報である。
【００５０】
通知対象設定情報に、チャットに参加する会議端末３のみに入力終了情報を送信する設定がなされている場合（Ｓ２１：ＹＥＳ）、ＣＰＵ１１は、入力終了情報を送信バッファに記憶して、ルームＩＤに対応付けられたユーザＩＤに対応する会議端末３に対して送信する（Ｓ２２）。チャットに参加する他の会議端末３以外にも送信する設定がなされている場合（Ｓ２１：ＮＯ）、ＣＰＵ１１は、入力終了情報を送信バッファに記憶して、遠隔会議に参加するすべての会議端末３に対して送信する（Ｓ２３）。ＣＰＵ１１は、入力終了情報を送信したら、処理をＳ１に戻してデータ受信を待機する。
【００５１】
Ｓ２５の処理において、ＣＰＵ１１は、チャットメッセージを受信したか否か判断する（Ｓ２５）。チャットメッセージを受信した場合（Ｓ２５：ＹＥＳ）、ＣＰＵ１１は、チャットメッセージを送信バッファに記憶する。ＣＰＵ１１は、チャットメッセージ送信元の会議端末３のユーザＩＤに対応付けられたルームＩＤのチャットに参加する他の会議端末３のそれぞれに対し、チャットメッセージを送信する（Ｓ２６）。ＣＰＵ１１は、処理をＳ１に戻してデータ受信を待機する。
【００５２】
以上のように、会議サーバ１のＣＰＵ１１は、会議管理プログラムの実行に従って、会議端末３から受信するデータに対する処理を行い、遠隔会議におけるデータの送受信を制御する。次に、図３〜図１０を参照し、遠隔会議システム１００において、遠隔会議に参加する会議端末３が会議サーバ１を介して送受信するデータに対して行う処理について説明する。
【００５３】
まず、図３に示す、遠隔会議プログラムのメイン処理について説明する。会議端末３のＣＰＵ３１は、タッチパネル３８の入力部３７に対して入力される操作に基づき、遠隔会議プログラムをフラッシュメモリ３４から読み込んで実行する。ＣＰＵ３１は、遠隔会議プログラム実行時の初期設定で、ＲＡＭ３３に、送信バッファと受信バッファの記憶領域をそれぞれ確保する。送信バッファは、送信処理部３１Ｇに会議サーバ１に対してデータを送信させるため、遠隔会議プログラムの実行においてＣＰＵ３１が送信対象のデータを一時的に記憶する記憶領域である。受信バッファは、受信処理部３１Ｈに、会議サーバ１から受信したデータを一時的に記憶させる記憶領域である。
【００５４】
図３に示すように、ＣＰＵ３１は、ネットワーク８を介して会議サーバ１に接続し、会議サーバ１に対し、前述した入室リクエストを送信する（Ｓ３６）。ＣＰＵ３１は、受信バッファに基づき、会議サーバ１のＣＰＵ１１が入室リクエストに応じて送信するレスポンスとして、会議室への入室を許可する通知を受信処理部３１Ｈが受信したか否か判断する（Ｓ３７）。ＣＰＵ３１は、会議室への入室を許可する通知を受信していなければ（Ｓ３７：ＮＯ）、処理をＳ３７に戻して受信を待機する。
【００５５】
会議室への入室を許可する通知を受信した場合（Ｓ３７：ＹＥＳ）、ＣＰＵ３１は、レスポンスに含まれる各種設定情報をＲＡＭ３３に記憶し、音声エンコーダ３１Ａ、映像エンコーダ３１Ｂ等にパラメータを適用する。また、ＣＰＵ３１は、レスポンスに含まれる他の会議端末３のユーザ情報を、ＲＡＭ３３に記憶する。次に、ＣＰＵ３１は、音声送信処理を起動する（Ｓ３８）。音声送信処理においてＣＰＵ３１が行う処理は従来と同様であるので詳細な説明は省略し、簡略化して説明する。音声送信処理において、ＣＰＵ３１は、マイク３９が収音する自拠点の音声データを、ＯＳを介して取得する。ＣＰＵ３１は、音声データを音声エンコーダ３１Ａに入力し、圧縮音声データを取得する。ＣＰＵ３１は、圧縮音声データを送信バッファに記憶し、送信処理部３１Ｇの処理によって、会議サーバ１に送信する。ＣＰＵ３１は、音声送信処理として以上の一連の処理を、遠隔会議プログラムの実行において他の処理と並列に、且つ継続的に実行する。
【００５６】
次に、ＣＰＵ３１は、後述する映像送信処理（図４参照）を起動する（Ｓ４０）。映像送信処理の詳細な説明は後述する。映像送信処理において、概略、ＣＰＵ３１は、カメラ４０が撮影する自拠点の映像データを、ＯＳを介して取得する。ＣＰＵ３１は、映像データを映像エンコーダ３１Ｂに入力し、圧縮映像データを取得する。ＣＰＵ３１は、圧縮映像データを送信バッファに記憶し、送信処理部３１Ｇの処理によって、会議サーバ１に送信する。ＣＰＵ３１は、映像送信処理として以上の一連の処理を、遠隔会議プログラムの実行において他の処理と並列に、且つ継続的に実行する。
【００５７】
次に、ＣＰＵ３１は、音声受信処理を起動する（Ｓ４１）。音声受信処理においてＣＰＵ３１が行う処理は従来と同様であるので詳細な説明は省略し、簡略化して説明する。音声受信処理において、ＣＰＵ３１は、受信処理部３１Ｈの処理によって、他の会議端末３において収音され、会議サーバ１が混合した音声データの圧縮音声データを会議サーバ１から受信し、受信バッファに記憶する。ＣＰＵ３１は、圧縮音声データを音声デコーダ３１Ｃに入力し、音声データを取得する。ＣＰＵ３１は、ＯＳを介し、音声データをスピーカ４１に対して出力し、スピーカ４１から混合された音声データを再生した音声を出力させる。ＣＰＵ３１は、音声受信処理として以上の一連の処理を、遠隔会議プログラムの実行において、他の処理と並列に、且つ継続的に実行する。
【００５８】
次に、ＣＰＵ３１は、映像受信処理を起動する（Ｓ４２）。映像受信処理においてＣＰＵ３１が行う処理は従来と同様であるので詳細な説明は省略し、簡略化して説明する。映像受信処理において、ＣＰＵ３１は、受信処理部３１Ｈの処理によって、他の会議端末３が撮影し、圧縮して送信した圧縮映像データを、会議サーバ１を介して受信し、受信バッファに記憶する。ＣＰＵ３１は、圧縮映像データを映像デコーダ３１Ｄに入力し、映像データを取得する。ＣＰＵ３１は、表示部３６に表示するユーザインターフェイス５０において、映像データを再生した映像を表示させる。ＣＰＵ３１は、映像受信処理として以上の一連の処理を、遠隔会議プログラムの実行において、他の処理と並列に、且つ継続的に実行する。
【００５９】
次に、ＣＰＵ３１は、後述するチャットルーム開設処理（図５参照）を起動する（Ｓ４３）。チャットルーム開設処理の詳細な説明は後述する。チャットルーム開設処理において、概略、ＣＰＵ３１は、ユーザインターフェイス５０において、会議サーバ１が作成したチャットルームに入室する他の会議端末３との間でチャットメッセージを送受信するための操作画面（後述するチャット領域６２、チャット入力フィールド６３等）を表示する。ＣＰＵ３１は、会議サーバ１を介して他の会議端末３から受信するチャットメッセージをチャット領域６２に表示し、チャット入力フィールド６３に入力されるチャットメッセージを会議サーバ１を介して他の会議端末３に送信する処理を行う。ＣＰＵ３１は、チャットルーム開設処理として以上の一連の処理を、遠隔会議プログラムの実行において、他の処理と並列に、且つ継続的に実行する。
【００６０】
ＣＰＵ３１は、遠隔会議を終了する条件が満たされるまで、音声送信処理、映像送信処理、音声受信処理、映像受信処理、およびチャットルーム開設処理を、継続的に実行する（Ｓ４５：ＮＯ）。遠隔会議を終了する条件は、例えば、遠隔会議において議長権限を有する会議端末３において会議を終了する操作の入力が受け付けられた場合、会議端末３において会議アプリを終了する入力が入力部３７または操作ボタン４２を介して受け付けられた場合などである。ＣＰＵ３１は、遠隔会議を終了する条件が満たされると（Ｓ４５：ＹＥＳ）、並列に処理を実行するプログラムモジュールの実行を停止し、遠隔会議プログラムの実行を終了する。
【００６１】
次に、遠隔会議プログラムのメイン処理のＳ４０において、ＣＰＵ３１が起動する映像送信処理について説明する。図４に示すように、ＣＰＵ３１は、映像送信処理を起動すると、合成映像作成命令（後述）を受信せず（Ｓ５１：ＮＯ）、合成映像作成中止命令（後述）を受信せず（Ｓ５３：ＮＯ）、合成映像作成フラグ（後述）がＯＮでない場合（Ｓ５６：ＮＯ）、処理をＳ５８に進める。ＣＰＵ３１は、上記したように、カメラ４０から取得した映像データを映像エンコーダ３１Ｂに入力し、圧縮映像データを取得する（Ｓ５８）。ＣＰＵ３１は、圧縮映像データを送信バッファに記憶し、送信処理部３１Ｇの処理によって、会議サーバ１に送信する（Ｓ６０）。
【００６２】
ＣＰＵ３１は、カメラ４０が撮影した映像データの送信を停止する操作の入力を、入力部３７を介して受け付けたか否か判断する（Ｓ６１）。図９に示すように、ＣＰＵ３１は、ユーザインターフェイス５０に、カメラ４０による撮影の停止を指示する操作の入力を受け付ける領域である撮影停止・再開ボタン５５を表示する。初期状態において、撮影停止・再開ボタン５５には「撮影停止」と表示される。図４に示すように、撮影停止・再開ボタン５５に対する操作の入力がなければ（Ｓ６１：ＮＯ）、ＣＰＵ３１は、処理をＳ５１に戻し、映像エンコーダ３１Ｂの処理による映像データの圧縮と、送信処理部３１Ｇの処理による圧縮映像データの送信を継続的に実行する。撮影停止・再開ボタン５５に対する操作の入力があった場合（Ｓ６１：ＹＥＳ）、ＣＰＵ３１は、撮影停止・再開ボタン５５の表示を「撮影再開」とし、撮影停止・再開ボタン５５に対する操作の入力を再度受け付けたか否か判断する（Ｓ６２）。撮影停止・再開ボタン５５に対する再度の操作の入力がなければ（Ｓ６２：ＮＯ）、ＣＰＵ３１は、処理をＳ６２に戻して待機し、カメラ４０で撮影した映像データに対する送信処理を中断する。撮影停止・再開ボタン５５に対する再度の操作の入力があった場合（Ｓ６２：ＹＥＳ）、ＣＰＵ３１は処理Ｓ５１に戻し、上記同様、映像エンコーダ３１Ｂの処理による映像データの圧縮と、送信処理部３１Ｇの処理による圧縮映像データの送信を継続的に実行する。
【００６３】
前述したように、チャットに参加する１の会議端末３は、会議サーバ１に音声入力通知を送信することで、チャットに参加する他の会議端末３に対し、１の会議端末３がチャットメッセージの音声入力中であることを報せる入力中情報を、会議サーバ１から送信させる。本実施形態において、ＣＰＵ３１は、音声入力通知を送信しない代わりに、カメラ４０で撮影した映像データに、音声入力中であることを示す、例えばアイコン等の画像データを重ね合わせた合成映像データを送信することができる。図１０に示すように、ユーザインターフェイス５０において、他の会議端末３から受信した映像５１が合成映像である場合、映像５１内に、音声入力中であることを示すアイコン等５３が表示される。このように、ＣＰＵ３１は、合成映像データを通常の映像データと同様に、会議サーバ１を介して他の会議端末３に送信することで、会議サーバ１において、音声入力通知に基づく入力中情報の送信にかかる処理負荷を軽減することができる。前述したように、ＣＰＵ３１は、遠隔会議への参加時に入力中情報として合成映像を用いるか否かの設定を会議サーバ１から受信している。入力中情報として合成映像を用いる設定である場合、ＣＰＵ３１は、後述するチャット処理（図６，図７参照）において、チャットメッセージの音声入力時に合成映像作成命令を出力する。
【００６４】
図４に示すように、合成映像作成命令を受信した場合（Ｓ５１：ＹＥＳ）、ＣＰＵ３１は、映像合成部３１Ｅに合成映像データを生成させる処理を行わせるためのフラグである合成映像作成フラグをＯＮに設定し（Ｓ５２）、処理をＳ５６に進める。合成映像作成フラグがＯＮの場合（Ｓ５６：ＹＥＳ）、ＣＰＵ３１は、カメラ４０から取得した映像データを映像合成部３１Ｅに入力し、音声入力中を示すアイコン等５３（図１０参照）の画像データを合成した合成画像データを生成する。ＣＰＵ３１は、合成画像データを映像エンコーダ３１Ｂに入力し、圧縮映像データを取得する（Ｓ５７）。ＣＰＵ３１は、処理をＳ６０に進め、送信処理部３１Ｇの処理によって圧縮映像データを会議サーバ１に送信する。ＣＰＵ３１は、撮影停止・再開ボタン５５（図９参照）に対する操作の入力がなければ処理をＳ５１に戻す。
【００６５】
また、入力中情報として合成映像を用いる設定であり、チャットメッセージの音声入力を終了した場合、ＣＰＵ３１は、後述する音声入力モード停止処理（図８参照）において、合成映像作成中止命令を出力する。合成映像作成中止命令を受信した場合（Ｓ５３：ＹＥＳ）、ＣＰＵ３１は、合成映像作成フラグをＯＦＦに設定し（Ｓ５５）、処理をＳ５６に進める。上記同様、ＣＰＵ３１は、映像エンコーダ３１Ｂの処理による映像データの圧縮（Ｓ５８）と、送信処理部３１Ｇの処理による圧縮映像データの送信（Ｓ６０）を継続的に実行する。
【００６６】
次に、遠隔会議プログラムのメイン処理のＳ４３において、ＣＰＵ３１が起動するチャットルーム開設処理について説明する。図５に示すように、ＣＰＵ３１は、チャットルーム開設処理を起動すると、タッチパネル３８の入力部３７において、チャットルームの作成を指示する操作の入力を受け付けたか否か判断する（Ｓ６６）。図９に示すように、ＣＰＵ３１は、ユーザインターフェイス５０（図９参照）に、チャットルームの開設を指示する操作の入力を受け付ける領域であるチャットルーム開設ボタン６１を表示する。図５に示すように、入力部３７が、チャットルーム開設ボタン６１を表示する領域に対する操作の入力を検出しなければ（Ｓ６６：ＮＯ）、ＣＰＵ３１は、受信バッファに基づき、会議サーバ１からチャットルーム情報を受信したか否か判断する（Ｓ６８）。ＣＰＵ３１は、チャットルーム情報を受信せず、他の会議端末３からチャットルームへの参加が求められていなければ（Ｓ６８：ＮＯ）、処理をＳ６６に戻して待機する。
【００６７】
例えば会議端末３のユーザのタップ操作により、入力部３７が、チャットルーム開設ボタン６１を表示する領域に対する操作の入力を受け付けた場合（Ｓ６６：ＹＥＳ）、ＣＰＵ３１は、処理をＳ６７に進める。なお、タップ操作は、例えば、タッチパネル３８に指を接触させ、接触した位置から指を移動させず、所定時間内にタッチパネル３８から指を離す操作である。ＣＰＵ３１は、ユーザインターフェイス５０に、チャットへの参加を求める他の会議端末３のユーザ名一覧をユーザ情報に基づいて表示し、入力部３７において、タップ操作による選択の操作を受け付ける。また、ＣＰＵ３１は、ユーザインターフェイス５０に、入力中情報等の送信対象を、第一対象端末装置のみとするか、第二対象端末装置も含めるかを設定する選択肢を表示し、入力部３７において、タップ操作による選択の操作を受け付ける。ＣＰＵ３１は、入力部３７が受け付けた操作によって選択されたユーザＩＤと通知対象設定情報を含む開設リクエストを会議サーバ１に送信し（Ｓ６７）、処理をＳ７０に進める。また、ＣＰＵ３１は、会議サーバ１からチャットルーム情報を受信した場合も（Ｓ６８：ＹＥＳ）、処理をＳ７０に進める。
【００６８】
ＣＰＵ３１は、ユーザインターフェイス５０において、チャットルームを作成する（Ｓ７０）。図９に示すように、ＣＰＵ３１は、ユーザインターフェイス５０に、チャット領域６２、チャット入力フィールド６３、送信ボタン６４、音声入力停止ボタン６５を表示する。チャット領域６２は、チャットに参加する会議端末３がそれぞれ送信するチャットメッセージを表示する領域である。チャット入力フィールド６３は、チャットメッセージを入力し、且つ入力されたチャットメッセージを表示するための領域である。送信ボタン６４は、チャット入力フィールド６３に入力されたチャットメッセージを会議サーバ１に送信する指示が行われる場合に、操作の入力を受け付ける領域である。音声入力停止ボタン６５は、チャットメッセージの音声入力中に、音声入力を停止する指示が行われる場合に、操作の入力を受け付ける領域である。
【００６９】
図５に示すように、ＣＰＵ３１は、チャットルームを作成すると、後述するチャット処理（図６，図７参照）を起動する（Ｓ７１）。ＣＰＵ３１は処理をＳ６６に戻して待機する。なお、チャットルーム開設処理によって複数のチャットルームが開設された場合、ＣＰＵ３１は、ユーザインターフェイス５０（図９参照）において、２つ目以降のチャットルームのチャット領域６２を、例えば、１つ目のチャット領域６２とタイル状に並べて表示する。あるいは、ＣＰＵ３１は、２つ目以降のチャット領域６２を１つ目のチャット領域６２と重ねてタブを表示し、タブに対する操作によって切り換えて表示できるようにしたり、ページを切換えることによって表示できるようにしてもよい。
【００７０】
次に、チャットルーム開設処理のＳ７１において、ＣＰＵ３１が起動するチャット処理について説明する。図６に示すように、ＣＰＵ３１は、入力部３７が、音声入力停止ボタン６５（図９参照）の表示領域に対する操作の入力を受け付けたか否か判断する（Ｓ８１）。音声入力停止ボタン６５に対する操作の入力がない場合（Ｓ８１：ＮＯ）、ＣＰＵ３１は、入力部３７が、送信ボタン６４（図９参照）の表示領域に対する操作の入力を受け付けたか否か判断する（Ｓ８５）。送信ボタン６４に対する操作の入力がない場合（Ｓ８５：ＮＯ）、ＣＰＵ３１は、音声入力モードが起動中であるか否か判断する（Ｓ９２）。音声入力モードは、ＣＰＵ３１が、マイク３９が収音した音声データを音声認識部３１Ｆによってテキストデータに変換し、チャットメッセージとして取得する処理を行うモードである。音声入力モードが起動した状態でない場合（Ｓ９２：ＮＯ）、ＣＰＵ３１は、入力部３７が、チャット入力フィールド６３（図９参照）の表示領域に対する操作の入力を受け付けたか否か判断する（Ｓ９６）。チャット入力フィールド６３に対する操作の入力がない場合（Ｓ９６：ＮＯ）、図７に示すように、ＣＰＵ３１は、受信バッファに基づき、会議サーバ１からチャットメッセージを受信したか否か判断する（Ｓ１１５）。ＣＰＵ３１は、チャットメッセージを受信しなければ（Ｓ１１５：ＮＯ）、図６に示すように、処理をＳ８１に戻し、Ｓ８１，Ｓ８５，Ｓ９２，Ｓ９６，Ｓ１１５の処理を繰り返して待機する。
【００７１】
チャット入力フィールド６３の表示領域に対し、例えばタップ操作が行われ、入力部３７が操作の入力を受け付けた場合（Ｓ９６：ＹＥＳ）、ＣＰＵ３１は、チャット入力フィールド６３にカーソルを表示してアクティブにし、文字入力を受け付ける状態にする。図７に示すように、ＣＰＵ３１は、ＲＡＭ３３に保存されたチャットメッセージがあれば、チャット入力フィールド６３に表示する（Ｓ１０１）。後述するが、ＣＰＵ３１は、音声入力モードにおいて音声入力停止ボタン６５に対する操作の入力があった場合に、入力途中のチャットメッセージをＲＡＭ３３に保存する処理を行う。ゆえにＣＰＵ３１は、ＲＡＭ３３に保存されたチャットメッセージがある場合に、チャット入力フィールド６３に対する操作の入力があればチャット入力フィールド６３に表示し、チャットメッセージを続きから入力できるようにする。
【００７２】
ＣＰＵ３１は、映像送信処理（図４参照）で、カメラ４０で撮影した映像データを圧縮した圧縮映像データを会議サーバ１に送信する処理を行っているか否か判断する（Ｓ１０２）。前述したように、映像送信処理において、ＣＰＵ３１は、撮影停止・再開ボタン５５（図９参照）に対する操作の入力がなければ、映像データの送信に係る処理を継続して行う。映像データの送信に係る処理を行っている場合（Ｓ１０２：ＹＥＳ）、ＣＰＵ３１は、メイン処理（図３参照）のＳ３８で起動した音声送信処理において、音声データを音声エンコーダ３１Ａに入力する処理を停止し、会議サーバ１への送信を停止する（Ｓ１０３）。
【００７３】
ＣＰＵ３１は、遠隔会議への参加時に会議サーバ１から受信した各種設定情報において、入力中情報として合成映像を用いる設定がなされているか否か判断する（Ｓ１０５）。入力中情報として合成映像を用いる設定である場合（Ｓ１０５：ＹＥＳ）、ＣＰＵ３１は、映像送信処理に対して合成映像作成命令を出力し（Ｓ１０７）、処理をＳ１０８に進める。前述したように、ＣＰＵ３１は、映像送信処理において、カメラ４０で撮影した映像データに音声入力中を示すアイコン等５３（図１０参照）を合成した合成映像データの生成を開始し、会議サーバ１に送信する。会議サーバ１を介して合成映像データを取得した他の会議端末３は、ユーザインターフェイス５０に、音声入力中を示すアイコン等５３が合成された映像５１を表示し（図１０参照）、送信元の会議端末３が音声入力中であることを報知する。
【００７４】
入力中情報として合成映像を用いる設定でない場合（Ｓ１０５：ＮＯ）、ＣＰＵ３１は音声入力通知を送信バッファに記憶し、送信処理部３１Ｇの処理によって、会議サーバ１に対して音声入力通知を送信し（Ｓ１０６）、処理をＳ１０８に進める。前述したように、音声入力通知を受信した会議サーバ１は、他の会議端末３に、入力中情報を送信する。会議サーバ１から入力中情報を受信した他の会議端末３のＣＰＵ３１は、ユーザインターフェイス５０において、音声入力中を示すアイコン等５２を映像５１の近傍に表示し（図１０参照）、送信元の会議端末３が音声入力中であることを報知する。
【００７５】
ＣＰＵ３１は、音声入力モードを起動する（Ｓ１０８）。例えば、ＣＰＵ３１は、Ｓ１０３で音声エンコーダ３１Ａに入力する処理を停止した音声データを、音声認識部３１Ｆに入力する処理を開始する。次いで、ＣＰＵ３１は、音声認識部３１Ｆの処理結果として得られるテキストデータを取得し、チャットデータとして、チャット入力フィールド６３に表示する処理を開始する。以上の処理を、ＣＰＵ３１は、遠隔会議プログラムの実行において他の処理と並列に、且つ継続的に実行する。ＣＰＵ３１は、処理をＳ１１５に進め、チャットメッセージの受信がなければ（Ｓ１１５：ＮＯ）、上記同様、処理をＳ８１に戻し、Ｓ８１，Ｓ８５，Ｓ９２，Ｓ９６，Ｓ１１５の処理を繰り返して待機する。
【００７６】
受信バッファに基づき、受信処理部３１Ｈが会議サーバ１からチャットメッセージを受信した場合（Ｓ１１５：ＹＥＳ）、ＣＰＵ３１は、受信したチャットメッセージを表示する（Ｓ１１６）。図９に示すように、ＣＰＵ３１は、チャットメッセージを、例えば吹き出し枠６６内に配置して、チャット領域６２に表示する。図６に示すように、ＣＰＵ３１は、処理をＳ８１に戻し、Ｓ８１，Ｓ８５，Ｓ９２，Ｓ９６，Ｓ１１５の処理を繰り返して待機する。
【００７７】
音声入力停止ボタン６５（図９参照）に対するタップ操作が行われ、入力部３７が操作の入力を受け付けた場合（Ｓ８１：ＹＥＳ）、ＣＰＵ３１は、音声入力モード停止処理のサブルーチンを実行する（Ｓ８２）。図８に示すように、音声入力モード停止処理において、ＣＰＵ３１は、上記同様、入力中情報として合成映像を用いる設定がなされているか否か判断する（Ｓ１２１）。入力中情報として合成映像を用いる設定である場合（Ｓ１２１：ＹＥＳ）、ＣＰＵ３１は、映像送信処理に対して合成映像作成中止命令を出力し（Ｓ１２３）、処理をＳ１２５に進める。前述したように、ＣＰＵ３１は、映像送信処理において、カメラ４０で撮影した映像データを、映像合成部３１Ｅを介さずに映像エンコーダ３１Ｂに入力し、圧縮した圧縮映像データを会議サーバ１に送信する処理を再開する。会議サーバ１を介して映像データを取得した他の会議端末３は、ユーザインターフェイス５０に、アイコン等５３（図１０参照）のない映像を表示する。また、入力中情報として合成映像を用いる設定でない場合（Ｓ１２１：ＮＯ）、ＣＰＵ３１は音声入力終了通知を送信バッファに記憶し、送信処理部３１Ｇの処理によって、会議サーバ１に送信し（Ｓ１２２）、処理をＳ１２５に進める。前述したように、会議サーバ１から入力終了情報を受信した他の会議端末３のＣＰＵ３１は、ユーザインターフェイス５０において、映像の近傍にアイコン等５２（図９参照）を表示する処理を中止する。
【００７８】
ＣＰＵ３１は、音声入力モードを停止する（Ｓ１２５）。例えば、ＣＰＵ３１は、チャット入力フィールド６３（図９参照）に表示するカーソルを消して非アクティブ化し、文字入力を受け付けない状態にする。ＣＰＵ３１は、音声データを音声認識部３１Ｆに入力する処理を停止する。ＣＰＵ３１は、音声送信処理において、音声データを音声エンコーダ３１Ａに入力する処理を再開し（Ｓ１２６）、処理をチャット処理（図６参照）に戻してＳ８３に進める。
【００７９】
図６に示すように、ＣＰＵ３１は、チャット入力フィールド６３の非アクティブ化時にチャット入力フィールド６３に表示されていた入力途中のチャットメッセージをＲＡＭ３３に保存する（Ｓ８３）。ＣＰＵ３１は、処理をＳ８１に戻し、Ｓ８１，Ｓ８５，Ｓ９２，Ｓ９６，Ｓ１１５の処理を繰り返して待機する。
【００８０】
音声入力モードが起動中である場合において（Ｓ９２：ＹＥＳ）、入力部３７が、チャット入力フィールド６３、送信ボタン６４および音声入力停止ボタン６５の各表示領域以外の領域６７に対する操作の入力があった場合（Ｓ９３：ＹＥＳ）、ＣＰＵ３１は処理をＳ９５に進める。ＣＰＵ３１は、音声入力モード停止処理（図８参照）のサブルーチンを実行し（Ｓ９５）、音声入力モードを停止して、チャット入力フィールド６３を非アクティブ化する。ＣＰＵ３１は、音声データを音声認識部３１Ｆに入力する処理を停止して、音声エンコーダ３１Ａに入力する処理を再開し、処理をチャット処理のＳ８１戻す。Ｓ９３において、チャット入力フィールド６３、送信ボタン６４および音声入力停止ボタン６５の各表示領域以外の領域６７に対する操作の入力がなければ場合（Ｓ９３：ＮＯ）、ＣＰＵ３１は処理をＳ８１に戻し、Ｓ８１，Ｓ８５，Ｓ９２，Ｓ９６，Ｓ１１５の処理を繰り返して待機する。
【００８１】
送信ボタン６４（図９参照）に対するタップ操作が行われ、入力部３７が操作の入力を受け付けた場合（Ｓ８５：ＹＥＳ）、ＣＰＵ３１は、音声入力モードが起動中であるか否か判断する（Ｓ８６）。音声入力モードが起動中でない場合（Ｓ８６：ＮＯ）、ＣＰＵ３１は、処理をＳ８８に進める。音声入力モードが起動中である場合（Ｓ８６：ＹＥＳ）、ＣＰＵ３１は、音声入力モード停止処理（図８参照）のサブルーチンを実行し（Ｓ８７）、音声入力モードを停止して、チャット入力フィールド６３を非アクティブ化する。ＣＰＵ３１は、音声データを音声認識部３１Ｆに入力する処理を停止して、音声エンコーダ３１Ａに入力する処理を再開し、処理をチャット処理のＳ８８に進める。
【００８２】
ＣＰＵ３１は、チャット入力フィールド６３の非アクティブ化時にチャット入力フィールド６３に入力途中のチャットメッセージが表示されていなかった場合（Ｓ８８：ＮＯ）、処理をＳ８１に戻し、Ｓ８１，Ｓ８５，Ｓ９２，Ｓ９６，Ｓ１１５の処理を繰り返して待機する。チャット入力フィールド６３の非アクティブ化時にチャット入力フィールド６３に入力途中のチャットメッセージが表示されていた場合（Ｓ８８：ＹＥＳ）、ＣＰＵ３１は、チャットメッセージを取得する（Ｓ９０）。ＣＰＵ３１は、取得したチャットメッセージを送信バッファに記憶し、送信処理部３１Ｇの処理によって、会議サーバ１に対してチャットメッセージを送信する（Ｓ９１）。前述したように、チャットメッセージを受信した会議サーバ１は、送信元の会議端末３と同じチャットに参加する他の会議端末３に対し、チャットメッセージを送信する。会議サーバ１からチャットメッセージを受信した他の会議端末３は、チャットメッセージを吹き出し枠６６内に配置して、チャット領域６２に表示する（図９参照）。Ｓ９１の処理を行った後、ＣＰＵ３１は、処理をＳ８１に戻し、Ｓ８１，Ｓ８５，Ｓ９２，Ｓ９６，Ｓ１１５の処理を繰り返して待機する。
【００８３】
ところで、図７に示すＳ１０２の処理で、映像送信処理（図４参照）において映像データの送信に係る処理を行っていないと判断した場合（Ｓ１０２：ＮＯ）、ＣＰＵ３１は、表示部３６に、公知のソフトウェアキーボードを表示する（Ｓ１１０）。ＣＰＵ３１は、入力部３７が、ソフトウェアキーボードの各キーそれぞれの表示領域に対する操作の入力を受け付けた場合、操作に応じた文字をチャット入力フィールド６３に表示する。ＣＰＵ３１は、入力部３７が、例えばソフトウェアキーボードの１キーとして表示される入力終了キーに対する操作の入力を受け付けた場合（Ｓ１１１：ＹＥＳ）、チャットメッセージの入力を終了する指示を受けたとして、ソフトウェアキーボードを非表示にし（Ｓ１１３）、処理をＳ８１に戻す。ＣＰＵ３１は、入力終了キーに対する操作の入力がない場合（Ｓ１１１：ＮＯ）、ソフトウェアキーボードの表示領域外で、チャット入力フィールド６３、送信ボタン６４および音声入力停止ボタン６５の各表示領域以外の領域６７に対する操作の入力の有無を判断する（Ｓ１１２）。ＣＰＵ３１は、チャット入力フィールド６３、送信ボタン６４および音声入力停止ボタン６５の各表示領域以外の領域６７に対する操作の入力がなければ（Ｓ１１２：ＮＯ）、処理をＳ１１１に戻し、ソフトウェアキーボードによるチャットメッセージの入力の受け付けを継続する。ソフトウェアキーボードの表示領域外で、チャット入力フィールド６３、送信ボタン６４および音声入力停止ボタン６５の各表示領域以外の領域６７に対する操作の入力があった場合（Ｓ１１２：ＹＥＳ）、ＣＰＵ３１はソフトウェアキーボードを非表示とし（Ｓ１１３）、処理をＳ８１に戻す。
【００８４】
以上説明したように、タッチパネル３８の表示部３６に表示するチャット入力フィールド６３に対する操作を入力部３７が受け付けた場合、ＣＰＵ３１は、音声データを会議サーバ１に送信する処理を停止して音声認識部３１Ｆに対して出力することで、チャット入力フィールド６３への文字入力を、音声認識部３１Ｆが認識した文字データを入力することによって行うことができる。会議端末３は、チャット入力フィールド６３への文字入力が、入力部３７における操作の受け付けによって行われる場合、外力を受けて振動する。この場合に、カメラ４０によって撮影される映像は、ぶれを生ずる可能性がある。しかし、チャット入力フィールド６３への文字入力を音声認識処理によって行うことで、会議端末３は外力を受けず、振動を生じにくい。ゆえに、カメラ４０によって撮影される映像は、ぶれを生じにくい。したがって、ＣＰＵ３１は、チャット入力フィールド６３への文字入力を受け付けている間も継続してカメラ４０が撮影した、ぶれの少ない映像データを出力することができる。
【００８５】
また、ＣＰＵ３１は、映像データの送信中に音声データの送信を停止するので、他の会議端末３において、１の会議端末３からの映像は再生されるが音声は再生されない場合が生ずる。この場合に、ＣＰＵ３１は、音声入力通知を送信することによって、他の会議端末３に、１の会議端末３が音声認識による文字入力の受け付け中であることを報せることができる。
【００８６】
また、ＣＰＵ３１は、音声入力通知を他の会議端末３に拡散する処理を会議サーバ１に行わせずとも、会議サーバ１を介して他の会議端末３に送信する映像データを合成映像データに差し替えるだけで、他の会議端末３に、１の会議端末３が音声認識による文字入力の受け付け中であることを報せることができる。
【００８７】
また、ＣＰＵ３１は、１の会議端末３が音声認識による文字入力の受け付け中であることを、文字データの送信対象であるチャットに参加する会議端末３（第一対象端末装置）に対してのみ通知するか、第一対象端末装置以外の第二対象端末装置にも通知する、すなわち、遠隔会議に参加するすべての会議端末３に対して通知するか、設定することができる。
【００８８】
ＣＰＵ３１は、音声認識による文字入力の受け付け中であっても、音声データに対する処理を、少なくともチャット入力フィールド６３の表示領域以外の領域６７に対する操作が受け付けられたら、直ちに、音声認識部３１Ｆに出力してチャットメッセージを取得する処理から、会議サーバ１に送信する処理に変更することができる。
【００８９】
ＣＰＵ３１は、音声入力停止ボタン６５に対する操作の入力を受け付けた場合、音声データに対する処理を、音声認識部３１Ｆに出力してチャットメッセージを取得する処理から、会議サーバ１に送信する処理に変更し、さらに文字データを保存することができる。そして、入力部３７が再度、チャット入力フィールド６３に対する操作を受け付けた場合、ＣＰＵ３１は、保存した文字データをチャット入力フィールド６３に表示させることができる。このため、ＣＰＵ３１は、チャット入力フィールド６３に対する操作の続きを行わせることができる。
【００９０】
ＣＰＵ３１は、映像データを送信しておらず、映像のぶれに対する対策が必要とされない場合には、ソフトウェアキーボードを用いた文字の入力を受け付けることで、文字入力の受け付け中であっても継続して、会議サーバ１を介して他の会議端末３に音声データの送信を行うことができる。
【００９１】
なお本発明は上記実施形態に限定されず、種々の変更が可能である。例えば、Ｓ８５の処理において送信ボタン６４に対する操作の入力を受け付けた場合、ＣＰＵ３１は、音声入力停止処理（Ｓ８７）のＳ１２６において他の会議端末３への音声データの送信を再開してから、Ｓ９１の処理で会議サーバ１にチャットメッセージを送信したが、Ｓ９１の処理をＳ８７の処理よりも先に行ってもよい。Ｓ９５の音声入力モード停止処理が行われる前もしくは後に、ＣＰＵ３１は、チャットメッセージをＲＡＭ３３に保存してもよい。Ｓ１１３の処理においてソフトウェアキーボードを非表示とする際に、ＣＰＵ３１は、チャットメッセージをＲＡＭ３３に保存してもよい。
【００９２】
音声データおよび映像データは、１の会議端末３から会議サーバ１を介して他の会議端末３に送信されたが、会議サーバ１を介さずに、直接、１の会議端末３から他の会議端末３に送信されてもよい。ＣＰＵ３１は、映像合成部３１Ｅの処理において、カメラ４０で撮影した映像データにアイコン等５３の画像データを合成した合成映像データを生成したが、画像データに限らず、他の映像データを、カメラ４０で撮影した映像データに合成してもよい。
【００９３】
通知対象設定情報で設定する送信対象の会議端末３について、本実施形態では、第一対象端末装置をチャットに参加する会議端末３としたが、第一対象端末装置は任意の会議端末３であってもよい。この場合、会議端末３のＣＰＵ３１は、Ｓ６７の処理において、ユーザインターフェイス５０にユーザ情報に基づくユーザ名一覧を表示し、タップ操作による選択の操作を受け付けて入力中情報を送信する対象（第一対象端末装置）のユーザＩＤを設定する。ＣＰＵ３１は、チャットへの参加を求める他の会議端末３のユーザＩＤと、入力中情報等を送信する対象として選択されたユーザＩＤと、通知対象設定情報を含む開設リクエストを会議サーバ１に送信すればよい。また、会議サーバ１のＣＰＵ１１は、Ｓ１６またはＳ２１の判断処理において、開設リクエストに含まれる入力中情報等を送信する対象として選択されたユーザＩＤのみに、入力中情報または入力終了情報を送信する設定とするか否か、通知対象設定情報に基づき判断する。ＣＰＵ１１は、Ｓ１７およびＳ２２の処理において、入力中情報等を送信する対象として、チャットへの参加を求めるユーザＩＤとは別に選択されたユーザＩＤに対応する会議端末３に、入力中情報または入力終了情報を送信すればよい。
【００９４】
また、本実施形態の音声認識部３Ｆは、ＣＰＵ３１が実行するプログラムモジュールによって実現される機能であるが、これに限らず、例えば、会議サーバ１あるいはネットワーク８に接続する特定のＰＣ等によって、音声認識部３Ｆと同等の機能が提供されてもよい。例えば、特定ＰＣ等は、ネットワーク８を介して会議端末３のＣＰＵ３１から音声データを受信し、音声データを解析して音響特徴量を抽出する。特定ＰＣ等は、特徴量の音響を辞書と比較して単語を決定し、テキストのデータを生成して、ＣＰＵ３１に送信すればよい。この場合、特定ＰＣ等は、特定ＰＣ等に接続する記憶装置に、認識対象の単語をデータ化した辞書を記憶すればよい。
【００９５】
会議サーバ１のＣＰＵ１１は、Ｓ６の処理で、複数の会議端末３から受信した音声データのミキシング処理を行い、Ｓ７の処理で、混合した音声データを各会議端末３に送信した。そして１の会議端末３のＣＰＵ３１は、フィルタリング処理によって、１の会議端末３において収音した音声を除去し、再生を行った。これに限らず、例えば、会議サーバ１のＣＰＵ１１は、複数の会議端末３から受信した音声データを混合する処理を行う際に、１の会議端末３から受信した音声データを除く他の会議端末３の音声データを混合し、混合した音声データを１の会議端末３に送信してもよい。この場合、ＣＰＵ１１は、混合した音声データの送信先となる会議端末３ごとに、個別の音声データ（送信先の会議端末３から受信した音声データを除いて混合した音声データ）を生成すればよい。あるいは、例えば、会議サーバ１のＣＰＵ１１がミキシング処理を行わず、１の会議端末３から受信した音声データを、そのまま、他の会議端末３のそれぞれに対して送信する処理を行ってもよい。この場合、各会議端末３のＣＰＵ３１は、それぞれ、会議サーバ１から受信した音声データに対するミキシング処理を行い、混合した音声データをスピーカ４１から出力すればよい。
【００９６】
本発明においては、会議サーバ１が「サーバ」に相当する。会議端末３が「端末装置」に相当する。チャット入力フィールド６３が「文字入力領域」に相当する。入力部３７がチャット入力フィールド６３に対する操作の入力を受け付けたか否か判断するＳ９６の処理が、「第一判断ステップ」に相当する。映像データを会議サーバ１に対して送信しているか否か判断するＳ１０２の処理が、「第二判断ステップ」に相当する。送信処理部３１Ｇが「送信部」に相当する。音声認識部３１Ｆが「認識部」に相当する。音声データを送信処理部３１Ｇに出力する処理を停止するＳ１０３の処理と、音声データを音声認識部３１Ｆに出力する処理を開始するＳ１０８の処理が、「第一制御ステップ」に相当する。音声認識部３１Ｆから出力されるチャットメッセージを取得するＳ９０の処理が、「取得ステップ」に相当する。音声データを音声認識部３１Ｆに出力する処理を停止するＳ８７（Ｓ１２５）の処理と、音声データを送信処理部３１Ｇに出力する処理を開始するＳ８７（Ｓ１２６）の処理と、チャットメッセージを送信処理部３１Ｇによって会議サーバ１に送信する処理を行うＳ９１の処理が、「第二制御ステップ」に相当する。
【００９７】
音声入力通知または合成映像データが「通知情報」に相当する。音声入力通知または合成映像作成命令を送信するＳ１０６またはＳ１０７の処理と、音声入力終了通知または合成映像作成中止命令を送信するＳ１２２またはＳ１２３の処理が、「第三制御ステップ」に相当する。アイコン等５３が映像データに合成する画像または映像に相当する。アイコン等５３を合成した合成映像データを生成するＳ５７の処理が、「生成ステップ」に相当する。チャットルームに入室するユーザのユーザＩＤが、「識別情報」に相当する。通知対象設定情報が「設定情報」に相当する。開設リクエストを送信するＳ６７の処理が、「第一出力ステップ」に相当する。領域６７が「第一領域」に相当する。入力部３７が領域６７に対する操作を受け付けたか否か判断するＳ９３の処理が、「第三判断ステップ」に相当する。音声データを音声認識部３１Ｆに出力する処理を停止するＳ９５（Ｓ１２５）の処理と、音声データを送信処理部３１Ｇに出力する処理を開始するＳ９５（Ｓ１２６）の処理が、「第四制御ステップ」に相当する。
【００９８】
音声入力停止ボタン６５が「第二領域」に相当する。入力部３７が音声入力停止ボタン６５に対する操作を受け付けたか否か判断するＳ８１の処理が、「第四判断ステップ」に相当する。音声データを音声認識部３１Ｆに出力する処理を停止するＳ８２（Ｓ１２５）の処理と、音声データを送信処理部３１Ｇに出力する処理を開始するＳ８２（Ｓ１２６）の処理が、「第五制御ステップ」に相当する。ＲＡＭ３３が「記憶部」に相当する。チャットメッセージをＲＡＭ３３に保存するＳ８３の処理が、「保存ステップ」に相当する。ＲＡＭ３３に保存するチャットメッセージをチャット入力フィールド６３に表示するＳ１０１の処理が、「第二出力ステップ」に相当する。ソフトウェアキーボードを表示するＳ１１０の処理が、「第三出力ステップ」に相当する。
【符号の説明】
【００９９】
１                      会議サーバ
３                      会議端末
８                      ネットワーク
３１                    ＣＰＵ
３１Ｆ                  音声認識部
３１Ｇ                  送信処理部
３３                    ＲＡＭ
３６                    表示部
３７                    入力部
３８                    タッチパネル
３９                    マイク
４０                    カメラ
５３                    アイコン等
６３                    チャット入力フィールド
６４                    送信ボタン
６５                    音声入力停止ボタン
６７                    領域
【図１】
2015126524.tif 000003
【図２】
2015126524.tif 000004
【図３】
2015126524.tif 000005
【図４】
2015126524.tif 000006
【図５】
2015126524.tif 000007
【図６】
2015126524.tif 000008
【図７】
2015126524.tif 000009
【図８】
2015126524.tif 000010
【図９】
2015126524.tif 000011
【図１０】
2015126524.tif 000012