(57)【要約】【課題】遠隔会議に参加している所定の端末装置から送信された画像データを、録画開始指示が取得されたタイミングから録画することを可能とする。【解決手段】会議サーバは、第１端末装置からの第１画像データと、第２端末装置からの第２画像データを取得し、第１画像データを第２端末装置に、第２画像データを第１端末装置に送信する。会議サーバは、録画開始指示を取得し、補完データの生成を指示する補完指示を第１端末装置又は第２端末装置のうちの一方の特定端末装置に送信し、補完データを取得する。補完データは、録画開始指示が取得された第１タイミングから、第１画像データを形成するフレーム内符号化画像が第１タイミング以降で最初に取得される第２タイミングまでの期間に対応したデータである。会議サーバは、第２タイミングから第１画像データを録画し、補完データと録画データを時系列に従い合成する。【選択図】図７
2014072599.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに接続される第１端末装置及び第２端末装置による遠隔会議のための遠隔会議システムに含まれ、前記ネットワークに接続される会議サーバであって、
前記第１端末装置から送信され、所定の時間間隔で含められ且つ単独で復号可能なフレーム内符号化画像と、フレーム内符号化画像に基づき復号可能なフレーム間符号化画像と、を含むデータ構造を有する第１画像データと、前記第２端末装置から送信され、前記データ構造を有する第２画像データと、を取得する第１取得手段と、
前記第１取得手段で取得された前記第１画像データが、前記第２端末装置に送信されるように制御し、前記第１取得手段で取得された前記第２画像データが、前記第１端末装置に送信されるように制御する第１送信手段と、
前記第１端末装置又は前記第２端末装置において入力された、前記第１画像データの録画を開始する指示である録画開始指示を取得する第２取得手段と、
前記第２取得手段で前記録画開始指示が取得された第１タイミングを基準として、前記第１タイミング以降、前記第１取得手段で前記第１画像データを形成するフレーム内符号化画像が取得されるタイミングを取得する第３取得手段と、
前記第１タイミングから、前記第１画像データを形成するフレーム内符号化画像が前記第１タイミング以降で最初に前記第１取得手段で取得される第２タイミングまでの期間に対応した前記第１画像データの部分を補完し、前記データ構造を有する補完データの生成を指示する補完指示が、前記第１端末装置又は前記第２端末装置のうちの一方の特定端末装置に送信されるように制御する第２送信手段と、
前記補完指示を受信した前記特定端末装置で、前記第１画像データに対応した画像を表示するために生成された表示データから生成され、前記特定端末装置から送信される、前記補完データを取得する第４取得手段と、
前記第２タイミングからの前記第１画像データの録画を制御する録画手段と、
前記第４取得手段で取得された前記補完データと、前記録画手段による制御によって録画された、前記データ構造を有する録画データと、を時系列に従い合成する合成手段と、を備える会議サーバ。
【請求項２】
前記第１タイミングから前記第２タイミングまでの期間と、予め定めた基準となる基準時間と、の関係を判断する判断手段を備え、
前記第２送信手段は、前記第１タイミングから前記第２タイミングまでの期間が前記基準時間より短いと前記判断手段によって判断される場合、前記補完指示が、前記特定端末装置に送信されるように制御しない、請求項１に記載の会議サーバ。
【請求項３】
前記第１端末装置の処理能力を示す第１能力情報と、前記第２端末装置の処理能力を示す第２能力情報と、を取得する第５取得手段と、
前記第１能力情報と前記第２能力情報とを比較し、前記第１端末装置又は前記第２端末装置のうち、処理能力の高い端末装置を、前記特定端末装置として決定する第１決定手段と、を備える、請求項１又は請求項２に記載の会議サーバ。
【請求項４】
前記ネットワークを介した前記第１端末装置との通信状態を示す第１状態情報と、前記ネットワークを介した前記第２端末装置との通信状態を示す第２状態情報と、を取得する第６取得手段と、
前記第１状態情報と前記第２状態情報とを比較し、前記第１端末装置又は前記第２端末装置のうち、通信状態が良好な端末装置を、前記特定端末装置として決定する第２決定手段と、を備える、請求項１又は請求項２に記載の会議サーバ。
【請求項５】
前記第３取得手段は、前記第１タイミングを基準として、前記第１タイミング以降、前記第２画像データを形成するフレーム内符号化画像が前記第１取得手段で取得されるタイミングを取得し、
前記第２送信手段は、
前記特定端末装置が前記第１端末装置である場合、前記第１画像データを形成するフレーム内符号化画像の取得について前記第３取得手段で取得されたタイミングとは異なるタイミングを、前記補完データを取得するタイミングとして含む第１の補完指示が、前記特定端末装置としての前記第１端末装置に送信されるように制御し、
前記特定端末装置が前記第２端末装置である場合、前記第２画像データを形成するフレーム内符号化画像の取得について前記第３取得手段で取得されたタイミングとは異なるタイミングを、前記補完データを取得するタイミングとして含む第２の補完指示が、前記特定端末装置としての前記第２端末装置に送信されるように制御する、請求項１から請求項４の何れか１項に記載の会議サーバ。
【請求項６】
前記第３取得手段は、前記第１タイミングを基準として、前記第１タイミング以降、前記第２画像データを形成するフレーム内符号化画像が前記第１取得手段で取得されるタイミングを取得し、
前記第２送信手段は、前記第１画像データを形成するフレーム内符号化画像の取得について前記第３取得手段で取得されたタイミングと、前記第２画像データを形成するフレーム内符号化画像の取得について前記第３取得手段で取得されたタイミングと、は異なるタイミングを、前記補完データを取得するタイミングとして含む第３の補完指示が、前記特定端末装置に送信されるように制御する、請求項１から請求項４の何れか１項に記載の会議サーバ。
【請求項７】
ネットワークに接続される第１端末装置及び第２端末装置による遠隔会議のための遠隔会議システムに含まれ、前記ネットワークに接続される会議サーバを制御する制御部が読み取り可能なコンピュータプログラムであって、
前記制御部を、
前記第１端末装置から送信され、所定の時間間隔で含められ且つ単独で復号可能なフレーム内符号化画像と、フレーム内符号化画像に基づき復号可能なフレーム間符号化画像と、を含むデータ構造を有する第１画像データと、前記第２端末装置から送信され、前記データ構造を有する第２画像データと、を取得する第１取得手段と、
前記第１取得手段で取得された前記第１画像データが、前記第２端末装置に送信されるように制御し、前記第１取得手段で取得された前記第２画像データが、前記第１端末装置に送信されるように制御する第１送信手段と、
前記第１端末装置又は前記第２端末装置において入力された、前記第１画像データの録画を開始する指示である録画開始指示を取得する第２取得手段と、
前記第２取得手段で前記録画開始指示が取得された第１タイミングを基準として、前記第１タイミング以降、前記第１取得手段で前記第１画像データを形成するフレーム内符号化画像が取得されるタイミングを取得する第３取得手段と、
前記第１タイミングから、前記第１画像データを形成するフレーム内符号化画像が前記第１タイミング以降で最初に前記第１取得手段で取得される第２タイミングまでの期間に対応した前記第１画像データの部分を補完し、前記データ構造を有する補完データの生成を指示する補完指示が、前記第１端末装置又は前記第２端末装置のうちの一方の特定端末装置に送信されるように制御する第２送信手段と、
前記補完指示を受信した前記特定端末装置で、前記第１画像データに対応した画像を表示するために生成された表示データから生成され、前記特定端末装置から送信される、前記補完データを取得する第４取得手段と、
前記第２タイミングからの前記第１画像データの録画を制御する録画手段と、
前記第４取得手段で取得された前記補完データと、前記録画手段による制御によって録画された、前記データ構造を有する録画データと、を時系列に従い合成する合成手段と、して機能させるコンピュータプログラム。
【請求項８】
ネットワークを介して互いに接続される、会議サーバと、第１端末装置と、第２端末装置と、を含む遠隔会議システムであって、
前記会議サーバは、
前記第１端末装置から送信され、所定の時間間隔で含められ且つ単独で復号可能なフレーム内符号化画像と、フレーム内符号化画像に基づき復号可能なフレーム間符号化画像と、を含むデータ構造を有する第１画像データと、前記第２端末装置から送信され、前記データ構造を有する第２画像データと、を取得する第１取得手段と、
前記第１取得手段で取得された前記第１画像データが、前記第２端末装置に送信されるように制御し、前記第１取得手段で取得された前記第２画像データが、前記第１端末装置に送信されるように制御する第１送信手段と、
前記第１端末装置又は前記第２端末装置において入力された、前記第１画像データの録画を開始する指示である録画開始指示を取得する第２取得手段と、
前記第２取得手段で前記録画開始指示が取得された第１タイミングを基準として、前記第１タイミング以降、前記第１取得手段で前記第１画像データを形成するフレーム内符号化画像が取得されるタイミングを取得する第３取得手段と、
前記第１タイミングから、前記第１画像データを形成するフレーム内符号化画像が前記第１タイミング以降で最初に前記第１取得手段で取得される第２タイミングまでの期間に対応した前記第１画像データの部分を補完し、前記データ構造を有する補完データの生成を指示する補完指示が、前記第１端末装置又は前記第２端末装置のうちの一方の特定端末装置に送信されるように制御する第２送信手段と、
前記補完指示を受信した前記特定端末装置で、前記第１画像データに対応した画像を表示するために生成された表示データから生成され、前記特定端末装置から送信される、前記補完データを取得する第４取得手段と、
前記第２タイミングからの前記第１画像データの録画を制御する録画手段と、
前記第４取得手段で取得された前記補完データと、前記録画手段による制御によって録画された、前記データ構造を有する録画データと、を時系列に従い合成する合成手段と、を備え、
前記第１端末装置は、
前記第１画像データが、前記会議サーバに送信されるように制御する第３送信手段と、
前記会議サーバから送信される前記第２画像データを取得する第７取得手段と、
前記録画開始指示が、前記会議サーバに送信されるように制御する第４送信手段と、
前記会議サーバから送信される前記補完指示に応じて、前記補完データを生成する第１生成手段と、
前記第１生成手段で生成された前記補完データが、前記会議サーバに送信されるように制御する第５送信手段と、を備え、
前記第２端末装置は、
前記第２画像データが、前記会議サーバに送信されるように制御する第６送信手段と、
前記会議サーバから送信される前記第１画像データを取得する第８取得手段と、
前記録画開始指示が、前記会議サーバに送信されるように制御する第７送信手段と、
前記会議サーバから送信される前記補完指示に応じて、前記補完データを生成する第２生成手段と、
前記第２生成手段で生成された前記補完データが、前記会議サーバに送信されるように制御する第９送信手段と、を備える、遠隔会議システム。
【請求項９】
遠隔会議システムに含まれる会議サーバが接続されたネットワークに接続され、前記会議サーバを介して遠隔会議を行う端末装置であって、
所定の時間間隔で含められ且つ単独で復号可能なフレーム内符号化画像と、フレーム内符号化画像に基づき復号可能なフレーム間符号化画像と、を含むデータ構造を有する第１画像データが、前記会議サーバを介して他の端末装置に送信されるように制御する第１０送信手段と、
前記他の端末装置から前記会議サーバを介して送信される第２画像データを取得する第９取得手段と、
前記第１画像データの録画を開始する指示である録画開始指示が、前記会議サーバに送信されるように制御する第１１送信手段と、
前記会議サーバから送信される前記第１画像データを補完する補完データの生成を指示する補完指示に応じて、前記補完データを生成する生成手段と、
前記生成手段で生成された前記補完データが、前記会議サーバに送信されるように制御する第１２送信手段と、を備え、
前記補完データは、前記録画開始指示が前記会議サーバで取得された第１タイミングから、前記第１画像データを形成するフレーム内符号化画像が前記第１タイミング以降で最初に前記会議サーバで取得される第２タイミングまでの期間に対応した前記第１画像データの部分を補完するデータである、端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔会議のための会議サーバと、会議サーバのためのコンピュータプログラムと、遠隔会議のための遠隔会議システムと、会議サーバが接続されたネットワークに接続される端末装置に関する。
【背景技術】
【０００２】
マルチビデオチャットシステムに関する技術が提案されている（特許文献１参照）。マルチビデオチャットシステムでは、コミュニケーションを行うＰＣ同士で互いに記録する方法を共有し、記録自体を分散化することで負荷の増大を抑え、映像を中心とした会議記録をとることができる。マルチビデオチャットシステムでは、コミュニケーションするＰＣ同士が検出され、接続台数が算出され、記録タイミングの間引き量が算出される。記録処理が行われ一定の記録量に達したときに記録データがサーバへ送信される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３３４１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
遠隔会議システムが実用化されている。遠隔会議システムを利用すると、会議への参加者が開催場所に集合することなく、インターネットのようなネットワークに接続された複数の端末装置を利用して、会議に参加することができる。遠隔会議システムの中には、遠隔会議システムに含まれる会議サーバが、各参加者が利用している端末装置で取得されたメディアデータをそれぞれ取得し、他の端末装置に送信（中継）することで、会議が実現されるようなものもある。メディアデータとしては、少なくとも、画像データが含まれる。音声データが、メディアデータに含まれる場合もある。
【０００５】
会議サーバと各端末装置の間を送受信される画像データは、フレーム内符号化画像と、フレーム間符号化画像を含むデータ構造を有する。フレーム内符号化画像は、符号化する際に基準となるフレームで、フレーム間予測を用いずに符号化される。そのため、フレーム内符号化画像は、他のフレームを参照することなく静止画を復号可能である。例えば、フレーム内符号化画像は、復号するのに必要な解像度等の画像情報を用いて、単独で静止画を復号可能である。フレーム間符号化画像は、他のフレームを参照して符号化される。そのため、フレーム間符号化画像は、他のフレーム、例えば、前方のフレーム内符号化画像及び／又はフレーム間符号化画像を用いて１つの静止画を復号可能である。このようなデータ構造によれば、画像データのデータ量を少なくすることができる。
【０００６】
各端末装置は、会議サーバに対して、所定の端末装置の画像データの録画を指示（録画開始指示）することが可能である。会議サーバは、録画開始指示を取得した場合、所定の端末装置の画像データを録画する。録画開始指示が取得されたタイミングで取得された画像データがフレーム間予測画像によって形成されていることもある。また、一般に、会議サーバでは、各端末装置間で行われる遠隔会議を制御する処理が実行されるだけで、各端末装置から取得された画像データに対応した画像を会議サーバ自身では表示しない場合もある。このようなタイプの会議サーバでは、録画開始指示がフレーム間予測画像を取得したタイミングで取得された場合、そのフレーム間符号化画像を復号するために必要な画像（例えば、フレーム内符号化画像や復号されたフレーム間符号化画像）が記憶されていないこともある。従って、次のフレーム内符号化画像が取得されるまで、所定の画像データを録画できない状態になると考えられる。フレーム内符号化画像の記憶の有無に関わらず、録画開始指示が取得されたタイミングから、遠隔会議に参加している複数の端末装置の間で送受信されるメディアデータを録画することが求められる場合もある。
【０００７】
本発明は、遠隔会議に参加している所定の端末装置から送信された画像データを、録画開始指示が取得されたタイミングから録画することができる、会議サーバ、会議サーバのためのコンピュータプログラム、遠隔会議システム及び端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面は、ネットワークに接続される第１端末装置及び第２端末装置による遠隔会議のための遠隔会議システムに含まれ、前記ネットワークに接続される会議サーバであって、前記第１端末装置から送信され、所定の時間間隔で含められ且つ単独で復号可能なフレーム内符号化画像と、フレーム内符号化画像に基づき復号可能なフレーム間符号化画像と、を含むデータ構造を有する第１画像データと、前記第２端末装置から送信され、前記データ構造を有する第２画像データと、を取得する第１取得手段と、前記第１取得手段で取得された前記第１画像データが、前記第２端末装置に送信されるように制御し、前記第１取得手段で取得された前記第２画像データが、前記第１端末装置に送信されるように制御する第１送信手段と、前記第１端末装置又は前記第２端末装置において入力された、前記第１画像データの録画を開始する指示である録画開始指示を取得する第２取得手段と、前記第２取得手段で前記録画開始指示が取得された第１タイミングを基準として、前記第１タイミング以降、前記第１取得手段で前記第１画像データを形成するフレーム内符号化画像が取得されるタイミングを取得する第３取得手段と、前記第１タイミングから、前記第１画像データを形成するフレーム内符号化画像が前記第１タイミング以降で最初に前記第１取得手段で取得される第２タイミングまでの期間に対応した前記第１画像データの部分を補完し、前記データ構造を有する補完データの生成を指示する補完指示が、前記第１端末装置又は前記第２端末装置のうちの一方の特定端末装置に送信されるように制御する第２送信手段と、前記補完指示を受信した前記特定端末装置で、前記第１画像データに対応した画像を表示するために生成された表示データから生成され、前記特定端末装置から送信される、前記補完データを取得する第４取得手段と、前記第２タイミングからの前記第１画像データの録画を制御する録画手段と、前記第４取得手段で取得された前記補完データと、前記録画手段による制御によって録画された、前記データ構造を有する録画データと、を時系列に従い合成する合成手段と、を備える会議サーバ、である。
【０００９】
これによれば、第１端末装置又は第２端末装置のうちの一方の特定端末装置に補完データを生成させることができる。そして、特定端末装置で生成された補完データと、会議サーバで録画された録画データを時系列に従い合成することができる。従って、録画開始指示に応じて、第１端末装置から送信された第１画像データに対応した画像を録画することができる。第１画像データ及び第２画像データに関し、フレーム内符号化画像が含められる所定の時間間隔は、両画像データで同一の間隔又は異なる間隔、何れであってもよい。
【００１０】
この遠隔会議システムは、次のようにしてもよい。前記第１タイミングから前記第２タイミングまでの期間と、予め定めた基準となる基準時間と、の関係を判断する判断手段を備え、前記第２送信手段は、前記第１タイミングから前記第２タイミングまでの期間が前記基準時間より短いと前記判断手段によって判断される場合、前記補完指示が、前記特定端末装置に送信されるように制御しない、ようにしてもよい。
【００１１】
これによれば、補完指示の送信及び合成に要する会議サーバにおける処理負荷を軽減することが可能となる。補完指示及び補完データが送受信されないため、ネットワークの輻輳を避ける及び／又は改善することも可能となる。
【００１２】
前記第１端末装置の処理能力を示す第１能力情報と、前記第２端末装置の処理能力を示す第２能力情報と、を取得する第５取得手段と、前記第１能力情報と前記第２能力情報とを比較し、前記第１端末装置又は前記第２端末装置のうち、処理能力の高い端末装置を、前記特定端末装置として決定する第１決定手段と、を備える、ようにしてもよい。
【００１３】
これによれば、処理能力（性能）の高い端末装置に補完データを生成させることができる。会議サーバでは、補完指示を送信後、これを取得するまでの時間を短縮することができる。
【００１４】
前記ネットワークを介した前記第１端末装置との通信状態を示す第１状態情報と、前記ネットワークを介した前記第２端末装置との通信状態を示す第２状態情報と、を取得する第６取得手段と、前記第１状態情報と前記第２状態情報とを比較し、前記第１端末装置又は前記第２端末装置のうち、通信状態が良好な端末装置を、前記特定端末装置として決定する第２決定手段と、を備える、ようにしてもよい。
【００１５】
これによれば、通信状態が良好な端末装置に補完データを生成させることができる。会議サーバでは、補完指示を送信後、これを取得するまでの時間を短縮することができる。ネットワークの輻輳を避ける及び／又は改善することが可能となる。
【００１６】
前記第３取得手段は、前記第１タイミングを基準として、前記第１タイミング以降、前記第２画像データを形成するフレーム内符号化画像が前記第１取得手段で取得されるタイミングを取得し、前記第２送信手段は、前記特定端末装置が前記第１端末装置である場合、前記第１画像データを形成するフレーム内符号化画像の取得について前記第３取得手段で取得されたタイミングとは異なるタイミングを、前記補完データを取得するタイミングとして含む第１の補完指示が、前記特定端末装置としての前記第１端末装置に送信されるように制御し、前記特定端末装置が前記第２端末装置である場合、前記第２画像データを形成するフレーム内符号化画像の取得について前記第３取得手段で取得されたタイミングとは異なるタイミングを、前記補完データを取得するタイミングとして含む第２の補完指示が、前記特定端末装置としての前記第２端末装置に送信されるように制御する、ようにしてもよい。
【００１７】
これによれば、第１端末装置から会議サーバへのデータ送信又は第２端末装置から会議サーバへのデータ送信に関し、第１画像データ又は第２画像データを形成するフレーム内符号化画像の送信のタイミングと、補完データの送信のタイミングを異ならせることができる。ネットワークの輻輳を避ける及び／又は改善することが可能となる。
【００１８】
前記第３取得手段は、前記第１タイミングを基準として、前記第１タイミング以降、前記第２画像データを形成するフレーム内符号化画像が前記第１取得手段で取得されるタイミングを取得し、前記第２送信手段は、前記第１画像データを形成するフレーム内符号化画像の取得について前記第３取得手段で取得されたタイミングと、前記第２画像データを形成するフレーム内符号化画像の取得について前記第３取得手段で取得されたタイミングと、は異なるタイミングを、前記補完データを取得するタイミングとして含む第３の補完指示が、前記特定端末装置に送信されるように制御する、ようにしてもよい。
【００１９】
これによれば、第１端末装置及び第２端末装置から会議サーバへのデータ送信に関し、第１画像データ及び第２画像データを形成する各フレーム内符号化画像の送信のタイミングと、補完データの送信タイミングを異ならせることができる。ネットワークの輻輳を避ける及び／又は改善することが可能となる。
【００２０】
本発明の他の側面は、ネットワークに接続される第１端末装置及び第２端末装置による遠隔会議のための遠隔会議システムに含まれ、前記ネットワークに接続される会議サーバを制御する制御部が読み取り可能なコンピュータプログラムであって、前記制御部を、前記第１端末装置から送信され、所定の時間間隔で含められ且つ単独で復号可能なフレーム内符号化画像と、フレーム内符号化画像に基づき復号可能なフレーム間符号化画像と、を含むデータ構造を有する第１画像データと、前記第２端末装置から送信され、前記データ構造を有する第２画像データと、を取得する第１取得手段と、前記第１取得手段で取得された前記第１画像データが、前記第２端末装置に送信されるように制御し、前記第１取得手段で取得された前記第２画像データが、前記第１端末装置に送信されるように制御する第１送信手段と、前記第１端末装置又は前記第２端末装置において入力された、前記第１画像データの録画を開始する指示である録画開始指示を取得する第２取得手段と、前記第２取得手段で前記録画開始指示が取得された第１タイミングを基準として、前記第１タイミング以降、前記第１取得手段で前記第１画像データを形成するフレーム内符号化画像が取得されるタイミングを取得する第３取得手段と、前記第１タイミングから、前記第１画像データを形成するフレーム内符号化画像が前記第１タイミング以降で最初に前記第１取得手段で取得される第２タイミングまでの期間に対応した前記第１画像データの部分を補完し、前記データ構造を有する補完データの生成を指示する補完指示が、前記第１端末装置又は前記第２端末装置のうちの一方の特定端末装置に送信されるように制御する第２送信手段と、前記補完指示を受信した前記特定端末装置で、前記第１画像データに対応した画像を表示するために生成された表示データから生成され、前記特定端末装置から送信される、前記補完データを取得する第４取得手段と、前記第２タイミングからの前記第１画像データの録画を制御する録画手段と、前記第４取得手段で取得された前記補完データと、前記録画手段による制御によって録画された、前記データ構造を有する録画データと、を時系列に従い合成する合成手段と、して機能させるコンピュータプログラム、である。
【００２１】
これによれば、第１端末装置又は第２端末装置のうちの一方の特定端末装置に補完データを生成させることが可能な会議サーバを実現することができる。そして、特定端末装置で生成された補完データと、会議サーバで録画された録画データを時系列に従い合成することが可能な会議サーバを実現することができる。従って、会議サーバで、録画開始指示に応じて、第１端末装置から送信された第１画像データに対応した画像を録画することができる。なお、第１画像データ及び第２画像データについては、上述した通りである。
【００２２】
このコンピュータプログラムは、上述した要素をさらに備える会議サーバを制御する制御部が読み取り可能なコンピュータプログラムとして特定されてもよい。このようなコンピュータプログラムによれば、上述した要素をさらに備える会議サーバを実現することができる。
【００２３】
本発明のさらに他の側面は、ネットワークを介して互いに接続される、会議サーバと、第１端末装置と、第２端末装置と、を含む遠隔会議システムであって、前記会議サーバは、前記第１端末装置から送信され、所定の時間間隔で含められ且つ単独で復号可能なフレーム内符号化画像と、フレーム内符号化画像に基づき復号可能なフレーム間符号化画像と、を含むデータ構造を有する第１画像データと、前記第２端末装置から送信され、前記データ構造を有する第２画像データと、を取得する第１取得手段と、前記第１取得手段で取得された前記第１画像データが、前記第２端末装置に送信されるように制御し、前記第１取得手段で取得された前記第２画像データが、前記第１端末装置に送信されるように制御する第１送信手段と、前記第１端末装置又は前記第２端末装置において入力された、前記第１画像データの録画を開始する指示である録画開始指示を取得する第２取得手段と、前記第２取得手段で前記録画開始指示が取得された第１タイミングを基準として、前記第１タイミング以降、前記第１取得手段で前記第１画像データを形成するフレーム内符号化画像が取得されるタイミングを取得する第３取得手段と、前記第１タイミングから、前記第１画像データを形成するフレーム内符号化画像が前記第１タイミング以降で最初に前記第１取得手段で取得される第２タイミングまでの期間に対応した前記第１画像データの部分を補完し、前記データ構造を有する補完データの生成を指示する補完指示が、前記第１端末装置又は前記第２端末装置のうちの一方の特定端末装置に送信されるように制御する第２送信手段と、前記補完指示を受信した前記特定端末装置で、前記第１画像データに対応した画像を表示するために生成された表示データから生成され、前記特定端末装置から送信される、前記補完データを取得する第４取得手段と、前記第２タイミングからの前記第１画像データの録画を制御する録画手段と、前記第４取得手段で取得された前記補完データと、前記録画手段による制御によって録画された、前記データ構造を有する録画データと、を時系列に従い合成する合成手段と、を備え、前記第１端末装置は、前記第１画像データが、前記会議サーバに送信されるように制御する第３送信手段と、前記会議サーバから送信される前記第２画像データを取得する第７取得手段と、前記録画開始指示が、前記会議サーバに送信されるように制御する第４送信手段と、前記会議サーバから送信される前記補完指示に応じて、前記補完データを生成する第１生成手段と、前記第１生成手段で生成された前記補完データが、前記会議サーバに送信されるように制御する第５送信手段と、を備え、前記第２端末装置は、前記第２画像データが、前記会議サーバに送信されるように制御する第６送信手段と、前記会議サーバから送信される前記第１画像データを取得する第８取得手段と、前記録画開始指示が、前記会議サーバに送信されるように制御する第７送信手段と、前記会議サーバから送信される前記補完指示に応じて、前記補完データを生成する第２生成手段と、前記第２生成手段で生成された前記補完データが、前記会議サーバに送信されるように制御する第９送信手段と、を備える、遠隔会議システム、である。
【００２４】
これによれば、第１端末装置又は第２端末装置のうちの一方の特定端末装置に補完データを生成させることができる。そして、会議サーバで、特定端末装置で生成された補完データと、会議サーバで録画された録画データを時系列に従い合成することができる。従って、会議サーバで、録画開始指示に応じて、第１端末装置から送信された第１画像データに対応した画像を録画することができる。なお、第１画像データ及び第２画像データについては、上述した通りである。
【００２５】
この遠隔会議システムにおいて会議サーバは、上述した要素をさらに備える会議サーバとして特定されてもよい。この場合、第１端末装置及び第２端末装置は、上述した要素をさらに備える会議サーバに対応した要素を備える。
【００２６】
本発明のさらに他の側面は、遠隔会議システムに含まれる会議サーバが接続されたネットワークに接続され、前記会議サーバを介して遠隔会議を行う端末装置であって、所定の時間間隔で含められ且つ単独で復号可能なフレーム内符号化画像と、フレーム内符号化画像に基づき復号可能なフレーム間符号化画像と、を含むデータ構造を有する第１画像データが、前記会議サーバを介して他の端末装置に送信されるように制御する第１０送信手段と、前記他の端末装置から前記会議サーバを介して送信される第２画像データを取得する第９取得手段と、前記第１画像データの録画を開始する指示である録画開始指示が、前記会議サーバに送信されるように制御する第１１送信手段と、前記会議サーバから送信される前記第１画像データを補完する補完データの生成を指示する補完指示に応じて、前記補完データを生成する生成手段と、前記生成手段で生成された前記補完データが、前記会議サーバに送信されるように制御する第１２送信手段と、を備え、前記補完データは、前記録画開始指示が前記会議サーバで取得された第１タイミングから、前記第１画像データを形成するフレーム内符号化画像が前記第１タイミング以降で最初に前記会議サーバで取得される第２タイミングまでの期間に対応した前記第１画像データの部分を補完するデータである、端末装置、である。
【００２７】
これによれば、上述した会議サーバに対応可能な端末装置とすることができる。この端末装置が、上述した遠隔会議システムにおける第１端末装置に対応する場合、他の端末装置は、遠隔会議システムにおける第２端末装置に対応する。この端末装置の第１０送信手段は、第１端末装置の第３送信手段に対応する。この端末装置の第９取得手段は、第１端末装置の第７取得手段に対応する。この端末装置の第１１送信手段は、第１端末装置の第４送信手段に対応する。この端末装置の生成手段は、第１端末装置の第１生成手段に対応する。この端末装置の第１２送信手段は、第１端末装置の第５送信手段に対応する。この端末装置における第１画像データは、第１端末装置の第３送信手段によって会議サーバに送信される第１画像データに対応する。この端末装置における第２画像データは、第１端末装置の第７取得手段によって取得される第２画像データに対応する。
【００２８】
この端末装置が、上述した遠隔会議システムにおける第２端末装置に対応する場合、他の端末装置は、遠隔会議システムにおける第１端末装置に対応する。この端末装置の第１０送信手段は、第２端末装置の第６送信手段に対応する。この端末装置の第９取得手段は、第２端末装置の第８取得手段に対応する。この端末装置の第１１送信手段は、第２端末装置の第７送信手段に対応する。この端末装置の生成手段は、第２端末装置の第２生成手段に対応する。この端末装置の第１２送信手段は、第２端末装置の第９送信手段に対応する。この端末装置における第１画像データは、第２端末装置の第６送信手段によって会議サーバに送信される第２画像データに対応する。この端末装置における第２画像データは、第２端末装置の第８取得手段によって取得される第１画像データに対応する。
【発明の効果】
【００２９】
本発明によれば、遠隔会議に参加している所定の端末装置から送信された画像データを、録画開始指示が取得されたタイミングから録画することができる、会議サーバ、会議サーバのためのコンピュータプログラム、遠隔会議システム及び端末装置を得ることができる。
【図面の簡単な説明】
【００３０】
【図１】遠隔会議システムの概略を示す図である。
【図２】メディアデータの送受信を説明する図である。
【図３】端末装置の表示部で表示される遠隔会議画面の一例を示す図である。
【図４】画像データのデータ構造の一例を示す図である。
【図５】端末装置で撮影に基づいた画像データの符号化を説明する図である。
【図６】遠隔会議システムで行われる遠隔会議の録画に関する処理のシーケンス図である。
【図７】会議サーバで実行されるサーバ処理のフローチャート（その１）である。
【図８】会議サーバで実行されるサーバ処理のフローチャート（その２）である。
【図９】補完データを取得するタイミングの決定を説明する図である。
【図１０】サーバ処理で実行される第１サブ処理のフローチャートである。
【図１１】タイミングテーブルを説明する図である。
【図１２】サーバ処理で実行される第２サブ処理のフローチャートである。
【図１３】サーバ処理で実行される第３サブ処理（第１例）のフローチャートである。
【図１４】性能テーブルを説明する図である。
【図１５】第１例の第３サブ処理で実行される端末性能処理のフローチャートである。
【図１６】サーバ処理で実行される第３サブ処理（第２例）のフローチャートである。
【図１７】通信状態テーブルを説明する図である。
【図１８】第２例の第３サブ処理で実行される通信状態処理のフローチャートである。
【図１９】端末装置で実行される端末処理のフローチャート（その１）である。
【図２０】端末装置で実行される端末処理のフローチャート（その２）である。
【発明を実施するための形態】
【００３１】
本発明を実施するための実施形態について、図面を用いて説明する。本発明は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に示す構成の一部は、省略し又は他の構成等に置換してもよい。また、他の構成を含むようにしてもよい。
【００３２】
＜遠隔会議システム＞
遠隔会議システム１０について、図１及び図２を参照して説明する。遠隔会議システム１０は、図１に示すように、会議サーバ２０と、複数の端末装置５０Ａ，５０Ｂ，５０Ｃを含む。本実施形態では、これら３台の端末装置５０Ａ，５０Ｂ，５０Ｃによって行われる遠隔会議を例に説明する。遠隔会議システム１０による遠隔会議は、３台以上の端末装置で行われるようにしてもよい。本実施形態では、端末装置５０Ａ，５０Ｂ，５０Ｃを区別しない場合、又は、これらを総称する場合、「端末装置５０」という。
【００３３】
会議サーバ２０と、端末装置５０Ａ，５０Ｂ，５０Ｃは、ネットワーク８０に接続されている。ネットワーク８０は、例えば、インターネットのようなネットワークである。端末装置５０Ａ，５０Ｂ，５０Ｃによる遠隔会議は、会議サーバ２０を介して行われる。遠隔会議システム１０における遠隔会議は、例えば、テレビ会議、ビデオ会議又はウェブ会議等と称されることもある。
【００３４】
端末装置５０は、例えば、遠隔会議のためのコンピュータプログラムがインストールされた汎用のコンピュータ（例えば、パーソナルコンピュータ、又は、スマートフォンのような携帯端末装置）である。端末装置５０が汎用のコンピュータである場合、遠隔会議のためのコンピュータプログラムは、事前にインストールされていてもよいが、遠隔会議への参加に際し、端末装置５０が会議サーバ２０にアクセスした場合に、会議サーバ２０からネットワーク８０を介して各端末装置５０に送信され、そのタイミングでインストールされるようにしてもよい。事前のインストールは、光ディスクや半導体メモリ等の記憶媒体に保存されたコンピュータプログラムが、端末装置５０の読み取り部によって読み取られることで行われる。あるいは、事前のインストールは、ネットワーク８０を介して端末装置５０に接続されるサーバ（会議サーバ２０又は不図示のサーバ）のハードディスク等の記憶部に記憶されたコンピュータプログラムが、端末装置５０の通信部６０（後述）を介して受信されることで行われる。何れの形態とするかは、諸事情を考慮し、適宜決定される。端末装置５０は、会議サーバ２０を介して行われる遠隔会議のための専用端末であってもよい。なお、会議サーバ２０も、遠隔会議のためのコンピュータプログラムが記憶されたハードディスク等の記憶媒体を有する汎用のサーバであってよい。
【００３５】
遠隔会議システム１０では、図２に示すように、メディアデータＡが、端末装置５０Ａから会議サーバ２０に継続して送信され、メディアデータＢが、端末装置５０Ｂから会議サーバ２０に継続して送信され、メディアデータＣが、端末装置５０Ｃから会議サーバ２０に継続して送信される。メディアデータＡは、端末装置５０Ａで取得された画像データ（映像データ）Ａ及び音声データＡを含む。メディアデータＢは、端末装置５０Ｂで取得された画像データＢ及び音声データＢを含む。メディアデータＣは、端末装置５０Ｃで取得された画像データＣ及び音声データＣを含む。図２では、ネットワーク８０を省略している。
【００３６】
メディアデータＡ，Ｂ，Ｃを受信し、取得した会議サーバ２０は、メディアデータＤを、端末装置５０Ａ，５０Ｂ，５０Ｃにそれぞれ継続して送信する。メディアデータＤは、画像データＡ，Ｂ，Ｃと、音声データＡ，Ｂ，Ｃを含む。
【００３７】
端末装置５０Ａ，５０Ｂ，５０Ｃでは、受信されたメディアデータＤに含まれる、画像データＡに対応した画像６５Ａと、画像データＢに対応した画像６５Ｂと、画像データＣに対応した画像６５Ｃが表示される。また、端末装置５０Ａ，５０Ｂ，５０Ｃでは、受信されたメディアデータＤに含まれる、音声データＡ，Ｂ，Ｃが、画像データＡ，Ｂ，Ｃに同期して再生されて出力される。遠隔会議システム１０では、このようにして遠隔会議が行われる。
【００３８】
＜会議サーバ＞
会議サーバ２０は、図１に示すように、ＣＰＵ２２と、ＲＯＭ２４と、記憶部２６と、ＲＡＭ２８と、計時部３０と、通信部３２を備える。ＣＰＵ２２と、ＲＯＭ２４と、記憶部２６と、ＲＡＭ２８と、計時部３０と、通信部３２は、バス３４を介して接続されている。ＣＰＵ２２は、演算処理を実行する。ＲＯＭ２４は、例えば、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）等のような、会議サーバ２０を起動させるためのコンピュータプログラムを記憶する。記憶部２６は、例えば、オペレーションシステムと、後述する処理（図７及び図８等参照）のためのコンピュータプログラムを含む各種のコンピュータプログラムを記憶する。記憶部２６には、会議サーバ２０で録画が実行された場合に生成される録画データが記憶される。ＲＡＭ２８は、ＣＰＵ２２が各種のコンピュータプログラムを実行する際に利用される記憶領域となる。ＲＡＭ２８には、各種の処理の実行途中に、処理で利用される所定のデータが記憶される。ＣＰＵ２２は、記憶部２６に記憶されたオペレーションシステム及び／又はコンピュータプログラムを実行する等して、会議サーバ２０を制御する。これによって、会議サーバ２０では、各種の処理が実行され、各種の機能が実現される。
【００３９】
計時部３０は、時計機能を有し、現在時刻を計測する。計時部３０は、例えば、オペレーションシステムに標準で搭載される計時機能を利用することで達成されてもよい。通信部３２は、ネットワーク８０に接続され、ネットワーク８０を介した端末装置５０Ａ，５０Ｂ，５０Ｃとの通信を実行する。通信部３２は、端末装置５０Ａ，５０Ｂ，５０Ｃからそれぞれ送信されるメディアデータＡ，Ｂ，Ｃを受信し、端末装置５０Ａ，５０Ｂ，５０ＣにメディアデータＤをそれぞれ送信する。通信部３２は、端末装置５０Ａ，５０Ｂ，５０Ｃの何れかから送信される録画開始指示を受信し、端末装置５０Ａ，５０Ｂ，５０Ｃの何れかに補完指示を送信する。通信部３２は、補完指示を受信した端末装置５０Ａ，５０Ｂ，５０Ｃの何れかから送信される補完データを受信する。録画開始指示、補完指示及び補完データについては、後述する。
【００４０】
＜端末装置＞
端末装置５０Ａは、図１に示すように、ＣＰＵ５２と、ＲＯＭ５４と、記憶部５６と、ＲＡＭ５８と、計時部５９と、通信部６０を備える。ＣＰＵ５２と、ＲＯＭ５４と、記憶部５６と、ＲＡＭ５８と、計時部５９と、通信部６０は、バス７６を介して接続される。端末装置５０Ａには、表示部６２と、音声出力部６８と、操作部７０と、撮影部７２と、集音部７４が接続される。表示部６２と、音声出力部６８と、操作部７０と、撮影部７２と、集音部７４は、それぞれに対応して設けられるインターフェース回路（不図示）を介して、バス７６に接続される。図１では図示を省略しているが、端末装置５０Ｂ，５０Ｃは、端末装置５０Ａが備える上述した各部を備える。
【００４１】
ＣＰＵ５２は、演算処理を実行する。ＲＯＭ５４は、例えば、ＢＩＯＳ等のような端末装置５０を起動させるためのコンピュータプログラムを記憶する。記憶部５６は、オペレーションシステムと、会議サーバ２０との遠隔会議のためのコンピュータプログラムを記憶する。遠隔会議のためのコンピュータプログラムは、上述した通り、事前のインストールにより記憶部５６に記憶されていてもよいが、会議への参加に際し、端末装置５０が会議サーバ２０にアクセスしたタイミングでインストールされて記憶されるようにしてもよい。ＲＡＭ５８は、ＣＰＵ５２が各種のコンピュータプログラムを実行する際に利用される記憶領域となる。ＲＡＭ５８には、各種の処理の実行途中に、処理で利用される所定のデータが記憶される。ＣＰＵ５２は、記憶部５６に記憶されたオペレーションシステム及び／又はコンピュータプログラムを実行する等して、端末装置５０を制御する。これによって、端末装置５０では、各種の処理が実行され、各種の機能が実現される。
【００４２】
計時部５９は、時計機能を有し、現在時刻を計測する。計時部５９は、例えば、オペレーションシステムに標準で搭載される計時機能を利用することで達成されてもよい。通信部６０は、ネットワーク８０に接続され、ネットワーク８０を介した会議サーバ２０との通信を実行する。通信部６０による通信は、有線通信又は無線通信の何れであってもよい。端末装置５０Ａ，５０Ｂ，５０Ｃがそれぞれ備える通信部６０は、会議サーバ２０に、メディアデータＡ，Ｂ，Ｃをそれぞれ送信し、会議サーバ２０から送信されるメディアデータＤを受信する。各通信部６０は、会議サーバ２０に録画開始指示を送信し、会議サーバ２０から送信される補完指示を受信する。各通信部６０は、会議サーバ２０に補完データを送信する。録画開始指示、補完指示及び補完データについては、後述する。
【００４３】
表示部６２は、諸情報を表示する。例えば、表示部６２には、図３に示すような遠隔会議画面６４が表示される。音声出力部６８は、音声を出力する。例えば、遠隔会議が行われている場合、音声出力部６８からは、音声データＡ，Ｂ，Ｃに対応した音声がそれぞれ出力される。操作部７０は、所定のキー等を含み、ユーザからの操作指示を受け付けるインターフェースである。端末装置５０が、例えば、パーソナルコンピュータである場合、操作部７０は、キーボード及びマウス等によって構成される。端末装置５０が、スマートフォンのような携帯端末装置である場合、操作部７０は、タッチパネル機能によって構成される場合もある。撮影部７２は、端末装置５０が存在する外界の像を撮影する。撮影部７２で撮影された映像は、画像データとされる。集音部７４は、端末装置５０が存在する外界の音声を集音する。集音部７４で集音された音声は、音声データとされる。
【００４４】
＜画像データ＞
端末装置５０Ａ，５０Ｂ，５０Ｃでそれぞれ生成される画像データＡ，Ｂ，Ｃのデータ構造について、図４を参照して説明する。画像データＡ，Ｂ，Ｃは、何れも同一のデータ構造を有する。従って、本実施形態では、画像データＡ，Ｂ，Ｃを区別せず、又は、総称する場合、単に、「画像データ」という（「メディアデータＡ，Ｂ，Ｃ」、「音声データＡ，Ｂ，Ｃ」についても同じ）。
【００４５】
画像データは、所定の符号化方式で符号化（圧縮）された動画データである。符号化方式としては、Ｈ．２６４が例示される。画像データは、図４に示すように、Ｉフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ  Ｆｒａｍｅ）と、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ  Ｆｒａｍｅ）を含む。即ち、画像データは、ＩフレームとＰフレームによって形成される。Ｉフレームは、撮影部７２で撮影された画像を符号化する際に基準となるフレームで、フレーム間予測を用いずに符号化される。Ｉフレームは、フレーム内符号化画像と称されることもある。Ｐフレームは、前方向予測のみを用いて符号化されるフレームで、前方の基準フレーム（Ｉフレーム及び／又はＩフレームによって復号されたＰフレーム）を用いて復号することで１つの静止画を形成する。Ｐフレームは、フレーム間符号化画像と称されることもある。
【００４６】
例えば、端末装置５０Ａを介して遠隔会議に参加しているユーザの表情が、図５に示すように変化したとする。最初のシーンに係る画像（図５の「シーン１」参照）は、画像全体が符号化され、Ｉフレームとされる。Ｉフレームは、画像全体が符号化されているため、単独で１つの静止画（図５の「シーン１」参照）を復号可能である。シーン１に続けて、撮影された画像（図５の「シーン２」参照）は、図５の「シーン１」と比較すると、ユーザの口元部分だけが変化している。そこで、図５の「シーン１」と相違している差分領域Ｅ（図５の「シーン２」で破線で囲まれた「差分領域Ｅ」参照）のみが符号化され、Ｐフレームとされる。即ち、Ｐフレームは、基準となる前方のＩフレームとの差分領域Ｅのみが符号化された画像である。Ｐフレームは、差分領域Ｅを除く基準のＩフレームの領域を利用して、１つの静止画を復号可能である。
【００４７】
画像データを形成する画像は、図４に示すように、所定の時間間隔Ｆで、Ｉフレームとされる。端末装置５０Ａ，５０Ｂ，５０Ｃでそれぞれ生成される画像データＡ，Ｂ，Ｃにおいて、Ｉフレームが繰り返される時間間隔Ｆは、同一とされる。但し、時間間隔Ｆは、画像データＡ，Ｂ，Ｃ毎に異なる間隔としてもよい。
【００４８】
＜録画に関する処理シーケンス＞
遠隔会議システム１０で行われる遠隔会議の録画に関する処理について、図６を参照して説明する。図６に示すシーケンスは、遠隔会議が開始されており、端末装置５０Ａ，５０Ｂ，５０Ｃは、会議サーバ２０に、メディアデータＡ，Ｂ，Ｃをそれぞれ送信し、会議サーバ２０は、端末装置５０Ａ，５０Ｂ，５０Ｃに、メディアデータＤをそれぞれ送信している状態（図２参照）を前提とする。録画開始指示は、端末装置５０Ａから送信され、補完指示は、端末装置５０Ｂに送信されることとする。従って、図６では、端末装置５０Ｃに関する図示を省略している。また、画像データを対象として説明する。
【００４９】
遠隔会議が開始されたタイミング、又は、開始後所定の時間が経過したタイミングで、端末装置５０Ａのユーザ（参加者の１人）が、操作部７０を操作し、録画開始指示を入力する。録画開始指示は、例えば、図３に示すように、表示部６２に表示される遠隔会議画面６４に設けられた入力ボタン６６を、操作部７０を操作して押下することで入力される。この場合、端末装置５０Ａの通信部６０から会議サーバ２０に、録画開始指示が送信される（Ｔ１）。会議サーバ２０では、通信部３２で録画開始指示が受信される（Ｔ２）。録画開始指示に伴い、会議サーバ２０では、画像データを録画した録画データが、記憶部２６に記憶される。録画の対象は、画像データＡ，Ｂ，Ｃのうちの何れかとされる。例えば、録画の対象は、録画開始指示を送信した端末装置５０Ａに関連した画像データＡとされる。但し、画像データＡ，Ｂ，Ｃのうち複数又は全てが録画の対象とされてもよい。
【００５０】
会議サーバ２０では、録画開始指示が取得されると、補完データを生成するか否かが判断される（Ｔ３）。Ｔ３での具体的な判断手法については、後述する。補完データを生成しない場合（Ｔ３：しない）、会議サーバ２０では、録画が開始される（Ｔ４）。録画開始に伴い順次生成される録画データは、記憶部２６に記憶される。録画データと共に、録画の対象である所定の画像データの部分に対応した所定の音声データの部分に対応した録音データを生成し、録画データと関連付けて記憶部２６に記憶するようにしてもよい。
【００５１】
補完データを生成する場合（Ｔ３：する）、会議サーバ２０では、端末装置５０Ａ，５０Ｂ，５０Ｃの中から、補完データを生成する端末装置５０が決定される（Ｔ５）。本実施形態では、補完データを生成する端末装置５０を、「特定の端末装置５０」という。Ｔ５での具体的な決定手法については、後述する。ここでは、上述した通り、端末装置５０Ｂが、特定の端末装置５０として決定される。その後、会議サーバ２０では、通信部３２から端末装置５０Ｂに、補完指示が送信される（Ｔ６）。会議サーバ２０では、Ｔ６が実行されると、補完データを生成しない場合（Ｔ３：しない参照）と同様、録画が開始される（Ｔ４）。
【００５２】
端末装置５０Ｂでは、Ｔ６で通信部３２から送信された補完指示が、通信部６０で受信される（Ｔ７）。端末装置５０Ｂでは、補完データが生成される（Ｔ８）。補完データは、録画の対象である画像データに対応して生成される。上述したように、録画データと共に録音データが生成される場合、補完データに対応した音声データが生成される。この音声データは、録画の対象である画像データの部分に対応した音声データの部分によって生成される。補完指示及び補完データについては、後述する。補完データが生成された場合、端末装置５０Ｂでは、通信部６０から会議サーバ２０に、生成された補完データが送信される（Ｔ９）。このとき、補完データに対応した音声データも補完データと共に送信される。
【００５３】
会議サーバ２０では、通信部３２で補完データが受信される（Ｔ１０）。会議サーバ２０で補完データが取得されると、会議サーバ２０では、補完データと、録画データが時系列に従い合成される（Ｔ１１）。詳細は後述するが、録画データの先頭（時間的に最も古い）部分に、補完データが合成される。補完データが合成される録画データは、Ｔ３で、補完データを生成すると判断（Ｔ３：する参照）され、Ｔ５及びＴ６を経て、Ｔ４で録画が開始された録画データである。なお、Ｔ４で開始される録画は、録画停止指示が通信部３２で受信されたことに対応して終了する。
【００５４】
＜サーバ処理＞
会議サーバ２０で実行されるサーバ処理について、図７及び図８等を参照して説明する。例えば、遠隔会議システム１０では、遠隔会議の開催予定日時以前に、遠隔会議に参加予定の端末装置５０Ａ，５０Ｂ，５０Ｃのそれぞれに対応した各電子メールアドレスを宛先として、会議サーバ２０から電子メールが送信される。この電子メールは、端末装置５０Ａ、５０Ｂ，５０Ｃによる遠隔会議のためのＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）を含む。端末装置５０Ａ，５０Ｂ，５０Ｃの各ユーザは、遠隔会議の開催予定日時に、前述したＵＲＬを対象として、端末装置５０Ａ，５０Ｂ，５０Ｃの各操作部７０を操作等する。これによって、端末装置５０Ａ，５０Ｂ，５０Ｃは、会議サーバ２０にそれぞれアクセスする。
【００５５】
サーバ処理は、遠隔会議に参加する端末装置５０Ａ，５０Ｂ，５０Ｃ毎に開始される。端末装置５０Ａが会議サーバ２０にアクセスしてきた場合、ＣＰＵ２２は、端末装置５０Ａのためのサーバ処理を開始する。端末装置５０Ｂが会議サーバ２０にアクセスしてきた場合、ＣＰＵ２２は、端末装置５０Ｂのためのサーバ処理を開始する。端末装置５０Ｃが会議サーバ２０にアクセスしてきた場合、ＣＰＵ２２は、端末装置５０Ｃのためのサーバ処理を開始する。
【００５６】
サーバ処理を開始したＣＰＵ２２は、アクセスしてきた端末装置５０との間で遠隔会議を開始する（Ｓ１００）。具体的に、Ｓ１００でＣＰＵ２２は、アクセスしてきた端末装置５０との間で、遠隔会議のためのセッションを確立するための諸手続を実行する。この諸手続は、例えば、端末装置５０から装置ＩＤと会議ＩＤを含む会議開始要求（図１９のＳ８００参照）が受信され、その装置ＩＤと会議ＩＤが記憶部２６に記憶されたデータベースに存在するか否かを判断する等の処理を含む。装置ＩＤは、端末装置５０を識別する情報である。会議ＩＤは端末装置５０が参加する会議を識別する情報である。会議ＩＤは、例えば、上述した遠隔会議のためのＵＲＬに対応する。セッションが確立されると、ＣＰＵ２２は、会議ＩＤに関連付けて装置ＩＤをＲＡＭ２８に一時記憶する。
【００５７】
続けて、ＣＰＵ２２は、第１サブ処理を実行する（Ｓ１０２）。第１サブ処理は、遠隔会議を開始した端末装置５０からのメディアデータに含められる画像データに関し、会議サーバ２０（ＣＰＵ２２）でＩフレームを取得するタイミングを決定する処理である。決定されたタイミングは、タイミングテーブル（図１１参照）に登録される。第１サブ処理及びタイミングテーブルについては、後述する。ＣＰＵ２２は、第１サブ処理で決定され、アクセスしてきた端末装置５０に関連付けられたＩフレーム取得のタイミングが、通信部３２から遠隔会議を開始した端末装置５０に送信されるように制御する（Ｓ１０４）。
【００５８】
例えば、アクセスしてきた端末装置５０が端末装置５０Ａであったとする。この場合、ＣＰＵ２２は、端末装置５０Ａのためのサーバ処理を開始する（Ｓ１００参照）。会議サーバ２０と端末装置５０Ａの間でセッションが確立されると、ＣＰＵ２２は、第１サブ処理を実行し、端末装置５０ＡからのメディアデータＡに含められる画像データＡに関し、Ｉフレーム取得のタイミングを決定する（Ｓ１０２参照）。ＣＰＵ２２は、決定されたタイミング（図１１に示すタイミングテーブルで、端末装置５０Ａに関連付けられた「タイミング（Ｉ１，Ｉ２，Ｉ３・・・）」参照）が、通信部３２から端末装置５０Ａに送信されるように制御する（Ｓ１０４参照）。通信部６０でこのタイミングを受信した端末装置５０Ａでは、会議サーバ２０へのメディアデータＡの送信が開始される（図１９のＳ８０４参照）。端末装置５０ＡのＣＰＵ５２は、通信部６０での受信に伴い取得されたＩフレーム取得のタイミングに対応したタイミングで、画像データＡを形成するＩフレームを含むメディアデータＡが、通信部６０から会議サーバ２０に送信されるように制御する。会議サーバ２０では、メディアデータＡが通信部３２で受信される。
【００５９】
ＣＰＵ２２は、端末装置５０Ｂ，５０Ｃがアクセスしてきたそれぞれのタイミングで、上述した端末装置５０Ａの場合と同様にして、端末装置５０Ｂのためのサーバ処理と、端末装置５０Ｃのためのサーバ処理を開始し、各サーバ処理においてＳ１００〜Ｓ１０４をそれぞれ実行する。会議サーバ２０では、通信部３２で、メディアデータＢが受信され、メディアデータＣが受信される。会議サーバ２０では、端末装置５０Ａ，５０Ｂ，５０Ｃのうち、セッションが確立された端末装置５０からのメディアデータに含まれる画像データ及び音声データを含むメディアデータＤが、通信部３２からセッションが確立された端末装置５０に送信される。画像データＡ，Ｂ，Ｃ及び音声データＡ，Ｂ，Ｃを含むメディアデータＤは、端末装置５０Ａ，５０Ｂ，５０Ｃの全てとセッションが確立された場合に送信される。本実施形態では、会議サーバ２０にアクセスし、会議サーバ２０においてサーバ処理が開始された端末装置５０を、そのサーバ処理に関する「対象の端末装置５０」という。例えば、端末装置５０Ａのためのサーバ処理では、端末装置５０Ａが、対象の端末装置５０となる。
【００６０】
Ｓ１０４を実行した後、ＣＰＵ２２は、録画開始指示が取得されたか否かを判断する（Ｓ１０６）。録画開始指示は、遠隔会議の録画の開始を要求する指示である。録画の対象となる画像データを、画像データＡ，Ｂ，Ｃのうちの何れとするかは、適宜決定するとよい。例えば、対象の端末装置５０からの画像データが録画の対象とされる。また、録画開始指示に端末装置５０を指定する情報を含ませ、これによって指定された端末装置５０からの画像データを録画の対象とするようにしてもよい。画像データＡ，Ｂ，Ｃのうちの所定の２つ又は全てを録画の対象とするようにしてもよい。本実施形態では、録画開始指示による録画の対象となる画像データは、対象の端末装置５０からの画像データであるとする。録画開始指示は、対象の端末装置５０の通信部６０から送信され（図６のＴ１、図１９のＳ８１０参照）、通信部３２で受信される（図６のＴ２参照）。ＣＰＵ２２は、通信部３２を介して録画開始指示を取得する。本実施形態では、録画開始指示が取得されたタイミングを、「第１タイミング」という。
【００６１】
録画開始指示が取得されていない場合（Ｓ１０６：Ｎｏ）、ＣＰＵ２２は、処理を図８のＳ１３４に移行する。録画開始指示が取得された場合（Ｓ１０６：Ｙｅｓ）、ＣＰＵ２２は、第２サブ処理を実行する（Ｓ１０８）。第２サブ処理では、次取得期間が取得される（図１２のＳ３０４参照）。次取得期間は、第１タイミングから、対象の端末装置５０からの画像データを形成するＩフレームが第１タイミング以降で最初に取得されるタイミング（後述する「第２タイミング」参照）までの期間である。第２サブ処理及び次取得期間については、後述する。その後、ＣＰＵ２２は、次取得期間が基準時間より長い時間であるか否かを判断する（Ｓ１１０）。Ｓ１０８及びＳ１１０は、図６のＴ３に対応する。基準時間は、予め定めた時間であり、人間が知覚的に気にならない程度の時間である。例えば、基準時間は、１秒以下の時間、具体的には、０．３秒程度の時間である。
【００６２】
次取得期間が基準時間より長い場合（Ｓ１１０：Ｙｅｓ）、ＣＰＵ２２は、第３サブ処理を実行する（Ｓ１１２）。第３サブ処理は、端末装置５０Ａ，５０Ｂ，５０Ｃの中から、補完データを生成する特定の端末装置５０を決定する処理である。第３サブ処理については、後述する。補完データは、対象の端末装置５０からの画像データ（録画の対象の画像データ）に関し、次取得期間に対応した部分を補完するデータである。対象の端末装置５０からの画像データを録画しようとする場合、第１タイミングにおける画像を取得するためには、その時点での画像を全て表す情報、即ち、Ｉフレームが必要である。しかし、第１タイミングにおいて通信部３２で受信され、ＣＰＵ２２が取得可能なメディアデータに含まれる画像データは、Ｐフレームである場合もある。
【００６３】
このような場合、予め定めた基準時間内に次のＩフレームが取得されるのであれば、録画開始指示に伴い録画されないデータ量は、基準時間以下である。基準時間は、上述した通り、人間が知覚的に気にならない程度の時間として予め定めた時間である。従って、基準時間以下の部分が仮に録画されていなくても、特に問題にはならないと考えられる。即ち、遠隔会議終了後に、録画データが再生されたとしても、これを視認した遠隔会議の参加者等は、未録画の部分の存在に気が付かないと考えられる。一方、基準時間より長い時間分が未録画であれば、これを視認した参加者等は、未録画の部分が存在することに気が付く場合もあると思われる。補完データは、基準時間より長い時間分が未録画となるような場合において、会議サーバ２０で未録画となる部分を補完するためのデータであるともいえる。「Ｓ１１０：Ｙｅｓ」は、図６の「Ｔ３：する」に対応し、Ｓ１１２は、図６のＴ５に対応する。
【００６４】
Ｓ１１２を実行した後、ＣＰＵ２２は、補完データを取得するタイミングを決定する（Ｓ１１４）。補完データを取得するタイミングは、Ｓ１０２の第１サブ処理でタイミングテーブル（図１１参照）に登録されたＩフレーム取得のタイミングに基づき決定される。補完データを取得するタイミングの決定に関し、図９を参照して、２つの例を説明する。この説明では、特定の端末装置５０は、端末装置５０Ｂとする。第１例において、ＣＰＵ２２は、ＲＡＭ２８に記憶されたタイミングテーブル（図１１下段参照）にアクセスし、端末装置５０ＢからのＩフレーム取得のタイミングを特定する。ＣＰＵ２２は、特定されたタイミングと相違するタイミング（図９で破線で示す「領域Ｇ１」（２箇所）参照）のうち、所定のタイミングを、補完データを取得するタイミングとして決定する。第２例において、ＣＰＵ２２は、ＲＡＭ２８に記憶されたタイミングテーブル（図１１下段参照）にアクセスし、端末装置５０Ａ，５０Ｂ，５０ＣからのＩフレーム取得のタイミングを特定する。ＣＰＵ２２は、特定されたタイミングと相違するタイミング（図９で一点鎖線で示す「領域Ｇ２」（４箇所）参照）のうち、所定のタイミングを、補完データを取得するタイミングとして決定する。特定の端末装置５０では、Ｓ１１４で決定されたタイミングに対応したタイミングで、補完データが送信される。
【００６５】
その後、ＣＰＵ２２は、補完指示が、通信部３２から特定の端末装置５０に送信されるように制御する（Ｓ１１６）。Ｓ１１６は、図６のＴ６に対応し、補完指示は、通信部３２から送信され、特定の端末装置５０で受信される（図６のＴ７、図２０のＳ８２０：Ｙｅｓ参照）。補完指示は、Ｓ１１４で決定された特定の端末装置５０に対して、上述した補完データの生成を要求するための指示である。補完指示は、Ｓ１１４で決定されたタイミングと、対象の端末装置５０の端末ＩＤを含む。ＣＰＵ２２は、補完指示を送信した端末装置５０の装置ＩＤと、補完データによって補完されるべきメディアデータが録画される対象の端末装置５０の装置ＩＤを、関連付けてＲＡＭ２８に一時記憶する。
【００６６】
Ｓ１１６を実行した後、ＣＰＵ２２は、通信部３２で順次受信される対象の端末装置５０からのメディアデータのうち、第１タイミング以降、Ｉフレームを含む最初のメディアデータから、Ｉフレームを取得する（Ｓ１１８）。そして、ＣＰＵ２２は、対象の端末装置５０からのメディアデータに含まれる画像データの録画を開始する（Ｓ１２０）。Ｓ１２０で開始された録画において、ＣＰＵ２２は、Ｓ１１８で取得されたＩフレームと、その後、通信部３２で順次受信される対象の端末装置５０からのメディアデータに含まれるＰフレーム及びＩフレームを用いて、録画データを生成する。録画データは、画像データＡ，Ｂ，Ｃと同様、Ｉフレーム及びＰフレームを含むデータ構造を有する。また、ＣＰＵ２２は、Ｓ１１８でのＩフレームと共にメディアデータに含まれる音声データと、その後、通信部３２で順次受信される対象の端末装置５０からのメディアデータに含まれる音声データを用いて、録音データを生成する。通信部３２でのメディアデータの受信に応じて、順次生成される録画データ及び録音データは、メディアファイルとして、例えば、記憶部２６に記憶される。なお、メディアファイルが記憶される際に、そのメディアファイルは、対象の端末装置５０の装置ＩＤ及び会議ＩＤに関連付けられる。Ｓ１２０は、図６のＴ６の後に実行されるＴ４に対応する。
【００６７】
次に、ＣＰＵ２２は、補完データを取得したか否かを判断する（Ｓ１２２）。特定の端末装置５０から送信される補完データは、通信部３２で受信される。この補完データは、送信元の特定の端末装置５０の装置ＩＤ及び会議ＩＤに関連付けられる。通信部３２で補完データが受信されておらず、補完データが取得されていない場合（Ｓ１２２：Ｎｏ）、ＣＰＵ２２は、補完データが受信されるまで、Ｓ１２２を繰り返して実行する。通信部３２で補完データが受信され、補完データが取得された場合（Ｓ１２２：Ｙｅｓ）、ＣＰＵ２２は、補完データと、録画データを、時系列に従い合成する（Ｓ１２４）。即ち、ＣＰＵ２２は、補完データを、録画データの冒頭部分に合成する。補完データが合成される録画データは、Ｓ１２０で開始された録画に伴い、記憶部２６に記憶された録画データである。具体的には、Ｓ１１６においてＲＡＭ２８に一時記憶されている特定の端末装置５０の装置ＩＤに関連付けられている補完データが、対象の端末装置５０の装置ＩＤに対応するメディアファイルに含まれる録画データに対して合成される。このとき、ＣＰＵ２２は、通信部３２で補完データと共に受信され、取得される次取得期間分の音声データを、録画データに対応した録音データに、時系列に従い合成する。合成の対象は、補完データ及び録画データの場合と同様に特定される。ＣＰＵ２２は、前述したように合成された新たな録画データ及び新たな録音データを含むメディアファイルを、記憶部２６に記憶する。その後、ＣＰＵ２２は、処理をＳ１３０（図８参照）に移行する。「Ｓ１２２：Ｙｅｓ」は、図６のＴ１０に対応し、Ｓ１２４は、図６のＴ１１に対応する。
【００６８】
次取得期間が基準時間以下である場合（Ｓ１１０：Ｎｏ）、ＣＰＵ２２は、Ｓ１２６及びＳ１２８を順次実行する。「Ｓ１１０：Ｎｏ」は、図６の「Ｔ３：しない」に対応する。Ｓ１２８は、図６の「Ｔ３：しない」の後に実行されるＴ４に対応する。Ｓ１２６及びＳ１２８は、上述したＳ１１８及びＳ１２０と同様に実行される。従って、Ｓ１２６及びＳ１２８に関する説明は、省略する。Ｓ１２８を実行した後、ＣＰＵ２２は、処理をＳ１３０（図８参照）に移行する。
【００６９】
Ｓ１２４又はＳ１２８を実行した後、通信部３２で録画停止指示が受信された場合、Ｓ１３０で、ＣＰＵ２２は、通信部３２で受信された録画停止指示を取得する。録画停止指示は、対象の端末装置５０から送信（図１９のＳ８１４参照）され、録画開始指示に伴う録画の終了を要求する指示である。ＣＰＵ２２は、録画停止指示を取得するまで、Ｓ１２０又はＳ１２８で開始させた録画を継続し、これらに伴い順次生成される画像データ及び録音データを、記憶部２６に記憶されたメディアファイル内の画像データ及び録音データに追加記憶する。録画停止指示が取得された場合、ＣＰＵ２２は、Ｓ１２０又はＳ１２８で開始させた録画を停止する（Ｓ１３２）。その後、ＣＰＵ２２は、処理をＳ１３４に移行する。
【００７０】
Ｓ１３４でＣＰＵ２２は、会議終了指示が取得されたか否かを判断する。会議終了指示は、確立されたセッションを終了し、遠隔会議の終了を要求する指示である。会議終了指示は、対象の端末装置５０の通信部６０から送信され（図２０のＳ８３０参照）、通信部３２で受信される。ＣＰＵ２２は、通信部３２を介して会議終了指示を取得する。会議終了指示が取得されていない場合（Ｓ１３４：Ｎｏ）、ＣＰＵ２２は、処理を、図７のＳ１０６に戻し、Ｓ１０６以降の処理を上記同様にして実行する。会議終了指示が取得された場合（Ｓ１３４：Ｙｅｓ）、ＣＰＵ２２は、対象の端末装置５０のためのサーバ処理を終了する。対象の端末装置５０のためのサーバ処理の終了に伴い、ＣＰＵ２２は、対象の端末装置５０へのメディアデータＤの送信を終了し、対象の端末装置５０の装置ＩＤをＲＡＭ２８から消去する。通信部３２を介した対象の端末装置５０からのメディアデータの取得も終了する。
【００７１】
＜第１サブ処理＞
サーバ処理（図７及び図８参照）のＳ１０２で実行される第１サブ処理について、図１０等を参照して説明する。第１サブ処理を開始したＣＰＵ２２は、タイミングテーブルを生成し、又は、ＲＡＭ２８に記憶されたタイミングテーブルにアクセスする（Ｓ２００）。具体的には、サーバ処理のＳ１００で受信された会議開始要求に含まれる会議ＩＤに対応するタイミングテーブルがＲＡＭ２８に記憶されていない場合、ＣＰＵ２２は、タイミングテーブルを生成する。一方、Ｓ１００で受信された会議開始要求信号に含まれる会議ＩＤに対応するタイミングテーブルが既にＲＡＭ２８に記憶されていた場合、ＣＰＵ２２は、その会議ＩＤに関連付けられたタイミングテーブルにアクセスする。タイミングテーブルは、図１１に示すように、端末装置５０Ａ，５０Ｂ，５０Ｃ（端末装置５０Ａ，５０Ｂ，５０Ｃの各端末ＩＤ）のそれぞれに関連付けて、Ｉフレーム取得のタイミングを登録したテーブルである。タイミングテーブルは、遠隔会議システム１０で実行される遠隔会議毎に会議ＩＤに関連付けて生成され、端末装置５０Ａ，５０Ｂ，５０Ｃのための各サーバ処理では、共通した１つのタイミングテーブルが利用される。
【００７２】
続けて、ＣＰＵ２２は、対象の端末装置５０の装置ＩＤに関連付けて、Ｉフレーム取得のタイミングを、タイミングテーブルに登録する（Ｓ２０２）。Ｉフレーム取得のタイミングは、Ｓ２００の時点で既にタイミングテーブルがＲＡＭ２８に記憶されていた場合、他の端末装置５０の装置ＩＤに関連付けて既に登録されているタイミングとは重複しないタイミングとされる。その後、ＣＰＵ２２は、第１サブ処理を終了し、処理を図７のＳ１０４に戻す。
【００７３】
上述した第１サブ処理を具体的に説明する。端末装置５０Ａ，５０Ｂ，５０Ｃによる遠隔会議において、何れの端末装置５０に対してもサーバ処理が実行されていない状態で、端末装置５０Ａのためのサーバ処理（図７及び図８参照）が開始され、このサーバ処理のＳ１０２で第１サブ処理が実行されたとする。このような場合、会議サーバ２０では、端末装置５０Ａ，５０Ｂ，５０Ｃによる遠隔会議に対応する会議ＩＤに関連付けられたタイミングテーブルは、未生成である。従って、Ｓ２００でＣＰＵ２２は、タイミングテーブルを、端末装置５０Ａ，５０Ｂ，５０Ｃによる遠隔会議に対応する会議ＩＤに関連付けて新たに生成する。生成されたタイミングテーブルは、例えば、ＲＡＭ２８に記憶される。
【００７４】
Ｓ２０２でＣＰＵ２２は、端末装置５０Ａの装置ＩＤに関連付けて、複数のＩフレーム取得のタイミング（Ｉ１，Ｉ２，Ｉ３，・・・）を登録する。Ｉフレーム取得のタイミングは、所定の時間を基準として、時間間隔Ｆ（図４参照）とされる。基準となる所定の時間は、例えば、計時部３０で計測されている現在時刻とされる。第１サブ処理は、セッションが確立（図７のＳ１００参照）された直後に実行される処理であるため、基準の時間としての現在時刻は、会議サーバ２０と端末装置５０Ａの間でセッションが確立されたタイミングに対応する。時間間隔Ｆは、例えば、１０秒とされる。基準となる所定の時間が、「１０：００：００」であったとする。このような場合、ＣＰＵ２２は、Ｓ２００で新たに生成したタイミングテーブルにおいて、端末装置５０Ａの装置ＩＤに関連付けて、「１０：００：００」（タイミング（Ｉ１））、「１０：００：１０」（タイミング（Ｉ２））、「１０：００：２０」（タイミング（Ｉ３））・・・を登録する（図１１上段参照）。
【００７５】
次に、端末装置５０Ｂのためのサーバ処理（図７及び図８参照）が開始され、このサーバ処理のＳ１０２で第１サブ処理が実行されたとする。この場合、会議サーバ２０では、上述した通り、端末装置５０Ａのためのサーバ処理における第１サブ処理のＳ２００で、既に端末装置５０Ａ，５０Ｂ，５０Ｃによる遠隔会議に対応する会議ＩＤに関連付けられたタイミングテーブルが生成され、ＲＡＭ２８に記憶されている。従って、Ｓ２００でＣＰＵ２２は、ＲＡＭ２８に記憶されているそのタイミングテーブルにアクセスする。
【００７６】
Ｓ２０２でＣＰＵ２２は、端末装置５０Ｂの装置ＩＤに関連付けて、複数のＩフレーム取得のタイミング（Ｉ１，Ｉ２，Ｉ３，・・・）を登録する。例えば、会議サーバ２０と端末装置５０Ａの間でセッションが確立されたタイミングと、会議サーバ２０と端末装置５０Ｂの間でセッションが確立されたタイミングが、同様のタイミングであったとする。このような場合、ＣＰＵ２２は、基準となる所定の時間を数秒程度遅延させ、遅延させたタイミング（Ｉ１）を基準として、時間間隔Ｆで、以降のタイミング（Ｉ２，Ｉ３，・・・）を登録する。図１１中段を例とすれば、ＣＰＵ２２は、端末装置５０Ａのタイミング（Ｉ１）から２秒遅延させた「１０：００：０２」を、タイミング（Ｉ１）として、ＲＡＭ２８に記憶されているタイミングテーブルに登録し、以降、「１０：００：１２」（タイミング（Ｉ２））、「１０：００：２２」（タイミング（Ｉ３））・・・を登録する（図１１中段参照）。
【００７７】
最後に、端末装置５０Ｃのためのサーバ処理が開始され、このサーバ処理のＳ１０２で第１サブ処理が実行されたとする。この場合も、上記同様、既にタイミングテーブルが生成され、ＲＡＭ２８に記憶されている。従って、Ｓ２００でＣＰＵ２２は、ＲＡＭ２８に記憶されているタイミングテーブルにアクセスする。続けて、Ｓ２０２でＣＰＵ２２は、端末装置５０Ｃの装置ＩＤに関連付けて、複数のＩフレーム取得のタイミング（Ｉ１，Ｉ２，Ｉ３，・・・）を登録する。例えば、基準となる所定の時間が、「１０：００：０４」であったとする。このような場合、ＣＰＵ２２は、ＲＡＭ２８に記憶されているタイミングテーブルで、端末装置５０Ｃの装置ＩＤに関連付けて、「１０：００：０４」（タイミング（Ｉ１））、「１０：００：１４」（タイミング（Ｉ２））、「１０：００：２４」（タイミング（Ｉ３））・・・を登録する（図１１下段参照）。
【００７８】
なお、端末装置５０Ａ，５０Ｂ，５０Ｃによる遠隔会議において、何れの端末装置５０に対してもサーバ処理が実行されていない状態で、端末装置５０Ａのためのサーバ処理（図７及び図８参照）が開始され、Ｓ２００で新たなタイミングテーブルが生成され、Ｓ２０２が実行されるタイミングで、遠隔会議に参加予定の全ての端末装置５０Ａ，５０Ｂ，５０Ｃ分のＩフレーム取得のタイミングを登録する（図１１下段参照）ようにしてもよい。端末装置５０Ｂ，５０Ｃのためのサーバ処理がそれぞれ開始された場合、Ｓ２０２は省略され、Ｓ２００でタイミングテーブルにアクセスできた場合、ＣＰＵ２２は、第１サブ処理を終了する。
【００７９】
＜第２サブ処理＞
サーバ処理（図７及び図８参照）のＳ１０８で実行される第２サブ処理について、図１２を参照して説明する。第２サブ処理を開始したＣＰＵ２２は、計時部３０で計測されている現在時刻を取得する（Ｓ３００）。Ｓ３００は、図７のＳ１０６で録画開始指示が取得された直後に実行される処理である。従って、Ｓ３００で取得される現在時刻は、録画開始指示が取得される第１タイミングに対応する。
【００８０】
続けて、ＣＰＵ２２は、第２タイミングを取得する（Ｓ３０２）。第２タイミングは、第１タイミング以降、Ｉフレームを含む対象の端末装置５０からのメディアデータから、最初にＩフレームが取得されるタイミングである。換言すれば、第２タイミングは、図７のＳ１１８によってＩフレームが取得されるタイミングである。例えば、対象の端末装置５０が端末装置５０Ａで、ＲＡＭ２８に記憶されたタイミングテーブルが図１１下段に示す状態で、Ｓ３００で取得された現在時刻（第１タイミング）が、「１０：００：１５」であったとする。Ｓ３０２でＣＰＵ２２は、ＲＡＭ２８に記憶されたタイミングテーブルにアクセスし、端末装置５０Ａに関連付けられたＩフレーム取得のタイミング（Ｉ１，Ｉ２，Ｉ３・・・）を取得する。そして、ＣＰＵ２２は、取得されたタイミングの中から、「１０：００：１５」後の最初の「１０：００：２０」（図１１下段で端末装置５０Ａに関連付けられた「タイミング（Ｉ３）」参照）を、第２タイミングとして取得する。
【００８１】
次に、ＣＰＵ２２は、次取得期間を取得する（Ｓ３０４）。次取得期間は、上述した通り、第１タイミングから第２タイミングまでの期間である。上述した例に基づけば、次取得期間は、Ｓ３００で取得した「１０：００：１５」（現在時刻  第１タイミング）から「１０：００：２０」（第２タイミング）までの期間「５秒」である。その後、ＣＰＵ２２は、第２サブ処理を終了し、処理を図７のＳ１１０に戻す。
【００８２】
＜第３サブ処理＞
サーバ処理（図７及び図８参照）のＳ１１２で実行される第３サブ処理について、２つの実施例を説明する。
【００８３】
＜第１例＞
第１例の第３サブ処理について、図１３等を参照して説明する。第１例の第３サブ処理を開始したＣＰＵ２２は、端末性能処理を実行する（Ｓ４００）。端末性能処理は、端末装置５０Ａ，５０Ｂ，５０Ｃのそれぞれから、各端末装置５０の性能（能力情報）を取得し、性能テーブルを生成する処理である。性能テーブルは、図１４に示すように、端末装置５０Ａ，５０Ｂ，５０Ｃ（端末装置５０Ａ，５０Ｂ，５０Ｃの各端末ＩＤ）それぞれに関連付けて、各端末装置５０の性能（ＣＰＵ５２の性能）と、特定の端末装置５０に決定された回数（被決定回数）を登録したテーブルである。性能テーブルは、遠隔会議システム１０で実行される遠隔会議毎に管理され、端末装置５０Ａ，５０Ｂ，５０Ｃのための各サーバ処理では、共通した１つの性能テーブルが利用される。性能テーブルは、会議ＩＤに関連付けられる。端末性能処理については、後述する。
【００８４】
次に、ＣＰＵ２２は、性能が基準性能以上の端末装置５０を特定する（Ｓ４０２）。基準性能は、諸条件を考慮し、予め定められる。続けて、ＣＰＵ２２は、被決定回数が最小の端末装置５０を特定する（Ｓ４０４）。Ｓ４０２及びＳ４０４は、端末装置５０Ａ，５０Ｂ，５０Ｃによる遠隔会議に対応する会議ＩＤに関連付けられた性能テーブルに基づき行われる。その後、ＣＰＵ２２は、Ｓ４０２で特定された端末装置５０と、Ｓ４０４で特定された端末装置５０を対象として、一致する端末装置５０が存在するか否かを判断する（Ｓ４０６）。一致する端末装置５０が存在する場合（Ｓ４０６：Ｙｅｓ）、ＣＰＵ２２は、一致する端末装置５０を、特定の端末装置５０に決定する（Ｓ４０８）。一致する端末装置５０が複数存在する場合、性能が最も高い端末装置５０、又は、被決定回数が最小の端末装置５０を、特定の端末装置５０に決定するようにしてもよい。一致する端末装置５０が存在しない場合（Ｓ４０６：Ｎｏ）、ＣＰＵ２２は、性能が最も高い端末装置５０を、特定の端末装置５０に決定する（Ｓ４１０）。
【００８５】
図１４に示す性能テーブルに基づき、Ｓ４０２〜Ｓ４１０を具体的に説明する。例えば、性能テーブルが、図１４上段であり、基準性能として「３．０ＧＨｚ×２ｃｏｒｅ」が定められているとする。Ｓ４０２でＣＰＵ２２は、ＲＡＭ２８に記憶された性能テーブルにアクセスし、端末装置５０Ａ，５０Ｂが基準性能以上の端末装置５０であると特定する。Ｓ４０４でＣＰＵ２２は、ＲＡＭ２８に記憶された性能テーブルにアクセスし、端末装置５０Ａ，５０Ｂ，５０Ｃが被決定回数が最小（０回）の端末装置５０であると特定する。Ｓ４０２で特定された端末装置５０Ａ，５０Ｂと、Ｓ４０４で特定された端末装置５０Ａ，５０Ｂ，５０Ｃを対象とした場合、端末装置５０Ａ，５０Ｂは、Ｓ４０２及びＳ４０４で共に特定された端末装置５０である。従って、Ｓ４０６でＣＰＵ２２は、一致する端末装置５０が存在していると判断する（Ｓ４０６：Ｙｅｓ）。Ｓ４０８でＣＰＵ２２は、性能が最も高い（コア数：４（端末装置５０Ａ）＞２（端末装置５０Ｂ））である端末装置５０Ａを、特定の端末装置５０に決定する。
【００８６】
性能テーブルが、図１４下段であり、基準性能として「３．０ＧＨｚ×２ｃｏｒｅ」が定められているとする。Ｓ４０２でＣＰＵ２２は、ＲＡＭ２８に記憶された性能テーブルにアクセスし、端末装置５０Ａ，５０Ｂが基準性能以上の端末装置５０であると特定する。Ｓ４０４でＣＰＵ２２は、ＲＡＭ２８に記憶された性能テーブルにアクセスし、端末装置５０Ｂ，５０Ｃが被決定回数が最小（０回）の端末装置５０であると特定する。Ｓ４０２で特定された端末装置５０Ａ，５０Ｂと、Ｓ４０４で特定された端末装置５０Ｂ，５０Ｃを対象とした場合、端末装置５０Ｂは、Ｓ４０２及びＳ４０４で共に特定された端末装置５０である。従って、Ｓ４０６でＣＰＵ２２は、一致する端末装置５０が存在していると判断する（Ｓ４０６：Ｙｅｓ）。Ｓ４０８でＣＰＵ２２は、端末装置５０Ｂを、特定の端末装置５０に決定する。
【００８７】
性能テーブルが、図１４下段であり、基準性能として「３．０ＧＨｚ×４ｃｏｒｅ」が定められているとする。Ｓ４０２でＣＰＵ２２は、ＲＡＭ２８に記憶された性能テーブルにアクセスし、端末装置５０Ａが基準性能以上の端末装置５０であると特定する。Ｓ４０４でＣＰＵ２２は、ＲＡＭ２８に記憶された性能テーブルにアクセスし、端末装置５０Ｂ，５０Ｃが被決定回数が最小（０回）の端末装置５０であると特定する。Ｓ４０２で特定された端末装置５０Ａと、Ｓ４０４で特定された端末装置５０Ｂ，５０Ｃを対象とした場合、Ｓ４０２及びＳ４０４で共に特定された端末装置５０は存在しない。従って、Ｓ４０６でＣＰＵ２２は、一致する端末装置５０は存在しないと判断する（Ｓ４０６：Ｎｏ）。Ｓ４１０でＣＰＵ２２は、性能が最も高い端末装置５０Ａを、特定の端末装置５０に決定する。Ｓ４１０は、被決定回数に基づき（被決定回数が少ない場合を優先）、特定の端末装置５０を決定するようにしてもよい。
【００８８】
Ｓ４０８又はＳ４１０を実行した後、ＣＰＵ２２は、Ｓ４０８又はＳ４１０で特定の端末装置５０に決定された端末装置５０に関連付けられた被決定回数を、「１」増加させる（Ｓ４１２）。例えば、性能テーブルが図１４上段である状態で、端末装置５０Ａが特定の端末装置５０に決定された場合、ＣＰＵ２２は、端末装置５０Ａに関連付けられた被決定回数を「１」とする（図１４下段参照）。その後、ＣＰＵ２２は、第１例の第３サブ処理を終了し、処理を図７のＳ１１４に戻す。
【００８９】
＜端末性能処理＞
第１例の第３サブ処理（図１３参照）のＳ４００で実行される端末性能処理について、図１５等を参照して説明する。端末性能処理を開始したＣＰＵ２２は、性能要求が、通信部３２から端末装置５０に送信されるように制御する（Ｓ５００）。性能要求は、端末装置５０の性能（ＣＰＵ５２の性能）を会議サーバ２０に送信するように要求する指令である。これを受信した端末装置５０は、通信部６０から自装置のＣＰＵ５２の性能と、その端末装置５０の装置ＩＤと、会議ＩＤを送信する（図１９のＳ８１８参照）。
【００９０】
上述した通り、サーバ処理（図７及び図８）は、会議サーバ２０にアクセスしてきた端末装置５０Ａ，５０Ｂ，５０Ｃのそれぞれに対して実行される。会議サーバ２０は、アクセスしてきた端末装置５０との間で、セッションを確立し、遠隔会議を開始する（図７のＳ１００参照）。換言すれば、会議サーバ２０は、サーバ処理が開始されていない端末装置５０との間ではセッションを確立していない。従って、性能要求が送信される（性能要求を受信する）端末装置５０は、Ｓ５００が実行される時点において、会議サーバ２０との間でセッションが確立されている端末装置５０である。
【００９１】
次に、ＣＰＵ２２は、Ｓ５００の送信に応じて、これを受信した端末装置５０から送信された性能を通信部３２で受信し、取得する（Ｓ５０２）。この際、性能と共に送信される端末ＩＤ及び会議ＩＤも通信部３２で受信され、ＣＰＵ２２は、これらも取得する。続けて、ＣＰＵ２２は、取得した端末装置５０の性能を、端末装置５０の装置ＩＤに関連付けて登録した性能テーブルを生成する（Ｓ５０４）。性能テーブルは、取得された会議ＩＤに関連付けられた状態で、例えば、ＲＡＭ２８に記憶される。その後、ＣＰＵ２２は、端末性能処理を終了し、処理を図１３のＳ４０２に戻す。
【００９２】
端末装置５０Ａ，５０Ｂ，５０Ｃによる遠隔会議において、何れの端末装置５０に対してもサーバ処理が実行されていない状態で、端末装置５０Ａのためのサーバ処理（図７及び図８参照）が開始され、このサーバ処理のＳ１１２で第３サブ処理が実行されたとする。このような場合、上述した通り、性能要求は、端末装置５０Ａにのみ送信され（Ｓ５００参照）、Ｓ５０２でＣＰＵ２２は、端末装置５０Ａの性能のみを取得する。前述したような場合には、端末装置５０Ａ，５０Ｂ，５０Ｃとの関係において、Ｓ５０４は未実行であるため、端末装置５０Ａが参加する遠隔会議の会議ＩＤに関連付けられた性能テーブルは、生成されていない。そこで、Ｓ５０４でＣＰＵ２２は、新たに性能テーブルを会議ＩＤに関連付けた状態で生成し、生成した性能テーブルに、端末装置５０Ａの装置ＩＤに関連付けて、Ｓ５０２で取得した性能を登録する。被決定回数は、「０」とされる。性能テーブルは、ＲＡＭ２８に記憶される。
【００９３】
その後、端末装置５０Ｂのためのサーバ処理（図７及び図８参照）が開始され、このサーバ処理のＳ１１２で第３サブ処理が実行されたとする。この場合、Ｓ５００で性能要求は、端末装置５０Ａ，５０Ｂに送信され、Ｓ５０２では、端末装置５０Ａ，５０Ｂの性能と、端末装置５０Ａ，５０Ｂの端末ＩＤと、会議ＩＤが取得される。登録済みの端末装置５０Ａへの送信は省略するようにしてもよい。Ｓ５０４でＣＰＵ２２は、既に生成された端末装置５０Ｂが参加する遠隔会議の会議ＩＤに関連付けられた性能テーブルに、端末装置５０Ｂの装置ＩＤに関連付けて端末装置５０Ｂの性能を追加登録する。端末装置５０Ｂに関する被決定回数は「０」とされる。これによって、端末装置５０Ａ，５０Ｂの各端末ＩＤに関連付けて、端末装置５０Ａ，５０Ｂの性能及び被決定回数が登録された性能テーブルが生成される。
【００９４】
最後に、端末装置５０Ｃのためのサーバ処理（図７及び図８参照）が開始され、このサーバ処理のＳ１１２で第３サブ処理が実行されたとする。この場合、Ｓ５００で性能要求は、端末装置５０Ａ，５０Ｂ，５０Ｃに送信され、Ｓ５０２では、端末装置５０Ａ，５０Ｂ，５０Ｃの性能と、端末装置５０Ａ，５０Ｂ，５０Ｃの端末ＩＤと、会議ＩＤが取得される。登録済みの端末装置５０Ａ，５０Ｂへの送信は省略するようにしてもよい。Ｓ５０４でＣＰＵ２２は、既に生成された端末装置５０Ｃが参加する遠隔会議の会議ＩＤに関連付けられた性能テーブルに、端末装置５０Ｃの装置ＩＤに関連付けて端末装置５０Ｃの性能を追加登録する。端末装置５０Ｃに関する被決定回数は「０」とされる。これによって、端末装置５０Ａ，５０Ｂ，５０Ｃの各端末ＩＤに関連付けて、端末装置５０Ａ，５０Ｂ、５０Ｃの性能及び被決定回数が登録された性能テーブル（図１４上段参照）が生成される。
【００９５】
なお、端末装置５０Ａ，５０Ｂ，５０Ｃのための各サーバ処理は開始されているが（全ての端末装置５０について、図７のＳ１００〜Ｓ１０４は実行済み）、例えば、端末装置５０Ｂ，５０Ｃでは、録画開始指示が送信（図１９のＳ８１０参照）されておらず、その結果、端末装置５０Ｂ，５０Ｃの各サーバ処理では、Ｓ１０６が肯定（Ｓ１０６：Ｙｅｓ参照）されていないといった状態になることも想定される。このような場合、会議サーバ２０と、端末装置５０Ａ，５０Ｂ，５０Ｃの間では、全てセッションが確立されているため、端末装置５０Ａのためのサーバ処理のＳ１１２で第３サブ処理が実行されたタイミング（Ｓ５０４の実行時点）において、端末装置５０Ａ，５０Ｂ，５０Ｃの各装置ＩＤに関連付けて端末装置５０Ａ，５０Ｂ，５０Ｃの性能及び被決定回数が登録された性能テーブル（図１４上段参照）が生成される。端末装置５０Ｂ，５０Ｃの何れか、又は、両装置で、第３サブ処理が実行される場合、端末装置５０Ａ，５０Ｂ，５０Ｃの性能及び被決定回数が登録された性能テーブルは、既に生成され、ＲＡＭ２８に記憶されている。そのため、端末装置５０Ｂ，５０Ｃのためのサーバ処理のＳ１１２で第３サブ処理を開始したＣＰＵ２２は、会議ＩＤに基づき、ＲＡＭ２８に記憶された性能テーブルにアクセスし、前述したような登録状態であることを判断し、第３サブ処理を終了するようにしてもよい。
【００９６】
＜第２例＞
第２例の第３サブ処理について、図１６等を参照して説明する。第２例の第３サブ処理を開始したＣＰＵ２２は、通信状態処理を実行する（Ｓ６００）。通信状態処理は、端末装置５０Ａ，５０Ｂ，５０Ｃのそれぞれとの間のネットワーク８０の状況、即ち、通信状態（状態情報）を取得し、通信状態テーブルを生成する処理である。本実施形態では、通信状態として、通信速度（通信帯域）を例に説明する。通信状態は、通信速度とは異なる他の要素であってもよい。例えば、リクエスト送信後、レスポンスを取得するまでの遅延時間であってもよい。通信状態テーブルは、図１７に示すように、端末装置５０Ａ，５０Ｂ，５０Ｃ（端末装置５０Ａ，５０Ｂ，５０Ｃの各端末ＩＤ）のそれぞれに関連付けて、通信速度と、特定の端末装置５０に決定された回数（被決定回数）を登録したテーブルである。通信状態テーブルは、遠隔会議システム１０で実行される遠隔会議毎に管理され、端末装置５０Ａ，５０Ｂ，５０Ｃのための各サーバ処理では、共通した１つの通信状態テーブルが利用される。通信状態テーブルは、会議ＩＤに関連付けられる。通信状態処理については、後述する。
【００９７】
次に、ＣＰＵ２２は、通信状態が基準値以上の端末装置５０を特定する（Ｓ６０２）。基準値は、通信データ量等の諸条件を考慮し、予め定められる。続けて、ＣＰＵ２２は、被決定回数が最小の端末装置５０を特定する（Ｓ６０４）。Ｓ６０２及びＳ６０４は、端末装置５０Ａ，５０Ｂ，５０Ｃによる遠隔会議に対応する会議ＩＤに関連付けられた通信状態テーブルに基づき行われる。その後、ＣＰＵ２２は、Ｓ６０２で特定された端末装置５０と、Ｓ６０４で特定された端末装置５０を対象として、一致する端末装置５０が存在するか否かを判断する（Ｓ６０６）。一致する端末装置５０が存在する場合（Ｓ６０６：Ｙｅｓ）、ＣＰＵ２２は、一致する端末装置５０を、特定の端末装置５０に決定する（Ｓ６０８）。一致する端末装置５０が複数存在する場合、通信状態が最も良好な端末装置５０、又は、被決定回数が最小の端末装置５０を、特定の端末装置５０に決定するようにしてもよい。一致する端末装置５０が存在しない場合（Ｓ４０６：Ｎｏ）、ＣＰＵ２２は、通信状態が最も良好な端末装置５０を、特定の端末装置５０に決定する（Ｓ６１０）。
【００９８】
図１７に示す通信状態テーブルに基づき、Ｓ６０２〜Ｓ６１０を具体的に説明する。例えば、通信状態テーブルが、図１７上段であり、基準値として「１．００Ｍｂｙｔｅｓ／ｓｅｃ」が定められているとする。Ｓ６０２でＣＰＵ２２は、ＲＡＭ２８に記憶された通信状態テーブルにアクセスし、端末装置５０Ａ，５０Ｂが基準値以上の端末装置５０であると特定する。Ｓ６０４でＣＰＵ２２は、ＲＡＭ２８に記憶された通信状態テーブルにアクセスし、端末装置５０Ａ，５０Ｂ，５０Ｃが被決定回数が最小（０回）の端末装置５０であると特定する。Ｓ６０２で特定された端末装置５０Ａ，５０Ｂと、Ｓ６０４で特定された端末装置５０Ａ，５０Ｂ，５０Ｃを対象とした場合、端末装置５０Ａ，５０Ｂは、Ｓ６０２及びＳ６０４で共に特定された端末装置５０である。従って、Ｓ６０６でＣＰＵ２２は、一致する端末装置５０が存在していると判断する（Ｓ６０６：Ｙｅｓ）。Ｓ６０８でＣＰＵ２２は、通信速度が最も高速である端末装置５０Ａを、特定の端末装置５０に決定する。
【００９９】
通信状態テーブルが、図１７下段であり、基準値として「１．００Ｍｂｙｔｅｓ／ｓｅｃ」が定められているとする。Ｓ４０２でＣＰＵ２２は、ＲＡＭ２８に記憶された通信状態テーブルにアクセスし、端末装置５０Ａ，５０Ｂが基準値以上の端末装置５０であると特定する。Ｓ６０４でＣＰＵ２２は、ＲＡＭ２８に記憶された性能テーブルにアクセスし、端末装置５０Ｂ，５０Ｃが被決定回数が最小（０回）の端末装置５０であると特定する。Ｓ６０２で特定された端末装置５０Ａ，５０Ｂと、Ｓ６０４で特定された端末装置５０Ｂ，５０Ｃを対象とした場合、端末装置５０Ｂは、Ｓ６０２及びＳ６０４で共に特定された端末装置５０である。従って、Ｓ６０６でＣＰＵ２２は、一致する端末装置５０が存在していると判断する（Ｓ６０６：Ｙｅｓ）。Ｓ６０８でＣＰＵ２２は、端末装置５０Ｂを、特定の端末装置５０に決定する。
【０１００】
通信状態テーブルが、図１７下段であり、基準値として「１．１０Ｍｂｙｔｅｓ／ｓｅｃ」が定められているとする。Ｓ６０２でＣＰＵ２２は、ＲＡＭ２８に記憶された性能テーブルにアクセスし、端末装置５０Ａが基準値以上の端末装置５０であると特定する。Ｓ６０４でＣＰＵ２２は、ＲＡＭ２８に記憶された性能テーブルにアクセスし、端末装置５０Ｂ，５０Ｃが被決定回数が最小（０回）の端末装置５０であると特定する。Ｓ６０２で特定された端末装置５０Ａと、Ｓ６０４で特定された端末装置５０Ｂ，５０Ｃを対象とした場合、Ｓ６０２及びＳ６０４で共に特定された端末装置５０は存在しない。従って、Ｓ６０６でＣＰＵ２２は、一致する端末装置５０は存在しないと判断する（Ｓ６０６：Ｎｏ）。Ｓ６１０でＣＰＵ２２は、通信速度が最も高速である端末装置５０Ａを、特定の端末装置５０に決定する。Ｓ６１０は、被決定回数に基づき（被決定回数が少ない場合を優先）、特定の端末装置５０を決定するようにしてもよい。
【０１０１】
Ｓ６０８又はＳ６１０を実行した後、ＣＰＵ２２は、Ｓ６０８又はＳ６１０で特定の端末装置５０に決定された端末装置５０に関連付けられた被決定回数を、「１」増加させる（Ｓ６１２）。例えば、通信状態テーブルが図１７上段である状態で、端末装置５０Ａが特定の端末装置５０に決定された場合、ＣＰＵ２２は、端末装置５０Ａの端末ＩＤに関連付けられた被決定回数を「１」とする（図１７下段参照）。その後、ＣＰＵ２２は、第２例の第３サブ処理を終了し、処理を図７のＳ１１４に戻す。
【０１０２】
＜通信状態処理＞
第２例の第３サブ処理（図１６参照）のＳ６００で実行される通信状態処理について、図１８等を参照して説明する。通信状態処理を開始したＣＰＵ２２は、速度計測要求が、通信部３２から端末装置５０に送信されるように制御する（Ｓ７００）。速度計測要求は、端末装置５０から会議サーバ２０に、予め定めたデータ量の所定のデータ（パケット）を送信するように要求する指令である。これを受信した端末装置５０は、通信部６０から会議サーバ２０に、予め定めたデータ量の所定のデータ（以下、「計測用データ」という）を送信する。計測用データには、送信時刻が付与される。計測用データは、端末装置５０の装置ＩＤと、会議ＩＤを含むようにしてもよい。速度計測要求が送信される（速度計測要求を受信する）端末装置５０は、上述した端末性能処理で性能要求が送信（図１５のＳ５００参照）される端末装置５０の場合と同様である。これに関する説明は、省略する。
【０１０３】
次に、ＣＰＵ２２は、Ｓ５００での速度計測要求の送信に応じて、これを受信した端末装置５０から送信される計測用データを通信部３２で受信し、取得する（Ｓ７０２）。速度計測要求を受信した端末装置５０からは、計測用データと共に端末ＩＤ及び会議ＩＤも送信され、通信部３２で受信される。ＣＰＵ２２は、通信部３２での端末ＩＤ及び会議ＩＤの受信に伴い、これらを取得する。Ｓ７０２でＣＰＵ２２は、計時部３０で計測されている現在時刻を取得する。続けて、ＣＰＵ２２は、通信速度を取得する（Ｓ７０４）。Ｓ７０４でＣＰＵ２２は、Ｓ７０２で取得した現在時刻と、計測用データに含まれる送信時刻から、計測用データの送受信に要した時間を求める。そして、ＣＰＵ２２は、計測用データのデータ量を、求めた時間で除して通信速度を取得する。ＣＰＵ２２は、取得した通信速度を、端末装置５０の端末ＩＤに関連付けて登録した通信状態テーブルを生成する（Ｓ７０４）。このとき、被決定回数は「０」とされる。通信状態テーブルは、端末装置５０Ａ，５０Ｂ，５０Ｃが参加する遠隔会議の会議ＩＤに関連付けられる。通信状態テーブルは、例えば、ＲＡＭ２８に記憶される。その後、ＣＰＵ２２は、通信状態処理を終了し、処理を図１６のＳ６０２に戻す。
【０１０４】
端末装置５０Ａ，５０Ｂ，５０Ｃのうち、通信速度を取得できる端末装置５０は、端末性能処理において性能を取得できる端末装置５０と同様である。これに関する説明は、上記同様であり、省略する。
【０１０５】
＜端末処理＞
遠隔会議に参加する端末装置５０でそれぞれ実行される端末処理について、図１９及び図２０等を参照して説明する。端末処理は、上述した通り、端末装置５０のユーザが、遠隔会議の開催予定日時以前に受信した電子メールに含まれる遠隔会議のためのＵＲＬを対象として、操作部７０を操作等することで開始される。端末処理を開始したＣＰＵ５２は、会議開始要求が、通信部６０から会議サーバ２０に送信されるように制御する（Ｓ８００）。Ｓ８００での会議開始要求の送信は、上述した通り、前述したＵＲＬに基づき、会議サーバ２０へアクセスした場合に実行されるセッションを確立する諸手続の中で行われる。会議開始要求は、端末処理を開始した端末装置５０の端末ＩＤと、会議ＩＤを含む。
【０１０６】
Ｓ８００を実行し、会議サーバ２０との間でセッションが確立された後、ＣＰＵ５２は、Ｉフレーム取得のタイミングを取得する（Ｓ８０２）。Ｉフレーム取得のタイミングは、図７のＳ１０４で、会議サーバ２０の通信部３２から送信され、通信部６０で受信される。通信部６０での受信に伴い、ＣＰＵ５２は、Ｉフレーム取得のタイミングを取得する。続けて、ＣＰＵ５２は、自装置で取得された画像データ及び音声データを含むメディアデータの送信と、会議サーバ２０から送信されたメディアデータＤの受信を開始する。Ｓ８０４でＣＰＵ５２は、自装置でのメディアデータが、通信部６０から会議サーバ２０に送信されるように制御する。そして、ＣＰＵ５２は、通信部６０で受信されるメディアデータＤを取得する。ＣＰＵ５２は、取得したメディアデータＤに対応した遠隔会議画面６４が、表示部６２に表示されるように制御する。表示部６２には、メディアデータＤに含まれる画像データに対応した遠隔会議画面６４が表示され、音声出力部６８から、メディアデータＤに含まれる音声データに対応した音声が出力される。
【０１０７】
次に、ＣＰＵ５２は、録画開始済みであるか否かを判断する（Ｓ８０６）。録画開始指示が送信され、開始後、録画停止指示が送信されていない場合、Ｓ８０６は肯定（Ｓ８０６：Ｙｅｓ）される。録画開始指示が送信されておらず、又は、録画開始指示の送信後、録画停止指示が送信されている場合、Ｓ８０６は否定（Ｓ８０６：Ｎｏ）される。Ｓ８０６が否定される場合（Ｓ８０６：Ｎｏ）、ＣＰＵ５２は、録画開始指示が入力されたか否かを判断する（Ｓ８０８）。録画開始指示は、上述した通り、表示部６２に表示される遠隔会議画面６４に設けられた入力ボタン６６を、操作部７０を操作して押下することで入力される。録画開始に際し、入力ボタン６６が押下された場合、遠隔会議画面６４の所定の位置に、録画状態であることを示すマーク等を表示するようにしてもよい。入力ボタン６６が押下されたことが認識できる態様で、入力ボタン６６を表示するようにしてもよい。録画開始指示が入力されていない場合（Ｓ８０８：Ｎｏ）、ＣＰＵ５２は、処理をＳ８１６に移行する。録画開始指示が入力された場合（Ｓ８０８：Ｙｅｓ）、ＣＰＵ５２は、録画開始指示が、通信部６０から会議サーバ２０に送信されるように制御する（Ｓ８１０）。Ｓ８１０は、図６のＴ１に対応する。その後、ＣＰＵ５２は、処理をＳ８１６に移行する。
【０１０８】
Ｓ８０６が肯定される場合（Ｓ８０６：Ｙｅｓ）、ＣＰＵ５２は、録画停止指示が入力されたか否かを判断する（Ｓ８１２）。録画停止は、録画開始指示の場合と同様、表示部６２に表示される遠隔会議画面６４に設けられた入力ボタン６６を、操作部７０を操作して再押下することで入力される。上述したように、遠隔会議画面６４の所定の位置に録画状態であることを示すマーク等が表示されている場合、録画停止に際し、入力ボタン６６が押下されると、このマーク等は非表示とされる。また、入力ボタン６６が押下されたことが認識できる態様で、入力ボタン６６が表示されている場合、入力ボタン６６は、押下前の状態に変更される。録画停止指示が入力されていない場合（Ｓ８１２：Ｎｏ）、ＣＰＵ５２は、処理をＳ８１６に移行する。録画停止指示が入力された場合（Ｓ８１２：Ｙｅｓ）、ＣＰＵ５２は、録画停止指示が、通信部６０から会議サーバ２０に送信されるように制御する（Ｓ８１４）。その後、ＣＰＵ５２は、処理をＳ８１６に移行する。
【０１０９】
Ｓ８１６でＣＰＵ５２は、性能要求を取得したか否かを判断する。性能要求は、第１例の第３サブ処理（図１３参照）のＳ４００で実行される端末性能処理（図１５参照）のＳ５００で、会議サーバ２０から送信される。送信された性能要求は、通信部６０で受信され、これに伴い、ＣＰＵ５２は、性能要求を取得する。性能要求が取得されていない場合（Ｓ８１６：Ｎｏ）、ＣＰＵ５２は、処理を図２０のＳ８２０に移行する。性能要求が取得されている場合（Ｓ８１６：Ｙｅｓ）、ＣＰＵ５２は、自装置の性能が、通信部６０から会議サーバ２０に送信されるように制御する（Ｓ８１８）。このとき、性能と共に、端末装置５０の端末ＩＤと、会議ＩＤが送信される。Ｓ８１８を実行した後、ＣＰＵ５２は、処理を図２０のＳ８２０に移行する。
【０１１０】
なお、上述したＳ８１６及びＳ８１８は、会議サーバ２０で実行される第３サブ処理（図７のＳ１１２参照）が、第１例の第３サブ処理（図１３参照）である場合に対応したものである。即ち、図１９及び図２０は、第３サブ処理として、第１例の第３サブ処理が会議サーバ２０で実行されている場合に端末装置５０で実行される端末処理のフローチャートである。会議サーバ２０で実行される第３サブ処理が、第２例の第３サブ処理（図１６参照）である場合、会議サーバ２０からは、第２例の第３サブ処理のＳ７００で実行される通信状態処理（図１８参照）のＳ８００で、速度計測要求が送信される。従って、第２例の第３サブ処理に対応した端末処理では、Ｓ８１６は、速度計測要求が取得されたか否かに基づき判断される。そして、Ｓ８１８では、計測用データ（送信時刻、装置ＩＤ及び会議ＩＤを含む）が、通信部６０から会議サーバ２０に送信される。
【０１１１】
図２０のＳ８２０でＣＰＵ５２は、補完指示を取得したか否かを判断する。補完指示は、図７のＳ１１６で、会議サーバ２０から特定の端末装置５０に送信される（図６のＴ６参照）。補完指示は、通信部６０で受信され（図６のＴ７参照）、これに伴い、ＣＰＵ５２は、補完指示を取得する。補完指示が取得されていない場合（Ｓ８２０：Ｎｏ）、ＣＰＵ５２は、処理をＳ８２８に移行する。補完指示が取得された場合（Ｓ８２０：Ｙｅｓ）、ＣＰＵ５２は、補完指示に従い、補完データを生成する（Ｓ８２２）。
【０１１２】
Ｓ８０４で開始された処理に基づき取得されるメディアデータＤに、画像データＡ，Ｂ，Ｃ及び音声データＡ，Ｂ，Ｃが含まれているとする。この場合、補完指示を取得した端末装置５０（特定の端末装置５０）では、取得したメディアデータＤに含まれる画像データＡ，Ｂ，Ｃに従い、例えば、図３に示すような遠隔会議画面６４が、表示部６２に表示され、音声データＡ，Ｂ，Ｃに対応した音声が、音声出力部６８から出力されている。遠隔会議画面６４の表示に際し、ＣＰＵ５２は、画像データＡ，Ｂ，Ｃを復号する等して、表示データを生成する。Ｓ８２２でＣＰＵ５２は、この表示データから、対象の端末装置５０の画像データに対応した次取得期間分の画像データを生成する。対象の端末装置５０は、補完指示に含まれる対象の端末装置５０の端末ＩＤによって特定される。ＣＰＵ５２は、次取得期間分の画像データを符号化し、次取得期間分の補完データを生成する。また、ＣＰＵ５２は、対象の端末装置５０の音声データから、補完データに対応した次取得期間分の音声データを生成する。生成された補完データ及び音声データは、例えば、記憶部５６又はＲＡＭ５８に一時記憶される。補完データ及び音声データは、自装置の装置ＩＤ及び会議ＩＤに関連付けられる。Ｓ８２２は、図６のＴ８に対応する。
【０１１３】
次に、ＣＰＵ５２は、計時部５９で計測されている現在時刻が、補完データを送信するタイミングであるか否かを判断する（Ｓ８２４）。補完データを送信するタイミングは、補完指示に含まれる、図７のＳ１１４で決定されたタイミングに対応したタイミングである。現在時刻が補完データを送信するタイミングではない場合（Ｓ８２４：Ｎｏ）、ＣＰＵ５２は、Ｓ８２４を繰り返して実行する。現在時刻が補完データを送信するタイミングである場合（Ｓ８２４：Ｙｅｓ）、ＣＰＵ５２は、Ｓ８２２で生成した補完データが、通信部６０から会議サーバ２０に送信されるように制御する（Ｓ８２６）。このとき、通信部６０からは、補完データと共に、補完データに対応した次取得期間分の音声データも送信される。Ｓ８２６は、図６のＴ９に対応する。
【０１１４】
Ｓ８２６を実行した後、ＣＰＵ５２は、自装置において、会議終了が入力されたか否かを判断する（Ｓ８２８）。会議終了は、例えば、端末装置５０のユーザが、操作部７０を介して、表示部６２に表示されている遠隔会議画面６４を閉じるような操作を行うことで入力される。遠隔会議画面６４に会議終了を入力するためのボタン（図３で不図示）を設け、操作部７０を操作して、これを押下することで入力できるようにしてもよい。会議終了が入力されていない場合（Ｓ８２８：Ｎｏ）、ＣＰＵ５２は、処理を図１９のＳ８０６に戻し、Ｓ８０６以降の処理を上記同様にして実行する。
【０１１５】
会議終了が入力された場合（Ｓ８２８：Ｙｅｓ）、ＣＰＵ５２は、会議終了指示が、通信部６０から会議サーバ２０に送信されるように制御する（Ｓ８３０）。続けて、ＣＰＵ５２は、通信部６０からのメディアデータの送信と、メディアデータＤの受信を終了する（Ｓ８３２）。その後、ＣＰＵ５２は、端末処理を終了する。
【０１１６】
＜本実施形態の効果＞
本実施形態によれば、次のような効果を得ることができる。
【０１１７】
（１）録画開始指示に応じた録画に関し、補完データを、特定の端末装置５０において生成させ（図７のＳ１１２（詳細は、図１３又は図１６参照）、Ｓ１１６参照）、生成された補完データを取得し（図７のＳ１２２：Ｙｅｓ参照）、補完データと、図７のＳ１２０で開始させた録画に基づいた録画データを、時系列に従い合成する（図７のＳ１２４参照）こととした。そのため、メディアデータＡ，Ｂ，Ｃを取得し、メディアデータＤを端末装置５０Ａ，５０Ｂ，５０Ｃに送信する会議サーバ２０において、記憶部２６に画像データＡ，Ｂ，Ｃを常時記憶させず、遠隔会議画面６４が表示されない場合であっても、対象の端末装置５０に関し、録画開始指示を取得した第１タイミングからの録画データを生成することができる。
【０１１８】
次取得期間が基準時間以下である場合（図７のＳ１１０：Ｎｏ参照）、Ｓ１１２〜Ｓ１１６等を省略し、補完データを生成しないこととした。そのため、補完指示の送信及び合成に要する会議サーバ２０における処理負荷を軽減することが可能となる。
【０１１９】
（２）補完データを生成する場合（図７のＳ１１０：Ｙｅｓ参照）、補完データを取得するタイミングをＩフレーム取得のタイミングとは異なるタイミングとすることとした（図７のＳ１１４参照）。そのため、端末装置５０から会議サーバ２０へのＩフレームを含むメディアデータの送信のタイミングと、特定の端末装置５０から会議サーバ２０への補完データの送信のタイミングを異ならせることができる。ネットワーク８０の輻輳を避ける及び／又は改善することが可能となる。
【０１２０】
（３）補完データを生成する特定の端末装置５０を、端末装置５０の性能（第１例の第３サブ処理  図１３参照）又は通信状態（第２例の第３サブ処理  図１６参照）に基づき、決定することとした。そのため、補完データを、高性能で処理能力の高い端末装置５０、又は、ネットワーク８０の状況がよく通信状態が良好な端末装置５０で生成させることが可能となり、会議サーバ２０において、補完データを好適に取得することができる。
【０１２１】
＜変形例＞
本実施形態は、次のようにすることもできる。
【０１２２】
（１）上記では、端末装置５０Ａ，５０Ｂ，５０Ｃのそれぞれで取得された画像データＡ，Ｂ，Ｃ及び音声データＡ，Ｂ，Ｃを含むメディアデータＡ，Ｂ，Ｃを、会議サーバ２０に送信し、会議サーバ２０は、画像データＡ，Ｂ，Ｃ及び音声データＡ，Ｂ，Ｃを含むメディアデータＤを、端末装置５０Ａ，５０Ｂ，５０Ｃに送信することとした。会議サーバ２０から送信されるメディアデータＤは、宛先となる端末装置５０の画像データ及び音声データを含まないデータとしてもよい。例えば、端末装置５０Ａに送信されるメディアデータＤは、画像データＢ，Ｃ及び音声データＢ，Ｃを含むデータとしてもよい。この場合、端末装置５０Ａでは、自装置で取得された画像データＡと、メディアデータＤに含まれる画像データＢ，Ｃに基づき、遠隔会議画面６４に対応した表示データが生成され、遠隔会議画面６４が表示部６２に表示される。音声についても、同様である。
【０１２３】
（２）上記では、第３サブ処理（図７のＳ１１２、詳細は図１３又は図１６参照）を、サーバ処理（図７及び図８）で、Ｓ１１０を実行した後に行うこととした。第３サブ処理は、例えば、Ｓ１００の直後に行うようにしてもよい。また、第２例の第３サブ処理（図１６参照）を採用する場合、このような第３サブ処理は、遠隔会議が実行されている期間、常時又は定期的に行うようにしてもよい。
【符号の説明】
【０１２４】
１０  遠隔会議システム
２０  会議サーバ
２２  ＣＰＵ
２４  ＲＯＭ
２６  記憶部
２８  ＲＡＭ
３０  計時部
３２  通信部
３４  バス
５０，５０Ａ，５０Ｂ，５０Ｃ  端末装置
５２  ＣＰＵ
５４  ＲＯＭ
５６  記憶部
５８  ＲＡＭ
５９  計時部
６０  通信部
６２  表示部
６４  遠隔会議画面
６５Ａ，６５Ｂ，６５Ｃ  画像
６６  入力ボタン
６８  音声出力部
７０  操作部
７２  撮影部
７４  集音部
７６  バス
８０  ネットワーク
【図１】
2014072599.tif 000003
【図２】
2014072599.tif 000004
【図３】
2014072599.tif 000005
【図４】
2014072599.tif 000006
【図５】
2014072599.tif 000007
【図６】
2014072599.tif 000008
【図７】
2014072599.tif 000009
【図８】
2014072599.tif 000010
【図９】
2014072599.tif 000011
【図１０】
2014072599.tif 000012
【図１１】
2014072599.tif 000013
【図１２】
2014072599.tif 000014
【図１３】
2014072599.tif 000015
【図１４】
2014072599.tif 000016
【図１５】
2014072599.tif 000017
【図１６】
2014072599.tif 000018
【図１７】
2014072599.tif 000019
【図１８】
2014072599.tif 000020
【図１９】
2014072599.tif 000021
【図２０】
2014072599.tif 000022