(57)【要約】【課題】各装置間で通信される映像データのデータ量の増加を抑制しつつ、非表示であった撮影画像の表示をスムーズに行うことができる、通信端末装置のプログラム、通信端末装置、サーバ装置のプログラム、サーバ装置及び遠隔会議システムを提供する。【解決手段】撮影画像を予め定められた配置設定に従い配置した映像配置領域のうち、表示部の映像表示領域に対応した範囲が映像表示領域に表示される。配置設定に従った配置において映像データに対応した撮影画像が映像表示領域に含まれるか否かが映像データのそれぞれを対象として判断される。判断対象の映像データに対応した撮影画像が映像表示領域に含まれないと判断されたことに応じて、判断対象の映像データに含まれるフレーム内圧縮画像とフレーム間圧縮画像のうち、少なくとも一部のフレーム間圧縮画像を非送信対象に設定する更新頻度情報が決定され、サーバ装置に送信される。【選択図】図７
2015126456.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介した遠隔会議に用いられる通信端末装置を制御するコンピュータが実行可能なプログラムであって、
前記コンピュータを、
前記遠隔会議の相手方となる複数の相手方装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記相手方装置を識別する識別情報と、を前記ネットワークに接続された前記通信端末装置の第一通信部を介して、前記ネットワークに接続されたサーバ装置から取得する第一取得手段と、
前記第一取得手段により取得された前記映像データに対応した前記撮影画像を予め定められた配置設定に従い配置した映像配置領域のうち、前記通信端末装置の表示部の映像表示領域に対応した範囲を、前記映像表示領域に表示する表示制御手段と、
前記配置設定と前記映像表示領域との関係に基づいて、前記配置設定に従った配置において前記映像データに対応した前記撮影画像が前記映像表示領域に含まれるか否かを、前記第一取得手段により取得された前記映像データのそれぞれを対象として判断する第一判断手段と、
前記第一判断手段により判断対象の前記映像データに対応した前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、判断対象の前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定手段と、
前記更新頻度情報と、前記決定手段により非送信対象に設定された前記フレーム間圧縮画像を含む前記映像データの提供元である前記相手方装置の前記識別情報と、自装置の前記識別情報と、を前記第一通信部から前記サーバ装置に送信する第一送信制御手段と、して機能させるプログラム。
【請求項２】
前記決定手段は、全ての前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、請求項１に記載のプログラム。
【請求項３】
前記決定手段は、
前記映像表示領域に含まれない前記映像配置領域の部分に配置された前記撮影画像を前記映像表示領域内へと移動させる移動方向と反対の方向において前記映像表示領域の前記移動方向の後進側の端部からの間隔が第一間隔内である前記撮影画像に対応した前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第一削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定し、
前記移動方向と反対の方向において前記映像表示領域の前記移動方向の後進側の端部からの間隔が前記第一間隔より広い第二間隔である前記撮影画像に対応した前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第一削減量より多い第二削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する、機能を含む、請求項１又は請求項２に記載のプログラム。
【請求項４】
前記決定手段は、前記移動方向に対応した方向における前記映像表示領域の幅に対応した前記第一間隔内である前記撮影画像に対応した前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第一削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、請求項３に記載のプログラム。
【請求項５】
前記コンピュータを、前記第一取得手段により取得された前記映像データのそれぞれを対象として、前記映像表示領域に前記撮影画像が表示された映像累積時間と、前記映像データの提供元である前記相手方装置の前記識別情報と、を関連付けて登録する第一登録手段として機能させ、
前記決定手段は、
前記映像累積時間としての第一映像累積時間に関連付けられた前記識別情報の前記相手方装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第三削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定し、
前記映像累積時間としての第二映像累積時間に関連付けられた前記識別情報の前記相手方装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第四削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する、機能を含む、請求項１から請求項４の何れか１項に記載のプログラム。
【請求項６】
前記決定手段は、前記第二映像累積時間より長い前記第一映像累積時間に関連付けられた前記識別情報の前記相手方装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第四削減量より少ない前記第三削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、請求項５に記載のプログラム。
【請求項７】
前記決定手段は、前記映像表示領域に含まれない前記映像配置領域の部分に配置された前記撮影画像に対応した前記映像データに所定のタイミングで繰り返して含まれる前記フレーム内圧縮画像のうちの一部を非送信対象に設定する前記更新頻度情報を決定する機能を含む、請求項１から請求項６の何れか１項に記載のプログラム。
【請求項８】
前記コンピュータを、
前記複数の相手方装置のそれぞれで集音された音に対応した音データと、前記音データの提供元である前記相手方装置の前記識別情報と、を前記第一通信部を介して、前記サーバ装置から取得する第二取得手段と、
前記第二取得手段により取得された前記音データのそれぞれを対象として、再生された音累積時間と、前記音データの提供元である前記相手方装置の前記識別情報と、を関連付けて登録する第二登録手段と、して機能させ、
前記決定手段は、
前記音累積時間としての第一音累積時間に関連付けられた前記識別情報の前記相手方装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第五削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定し、
前記音累積時間としての第二音累積時間に関連付けられた前記識別情報の前記相手方装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第六削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する、機能を含む、請求項１から請求項７の何れか１項に記載のプログラム。
【請求項９】
前記決定手段は、前記第二音累積時間より長い前記第一音累積時間に関連付けられた前記識別情報の前記相手方装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第六削減量より少ない前記第五削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、請求項８に記載のプログラム。
【請求項１０】
ネットワークを介した遠隔会議に用いられる通信端末装置であって、
前記遠隔会議の相手方となる複数の相手方装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記相手方装置を識別する識別情報と、を前記ネットワークに接続された前記通信端末装置の第一通信部を介して、前記ネットワークに接続されたサーバ装置から取得する第一取得手段と、
前記第一取得手段により取得された前記映像データに対応した前記撮影画像を予め定められた配置設定に従い配置した映像配置領域のうち、前記通信端末装置の表示部の映像表示領域に対応した範囲を、前記映像表示領域に表示する表示制御手段と、
前記配置設定と前記映像表示領域との関係に基づいて、前記配置設定に従った配置において前記映像データに対応した前記撮影画像が前記映像表示領域に含まれるか否かを、前記第一取得手段により取得された前記映像データのそれぞれを対象として判断する第一判断手段と、
前記第一判断手段により判断対象の前記映像データに対応した前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、判断対象の前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定手段と、
前記更新頻度情報と、前記決定手段により非送信対象に設定された前記フレーム間圧縮画像を含む前記映像データの提供元である前記相手方装置の前記識別情報と、自装置の前記識別情報と、を前記第一通信部から前記サーバ装置に送信する第一送信制御手段と、を備える通信端末装置。
【請求項１１】
ネットワークを介した複数の通信端末装置による遠隔会議を実行するサーバ装置を制御するコンピュータが実行可能なプログラムであって、
前記コンピュータを、
前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記サーバ装置の第二通信部を介して、前記複数の通信端末装置のそれぞれから取得する第三取得手段と、
前記複数の通信端末装置のうちの第一通信端末装置の表示部の映像表示領域に含まれない前記撮影画像に対応した、前記複数の通信端末装置のうち、前記第一通信端末装置以外の特定の第二通信端末装置からの前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報と、非送信対象に設定された前記フレーム間圧縮画像を含む前記映像データの提供元である前記第二通信端末装置の前記識別情報と、前記第一通信端末装置の前記識別情報と、を前記第二通信部を介して、前記第一通信端末装置から取得する第四取得手段と、
前記第四取得手段により取得された、前記更新頻度情報と前記第二通信端末装置の前記識別情報と前記第一通信端末装置の前記識別情報とを関連付けて登録する第三登録手段と、
前記第三取得手段により前記第二通信端末装置からの前記映像データと前記識別情報とが取得された場合、取得された前記映像データにおける圧縮画像が、前記第一通信端末装置の前記識別情報に前記第二通信端末装置の前記識別情報と共に関連付けられた前記更新頻度情報によって非送信対象に設定された前記フレーム間圧縮画像であるか否かを判断する第二判断手段と、
前記第二判断手段で前記第三取得手段により取得された前記第二通信端末装置からの前記映像データにおける圧縮画像が非送信対象に設定された前記フレーム間圧縮画像ではないと判断されたことに応じて、前記第三取得手段により取得された前記第二通信端末装置からの、前記フレーム内圧縮画像又は非送信対象ではない前記フレーム間圧縮画像を含む前記映像データと、前記識別情報と、を前記第二通信部から前記第一通信端末装置に送信し、前記第二判断手段で前記第三取得手段により取得された前記第二通信端末装置からの前記映像データにおける圧縮画像が非送信対象に設定された前記フレーム間圧縮画像であると判断されたことに応じて、前記第三取得手段により取得された前記第二通信端末装置からの、非送信対象の前記フレーム間圧縮画像を含む前記映像データと、前記識別情報と、を前記第二通信部から前記第一通信端末装置に送信しない第二送信制御手段と、して機能させるプログラム。
【請求項１２】
前記第三登録手段は、前記第三取得手段により取得される前記第一通信端末装置からの前記映像データの単位時間当たりのデータ量に応じて、前記第一通信端末装置の前記識別情報に前記第二通信端末装置の前記識別情報と共に関連付けられた前記更新頻度情報を更新登録する機能を含む、請求項１１に記載のプログラム。
【請求項１３】
前記第三登録手段は、
前記第三取得手段により取得される前記第一通信端末装置からの前記映像データの単位時間当たりのデータ量が基準となる閾値より大きい場合、前記更新頻度情報を非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が少なくなる条件に更新登録し、
前記第三取得手段により取得される前記第一通信端末装置からの前記映像データの単位時間当たりのデータ量が前記閾値より小さい場合、前記更新頻度情報を更新しない、機能を含む、請求項１２に記載のプログラム。
【請求項１４】
ネットワークを介した複数の通信端末装置による遠隔会議を実行するサーバ装置であって、
前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記サーバ装置の第二通信部を介して、前記複数の通信端末装置のそれぞれから取得する第三取得手段と、
前記複数の通信端末装置のうちの第一通信端末装置の表示部の映像表示領域に含まれない前記撮影画像に対応した、前記複数の通信端末装置のうち、前記第一通信端末装置以外の特定の第二通信端末装置からの前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報と、非送信対象に設定された前記フレーム間圧縮画像を含む前記映像データの提供元である前記第二通信端末装置の前記識別情報と、前記第一通信端末装置の前記識別情報と、を前記第二通信部を介して、前記第一通信端末装置から取得する第四取得手段と、
前記第四取得手段により取得された、前記更新頻度情報と前記第二通信端末装置の前記識別情報と前記第一通信端末装置の前記識別情報とを関連付けて登録する第三登録手段と、
前記第三取得手段により前記第二通信端末装置からの前記映像データと前記識別情報とが取得された場合、取得された前記映像データにおける圧縮画像が、前記第一通信端末装置の前記識別情報に前記第二通信端末装置の前記識別情報と共に関連付けられた前記更新頻度情報によって非送信対象に設定された前記フレーム間圧縮画像であるか否かを判断する第二判断手段と、
前記第二判断手段で前記第三取得手段により取得された前記第二通信端末装置からの前記映像データにおける圧縮画像が非送信対象に設定された前記フレーム間圧縮画像ではないと判断されたことに応じて、前記第三取得手段により取得された前記第二通信端末装置からの、前記フレーム内圧縮画像又は非送信対象ではない前記フレーム間圧縮画像を含む前記映像データと、前記識別情報と、を前記第二通信部から前記第一通信端末装置に送信し、前記第二判断手段で前記第三取得手段により取得された前記第二通信端末装置からの前記映像データにおける圧縮画像が非送信対象に設定された前記フレーム間圧縮画像であると判断されたことに応じて、前記第三取得手段により取得された前記第二通信端末装置からの、非送信対象の前記フレーム間圧縮画像を含む前記映像データと、前記識別情報と、を前記第二通信部から前記第一通信端末装置に送信しない第二送信制御手段と、を備えるサーバ装置。
【請求項１５】
ネットワークを介した遠隔会議に用いられる第一通信端末装置と第二通信端末装置とを含む複数の通信端末装置と、前記遠隔会議を実行するサーバ装置と、を含む遠隔会議システムであって、
前記第一通信端末装置は、
前記第一通信端末装置の撮影部で撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記第一通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記第一通信端末装置の第一通信部から前記サーバ装置に送信する第三送信制御手段と、
自装置以外の前記第二通信端末装置を含む前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応した映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記第一通信部を介して、前記サーバ装置から取得する第一取得手段と、
前記第一取得手段により取得された前記映像データに対応した前記撮影画像を予め定められた配置設定に従い配置した映像配置領域のうち、前記第一通信端末装置の表示部の映像表示領域に対応した範囲を、前記映像表示領域に表示する表示制御手段と、
前記配置設定と前記映像表示領域との関係に基づいて、前記配置設定に従った配置において前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれるか否かを判断する第一判断手段と、
前記第一判断手段により前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、前記第二通信端末装置からの前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定手段と、
前記更新頻度情報と、前記第二通信端末装置の前記識別情報と、自装置の前記識別情報と、を前記第一通信部から前記サーバ装置に送信する第一送信制御手段と、を備え、
前記サーバ装置は、
前記映像データと、前記識別情報と、を前記ネットワークに接続された前記サーバ装置の第二通信部を介して、前記複数の通信端末装置のそれぞれから取得する第三取得手段と、
前記第二通信端末装置からの前記映像データに対する前記更新頻度情報と、前記第二通信端末装置の前記識別情報と、前記第一通信端末装置の前記識別情報と、を前記第二通信部を介して、前記第一通信端末装置から取得する第四取得手段と、
前記第四取得手段により取得された、前記更新頻度情報と前記第二通信端末装置の前記識別情報と前記第一通信端末装置の前記識別情報とを関連付けて登録する第三登録手段と、
前記第三取得手段により前記第二通信端末装置からの前記映像データと前記識別情報とが取得された場合、取得された前記映像データにおける圧縮画像が、前記第一通信端末装置の前記識別情報に前記第二通信端末装置の前記識別情報と共に関連付けられた前記更新頻度情報によって非送信対象に設定された前記フレーム間圧縮画像であるか否かを判断する第二判断手段と、
前記第二判断手段で前記第三取得手段により取得された前記第二通信端末装置からの前記映像データにおける圧縮画像が非送信対象に設定された前記フレーム間圧縮画像ではないと判断されたことに応じて、前記第三取得手段により取得された前記第二通信端末装置からの、前記フレーム内圧縮画像又は非送信対象ではない前記フレーム間圧縮画像を含む前記映像データと、前記識別情報と、を前記第二通信部から前記第一通信端末装置に送信し、前記第二判断手段で前記第三取得手段により取得された前記第二通信端末装置からの前記映像データにおける圧縮画像が非送信対象に設定された前記フレーム間圧縮画像であると判断されたことに応じて、前記第三取得手段により取得された前記第二通信端末装置からの、非送信対象の前記フレーム間圧縮画像を含む前記映像データと、前記識別情報と、を前記第二通信部から前記第一通信端末装置に送信しない第二送信制御手段と、を備える、遠隔会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介した遠隔会議に用いられる通信端末装置を制御するコンピュータが実行可能なプログラムと、通信端末装置と、遠隔会議のサーバ装置のプログラムと、サーバ装置と、遠隔会議システムに関する。
【背景技術】
【０００２】
遠隔会議に関する技術が提案されている。例えば、特許文献１には、通信装置が開示されている。この通信装置は、複数の拠点と接続してテレビ会議を行うテレビ会議システムの拠点に設置される。通信装置はモニタを有する。このモニタには、接続された複数の拠点の通信装置から動画像データを受信することにより、複数の拠点の動画像がそれぞれ個別のウィンドウに表示される。通信装置では、所定の拠点の動画像が表示されるウィンドウが切り替わり、動画像の表示領域の大きさが減少する変化があった場合、動画像データのフレームレート又は解像度の低下を指示する制御コマンドが生成され、動画像の表示領域が消滅する変化があった場合、動画像データの送信停止を指示する制御コマンドが生成される。制御コマンドは、動画像データの送信側拠点に設置された通信装置に対して送信される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−３５２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
遠隔会議は、ネットワークに接続された複数の通信端末装置を用いて行われる。遠隔会議における映像及び音の各データは、ネットワークに接続されたサーバ装置を経由して複数の通信端末装置間を通信される。通信端末装置では、他の通信端末装置のそれぞれからの複数の映像データに対応した各撮影画像が表示される。参加者が多い遠隔会議では、表示される撮影画像の数も多くなり、一度には表示することができなくなる場合もある。通信端末装置のユーザは、非表示であった撮影画像を新たに表示させる場合、表示される撮影画像を変更する操作（例えば、スクロール、スワイプ、タブの切替）を通して通信端末装置に撮影画像の移動指令を入力する。通信端末装置では、この移動指令に従い、非表示の撮影画像が表示される。この場合、非表示であった撮影画像に対応した映像データの受信が停止されていると、移動指令の入力に応じてこの映像データの受信が開始される。映像データは、フレーム内圧縮画像とフレーム間圧縮画像を含む。フレーム内圧縮画像は、単独でデコードすることができるのに対し、フレーム間圧縮画像のデコードには、例えば、フレーム内圧縮画像が必要となる。従って、映像データとしてフレーム間圧縮画像が前述の指令が入力されたタイミングで受信されていると、フレーム内圧縮画像が受信されるまでデコードすることができない。その結果、非表示から表示されることとなる撮影画像の表示がフレーム内圧縮画像が受信されるまで行えず、非表示であった撮影画像を前述した操作に対応させてスムーズに表示させることができない場合がある。
【０００５】
本発明は、各装置間で通信される映像データのデータ量の増加を抑制しつつ、非表示であった撮影画像の表示をスムーズに行うことができる、通信端末装置のプログラム、通信端末装置、サーバ装置のプログラム、サーバ装置及び遠隔会議システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面は、ネットワークを介した遠隔会議に用いられる通信端末装置を制御するコンピュータが実行可能なプログラムであって、前記コンピュータを、前記遠隔会議の相手方となる複数の相手方装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記相手方装置を識別する識別情報と、を前記ネットワークに接続された前記通信端末装置の第一通信部を介して、前記ネットワークに接続されたサーバ装置から取得する第一取得手段と、前記第一取得手段により取得された前記映像データに対応した前記撮影画像を予め定められた配置設定に従い配置した映像配置領域のうち、前記通信端末装置の表示部の映像表示領域に対応した範囲を、前記映像表示領域に表示する表示制御手段と、前記配置設定と前記映像表示領域との関係に基づいて、前記配置設定に従った配置において前記映像データに対応した前記撮影画像が前記映像表示領域に含まれるか否かを、前記第一取得手段により取得された前記映像データのそれぞれを対象として判断する第一判断手段と、前記第一判断手段により判断対象の前記映像データに対応した前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、判断対象の前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定手段と、前記更新頻度情報と、前記決定手段により非送信対象に設定された前記フレーム間圧縮画像を含む前記映像データの提供元である前記相手方装置の前記識別情報と、自装置の前記識別情報と、を前記第一通信部から前記サーバ装置に送信する第一送信制御手段と、して機能させるプログラムである。
【０００７】
これによれば、映像表示領域に表示されていない撮影画像に対応した映像データについて、少なくとも一部のフレーム間圧縮画像を非送信対象に設定し、更新頻度情報と相手方装置の識別情報と自装置の識別情報をサーバ装置に送信することで、非送信対象のフレーム間圧縮画像をサーバ装置に通知することができる。更新頻度情報で非送信対象に設定されたフレーム間圧縮画像をサーバ装置から通信端末装置に送信させなくすることができる。表示されていない撮影画像であっても、フレーム内圧縮画像、又は、フレーム内圧縮画像及び非送信対象ではないフレーム間圧縮画像は、サーバ装置から送信され、通信端末装置では、前述の圧縮画像を取得することができる。従って、表示されていない撮影画像が表示されることとなった場合には、前述の各圧縮画像に基づいた表示の制御を実行することができる。
【０００８】
この通信端末装置を制御するコンピュータが実行可能なプログラムにおいて、前記決定手段は、全ての前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、ようにしてもよい。これによれば、全てのフレーム間圧縮画像を非送信対象に設定し、サーバ装置に全てのフレーム間圧縮画像の非送信を通知することができる。
【０００９】
前記決定手段は、前記映像表示領域に含まれない前記映像配置領域の部分に配置された前記撮影画像を前記映像表示領域内へと移動させる移動方向と反対の方向において前記映像表示領域の前記移動方向の後進側の端部からの間隔が第一間隔内である前記撮影画像に対応した前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第一削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定し、前記移動方向と反対の方向において前記映像表示領域の前記移動方向の後進側の端部からの間隔が前記第一間隔より広い第二間隔である前記撮影画像に対応した前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第一削減量より多い第二削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する、機能を含む、ようにしてもよい。
【００１０】
これによれば、表示されていない撮影画像に対応した映像データに関し、映像表示領域との位置関係に応じて非表示の撮影画像のうち、移動方向と反対の方向において映像表示領域に近い位置に配置される撮影画像に対応した映像データについては、データ削減量が第一削減量となる条件で、フレーム間圧縮画像を非送信対象に設定することができる。表示されることとなった場合の撮影画像の再生品質を向上させることができる。非表示の撮影画像のうち、移動方向と反対の方向において映像表示領域から離れた位置に配置される撮影画像に対応した映像データについては、第一削減量より多い第二削減量となる条件で、フレーム間圧縮画像を非送信対象に設定することができる。映像表示領域の近くにある非表示の撮影画像は表示される可能性が高く、映像表示領域からの距離が遠い撮影画像は近い撮影画像より表示される可能性が低くなる。そのため、表示の可能性の高い非表示の撮影画像は表示された場合の再生品質を向上させることができる一方で、表示される可能性の低い非表示の撮影画像は映像データのデータ量を更に抑制することができる。
【００１１】
前記決定手段は、前記移動方向に対応した方向における前記映像表示領域の幅に対応した前記第一間隔内である前記撮影画像に対応した前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第一削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、ようにしてもよい。これによれば、移動方向に対応した方向における映像表示領域の幅を基準として、データ削減量を変更することができる。「前記移動方向に対応した方向」は、移動方向及び移動方向と反対の方向の両方向を含む。
【００１２】
前記コンピュータを、前記第一取得手段により取得された前記映像データのそれぞれを対象として、前記映像表示領域に前記撮影画像が表示された映像累積時間と、前記映像データの提供元である前記相手方装置の前記識別情報と、を関連付けて登録する第一登録手段として機能させ、前記決定手段は、前記映像累積時間としての第一映像累積時間に関連付けられた前記識別情報の前記相手方装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第三削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定し、前記映像累積時間としての第二映像累積時間に関連付けられた前記識別情報の前記相手方装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第四削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する、機能を含む、ようにしてもよい。これによれば、表示された累積時間に応じてデータ削減量を変更することができる。
【００１３】
前記決定手段は、前記第二映像累積時間より長い前記第一映像累積時間に関連付けられた前記識別情報の前記相手方装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第四削減量より少ない前記第三削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、ようにしてもよい。これによれば、長く表示されている撮影画像に対応した映像データについては、データ削減量が短い場合の第四削減量より少ない第三削減量となる条件で、フレーム間圧縮画像を非送信対象に設定することができる。換言すれば、表示されていない又は表示時間が短い撮影画像に対応した映像データについては、データ削減量が第三削減量より多い第四削減量となる条件で、フレーム間圧縮画像を非送信対象に設定することができる。現在非表示であっても、これまでに長く表示されている撮影画像については、新たに表示されることとなった場合の再生品質を向上させることができる。
【００１４】
前記決定手段は、前記映像表示領域に含まれない前記映像配置領域の部分に配置された前記撮影画像に対応した前記映像データに所定のタイミングで繰り返して含まれる前記フレーム内圧縮画像のうちの一部を非送信対象に設定する前記更新頻度情報を決定する機能を含む、ようにしてもよい。これによれば、データ量の大きなフレーム内圧縮画像の一部についても非送信対象に設定することができる。一部のフレーム内圧縮画像の非送信をサーバ装置に通知することができる。非送信対象に設定された一部のフレーム内圧縮画像をサーバ装置から通信端末装置に送信させなくすることができる。
【００１５】
前記コンピュータを、前記複数の相手方装置のそれぞれで集音された音に対応した音データと、前記音データの提供元である前記相手方装置の前記識別情報と、を前記第一通信部を介して、前記サーバ装置から取得する第二取得手段と、前記第二取得手段により取得された前記音データのそれぞれを対象として、再生された音累積時間と、前記音データの提供元である前記相手方装置の前記識別情報と、を関連付けて登録する第二登録手段と、して機能させ、前記決定手段は、前記音累積時間としての第一音累積時間に関連付けられた前記識別情報の前記相手方装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第五削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定し、前記音累積時間としての第二音累積時間に関連付けられた前記識別情報の前記相手方装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が第六削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する、機能を含む、ようにしてもよい。これによれば、遠隔会議における各参加者の発言の累積時間に応じてデータ削減量を変更することができる。
【００１６】
前記決定手段は、前記第二音累積時間より長い前記第一音累積時間に関連付けられた前記識別情報の前記相手方装置からの前記映像データに対しては、非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が前記第六削減量より少ない前記第五削減量となる条件で、前記フレーム間圧縮画像を非送信対象に設定する前記更新頻度情報を決定する機能を含む、ようにしてもよい。これによれば、発言機会が多い相手方装置からの映像データについては、データ削減量が発言機会が少ない場合の第六削減量より少ない第五削減量となる条件で、フレーム間圧縮画像を非送信対象に設定することができる。換言すれば、発言していない又は発言機会が少ない相手方装置からの映像データについては、データ削減量が第五削減量より多い第六削減量となる条件で、フレーム間圧縮画像を非送信対象に設定することができる。現在非表示であっても、これまでに発言機会が多い相手方装置の撮影画像については、新たに表示されることとなった場合の再生品質を向上させることができる。
【００１７】
本発明の他の側面は、ネットワークを介した遠隔会議に用いられる通信端末装置であって、前記遠隔会議の相手方となる複数の相手方装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記相手方装置を識別する識別情報と、を前記ネットワークに接続された前記通信端末装置の第一通信部を介して、前記ネットワークに接続されたサーバ装置から取得する第一取得手段と、前記第一取得手段により取得された前記映像データに対応した前記撮影画像を予め定められた配置設定に従い配置した映像配置領域のうち、前記通信端末装置の表示部の映像表示領域に対応した範囲を、前記映像表示領域に表示する表示制御手段と、前記配置設定と前記映像表示領域との関係に基づいて、前記配置設定に従った配置において前記映像データに対応した前記撮影画像が前記映像表示領域に含まれるか否かを、前記第一取得手段により取得された前記映像データのそれぞれを対象として判断する第一判断手段と、前記第一判断手段により判断対象の前記映像データに対応した前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、判断対象の前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定手段と、前記更新頻度情報と、前記決定手段により非送信対象に設定された前記フレーム間圧縮画像を含む前記映像データの提供元である前記相手方装置の前記識別情報と、自装置の前記識別情報と、を前記第一通信部から前記サーバ装置に送信する第一送信制御手段と、を備える通信端末装置である。
【００１８】
これによれば、対応する上記の通信端末装置のプログラムと同様の作用が実現される。この通信端末装置は、上記の通信端末装置の各プログラムと同様、他の機能が実現される通信端末装置として特定することもできる。この場合、通信端末装置は、上記の通信端末装置の各プログラムのうち、対応するプログラムと同様の作用を奏する。
【００１９】
本発明の更に他の側面は、ネットワークを介した複数の通信端末装置による遠隔会議を実行するサーバ装置を制御するコンピュータが実行可能なプログラムであって、前記コンピュータを、前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記サーバ装置の第二通信部を介して、前記複数の通信端末装置のそれぞれから取得する第三取得手段と、前記複数の通信端末装置のうちの第一通信端末装置の表示部の映像表示領域に含まれない前記撮影画像に対応した、前記複数の通信端末装置のうち、前記第一通信端末装置以外の特定の第二通信端末装置からの前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報と、非送信対象に設定された前記フレーム間圧縮画像を含む前記映像データの提供元である前記第二通信端末装置の前記識別情報と、前記第一通信端末装置の前記識別情報と、を前記第二通信部を介して、前記第一通信端末装置から取得する第四取得手段と、前記第四取得手段により取得された、前記更新頻度情報と前記第二通信端末装置の前記識別情報と前記第一通信端末装置の前記識別情報とを関連付けて登録する第三登録手段と、前記第三取得手段により前記第二通信端末装置からの前記映像データと前記識別情報とが取得された場合、取得された前記映像データにおける圧縮画像が、前記第一通信端末装置の前記識別情報に前記第二通信端末装置の前記識別情報と共に関連付けられた前記更新頻度情報によって非送信対象に設定された前記フレーム間圧縮画像であるか否かを判断する第二判断手段と、前記第二判断手段で前記第三取得手段により取得された前記第二通信端末装置からの前記映像データにおける圧縮画像が非送信対象に設定された前記フレーム間圧縮画像ではないと判断されたことに応じて、前記第三取得手段により取得された前記第二通信端末装置からの、前記フレーム内圧縮画像又は非送信対象ではない前記フレーム間圧縮画像を含む前記映像データと、前記識別情報と、を前記第二通信部から前記第一通信端末装置に送信し、前記第二判断手段で前記第三取得手段により取得された前記第二通信端末装置からの前記映像データにおける圧縮画像が非送信対象に設定された前記フレーム間圧縮画像であると判断されたことに応じて、前記第三取得手段により取得された前記第二通信端末装置からの、非送信対象の前記フレーム間圧縮画像を含む前記映像データと、前記識別情報と、を前記第二通信部から前記第一通信端末装置に送信しない第二送信制御手段と、して機能させるプログラムである。
【００２０】
これによれば、上記の通信端末装置のプログラム及び通信端末装置に対応したサーバ装置を実現することができる。上記のサーバ装置のプログラムにおける「第一通信端末装置」及び「第二通信端末装置」と、上記の通信端末装置のプログラム及び通信端末装置における「通信端末装置」及び「相手方装置」との対応に関し、「第一通信端末装置」は「通信端末装置」に対応し、「第二通信端末装置」は「複数の相手方装置」のうちの特定の「相手方装置」に対応する。
【００２１】
このサーバ装置を制御するコンピュータが実行可能なプログラムにおいて、前記第三登録手段は、前記第三取得手段により取得される前記第一通信端末装置からの前記映像データの単位時間当たりのデータ量に応じて、前記第一通信端末装置の前記識別情報に前記第二通信端末装置の前記識別情報と共に関連付けられた前記更新頻度情報を更新登録する機能を含む、ようにしてもよい。これによれば、第一通信端末装置からサーバ装置へのデータ送信における通信環境に応じて、第一通信端末装置からの第二通信端末装置に対する更新頻度情報を更新登録することができる。
【００２２】
前記第三登録手段は、前記第三取得手段により取得される前記第一通信端末装置からの前記映像データの単位時間当たりのデータ量が基準となる閾値より大きい場合、前記更新頻度情報を非送信対象に設定される前記フレーム間圧縮画像のデータ削減量が少なくなる条件に更新登録し、前記第三取得手段により取得される前記第一通信端末装置からの前記映像データの単位時間当たりのデータ量が前記閾値より小さい場合、前記更新頻度情報を更新しない、機能を含む、ようにしてもよい。これによれば、実際の通信における使用帯域が広く、映像データの単位時間当たりのデータ量が閾値より大きくなる場合、第一通信端末装置からの第二通信端末装置に対する更新頻度情報をデータ削減量が少なくなる条件に更新登録することができる。使用帯域が狭く、映像データの単位時間当たりのデータ量が閾値より小さくなる場合、第一通信端末装置からの第二通信端末装置に対する更新頻度情報を指定されたままの状態とすることができる。
【００２３】
本発明の更に他の側面は、ネットワークを介した複数の通信端末装置による遠隔会議を実行するサーバ装置であって、前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記サーバ装置の第二通信部を介して、前記複数の通信端末装置のそれぞれから取得する第三取得手段と、前記複数の通信端末装置のうちの第一通信端末装置の表示部の映像表示領域に含まれない前記撮影画像に対応した、前記複数の通信端末装置のうち、前記第一通信端末装置以外の特定の第二通信端末装置からの前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報と、非送信対象に設定された前記フレーム間圧縮画像を含む前記映像データの提供元である前記第二通信端末装置の前記識別情報と、前記第一通信端末装置の前記識別情報と、を前記第二通信部を介して、前記第一通信端末装置から取得する第四取得手段と、前記第四取得手段により取得された、前記更新頻度情報と前記第二通信端末装置の前記識別情報と前記第一通信端末装置の前記識別情報とを関連付けて登録する第三登録手段と、前記第三取得手段により前記第二通信端末装置からの前記映像データと前記識別情報とが取得された場合、取得された前記映像データにおける圧縮画像が、前記第一通信端末装置の前記識別情報に前記第二通信端末装置の前記識別情報と共に関連付けられた前記更新頻度情報によって非送信対象に設定された前記フレーム間圧縮画像であるか否かを判断する第二判断手段と、前記第二判断手段で前記第三取得手段により取得された前記第二通信端末装置からの前記映像データにおける圧縮画像が非送信対象に設定された前記フレーム間圧縮画像ではないと判断されたことに応じて、前記第三取得手段により取得された前記第二通信端末装置からの、前記フレーム内圧縮画像又は非送信対象ではない前記フレーム間圧縮画像を含む前記映像データと、前記識別情報と、を前記第二通信部から前記第一通信端末装置に送信し、前記第二判断手段で前記第三取得手段により取得された前記第二通信端末装置からの前記映像データにおける圧縮画像が非送信対象に設定された前記フレーム間圧縮画像であると判断されたことに応じて、前記第三取得手段により取得された前記第二通信端末装置からの、非送信対象の前記フレーム間圧縮画像を含む前記映像データと、前記識別情報と、を前記第二通信部から前記第一通信端末装置に送信しない第二送信制御手段と、を備えるサーバ装置である。
【００２４】
これによれば、対応する上記のサーバ装置を制御するコンピュータが実行可能なプログラムと同様の作用が実現される。このサーバ装置は、上記のサーバ装置の各プログラムと同様、他の機能が実現されるサーバ装置として特定することもできる。この場合、サーバ装置は、上記のサーバ装置の各プログラムのうち、対応するプログラムと同様の作用を奏する。
【００２５】
本発明の更に他の側面は、ネットワークを介した遠隔会議に用いられる第一通信端末装置と第二通信端末装置とを含む複数の通信端末装置と、前記遠隔会議を実行するサーバ装置と、を含む遠隔会議システムであって、前記第一通信端末装置は、前記第一通信端末装置の撮影部で撮影された撮影画像に対応しフレーム内圧縮画像とフレーム間圧縮画像とを含む映像データと、前記第一通信端末装置を識別する識別情報と、を前記ネットワークに接続された前記第一通信端末装置の第一通信部から前記サーバ装置に送信する第三送信制御手段と、自装置以外の前記第二通信端末装置を含む前記複数の通信端末装置のそれぞれで撮影された撮影画像に対応した映像データと、前記映像データの提供元の前記通信端末装置を識別する識別情報と、を前記第一通信部を介して、前記サーバ装置から取得する第一取得手段と、前記第一取得手段により取得された前記映像データに対応した前記撮影画像を予め定められた配置設定に従い配置した映像配置領域のうち、前記第一通信端末装置の表示部の映像表示領域に対応した範囲を、前記映像表示領域に表示する表示制御手段と、前記配置設定と前記映像表示領域との関係に基づいて、前記配置設定に従った配置において前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれるか否かを判断する第一判断手段と、前記第一判断手段により前記第二通信端末装置からの前記映像データに対応した前記撮影画像が前記映像表示領域に含まれないと判断されたことに応じて、前記第二通信端末装置からの前記映像データに含まれる前記フレーム内圧縮画像と前記フレーム間圧縮画像とのうち、少なくとも一部の前記フレーム間圧縮画像を非送信対象に設定する更新頻度情報を決定する決定手段と、前記更新頻度情報と、前記第二通信端末装置の前記識別情報と、自装置の前記識別情報と、を前記第一通信部から前記サーバ装置に送信する第一送信制御手段と、を備え、前記サーバ装置は、前記映像データと、前記識別情報と、を前記ネットワークに接続された前記サーバ装置の第二通信部を介して、前記複数の通信端末装置のそれぞれから取得する第三取得手段と、前記第二通信端末装置からの前記映像データに対する前記更新頻度情報と、前記第二通信端末装置の前記識別情報と、前記第一通信端末装置の前記識別情報と、を前記第二通信部を介して、前記第一通信端末装置から取得する第四取得手段と、前記第四取得手段により取得された、前記更新頻度情報と前記第二通信端末装置の前記識別情報と前記第一通信端末装置の前記識別情報とを関連付けて登録する第三登録手段と、前記第三取得手段により前記第二通信端末装置からの前記映像データと前記識別情報とが取得された場合、取得された前記映像データにおける圧縮画像が、前記第一通信端末装置の前記識別情報に前記第二通信端末装置の前記識別情報と共に関連付けられた前記更新頻度情報によって非送信対象に設定された前記フレーム間圧縮画像であるか否かを判断する第二判断手段と、前記第二判断手段で前記第三取得手段により取得された前記第二通信端末装置からの前記映像データにおける圧縮画像が非送信対象に設定された前記フレーム間圧縮画像ではないと判断されたことに応じて、前記第三取得手段により取得された前記第二通信端末装置からの、前記フレーム内圧縮画像又は非送信対象ではない前記フレーム間圧縮画像による前記映像データと、前記識別情報と、を前記第二通信部から前記第一通信端末装置に送信し、前記第二判断手段で前記第三取得手段により取得された前記第二通信端末装置からの前記映像データにおける圧縮画像が非送信対象に設定された前記フレーム間圧縮画像であると判断されたことに応じて、前記第三取得手段により取得された前記第二通信端末装置からの、非送信対象の前記フレーム間圧縮画像による前記映像データと、前記識別情報と、を前記第二通信部から前記第一通信端末装置に送信しない第二送信制御手段と、を備える、遠隔会議システムである。
【００２６】
これによれば、上記の通信端末装置用及びサーバ装置を含む遠隔会議システムが実現され、この遠隔会議システムによる遠隔会議を行うことができる。通信端末装置は、上記の通信端末装置の各プログラムと同様、他の機能が実現される通信端末装置として特定することもできる。サーバ装置は、上記のサーバ装置の各プログラムと同様、他の機能が実現されるサーバ装置として特定することもできる。遠隔会議システムにおいて、通信端末装置では、対応する上記の通信端末装置のプログラムと同様の作用が実現され、サーバ装置では、対応する上記のサーバ装置のプログラムと同様の作用が実現される。
【発明の効果】
【００２７】
本発明によれば、各装置間で通信される映像データのデータ量の増加を抑制しつつ、非表示であった撮影画像の表示をスムーズに行うことができる、通信端末装置のプログラム、通信端末装置、サーバ装置のプログラム、サーバ装置及び遠隔会議システムを得ることができる。
【図面の簡単な説明】
【００２８】
【図１】遠隔会議システムの一例を示す図である。
【図２】撮影画像が配置された映像配置領域と表示部の映像表示領域の関係の一例を示す図である。
【図３】管理テーブルの一例を示す図である。
【図４】更新頻度送信処理のフローチャートである。
【図５】更新ルールを示す図である。
【図６】通信端末装置からサーバ装置に送信される更新頻度設定の一例を示す図である。
【図７】更新頻度決定処理のフローチャートである。
【図８】映像送信処理のフローチャートである。
【図９】音送信処理のフローチャートである。
【図１０】クライアント受信処理のフローチャートである。
【図１１】サーバ転送処理の第一部分のフローチャートである。
【図１２】サーバ転送処理の第二部分のフローチャートである。
【図１３】サーバ装置で管理される更新頻度設定の一例を示す図である。
【図１４】転送判断処理のフローチャートである。
【図１５】更新頻度補正処理のフローチャートである。
【図１６】管理テーブルの他の例を示す図である。
【発明を実施するための形態】
【００２９】
本発明を実施するための実施形態について、図面を用いて説明する。本発明は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に示す構成の一部は、省略し又は他の構成等に置換してもよい。また、他の構成を含むようにしてもよい。
【００３０】
＜遠隔会議システム＞
遠隔会議システム１０の概略について、図１〜図３を参照して説明する。遠隔会議システム１０は、図１に示すように、サーバ装置２０と通信端末装置３０と５台の相手方装置７１，７２，７３，７４，７５を含む。以下では、通信端末装置３０と５台の相手方装置７１，７２，７３，７４，７５によって行われる遠隔会議を例に説明する。遠隔会議システム１０による遠隔会議は、通信端末装置３０と１〜４台の相手方装置、又は、通信端末装置３０と６台以上の相手方装置で行われるようにしてもよい。
【００３１】
サーバ装置２０と通信端末装置３０と相手方装置７１，７２，７３，７４，７５は、ネットワーク９０に接続されている。ネットワーク９０は、例えば、インターネットのようなネットワークである。通信端末装置３０及び相手方装置７１，７２，７３，７４，７５による遠隔会議は、公知の遠隔会議システムと同様、サーバ装置２０を経由して行われる。
【００３２】
通信端末装置３０は、ネットワーク９０を介した通信機能を有する通信装置である。通信端末装置３０は、例えば、スマートフォン、タブレット端末又はパーソナルコンピュータのような通信装置である。以下では、通信端末装置３０がスマートフォン又はタブレット端末のようなモバイル型の通信装置である場合を例に説明する。通信端末装置３０の構成については後述する。相手方装置７１，７２，７３，７４，７５は、公知の通信装置である。相手方装置７１，７２，７３，７４，７５の一部又は全部は、通信端末装置３０と同様の通信装置であってもよい。相手方装置７１，７２，７３，７４，７５は、パーソナルコンピュータであってもよい。遠隔会議に際し、相手方装置７１，７２，７３，７４，７５でも、後述する通信端末装置３０で実行される各処理（図４及び図７〜図１０参照）が実行される。「相手方装置」との名称は、通信端末装置３０を主として説明する実施形態において、この通信端末装置３０と区別するための形式的なものである。相手方装置７１，７２，７３，７４，７５に関する説明は適宜省略する。
【００３３】
遠隔会議システム１０では、通信端末装置３０で撮影された撮影画像に対応した映像データと通信端末装置３０で集音された音に対応した音データが通信端末装置３０からサーバ装置２０に送信される。また、相手方装置７１で撮影された撮影画像に対応した映像データと相手方装置７１で集音された音に対応した音データが相手方装置７１からサーバ装置２０に送信される。相手方装置７２，７３，７４，７５においても、相手方装置７１と同様、各々で撮影された撮影画像に対応した映像データと各々で集音された音に対応した音データがサーバ装置２０にそれぞれ送信される。通信端末装置３０及び相手方装置７１，７２，７３，７４，７５からの映像データと音データを取得したサーバ装置２０は、取得された映像データと音データを、送信元装置以外の通信端末装置３０及び相手方装置７１，７２，７３，７４，７５にそれぞれ送信する。例えば、サーバ装置２０は、通信端末装置３０からの映像データ及び音データを、通信端末装置３０以外の相手方装置７１，７２，７３，７４，７５にそれぞれ送信する。即ち、遠隔会議システム１０では、通信端末装置３０からの映像データ及び音データが、サーバ装置２０を経由して相手方装置７１，７２，７３，７４，７５のそれぞれにストリーミング方式で送信され、相手方装置７１，７２，７３，７４，７５からの映像データ及び音データのそれぞれが、サーバ装置２０を経由して通信端末装置３０にストリーミング方式で送信される。
【００３４】
映像データは、所定の圧縮方式の動画データである。圧縮方式としては、Ｈ．２６４が例示される。映像データは、公知の映像データと同様、フレーム内圧縮画像とフレーム間圧縮画像を含む。映像データのフレームレートは、例えば、３０ｆｐｓとされる。フレーム内圧縮画像としてはＩフレーム（Intra-coded Frame）が挙げられ、フレーム間圧縮画像としてはＰフレーム（Predicted Frame）及びＢフレーム（Bi-directional Predicted Frame）が挙げられる。Ｉフレームは、フレーム間予測を用いずに符号化された画像である。Ｐフレームは、前方向予測のみを用いて符号化された画像である。Ｂフレームは、前方向予測、後方向予測及び両方向予測のうちの何れかを用いて符号化された画像である。ＩフレームとＰフレームとＢフレームは、既に実用化された圧縮画像である。そのため、これらに関する説明は省略する。ＩフレームとＰフレームとＢフレームを区別せず、又は、これらを総称する場合、「圧縮画像」という。
【００３５】
通信端末装置３０及び相手方装置７１，７２，７３，７４，７５からは、映像データ及び音データと共に、送信元装置の識別情報と、参加する遠隔会議を識別する会議ＩＤが送信される。サーバ装置２０は、送信元装置以外の通信装置に送信する映像データ及び音データと共に、この送信元装置の識別情報と、参加する遠隔会議を識別する会議ＩＤを送信する。識別情報及び会議ＩＤは、例えば、映像データ及び音データの各ヘッダ部に含ませるようにしてもよい。識別情報は、各通信装置を識別する情報である。通信端末装置３０の識別情報は、通信端末装置３０を識別する情報であり、相手方装置７１，７２，７３，７４，７５の各識別情報は、相手方装置７１，７２，７３，７４，７５をそれぞれ識別する情報である。なお、通信端末装置３０及び相手方装置７１，７２，７３，７４，７５は、所定の会議ＩＤで識別される同一の遠隔会議に参加しているものとする。
【００３６】
通信端末装置３０は、相手方装置７１，７２，７３，７４，７５からの映像データと音データと識別情報と会議ＩＤを受信し、これらを取得する。通信端末装置３０では、相手方装置７１，７２，７３，７４，７５からの各映像データが再生され、各映像データに対応した撮影画像３８１，３８２，３８３，３８４，３８５が生成される。通信端末装置３０では、自装置で取得された映像データが再生され、この映像データに対応した撮影画像が生成される。映像データの再生は、映像データに含まれる圧縮画像がデコードされる等して行われる。
【００３７】
撮影画像３８１は、相手方装置７１からの映像データに対応した撮影画像である。撮影画像３８２は、相手方装置７２からの映像データに対応した撮影画像である。撮影画像３８３は、相手方装置７３からの映像データに対応した撮影画像である。撮影画像３８４は、相手方装置７４からの映像データに対応した撮影画像である。撮影画像３８５は、相手方装置７５からの映像データに対応した撮影画像である。
【００３８】
生成された撮影画像３８１，３８２，３８３，３８４，３８５と通信端末装置３０の撮影画像は、配置設定に従い配置される。遠隔会議用の所定のプログラム（例えば、図１０に示すクライアント受信処理のプログラム  図１０のＳ７７参照）には、撮影画像３８１，３８２，３８３，３８４，３８５を含む撮影画像が配置される部分領域を含む全体領域がパターン化され、配置設定として登録されている。この他、通信端末装置３０では、撮影画像３８１，３８２，３８３，３８４，３８５と通信端末装置３０の撮影画像の配置を予め任意に設定することもできる。通信端末装置３０では、各撮影画像に対して、表示又は非表示を設定することができる。例えば、通信端末装置３０の撮影画像が非表示とされた場合、通信端末装置３０の撮影画像は表示されない。通信端末装置３０では配置設定と表示又は非表示の設定に応じた遠隔会議画面が表示される（図２参照）。
【００３９】
実施形態では、通信端末装置３０の撮影画像が非表示とされ、撮影画像３８１，３８２，３８３，３８４，３８５が表示されることとし、撮影画像３８１，３８２，３８３，３８４，３８５が水平方向（図２参照）に整列される配置設定（Ｍ行×Ｎ列：１行×１列〜１行×５列）を例に説明する。配置設定に従い撮影画像３８１，３８２，３８３，３８４，３８５が配置される全体領域を「映像配置領域Ａ」という。撮影画像３８１は、映像配置領域Ａ内の領域Ａ１に配置される。撮影画像３８２は、映像配置領域Ａ内の領域Ａ２に配置される。撮影画像３８３は、映像配置領域Ａ内の領域Ａ３に配置される。撮影画像３８４は、映像配置領域Ａ内の領域Ａ４に配置される。撮影画像３８５は、映像配置領域Ａ内の領域Ａ５に配置される。領域Ａ１は、「１行×１列」〜「１行×５列」の映像配置領域Ａのうちの「１行×１列」の領域である。領域Ａ２は、映像配置領域Ａのうちの「１行×２列」の領域である。領域Ａ３は、映像配置領域Ａのうちの「１行×３列」の領域である。領域Ａ４は、映像配置領域Ａのうちの「１行×４列」の領域である。領域Ａ５は、映像配置領域Ａのうちの「１行×５列」の領域である。
【００４０】
通信端末装置３０では、領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５と表示対象の撮影画像３８１，３８２，３８３，３８４，３８５のそれぞれに対応する相手方装置７１，７２，７３，７４，７５の各識別情報は、関連付けられて管理テーブルに登録される（図３参照）。管理テーブルでは、この他、映像配置領域Ａ内の領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５及び各識別情報に関連付けて、映像累積時間と音累積時間が登録される。映像累積時間は、１回の遠隔会議において、映像表示領域Ｂに撮影画像３８１，３８２，３８３，３８４，３８５がそれぞれ表示された累積時間である。通信端末装置３０では、撮影画像３８１，３８２，３８３，３８４，３８５がそれぞれ表示された累積時間が計測される。
【００４１】
音累積時間は、１回の遠隔会議において、相手方装置７１，７２，７３，７４，７５からの各音データの再生時間を累積した時間である。遠隔会議システム１０でサーバ装置２０を経由して送受信される音データは、再生時間が所定の一定時間となる単位のデータとして送受信される。例えば、音データは、再生時間が２０ｍｓｅｃとなる単位のデータとして送受信される。従って、相手方装置７１，７２，７３，７４，７５のそれぞれにおける音累積時間は、各通信装置から送信され、通信端末装置３０にて取得された相手方装置７１，７２，７３，７４，７５からの各音データに基づき計測される。音データは、所定の一定時間の送信間隔で、個々の通信装置から、サーバ装置２０に対して送信される。
【００４２】
図３において、識別情報「７１」は、相手方装置７１の識別情報である。識別情報「７２」は、相手方装置７２の識別情報である。識別情報「７３」は、相手方装置７３の識別情報である。識別情報「７４」は、相手方装置７４の識別情報である。識別情報「７５」は、相手方装置７５の識別情報である。配置設定に従い配置された撮影画像３８１，３８２，３８３，３８４，３８５の表示に関するこの他の説明は後述する。
【００４３】
相手方装置７１，７２，７３，７４，７５でも、通信端末装置３０及び相手方装置７１，７２，７３，７４，７５のうち、自装置以外の通信装置からの各映像データが再生され、各映像データに対応した撮影画像が生成される。そして、配置設定と表示又は非表示の設定に応じた遠隔会議画面が表示される。相手方装置７１，７２，７３，７４，７５でも、自装置で取得された映像データを再生し、自装置での撮影画像を表示させることもできる。また、相手方装置７１，７２，７３，７４，７５でも、通信端末装置３０からの音データと、相手方装置７１，７２，７３，７４，７５のうち、自装置以外の通信装置からの各音データが再生され、各音データに対応した音が出力される。
【００４４】
実施形態では、通信端末装置３０と同様、相手方装置７１，７２，７３，７４，７５では、自装置の撮影画像は非表示とされ、自装置以外の撮影画像が表示されていることとする。また、実施形態における「送信元装置」及び「送信元」について、所定のデータを取得する装置を主体とした場合、所定のデータの「送信元装置」及び「送信元」は、所定のデータの「提供元装置」及び「提供元」ということもできる。
【００４５】
＜サーバ装置＞
サーバ装置２０は、図１に示すように、ＣＰＵ２２と、記憶部２４と、ＲＡＭ２６と、計時部２７と、通信部２８を備える。これら各部２２〜２８は、バス２９に接続される。
【００４６】
ＣＰＵ２２は、演算処理を実行する。記憶部２４は、コンピュータが読み取り可能な記憶媒体、例えば、ハードディスクによって構成される。但し、記憶部２４は、フラッシュメモリ及び／又はＲＯＭ等で構成されてもよい。記憶部２４には、各種のプログラムが記憶される。例えば、ＯＳ（Operating System）及び各種のアプリケーションが記憶部２４に記憶される。記憶部２４に記憶されるアプリケーションには、後述する各処理（図１１、図１２、図１４及び図１５参照）を実行するプログラムが含まれる。後述する各処理を実行するプログラムは、記憶部２４に事前にインストールされる。
【００４７】
事前のインストールは、例えば、半導体メモリ等のコンピュータが読み取り可能な記憶媒体に記憶されたプログラムが、サーバ装置２０の読取部（不図示）によって読み取られることで行われる。サーバ装置２０が、例えば、光学ドライブ（不図示）を備えている場合、事前のインストールは、光学メディアに記憶されたプログラムが、光学ドライブによって読み取られることで行われるようにしてもよい。この他、事前のインストールは、ネットワーク９０に接続されるサーバ装置２０とは別のサーバ装置のハードディスク等のコンピュータが読み取り可能な記憶媒体に記憶されたプログラムが、サーバ装置２０の通信部２８を介して伝送信号として受信されることで行われるようにしてもよい。何れの形態とするかは、諸事情を考慮して適宜決定される。なお、コンピュータが読み取り可能な記憶媒体は、一時的に伝送される信号を含まなくてもよい。コンピュータが読み取り可能な記憶媒体は、一時的な信号を含まない、非一時的な記憶媒体であってもよい。非一時的な記憶媒体は、情報を記憶する期間に関わらず、情報を記憶可能な記憶媒体であればよい。
【００４８】
ＲＡＭ２６は、ＣＰＵ２２が各種のプログラムを実行する際に利用される記憶領域となる。ＲＡＭ２６には、処理の実行途中に、処理で利用される所定のデータ及び情報が所定の記憶領域に記憶される。
【００４９】
サーバ装置２０では、ＣＰＵ２２が記憶部２４に記憶されたＯＳ及び図１１、図１２、図１４及び図１５に示す各処理のプログラムを実行する等して、サーバ装置２０を制御する。これによって、サーバ装置２０では、各種の処理が実行され、各種の機能手段が実現される。
【００５０】
計時部２７は、カレンダ機能及び時計機能等を有し、時間の経過を計測する。計時部２７は、ＯＳが有する時計機能により構成されてもよい。通信部２８は、サーバ装置２０をネットワーク９０に接続し、ネットワーク９０を介したデータ通信を行う。サーバ装置２０は、受信した映像データ及び音データを、映像データ及び音データと共に送信された会議ＩＤで識別される遠隔会議に参加している通信装置のうち、送信元装置以外の通信装置に対して送信する。例えば、通信端末装置３０及び相手方装置７１，７２，７３，７４，７５のそれぞれからの映像データ及び音データは、通信部２８で受信され、送信元装置以外の通信装置に送信される。即ち、通信端末装置３０及び相手方装置７１，７２，７３，７４，７５のそれぞれからの映像データ及び音データは、通信部２８を介して送信元装置以外の通信装置に転送される。通信部２８によるネットワーク９０への接続は、有線接続とされる。但し、通信部２８によるネットワーク９０への接続は、無線接続であってもよい。
【００５１】
サーバ装置２０は、図１１、図１２、図１４及び図１５に示す各処理のプログラムが記憶部２４に記憶されている点が、公知のサーバ装置と相違する。但し、サーバ装置２０は、ハードウェア的には、公知のサーバ装置と同一の通信機能を有する情報処理装置である。従って、上記では説明を省略したが、サーバ装置２０は、上述した各部２２〜２８の他、公知のサーバ装置が備える構成を備える。
【００５２】
＜通信端末装置＞
通信端末装置３０は、図１に示すように、ＣＰＵ３２と、記憶部３４と、ＲＡＭ３６と、表示部３８と、操作部４０と、カメラ４６と、オーディオ部４８と、計時部５２と、通信部５４を備える。これら各部３２〜５４は、バス５６に接続される。
【００５３】
ＣＰＵ３２は、演算処理を実行する。記憶部３４は、コンピュータが読み取り可能な記憶媒体、例えば、フラッシュメモリによって構成される。但し、記憶部３４は、ハードディスク及び／又はＲＯＭ等で構成されてもよい。記憶部３４には、各種のプログラムが記憶される。例えば、ＯＳ（Operating System）及び各種のアプリケーションが記憶部３４に記憶される。記憶部３４に記憶されるアプリケーションには、後述する各処理（図４及び図７〜図１０参照）を実行するプログラムが含まれる。後述する各処理を実行するプログラムは、記憶部３４に事前にインストールされていてもよいが、遠隔会議への参加に際し、通信端末装置３０がサーバ装置２０にアクセスした場合に、サーバ装置２０からネットワーク９０を介して伝送信号として通信端末装置３０に送信され、そのタイミングで、記憶部３４にインストールされるようにしてもよい。この場合、プログラムは、ＲＡＭ３６に記憶されても差し支えない。
【００５４】
事前のインストールは、例えば、半導体メモリ等のコンピュータが読み取り可能な記憶媒体に記憶されたプログラムが、通信端末装置３０の読取部（不図示）によって読み取られることで行われる。通信端末装置３０が、例えば、パーソナルコンピュータのように光学ドライブ（不図示）を備えている場合、事前のインストールは、光学メディアに記憶されたプログラムが、光学ドライブによって読み取られることで行われるようにしてもよい。この他、事前のインストールは、ネットワーク９０を介して通信端末装置３０に接続されるサーバ装置（サーバ装置２０又は不図示のサーバ装置）のハードディスク等のコンピュータが読み取り可能な記憶媒体に記憶されたプログラムが、通信端末装置３０の通信部５４を介して伝送信号として受信されることで行われるようにしてもよい。何れの形態とするかは、諸事情を考慮し適宜決定される。なお、コンピュータが読み取り可能な記憶媒体は、一時的に伝送される信号を含まなくてもよい。コンピュータが読み取り可能な記憶媒体は、一時的な信号を含まない非一時的な記憶媒体であってもよい。非一時的な記憶媒体は、情報を記憶する期間に関わらず、情報を記憶可能な記憶媒体であればよい。
【００５５】
ＲＡＭ３６は、ＣＰＵ３２が各種のプログラムを実行する際に利用される記憶領域となる。ＲＡＭ３６には、処理の実行途中に、処理で利用される所定のデータ及び情報が所定の記憶領域に記憶される。管理テーブル（図３参照）もＲＡＭ３６に記憶される。
【００５６】
通信端末装置３０では、ＣＰＵ３２が記憶部３４に記憶されたＯＳ及び図４及び図７〜図１０に示す各処理のプログラムを実行する等して、通信端末装置３０を制御する。これによって、通信端末装置３０では、各種の処理が実行され、各種の機能手段が実現される。
【００５７】
表示部３８は、各種の情報を表示する。例えば、表示部３８には、撮影画像３８１，３８２，３８３，３８４，３８５を含む遠隔会議画面が表示される（図２参照）。操作部４０は、通信端末装置３０に対する各種の指令等の入力を受け付ける。操作部４０は、例えば、ハードキー４２と、タッチパッド４４を含む。タッチパッド４４は、例えば、静電容量式の位置入力装置で、ユーザの指の接触位置に応じた座標位置を示す信号を出力する。タッチパッド４４は、抵抗膜方式や超音波方式等、他の形態の位置入力装置によって構成されてもよい。表示部３８とタッチパッド４４により、タッチパネル（図１で「表示部３８」と「タッチパッド４４」を囲む破線参照）が実現される。
【００５８】
通信端末装置３０のユーザは、タッチパッド４４に対して、スクロール、スワイプ、フリック、タップ、ドラッグ、ピンチイン及びピンチアウト等の操作を行う。通信端末装置３０のユーザは、タッチパッド４４に触れた指を所定の方向に移動させる等して、前述したような各操作を行う。操作に応じてタッチパッド４４から出力される信号に基づいて、このような各操作に対応する操作情報（例えば、操作の種類や移動距離等）を生成する処理は、公知のスマートフォン又はタブレット端末でも採用されている技術であって、通信端末装置３０でも採用される。操作部４０は、更に、キーボード及びマウスを含む構成であってもよい。なお、通信端末装置３０がパーソナルコンピュータである場合、操作部４０は、キーボード及びマウスを含む。
【００５９】
表示部３８での撮影画像３８１，３８２，３８３，３８４，３８５の表示について、図２を参照して説明する。水平方向において、映像配置領域Ａの幅ＷＡは、映像表示領域Ｂの幅ＷＢより幅広である。映像表示領域Ｂには、映像配置領域Ａの一部が表示される。換言すれば、映像表示領域Ｂに一度に表示される撮影画像は、撮影画像３８１，３８２，３８３，３８４，３８５のうちの一部である。図２に示す例では、映像表示領域Ｂに一度に表示される撮影画像は、撮影画像３８１，３８２，３８３，３８４，３８５のうちの２個である。映像表示領域Ｂは、表示部３８の表示領域のうち、遠隔会議用の表示領域として設定された領域である。表示部３８の表示領域の全てが遠隔会議用の表示領域として設定された場合、映像表示領域Ｂは表示部３８の表示領域に一致する。実施形態では、表示部３８の表示領域の全てが遠隔会議用の表示領域として設定されている場合を例に説明する。図２上段及び下段において、表示部３８に付した「網点模様」は、表示部３８の表示領域を示す。
【００６０】
例えば、撮影画像３８１，３８２が表示されている状態（図２上段参照）を、撮影画像３８４，３８５が表示される状態（図２下段参照）へとする場合、通信端末装置３０のユーザは、タッチパッド４４に触れた指を右側から左側へと移動させるスワイプ操作を行う。これに伴い、映像表示領域Ｂに対する映像配置領域Ａの位置が水平方向に移動され、撮影画像３８４，３８５が表示される。通信端末装置３０では、水平方向を基準として、映像表示領域Ｂに表示されている映像配置領域Ａの範囲が特定され管理される。例えば、図２上段に基づけば、映像表示領域Ｂに表示されている範囲として、領域Ａ１〜Ａ２が特定され、ＲＡＭ３６に領域Ａ１〜Ａ２が記憶される。一方、図２下段に基づけば、映像表示領域Ｂに表示されている範囲として、領域Ａ４〜Ａ５が特定され、ＲＡＭ３６に領域Ａ４〜Ａ５が記憶される。
【００６１】
カメラ４６は、通信端末装置３０の正面の外界像を撮影する。例えば、通信端末装置３０の正面に通信端末装置３０のユーザが位置する場合、カメラ４６は、ユーザを含む外界像を撮影する。オーディオ部４８は、スピーカ４９とマイク５０を含む。スピーカ４９は、音を出力する。マイク５０は、外界音を集音する。例えば、マイク５０は、通信端末装置３０のユーザが発した音声を集音する。オーディオ部４８は、音データに対応した音をスピーカ４９から出力する。また、オーディオ部４８は、マイク５０で集音された音を所定のサンプリング周波数（例えば１１．０２５ｋＨｚ又は４４．１ｋＨｚ）でＡ／Ｄ変換された波形データを生成する。通信端末装置３０では、遠隔会議の開始に伴い、カメラ４６での撮影とマイク５０での集音が開始され、カメラ４６で撮影された撮影画像に対応した映像データと、マイク５０で集音された音（所定のサンプリング周波数でＡ／Ｄ変換された波形データ）に対応した音データが生成される。
【００６２】
計時部５２は、カレンダ機能及び時計機能等を有し、時間の経過を計測する。計時部５２は、ＯＳが有する時計機能により構成されてもよい。通信部５４は、通信端末装置３０をネットワーク９０に接続し、ネットワーク９０を介したデータ通信を行う。例えば、遠隔会議の開始に伴い生成される映像データ及び音データのそれぞれは、通信端末装置３０の識別情報及び開始された遠隔会議の会議ＩＤと共に通信部５４からサーバ装置２０に送信される。そして、映像データ、音データ及び通信端末装置３０の識別情報は、この会議ＩＤで識別される遠隔会議に参加する相手方装置７１，７２，７３，７４，７５にそれぞれサーバ装置２０から送信される。通信部５４では、サーバ装置２０を経由して送信された、相手方装置７１，７２，７３，７４，７５のそれぞれからの映像データ及び音データと、送信元装置の識別情報が受信される。通信部５４によるネットワーク９０への接続は、無線接続又は有線接続の何れであってもよい。例えば、通信端末装置３０がモバイル型の通信装置である場合、通信部５４によるネットワーク９０への接続は、無線接続とされる。通信部５４は、例えば、Ｗｉ−Ｆｉ規格、４Ｇ規格、３Ｇ規格等、公知の通信方式に従った無線通信を行うための通信モジュールである。
【００６３】
通信端末装置３０は、図４及び図７〜図１０に示す各処理のプログラムが記憶部３４に記憶されている点が、公知のモバイル型の通信装置と相違する。但し、通信端末装置３０は、ハードウェア的には、公知のモバイル型の通信装置と同一の通信装置である。
【００６４】
＜通信端末装置で実行される処理＞
遠隔会議の実行中に通信端末装置３０で実行される処理について説明する。遠隔会議システム１０では、例えば、遠隔会議の開催予定日時以前に、遠隔会議に参加予定の通信端末装置３０及び相手方装置７１，７２，７３，７４，７５のそれぞれに対応した各電子メールアドレスを宛先として、サーバ装置２０から電子メールが送信される。この電子メールは、通信端末装置３０及び相手方装置７１，７２，７３，７４，７５による遠隔会議のためのＵＲＬ（Uniform Resource Locator）を含む。このＵＲＬは、遠隔会議の会議室毎に固有である。換言すれば、ＵＲＬには、遠隔会議の会議ＩＤが含まれている。なお、会議ＩＤは、例えば、ＵＲＬのクエリパラメータとして含まれていてもよい。
【００６５】
通信端末装置３０のユーザは、遠隔会議の開催予定日時に、通信端末装置３０を操作する。通信端末装置３０において、ＣＰＵ３２は、上述した会議ＩＤを含むＵＲＬに基づき通信部５４からサーバ装置２０にアクセスし、サーバ装置２０との間でセッションを確立する処理を実行する。以下に示す各処理は、サーバ装置２０とのセッションが確立され、サーバ装置２０と会議接続された状態で実行される。
【００６６】
ＣＰＵ３２は、サーバ装置２０と会議接続されたタイミングで、計時部５２での計測を開始する。ＣＰＵ３２は、計測開始からの経過時間をＲＡＭ３６に記憶する。計時部５２での計測は、会議ＩＤによって識別される遠隔会議に参加予定の通信端末装置３０及び相手方装置７１，７２，７３，７４，７５の全てがサーバ装置２０と会議接続されたタイミングとしてもよい。サーバ装置２０は、通信端末装置３０及び相手方装置７１，７２，７３，７４，７５の全てと会議接続されたタイミングで、全ての通信装置と会議接続がされたことを、各通信装置に通知する。
【００６７】
＜更新頻度送信処理＞
更新頻度送信処理について、図４を参照して説明する。更新頻度送信処理は、通信端末装置３０がサーバ装置２０と会議接続された後、切断されるまで一定間隔で繰り返して実行される。更新頻度送信処理が繰り返される間隔は、例えば、１００ｍｓｅｃである。更新頻度送信処理を開始させたＣＰＵ３２は、映像配置領域Ａと映像表示領域Ｂの関係を特定する（Ｓ１１）。例えば、ＣＰＵ３２は、映像表示領域Ｂに表示されている映像配置領域Ａの範囲と、映像表示領域Ｂ外となる映像配置領域Ａの範囲を特定する。図２上段に基づけば、ＣＰＵ３２は、映像表示領域Ｂに表示されている映像配置領域Ａの範囲として、領域Ａ１〜Ａ２を特定し、映像表示領域Ｂ外の範囲として、領域Ａ３〜Ａ５を特定する。
【００６８】
続けて、ＣＰＵ３２は、ＲＡＭ３６に記憶された管理テーブルで映像表示領域Ｂに表示されている映像配置領域Ａの範囲として特定された領域に関連付けられた映像累積時間を更新する（Ｓ１３）。例えば、上述したように映像表示領域Ｂに表示されている映像配置領域Ａの範囲として、領域Ａ１〜Ａ２が特定されていたとする（図２上段参照）。この場合、ＣＰＵ３２は、管理テーブルで領域Ａ１に関連付けられた映像累積時間と領域Ａ２に関連付けられた映像累積時間を更新する。上述した通り、更新頻度送信処理は、一定時間毎に繰り返して再開される。従って、ＣＰＵ３２は、管理テーブルで領域Ａ１，Ａ２に関連付けられた各映像累積時間に、前回のＳ１３から今回のＳ１３の実行に要した一定時間（例えば、１００ｍｓｅｃ）を加算する。
【００６９】
次に、ＣＰＵ３２は、更新頻度情報を決定する（Ｓ１５）。更新頻度情報は、映像データを送信している相手方装置７１，７２，７３，７４，７５のそれぞれに対して決定される。決定された更新頻度情報は、相手方装置７１，７２，７３，７４，７５の各識別情報に関連付けて記憶される。更新頻度情報は、映像データに含まれる圧縮画像のうちの一部又は全部を非送信対象とするか否かを示すものであり、例えば、図５に示すように定義される。
【００７０】
更新ルールについて、図５に基づき説明する。実施形態では、更新頻度情報として更新頻度「５」〜「１」が定義される。更新頻度「５」は定義された更新頻度情報のうち、最も高い更新頻度情報である。以下、更新頻度の高い順に、更新頻度「４」、「３」、「２」となり、更新頻度「１」は、最も低い更新頻度情報である。
【００７１】
更新頻度「５」では、Ｉフレーム、Ｐフレーム及びＢフレームの全てが送信対象とされ、非送信対象とされる圧縮画像は定義されない。更新頻度「５」に対応した映像データについては、Ｉフレーム、Ｐフレーム及びＢフレームの全ての圧縮画像がサーバ装置２０を経由して通信端末装置３０に送信される。通信端末装置３０では、撮影画像を各圧縮画像に基づき更新することが可能となる。Ｉフレーム最短周期は、０ｓｅｃに定義される。Ｉフレーム最短周期は、サーバ装置２０が送信対象となるＩフレームを送信する際の送信周期の最短間隔を示す。
【００７２】
更新頻度「４」では、Ｉフレーム及びＰフレームが送信対象とされ、Ｂフレームが非送信対象として定義される。更新頻度「４」に対応した映像データについては、Ｉフレーム及びＰフレームがサーバ装置２０を経由して通信端末装置３０に送信される。Ｂフレームは送信されない。通信端末装置３０では、撮影画像をＩフレームとＰフレームに基づき更新することが可能となる。Ｉフレーム最短周期は、０ｓｅｃに定義される。
【００７３】
更新頻度「３」では、Ｉフレームが送信対象とされ、Ｐフレーム及びＢフレームが非送信対象として定義されると共に、Ｉフレームの最短周期が３００ｍｓｅｃに定義される。更新頻度「３」に対応した映像データについては、Ｉフレームが３００ｍｓｅｃ以上の間隔でサーバ装置２０を経由して通信端末装置３０に送信される。Ｐフレーム及びＢフレームは送信されない。通信端末装置３０では、撮影画像を３００ｍｓｅｃ以上の間隔でサーバ装置２０から送信されるＩフレームに基づき更新することが可能となる。
【００７４】
更新頻度「２」では、Ｉフレームが送信対象とされ、Ｐフレーム及びＢフレームが非送信対象として定義されると共に、Ｉフレームの最短周期が２０００ｍｓｅｃに定義される。更新頻度「２」に対応した映像データについては、Ｉフレームが２０００ｍｓｅｃ以上の間隔でサーバ装置２０を経由して通信端末装置３０に送信される。Ｐフレーム及びＢフレームは送信されない。通信端末装置３０では、撮影画像を２０００ｍｓｅｃ以上の間隔でサーバ装置２０から送信されるＩフレームに基づき更新することが可能となる。
【００７５】
更新頻度「１」では、Ｉフレーム、Ｐフレーム及びＢフレームの全てが非送信対象として定義される。この場合、更新頻度「１」に対応した映像データについては、サーバ装置２０を経由した通信端末装置３０への送信は停止される。実施形態では、図５に示す更新頻度「５」〜「１」を例に説明する。
【００７６】
Ｓ１５により相手方装置７１，７２，７３，７４，７５のそれぞれに対する更新頻度情報を決定した後、ＣＰＵ３２は、更新頻度設定と自装置の識別情報の送信を制御する（Ｓ１７）。Ｓ１７でＣＰＵ３２は、サーバ装置２０への更新頻度設定と自装置の識別情報の送信指令を通信部５４に出力する。これに伴い、更新頻度設定と自装置の識別情報が通信部５４からサーバ装置２０に送信される。送信対象となる更新頻度設定は、相手方装置７１，７２，７３，７４，７５のそれぞれに対して決定された更新頻度情報を含む（図６参照）。更新頻度情報は、ターゲットとなる相手方装置７１，７２，７３，７４，７５の各識別情報に関連付けられる（図６参照）。ＣＰＵ３２は、Ｓ１７における送信の制御に際し、後述するようにして設定され、識別情報に関連付けてＲＡＭ３６に記憶された更新頻度情報に基づき、更新頻度設定を生成する。送信元としての通信端末装置３０の識別情報は、更新頻度設定の例えばヘッダ部に含ませるようにしてもよい。Ｓ１７を実行した後、ＣＰＵ３２は、更新頻度送信処理を終了する。
【００７７】
＜更新頻度決定処理＞
図４に示す更新頻度送信処理のＳ１５での更新頻度情報の決定に際し実行される更新頻度決定処理について、図７を参照して説明する。更新頻度決定処理は、上述した通り、相手方装置７１，７２，７３，７４，７５のそれぞれに対応して実行される。従って、５台の相手方装置７１，７２，７３，７４，７５に基づく実施形態では、更新頻度決定処理は、Ｓ１５での更新頻度情報の決定に際し５回繰り返される。ＣＰＵ３２は、相手方装置７１，７２，７３，７４，７５の何れかを対象とした更新頻度決定処理で設定された更新頻度情報（後述するＳ２３、Ｓ２５、Ｓ２９、Ｓ３３又はＳ３７参照）を、図４のＳ１５で、対象の相手方装置の更新頻度情報として決定する。
【００７８】
更新頻度決定処理を開始させたＣＰＵ３２は、更新頻度決定処理の対象となる相手方装置の識別情報が図４のＳ１１で映像表示領域Ｂに表示されている映像配置領域Ａの範囲として特定された領域に関連付けられているか否かを判断する（Ｓ２１）。図２上段及び図３を例に説明する。この場合、図４のＳ１１では、領域Ａ１〜Ａ２が特定される。従って、更新頻度決定処理が、相手方装置７１，７２，７３，７４，７５のうち、領域Ａ１に関連付けられた識別情報の相手方装置７１又は領域Ａ２に関連付けられた識別情報の相手方装置７２の何れかを対象としている場合、ＣＰＵ３２は、Ｓ２１を肯定する（Ｓ２１：Ｙｅｓ）。更新頻度決定処理が、相手方装置７１，７２，７３，７４，７５のうち、領域Ａ１，Ａ２には関連付けられていない識別情報の相手方装置７３，７４，７５の何れかを対象としている場合、ＣＰＵ３２は、Ｓ２１を否定する（Ｓ２１：Ｎｏ）。相手方装置７１，７２，７３，７４，７５のうち、更新頻度決定処理の対象である相手方装置を、「処理対象の相手方装置」という。
【００７９】
Ｓ２１が肯定される場合（Ｓ２１：Ｙｅｓ）、ＣＰＵ３２は、更新頻度「５」を設定する（Ｓ２３）。設定された更新頻度「５」は、処理対象の相手方装置の識別情報に関連付けてＲＡＭ３６に記憶される。Ｓ２１が否定される場合（Ｓ２１：Ｎｏ）、ＣＰＵ３２は、更新頻度「１」を設定する（Ｓ２５）。設定された更新頻度「１」は、処理対象の相手方装置の識別情報に関連付けてＲＡＭ３６に記憶される。
【００８０】
Ｓ２５を実行した後、ＣＰＵ３２は、移動方向と反対の方向において、処理対象の相手方装置の識別情報に関連付けられた映像配置領域Ａ内の領域の位置が基準端部から基準間隔ＷＣ内であるか否かを判断する（Ｓ２７）。処理対象の相手方装置の識別情報に関連付けられた映像配置領域Ａ内の領域について、図２上段に基づけば、処理対象の相手方装置が相手方装置７３である場合、この領域は領域Ａ３であり、処理対象の相手方装置が相手方装置７４である場合、この領域は領域Ａ４であり、処理対象の相手方装置が相手方装置７５である場合、この領域は領域Ａ５である（図３参照）。
【００８１】
非表示の撮影画像（図２上段：撮影画像３８３，３８４，３８５  図２下段：撮影画像３８１，３８２，３８３）を表示させるためのスワイプ操作における移動方向は水平方向であるため、Ｓ２７では基準とする方向は水平方向とされる。基準端部は、映像表示領域Ｂの水平方向の両側の辺部のうち、前述した水平方向への移動に際し、移動の後進側となる辺部である。図２に基づき説明すると、図２上段では、水平方向の右側の辺部が基準端部となり、図２下段では、水平方向の左側の辺部が基準端部となる。基準間隔ＷＣは、隣り合う２枚の撮影画像の水平方向の両側の辺部のうち共通した側の辺部間の距離ＷＤに対応した間隔である。実施形態では、映像表示領域Ｂに同時に２枚の撮影画像を表示することができることに対応させ、基準間隔ＷＣは、距離ＷＤの２倍の間隔に設定されている（図２参照）。基準間隔ＷＣは、例えば、距離ＷＤと同一、又は、距離ＷＤの３倍以上に設定するようにしてもよい。基準間隔ＷＣは、諸条件を考慮して適宜設定される。
【００８２】
映像配置領域Ａ内の領域の位置が基準端部から基準間隔ＷＣ内である場合（Ｓ２７：Ｙｅｓ）、ＣＰＵ３２は、Ｓ２５で設定されＲＡＭ３６に記憶された更新頻度情報を１ランクアップする（Ｓ２９）。これにより、ＲＡＭ３６に記憶された更新頻度情報は「２」に設定される。映像配置領域Ａ内の領域の位置が基準端部から基準間隔ＷＣ内ではない場合（Ｓ２７：Ｎｏ）、又は、Ｓ２９を実行した後、ＣＰＵ３２は、処理対象の相手方装置の識別情報に関連付けられた映像累積時間の遠隔会議の全体時間に対する比が第一基準値以上であるか否かを判断する（Ｓ３１）。Ｓ３１でＣＰＵ３２は、ＲＡＭ３６に記憶された管理テーブルにアクセスし、前述した識別情報に関連付けられた映像累積時間を特定する。ＣＰＵ３２は、サーバ装置２０との会議接続時に計時部５２で計測を開始させた経過時間を全体時間として特定する。そして、ＣＰＵ３２は、映像累積時間を全体時間で除して算出された値が第一基準値以上であるか否かを判断する。第一基準値は、諸条件を考慮して設定される。例えば、第一基準値は、０．５（５０％）に設定される。第一基準値は、更新頻度決定処理のプログラムに関連付けて記憶部３４に記憶されている。
【００８３】
映像累積時間の遠隔会議の全体時間に対する比が第一基準値以上である場合（Ｓ３１：Ｙｅｓ）、ＣＰＵ３２は、ＲＡＭ３６に記憶された更新頻度情報を１ランクアップする（Ｓ３３）。Ｓ２９が実行されていた場合、ＲＡＭ３６に記憶された更新頻度情報は「３」に設定される。Ｓ２９が実行されていない場合、ＲＡＭ３６に記憶された更新頻度情報は「２」に設定される。
【００８４】
映像累積時間の遠隔会議の全体時間に対する比が第一基準値未満である場合（Ｓ３１：Ｎｏ）、又は、Ｓ３３を実行した後、ＣＰＵ３２は、処理対象の相手方装置の識別情報に関連付けられた音累積時間の遠隔会議の全体時間に対する比が第二基準値以上であるか否かを判断する（Ｓ３５）。Ｓ３５でＣＰＵ３２は、ＲＡＭ３６に記憶された管理テーブルにアクセスし、前述した識別情報に関連付けられた音累積時間を特定する。ＣＰＵ３２は、サーバ装置２０との会議接続時に計時部５２で計測を開始させた経過時間を全体時間として特定する。そして、ＣＰＵ３２は、音累積時間を全体時間で除して算出された値が第二基準値以上であるか否かを判断する。第二基準値は、諸条件を考慮して設定される。例えば、第二基準値は、０．２（２０％）に設定される。第二基準値は、更新頻度決定処理のプログラムに関連付けて記憶部３４に記憶されている。
【００８５】
音累積時間の遠隔会議の全体時間に対する比が第二基準値以上である場合（Ｓ３５：Ｙｅｓ）、ＣＰＵ３２は、ＲＡＭ３６に記憶された更新頻度情報を１ランクアップする（Ｓ３７）。Ｓ２９及びＳ３３が実行されていた場合、ＲＡＭ３６に記憶された更新頻度情報は「４」に設定される。Ｓ２９又はＳ３３が実行されていた場合、ＲＡＭ３６に記憶された更新頻度情報は「３」に設定される。
【００８６】
映像累積時間の遠隔会議の全体時間に対する比が第二基準値未満である場合（Ｓ３５：Ｎｏ）、又は、Ｓ２３若しくはＳ３７を実行した後、ＣＰＵ３２は、更新頻度決定処理を終了する。処理対象となっていない相手方装置がある場合、ＣＰＵ３２は、更新頻度決定処理を再開する。そして、相手方装置７１，７２，７３，７４，７５の全てに対する更新頻度決定処理が終了した場合、ＣＰＵ３２は、処理を図４のＳ１７に戻す。
【００８７】
＜映像送信処理＞
映像送信処理について、図８を参照して説明する。映像送信処理は、サーバ装置２０と会議接続された後、切断されるまで一定間隔で繰り返して実行される。映像送信処理が繰り返される間隔は、映像データのフレームレートに対応した間隔とされる。例えば、フレームレートが３０ｆｐｓの場合、１／３０ｓｅｃの間隔で繰り返される。映像送信処理を開始させたＣＰＵ３２は、カメラ４６で撮影された撮影画像を取得する（Ｓ４１）。続けて、ＣＰＵ３２は、取得された撮影画像をＨ．２６４等の所定の圧縮方式に従ってエンコードする（Ｓ４３）。これに伴い、圧縮画像が生成される。
【００８８】
次に、ＣＰＵ３２は、生成された圧縮画像を含む映像データに対して、画像種別情報と、通信端末装置３０の識別情報を付与する（Ｓ４５）。画像種別情報は、生成された圧縮画像の種別を示す情報である。例えば、生成された圧縮画像がＩフレームである場合、付与される画像種別情報は、Ｉフレームを示す情報である。生成された圧縮画像がＰフレームである場合、付与される画像種別情報は、Ｐフレームを示す情報である。生成された圧縮画像がＢフレームである場合、付与される画像種別情報は、Ｂフレームを示す情報である。
【００８９】
続けて、ＣＰＵ３２は、通信端末装置３０の識別情報と圧縮画像情報が付与された圧縮画像を含む映像データの送信を制御する（Ｓ４７）。Ｓ４７でＣＰＵ３２は、映像データの送信指令を通信部５４に出力する。これに伴い、映像データが通信部５４からサーバ装置２０に送信される。Ｓ４７を実行した後、ＣＰＵ３２は、映像送信処理を終了する。
【００９０】
＜音送信処理＞
音送信処理について、図９を参照して説明する。音送信処理は、サーバ装置２０と会議接続された後、切断されるまで一定間隔で繰り返して実行される。音送信処理が繰り返される間隔は、例えば、所定のエンコード周期（例えば、２０ｍｓｅｃ）とされる。なお、音データの再生時間として上述した２０ｍｓｅｃは、エンコード周期の２０ｍｓｅｃに対応する。音送信処理を開始させたＣＰＵ３２は、マイク５０で集音された音を取得する（Ｓ５１）。なお、Ｓ５１でＣＰＵ３２が取得する音は、上述した通り、マイク５０で集音された音を所定のサンプリング周波数（例えば１１．０２５ｋＨｚ又は４４．１ｋＨｚ）でＡ／Ｄ変換された波形データを含む概念である。続けて、ＣＰＵ３２は、取得された音のボリューム（ｄＢ）を検出し、検出された音のボリュームが閾値より大きいか否かを判断する（Ｓ５３）。ボリュームの検出は、例えば、Ｓ５１で取得された音の波形のレベルを検出することで決定される。なお、Ｓ５１で取得された音は複数のサンプリング点を含むため、例えば、所定時間内に含まれる複数のサンプリング点の平均レベルが音のボリュームとして検出される。複数のサンプリング点の最大レベルを音のボリュームとして検出してもよい。Ｓ５３で判断基準となる閾値は、通信端末装置３０のユーザが遠隔会議において発言したと判断できる場合の音声のボリュームを考慮して予め決定される。閾値は、音送信処理のプログラムに関連付けて記憶部３４に記憶されている。閾値は、例えば背景のノイズレベル等に応じて、適宜変更されてもよい。
【００９１】
検出された音のボリュームが閾値より大きい場合（Ｓ５３：Ｙｅｓ）、ＣＰＵ３２は、取得された音を、例えばＭＰＥＧ−４  ＡＡＣ，Ｇ．７１１等の所定の圧縮方式に従ってエンコードする（Ｓ５５）。これに伴い、圧縮された音データが生成される。ＣＰＵ３２は、生成された音データに対して、通信端末装置３０の識別情報を付与する（Ｓ５７）。続けて、ＣＰＵ３２は、識別情報が付与された音データの送信を制御する（Ｓ５９）。Ｓ５９でＣＰＵ３２は、音データの送信指令を通信部５４に出力する。これに伴い、音データが通信部５４からサーバ装置２０に送信される。検出された音のボリュームが閾値以下である場合（Ｓ５３：Ｎｏ）、又は、Ｓ５９を実行した後、ＣＰＵ３２は、音映像送信処理を終了する。
【００９２】
＜クライアント受信処理＞
クライアント受信処理について、図１０を参照して説明する。クライアント受信処理は、サーバ装置２０と会議接続された後、切断されるまで繰り返して実行される。クライアント受信処理を開始させたＣＰＵ３２は、サーバ装置２０から送信された所定のデータを通信部５４を介して取得したか否かを判断する（Ｓ６１）。所定のデータが取得されていない場合（Ｓ６１：Ｎｏ）、ＣＰＵ３２は、この判断を繰り返して実行する。
【００９３】
所定のデータが取得された場合（Ｓ６１：Ｙｅｓ）、ＣＰＵ３２は、取得されたデータが音データであるか否かを判断する（Ｓ６３）。取得されたデータが音データである場合（Ｓ６３：Ｙｅｓ）、ＣＰＵ３２は、取得された音データの送信元である相手方装置の識別情報を取得する（Ｓ６５）。例えば、取得された音データが相手方装置７１からの音データである場合、ＣＰＵ３２は、この音データに付与された相手方装置７１の識別情報を取得する。取得された音データが相手方装置７４からの音データである場合、ＣＰＵ３２は、この音データに付与された相手方装置７４の識別情報を取得する。
【００９４】
続けて、ＣＰＵ３２は、ＲＡＭ３６に記憶された管理テーブルにアクセスし、取得された識別情報に関連付けられた音累積時間を更新する（Ｓ６７）。上述した通り、遠隔会議システム１０での音データは、再生時間が所定の一定時間となるデータである。従って、ＣＰＵ３２は、Ｓ６５で取得された識別情報に関連付けて登録された音累積時間に前述した再生時間を加算する。例えば、再生時間が２０ｍｓｅｃであって、Ｓ６５で相手方装置７１の識別情報が取得されていたとする。この場合、ＣＰＵ３２は、管理テーブルで相手方装置７１の識別情報に関連付けられた音累積時間に０．０２ｓｅｃを加算する。再生時間が２０ｍｓｅｃであって、Ｓ６５で相手方装置７４の識別情報が取得されていたとする。この場合、ＣＰＵ３２は、管理テーブルで相手方装置７４の識別情報に関連付けられた音累積時間に０．０２ｓｅｃを加算する。
【００９５】
次に、ＣＰＵ３２は、取得された音データに対応した音の出力を制御する（Ｓ６９）。Ｓ６９でＣＰＵ３２は、取得された音データを再生（デコード）し、再生された音の出力指令をオーディオ部４８に出力する。オーディオ部４８では、出力指令に従い、音データに対応した音がスピーカ４９から出力される。表示部３８での表示状態が図２上段である状態で、相手方装置７１からの音データが取得されていた場合、スピーカ４９から、相手方装置７１のユーザが発した音声が出力される。表示部３８での表示状態が図２上段である状態で、相手方装置７４からの音データが取得されていた場合、スピーカ４９から、相手方装置７４のユーザが発した音声が出力される。即ち、通信端末装置３０では、相手方装置７１，７２，７３，７４，７５からの各音データについては、相手方装置７１，７２，７３，７４，７５の各撮影画像３８１，３８２，３８３，３８４，３８５の表示又は非表示に関わらず、各音データに対応した音がスピーカ４９から出力される。Ｓ６９を実行した後、ＣＰＵ３２は、処理をＳ６１に戻し、Ｓ６１以降の処理を実行する。
【００９６】
取得されたデータが音データではない場合（Ｓ６３：Ｎｏ）、ＣＰＵ３２は、取得されたデータが映像データであるか否かを判断する（Ｓ７１）。取得されたデータが映像データではない場合（Ｓ７１：Ｎｏ）、ＣＰＵ３２は、取得されたデータに応じた処理を適宜実行する。その後、ＣＰＵ３２は、処理をＳ６１に戻し、Ｓ６１以降の処理を実行する。
【００９７】
取得されたデータが映像データである場合（Ｓ７１：Ｙｅｓ）、ＣＰＵ３２は、取得された映像データの送信元である相手方装置の識別情報を取得する（Ｓ７３）。例えば、取得された映像データが相手方装置７１からの映像データである場合、ＣＰＵ３２は、この映像データに付与された相手方装置７１の識別情報を取得する。取得された映像データが相手方装置７５からの映像データである場合、ＣＰＵ３２は、この映像データに付与された相手方装置７５の識別情報を取得する。
【００９８】
続けて、ＣＰＵ３２は、取得された映像データに関する表示の位置関係を判定する（Ｓ７５）。例えば、表示部３８での表示状態が図２上段である状態で、相手方装置７１からの映像データが取得されていたとする。Ｓ７５でＣＰＵ３２は、相手方装置７１からの映像データと共に取得される送信元装置の識別情報「７１」（図３参照）に関連付けられた映像配置領域Ａ内の領域として領域Ａ１を特定する。また、ＣＰＵ３２は、映像表示領域Ｂに表示されている映像配置領域Ａの範囲として領域Ａ１〜Ａ２を特定する。そして、ＣＰＵ３２は、特定された情報が重複しているか否かを判定する。前述した例の場合、領域Ａ１が重複しているため、ＣＰＵ３２は、表示の位置関係として映像表示領域Ｂ内と判定する。
【００９９】
これに対して、表示部３８での表示状態が図２上段である状態で、相手方装置７５からの映像データが取得されていたとする。Ｓ７５でＣＰＵ３２は、取得された識別情報「７５」（図３参照）に関連付けられた映像配置領域Ａ内の領域として、領域Ａ５を特定する。また、ＣＰＵ３２は、映像表示領域Ｂに表示されている映像配置領域Ａの範囲として、領域Ａ１〜Ａ２を特定する。そして、ＣＰＵ３２は、特定された情報が重複しているか否かを判定する。前述した例の場合、重複した領域が認定されないため、ＣＰＵ３２は、表示の位置関係として映像表示領域Ｂ外と判定する。
【０１００】
次に、ＣＰＵ３２は、配置設定に従った表示を制御する（Ｓ７７）。このとき、ＣＰＵ３２は、Ｓ７５の判定結果に基づいた処理を行う。例えば、上述した相手方装置７１からの映像データに基づいた例の場合、ＣＰＵ３２は、映像表示領域Ｂ内との判定結果に従い、撮影画像３８１の表示を制御する。ＣＰＵ３２は、相手方装置７１からの映像データを再生し、撮影画像３８１を取得する。続けて、ＣＰＵ３２は、撮影画像３８１の出力指令を表示部３８に出力する。表示部３８では、出力指令に従い、新たに取得された撮影画像３８１が領域Ａ１に表示される。Ｓ７７を実行した後、ＣＰＵ３２は、処理をＳ６１に戻し、Ｓ６１以降の処理を実行する。
【０１０１】
Ｓ７５での判定結果が映像表示領域Ｂ外であった場合、Ｓ７７の処理は省略される。例えば、上述した相手方装置７５からの映像データに基づいた例の場合、ＣＰＵ３２は、相手方装置７５からの映像データに対応した撮影画像３８５の表示の制御を実行しない。ＣＰＵ３２は、Ｓ７５を実行した後、Ｓ７７を実行することなく、処理をＳ６１に戻す。
【０１０２】
＜サーバ装置で実行される処理＞
遠隔会議の実行中にサーバ装置２０で実行される処理について説明する。以下に示す各処理は、通信端末装置３０及び相手方装置７１，７２，７３，７４，７５のうち、会議接続された各通信装置を対象として実行される。サーバ装置２０で実行される処理の説明では、会議接続された通信端末装置３０及び相手方装置７１，７２，７３，７４，７５の一部又は全部の通信装置を区別することなく、又は、これらを総称する場合、単に「通信装置」という。
【０１０３】
＜サーバ転送処理＞
サーバ転送処理について、図１１及び図１２を参照して説明する。サーバ転送処理は、通信端末装置３０及び相手方装置７１，７２，７３，７４，７５のうちの何れか１台の通信装置と会議接続がされた後、会議接続された全ての通信装置との会議接続が切断されるまで実行される。サーバ転送処理を開始させたＣＰＵ２２は、通信端末装置３０及び相手方装置７１，７２，７３，７４，７５の何れかから送信された所定のデータを通信部２８を介して取得したか否かを判断する（Ｓ８１）。所定のデータが取得されていない場合（Ｓ８１：Ｎｏ）、ＣＰＵ２２は、この判断を繰り返して実行する。
【０１０４】
所定のデータが取得された場合（Ｓ８１：Ｙｅｓ）、ＣＰＵ２２は、取得されたデータが更新頻度設定であるか否かを判断する（Ｓ８３）。取得されたデータが更新頻度設定である場合（Ｓ８３：Ｙｅｓ）、ＣＰＵ２２は、更新頻度設定を記憶する（Ｓ８５）。更新頻度設定は、更新頻度設定の送信元装置の識別情報に関連付けてＲＡＭ２６に記憶される（図１３参照）。送信元装置の識別情報は、更新頻度設定と共に通信部２８で受信される。ＣＰＵ２２は、更新頻度設定と共にこの識別情報を通信部２８を介して取得する。
【０１０５】
図１３において、「識別情報（ターゲット）」は、更新頻度設定に含まれる「識別情報（ターゲット）」に対応する。サーバ装置２０を経由することなく自装置で取得された映像データから直接自装置の撮影画像を得る構成を例とする実施形態では、各通信装置から送信される更新頻度設定は、自装置に対する更新頻度情報を含まない（通信端末装置３０の場合の図６参照）。そのため、サーバ装置２０で管理される各通信装置からの更新頻度設定に関し（図１３参照）、送信元装置の識別情報に一致する「識別情報（ターゲット）」に対する更新頻度情報は未登録となる。通信端末装置３０からの更新頻度設定（図６参照）は、図４のＳ１７で送信される。相手方装置７１，７２，７３，７４，７５からの更新頻度設定は、相手方装置７１，７２，７３，７４，７５のそれぞれで図４のＳ１７に対応した処理が実行されたタイミングで送信される。
【０１０６】
取得されたデータが更新頻度設定ではない場合（Ｓ８３：Ｎｏ）、ＣＰＵ２２は、取得されたデータが映像データであるか否かを判断する（Ｓ８７）。取得されたデータが映像データではない場合（Ｓ８７：Ｎｏ）、ＣＰＵ２２は、処理を図１２のＳ１０９に移行する。取得されたデータが映像データである場合（Ｓ８７：Ｙｅｓ）、ＣＰＵ２２は、映像データに付与された識別情報と圧縮画像情報を取得する（Ｓ８９）。通信端末装置３０からの映像データは、図８のＳ４７で送信される。相手方装置７１，７２，７３，７４，７５からの各映像データは、相手方装置７１，７２，７３，７４，７５のそれぞれで図８のＳ４７に対応した処理が実行されたタイミングで送信される。ＣＰＵ２２は、取得された識別情報と圧縮画像情報をＲＡＭ２６に記憶する。
【０１０７】
続けて、ＣＰＵ２２は、取得された映像データに含まれる圧縮画像がＩフレームであるか否かを判断する（Ｓ９１）。この判断は、Ｓ８９で取得された圧縮画像情報に従い行われる。圧縮画像がＩフレームである場合（Ｓ９１：Ｙｅｓ）、ＣＰＵ２２は、取得された映像データの送信元装置に対応付けた使用帯域を取得する（Ｓ９３）。使用帯域は、同一の通信装置を対象として、前回のＩフレーム取得後、今回のＩフレーム取得までに取得された全ての圧縮画像のデータ総量を、前回のＩフレーム取得後から今回のＩフレーム取得までの経過時間で除して算出される。
【０１０８】
使用帯域の算出に際し、ＣＰＵ２２は、上述したデータ総量と経過時間を取得する。データ総量は、次のようにして取得される。ＣＰＵ２２は、所定の通信装置からのＩフレームが取得された後、その通信装置からの圧縮画像が取得される毎に、取得された圧縮画像のデータ量を累積する。データ量の累積は、前述の通信装置からのＩフレームが次に取得されるまで継続される。前述の通信装置からのＩフレームが新たに取得されたタイミングで、ＣＰＵ２２は、新たなＩフレームのデータ量をそれまでの累積値に加え、データ総量を取得する。ＣＰＵ２２は、データ総量を取得したタイミングで、累積値をリセットし、新たにデータ量のカウントを開始させる。また、経過時間は、後述するＳ１０７での記憶に従い、今回のＩフレームの取得に対応する時間と前回のＩフレームの取得に対応する時間の差により求められる。ＣＰＵ２２は、Ｓ８９で取得された識別情報に関連付けてＳ９１で取得された使用帯域をＲＡＭ２６に記憶する。
【０１０９】
圧縮画像がＩフレームではない場合（Ｓ９１：Ｎｏ）、又は、Ｓ９３を実行した後、ＣＰＵ２２は、処理を図１２のＳ９５に移行する。Ｓ９５でＣＰＵ２２は、図１１のＳ８９で取得された識別装置の通信装置以外の会議接続された全ての通信装置を対象として、Ｓ９７〜Ｓ１０７を実行したか否かを判断する。Ｓ９７〜Ｓ１０７は、取得された映像データ（図１１のＳ８７：Ｙｅｓ参照）がこの映像データの送信元装置以外の各通信装置に送信すべき映像データであるか否かを通信装置毎に判断し、送信すべき映像データである場合に、対象の通信装置に取得された映像データを送信等する一連の処理である。図１１のＳ８９で取得された識別装置の通信装置以外の会議接続された全ての通信装置を対象としてＳ９７〜Ｓ１０７が実行されており、未処理の通信装置がない場合（Ｓ９５：Ｎｏ）、ＣＰＵ２２は、処理を図１１のＳ８１に戻し、Ｓ８１以降の処理を実行する。未処理の通信装置がある場合（Ｓ９５：Ｙｅｓ）、ＣＰＵ２２は、未処理の通信装置のうちの１台を処理対象とする（Ｓ９７）。例えば、取得された映像データが相手方装置７１からの映像データであり、図１１のＳ８９で相手方装置７１の識別情報が取得され、且つ、相手方装置７２，７３，７４を対象としたＳ９７〜Ｓ１０７は実行済みであるが、通信端末装置３０及び相手方装置７５についてはＳ９７〜Ｓ１０７が未実行である場合、未処理の通信端末装置３０及び相手方装置７５のうちの１台、例えば、通信端末装置３０を処理対象として選択する。
【０１１０】
次に、ＣＰＵ２２は、転送判断処理を実行する（Ｓ１０１）。転送判断処理については後述する。転送判断処理を実行した後、ＣＰＵ２２は、ＲＡＭ２６に記憶された判断結果が「転送必要」であるか否かを判断する（Ｓ１０３）。判断結果が「転送必要」である場合（Ｓ１０３：Ｙｅｓ）、ＣＰＵ２２は、取得された映像データの送信を制御する（Ｓ１０５）。映像データの送信先は、処理対象の通信装置に設定される。続けて、ＣＰＵ２２は、Ｓ１０５での送信に関し、映像データの送信元装置の識別情報と送信先の通信装置の識別情報と送信時刻と圧縮画像情報を記憶する（Ｓ１０７）。これらは、例えば、ＲＡＭ２６に記憶された送信テーブル（不図示）に登録される。
【０１１１】
Ｓ１０５及びＳ１０７に関し、取得された映像データが相手方装置７１からの映像データであり、図１１のＳ８９で相手方装置７１の識別情報が取得され、且つ、Ｓ９７で通信端末装置３０が処理対象として選択されていた場合を例に説明する。Ｓ１０５でＣＰＵ２２は、通信端末装置３０を送信先に設定し、相手方装置７１からの映像データの送信指令を通信部２８に出力する。これに伴い、相手方装置７１からの映像データが、通信部２８から通信端末装置３０に送信される。Ｓ１０７でＣＰＵ２２は、ＲＡＭ２６に記憶された送信テーブルに、相手方装置７１の識別情報と通信端末装置３０の識別情報と送信時刻と圧縮画像情報を登録する。
【０１１２】
判断結果が「転送不要」であって「転送必要」ではない場合（Ｓ１０３：Ｎｏ）、又は、Ｓ１０７を実行した後、ＣＰＵ２２は、処理をＳ９５に戻し、Ｓ９５以降の処理を実行する。
【０１１３】
Ｓ１０９でＣＰＵ２２は、取得されたデータが音データであるか否かを判断する。取得されたデータが音データではない場合（Ｓ１０９：Ｎｏ）、ＣＰＵ２２は、取得されたデータに応じた処理を適宜実行する。その後、ＣＰＵ２２は、処理を図１１のＳ８１に戻し、Ｓ８１以降の処理を実行する。
【０１１４】
取得されたデータが音データである場合（Ｓ１０９：Ｙｅｓ）、ＣＰＵ２２は、音データの送信を制御する（Ｓ１１１）。通信端末装置３０からの音データは、図９のＳ５９で送信される。相手方装置７１，７２，７３，７４，７５からの各音データは、相手方装置７１，７２，７３，７４，７５のそれぞれで図９のＳ５９に対応した処理が実行されたタイミングで送信される。音データの送信先は、音データに付与された識別情報とは異なる識別情報の全ての通信装置に設定される。例えば、取得された音データが通信端末装置３０からの音データであるとする。この場合、ＣＰＵ２２は、取得された音データに付与された通信端末装置３０の識別情報とは異なる識別情報の相手方装置７１，７２，７３，７４，７５を送信先に設定する。そして、ＣＰＵ２２は、通信端末装置３０からの音データの送信指令を通信部２８に出力する。これに伴い、通信端末装置３０からの音データが、通信部２８から相手方装置７１，７２，７３，７４，７５にそれぞれ送信される。Ｓ１１１を実行した後、ＣＰＵ２２は、処理を図１１のＳ８１に戻し、Ｓ８１以降の処理を実行する。
【０１１５】
＜転送判断処理＞
図１１及び図１２に示すサーバ転送処理のＳ１０１（図１２参照）で実行される転送判断処理について、図１４を参照して説明する。転送判断処理及び後述する更新情報補正処理（図１５参照）の各説明では、図１１のＳ８７を肯定（Ｓ８７：Ｙｅｓ）させる要因となった映像データを、「新たな映像データ」という。
【０１１６】
転送判断処理を開始させたＣＰＵ２２は、更新頻度補正処理を実行する（Ｓ１２１）。更新頻度補正処理については後述する。続けて、ＣＰＵ２２は、更新頻度設定（図１３参照）において、図１２のＳ９７で選択された通信装置の識別情報（送信元）に関連付けられた図１１のＳ８９で取得された識別情報（ターゲット）に対する更新頻度情報を取得する（Ｓ１２３）。
【０１１７】
次に、ＣＰＵ２２は、新たな映像データにおける圧縮画像がＳ１２３で取得された更新頻度情報において非送信対象となっているか否かを判断する（Ｓ１２５）。新たな映像データにおける圧縮画像の種別は、図１１のＳ８９で取得された圧縮画像種別に従い特定される。新たな映像データにおける圧縮画像が非送信対象ではない場合（Ｓ１２５：Ｎｏ）、ＣＰＵ２２は、現在時刻が前回Ｉフレームが送信されたタイミングから、Ｓ１２３で取得された更新頻度情報において定義されたＩフレーム最短周期を経過しているか否かを判断する（Ｓ１２７）。
【０１１８】
例えば、Ｓ１２７は、次のようにして行われる。ＣＰＵ２２は、図１２のＳ１０７において諸情報を登録させたＲＡＭ２６に記憶された送信テーブルから、映像データの送信元装置の識別情報として図１１のＳ８９で取得された識別情報が登録され、送信先の通信装置の識別情報として図１２のＳ９７で選択された通信装置の識別情報が登録され、これら各識別情報に関連付けられた前回のＩフレームの送信時刻を特定する。また、ＣＰＵ２２は、計時部２７から現在時刻を取得する。前回のＩフレームの送信時刻の特定において圧縮画像の種別は、送信テーブルにおける圧縮画像情報に基づき認定される。そして、ＣＰＵ２２は、前回の送信時刻と現在時刻から経過時間を取得し、経過時間とＩフレーム最短周期との関係を判断する。経過時間とＩフレーム最短周期の関係が「経過時間＞Ｉフレーム最短周期」である場合、ＣＰＵ２２は、現在時刻はＩフレーム最短周期を経過しているとして、Ｓ１２７を肯定する（Ｓ１２７：Ｙｅｓ）。経過時間とＩフレーム最短周期の関係が「経過時間≦Ｉフレーム最短周期」である場合、ＣＰＵ２２は、現在時刻はＩフレーム最短周期を経過していないとして、Ｓ１２７を否定する（Ｓ１２７：Ｎｏ）。但し、「経過時間＝Ｉフレーム最短周期」である場合、Ｓ１２７を肯定（Ｓ１２７：Ｙｅｓ）するようにしてもよい。何れとするかは諸条件を考慮して適宜決定される。
【０１１９】
Ｓ１２７が肯定された場合（Ｓ１２７：Ｙｅｓ）、ＣＰＵ２２は、判断結果として「転送必要」をＲＡＭ２６に記憶する（Ｓ１２９）。新たな映像データにおける圧縮画像がＩフレーム最短周期に関係しない種類の圧縮画像である場合、ＣＰＵ２２は、Ｓ１２７を肯定（Ｓ１２７：Ｙｅｓ）し、Ｓ１２９で判断結果として「転送必要」をＲＡＭ２６に記憶する。実施形態では、最短周期をＩフレーム最短周期としているため、前述したＩフレーム最短周期に関係しない種類の圧縮画像は、Ｐフレーム又はＢフレームである。Ｓ１２５が肯定された場合（Ｓ１２５：Ｙｅｓ）、又は、Ｓ１２７が否定された場合（Ｓ１２７：Ｎｏ）、ＣＰＵ２２は、判断結果として「判断不要」をＲＡＭ２６に記憶する（Ｓ１３１）。
【０１２０】
Ｓ１２３〜Ｓ１３１を、新たな映像データが相手方装置７３からの映像データであり、図１１のＳ８９で相手方装置７３の識別情報が取得され、且つ、図１２のＳ９７で通信端末装置３０が選択されている場合を例に説明する。通信端末装置３０の識別情報に関連付けられた更新頻度設定において、相手方装置７１，７２，７３，７４，７５の識別情報に対する更新頻度情報は、図１３に示す通りとする。Ｓ１２３でＣＰＵ２２は、ＲＡＭ２６に記憶された更新頻度設定（図１３）から、通信端末装置３０の識別情報（送信元）に関連付けられた識別情報「７３」に対する更新頻度情報を取得する。図１２に基づけば、ＣＰＵ２２は、更新頻度「３」を取得する。更新頻度「３」は、上述した通り、Ｉフレームが送信対象とされ、Ｐフレーム及びＢフレームが非送信対象として定義されると共に、Ｉフレームの最短周期が３００ｍｓｅｃに定義されている（図５参照）。
【０１２１】
新たな映像データにおける圧縮画像がＩフレームである場合、ＣＰＵ２２は、Ｓ１２５を否定する（Ｓ１２５：Ｎｏ）。そして、前回のＩフレームの送信時刻から３００ｍｓｅｃが経過している場合（Ｓ１２７：Ｙｅｓ）、ＣＰＵ２２は、ＲＡＭ２６に「転送必要」を記憶する（Ｓ１２９）。前回のＩフレームの送信時刻から３００ｍｓｅｃが経過していない場合（Ｓ１２７：Ｎｏ）、ＣＰＵ２２は、ＲＡＭ２６に「転送不要」を記憶する（Ｓ１３１）。新たな映像データにおける圧縮画像がＰフレーム又はＢフレームである場合、ＣＰＵ２２は、Ｓ１２５を肯定し（Ｓ１２５：Ｙｅｓ）、ＲＡＭ２６に「転送不要」を記憶する（Ｓ１３１）。
【０１２２】
Ｓ１２９又はＳ１３１を実行した後、ＣＰＵ２２は、転送判断処理を終了し、処理を図１２のＳ１０３に戻す。
【０１２３】
＜更新頻度補正処理＞
図１４に示す転送判断処理のＳ１２１で実行される更新頻度補正処理について、図１５を参照して説明する。更新頻度補正処理を開始させたＣＰＵ２２は、図１１のＳ９３で取得された使用帯域が閾値以上であるか否かを判断する（Ｓ１４１）。閾値は、諸条件を考慮して適宜設定される。例えば、閾値は、１Ｍｂｐｓに設定される。閾値は、更新頻度決定処理のプログラムに関連付けて記憶部２４に記憶されている。使用帯域が閾値以上である場合（Ｓ１４１：Ｙｅｓ）、ＣＰＵ２２は、更新頻度情報を１ランクアップする（Ｓ１４３）。ランクアップの対象とされる更新頻度情報は、更新頻度設定（図１３参照）において、図１２のＳ９７で選択された通信装置の識別情報（送信元）に関連付けられた図１１のＳ８９で取得された識別情報（ターゲット）に対する更新頻度情報である。
【０１２４】
例えば、新たな映像データが相手方装置７４からの映像データであり、図１１のＳ８９で相手方装置７４の識別情報が取得され、且つ、図１２のＳ９７で通信端末装置３０が選択されているとする。通信端末装置３０の識別情報に関連付けられた更新頻度設定において、相手方装置７１，７２，７３，７４，７５の識別情報に対する更新頻度情報は、図１３に示す通りとする。ＣＰＵ２２は、通信端末装置３０の識別情報「３０」に関連付けられた、ターゲットとなる識別情報「７４」に対する更新頻度「１」を１ランクアップさせ「２」に更新する。
【０１２５】
使用帯域が閾値未満である場合（Ｓ１４１：Ｎｏ）、又は、Ｓ１４３を実行した後、ＣＰＵ２２は、更新頻度補正処理を終了し、処理を図１４のＳ１２３に戻す。Ｓ１４３でランクアップの対象とされる更新頻度情報が更新頻度「５」である場合、ＣＰＵ２２は、Ｓ１４１を肯定（Ｓ１４１：Ｙｅｓ）した後、Ｓ１４３を実行することなく、処理を図１４のＳ１２３に戻す。
【０１２６】
＜実施形態の効果＞
上述した実施形態によれば、次のような効果を得ることができる。
【０１２７】
（１）通信端末装置３０では、図７に示す更新頻度決定処理で、更新頻度決定処理の対象となる相手方装置の識別情報が図４のＳ１１で映像表示領域Ｂに表示されている映像配置領域Ａの範囲として特定された領域に関連付けられているか否かを判断し（Ｓ２１参照）、判断が肯定される場合（Ｓ２１：Ｙｅｓ参照）、更新頻度情報を最高の「５」に設定することとした（Ｓ２３参照）。一方、判断が否定される場合（Ｓ２１：Ｎｏ参照）、更新頻度情報を最高の「５」より低い「１」〜「４」の何れかに設定することとした（Ｓ２５、Ｓ２９、Ｓ３３又はＳ３７参照）。そして、図４に示す更新頻度送信処理で、相手方装置７１，７２，７３，７４，７５のそれぞれに対して設定された更新頻度情報を含む更新頻度設定（図６参照）をサーバ装置２０に送信することとした（図４のＳ１７参照）。
【０１２８】
サーバ装置２０では、図１４に示す転送判断処理で、更新頻度設定（図１３参照）に基づいた判断を実行し（Ｓ１２５又はＳ１２７）、判断結果として「転送必要」又は「転送不要」を記憶することとした（Ｓ１２９又はＳ１３１参照）。そして、サーバ装置２０では、判断結果が「転送必要」である場合（図１２のＳ１０３：Ｙｅｓ）、図１２のＳ９７で処理対象とされた通信装置に映像データを送信することとした（図１２のＳ１０５参照）。一方、判断結果が「転送不要」である場合（図１２のＳ１０３：Ｎｏ）、映像データの送信は省略される（図１２のＳ１０３：Ｎｏ、Ｓ１０５未実行参照）。
【０１２９】
そのため、遠隔会議システム１０における遠隔会議では、撮影画像３８１，３８２，３８３，３８４，３８５のうち、通信端末装置３０が備える表示部３８の映像表示領域Ｂに表示されていない撮影画像に対応した映像データについて、一部の圧縮画像を非送信対象とすることができる。非送信対象に設定された圧縮画像を含む映像データがサーバ装置２０から通信端末装置３０に送信されなくすることができる。
【０１３０】
通信端末装置３０で非表示の撮影画像であっても（図７のＳ２１：Ｎｏ参照）、更新頻度決定処理のＳ２７、Ｓ３１又はＳ３５の各判断の少なくとも１つが肯定され（Ｓ２７、Ｓ３１又はＳ３５：Ｙｅｓ参照）、更新頻度情報が「２」〜「４」に設定される場合（図７のＳ２９、Ｓ３３又はＳ３７参照）、少なくともＩフレームを含む非表示の撮影画像に対応した映像データは、サーバ装置２０から通信端末装置３０に送信される（図５、図１４のＳ１２５：Ｎｏ及びＳ１２９、図１２のＳ１０３：Ｙｅｓ及びＳ１０５参照）。そのため、スワイプ操作に基づき非表示の撮影画像が表示されることとなった場合であっても、通信端末装置３０では、非送信対象ではない圧縮画像を含む映像データが取得され（図１０のＳ７１：Ｙｅｓ参照）、この圧縮画像を含む映像データに対応した撮影画像を表示することができる（図１０のＳ７７参照）。通信される映像データのデータ量の増加を抑制しつつ、非表示であった撮影画像の表示をスムーズに行うことができる。
【０１３１】
（２）更新頻度決定処理（図７参照）では、処理対象の相手方装置の識別情報に関連付けられた映像配置領域Ａ内の領域の位置が移動方向とは反対の方向において基準端部から基準間隔ＷＣ（図２参照）内であるか否かを判断し（Ｓ２７参照）、基準間隔ＷＣ内である場合（Ｓ２７：Ｙｅｓ参照）、更新頻度情報を１ランクアップすることとした（Ｓ２９参照）。そのため、撮影画像３８１，３８２，３８３，３８４，３８５のうち、映像表示領域Ｂに表示されていない撮影画像に対応した映像データに関し、基準間隔ＷＣを基準として更新頻度情報を「１」から「２」にすることができる。非表示の撮影画像が表示されることとなった場合、更新頻度「２」で送信対象となるＩフレームにより撮影画像を表示することができる。なお、実施形態において、移動方向及び移動方向と反対の方向の両方向は、移動方向に対応した方向ということもできる。移動方向に対応した方向は、水平方向である（図２参照）。
【０１３２】
（３）更新頻度決定処理（図７参照）では、処理対象の相手方装置の識別情報に関連付けられた映像累積時間の遠隔会議の全体時間に対する比が第一基準値以上であるか否かを判断し（Ｓ３１参照）、第一基準値以上である場合（Ｓ３１：Ｙｅｓ）、更新頻度情報を１ランクアップすることとした（Ｓ３３参照）。そのため、撮影画像３８１，３８２，３８３，３８４，３８５のうち、映像表示領域Ｂに表示されていない撮影画像に対応した映像データに関し、映像累積時間に応じて更新頻度情報を「１」から「２」（Ｓ２９未実行の場合）又は「２」から「３」（Ｓ２９実行済みの場合）にすることができる。更新頻度「２」又は「３」で送信対象となるＩフレームにより撮影画像を表示することができる。更新頻度情報が「２」から「３」へのランクアップに伴い、Ｉフレーム最短周期が短縮（短縮時間：１７００ｍｓｅｃ）されるため、１コマ毎の表示において、撮影画像が切り替わる間隔が短縮され、再生品質を向上させることができる。
【０１３３】
（４）更新頻度決定処理（図７参照）では、処理対象の相手方装置の識別情報に関連付けられた音累積時間の遠隔会議の全体時間に対する比が第二基準値以上であるか否かを判断し（Ｓ３５参照）、第二基準値以上である場合（Ｓ３５：Ｙｅｓ）、更新頻度情報を１ランクアップすることとした（Ｓ３７参照）。そのため、撮影画像３８１，３８２，３８３，３８４，３８５のうち、映像表示領域Ｂに表示されていない撮影画像に対応した映像データに関し、映像累積時間に応じて更新頻度情報を「１」から「２」（Ｓ２９及びＳ３３未実行の場合）、「２」から「３」（Ｓ２９及びＳ３３の一方のみを実行済みの場合）又は「３」から「４」（Ｓ２９及びＳ３３実行済みの場合）にすることができる。更新頻度「２」又は「３」で送信対象となるＩフレームにより撮影画像を表示し、更新頻度「４」で更にＰフレームにより撮影画像を表示することができる。更新頻度情報が「３」から「４」へのランクアップに伴い、Ｉフレーム最短周期が短縮（短縮時間：３００ｍｓｅｃ）されると共にＰフレームも取得可能であるため、１コマ毎の表示において、撮影画像が切り替わる間隔が短縮され、再生品質を向上させることができる。更新頻度情報の「２」から「３」へのランクアップに伴う効果については、上述した通りである。
【０１３４】
＜変形例＞
上記の実施形態は、次のようにすることもできる。以下に示す変形例のうちの幾つかの構成は、適宜組み合わせて採用することもできる。以下の構成を採用した場合においても、上述した効果と同様の効果を得ることができる。
【０１３５】
（１）上記では、領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５が水平方向に配置され、表示対象の撮影画像３８１，３８２，３８３，３８４，３８５が領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５のそれぞれに配置される配置設定による映像配置領域Ａを例に説明した（図２参照）。映像配置領域を設定する配置設定は、領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５が鉛直方向に整列された状態で配置され、鉛直方向に並ぶ複数の領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５のそれぞれに表示対象の撮影画像３８１，３８２，３８３，３８４，３８５を配置させる設定であってもよい。この場合、水平方向を基準とした幅ＷＡ，ＷＢと基準間隔ＷＣと距離ＷＤに対応する各要素は、何れも鉛直方向を基準として定義される。移動方向は、鉛直方向の上側から下側又は下側から上側とされる。図２に基づけば、前述した鉛直方向は、図２で水平方向を示す「両矢の矢印」に対して垂直な方向である。
【０１３６】
（２）上記では、配置設定による撮影画像３８１，３８２，３８３，３８４，３８５の配置に関し、映像配置領域Ａに領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５を設定した構成を例に説明した（図３参照）。映像配置領域Ａにおける撮影画像３８１，３８２，３８３，３８４，３８５が配置される各領域は、座標形式で特定するようにしてもよい（図１６参照）。この場合、映像表示領域Ｂに表示されている映像配置領域Ａの範囲も座標により特定される。各識別情報に対応した撮影画像が映像表示領域Ｂに表示されているか否かは、図１６に示すように、「表示中：Ｙｅｓ／Ｎｏ」により管理するようにしてもよい。
【０１３７】
図１６において、「Ｘ」及び「Ｙ」の各値は、撮影画像３８１，３８２，３８３，３８４，３８５が配置される各領域で基準となる位置の座標値を示す。例えば、撮影画像３８１，３８２，３８３，３８４，３８５が配置される各領域の左上角の座標値を示す。「横幅」及び「縦幅」は、撮影画像３８１，３８２，３８３，３８４，３８５が配置される各領域の横及び縦の各寸法を示す。図１６に示す例では、図２に例示した縦長の領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５（撮影画像３８１，３８２，３８３，３８４，３８５）とは異なり、撮影画像が配置される各領域の形状（各撮影画像の形状）は横長となる。
【０１３８】
図２と図１６の対応に関し、識別情報「７１」に関連する「Ｘ：１０」、「Ｙ：３０」、「横幅：１６０」及び「縦幅：１００」は、「領域Ａ１」（図２参照）に対応する。識別情報「７２」に関連する「Ｘ：１８０」、「Ｙ：３０」、「横幅：１６０」及び「縦幅：１００」は、「領域Ａ２」（図２参照）に対応する。識別情報「７３」に関連する「Ｘ：１０」、「Ｙ：３０」、「横幅：３５０」及び「縦幅：１００」は、「領域Ａ３」（図２参照）に対応する。識別情報「７４」に関連する「Ｘ：５２０」、「Ｙ：３０」、「横幅：１６０」及び「縦幅：１００」は、「領域Ａ４」（図２参照）に対応する。識別情報「７５」に関連する「Ｘ：６９０」、「Ｙ：３０」、「横幅：１６０」及び「縦幅：１００」は、「領域Ａ５」（図２参照）に対応する。
【０１３９】
（３）上記では、図７に示す更新頻度決定処理でＳ２１が否定される場合（Ｓ２１：Ｎｏ参照）、Ｓ２５で更新頻度情報を「１」に設定し、Ｓ２７、Ｓ３１及びＳ３５の各判断がそれぞれ肯定される場合（Ｓ２７，Ｓ３１，Ｓ３５：Ｙｅｓ参照）、更新頻度情報を１ランクアップさせることとした。更新頻度情報の更新は、更新頻度「１」は「０点」、更新頻度「２」は「２０点」、更新頻度「３」は「４０点」、更新頻度「４」は「６０点」、更新頻度「５」は「８０点」というように、各更新頻度情報と点数を関連付けし、得点に応じた更新頻度情報を設定するようにしてもよい。例えば、Ｓ２１が否定される場合（Ｓ２１：Ｎｏ）、Ｓ２５で得点を０点に設定し、これをＲＡＭ３６に記憶する。そして、Ｓ２７が肯定される場合（Ｓ２７：Ｙｅｓ）、Ｓ２９でＣＰＵ３２は、２０点を加算する。この場合、ＲＡＭ３６には得点「２０点」が記憶される。Ｓ３１が肯定される場合（Ｓ３１：Ｙｅｓ）、Ｓ３３でＣＰＵ３２は、ＲＡＭ３６に記憶された得点に「２０点」を加算する。Ｓ３５が肯定される場合（Ｓ３５：Ｙｅｓ）、Ｓ３７でＣＰＵ３２は、ＲＡＭ３６に記憶された得点に「２０点」を加算する。そして、ＣＰＵ３２は、ＲＡＭ３６に記憶された最終的な得点に応じた更新頻度情報を設定する。例えば、ＲＡＭ３６に記憶された得点が「６０点」である場合、ＣＰＵ３２は、更新頻度「４」を設定し、図４のＳ１５で更新頻度「４」を決定する。
【０１４０】
この他、Ｓ２１が否定される場合（Ｓ２１：Ｎｏ）の最高更新頻度情報を定義し、Ｓ２７、Ｓ３１及びＳ３５の各判断に応じて最終的に設定される更新頻度情報が最高更新頻度情報以下となるように適宜制御するようにしてもよい。更新頻度決定処理において、更新頻度情報の更新を何れの方式にて行うかは、諸条件を考慮して適宜決定される。
【０１４１】
Ｓ３１において、処理対象の相手方装置の識別情報に関連付けられた映像累積時間の遠隔会議の全体時間に対する比が第一基準値である場合、判断を肯定（Ｓ３１：Ｙｅｓ）することとした。Ｓ３１は、処理対象の相手方装置の識別情報に関連付けられた映像累積時間の遠隔会議の全体時間に対する比が第一基準値より大きいか否かに基づき判断し、前述した比と第一基準値が等しい場合、判断を否定（Ｓ３１：Ｎｏ）するようにしてもよい。
【０１４２】
Ｓ３５において、処理対象の相手方装置の識別情報に関連付けられた音累積時間の遠隔会議の全体時間に対する比が第二基準値である場合、判断を肯定（Ｓ３５：Ｙｅｓ）することとした。Ｓ３５は、処理対象の相手方装置の識別情報に関連付けられた音累積時間の遠隔会議の全体時間に対する比が第二基準値より大きいか否かに基づき判断し、前述した比と第二基準値が等しい場合、判断を否定（Ｓ３５：Ｎｏ）するようにしてもよい。
【０１４３】
Ｓ２７、Ｓ３１及びＳ３５での各条件に基づいた判断順序は、上記とは異なる順序としてもよい。例えば、上記のＳ３１での条件に基づいた判断をＳ２７のタイミングで行い、上記のＳ３５での条件に基づいた判断をＳ３１のタイミングで行い、上記のＳ２７での条件に基づいた判断をＳ３５のタイミングで行うようにしてもよい。
【０１４４】
（４）上記では、図９に示す音送信処理のＳ５３において、Ｓ５１で取得された音のボリュームが閾値と同一である場合、判断を否定（Ｓ５３：Ｎｏ）することとした。Ｓ５３は、Ｓ５１で取得された音のボリュームが閾値以上であるか否かに基づき判断し、ボリュームと閾値が等しい場合、判断を肯定（Ｓ５３：Ｙｅｓ）するようにしてもよい。
【０１４５】
（５）上記では、図１１及び図１２に示すサーバ転送処理のＳ９３（図１１参照）で、使用帯域をＩフレームの取得間隔に基づき算出することとした。使用帯域は、例えば、ＧＯＰ（Group Of Pictures）単位で算出するようにしてもよい。何れの単位での使用帯域とするかは、諸条件を考慮して適宜決定される。また、使用帯域が映像データに基づいた使用帯域である場合を例に説明した。映像データに代えて、又は加えて、遠隔会議システム１０で通信される映像データ以外のデータ（音データ、共有資料データ、制御データ等）における使用帯域が用いられてもよい。
【０１４６】
（６）上記では、図１４に示す転送判断処理のＳ１２５を、新たな映像データにおける圧縮画像がＳ１２３で取得された更新頻度情報において非送信対象となっているか否かに基づき判断することとした。Ｓ１２５は、新たな映像データにおける圧縮画像がＳ１２３で取得された更新頻度情報において送信対象となっているか否かに基づき判断するようにしてもよい。圧縮画像が送信対象である場合、ＣＰＵ２２は、判断を肯定し、処理をＳ１２７に移行する。圧縮画像が送信対象ではない場合、ＣＰＵ２２は、判断を否定し、処理をＳ１３１に移行する。
【０１４７】
（７）上記では、図１５に示す更新頻度補正処理のＳ１４１において、図１１のＳ９３で取得された使用帯域が閾値と同一である場合、判断を肯定（Ｓ１４１：Ｙｅｓ）することとした。Ｓ１４１は、図１１のＳ９３で取得された使用帯域が閾値より広いか否かに基づき判断し、使用帯域と閾値が等しい場合、判断を否定（Ｓ１４１：Ｎｏ）するようにしてもよい。
【０１４８】
（８）上記では、映像データの送信に関し、サーバ装置２０は、映像データを、この映像データの送信元装置以外の通信装置に送信することとした。そして、映像データの送信元装置では、自装置で取得された映像データに対応した撮影画像を自装置で表示する場合、自装置で取得された映像データを再生し、これによって生成された撮影画像を表示することとした。サーバ装置２０は、映像データの送信元装置に対しても、この装置の映像データを送信することとし、送信元装置ではサーバ装置２０から送信される自装置の映像データに基づき、この映像データに対応した撮影画像を表示するようにしてもよい。例えば、通信端末装置３０でＣＰＵ３２は、図４に示す更新頻度送信処理のＳ１５で、自装置についても更新頻度決定処理（図７）を上記同様に実行し、自装置に対する更新頻度情報を決定する。図５のＳ１７で送信される更新頻度設定（図６参照）は、自装置の識別情報に関連付けられた更新頻度情報を含む。サーバ装置２０でＣＰＵ２２は、図１１及び図１２に示すサーバ転送処理のＳ９５（図１２参照）を、取得された映像データの送信元装置も対象として判断し、この装置を処理対象としてＳ９７〜Ｓ１０７の処理を上記同様に行う。
【符号の説明】
【０１４９】
１０  遠隔会議システム
２０  サーバ装置
２２  ＣＰＵ
２４  記憶部
２６  ＲＡＭ
２７  計時部
２８  通信部
２９  バス
３０  通信端末装置
３２  ＣＰＵ
３４  記憶部
３６  ＲＡＭ
３８  表示部
４０  操作部
４２  ハードキー
４４  タッチパッド
４６  カメラ
４８  オーディオ部
４９  スピーカ
５０  マイク
５２  計時部
５４  通信部
５６  バス
７１，７２，７３，７４，７５  相手方装置
３８１，３８２，３８３，３８４，３８５  撮影画像
Ａ  映像配置領域
Ａ１，Ａ２，Ａ３，Ａ４，Ａ５  領域
Ｂ  映像表示領域
ＷＡ，ＷＢ  幅
ＷＣ  基準間隔
ＷＤ  距離
【図１】
2015126456.tif 000003
【図２】
2015126456.tif 000004
【図３】
2015126456.tif 000005
【図４】
2015126456.tif 000006
【図５】
2015126456.tif 000007
【図６】
2015126456.tif 000008
【図７】
2015126456.tif 000009
【図８】
2015126456.tif 000010
【図９】
2015126456.tif 000011
【図１０】
2015126456.tif 000012
【図１１】
2015126456.tif 000013
【図１２】
2015126456.tif 000014
【図１３】
2015126456.tif 000015
【図１４】
2015126456.tif 000016
【図１５】
2015126456.tif 000017
【図１６】
2015126456.tif 000018