(57)【要約】【課題】通信におけるコストの削減を実現する。【解決手段】複数の通信端末との間でストリームを中継する中継装置において、前記複数の通信端末から送信される映像ストリーム及び音声ストリームを受信し、受信した前記映像ストリームに対する重みを生成する重み情報生成手段と、前記重み情報生成手段により生成された各ストリームの重みから、前記映像ストリームが合成の対象であるかを判定する判定手段と、前記判定手段により合成の対象であると判定された映像ストリームを合成する映像合成手段と、前記映像合成手段によって合成された映像ストリームと前記映像合成手段によって合成されなかった他の映像ストリームとを前記通信端末に送信する送信手段と、を有することで、上記課題を解決する。【選択図】図４
2017028646.tif 000002
【特許請求の範囲】
【請求項１】
複数の通信端末との間でストリームを中継する中継装置において、
前記複数の通信端末から送信される映像ストリーム及び音声ストリームを受信し、受信した前記映像ストリームに対する重みを生成する重み情報生成手段と、
前記重み情報生成手段により生成された各ストリームの重みから、前記映像ストリームが合成の対象であるかを判定する判定手段と、
前記判定手段により合成の対象であると判定された映像ストリームを合成する映像合成手段と、
前記映像合成手段によって合成された映像ストリームと前記映像合成手段によって合成されなかった他の映像ストリームとを前記通信端末に送信する送信手段と、
を有することを特徴とする中継装置。
【請求項２】
前記映像合成手段は、
前記合成の対象であると判定された複数の映像ストリームを、フレーム分割で合成することを特徴とする請求項１に記載の中継装置。
【請求項３】
前記映像合成手段は、
前記合成の対象であると判定された複数の映像ストリームを、時分割で合成することを特徴とする請求項１に記載の中継装置。
【請求項４】
前記重み情報生成手段は、
前記音声ストリームから前記映像ストリームの重みを生成することを特徴とする請求項１乃至３の何れか１項に記載の中継装置。
【請求項５】
前記重み情報生成手段は、
前記映像ストリームの種別に基づいて前記重み情報を生成することを特徴とする請求項１乃至４の何れか１項に記載の中継装置。
【請求項６】
複数の通信端末と、該複数の通信端末の間でストリームを中継する中継装置とが通信ネットワークを介して接続された通信システムにおいて、
前記複数の通信端末から送信される映像ストリーム及び音声ストリームを受信し、受信した前記映像ストリームに対する重みを生成する重み情報生成手段と、
前記重み情報生成手段により生成された各ストリームの重みから、前記映像ストリームが合成の対象であるかを判定する判定手段と、
前記判定手段により合成の対象であると判定された映像ストリームを合成する映像合成手段と、
前記映像合成手段によって合成された映像ストリームと前記映像合成手段によって合成されなかった他の映像ストリームとを前記通信端末に送信する送信手段と、
とを有することを特徴とする通信システム。
【請求項７】
複数の通信端末との間でストリームを中継する中継装置における中継方法において、
前記複数の通信端末から送信される映像ストリーム及び音声ストリームを受信し、受信した前記映像ストリームに対する重みを生成する重み情報生成ステップと、
前記重み情報生成ステップにより生成された各ストリームの重みから、前記映像ストリームが合成の対象であるかを判定する判定ステップと、
前記判定ステップにより合成の対象であると判定された映像ストリームを合成する映像合成ステップと、
前記映像合成ステップによって合成された映像ストリームと前記映像合成ステップによって合成されなかった他の映像ストリームとを前記通信端末に送信する送信ステップと、
を有することを特徴とする中継方法。
【請求項８】
複数の通信端末との間でストリームを中継する中継装置を、
前記複数の通信端末から送信される映像ストリーム及び音声ストリームを受信し、受信した前記映像ストリームに対する重みを生成する重み情報生成手段、
前記重み情報生成手段により生成された各ストリームの重みから、前記映像ストリームが合成の対象であるかを判定する判定手段、
前記判定手段により合成の対象であると判定された映像ストリームを合成する映像合成手段、及び、
前記映像合成手段によって合成された映像ストリームと前記映像合成手段によって合成されなかった他の映像ストリームとを前記通信端末に送信する送信手段、
として機能させるための中継プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、中継装置、通信システム、中継方法、及び中継プログラムに関する。
【背景技術】
【０００２】
近年、インターネットや専用線等の通信ネットワークを介して遠隔にいる機器と通信する通信システムが普及しており、このような通信システムの一例としてテレビ会議等のサービスが提供されている。
【０００３】
例えば、テレビ会議等のサービスでは、まず、その会議の当事者（出席者等）の一方がいる会議室で、通信システム（遠隔会議システム）の端末装置が、会議の当事者の画像及び音声（発言等）を撮影及び収集する。また、端末装置は、撮影及び収集した情報をデジタルデータに変換して相手方の端末装置に送信し、相手方の会議室のディスプレイに表示及びスピーカにより音声出力する。これにより、実際の会議に近い状態で遠隔地間の会議を行うことができる。また、上述した通信システムは、２つの拠点の会議にとどまらず、複数拠点から遠隔会議が可能になる技術が既に知られている。
【０００４】
特許文献１には、多数の拠点の会議画面に対し、各拠点から送信されてくる映像の全てを制御装置で合成する際、中心者のいる映像信号の量子化ステップサイズは小さくし、その他の映像信号の量子化ステップサイズは大きくする設定する手法が開示されている。特許文献２には、複数の拠点からの映像信号を１画面として合成し、その映像を各会議端末に分配する遠隔会議制御装置において、音声信号を用いて発言が検出された拠点の映像を優先的に画像合成する手法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば多数の拠点を接続する遠隔会議では、ごく小数の拠点のみで発言が行われ、他の拠点は聞くことに徹するという発言の偏りが発生することが多い。また、各拠点から送信される映像及び音声の各ストリームを他の拠点に区別なく配信することは通信リソースの無駄でもある。また、会議端末でも表示可能な拠点数の上限が存在し、全ての拠点の映像を表示できない場合もあるため、他の拠点の映像ストリームを区別なく配信しても、通信処理の負荷や帯域使用量を押し上げ、端末自体のコストアップの要因となっている。このような課題は、テレビ会議のみならず映像を用いる通信システムに共通に存在する。
【０００６】
本発明の一実施形態は、通信におけるコストの削減を実現する中継装置、通信システム、中継方法、及び中継プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、一つの態様における中継装置は、複数の通信端末との間でストリームを中継する中継装置において、前記複数の通信端末から送信される映像ストリーム及び音声ストリームを受信し、受信した前記映像ストリームに対する重みを生成する重み情報生成手段と、前記重み情報生成手段により生成された各ストリームの重みから、前記映像ストリームが合成の対象であるかを判定する判定手段と、前記判定手段により合成の対象であると判定された映像ストリームを合成する映像合成手段と、前記映像合成手段によって合成された映像ストリームと前記映像合成手段によって合成されなかった他の映像ストリームとを前記通信端末に送信する送信手段と、を有する。
【発明の効果】
【０００８】
本発明の一実施形態によれば、通信におけるコストの削減を実現することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る通信システムの概略図である。
【図２】本発明の一実施形態に係る端末のハードウェア構成図である。
【図３】本発明の一実施形態に係る中継装置のハードウェア構成図である。
【図４】本発明の一実施形態に係る通信システムの一部を構成する端末、中継装置、及び管理装置の機能ブロック図である。
【図５】中継装置の優先度管理テーブルの一例を示す図である。
【図６】端末と中継装置との通信例について説明する図である。
【図７】図６に対応する配信時の画像例を示す図である。
【図８】本実施形態における中継装置のストリーム配信例を示す図である。
【図９】本実施形態を適用して複数拠点での会議を行う際の端末の表示例を示す図である。
【図１０】端末間の通信を確立する処理を示したシーケンス図である。
【図１１】中継装置におけるストリームの中継処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を用いて、本発明の一実施形態を詳細に説明する。なお、以下では、「通信端末（会議端末）」は単に「端末」とし、「通信管理システム」は単に「通信システム」として説明する。また、以下の実施形態では、一例として通信システムによるテレビ会議について説明するが、これに限定されるものではなく、例えば通話、講演、お客様サポート、遠隔医療、或いは遠隔監視等の様々なビジュアルコミュニケーション（Ｖｉｓｕａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ，ＶＣ）サービスに適用することができる。
【００１１】
＜通信システムの全体構成＞
図１は、本発明の一実施形態に係る通信システムの概略図である。図１に示されているように、通信システム１は、複数の端末（１０ａａ，１０ａｂ，…）、各端末（１０ａａ，１０ａｂ，…）用のディスプレイ（１２０ａａ，１２０ａｂ，…）、複数の中継装置（３０ａ，３０ｂ，３０ｃ，３０ｄ，３０ｅ）、管理装置５０によって構築されている。
【００１２】
この通信システム１によって、コンテンツデータの一例としての画像データ及び音声データ（人物からの音声以外の音も含む）の通信が行われることで、遠隔地間のテレビ会議等を実現することができる。なお、複数のルータ（７０ａ，７０ｂ，７０ｃ，７０ｄ，７０ａｂ）は、コンテンツデータの最適な経路の選択を行う。
【００１３】
端末（１０ａａ，１０ａｂ，１０ａｃ，・・・）、中継装置３０ａ、及びルータ７０ａは、ＬＡＮ２ａによって通信可能に接続されている。端末（１０ｂａ，１０ｂｂ，１０ｂｃ，・・・）、中継装置３０ｂ、及びルータ７０ｂは、ＬＡＮ２ｂによって通信可能に接続されている。また、ＬＡＮ２ａ及びＬＡＮ２ｂは、ルータ７０ａｂが含まれた専用線２ａｂによって通信可能に接続されている。更に、ＬＡＮ２ａ、ＬＡＮ２ｂ、及び専用線２ａｂは、所定の地域Ｘ内で構築されている。なお、各装置は、必ずしも専用線によって接続されている必要はなく、例えば直接インターネット２ｉに接続されていてもよい。
【００１４】
端末（１０ｃａ，１０ｃｂ，１０ｃｃ，・・・）、中継装置３０ｃ、及びルータ７０ｃは、ＬＡＮ２ｃによって通信可能に接続されている。ＬＡＮ２ｃは、所定の地域Ｙ内で構築されている。
【００１５】
端末（１０ｄａ，１０ｄｂ，１０ｄｃ，・・・）、中継装置３０ｄ、及びルータ７０ｄは、ＬＡＮ２ｄによって通信可能に接続されている。ＬＡＮ２ｄは、所定の地域Ｚ内で構築されている。地域Ｘ、地域Ｙ、及び地域Ｚは、同一国内であっても、異なる国であってもよい。地域Ｘ、地域Ｙ、及び地域Ｚは、それぞれルータ（７０ａｂ，７０ｃ，７０ｄ）からインターネット２ｉを介して通信可能に接続されている。
【００１６】
なお、以下では、複数の端末（１０ａａ，１０ａｂ，・・・）のうち任意の端末は、「端末１０」と表され、複数のディスプレイ（１２０ａａ，１２０ａｂ，…）のうち任意のディスプレイは「ディスプレイ１２０」と表され、複数の中継装置（３０ａ，３０ｂ，３０ｃ，３０ｄ，３０ｅ）のうち任意の中継装置は「中継装置３０」と表されている。また、ルータ（７０ａ，７０ｂ，７０ｃ，７０ｄ，７０ａｂ）のうち任意のルータは、「ルータ７０」と表されている。
【００１７】
また、管理装置５０は、インターネット２ｉに接続されている。なお、管理装置５０は、地域（Ｘ，Ｙ，Ｚ）に設置されていてもよく、これら以外の地域に設置されていてもよい。
【００１８】
また、本実施形態では、ＬＡＮ（２ａ，２ｂ，２ｃ，２ｄ）、専用線２ａｂ、及びインターネット２ｉによって、本実施形態の通信ネットワーク２が構築されている。この通信ネットワーク２には、有線だけでなく、ＷｉＦｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）、携帯電話網等の無線による通信が行われる箇所があってもよい。
【００１９】
また、図１において、各端末１０、各中継装置３０、管理装置５０、各ルータ７０の下に示されている４組の数字は、一般的なＩＰｖ４におけるＩＰアドレスを簡易的に示している。また、ＩＰｖ４ではなく、ＩＰｖ６を用いてもよいが、説明を簡略化するため、ＩＰｖ４を用いている。
【００２０】
また、各端末１０は、アプリケーション（以下、必要に応じて「アプリ」という）が起動されると、画像や音声の各ストリームの送受信により、ユーザ間の通話を可能にする。更に、端末１０は、所定の通信方式（通話の宛先と接続又は切断をするための呼制御方式、及び通話データをＩＰパケット化するための符号化方式）を利用して、通話データの送受信を行う。
【００２１】
また、上述の呼制御方式としては、（１）ＳＩＰ（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）、（２）Ｈ．３２３、（３）ＳＩＰを拡張したプロトコル、（４）インスタントメッセンジャーのプロトコル、（５）ＳＩＰのＭＥＳＳＡＧＥメソッドを利用したプロトコル、（６）インターネットリレーチャットのプロトコル（ＩＲＣ（Ｉｎｔｅｒｎｅｔ  Ｒｅｌａｙ  Ｃｈａｔ））、（７）インスタントメッセンジャーのプロトコルを拡張したプロトコル等が挙げられる。このうち、（４）インスタントメッセンジャーのプロトコルは、例えば、（４−１）ＸＭＰＰ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍｅｓｓａｇｉｎｇ  ａｎｄ  Ｐｒｅｓｅｎｃｅ  Ｐｒｏｔｏｃｏｌ）、又は（４−２）ＩＣＱ（登録商標）、ＡＩＭ（登録商標）、若しくはＳｋｙｐｅ（登録商標）等で利用されるプロトコルである。また、（７）インスタントメッセンジャーのプロトコルを拡張したプロトコルは、例えば、Ｊｉｎｇｌｅである。
【００２２】
＜端末１０の外観について＞
ここで、端末１０の外観について簡単に説明する。端末１０は、筐体に操作パネルが形成されている。この操作パネルには、複数の操作ボタン、電源スイッチ、及びアラームランプ等が設けられていると共に、内蔵型のスピーカからの出力音を通すための複数の音出力孔によって形成された音出面が形成されている。また、端末１０は、筐体と外部機器接続Ｉ／Ｆに対して電気的にディスプレイ（表示部）と接続されている。
【００２３】
なお、上述した端末１０の外観は、上記の例に限定するものではない。他の例としては、端末１０は、一般の汎用コンピュータ或いは携帯電話端末、プロジェクタ、電子ホワイトボード（電子黒板）、電子看板（デジタルサイネージ）等であってもよい（図１の端末（１０ａｃ，１０ｃｃ）参照）。端末１０として用いるコンピュータに、マイクやカメラが備わっていない場合には、外付けのマイク及びカメラをコンピュータに接続させるこができる。
【００２４】
また、端末１０が携帯電話端末等である場合には、無線ＬＡＮや携帯電話網等による無線通信により、端末１０とインターネット２ｉとを接続してもよい。これにより、汎用コンピュータや携帯電話端末を、本実施の形態にかかる端末１０として利用することができる。また、端末１０として汎用コンピュータを用いる場合には、そのコンピュータに、端末１０の処理を実行するためのアプリをインストールしておくことができる。なお、管理装置５０は、それぞれ一般のサーバコンピュータの外観と同じであるため、外観の説明を省略する。
【００２５】
＜実施形態のハードウェア構成＞
次に、実施形態のハードウェア構成例について、図を用いて説明する。
【００２６】
＜端末１０のハードウェア構成＞
図２は、本発明の一実施形態に係る端末のハードウェア構成図である。コンピュータの一例である端末１０は、端末１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１、ＩＰＬ（Ｉｎｉｔｉａｌ  Ｐｒｏｇｒａｍ  Ｌｏａｄｅｒ）等のＣＰＵ１０１の動作に用いられるプログラムを記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３、端末１０用のプログラム（アプリ等も含む）、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）１０５、フラッシュメモリやＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  Ｃａｒｄ）等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアＩ／Ｆ１０７、端末１０の宛先を選択する場合等に操作される操作ボタン１０８、端末１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１１１を備えている。
【００２７】
また、端末１０は、ＣＰＵ１０１の制御に従って被写体等を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の動作を制御する撮像素子Ｉ／Ｆ１１３、音を入力する内蔵型のマイク１１４、音を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音信号の入出力を処理する音入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０に画像データを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、端末１０の各種機能の異常を知らせるアラームランプ１１９、及び上記各構成要素を図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００２８】
ディスプレイ１２０は、被写体の画像等を表示する液晶や有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）によって構成された表示部である。また、ディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１７に接続される。このケーブル１２０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）やＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｉｎｔｅｒａｃｔｉｖｅ）信号用のケーブルであってもよい。また、ディスプレイ１２０は、端末１０と一体であってもよい。
【００２９】
カメラ１１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）や、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等が用いられる。
【００３０】
外部機器接続Ｉ／Ｆ１１８には、筐体の接続口に差し込まれたＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ電気的に接続可能である。外付けカメラが接続された場合には、ＣＰＵ１０１の制御に従って、内蔵型のカメラ１１２に優先して、外付けカメラが作動する。同様に、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ１０１の制御に従って、それぞれが内蔵型のマイク１１４や内蔵型のスピーカ１１５に優先して、外付けマイクや外付けスピーカが作動する。
【００３１】
なお、記録メディア１０６は、端末１０に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御に従ってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）等を用いてもよい。
【００３２】
＜中継装置３０のハードウェア構成＞
図３は、本発明の一実施形態に係る中継装置のハードウェア構成図である。コンピュータの一例である中継装置３０は、中継装置３０全体の動作を制御するＣＰＵ２０１、ＩＰＬ等のＣＰＵ２０１の動作に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、管理装置５０用のプログラム等の各種データを記憶するＨＤ（Ｈａｒｄ  Ｄｉｓｋ）２０４、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアＩ／Ｆ２０７、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示するディスプレイ２０８、通信ネットワーク２を利用してデータ通信するためのネットワークＩ／Ｆ２０９、文字、数値、各種指示等の入力のための複数のキーを備えたキーボード２１０、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行うマウス２１１、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１２に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ２１３、及び、上記各構成要素を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２１４を備えている。なお、管理装置５０は、上記中継装置３０と同様のハードウェア構成を有しているため、その説明を省略する。
【００３３】
＜実施形態の機能構成＞
次に、本実施形態の機能構成について説明する。図４は、本発明の一実施形態に係る通信システムの一部を構成する端末、中継装置、及び管理装置の機能ブロック図である。なお、図４では、説明の便宜上、上述した通信システム１における端末１０、中継装置３０、及び管理装置５０が、通信ネットワーク２を介してデータの送受信が可能な状態で接続されていることを概略的に示している。
【００３４】
＜端末１０の機能構成＞
端末１０は、送受信部（送信手段、受信手段の一例）１１、操作入力受付部１２、表示制御部１３、状態管理部１４、及び記憶・読出部（記憶手段、読出手段の一例）１５を有している。これら各部は、図３に示されている各構成要素の何れかが、フラッシュメモリ１０４からＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、端末１０は、上述した図２に示されているＲＯＭ１０２、ＲＡＭ１０３、フラッシュメモリ１０４によって構築される記憶部１０００を有している。
【００３５】
次に、端末１０における各機能構成について詳細に説明する。なお、以下では、端末１０における各機能構成を説明するにあたって、図２に示されている各構成要素のうち、各機能構成を実現させるための主な構成要素との関係も説明する。
【００３６】
送受信部１１は、ＣＰＵ１０１からの命令、及びネットワークＩ／Ｆ１１１によって実現され、通信ネットワーク２を介して、通信相手の端末、各装置又はシステム等と各種データ（又は情報）の送受信を行う。
【００３７】
操作入力受付部１２は、ＣＰＵ１０１からの命令、並びに操作ボタン１０８及び電源スイッチ１０９によって実現され、ユーザによる各種入力又は各種選択を受け付ける。
【００３８】
表示制御部１３は、ＣＰＵ１０１からの命令、及びディスプレイＩ／Ｆ１１７によって実現され、通信相手の端末１０から送られてきた映像データ（画像データも含む）に基づく映像をディスプレイ１２０において表示するための制御を行う。
【００３９】
状態管理部１４は、ＣＰＵ１０１からの命令によって実現され、端末１０の正常・異常の状態、実行状態等の各種状態を管理する。
【００４０】
記憶・読出部１５は、ＣＰＵ１０１からの命令及びＳＳＤ１０５によって実現され、又はＣＰＵ１０１からの命令によって実現され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出す処理を行う。記憶部１０００には、その端末１０を使用するユーザ情報や表示制御等を行うための各種設定情報、各処理を実行するためのアプリ、他の装置を接続するためのアクセス情報（ＩＰアドレス）等が記憶されているが、記憶される情報はこれに限定されるものではない。
【００４１】
なお、端末１０の機能として、その拠点で使用しているＰＣ等とＵＳＢ等で接続し、そのＰＣの画面情報を他の拠点に共有できる機能（画面共有機能）を有していてもよい。この画面共有機能は、端末１０のカメラで取得した映像情報とは異なるストリームで中継装置３０に送られて、他の端末１０へ送信される。
【００４２】
＜中継装置３０の機能構成＞
中継装置３０は、送受信部（送信手段、受信手段の一例）３１、重み情報生成部（重み情報生成手段の一例）３２、重み情報判定部（判定手段の一例）３３、映像合成部（映像合成手段の一例）３４、及び記憶・読出部（記憶手段、読出手段の一例）３５を有している。これらの各部は、図３に示されている各構成要素の何れかが、ＨＤ２０４からＲＡＭ２０３上に展開された中継装置３０用のプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、中継装置３０は、上述した図３に示されているＲＯＭ２０２、ＲＡＭ２０３によって構築される記憶部３０００を有している。
【００４３】
次に、中継装置３０における各機能構成について詳細に説明する。なお、以下では、中継装置３０における各機能構成を説明するにあたって、図３に示されている各構成要素のうち、各機能構成を実現させるための主な構成要素との関係も説明する。
【００４４】
送受信部３１は、ＣＰＵ２０１からの命令、及びネットワークＩ／Ｆ２０９によって実行され、通信ネットワーク２を介して各端末、装置又はシステムと各種データ（又は情報）の送受信を行う。例えば、送受信部３１は、端末１０からの映像ストリームや音声ストリーム等のコンテンツデータを受信する。映像ストリームと音声ストリームとは、それぞれ同期が取られたストリームである。また、送受信部３１は、映像合成部３４によって合成された映像ストリームと映像合成部３４によって合成されなかった他の映像ストリームとを各端末１０に送信（配信）する。また、送受信部３１は、上述した映像ストリームに対応する音声ストリームを各端末１０に送信（配信）する。
【００４５】
重み情報生成部３２は、例えば音声ストリームの音圧の値や、所定時間における音圧の積分値等を用いて、各端末１０の重み（優先度）を情報を生成する。つまり、重み情報生成部３２は、音声ストリームから映像ストリームの重みを生成する。例えば、重み情報生成部３２は、例えばマイクミュート情報や音声ストリームの音圧や抑揚、その積分値や移動平均等の情報を用いて数値化する。例えば、重み情報生成部３２は、音圧の大きい音声ストリームは、その音声に対応付けられた映像ストリームの重みを大きく設定する。
【００４６】
なお、重み情報生成部３２は、映像ストリームから重みを生成してもよい。例えば、重み情報生成部３２は、映像ストリームのビットレート情報から重みの数値化を行ってもよい。また、重み情報生成部３２は、映像ストリームに含まれる各フレームから特徴量を取得し、取得した特徴量の変化から、動き（変化）の大きい映像に対して重みを大きく設定してもよい。また、重み情報生成部３２は、映像から人物認証を行い、予め設定された人物が映っていた場合には、その映像ストリームの重みを大きくしてもよい。
【００４７】
また、重み情報生成部３２は、端末１０から送信される映像の種類等に応じて重み付けを設定してもよい。例えば、映像がプレゼンテーション等で用いられる画面共有（例えば、通信相手と同一の画面（資料表示画面）を共有して表示する）等の映像である場合には、他の映像ストリームよりも重みを大きく設定するように制御してもよい。なお、重み生成の内容については、上述した内容に限定されるものではなく、上述したそれぞれの重み生成のうち、複数を組み合わせてもよい。生成された重み情報は、記憶部３０００にある優先度管理テーブル（優先度管理ＤＢ３００１）に記憶される。
【００４８】
重み情報判定部３３は、生成された重み情報（優先度管理テーブル）を用いて、複数の映像ストリームに対して、合成対象であるか否か（合成対象から除外するか否か）を判定する。例えば、重み情報判定部３３は、複数の映像ストリームに対し、重み（優先度）の低い映像ストリーム（例えば、重みの高い順から所定数以下の映像ストリーム）を合成対象の映像として判定する。この判定情報は、例えば優先度管理テーブルに記憶される。
【００４９】
映像合成部３４は、端末１０から送信される複数の映像ストリームを、上述した重み情報から取捨選択し、複数の映像ストリームの合成処理を行う。例えば、映像合成部３４は、重み情報判定部３３における判定結果のうち、合成が必要と判定された映像ストリームを合成する。
【００５０】
例えば、映像合成部３４は、合成対象の各映像フレームを、フレーム分割して合成してもよく、所定のタイミングで時分割に切り替わるように合成してもよい。また、映像合成部３４は、映像ストリームの各フレームを間引いたり、解像度変換等により粗い画像にしたり、カラー映像を白黒映像等にしてもよい。また、映像合成部３４は、合成する映像と合成しない映像とで符号化方式を変えて、合成した映像の方が合成しない映像よりもデータ量が少なくなるような処理を行ってもよい。上述したような処理により、映像ストリームを送信するデータ量を削減することができ、データ伝送効率を向上させることができるため、通信におけるコストの削減を実現することができる。
【００５１】
記憶・読出部３５は、ＣＰＵ２０１からの命令及びＨＤＤ２０５によって実行され、又はＣＰＵ２０１からの命令によって実現され、記憶部３０００に各種データを記憶したり、記憶部３０００に記憶された各種データを抽出する処理を行う。
【００５２】
また、中継装置３０は、ＨＤ２０４により構築される記憶部３０００を有している。この記憶部３０００には、優先度管理テーブルによって構成されている優先度管理ＤＢ３００１が構築される。
【００５３】
図５は、中継装置の優先度管理テーブルの一例を示す図である。図５の例に示す優先度管理テーブルの項目としては、例えば「会議ＩＤ」、「ストリームＩＤ」、「種別」、「優先度（重み）」、「除外フラグ」等があるが、これに限定されるものではない。「会議ＩＤ」は、会議を種別するための情報である。会議は、同時刻により複数の会議が開催されている場合もあるため、それぞれを会議ＩＤで識別する。
【００５４】
「ストリームＩＤ」は、会議毎に使用されているストリームを識別するための情報である。ストリームは、映像だけでも音声だけでもよく、その両方でもよい。また、ストリームは、各会議に１又は複数のストリームが存在するため、それぞれをストリームＩＤで識別する。また、「ストリームＩＤ」は、そのストリームがどの端末１０から送信されたストリームであるかを識別する情報を含んでいてもよい。
【００５５】
「種別」は、端末１０の種別を示す情報である。図５の例では、カメラやＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）であるが、これに限定されるものではく、タブレット端末や電子黒板等でもよい。
【００５６】
「優先度（重み）」は、上述した重み情報生成部３２により生成された重み情報である。「除外フラグ」は、合成対象のストリームの対象から除外するか（ｔｒｕｅ）、否か（ｆａｌｓｅ）の情報である。これらの情報は、上述した重み情報判定部３３により判定された結果である。「除外フラグ」がｔｒｕｅの場合には、合成対象から除外され、ｆａｌｓｅの場合には、合成対象の映像ストリームであると判断することができる。なお、「除外フラグ」に記憶される情報は、上述した例に限定されるものではない。
【００５７】
例えば、図５の「種別」において、「ＰＣ」を用いている場合には、画面共有を実施している端末と判断することができ、カメラ映像の映像ストリームと区別することができる。画面共有を行っている会議拠点のカメラ映像は、会議の形態として発表者という優先度の高い映像ストリームであることが多い。そのため、ＰＣの画面の映像情報は、優先度を上げる（重みを大きくする）処理又は重みに関係なく合成対象から除外する処理を行い、優先度の低い映像ストリームの合成対象には含まれないようにすることができる。
【００５８】
なお、図５に示すような優先度管理テーブルは、中継装置３０毎に有しており、各会議に参加しているストリームＩＤを集めて、優先度の順でソートを行い、優先度の低いものを合成の対象とする制御を行うことができる。
【００５９】
＜管理装置５０の機能構成＞
管理装置５０は、送受信部（送信手段、受信手段の一例）５１、管理部５２、セッション制御部５３、及び記憶・読出部（記憶手段、読出手段の一例）５４を有している。これら各部は、図３に示されている各構成要素の何れかが、ＨＤ２０４からＲＡＭ２０３上に展開された管理装置５０用のプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、管理装置５０は、上述した図３に示されているＲＯＭ２０２、ＲＡＭ２０３によって構築される記憶部５０００を有している。
【００６０】
次に、管理装置５０における各機能構成について詳細に説明する。なお、以下では、管理装置５０における各機能構成を説明するにあたって、図３に示されている各構成要素のうち、各機能構成を実現させるための主な構成要素との関係も説明する。
【００６１】
送受信部５１は、ＣＰＵ２０１からの命令、及びネットワークＩ／Ｆ２０９によって実行され、通信ネットワーク２を介して各端末、装置又はシステムと各種データ（または情報）の送受信を行う。
【００６２】
管理部５２は、ＣＰＵ２０１からの命令によって実現され、端末管理テーブルにおいて、最新の稼働状態にさせるため、稼働状態を更新する処理を行う。また、管理部５２は、サービス利用申請に係るサービスの提供可否を判断する。セッション制御部５３は、ＣＰＵ２０１からの命令によって、端末１０間でコンテンツデータを送信するセッションを制御する。この制御としては、セッションを確立するための制御、確立されたセッションに端末１０参加させる制御、セッションを切断する制御、確立されたセッションにおけるコンテンツデータの伝送の制御等が含まれる。
【００６３】
記憶・読出部５４は、ＣＰＵ２０１からの命令及びＨＤＤ２０５によって実行され、又はＣＰＵ２０１からの命令によって実現され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを抽出する処理を行う。
【００６４】
また、管理装置５０は、ＨＤ２０４により構築される記憶部５０００を有している。この記憶部５０００には、以下に示すような各テーブルによって構成されている各ＤＢが構築される。
【００６５】
記憶部５０００には、認証管理テーブルによって構成されている認証管理ＤＢ５００１が構築されている。この認証管理テーブルでは、管理装置５０によって管理される全ての端末１０の各通信ＩＤに対して、認証用のパスワード、及び、端末１０において利用可能なサービスを識別するためのサービスＩＤが関連付けられて管理される。なお、通信ＩＤは、通信システム１において通信先の端末１０を特定するための情報である。通信ＩＤとしては、特に限定されないが、例えば、端末１０の識別情報、端末１０のユーザのアカウント等が含まれる。
【００６６】
また、記憶部５０００には、端末管理テーブルによって構成されている端末管理ＤＢ５００２が構築されている。この端末管理テーブルでは、各端末１０の通信ＩＤ毎に、各端末１０を宛先とした場合の宛先名（端末名）、各端末１０の状態を示す状態情報、及び端末１０が利用しているサービスのサービスＩＤが関連付けられて管理される。
【００６７】
また、記憶部５０００には、サービスリスト管理テーブルによって構成されているサービスリスト管理ＤＢ５００３が構築されている。このサービスリスト管理テーブルでは、上記のサービスＩＤ、サービス名、及び、端末１０側の役割が関連付けられて管理される。
【００６８】
また、記憶部５０００には、送信管理テーブルによって構成されている送信管理ＤＢ５００４が構築されている。この送信管理テーブルでは、コンテンツデータの要求元の端末１０が利用しているサービスのサービスＩＤと、コンテンツデータの送信元の端末１０が利用しているサービスのサービスＩＤと、送信元の端末１０から要求元の端末１０へコンテンツデータの送信が許可されるときの送信元の端末１０の状態を示す状態情報と、送信されるコンテンツデータの種類を示すコンテンツ情報が関連付けられて管理される。
【００６９】
また、記憶部５０００には、リスナ管理テーブルによって構成されているリスナ管理ＤＢ５００５が構築されている。リスナ管理テーブルでは、イベントの取得を要求するリスナのリスナＩＤに関連付けて、リスナ登録要求元の端末１０の通信ＩＤ、リスナの利用するサービス名、リスナの役割情報、要求に係るイベントを示すサービス名、役割情報、及び状態情報、並びにリスナ登録された時間、リスナ登録の期限が管理される。なお、リスナ登録の期限を経過すると、リスナ管理テーブルにおいて、経過した期限が記録されたレコードは、記憶・読出部５４によって削除される。
【００７０】
上述したように本実施形態における通信システム１において、中継装置３０は、多拠点接続時に複数の会議端末から送信されてくる映像ストリームに対して重み付けを行い、重みの低い映像ストリームについては複数の映像をまとめて１つの映像として合成する。また、中継装置３０は、合成した１本の映像ストリームを配信したり、又は、更に重みの低い映像ストリームについては、配信しない制御を行ったりすることで、映像データの通信コストを削減させることができる。また、本実施形態では、端末１０側での映像表示のための負荷低減を行い、コスト削減を実現することができる。
【００７１】
なお、上述した通信システム１において、上述した中継装置３０と管理装置５０とは、別体に設けられているが、これに限定されるものではなく、例えば図１に示す中継装置３０ｅと管理装置５０とが一体に設けられていてもよい。
【００７２】
＜端末１０と中継装置３０との関係＞
次に、上述した端末１０と中継装置３０との関係について、図を用いて説明する。図６は、端末と中継装置との通信例について説明する図である。図６の例では、本実施形態と比較するために、従来方式でのストリーム配信例を示している。図６の例では、会議に参加している複数の端末１０−１〜１０−ｎと、中継装置３０とを概略的に示している。
【００７３】
例えば、図６に示す例では、各拠点の端末１０から映像ストリームと音声ストリームとが中継装置３０に送信され、中継装置３０は合成等を行わずに、その会議に参加している他の端末１０に映像ストリーム、音声ストリームを配信する。なお、図６では、模式的に映像ストリーム（ｍａ、ｍｂ、ｍｃ、・・・、ｍｚ）のみを示している。
【００７４】
例えば、図６の例でおいて、中継装置３０と接続された各端末１０−１〜１０−ｎのうち、端末Ａから送信されてきた映像ストリーム（ＵＰ）を、他の端末（端末Ｂ，Ｃ，・・・，Ｚ）へと配信（ＤＯＷＮ）する。
【００７５】
つまり、端末１０がＮ台で参加する会議では、中継装置３０に送信されてくる映像ストリームは、通常Ｎ本存在し、中継装置３０から配信する映像ストリームは、各端末にＮ−１本の映像配信を行う必要がある。そのため、Ｎ台の端末１０が存在する場合、ストリームの送受信で合わせてＮ×（Ｎ−１）本の配信を行う必要がある。
【００７６】
また、図７は、図６に対応する配信時の画像例を示す図である。図７の例では、計２０拠点（端末）が参加する会議で、拠点Ａでの表示画面１２００を模式的に示したものである。
【００７７】
図６に示したように、各端末１０から得られるストリームを配信する場合、この例では、各端末１０の表示上の制限から１６拠点のみの表示を、均等分割したマルチ画面で表示する。そのため、表示できない拠点が存在する。また、このマルチ画面には、自身（拠点Ａ）の映像表示も含む。また、どの拠点を表示するかの選択は、各端末の操作者がそれぞれ設定しているため、どこの拠点で発言が行われているか分からない場合や、会議の発言者が表示されていない等といった可能性があり得る。
【００７８】
そこで、本実施形態では、上述したように、中継装置３０にて会議に参加している各拠点の映像ストリームのうち、予め設定された条件を満たす映像ストリームを合成して、各拠点に配信を行う。図８は、本実施形態における中継装置のストリーム配信例を示す図である。図８の例は、上述した図６と同様に、会議に参加している複数の端末１０−１〜１０−ｎと、中継装置３０とを概略的に示している。また、図８の例も図６と同様に模式的に映像ストリームのみを示している。
【００７９】
例えば、図８の例では、中継装置３０が、各拠点からアップロード（ＵＰ）されてきたそれぞれの映像ストリームに対して重み（優先度）を生成し、生成した重み情報を用いて映像ストリームを取捨選択し、重みの低い映像ストリームを合成して、他の端末１０に配信（ＤＯＷＮ）する状況を模式的に示している。
【００８０】
図８では、端末Ａからの映像ストリーム（ｍａ）の重みが大きく（優先度が高く）、他の端末Ｂ，Ｃ，・・・，Ｚの重みが低い場合の例として、端末Ｂ，Ｃ，・・・，Ｚの映像ストリームを合成して１本の映像ストリーム（ｍｂ＿ｚ）にまとめている。そして、中継装置３０は、上述した映像ストリームｍａ、ｍｂ＿ｚを、端末Ａ，Ｂ，Ｃ，・・・，Ｚの拠点に配信する。なお、重みが大きかった端末Ａの映像ストリームについては、端末Ａ以外の拠点に合成なしで配信される。また、配信する映像ストリームに対応する音声ストリームがある場合には、その情報も配信される。なお、映像ストリームに対応する音声ストリームが無音である場合には、その無音区間の音声ストリームを送信しなくてもよい。
【００８１】
本実施形態では、上述したように、各ストリームに対する重みの判定結果により複数ストリームを１本のストリームにまとめる処理を行う。また、上述した合成処理の周期は、例えば、１〜３秒間隔といった所定間隔周期で行われる。そのため、合成される端末１０が動的に切り替わることになる。
【００８２】
図９は、本実施形態を適用して複数拠点での会議を行う際の端末の表示例を示す図である。図９の例では、重み判定において、重みが小さい（優先度が低い）と判定された映像ストリームは、複数の映像ストリームを１つのストリームとして合成処理が行われる。
【００８３】
例えば、図９の例に示す表示画面１２０１では、重みが大きい（優先度が高い）と判定された上位３つのストリームと、その他の拠点の１６個のマルチ画面として複数のストリームがフレーム分割により合成された１本のストリームとを表示した場合の例を示している。このような表示を行う端末１０にとっては、重みが大きい３つの拠点Ｂ，Ｃ，Ｄの表示と、それ以外の複数の拠点という計４拠点相当の表示仕様で表示させればよいため、従来よりも処理を削減させることができると共に、多くの拠点表示を行うことができる。また、重みが大きい拠点は、大きく表示されるため、発言者に注目しやすい最適化された表示を行うことができる。
【００８４】
なお、図９の例では、複数ストリームを均等にマルチ画面化した合成画像としたが、これに限定されるものではなく、例えば重みが低いと判定された複数のストリームを一定間隔で順番に切り替えて表示する映像ストリームでもよく、解像度を小さくしたり、画像変換等により白黒画像に変化させてデータ量を削減してもよい。これにより伝送効率を向上させることができる。また、図９に示す表示画面１２０１の表示レイアウトについては、これに限定されるものではなく、各端末１０のユーザが、４つのストリームの表示内容を任意に設定することができる。したがって、表示画面１２０１は、例えば重みの大きい順に表示されてもよく、会議への参加順に表示されてもよい。
【００８５】
＜端末１０間の通信を確立する処理＞
次に、端末１０間の通信を確立する処理について説明する。図１０は、端末間の通信を確立する処理を示したシーケンス図である。図１０の例では、端末１０ｄｂ、管理装置５０、中継装置３０ｅ、端末１０ａａを用いて説明するが、他の端末間においても同様に適用可能である。
【００８６】
管理装置５０は、端末１０ｄｂによるサービス利用申請に対する応答を送信した後（Ｓ０１）の所定のタイミングで、セッション制御部５３は、端末１０ｄｂと所定の中継装置３０ｅとを接続させる制御を行う（Ｓ０２）。これにより、端末１０ｄｂと中継装置３０ｅとの間のセッションが確立する。
【００８７】
次に、端末１０ｄｂの送受信部１１は、自端末のカメラ１１２で撮像した映像に基づく映像データ（画像データを含む）、及びマイク１１４で集音した音に基づく音データ（音声データを含む）を中継装置３０ｅへ送信する（Ｓ０３）。
【００８８】
一方、管理装置５０が端末１０ａａによるサービス利用申請に対する応答（Ｓ０４）を送信した後の所定のタイミングで、セッション制御部５３は、端末１０ａａと所定の中継装置３０ｅとの間を接続させる制御を行う（Ｓ０５）。これにより、端末１０ａａと中継装置３０ｅとの間のセッションが確立すると、端末１０ａａの送受信部１１は、自端末のカメラ１１２で撮像した画像に基づく映像データ（画像データを含む）、及びマイク１１４で集音した音に基づく音データ（音声データを含む）を中継装置３０ｅへ送信する（Ｓ０６）。
【００８９】
続いて、端末１０ｄｂから送られてきたコンテンツデータ（映像データ・音データ）要求が管理装置５０において受信されると（Ｓ０７）、送受信部５１は、この要求を許可する旨の応答を端末１０ｄｂへ送信する（Ｓ０８）。続いて、管理装置５０の送受信部５１は、コンテンツデータ要求元の端末１０ｄｂの通信ＩＤ、及びコンテンツデータ要求先の端末１０ａａの通信ＩＤが含まれており、コンテンツデータの中継を要求する旨のコンテンツデータ中継要求を中継装置３０ｅへ送信する（Ｓ０９）。
【００９０】
中継装置３０ｅは、コンテンツデータ中継要求を受信すると、要求先の端末１０ａａから送られてくる画像データ及び音データの各ストリームを、要求元の１０ｄｂへ送信する（Ｓ１０）。これにより、端末（１０ａａ，１０ｄｂ）間の通信は確立する。上述した処理を同一の会議に出席する他の端末間でも行うことで、複数の端末における遠隔会議を実現することができる。また、会議を退席する場合には、端末１０からその旨の信号を送信することで、会議を退席することができる。
【００９１】
＜中継装置３０における映像ストリームの中継処理＞
次に、上述した通信確立後の中継装置３０におけるストリームの中継処理について、図を用いて説明する。図１１は、中継装置におけるストリームの中継処理の一例を示すフローチャートである。中継装置３０は、重み判定の処理と、映像合成の処理を非同期で行うことができるが、図１１の例では、連続して行う例について説明する。
【００９２】
図１１の例において、中継装置３０は、会議に参加している端末数Ｎを取得する（ＳＳ２１）。Ｓ２１の処理では、例えば会議に参加している端末（拠点）数を所定時間間隔で動的に取得する。これは、会議参加者が随時増加したり、減少したりする可能性があるためである。
【００９３】
次に、中継装置３０の重み情報生成部３２は、その会議に参加している各端末１０から同期した映像ストリーム及び音声ストリームを受信し、受信したストリームから重み情報を取得する（Ｓ２２）。Ｓ２２の処理では、例えば重み情報生成部３２が、音声ストリームから得られる音圧や抑揚等の積分値を用いて重み情報を生成することができるが、取得内容については、これに限定されるものではない。例えば、重み情報生成部３２は、予めストリーム情報に重みに関する情報が付与されている場合には、その情報から重み情報を取得してもよい。
【００９４】
次に、重み情報判定部３３は、重み情報生成部３２が生成した会議参加端末の映像ストリームの重み情報を取得し、それを重みの値で並び替える（Ｓ２３）。並び替えの順序は、例えば重みの大きい順（優先順位の高い順）であるが、これに限定されるものではなく、小さい順に並び替えてもよい。また、Ｓ２３の処理では、会議に参加している全端末に対して重みの低いものを取捨選択（ピックアップ）して、そのストリームＩＤを合成ストリーム候補とする。なお、この情報は、中継装置３０の記憶部３０００に記憶される。
【００９５】
ここで、重み情報判定部３３は、端末１０のストリーム数をカウントするためのカウンタＳを初期化（Ｓ＝０）し（Ｓ２４）、カウンタＳが端末数Ｎより小さいか否かを判断する（Ｓ２５）。ストリーム数は、各端末１０から中継装置に送られた映像ストリーム数に対応する。また、Ｓ２５の処理において、カウンタＳと端末数Ｎとの比較は、端末Ｎから送信された全てストリームに対して合成するか否かを判断を行うためのものである。カウンタＳの値は、それぞれストリームＩＤに対応付けられている。
【００９６】
Ｓ２５の処理において、カウンタＳが端末数Ｎより小さい場合（Ｓ２５において、ＹＥＳ）、カウンタＳの値に対応するストリーム（ストリームＩＤ）の重みは、上位の所定数以下（例えば、上位４位等）であるか否かを判断する（Ｓ２６）。
【００９７】
重み情報判定部３３は、重みが上位の所定数以下である場合（Ｓ２６において、ＹＥＳ）、合成ストリーム候補として追加する（Ｓ２７）。また、重み情報判定部３３は、上位の所定数以下でない場合（Ｓ２６において、ＮＯ）、カウンタＳをインクリメント（Ｓ＋＝１）し（Ｓ２８）、Ｓ２５の処理に戻る。
【００９８】
また、Ｓ２５の処理において、カウンタＳが端末数Ｎより小さくない場合（Ｓ２５において、ＮＯ）、映像合成部３４は、合成ストリーム候補を取得し（Ｓ２９）、取得した候補のストリームを合成する（Ｓ３０）。また、送受信部３１は、映像合成部３４によって合成されたストリームと合成されなかった他のストリーム（合成対象から除外されたストリーム）とを会議に参加している端末１０に送信（配信）する（Ｓ３１）。なお、送信するストリームは、映像ストリームだけでなく、対応する音声ストリームがあれば、そのストリームも送信する。
【００９９】
ここで、中継装置３０は、ユーザ操作等により処理を終了するか否かを判定し（Ｓ３２）、処理を終了しない場合（Ｓ３２において、ＮＯ）、所定時間（例えば、１〜３秒等）待機し（Ｓ３３）、Ｓ２１の処理に戻る。また、Ｓ３２の処理において、処理を終了する場合（Ｓ３２において、ＹＥＳ）、中継処理を終了する。
【０１００】
上述した処理により、例えば重みの大きい順（優先順位の高い順）に上位３位の映像ストリームは合成せず、４位以下の映像ストリームを合成対象にすることができる。なお、中継処理については、これに限定されるものではなく、例えばＳ２６の処理において、重みの値が予め設定された閾値以上の場合に、合成ストリーム候補から除外する（合成ストリーム候補としない）処理を行ってもよい。また、例えば、映像ストリームが、画面共有機能に対応したストリームである場合に、合成ストリーム候補に追加しない処理を行ってもよい。
【０１０１】
また、図１１に示す処理では、全端末１０からの映像ストリームに対する上述した処理が終われば、所定時間の待機時間入れて、繰り返し処理を行う。また、映像合成部３４は、重み情報判定部３３が生成した合成ストリーム情報を読み出し、合成候補としてリストアップされた映像ストリームのＩＤを対象に合成処理を行う。
【０１０２】
なお、重み情報の生成については、例えば、マイクミュート情報や、音声ストリームの音圧情報、その積分値や移動平均等の情報、映像ストリームのビットレート情報等の手法を用いて数値化し、重みを生成することができる。
【０１０３】
また、本実施形態における中継装置３０では、会議への参加人数が、所定数以上（例えば、１６人（拠点）以上）になった場合に、上述した映像ストリームの合成処理を行うようにしてもよい。また、上述した処理を行うか否かを、各端末１０に問い合わせ、処理を行う端末１０を対象に上述した処理を行ってもよい。
【０１０４】
＜まとめ＞
上述したように、本実施形態によれば、通信におけるコストの削減を実現することができる。例えば、遠隔会議システムにおいて、多くの拠点が合流する会議を行う際に、各拠点の映像ストリームを平等に配信すると、各拠点での表示の選択の自由が多すぎて操作が煩雑になる。しかしながら、本実施形態を適用して、映像配信を行う中継装置側で映像ストリームの重み付けと、それに伴う複数の映像ストリームの合成による映像ストリームの本数削減を行うことで、端末での映像表示の自由度が減り、最適な表示を行うことができる。
【０１０５】
また、本実施形態では、複数の映像ストリームをまとめて配信することで、各会議拠点に送信するまでの通信経路への通信量を減らせることができ、通信コストの削減、並びに通信量の削減による帯域逼迫を軽減できることの安定化、端末に流入する通信パケットを削減できることによる端末の通信処理負荷の軽減を行うことができる。その結果、例えば端末１０の映像処理リソース、通信処理リソース等へのコスト削減を行うことができる。
【０１０６】
＜実施形態等の補足＞
上述した本実施形態における中継装置については、主に図１に示す通信システム１の中継装置３０ｅについて説明したが、これに限定されるものではない。例えば、図１に示す通信システム１のうち、中継装置３０ａ〜３０ｄにおける各地域の範囲内において、同様の処理を行うことができる。また、一部の中継装置に対して上述した本実施形態を適用してもよい。
【０１０７】
また、上述した合成対象の映像ストリームを決定する際、映像ストリームに重みを設定したが、これに限定されるものではなく、映像ストリームに対応する音声ストリームに重みを設定してもよい。また、音声ストリームの重みに応じて、予め設定された閾値以下の重みを有する音声ストリームに対して、その音声ストリームの音質を下げたり、その音声ストリームを配信しないといった中継処理を行ってもよい。
【０１０８】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【０１０９】
また、上述した各実施形態で述べたフローチャートは、矛盾の無い限り順序を入れ替えてもよい。また、上述した各実施形態の全部又は一部を組み合わせることができる。また、上述した各実施形態の全部又は一部は、対応するプログラム（例えば、中継プログラム）をコンピュータ（例えば、端末１０、中継装置３０、管理装置５０等）にインストールすることによって実装され得る。また、このプログラムは、記録媒体（記録メディア）に格納することができる。
【符号の説明】
【０１１０】
１  通信システム
２  通信ネットワーク
１０  端末
１１，３１，５１  送受信部（送信手段、受信手段の一例）
１２  操作入力受付部
１３  表示制御部
１４  状態管理部
１５，３５，５４  記憶・読出部（記憶手段、読出手段の一例）
３０  中継装置
３２  重み情報生成部（重み情報生成手段の一例）
３３  重み情報判定部（判定手段の一例）
３４  映像合成部（映像合成手段の一例）
５０  管理装置
５２  管理部
５３  セッション制御部
１０００，３０００，５０００  記憶部
【先行技術文献】
【特許文献】
【０１１１】
【特許文献１】特開平１０−０９３９４２号公報
【特許文献２】特開平０８−１４９４４０号公報
【図１】
2017028646.tif 000003
【図２】
2017028646.tif 000004
【図３】
2017028646.tif 000005
【図４】
2017028646.tif 000006
【図５】
2017028646.tif 000007
【図６】
2017028646.tif 000008
【図７】
2017028646.tif 000009
【図８】
2017028646.tif 000010
【図９】
2017028646.tif 000011
【図１０】
2017028646.tif 000012
【図１１】
2017028646.tif 000013