(57)【要約】【課題】通信先との通信品質を表示して通信先通信端末装置における通信品質の状態をリアルタイムで把握する。【解決手段】通信端末装置１０は、送信すべき映像、音声を入力する画像取得部１２、音声取得部１４と、インターネット２ｉを介して送信元コンテンツデータを通信先に送信すると共に通信先が送信した通信先コンテンツデータを受信する送受信部１１と、受信した通信先コンテンツデータに基づいて通信先コンテンツを出力する画像表示部１３と、音声再生部１５と、送受信部１１における通信品質の状態を定量的な通信品質データとして取得する自己通信品質取得部１６と、取得された通信品質データを送受信部１１によって送信する自己通信品質送信部１８と、ネットワークを介して通信先が送信した通信品質データを取得する通信先通信品質取得部１９と、取得した通信先からの通信品質データを出力する通信品質出力部１７と、を備える。【選択図】図４
2016167676.tif 000002
【特許請求の範囲】
【請求項１】
送信すべき送信元コンテンツデータを入力するコンテンツ入力手段と、
ネットワークを介して前記送信元コンテンツデータを通信先に送信すると共に、前記通信先が送信した通信先コンテンツデータを受信する通信制御手段と、
前記通信先コンテンツデータに基づいて通信先コンテンツを接続された表示装置に表示させるために出力する通信先コンテンツ出力手段と、を備えた通信端末装置であって、
前記通信制御手段における送信元での通信品質の状態を定量的な通信品質データとして取得する自己通信品質取得手段と、
前記送信元での前記通信品質データを前記通信制御手段によって前記通信先に送信する自己通信品質送信手段と、
前記ネットワークを介して前記通信先が送信した通信品質データを取得する通信先通信品質取得手段と、
前記通信先から取得した前記通信品質データに基づいた通信品質を示す情報を前記表示装置に表示させるために出力する通信品質出力手段と、
を備えることを特徴とする通信端末装置。
【請求項２】
前記通信品質出力手段は、前記通信先からの通信品質データに基づいた通信品質を示す情報を、前記通信先からのコンテンツに重ねて表示することを特徴とする請求項１に記載の通信端末装置。
【請求項３】
前記通信品質データに基づいた通信品質を示す情報を含むコンテンツを作成し、該作成した通信品質を示す情報を含むコンテンツと前記送信元コンテンツとを合成することで該合成したコンテンツを前記通信制御手段へ送信元コンテンツデータとして出力する通信品質合成手段を備えることを特徴とする請求項１に記載の通信端末装置。
【請求項４】
前記自己通信品質取得手段は、時刻データを同時に取得し、
前記自己通信品質送信手段は、前記通信品質データとともに前記時刻データを送信し、
前記通信品質出力手段は、相手先のコンテンツデータと通信品質データとを同期して出力することを特徴とする請求項１乃至請求項３の何れか１つに記載の通信端末装置。
【請求項５】
前記通信先の通信端末装置が自己通信品質取得手段を備えるか否かを判定する機器機能確認手段を備えることを特徴とする請求項１乃至請求項４の何れか１つに記載の通信端末装置。
【請求項６】
ネットワークと、
前記ネットワークを介して接続された少なくとも２台の請求項１乃至請求項５の何れか１つに記載の通信端末装置、を備えることを特徴とする通信管理システム。
【請求項７】
送信すべき送信元コンテンツデータを入力するコンテンツ入力ステップと、
ネットワークを介して前記送信元コンテンツデータを通信先に送信すると共に、前記通信先が送信した通信先コンテンツデータを受信する通信制御ステップと、
前記通信先コンテンツデータに基づいて通信先コンテンツを接続された表示装置に表示させるために出力する通信先コンテンツ出力ステップと、を実行する通信方法であって、
前記通信制御ステップにおける送信元での通信品質の状態を定量的な通信品質データとして取得する自己通信品質取得ステップと、
前記送信元での前記通信品質データを前記通信制御ステップによって前記通信先に送信する自己通信品質送信ステップと、
前記ネットワークを介して前記通信先が送信した通信品質データを取得する通信先通信品質取得ステップと、
前記通信先から取得した前記通信品質データに基づいた通信品質を示す情報を前記表示装置に表示させるために出力する通信品質出力ステップと、
を実行することを特徴とする通信方法。
【請求項８】
請求項７に記載の各ステップをプロセッサに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信端末装置、通信管理システム、通信方法、及びプログラムに関する。
【背景技術】
【０００２】
昨今、インターネット等の通信ネットワークを介して２つ以上の遠隔地の間で、遠隔コミュニケーションを行うコミュニケーションシステムが普及している。このようなコミュニケーションシステムの一例である会議システムとしては、例えば、遠隔会議を行う出席者がいる会議室において、端末装置を用いて会議室の画像を撮影するとともに音声を収集して、相手側の端末装置に送信しておき、相手側の端末装置においてこの画像をディスプレイに表示させるとともに、音声をスピーカから出力させ、実際の会議に近い状態で遠隔地間の会議を行う技術が知られている。また、会議システムとしては、２拠点間における会議にとどまらず、３拠点以上、又は後から複数拠点から会議に合流して多拠点での遠隔会議が可能になる技術が知られている。
【０００３】
このように多数の拠点を接続する遠隔会議では、１拠点の発言者に対して、他の拠点は聞くことに徹する状況が多く発生する。また、他の拠点では、発言者の邪魔にならないようにマイクを消音状態にすることがあり、発言者の発言が終わった後に、他の拠点からの反応がすぐに返ってこないことがあり（マイクのＯＮ操作を行うため）、正しく映像と音声が他の拠点に伝達されているにも関わらず、発言者にとっては遠隔会議が成立しているのか不安に感じることがある。
また、遠隔コミュニケーションでやりとりされる画像及び音声等のコンテンツの品質はユーザが保有するネットワーク環境の通信品質や、通信相手との経路上の回線使用率といった通信品質に左右され易い。このため、意図せず音声データと画像データの通信が途切れてしまい、コミュニケーション相手との会話が中断してしまう場合がある。
例えば、遠隔会議に参加しているある拠点において、通信が不安定状態になり、その拠点へのダウンストリーム方向の映像や音声が届かない、又はアップストリーム方向で映像や音声を届けられないような場合がある。
このとき、音声の途切れや映像が固まる現象からネットワークの不調を知ることになり、不調から復帰した際にコミュニケーション相手に発言内容を聞き直したり、発言し直したりすることが発生するといった問題があった。
【０００４】
特許文献１には、遠隔会議システムにおいて会議接続中に通信品質が所定の閾値よりも低下した場合に、会議状態を保存し会議サーバへの再接続を実施する仕組みについて開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１にあっては、会議の接続品質に対してユーザが知り得る表示手段や情報がなく、また時系列での変化も知ることができず、また品質の劣化はその劣化が発生した端末でしか知り得ることができず、他の拠点の端末は音声や映像の途切れ、切断という症状から判断することしかできなかった。
【０００６】
本発明は、上記に鑑みてなされたもので、その目的としては、コンテンツをやりとりする通信端末装置で、通信先との通信品質データを把握して、コンテンツのやりとりが正常に行われているかを確認できる通信端末装置、通信管理システム、中継方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
請求項１記載の発明は、上記課題を解決するため、送信すべき送信元コンテンツデータを入力するコンテンツ入力手段と、ネットワークを介して前記送信元コンテンツデータを通信先に送信すると共に、前記通信先が送信した通信先コンテンツデータを受信する通信制御手段と、前記通信先コンテンツデータに基づいて通信先コンテンツを接続された表示装置に表示させるために出力する通信先コンテンツ出力手段と、を備えた通信端末装置であって、前記通信制御手段における送信元での通信品質の状態を定量的な通信品質データとして取得する自己通信品質取得手段と、前記送信元での前記通信品質データを前記通信制御手段によって前記通信先に送信する自己通信品質送信手段と、前記ネットワークを介して前記通信先が送信した通信品質データを取得する通信先通信品質取得手段と、前記通信先から取得した前記通信品質データに基づいた通信品質を示す情報を前記表示装置に表示させるために出力する通信品質出力手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、コンテンツをやりとりする通信端末装置において、通信先の通信端末装置と間の通信品質の状態を表示して通信先通信端末装置における通信品質の状態をリアルタイムで把握することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る通信管理システムの概略図である。
【図２】本発明の一実施形態に係る通信端末装置のハードウエア構成図である。
【図３】本発明の一実施形態に係る通信管理装置のハードウエア構成図である。
【図４】本実施形態に係る通信管理システムの概略及び通信端末装置の機能ブロックを示す図である
【図５】通信端末装置と通信管理装置、中継装置での通信について説明するための模式図である。
【図６】通信端末装置で計測した通信品質データの一例を示す図である。
【図７】各通信端末装置において会議中の通信品質を取得して表示する手順を示すシーケンス図である。
【図８】遠隔会議中における通信端末装置の表示画面例を示す図である。
【図９】他の実施形態に係る通信管理システムにおいて各通信端末装置において会議中の通信品質を取得して表示する他の手順を示すシーケンス図である。
【図１０】他の実施形態に係る通信管理システムにおいて遠隔会議中における通信端末装置の表示画面例を示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態について説明する。本発明は、複数の通信端末装置をインターネット等のネットワークで接続して、画像、音声等のコンテンツをやりとりするに際して、各通信端末装置でコンテンツの送受信のデータ送受信速度や、遅延の秒数という通信品質を測定し、コンテンツの送受信と共に時刻データを含め、他の通信端末装置と共有できることを特徴とする。これにより、他の通信端末装置では接続先のコンテンツとともに通信品質データを時系列で表示でき、互いに通信先の通信品質を把握することができる。
また、通信品質データを送信側の通信端末装置においてコンテンツと合成し、コンテンツのデータストリームで通信先に送信することで、接続先の通信品質データを相互に把握することができる。
【００１１】
＜＜実施形態の全体構成＞＞
以下、図１から図１０を用いて、本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る通信管理システムの概略図であり、まず図１を用いて、本実施形態の概略を説明する。
【００１２】
本発明に係る通信システムには、通信管理システムにおける一方の通信端末装置から他方の通信端末装置に一方向でコンテンツデータを伝送するデータ提供システムや、通信管理システムにおける複数の通信端末装置間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、コミュニケーション管理システム（「通信管理システム」に相当）における複数のコミュニケーション端末（「通信端末装置」に相当）間で情報や感情等を相互に伝達するためのシステムであり、テレビ会議システムやテレビ電話システム、音声会議システム、音声電話システム、ＰＣ（Personal Computer）画面共有システム等が例として挙げられる。
【００１３】
本実施形態では、コミュニケーションシステムの一例としてのテレビ会議システム、コミュニケーション管理システムの一例としてのテレビ会議管理システム、及びコミュニケーション端末の一例としてのテレビ通信端末装置を想定した上で、通信システム、通信管理システム、及び通信端末装置について説明する。即ち、本発明の通信端末装置、通信管理システム、中継方法、及びプログラムは、テレビ会議システムに適用されるだけでなく、コミュニケーションシステム、又は伝送システムにも適用される。
【００１４】
図１に示す通信管理システム１は、複数の通信端末装置（１０ａａ、１０ａｂ、…）、各通信端末装置（１０ａａ、１０ａｂ、…）用のディスプレイ（１２０ａａ、１２０ａｂ、…）、複数の中継装置（３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅ）、及び通信管理装置５０を備えて構築されている。
なお、本実施形態では、通信端末装置（１０ａａ、１０ａｂ、…）のうち任意の通信端末装置を示す場合には「通信端末装置１０」を用い、ディスプレイ（１２０ａａ、１２０ａｂ、…）のうち任意のディスプレイを示す場合には「ディスプレイ１２０」を用い、中継装置（３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅ）のうち任意の中継装置を示す場合には「中継装置３０」を用いる。
【００１５】
通信端末装置１０は、コンテンツデータの一例としての画像データ及び音声データの送受信を行う。即ち、本実施形態における通話には、音声データの送受信だけでなく、画像データの送受信も含まれる。即ち、本実施形態における通信端末装置１０は、画像データ及び音声データの送受信を行う。ただし、通信端末装置１０は画像データの送受信を行わず、音声データの送受信を行うようにしてもよい。
本実施形態では、画像データの画像が動画の場合について説明するが、動画だけでなく静止画であってもよい。また、画像データの画像には、動画と静止画の両方が含まれてもよい。中継装置３０は、複数の通信端末装置１０の間で、画像データ及び音声データの中継を行う。通信管理装置５０は、通信端末装置１０及び中継装置３０を一元的に管理する。
通信端末装置は、テレビ会議端末以外に、ＩＰ(Internet Protocol)電話、スマートフォン、携帯電話機、カーナビゲーション端末、ウェアラブルコンピュータ、カメラ、電子黒板、ゲーム機、又は、通信機能を備えた産業用機器であっても良い。ウェアラブルコンピュータには、腕時計やヘッドマウントディスプレイ等が含まれる。また、産業用機器には、ＭＦＰ(Multifunction Peripheral/Printer/Product)等のオフィス機器、内視鏡等の医療用機器、耕運機等の農業用機器などが含まれる。
【００１６】
また、図１に示されている複数のルータ（７０ａ、７０ｂ、７０ｃ、７０ｄ、７０ａｂ、７０ｃｄ）は、画像データ及び音声データの最適な経路の選択を行う。なお、本実施形態では、ルータ（７０ａ、７０ｂ、７０ｃ、７０ｄ、７０ａｂ、７０ｃｄ）のうち任意のルータを示す場合には「ルータ７０」を用いる。
【００１７】
また、通信端末装置（１０ａａ、１０ａｂ、１０ａｃ、１０ａ…）、中継装置３０ａ、及びルータ７０ａは、ＬＡＮ２ａによって通信可能に接続されている。通信端末装置（１０ｂａ、１０ｂｂ、１０ｂｃ、１０ｂ…）、中継装置３０ｂ、及びルータ７０ｂは、ＬＡＮ２ｂによって通信可能に接続されている。また、ＬＡＮ２ａ及びＬＡＮ２ｂは、ルータ７０ａｂが含まれた専用線２ａｂによって通信可能に接続されており、所定の地域Ａ内で構築されている。例えば、地域Ａは日本であり、ＬＡＮ２ａは東京の事業所内で構築されており、ＬＡＮ２ｂは大阪の事業所内で構築されている。
【００１８】
一方、通信端末装置（１０ｃａ、１０ｃｂ、１０ｃｃ、１０ｃ…）、中継装置３０ｃ、及びルータ７０ｃは、ＬＡＮ２ｃによって通信可能に接続されている。通信端末装置（１０ｄａ、１０ｄｂ、１０ｄｃ、１０ｄ…）、中継装置３０ｄ、及びルータ７０ｄは、ＬＡＮ２ｄによって通信可能に接続されている。また、ＬＡＮ２ｃ及びＬＡＮ２ｄは、ルータ７０ｃｄが含まれた専用線２ｃｄによって通信可能に接続されており、所定の地域Ｂ内で構築されている。例えば、地域Ｂはアメリカであり、ＬＡＮ２ｃはニューヨークの事業所内で構築されており、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内で構築されている。地域Ａ及び地域Ｂは、それぞれルータ（７０ａｂ、７０ｃｄ）からインターネット２ｉを介して通信可能に接続されている。
【００１９】
また、通信管理装置５０は、インターネット２ｉを介して、通信端末装置１０、及び中継装置３０と通信可能に接続されている。通信管理装置５０は、地域Ａ又は地域Ｂに設置されていてもよいし、これら以外の地域に設置されていてもよい。
また、中継装置３０ｅは、通信ネットワーク２を介して通信端末装置１０と通信可能に接続されている。この中継装置３０ｅは、常時稼働しており、地域Ａ又は地域Ｂのローカルエリア内の通信量の影響を受けにくくするために、これら以外の地域に設置されている。これにより、通信端末装置１０が他のローカルエリアに設置された端末と通話する場合に、通話データを中継するための中継装置として中継装置３０ｅが用いられる。また、同一のローカルエリアの端末間で通話を行う際に、このローカルエリアに設置された中継装置が稼働していない場合にも、緊急用の中継装置として中継装置３０ｅが用いられる。
【００２０】
なお、本実施形態では、ＬＡＮ２ａ、ＬＡＮ２ｂ、専用線２ａｂ、インターネット２ｉ、専用線２ｃｄ、ＬＡＮ２ｃ、及びＬＡＮ２ｄによって、本実施形態に係る通信ネットワーク２が構築されている。この通信ネットワーク２には、有線だけでなく無線による通信が行われる箇所があってもよい。
【００２１】
＜＜実施形態のハードウエア構成＞＞
次に、本実施形態のハードウエア構成を説明する。本実施形態では、各通信端末装置において、回線の通信品質データを取得して、この回線品質データをコンテンツと共に他の通信端末装置に送信する。また各通信端末装置では、受信したコンテンツと共に受信した他の通信端末装置における回線品質データを表示する。
【００２２】
図２は本発明の一実施形態に係る通信端末装置のハードウエア構成図である。図２に示されているように、本実施形態に係る通信端末装置１０は、通信端末装置１０全体の動作を制御するＣＰＵ（Central Processing Unit）１０１、端末用プログラムを記憶したＲＯＭ（Read Only Memory）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Random Access Memory）１０３、画像データや音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid Sate Drive）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、通信端末装置１０の宛先を選択する場合などに操作される操作ボタン１０８、通信端末装置１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、後述の通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ（Interface）１１１を備えている。
【００２３】
また、通信端末装置１０は、ＣＰＵ１０１の制御に従って被写体を撮像して画像を得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０に画像データを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、通信端末装置１０の各種機能の異常を知らせるアラームランプ１１９、及び上記各構成要素を図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００２４】
ディスプレイ１２０は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成された表示部である。また、ディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１７に接続される。このケーブル１２０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＤＶＩ（Digital Video Interactive）信号用のケーブルであってもよい。
カメラ１１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）や、ＣＣＤ（Charge Coupled Device）等が用いられる。
【００２５】
外部機器接続Ｉ／Ｆ１１８には、ＵＳＢ（Universal Serial Bus）ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ１０１の制御に従って、内蔵型のカメラ１１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ１０１の制御に従って、それぞれが内蔵型のマイク１１４や内蔵型のスピーカ１１５に優先して、外付けマイクや外付けスピーカが駆動する。
なお、記録メディア１０６は、通信端末装置１０に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御に従ってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。
更に、上記端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００２６】
図３は本発明の一実施形態に係る通信管理装置のハードウエア構成図である。通信管理装置５０は、通信管理装置５０全体の動作を制御するＣＰＵ２０１、通信管理用プログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、各種データを記憶するＨＤ（Hard Disk）２０４、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ（Hard Disk Drive）２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ２０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ２０８、後述の通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード２１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス２１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ（Compact Disc Read Only Memory）２１３に対するデータの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ２１４、及び、上記各構成要素を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。
なお、上記通信管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００２７】
また、中継装置３０は、上記通信管理装置５０と同様のハードウエア構成を有しているため、その説明を省略する。ただし、ＲＯＭ２０２には、中継装置３０を制御するための中継装置用プログラムが記録されている。この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
なお、上記着脱可能な記録媒体の他の例として、ＣＤ−Ｒ（Compact Disc Recordable）、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００２８】
＜通信端末装置の機能構成＞
次に、本実施形態に係る通信端末装置１０の機能構成について説明する。図４は本実施形態の通信管理システムの概略及び通信端末装置の機能ブロックを示す図である。図４に示した例は、図１で示した通信管理システム１を簡略に示したものである。この通信管理システム１では、４台の通信端末装置１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、中継装置３０、及び通信管理装置５０が、ネットワークであるインターネット２ｉを介してデータ通信することができるように接続されている。この例では、中継装置３０及び通信管理装置５０は、会議管理サーバ８０に統合されている。
【００２９】
通信端末装置１０Ａ、１０Ｂ、１０Ｃ、１０Ｄは同一の構成を備えることができる。即ち、通信端末装置１０は、通信制御手段である送受信部１１、画像取得部１２、画像表示制御部１３、音声取得部１４、音声再生制御部１５、自己通信品質取得手段である自己通信品質取得部１６、通信品質出力手段である通信品質出力部１７、自己通信品質送信手段である自己通信品質送信部１８、通信先通信品質取得手段である通信先通信品質取得部１９、機器機能確認手段である機器機能確認部２０、通信品質合成手段である通信品質合成部２１を有している。
【００３０】
送受信部１１は、他の通信端末装置等と、直接ピアツーピア（peer to peer）で通信を行う他、会議管理サーバ８０の中継装置３０、通信管理装置５０との通信制御を行う。画像取得部１２は、会議参加者の映像や画像を取得するものであり、図２中のカメラ１１２、撮像素子Ｉ／Ｆ１１３で実現される。音声取得部１４は、会議参加者の音声を取得すものであり、同じくマイク１１４及び音声入出力Ｉ／Ｆ１１６で実現される。画像取得部１２及び音声取得部１４はコンテンツ入力手段を構成する。
【００３１】
画像表示制御部１３は、通信先の画像取得部１２で取得された画像、映像をディスプレイ１２０に表示する。音声再生制御部１５は、通信先の音声取得部１４で取得された音声をスピーカ１１５で再生する。画像表示制御部１３、ディスプレイ１２０、音声再生制御部１５、及びスピーカ１１５は、通信先コンテンツデータに基づいて通信先コンテンツを接続された表示装置に表示させるために出力する通信先コンテンツ出力手段を構成する。なお、画像取得部１２及び音声取得部１４には、カメラやマイクに代えて外部装置に録画、録音された画像データ、音声データを直接入力することができる。
【００３２】
自己通信品質取得部１６は、送受信部１１における通信品質データを定量的に取得する。通信品質出力部１７は、通信先から取得した通信品質データに基づいた通信品質を示す情報をディスプレイ１２０に表示させるために出力する。
通信品質出力部１７は、通信先からの通信品質データに基づいた通信品質を示す情報を、通信先からのコンテンツに重ねて表示する。自己通信品質送信部１８は、自己通信品質取得部１６で取得した通信品質データを送受信部１１によって通信先に送信する。
通信先通信品質取得部１９は、送受信部１１を介して通信先の通信端末装置１０からの通信品質データを取得する。機器機能確認部２０は、会議相手の通信端末装置が通信品質データの取得と表示に対応しているかどうかを相互に確認する。
通信品質合成部２１は、通信品質データに基づいた通信品質を示す情報を含むコンテンツを作成し、該作成した通信品質を示す情報を含むコンテンツと送信元コンテンツとを合成することで該合成したコンテンツを送受信部１１へ送信元コンテンツデータとして出力する。通信品質合成部２１は、会議相手の通信端末装置が通信品質データの表示に対応していない場合、通信品質データを直接データストリームに載せない場合、カメラ等の画像と通信品質データから作成したグラフ画像を合成する。
【００３３】
このように各部は、図２に示されている各構成要素のいずれかが、ＲＯＭ１０２に記憶されているプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、通信端末装置１０Ｂ、１０Ｃ、１０Ｄも同様の構成を備える。
【００３４】
この構成を備える通信端末装置１０Ａ、１０Ｂ、１０Ｃ、１０Ｄの間において、ピアツーピア（peer to peer）のように直接、もしくは会議管理サーバ８０の中継装置３０や通信管理装置５０を介して通信する。これにより、会議相手である他の通信端末装置の呼び出しや、会議開始後における音声、画像の送受信を行って複数の通信端末装置間での遠隔会議を行える。
【００３５】
図５は通信端末装置と通信管理装置、中継装置での通信について説明するための模式図である。通信端末装置１０Ａと通信端末装置１０Ｂとの間では、会議管理サーバ８０の中継装置３０及び通信管理装置５０を介して音声データ、画像データや、その他管理用のデータストリームや画像画面共有用の他、通信品質データをデータストリームの一つとして送受信を行う。
【００３６】
図６は通信端末装置で計測した通信品質データの一例を示す図である。通信端末装置１０において、自己通信品質取得部１６は、図６に示す各データを取得する。通信品質データ９０は、各通信端末装置を識別する「ＩＤ」９１、通信品質を測定した時刻９２、通信品質を表すデータストリームの送信通信速度９３、受信通信速度９４、中継サーバ等と定期的にパケットを送受信した際のＲＴＴの揺らぎを表すジッター９５等を含むものとする。
【００３７】
この例に係る通信品質データ９０は、端末ＩＤ「１００１」が「２０１４年１２月１９日の１２時３４分５６．７８９秒」に作成したものであり、通信端末装置１０は、この通信品質データ９０を通信先である１又は複数の通信端末装置に送信する。
【００３８】
＜第１の通信品質の取得及び表示形態＞
次に通信管理システム１において複数の通信端末装置でコンテンツの授受を行う際における通信品質の取得及び表示について説明する。図７は各通信端末装置において会議中の通信品質を取得して表示する手順を示すシーケンス図である。図７に示した例は、３台即ち、通信端末装置１０Ａ、１０Ｂ、１０Ｃをインターネット２ｉで接続して相互にコンテンツをやりとりする。この例では、通信端末装置１０Ａ、１０Ｂ、１０Ｃはすべて自己通信品質取得部１６、通信品質出力部１７、自己通信品質送信部１８、通信先通信品質取得部１９を備える。
【００３９】
通信端末装置１０Ａに着目すると、通信端末装置１０Ａにおいて、会議を行うための画像データ及び音声データの授受と並行して、自己通信品質取得部１６は、例えば１秒等、指定された任意の周期で通信端末装置１０Ａの通信品質データを取得する（ステップＳＴＡ１）。通信品質データは、図６に示したように、通信速度やジッター等を計測し、会議中にのみ作成する、ライフサイクルの短いログファイルに記録する（ステップＳＴＡ２）。
また、通信端末装置１０Ａの通信情報を会議相手である他の通信端末装置１０Ｂ、１０Ｃと共有するため、送受信部１１から通信端末装置１０Ａの通信品質データをログから取得して、図６に示したフォーマット形式にして会議相手である通信端末装置１０Ｂ、１０Ｃに送信する（ステップＳＴＡ３）。ステップＳＴＡ１、ＳＴＡ２、ＳＴＡ３の処理は、通信端末装置１０Ｂ、１０Ｃでも同様に行われる（ステップＳＴＢ１、ＳＴＢ２、ＳＴＢ３）、（ステップＳＴＣ１、ＳＴＣ２、ＳＴＣ３）。
【００４０】
そして、通信端末装置１０Ａでは、他の通信端末装置１０Ｂ、１０Ｃからの通信品質データを取得する（ステップＳＴＡ５）。他の通信端末装置１０Ｂも同様に他の通信端末装置１０Ａ、１０Ｃからの通信品質データを取得する（ステップＳＴＢ５）。通信端末装置１０Ｃにも他の通信端末装置１０Ａ、１０Ｂからの通信品質データを取得する（ステップＳＴＣ５）。
【００４１】
通信品質データを受け取った通信端末装置１０Ａ、１０Ｂ、１０Ｃでは、時刻データと通信品質データを通信端末装置１０Ａ、１０Ｂ、１０Ｃの画像表示制御部１３に通信先相手の表示を行う領域に重ねて、ディスプレイ１２０に表示させる。この時刻データと通信品質データの表示は、ステップＳＴＡ４、ＳＴＢ４、ＳＴＣ４において通信品質データを受信するたびに随時表示の更新を行う。
【００４２】
図８は遠隔会議中における通信端末装置の表示画面例を示す図である。
実施形態に係る通信管理システム１を用いて遠隔会議に参加している通信端末装置１０は、通信先の画像及び音声データの他、相互に通信先における通信端末装置１０で取得した通信品質データを時刻データと共に受信している。そして、ディスプレイ１２０に会議相手の通信品質データを時系列状で表示する。本実施形態では、会議相手のカメラ画像に時系列上に変化がわかるよう、グラフにて通信品質データを重ねて描画する。
【００４３】
図８に示した例では、自拠点、「日本  東京事業所Ａ」、「日本  福岡事業所Ａ」、「日本  東京事業所Ｄ」、「日本  大阪事業所Ａ」の５拠点が会議に参加している。そして、すべての拠点に配置された各通信端末装置は、通信品質データの取得と表示を行うことができる。この場合、表示画面３１０には、主たる会議相手の「日本  東京事業所Ａ」の画像３１１が拡大表示され、この画像３１１に時刻データと通信品質データに基づくグラフ３１１ａを重ねて表示している。この例では、画像３１１を大きく表示しているため、その拠点の通信品質データを表示するグラフ３１１ａも比較的大きな領域を確保して表示している。
【００４４】
本例では、表示画面３１０には、他の会議相手の「日本  福岡事業所Ａ」の画像３１２と通信品質を表すグラフ３１２ａ、「日本  東京事業所Ｄ」の画像３１３と通信品質を表すグラフ３１３ａ、及び「日本  大阪事業所Ａ」の画像３１４と通信品質を表すグラフ３１４ａが小さく表示されている。これらの大きさや位置は通信端末装置１０で変更できる。
【００４５】
本実施形態に係る通信管理システム１によれば、表示画面に画像と共に通信品質を表すグラフを表示するため、通信相手の通信速度やジッターの揺らぎを確認できる。このため、会議相手からのコンテンツである音声や画像が途切れたりする前からの兆候を知ることができる。
【００４６】
本実施形態では、画像３１１へのグラフ３１１ａのオーバーレイ表示処理は、受信側の通信端末装置１０で行うため、グラフ３１１ａを表示するか否かは、受信側の通信端末装置１０で設定することができる。
【００４７】
＜第２の通信品質の取得及び表示形態＞
次に接続される通信端末装置の中に通信品質データの取得機能を備えないものがある場合について説明する。図９は他の実施形態に係る通信管理システムにおいて各通信端末装置において会議中の通信品質を取得して表示する他の手順を示すシーケンス図である。
この例では、通信端末装置１０Ａと通信端末装置１０Ｄとはインターネット２ｉで接続され、遠隔会議を行う。この実施形態では、通信端末装置１０Ａは、自己通信品質取得部１６、通信品質出力部１７、自己通信品質送信部１８、通信先通信品質取得部１９、機器機能確認部２０、通信品質合成部２１を備える。
一方、通信端末装置１０Ｄは、自己通信品質取得部１６、通信品質出力部１７、自己通信品質送信部１８、通信先通信品質取得部１９、機器機能確認部２０、通信品質合成部２１を備えない。
このため、通信端末装置１０Ｄは、通信品質データを取得することができず音声情報と画像情報だけを授受する。ここで、通信端末装置１０Ａにおいて、通信先の通信端末装置が通信品質データを取得できるか否かは、機器機能確認部２０で行う。この機器機能確認部２０は、公知の技術を用いて通信先の通信端末装置がどのような機能を有するかの情報を取得する。
【００４８】
まず、通信端末装置１０Ａは、会議を行うための画像データ及び音声データの授受と並行して、自己通信品質取得部１６は、例えば１秒等、指定された任意の周期で通信端末装置１０Ａの通信品質データを取得する（ステップＳＴＡ１１）。通信品質データは、図６に示したように、通信速度やジッター等を計測し、会議中にのみ作成する、ライフサイクルの短いログファイルに記録する（ステップＳＴＡ１２）。そして、自己の通信品質データをグラフ化してこのグラフ化した画像を通信品質合成部２１でカメラ画像と合成して通信端末装置１０Ｄに送信する。
【００４９】
一方、通信端末装置１０Ｄでは、通信端末装置１０Ｄで取得した音声、画像情報を通信端末装置１０Ａに送信する（ステップＳＴＤ１１）とともに、通信端末装置１０Ａから画像を表示する（ステップＳＴＤ１２）。このとき、通信端末装置１０Ａからの画像情報には、カメラ画像とともにグラフ化された通信品質データが一つの画像として表示される。これにより、会議相手の通信端末装置が通信品質データの表示手段を持たなくとも通信品質を共有することができる。
【００５０】
図１０は実施形態に係る通信管理システムにおいて遠隔会議中における通信端末装置の表示画面例を示す図である。この例では、会議相手の映像に相手側の通信品質データが合成されているため、受信側は通常の遠隔会議と同等の構成で相手側に通信品質データを共有することができる。ここで、通信先の通信端末装置として通信品質の取得と表示に対応していないものがある。この例では、自拠点の通信端末装置と、「日本  東京事業所Ａ」及び「日本  大阪事業所Ａ」の通信端末装置は、通信品質の取得と表示に対応している。一方、「日本  福岡事業所Ａ」と「日本  東京事業所Ｄ」の通信端末装置は通信品質の取得と表示に対応していない。
【００５１】
この場合、表示画面３２０には、主たる会議相手の「日本  東京事業所Ａ」の画像３２１が拡大表示され、この画像３２１に時刻データと「日本  東京事業所Ａ」における通信品質データに基づく３つのグラフ３２１ａ、３２１ｂ、３２１ｃを含めて一つの画面に表示している。ここで、グラフ３２１ａは、３２１ｂ、３２１ｃは、「日本  東京事業所Ａ」に通信品質についての３つのデータ、例えばグラフ３２１ａは、送信通信速度（図６中の送信通信速度９３）、グラフ３２１ｂは受信通信速度（同じく受信通信速度９４）、グラフ３２１ｃはジッター（同じくジッター９５）をグラフ化したものである。また、「日本  大阪事業所Ａ」の画像３２４には、「日本  大阪事業所Ａ」における通信品質を表す３つのグラフ３２４ａ、３２４ｂ、３２４ｃを含めて小さく表示されている。一方、通信品質データを測定していない「日本  福岡事業所Ａ」の画像３２２と、「日本  東京事業所Ｄ」からの画像３２３には、グラフが表示されていない。
【００５２】
以上のように、本発明の実施形態に係る通信管理システムによれば、遠隔会議システムにおいて遠隔会議を実施し、会議中にネットワークの混雑等で音声、映像の品質が著しく劣化するような状況において、その状況を品質劣化している通信端末装置だけでなく、他の通信端末装置でも把握することができ、また経時的な品質の変化も確認することができる。このため、発言者が会議相手先の状況を踏まえて発言することができ、再度の発言や聞き直しを減らすことができる。
また、多数の拠点が参加し、１拠点のみで発言する形態の配信型の会議の場合、配信先の拠点に正しく音声、映像が届いているかを把握することができ、ネットワーク品質の著しい劣化による、会議からの切断より前に劣化に気付くことが可能で、会議全体の品質を把握することができる。
【００５３】
更に、この実施形態によれば、管理サーバに特別な機能を追加する必要がなく、通信端末装置同士で通信品質データを相互に送受信し、表示を行うことができる。このため、遠隔会議システムへの新たなサーバ投資や運用の負荷を軽減することができる。
また、会議相手の通信端末装置に通信品質データを送受信できないものがあっても、送信側の通信端末装置で通信品質データを合成した映像を送ることができるため、すべての通信端末装置に通信品質データの機能を有していなくても、同様の効果を有する。
【００５４】
＜本発明の実施態様例の構成、作用、効果＞
＜第１態様＞
本態様の通信端末装置１０は、送信すべき送信元コンテンツデータである映像、音声を入力する画像取得部１２、音声取得部１４と、ネットワークであるインターネット２ｉを介して送信元コンテンツデータを通信先に送信すると共に通信先が送信した通信先コンテンツデータを受信する送受信部１１と、受信した通信先コンテンツデータに基づいて通信先コンテンツを出力する画像表示制御部１３、ディスプレイ１２０、音声再生制御部１５、スピーカ１１５と、を備えた通信端末装置１０であって、送受信部１１における送信元での通信品質の状態を定量的な通信品質データとして取得する自己通信品質取得部１６と、送信元での通信品質データを送受信部１１によって通信先に送信する自己通信品質送信部１８と、ネットワークを介して通信先が送信した通信品質データを取得する通信先通信品質取得部１９と、取得した通信先から取得した通信品質データを出力する通信品質出力部１７と、を備えることを特徴とする。
本態様によれば、通信端末装置１０における通信品質データを通信先に送信すると共に、通信先の通信端末装置における通信品質データを取得して通信品質出力部１７によりコンテンツと共に表示できる。これにより、通信先の通信端末装置における通信品質の状態をリアルタイムで把握することができる。
【００５５】
＜第２態様＞
本態様の通信端末装置は、通信品質出力部１７は、通信先からの通信品質データに基づいた通信品質を示す情報を、通信先からのコンテンツに重ねて表示することを特徴とする。
本態様によれば、通信品質のコンテンツを通信先の画像コンテンツに重ねて表示できる。これにより、コンテンツと通信品質データとを同時に表示できる。
【００５６】
＜第３態様＞
本態様の通信端末装置は、取得された自己通信品質データに基づいた通信品質を示す情報を含むコンテンツを作成し、該作成した通信品質を示す情報を含むコンテンツと送信元コンテンツとを合成することで該合成したコンテンツを前記通信制御手段へ送信元コンテンツデータとして出力する通信品質合成部２１を備えることを特徴とする。
本態様によれば、通信先の通信端末装置が、通信品質データに基づいて表示を行えない構成であったとしても、通信品質データに基づいたグラフをコンテンツ画像の一部として表示できる。これにより、さまざまな仕様の通信端末装置が混在する通信管理システムに適用できる。
【００５７】
＜第４態様＞
本態様の通信端末装置は、自己通信品質取得部１６は、時刻データを同時に取得し、自己通信品質送信部１８は、通信品質データとともに時刻データを送信し、通信品質出力部１７は、相手先のコンテンツデータと通信品質データとを同期して出力することを特徴とする。
本態様によれば、時刻による通信品質の変化を取得して、表示されるコンテンツの変化と同期したグラフを表示できる。これにより、表示されるコンテンツの変化と通信品質の変化とを対応させることができる。
【００５８】
＜第５態様＞
本態様の通信端末装置は、通信先の通信端末装置が自己通信品質取得手段を備えるか否かを判定する機器機能確認部２０を備えることを特徴とする。
本形態によれば、通信先から通信品質データを取得できるかを判定する。これにより、通信品質データを取得しない通信端末装置との通信において、適正な処理を行うことができる。
【００５９】
＜第６態様＞
本態様の通信管理システムは、インターネット２ｉと、このネットワークを介して接続された少なくとも２台の通信端末装置１０とを備えることを特徴とする。
本態様によれば、複数の通信端末装置の間で、回線品質データをやりとりして通信先の端末装置における回線品質の状態を把握できる。これにより、通信先の通信端末装置における通信品質の状態をリアルタイムで把握することができる。
【００６０】
＜第７態様＞
本態様の通信方法は、送信すべき送信元コンテンツデータを入力するコンテンツ入力ステップと、ネットワークを介して送信元コンテンツデータを通信先に送信すると共に、通信先が送信した通信先コンテンツデータを受信する通信制御ステップと、通信先コンテンツデータに基づいて通信先コンテンツを接続された表示装置に表示させるために出力する通信先コンテンツ出力ステップと、を実行する通信方法であって、通信制御ステップにおける送信元での通信品質の状態を定量的な通信品質データとして取得する自己通信品質取得ステップと、送信元での通信品質データを通信制御ステップによって通信先に送信する自己通信品質送信ステップと、ネットワークを介して通信先が送信した通信品質データを取得する通信先通信品質取得ステップと、通信先から取得した通信品質データに基づいた通信品質を示す情報を表示装置に表示させるために出力する通信品質出力ステップと、を実行することを特徴とする。
本態様によれば、通信端末装置は、自己の通信品質データを取得し、取得した自己の品質データを送信し、通信先の通信品質データを取得し、取得した通信先の通信品質データを出力することができる。
【００６１】
＜第８態様＞
本態様のプログラムは、上記中継方法の各ステップをプロセッサに実行させることを特徴とする。
本態様によれば、各ステップをプロセッサに実行させることができる。
【符号の説明】
【００６２】
１…通信管理システム、２ｉ…インターネット（ネットワーク）、１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ…通信端末装置、１１…送受信部、１２…画像取得部、１３…画像表示部、１４…音声取得部、１５…音声再生部、１６…自己通信品質取得部、１７…通信品質出力部、１８…自己通信品質送信部、１９…通信先通信品質取得部、２０…機器機能確認部、２１…通信品質合成部、３０…中継装置、５０…通信管理装置、８０…会議管理サーバ
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】特開２０１４−０７２６３２公報
【図１】
2016167676.tif 000003
【図２】
2016167676.tif 000004
【図３】
2016167676.tif 000005
【図４】
2016167676.tif 000006
【図５】
2016167676.tif 000007
【図６】
2016167676.tif 000008
【図７】
2016167676.tif 000009
【図８】
2016167676.tif 000010
【図９】
2016167676.tif 000011
【図１０】
2016167676.tif 000012