(57)【要約】  【課題】ソースとサーバ間の通信路品質が劣化した際に、ユーザが許容可能な表現品質となるよう切替え処理を行うサーバ装置、情報配信システム及び情報配信プログラムを提供することである。  【解決手段】実施形態のサーバ装置は、第１の機器と当該サーバ装置間の通信路の品質状況を測定する通信路品質測定部と、前記第２の機器における前記第１の機器から取得する情報の重要度を設定する重要度設定部と、前記通信路品質測定部で測定した通信路の品質状況が、所定の品質状況を検出した場合、前記重要度設定部で設定した重要度に基づき、前記出力情報を前記第2の機器へ送信することを中止する送信部とを備える。【選択図】図２
2014078180.tif 000002
【特許請求の範囲】
【請求項１】
通信路を介し接続される第１の機器から情報を取得し、この取得した情報から出力情報を生成し、この生成した出力情報を第２の機器へ送信するサーバ装置であって、
前記第１の機器から取得した情報の、前記第２の機器へ送信する出力情報における重要度を設定する重要度設定部と、
前記第１の機器と当該サーバ装置間の通信路の品質情報および前記重要度設定部で設定した重要度に基づき、前記出力情報を前記第2の機器へ送信することを中止する送信部と、
を具備することを特徴とするサーバ装置。
【請求項２】
前記第１の機器と当該サーバ装置との間の通信路の品質状況を測定する通信路品質測定部を具備することを特徴とする請求項１記載のサーバ装置。
【請求項３】
前記第１の機器から取得する情報を、前記通信路品質測定部で測定した通信路の品質状況、及び前記重要度設定部で設定した重要度に基づいて、当該サーバ装置へ配信するのか、当該サーバ装置以外のサーバ装置へ配信するかの切り替え判断を行う情報交換部と、を具備することを特徴とする請求項２記載のサーバ装置。
【請求項４】
請求項３記載の情報交換部は、当該サーバ装置以外のサーバ装置へ、少なくとも前記第１の機器の特定情報及び第２の機器の特定情報を通知することを特徴とするサーバ装置。
【請求項５】
前記出力情報が、前記第１の機器から取得する情報と第３の機器から取得する情報との合成情報であることを特徴とする請求項１記載のサーバ装置。
【請求項６】
第1の機器からの情報をネットワークを介して複数のサーバ装置のいずれかに送信させることを指定し、指定されたサーバ装置で前記第1の機器からの情報により生成された出力情報を第２の機器へ送信することを指示するマネージャ装置を有する情報配信システムであって、    
前記サーバ装置は、
前記第１の機器と当該サーバ装置間の通信路の品質状況を測定する通信路品質測定部と、
前記第２の機器における前記第１の機器から取得する情報の重要度を設定する重要度設定部と、
前記第1の機器から取得した情報により生成した出力情報を前記第２の機器へ送信する送信部と、
前記通信路品質測定部で測定した品質状況データ、前記重要度設定部で設定した重要度データを前記マネージャ装置へ通知する情報交換部と、を備え、
前記マネージャ装置は、
前記サーバ装置の情報交換部から受信したデータに基づいて、前記第１の機器からの情報を、ネットワーク上のどのサーバ装置へ配信するかを判断して配信先サーバを指定するサーバ指定手段と、
このサーバ指定手段で指定したサーバ装置に対し、前記第２の機器へ配信する出力情報の生成を指示する指示手段と、
を備えることを特徴とする情報配信システム。
【請求項７】
通信路を介し接続される第１の機器から情報を取得し、この取得した情報から出力情報を生成し、この生成した出力情報を第２の機器へ送信するためのコンピュータを、
前記第１の機器と当該サーバ装置間の通信路の品質状況を測定し、
前記第２の機器における前記第１の機器から取得する情報の重要度を設定し、
前記通信路品質測定部で測定した通信路の品質状況が、所定の品質状況を検出した場合、前記重要度設定部で設定した重要度に基づき、前記出力情報を前記第2の機器へ送信することを中止させることを機能させるための情報配信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報を配信するサーバ装置、情報配信システム及び情報配信プログラムに関する。
【背景技術】
【０００２】
ネットワークを介して接続された遠隔の端末機器から手元の端末機器に対して遠隔の端末機器の画面の情報をパケット化してリアルタイムで配信する「画面転送システム」がある。手元の端末機器は、遠隔の端末機器が保持する画面領域の一部または全部の領域における画面情報を受け取り表示する。これによれば、遠隔の端末機器の画面の情報を手元の端末機器で表示し参照できるようになることから、例えば遠隔監視システムなど、様々な用途での応用が考えられる。
【０００３】
さて、画面転送システムもサーバ・クライアントシステムの一種であるが、サーバ・クライアントシステムの場合、サーバがダウンした場合に、クライアントが帰属先のサーバを切替えることでシステムの可用性、信頼性が向上する。なお、無線通信システムで用いられるハンドオーバ技術には、通信路の品質情報に基づき基地局、更に、その基地局を介して通信するサーバを切替えるか否かを判断しつつ通信サービスの継続を行う方法が考えられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−８６５３４公報
【特許文献２】特開２０１１−１０３５６７公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように複数の画面提供装置（以後、画面を送信する側の機器を「ソース」と呼ぶ）から画面データを受信し、受信画面データを用いて生成した合成画面データを画面表示装置（以後、画面を受信し表示する側の機器を「ディスプレイ」と呼ぶ）へ再配信する画面合成装置（以後、画面合成装置を「サーバ」と呼ぶ）において、ソースとサーバ間の通信路品質が劣化するとディスプレイへ送信する画面品質も低下するため、他のサーバに切り替えてサービスを継続する方法が考えられる。しかし、例えば、１台のサーバ１−１が３台のソース（ソース２−１，２−２，２−３）から画面情報を受信し、合成した画面情報を２台のディスプレイ（ディスプレイ３−１、３−２）へ送信している状況において、ソース２−１とサーバ１−１間の通信路に障害が発生した場合、一つのソース機器との通信路品質が劣化しただけでサーバ１−１が担当していた全処理（３台のソースおよび２台のディスプレイと接続し、３台のソースから画面を取得し、２種類の合成画面を生成し、それらを２台のディスプレイに配信するという処理の全て）をサーバ１−２に切替えることは必ずしも適切とは言えない。そこで、より適切となる切替え処理を自動的に判断する方法が必要となる。
【０００６】
本発明が解決する課題は、ソースとサーバ間の通信路品質が劣化した際に、ユーザが許容可能な表現品質となるよう、切替え処理を行うサーバ装置、情報配信システム及び情報配信プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の実施形態に係るサーバ装置は、通信路を介し接続される第１の機器から情報を取得し、この取得した情報から出力情報を生成し、この生成した出力情報を第２の機器へ送信するサーバ装置であって、前記第１の機器から取得した情報の、前記第２の機器へ送信する出力情報における重要度を設定する重要度設定部と、前記第１の機器と当該サーバ装置間の通信路の品質情報および前記重要度設定部で設定した重要度に基づき、前記出力情報を前記第2の機器へ送信することを中止する送信部と、を具備することを特徴とする。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る画面転送システムを示す簡略図。
【図２】第１実施形態に係るサーバのブロック図。
【図３】第１実施形態に係るサーバの概略構成図を含めた画面転送システム。
【図４】第１実施形態に係るソースからの受信画面を示す図。
【図５】第１実施形態に係るケース１における合成画面の様子を示す図。
【図６】第１実施形態に係るケース１における帰属切替え処理の状態を表す図。
【図７】第１実施形態に係るケース２における合成画面の様子を示す図。
【図８】第１実施形態に係るケース２における帰属切替え処理の状態を表す図。
【図９】第１実施形態に係るケース３における合成画面の様子を示す図。
【図１０】第１実施形態に係るケース３における帰属切替え処理の状態を表す図。
【図１１】第１実施形態に係るケース４における合成画面の様子を示す図。
【図１２】第１実施形態に係るケース４における帰属切替え処理の状態を表す図。
【図１３】第１実施形態に係るサーバ１を含む画面転送システム図（その１）。
【図１４】第１実施形態に係るサーバ１を含む画面転送システム図（その２）。
【図１５】第２実施形態に係る音声合成サーバのブロック図。
【図１６】第２実施形態に係る音声合成サーバの概略構成図を含めた音声転送システム図。
【図１７】第２実施形態に係る帰属切替え処理の状態を表す図。
【図１８】第２実施形態に係る帰属切替え処理の状態を表す図。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
以下、第１の実施形態に係る画面転送システムを図面を参照して説明する。
【００１０】
図１は画面転送システムの概略図である。この画面転送システムは、第１の機器として画面提供装置であるソース２と、第２の機器として画面表示装置であるディスプレイ３と画面統合装置であるサーバ１がネットワークを介して接続されている。ここでネットワーク接続とはLAN接続あるいはインターネット接続等であり、有線であっても無線であってもよい。
【００１１】
ソース２は、本画面転送システムにおいて画面を送信する側の機器であり、ディスプレイ３は、本画面転送システムにおいて画面を受信し表示する側の機器である。一方、サーバ１は、ソース２とディスプレイ３の間に介在し、ソース２から画面を受信し、受信した画面をディスプレイ３へ送信する機器である。
【００１２】
画面の送信、受信処理においては画面転送プロトコルを用いる。画面転送プロトコルはプル型とプッシュ型とがある。プル型とは、画面受信側からの画面取得要求に応答する形で、画面送信側から画面受信側に画面情報を送信するものである。プッシュ型とは、画面送信側は画面受信側からの画面取得要求を必要とせずに、画面送信側から画面受信側に画面情報を送信するものである。例えば、VNC (Virtual Network Computing)として知られる画面転送方法は、プル型であり、画面受信側がFramebufferUpdateRequestという画面取得要求を画面送信側へ送信すると、画面送信側が画面受信側に画面情報をFramebufferUpdateという応答として送信する。プル型の画面転送プロトコルとしてＶＮＣを用いる場合は、画面送信側にて「VNCサーバ」ソフトウェアを起動させ、画面受信側では「VNCクライアント」ソフトウェアを起動させる。
【００１３】
本実施の形態において、サーバ１はソース２から画面情報を受信し、受信した画面情報に対し必要に応じて、例えば縮小、拡大、合成などの加工処理を行った後に、ディスプレイ３へ加工処理済みの画面情報を送信する機能を備えている。サーバ１の画面受信機能は、ソース２側の画面送信機能に対応するものであり、例えば、ソース２にて「VNCサーバ」ソフトウェアが起動しているのであれば、サーバ１側では「VNCクライアント」ソフトウェアを起動させる。一方、ソース２の画面送信機能は、ディスプレイ３側の画面受信機能に対応するものであり、例えば、ディスプレイ３にて「VNCクライアント」ソフトウェアが起動しているのであれば、サーバ１側では「VNCサーバ」ソフトウェアを起動させる。
【００１４】
なお、３台のノートＰＣにて図２の画面転送システムを構築する場合、画面を送信する側のノートＰＣがソース２、画面を受信し表示する側のノートPCがディスプレイ３、ソース２からの画面を受信し、ディスプレイ３へ画面を送信するノートPCがサーバ１となる。
【００１５】
以下に、「画面の重要度」を判断材料として帰属切替えを行う機能を備えたサーバ１を示す。
【００１６】
図２に示すサーバ１のブロック図を記す。なお、図２では、本実施形態に係わる機能のみを記した概略図となっている。また、同様に図３に示すサーバ１の概略構成図を含めた画面転送システムを記す。
【００１７】
ここで、サーバ１（サーバ１−１，１−２）は、その構成要素として、ソースから画面情報を受信する受信部１０１の他、ソースおよびディスプレイとの接続や切断を実行しその状態を把握し、また、合成画面のレイアウト情報を保持する接続管理部＆レイアウト管理部１０２、レイアウト情報に従い合成画面を生成し、また、生成した合成画面をディスプレイに送信する合成情報生成＆送信部１０３を備えている。なお、図４では、サーバ１−１が３台のソース（ソース２−１，２−２，２−３）から画面情報を受信し、合成した画面情報を２台のディスプレイ（ディスプレイ３−１，３−２）へ送信している状況において、ソース２−１とサーバ１−１間の通信路に障害が発生した場合を示している。
【００１８】
さて、サーバ１−１において、ソース２−１との通信路品質が劣化すると画面転送品質も低下するため、サーバ１−２に切り替えてサービスを継続する方法が考えられる。しかし、複数のソースから画面データを受信し、更に、異なる合成画面を生成し別々のディスプレイに送信している場合、一つのソース機器との通信路品質が劣化しただけでサーバ１−１が担当していた全処理をサーバ１−２に切替えることは必ずしも適切とは言えない。そこで、より適切となる切替え処理を判断する方法が必要となる。
【００１９】
この判断方法を以下に示す。
【００２０】
サーバ１−１において、各ソースとの通信路品質を測定、ソース２−１との通信路品質の劣化を検出した場合、 ソース２−１の提供する画面の重要度を調べ、重要度が高い場合には、ソース２−１を含む合成画面の構成要素となる他のソースの情報等 をサーバ１−２に通知する 
サーバ１−２はサーバ１−１からの通知情報に従い、必要なソースに対し接続して画面を取得し、合成画面を生成し、適切なディスプレイに送信する。
【００２１】
ここで、サーバ１−１とサーバ１−２間での情報はマネージャ機能部１０００を介して行われる。このため、図３に記すサーバ１−１，１−２は、マネージャ機能部１０００からの指示によって帰属切替えを行うものとし、その構成要素として、ソースとの通信路品質を測定する通信路品質測定部１０４（１０４−１，１０４−２）、各ソースの重要度を設定する重要度設定部１０５（１０５−１、１０５−２）、および、マネージャ機能部に対して諸情報（接続しているソースとディスプレイ情報、各ソースとの通信路品質、サーバの処理リソース状態、ディスプレイ毎のレイアウト情報、各ソースの重要度）を通知する情報交換部１０６（１０６−１，１０６−２）を備えている。また、情報交換部１０６（１０６−１，１０６−２）はマネージャ機能部１０００からの帰属切替え指示を受け取ると、それを接続管理＆レイアウト管理部１０２（１０２−１、１０２−２）に通知することで帰属切替えが実行される。
【００２２】
なお、マネージャ機能部１０００は、サーバ１−１あるいはサーバ１−２に含まれていても良いし、あるいは、別の機器に含まれていても良い。
【００２３】
以下、本実施形態による帰属切替えの動作例を説明する。ここで、各ソースから受信している画面情報は図４であるとする。
【００２４】
ケース１：ディスプレイ３−１、３−２への送信合成画面においてソース２−１からの受信画面が重要でないと判断した場合
例えば、各ディスプレイに送信している合成画像が図５の場合、通信路品質の劣化の影響を受けるソース２−１からの画面はディスプレイ３−１の送信合成画面には含まれておらず、ディスプレイ３−２の送信合成画面においては含まれているが、面積は小さく背面にあることからどちらの場合も重要でないと考えられる。よってこの場合は、サーバ１−１からサーバ１−２へ帰属切替えを行わずにサーバ１−１がサービス提供を継続することが望ましい。そこで、サーバ１−１の重要度設定部１０５−１は「ディスプレイ３−１へ送信するソース２−１の画面」も「ディスプレイ３−２へ送信するソース２−１の画面」も共に重要度を低く設定する。一方、マネージャ機能部１０００は、ソース２−１の画面転送品質が低い場合であっても、ソース２−１からの画面の重要度が低い場合には、帰属切替えは行わないと判断し、サーバ１−１およびサーバ１−２に対しディスプレイ３−１およびディスプレイ３−２に関する帰属切替えを指示しない。図６に帰属切替え判断処理実行後の状態を示す。
【００２５】
ケース２：ディスプレイ３−１への送信合成画面においてソース２−１からの受信画面が重要であると判断した場合
例えば、各ディスプレイに送信している合成画像が図７の場合、通信路品質の劣化の影響を受けるソース２−１からの画面はディスプレイ３−１の送信合成画面において背面にあるが面積が大きいことから支配的であると考えられる。一方、ディスプレイ３−２の送信合成画面においては含まれているが、面積は小さく背面にあることから支配的でないと考えられる。よってこの場合は、ディスプレイ３−１への提供サービスについてのみサーバ１−１からサーバ１−２へ帰属切替えを行うことが望ましい。そこで、サーバ１−１の重要度設定部１０５−１は「ディスプレイ３−２へ送信するソース２−１の画面」の重要度を低く設定する。一方、マネージャ機能部１０００は、ソース２−１の画面転送品質が低い場合であっても、「ディスプレイ３−２へ送信するソース２−１の画面」の重要度が低い場合には、帰属切替えは行わないと判断し、サーバ１−１およびサーバ１−２に対しディスプレイ３−１に関する帰属切替えのみを指示し、ディスプレイ３−２に関する帰属切替えを指示しない。図８に帰属切替え判断処理実行後の状態を示す。
【００２６】
ケース３：ディスプレイ３−２への送信合成画面においてソース２−１からの受信画面が重要であると判断した場合
例えば、各ディスプレイに送信している合成画像が図９の場合、通信路品質の劣化の影響を受けるソース２−１からの画面はディスプレイ３−１の送信合成画面には含まれていない。一方、ディスプレイ３−２の送信合成画面においては前面にあり面積も大きいことから支配的であると考えられる。よってこの場合は、ディスプレイ３−２への提供サービスについてのみサーバ１−１からサーバ１−２へ帰属切替えを行うことが望ましい。そこで、サーバ１−１の重要度設定部１０５−１は「ディスプレイ３−１へ送信するソース２−１の画面」の重要度を低く設定する。一方、マネージャ機能部１０００は、ソース２−１の画面転送品質が低い場合であっても、「ディスプレイ３−１へ送信するソース２−１の画面」の重要度が低い場合には、帰属切替えは行わないと判断し、サーバ１−１およびサーバ１−２に対しディスプレイ３−２に関する帰属切替えのみを指示し、ディスプレイ３−１に関する帰属切替えを指示しない。図１０に帰属切替え判断処理実行後の状態を示す。
【００２７】
ケース４：ディスプレイ３−１、３−２への送信合成画面においてソース２−１からの受信画面が重要であると判断した場合
例えば、各ディスプレイに送信している合成画像が図１１の場合、通信路品質の劣化の影響を受けるソース２−１からの画面はディスプレイ３−１の送信合成画面において背面にあるが面積が大きいことから重要であると考えられる。また、ディスプレイ３−２の送信合成画面においては前面にあり面積が大きいことから重要であると考えられる。よってこの場合は、ディスプレイ３−１、３−２への両方の提供サービスについてサーバ１−１からサーバ１−２へ帰属切替えを行うことが望ましい。この場合、サーバ１−１の重要度設定部１０５−１は「ディスプレイ３−１へ送信するソース２−１の画面」と「ディスプレイ３−２へ送信するソース２−１の画面」の両方とも重要度を低く設定することはしない。そのため、マネージャ機能部１０００は、ソース２−１の画面転送品質が低いことを検出し、サーバ１−１およびサーバ１−２に対しディスプレイ３−１とディスプレイ３−２に関する帰属切替えを指示する。図１２に帰属切替え判断処理実行後の状態を示す。
【００２８】
以上に記した例では、
（A）合成画面において面積が大きいソース （面積が一定の閾値を超えるもの）の画面を重要度が高いとして扱った。しかし、判断基準はこれに限るものではなく、例えば、
（B）合成画面において前面にあるソースの画面
としてもよい。（B）を判断基準とすると、面積が小さかったとしても前面にあればその画面の重要度は高いと判断する。また、これ以外にも
（C）合成画面において変化量が大きいソース （変化量が一定の閾値を超えるもの）
（D）通信路品質の劣化によって乱れやすい種類の画面を提供するソース
であっても良い。(C)の場合は、例えば、動画像が表示されている画面は変化量が大きいため、そのような画面を重要度が高いと判断する。（D）の場合は、例えば、警告点滅などで一定の周期で変化しているものなどは通信路劣化によりその周期が乱れるため、そのような画面は重要度が高いと判断する。また、
（E）ユーザが設定したソースの画面
を重要度の高い画面と判断する方法も考えられる。なお、判断基準を（A）、（B）、（C）、（D）、（E）のいずれか一つに限るのではなく、複数の判断条件を組み合わせて重要度を判断しても良い。
【００２９】
なお、図１３には３台の画面統合装置であるサーバ１（サーバ１−１、１−２、１−３）が一つのマネージャ機能部によって制御されるシステムの構成図を記している。図１３に示すように、ソース２−１とサーバ１−１との間の通信路品質が劣化した場合には、マネージャ機能部１０００は、サーバ１−１からサーバ１−２、あるいは、サーバ１−１からサーバ１−３への切り替え判断を行うことになる。一方、図１４には、マネージャ機能部１０００がサーバに組み込まれた場合のシステム構成図を記している。図１４の場合は、サーバ１−１の情報交換部１０６−１は、通信路品質測定部１０４−１で測定されるソース２−１とサーバ１−１との間の通信路品質と、重要度設定部１０５−１で設定されるソース２−１の重要度に基づいて、サーバ１−１からサーバ１−２、あるいは、サーバ１−１からサーバ１−３への切り替えを判断する。
【００３０】
そして、情報交換部１０６−１は、直接サーバ１−２に対して諸情報（接続しているソースとディスプレイのアドレスや機器情報等の機器特定情報、各ソースとの通信路品質、サーバの処理リソース状態、ディスプレイ毎のレイアウト情報、各ソースの重要度）を通知することで切り替えを行う。
【００３１】
また、本実施の形態では画面提供装置であるソース２と、画面表示装置であるディスプレイ３とをノートPCなどのパーソナルコンピュータとし、その画面情報を画面転送によって送受信する場合を例として示した。しかし、画面提供装置であるソース２は、カメラ装置（監視カメラ、ネットワークカメラ等）であってもよく、画面情報もカメラで撮影した映像であり、ネットワークで送受信する際には画面転送プロトコルではなく、RTP（リアルタイムトランスポートプロトコル）用いても良い。また、ソース２はストレージに保持された過去の画面や映像を、画面転送プロトコルやRTP等で送信しても良い。また、画面提供装置がテレビ放送を配信する場合であっても、本実施例で示したような画面統合装置であるサーバ１を介して、ディスプレイ３に送信するシステムを構築することはできる。あるいは、画面提供装置は、いずれかの機器で表示可能な画面情報を送るものであってもよく、例えば、テキストファイルであればそれを表示することができるため、本実施例で示したような画面統合装置であるサーバ１でテキストファイルと、別の画面提供装置から受信した画面や映像を合成してディスプレイ３に送信するシステムを構築することもできる。また、本実施例では、ディスプレイ３は、本画面転送システムにおいて画面を受信し表示するものとして説明したが、本実施の形態において表示処理は必須ではなく、受信した画面（あるいは映像）を記録、保持する装置であっても良い。
【００３２】
（第２の実施形態）
図１５に、第２の実施形態に係る音声合成サーバ４のブロック図を記す。なお、図１５では、本実施の形態に係わる機能のみを記した概略図となっている。また、同様に図１６に示す音声合成サーバ４の概略構成図を含めた音声転送システムを記す。
【００３３】
図１５では、音声合成サーバ４は、複数のマイク５（マイク５−１、５−２、５−３）から音声情報を受信し、受信した音声情報を合成し、それをスピーカ６（スピーカ６−１、６−２、６−３）に送信している様子を示している。ここで、電話会議システムを想定した場合、マイクは話し手側の電話器、スピーカは聞き手の電話器となる。あるいは、マイク５は音声を送信するための処理が実行可能なPCであっても良く、また、スピーカ６は音声を受信するための処理が実行可能なPCであっても良い。なお、本音声合成サーバ４の内部は、第１の実施の形態で記したサーバ１と同じ考え方で構成されている。サーバ１との違いとして本実施の形態では音声を扱うことから音声合成処理＆送信部１０３’や受信部１０１’が音声送受信に対応したプロトコル（例えば、SIPやRTP等）に従って情報を送受信する点と、音声合成処理＆送信部１０３’が音声情報を合成する専用の音声合成処理を行う点がある。また、音声を合成する際にどの音声を含める等の情報を管理する接続管理＆音声合成管理部１０２’についてもサーバ１の接続管理＆レイアウト管理部１０２と異なる。この接続管理＆音声合成管理部１０２’では、例えば、「スピーカ６−１には、マイク５−１と５−２と５−３をミキシングしたものを送信する」、「スピーカ６−２には、マイク５−１と５−２をミキシングしたものを送信する」、「スピーカ６−３には、マイク５−１の音を増幅し、マイク５−２とマイク５−３の音は低減したものをミキシングして送信する」といった情報が保持されており、音声合成処理＆送信部１０３’はこれらの情報を参照して音声を合成し、スピーカ６−１、６−２、６−３に合成した音声を配信するものとする。
【００３４】
一方、上記に示した以外の通信路品質測定部１０４’、重要度判定部１０５’、情報交換部１０６’、マネージャ機能部１０００’といった本実施の形態の特徴となる構成要素については、扱うデータが画面や映像の情報であるか、音声の情報であるかの違いだけであって、第１の実施の形態で示したものとほぼ同様の処理を実行するものとする。
【００３５】
例えば、図１６に示すように、音声合成サーバ４−１と４−２、また、マイク５−１、５−２、５−３、および、スピーカ６−１、６−２、６−３より構成されるシステムを考える。ここで、サーバ４−１は、
「スピーカ６−１には、マイク５−２と５−３をミキシングしたものを送信する」、「スピーカ６−２には、マイク５−１の音を増幅し、マイク５−２の音は低減したものをミキシングしたものを送信する」、「スピーカ６−３には、マイク５−１の音を増幅し、マイク５−２とマイク５−３の音は低減したものをミキシングして送信する」とする。
【００３６】
さて、マイク５−３とサーバ４−１との通信路が劣化した状況において、まず、音声合成時に音を低減したものは優先度が低いというルールを用いた場合を説明する。この場合、マイク５−３は、スピーカ６−２およびスピーカ５−３においては音が低減されていることから、重要ではないと判断し、一方、スピーカ６−１では低減されていないことから重要であると判断する。その結果、例えば、図１７に示すような切り替えが行われる。
【００３７】
一方、音声を扱っているため以下を音声の重要度判定としても良い。
【００３８】
(1) 特定の話者の音声を重要と判断する
(2) 発言の多い話者を重要と判断する
例えば、図１６に示すようにマイク５−３とサーバ４−１との通信路が劣化した状況において、マイク５−３の話者の音声は重要であると判断する場合（(1)の場合）を考える。この場合は、結果として図１７ではなく、図１８に示すような切り替えが行われる。
【００３９】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００４０】
これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４１】
１−１、１−２、１−３・・・画面統合装置であるサーバ
２−１、２−２、２−３・・・画面提供装置であるソース
３−１、３−２・・・画面表示装置であるディスプレイ
４−１、４−２・・・音声合成サーバ
５−１、５−２、５−３・・・マイク
６−１，６−２，６−３・・・スピーカ
【図１】
2014078180.tif 000003
【図２】
2014078180.tif 000004
【図３】
2014078180.tif 000005
【図４】
2014078180.tif 000006
【図５】
2014078180.tif 000007
【図６】
2014078180.tif 000008
【図７】
2014078180.tif 000009
【図８】
2014078180.tif 000010
【図９】
2014078180.tif 000011
【図１０】
2014078180.tif 000012
【図１１】
2014078180.tif 000013
【図１２】
2014078180.tif 000014
【図１３】
2014078180.tif 000015
【図１４】
2014078180.tif 000016
【図１５】
2014078180.tif 000017
【図１６】
2014078180.tif 000018
【図１７】
2014078180.tif 000019
【図１８】
2014078180.tif 000020