(57)【要約】      （修正有）【課題】通信端末を物理的に並べるだけで１つ以上のコンテンツを複数の通信端末に分割して表示することができるコンテンツ配信システムを提供する。【解決手段】複数の通信端末の相対位置情報を検出する相対位置検出手段と、相対位置情報に基づいて、複数の通信端末の連携情報を認識する認識手段と、連携情報に基づいて、コンテンツデータを複数の通信端末に分割して表示させる表示制御手段と、を有する。更に、予め設定されている共有ＩＤに基づいて、連携情報を認識する。【選択図】図３
2015079480.tif 000002
【特許請求の範囲】
【請求項１】
複数の通信端末の相対位置情報を検出する相対位置検出手段と、
前記相対位置情報に基づいて、複数の通信端末の連携情報を認識する認識手段と、
前記連携情報に基づいて、コンテンツデータを複数の通信端末に分割して表示させる表示制御手段と、を有することを特徴とする配信システム。
【請求項２】
前記認識手段は、予め設定されている共有ＩＤに基づいて、連携情報を認識することを特徴とする請求項１記載の配信システム。
【請求項３】
前記相対位置検出手段は、所定の台数の相対位置情報を検出した段階で、
認識手段で連携手段の連携情報の認識を行い、前記連携情報に基づいて、コンテンツデータを複数の通信端末に分割して表示させる配信システムであって、
前記表示制御手段は、
所定の記述言語で示されたコンテンツデータを取得して、映像データを生成する生成手段と、
前記生成手段によって生成された前記映像データのデータ形式を、通信ネットワークを介して前記複数の通信端末に配信できるデータ形式に変換する変換手段と、
前記変換手段によって変換された前記映像データを、前記複数の通信端末に配信する配信手段を含むことを特徴とする請求項１に記載の配信システム。
【請求項４】
前記複数の通信端末における映像データの再生能力に応じた変換が可能な変換手段を作成する作成手段を有することを特徴とする請求項１に記載の配信システム。
【請求項５】
前記作成手段は、前記コンテンツデータの数に応じた数の前記変換手段を作成することを特徴とする請求項３に記載の配信システム。
【請求項６】
前記各通信端末に設けられたスピーカと、前記各通信端末の位置に応じた音声を出力するように前記スピーカを制御する再生制御部と、を有することを特徴とする請求項３または４に記載の配信システム。
【請求項７】
前記再生制御部は、前記スピーカの位置が右端もしくは左端でない場合、左右両音声を合成した音声を出力するように前記スピーカを制御することを特徴とする請求項６記載の配信システム。
【請求項８】
前記再生制御部は、前記スピーカの位置が右端もしくは左端でない場合、音声を出力しないように前記スピーカを制御することを特徴とする請求項６記載の配信システム。
【請求項９】
複数の通信端末で検出したそれぞれの相対位置情報に基づいて、当該複数の通信端末の連携情報を認識する認識手段を含み、
前記連携情報に基づいて、コンテンツデータを複数の通信端末に分割して表示させることを特徴とする端末管理システム。
【請求項１０】
前記各通信端末に設けられたスピーカと、前記スピーカの位置に応じた音声を出力するように制御する再生制御部と、を有することを特徴とする請求項９記載の端末管理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パソコンや電子黒板等の通信端末に、通信ネットワークを介して映像データ又は音データを配信する配信システム、及び端末管理システムに関する。
【背景技術】
【０００２】
近年、インターネットの普及に伴い、様々な分野でクラウドコンピューティングが利用されてきている。クラウドコンピューティングは、ユーザが、インターネットに接続した通信端末を用いてインターネット上のサーバが提供するサービス（クラウドサービス）を利用し、その対価を支払うサービス利用形態である（例えば、特許文献１参照）。
特許文献１に記載の発明は、コンピューティングデバイスからコンテンツをプロジェクトするためのシステム及び方法に関する発明である。特許文献１に記載の発明は、無線によりプロジェクタなどの表示デバイスがコンピューティングデバイスからコンテンツを受信するための発明である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、通信端末を物理的に並べるだけで１つ以上のコンテンツを複数の通信端末に分割させて表示することができない。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、請求項１に記載の発明は、複数の通信端末の相対位置情報を検出する相対位置検出手段と、前記相対位置情報に基づいて、複数の通信端末の連携情報を認識する認識手段と、前記連携情報に基づいて、コンテンツデータを複数の通信端末に分割して表示させる表示制御手段と、を有することを特徴とする。
【発明の効果】
【０００５】
本発明によれば、通信端末を物理的に並べるだけで１つ以上のコンテンツを複数の通信端末に分割させて表示することができる。
【図面の簡単な説明】
【０００６】
【図１】図１は、本実施形態に係る配信システムの概略図である。
【図２】図２は、基本的な配信処理を示した概念図である。
【図３】図３は、マルチキャストの概念図である。
【図４】図４は、マルチディスプレイの概念図である。
【図５】図５は、配信管理装置を介して複数の通信端末を使った通信の概念図である。
【図６】図６は、配信管理装置、通信端末、端末管理システム、及びウェブサーバのハードウェア構成図である。
【図７】図７は、主に配信管理装置の各機能を示す機能ブロック図である。
【図８】図７は、主に通信端末の各機能を示す機能ブロック図である。
【図９】図９は、端末管理システムの各機能を示す機能ブロック図である。
【図１０】図１０は、配信先選択メニュー画面の概念図である。
【図１１】図１１は、端末管理テーブルの概念図である。
【図１２】図１２は、利用可能端末管理テーブルの概念図である。
【図１３】図１３は、エンコーダブリッジ部の詳細図である。
【図１４】図１４は、変換部の各機能を示す機能ブロック図である。
【図１５】図１５は、配信管理装置の基本的な配信処理を示したシーケンス図である。
【図１６】図１６は、配信管理装置を介して複数の通信端末を使った通信の処理を示すシーケンス図である。
【図１７】図１７は、時刻調整の処理を示したシーケンス図である。
【図１８】図１８は、配信管理装置から通信端末に送信するデータの回線適応制御の処理を示したシーケンス図である。
【図１９】図１９は、通信端末から配信管理装置に送信するデータの回線適応制御の処理を示したシーケンス図である。
【図２０】図２０は、マルチディスプレイの処理を示すシーケンス図である。
【図２１】図２１は、マルチディスプレイの処理を示すシーケンス図である。
【図２２】図２２は、マルチディスプレイの処理を示すシーケンス図である。
【図２３】図２３は、配信管理装置と通信端末とを含めた機能ブロック図の一例である。
【図２４】図２４は、通信端末の正面図である。
【図２５】図２５は、複数の通信端末と通信管理システムを用いた処理を示す場合のシーケンス図である。
【図２６】図２６は、複数の通信端末の使用状況の説明図である。
【図２７】図２７は、認識の処理についての説明図である。
【図２８】図２８は、複数の通信端末を認識するためのアルゴリズムである。
【図２９】図２９は、複数の通信端末の具体例である。
【図３０】図３０は、通信端末IDt006,t007,t008の３端末に、共有IDv006を割り当てた場合の概念図である。
【図３１】図３１は、配信管理装置と通信端末とを含めたシステムの機能ブロック図の他の一例である。
【図３２】図３２は、図３１に示したシステムの動作を示すシーケンス図の一例である。
【発明を実施するための形態】
【０００７】
以下に図面を用いて、本実施形態に係る配信システム１を詳細に説明する。なお、以下に示す実施形態は、クラウドコンピューティングを利用してウェブコンテンツを映像データ、音データ、又は映像データ及び音データに変換してパソコンや電子黒板等の通信端末に配信する配信システムとしての適用例である。なお、以下、映像及び音のうち少なくとも一方を示す場合には、「映像（音）」と示す。
【０００８】
［実施形態の概略］
まずは、図１を用いて、本発明の一実施形態の概略を説明する。なお、図１は、本実施形態に係る配信システムの概略図である。
図１に示されているように、本実施形態の配信システム１は、配信管理装置２、複数の通信端末(5a〜5f)、端末管理システム７、及びウェブサーバ８によって構築されている。なお、以下では、複数の通信端末(5a〜5f)のうち、任意の通信端末を「通信端末５」として表す。また、配信管理装置２、端末管理システム７、及びウェブサーバ８は、いずれもサーバコンピュータによって構築されている。
【０００９】
通信端末５は、配信システム１のサービスを受けるユーザが使用する端末である。このうち、通信端末5aは、ノートPC(Personal Computer)である。通信端末5bは、スマートフォンやタブレット端末等のモバイル端末である。通信端末5cは、コピー、スキャン、プリント、及びファックスの各機能が複合されたMFP(Multifunction Peripheral/Printer/Product)である。通信端末5dは、プロジェクタである。通信端末5eは、カメラ、マイク及びスピーカを備えたテレビもしくはビデオ会議端末である。通信端末5fは、ユーザ等によって描かれた内容を電子的に変換することが可能な電子黒板としてのホワイトボードである。
【００１０】
なお、通信端末５は、図１に示されているような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であってもよい。
また、配信管理装置２、通信端末５、端末管理システム７、及びウェブサーバ８は、インターネットやLAN(Local Area Network)等の通信ネットワーク９によって通信することができる。この通信ネットワーク９には、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信によるネットワークも含まれる。
なお、通信端末５によっては、通信端末5d等のように、通信ネットワーク９を介して他の端末やシステムと通信する機能を有していないものがある。
【００１１】
更に、配信管理装置２は、クラウド上に存在するウェブブラウザとしての、いわゆるクラウドブラウザ（以下、「ブラウザ」と示す）を有することで、クラウド上でウェブコンテンツをレンダリングする。これにより得られたH.264やMPEG-4等の映像（音）データを通信端末５に配信する。
【００１２】
一方、端末管理システム７は、管理サーバとしての機能を有し、通信端末５のログイン認証を行ったり、通信端末５の契約情報等の管理を行ったりする。また、端末管理システム７は、電子メールを送信するためのSMTP(Simple Mail Transfer Protocol)サーバの機能を有している。端末管理システム７は、例えば、クラウドのサービス(IaaS:Infrastructure as a Service)上に展開される仮想マシンとして実現することができる。端末管理システム７は、不測の事態に対応して継続的なサービス提供を行うために、多重化して運用することが望ましい。
また、ブラウザ20は、リアルタイムコミュニケーション（RTC：Real-time communication/collaboration）を可能にしている。更に、後述のエンコード部19は、ブラウザ20によって生成された映像（音）のデータに対して、リアルタイムのエンコードを行うことができる。そのため、配信管理装置２の処理は、DVDプレーヤによって、DVDに記録されているリアルタイム性のない映像（音）のデータを読み出して配信する場合等とは異なる。
【００１３】
図２は、基本的な配信処理を示した概念図である。配信システム１では、図２に示されているように、配信管理装置２のブラウザ20がウェブサーバ８からウェブコンテンツのデータ[A]を取得し、レンダリングすることにより、映像（音）のコンテンツデータ[A]を生成する。そして、エンコーダブリッジ部30が、映像（音）のコンテンツデータ[A]をエンコード等して、通信端末５に配信する。これにより、たとえHTML(Hyper Text Markup Language)やCSS(Cascading Style Sheets)等により作成されたウェブコンテンツがリッチであっても、H.264やMPEG-4等の映像（音）のデータとして配信される。このため、低スペックの通信端末５であってもスムーズに映像（音）を再生することが可能になる。
【００１４】
また、本実施形態の配信管理装置２では、ブラウザ20を最新化しておくことで、ローカルとしての通信端末５のブラウザを最新化しなくても、最新のリッチなウェブコンテンツをスムーズに再生することが可能となる。
【００１５】
また、配信システム１は、上述の配信方法を応用し、図３乃至図５に示されているように、複数のウェブコンテンツを連動させ、複数の拠点に映像（音）のデータとして配信することも可能である。ここで、図３乃至図５に示されている配信方法について説明する。
図３は、マルチキャストの概念図である。図４に示されているように、配信管理装置２の単一のブラウザ20は、ウェブサーバ８からウェブコンテンツデータ〔A〕を取得してレンダリングすることで、映像（音）データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像（音）のデータ〔A〕をエンコードする。その後、配信管理装置２は、映像や音のデータ〔A〕を複数の通信端末（5f1，5f2，5f3）に配信する。これにより、複数の拠点では、同じ映像や音が出力される。なお、この場合、通信端末（5f1，5f2，5f3）が同じ表示再生能力、すなわち解像度が同じ等の条件を有する必要がある。このような配信方法は、例えば「マルチキャスト」と呼ぶ。
【００１６】
図４は、マルチディスプレイの概念図である。図４に示されているように、配信管理装置２の単一のブラウザ20は、ウェブサーバ８からウェブコンテンツデータ〔XYZ〕を取得してレンダリングすることで、単一の映像（音）データ〔XYZ〕を生成する。そして、エンコーダブリッジ部30が、単一の映像（音）データ〔XYZ〕を、複数の映像（音）データ（〔X〕，〔Y〕，〔Z〕）に分割した後にエンコードする。その後、配信管理装置２は、分割後の映像（音）データ〔X〕を通信端末5f1に配信する。また、同じように、配信管理装置２は、分割後の映像（音）データ〔Y〕を通信端末5f2に配信し、分割後の映像（音）データ〔Z〕を通信端末5f3に配信する。これにより、例えば、横長のウェブコンテンツデータ〔XYZ〕であっても、複数の通信端末５で分割して映像が表示される。このため、通信端末（5f1，5f2，5f3）を一列に並べて設置すれば、１つの大きな映像を表示させることと同様の効果を得ることができる。なお、この場合、通信端末(5f1，5f2，5f3）が同じ表示再生能力（解像度が同じ等）を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ぶ。
【００１７】
図５は、配信管理装置を介して複数の通信端末を使った通信の概念図である。図５に示すように、第１の拠点（図５の右側）では、電子黒板としての通信端末5f1及びテレビ会議端末としての通信端末5e1が利用されている。第２の拠点（図５の左側）では、同じく電子黒板としての通信端末5f2、及びテレビ会議端末としての通信端末5e2が利用されている。また、第１の拠点では、通信端末5f1にストロークによる文字等の操作データを表示させるための電子ペンP1が利用され、第２の拠点では、通信端末5f2にストロークによる文字等の操作データを表示させるための電子ペンP2が利用されている。
そして、第１の拠点において、通信端末5e1によって取得された映像（音）データは、エンコード部60でエンコードされた後に、配信管理装置２に送信される。その後、配信管理装置２のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP1によって通信端末5f1に描かれたストローク等を示す操作データは、配信管理装置２に送信され、ブラウザ20に入力される。一方、第２の拠点においても、通信端末5e2によって取得された映像（音）データは、エンコード部60でエンコードされた後に、配信管理装置２に送信される。その後、配信管理装置２のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP2によって通信端末5f2に描かれたストローク等の操作データは、配信管理装置２に送信され、ブラウザ20に入力される。
【００１８】
一方、ブラウザ20は、例えば、ウェブサーバ８から通信端末（5f1，5f2）のぞれぞれのディスプレイに表示される背景画像のウェブコンテンツデータ〔A〕を取得する。ブラウザ20は、ウェブコンテンツデータ〔A〕、操作データ（〔p1〕，〔p2〕）及び映像（音）コンテンツデータ（〔E1〕，〔E2〕）を結合してレンダリングすることで、所望のレイアウトに配置した映像（音）データを生成する。エンコーダブリッジ部30は、映像（音）データをエンコードし、配信管理装置２が各拠点に同じ映像（音）データを配信する。これにより、第１の拠点では、通信端末5f1のディスプレイ上に、映像（〔A〕、〔p1〕、〔p2〕、〔E1（映像部分）〕及び〔E2（映像部分）〕）が表示されると共に、通信端末5e1のスピーカから音〔E2（音部分）〕が出力される。
【００１９】
一方、第２の拠点でも、通信端末5f2のディスプレイ上に、映像（〔A〕、〔p1〕、〔p2〕、〔E1（映像部分）〕及び〔E2（映像部分）〕）が表示されると共に、通信端末5e2のスピーカから音〔E1（音部分）〕が出力される。なお、第１の拠点では、通信端末5f1のエコーキャンセル機能により、自拠点の音〔E1（音部分）〕は出力されない。
【００２０】
他方、第２の拠点では、通信端末5f2のエコーキャンセル機能により、自拠点の音〔E2（音部分）〕は出力されない。
以上により、第１の拠点と第２の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施形態の配信システム１は遠隔会議等に有効である。
【００２１】
［本発明の前提となった実施形態の詳細な説明］
続いて、図６乃至図22を用いて、実施形態の詳細な説明を行う。
＜本発明の前提となった実施形態のハードウェア構成＞
まずは、図６を用いて、本実施形態のハードウェア構成を説明する。なお、図６は、配信管理装置、通信端末、端末管理システム、及びウェブサーバのハードウェア構成図である。なお、通信端末の通信に関与するハードウェア構成は、通信端末のハードウェア構成の一部と同じであるため、説明を省略する。
【００２２】
図６に示すように配信管理装置２は、配信管理装置２全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203を有する。配信管理装置２は、プログラム等の各種データを記憶するHDD204、CPU201の制御にしたがってHDD204に対する各種データの読み出し又は書き込みを制御するHDC(Hard Disk Controller)205を有する。配信管理装置２は、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ207、各種情報を表示するディスプレイ208を有する。配信管理装置２は、通信ネットワーク９を利用してデータ送信したりドングル99を接続したりするためのI/F209、キーボード211、マウス212、マイク213、スピーカ214を有する。配信管理装置２は、GPU(Graphics Processing Unit)215、上記各構成要素を図６に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン220を有する。
【００２３】
なお、各通信端末、各システム又は各サーバ用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００２４】
＜本発明の前提となった実施形態の機能構成＞
次に、図７乃至図14を用い、本実施形態の機能構成について説明する。図７は、主に配信管理装置の各機能を示す機能ブロック図である。図７では、配信管理装置２が通信端末5f1に対して映像（音）データを配信する場合の機能構成が示されているが、配信先が通信端末5f1以外の場合も、同じ機能構成を有する。なお、配信管理装置２は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
【００２５】
（配信管理装置の機能構成）
図７に示されているように、配信管理装置２は、図６に示されているハードウェア構成及びプログラムによって、図７に示されている各機能構成を有する。配信管理装置２は、ブラウザ20、送受信部21、ブラウザ管理部22、送信用FIFOバッファ(以下、FIFO)24、時刻管理部25、及び時刻取得部26を有する。配信管理装置２は、回線適応制御部27、エンコーダブリッジ部30、送受信部31、受信用FIFO34、認識部35、遅延情報取得部37a、回線適応制御部37b、及びデコード部40を有する。更に、配信管理装置２は、図６に示されているHDD204によって構築される記憶部2000を有する。この記憶部2000には、認識手段としての認識部35から出力された後述の連係情報としての認識情報が記憶される。なお、ブラウザ20が取得したコンテンツデータは、キャッシュとして、記憶部2000に一時的に記憶しておくこともできる。
【００２６】
上述の各機能構成のうち、ブラウザ20は、配信管理装置２内で動作するウェブブラウザである。ブラウザ20は、ウェブコンテンツデータ等のコンテンツデータをレンダリングすることにより、RGBデータ（又はPCM(Pulse Code Modulation)データ）としての映像（音）データを生成する。ブラウザ20は、ウェブコンテンツのリッチ化に対応させて常に最新化されている。
また、本実施形態の配信システム１では、配信管理装置２内に複数のブラウザ20を用意しており、これら複数のブラウザ20の中からユーザセッションに使用するクラウドブラウザが選択される。なお、ここでは、説明を簡略化するため、単一のブラウザ20が用意されている場合について、以下続けて説明する。
ブラウザ20は、例えば、Media Player、Flash Player、JavaScript（登録商標）、CSS(Cascading Style Sheet)及びHTML(HyperText Markup Language)レンダラを有する。なお、JavaScriptには、標準規格のものと配信システム１独自のものが含まれる。
【００２７】
ここで、Media Playerは、映像（音）ファイルを含むマルチメディアファイルをブラウザ20内で再生するためのブラウザプラグインである。Flash Playerは、Flashコンテンツをブラウザ20内で再生するためのブラウザプラグインである。独自のJavaScriptは、配信システム１に固有のサービスのAPI(Application Programming Interface)を提供するJavaScript群である。CSSは、HTMLで記述されたウェブページの見栄えやスタイルを効率的に定義するための技術である。HTMLレンダラは、ウェブキットベースのHTMLレンダリングエンジンである。
【００２８】
次に、送受信部21は、端末管理システム７やウェブサーバ８との間で、各種データや要求等の送受信を行う。例えば、送受信部21は、ウェブサーバ８のコンテンツサイトからウェブコンテンツデータを取得する。
ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30の管理を行う。例えば、ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30に、起動又は終了を指示したり、起動又は終了時にエンコーダIDを採番したりする。ここで、エンコーダIDは、ブラウザ管理部22がエンコーダブリッジ30のプロセスを管理するために採番する識別情報である。また、ブラウザ管理部22は、ブラウザ20が起動されるたびに、ブラウザIDを採番して管理する。ここで、ブラウザIDは、ブラウザ管理部22がブラウザ20のプロセスを管理するために採番し、ブラウザ20を識別するための識別情報である。
【００２９】
なお、ブラウザ管理部222は、送受信部31を介して通信端末５から、各種操作データを取得し、ブラウザ20に出力する。また、操作データは、通信端末５での操作イベントとしてのキーボード211やマウス212等による操作や電子ペンＰによるストローク等によって生じたデータである。通信端末５に、温度センサ、湿度センサ、及び加速度センサ等の各種センサが設けられている場合には、ブラウザ管理部22は、通信端末５から各センサの出力信号であるセンサ情報を取得し、ブラウザ20に出力する。
送信用FIFO24は、ブラウザ20で生成された映像（音）データを格納するバッファである。
時刻管理部25は、配信管理装置２独自の時刻Ｔを管理している。
時刻取得部26は、後述の通信端末５における時刻制御部56と連携して、時刻調整の処理を行う。具体的には、時刻取得部26は、時刻管理部25から配信管理装置２における時刻Ｔを示す時刻情報(T)を取得したり、送受信部31及び送受信部51を介して後述の時刻制御部56から通信端末５における時刻ｔを示す時刻情報(t)を受信したりする。また、時刻取得部26は、時刻制御部56に時刻情報(t)及び時刻情報(T)を送信したりする。この再生遅延時間は、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。
回線適応制御部27は、送信遅延時間情報(D)に基づいて、再生遅延情報Ｕを計算したり、エンコーダブリッジ部30における変換部10のフレームレートやデータの解像度等の動作条件を計算したりする。
【００３０】
エンコーダブリッジ部30は、ブラウザ20が生成した映像（音）データを、エンコーダブリッジ部30における後述の変換部10に出力する。エンコーダブリッジ部30については、図13及び図14を用いて、更に詳細に説明する。図13は、エンコーダブリッジ部の詳細図である。また、図14は、変換部の各機能を示す機能ブロック図である。
【００３１】
図13に示されているように、エンコーダブリッジ部30は、作成・選択部310、及び選択部320と、これらの間に複数の変換部（10a，10b，10c）が構築されている。ここでは、３つの変換部を示したが、いくつであってもよい。なお、以下、任意の変換部を「変換部10」として表す。
【００３２】
更に、変換部10は、図14に示されているように、トリミング部11、リサイズ部12、分割部13、及びエンコード部19を有する。トリミング部11、リサイズ部12、及び分割部13は、音データの場合は、処理を行わない。
このうち、トリミング部11は、映像（画像）の一部だけを切り出す処理を行う。リサイズ部12は、映像（画像）の縮尺を変更する。分割部13は、図４に示されているように、ウェブサーバ８から取得したウェブコンテンツを分割する。
また、エンコード部19は、ブラウザ20で生成された画像（音）データをエンコードすることにより、通信ネットワーク９を介して通信端末５に画像（音）データを配信できるように変換する。また、エンコード部19は、映像が動かなければ（フレーム間で変化がなければ）、以降、映像が動くまでスキップフレームを挿入することで帯域をセーブする。なお、音の場合には、エンコードだけが行われる。
【００３３】
また、作成・選択部310は、新たに変換部10を作成したり、既に作成されている変換部10に対して入力させる映像（音）データを選択したりする。作成する場合としては、例えば、作成・選択部310は、通信端末５における映像（音）データの再生能力に応じた変換が可能な変換部10を作成することが挙げられる。映像（音）データを選択する場合、例えば通信端末5a、5bへの配信を開始する際、通信端末5aへ配信しているデータと同じデータを通信端末5bへ配信し、通信端末5bが通信端末5aにおけるデータの再生能力と同じ能力を有する場合は次のようになる。すなわち、作成・選択部310は通信端末5b用に新たな変換部10bを作成せずに、通信端末5a用に既に作成している変換部10aを利用する。
【００３４】
一方、選択部320は、既に作成されている変換部10から所望のものを選択する。これら作成・選択部310と選択部320による選択によって、図５に示したような様々なパターンの配信を行うことができる。
【００３５】
送受信部31は、通信端末５との間で、各種データや要求等の送受信を行う。例えば、送受信部31は、通信端末５のログイン処理において、通信端末５の送受信部51に対し、ユーザにログイン要求を促すための認証画面データ（図10参照）を送信する。送受信部31は、HTTPS(Hypertext Transfer Protocol over Secure Socket Layer)サーバを介して配信システム１独自のプロトコルにより、通信端末５のユーザアプリや通信端末５のデバイスアプリへのデータ送信及びデータ受信を行う。この独自のプロトコルは、配信管理装置２と通信端末との間でリアルタイムに途切れることなくデータを送受信するためのHTTPSベースのアプリケーション層プロトコルである。また、送受信部31は、送信レスポンス制御、RTP作成、クライアントコマンド送信、受信レスポンス制御、受信データ分析、およびジェスチャ変換を行う。
このうち、送信レスポンス制御は、配信管理装置２から通信端末５にデータを送信するために、通信端末からリクエスト（要求）されたダウンロード用のHTTPSセッションを管理する処理である。このダウンロード用のHTTPSセッションのレスポンスはすぐに終了せず、一定時間、例えば１〜数分保持する。送受信部31は、通信端末に送るデータを動的にレスポンスのBody部に書き込む。また、再接続のコストをなくすため、通信端末からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部31を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。
【００３６】
RTP作成は、エンコード部19で生成された圧縮映像（および圧縮音）のデータ(RTPデータ)に独自のヘッダを付与して、通信端末への下り用のHTTPSのBody部に書き込む処理である。
クライアントコマンド送信は、通信端末５に送信するコマンドデータを生成し、通信端末５への配信用（下り用）のHTTPSのBody部に書き込む処理である。
受信レスポンス制御は、配信管理装置２が通信端末５からデータを受信するために、通信端末５からリクエストされた送信用（上り用）のHTTPSセッションを管理する処理である。このHTTPSセッションのレスポンスはすぐに終了せず、一定時間としての１〜数分保持される。通信端末５は、配信管理装置２の送受信部31に送るデータを動的にリクエストのBody部に書き込む。
受信データ分析は、通信端末５から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。
【００３７】
ジェスチャ変換は、ユーザが電子黒板としての通信端末5fに電子ペンや手書きにより入力したジェスチャイベントを、ブラウザ20が受け取れる形式に変換する処理である。
また、受信用FIFO34は、デコード部40でデコードされた映像（音）データを格納するバッファである。
【００３８】
認識部35は、通信端末５から受信する映像（音）データに対しての処理を行う。具体的には、認識部35は、例えば、サイネージ向けにカメラ62で撮影された映像から人や動物の顔、年齢、及び性別を含む属性を認識する。また、認識部35は、オフィス向けに、カメラ62で撮影された映像から顔認識による名前タグ付けや背景映像の差し替え処理を含む処理を行う。認識部35は、認識した内容を示す認識情報を記憶部2000に記憶させる。この認識部35は、認識拡張ボードで処理を行うことで高速化が実現される。
【００３９】
遅延情報取得部37aは、上り用の回線適応制御の処理に用いられる遅延情報取得部57に対応して、下り用の回線適応制御の処理に用いられる。具体的には、遅延情報取得部37aは、デコード部40から送信遅延時間d1を示す送信遅延時間情報（d1）を取得して一定時間保持しておく。次に遅延情報取得部37aは、複数の送信遅延時間情報（d1）を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する。
【００４０】
回線適応制御部37bは、上り用の回線適応制御の処理に用いられる回線適応制御部27に対応して、下り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部37bは、送信遅延時間情報(d)に基づいて、エンコード部60の動作条件を計算する。また、回線適応制御部37bは、送受信部31及び送受信部51を介して通信端末５のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。
デコード部40は、通信端末５から送信されて来た映像（音）データをデコードする。
【００４１】
（通信端末の機能構成）
続いて、図８を用いて、通信端末５の機能構成について説明する。通信端末５は、ユーザが配信システム１へのログインや映像（音）データの配信の開始又は停止などを行うためのインターフェースとなる端末である。
図８に示されているように、通信端末５は、デコード部50、送受信部51、操作部52、再生制御部53、レンダリング部55、時刻制御部56、遅延情報取得部57、表示部58、及びエンコード部60を有している。更に、通信端末５は、図６に示されているRAM203によって構築される記憶部5000を有している。この記憶部5000には、後述の時刻差Δを示す時刻差情報（Δ）、及び通信端末５における時刻ｔを示す時刻情報（ｔ）が記憶される。
このうち、デコード部50は、配信管理装置２から配信され、再生制御部53から出力された映像（音）データをデコードする。
【００４２】
送受信部51は、配信管理装置２の送受信部31、及び後述の端末管理システム７の送受信部71aとの間で、各種データや要求等の送受信を行う。例えば、送受信部51は、通信端末５のログイン処理において、操作部52による通信端末５の起動に基づき、端末管理システム７の送受信部71にログイン要求を行う。
操作部52は、ユーザの操作を受け付ける処理を行い、例えば、電源スイッチ、キーボード、マウス、電子ペンP等による入力や選択等を受け付け、操作データとして配信管理装置２のブラウザ管理部22に送信する。
再生制御部53は、送受信部51から受けた映像（音）データとしてのRTPパケットをバッファリングし、再生遅延時間Ｕを考慮してデコード部50に出力する。
レンダリング部55は、デコード部によってデコードされたデータをレンダリングする。
時刻制御部56は、配信管理装置２の時刻取得部26と連携して、時刻調整の処理を行う。具体的には、時刻制御部56は、記憶部5000から通信端末５における時刻ｔを示す時刻情報(t)を取得する。また、時刻制御部56は、送受信部51及び送受信部31を介して、配信管理装置２の時刻取得部26に、配信管理装置２における時刻Ｔを示す時刻情報(T)を要求する。この場合、時刻情報(T)の要求と共に、時刻情報(t)が送信される。
【００４３】
遅延情報取得部57は、再生制御部53から送信遅延時間D1を示す送信遅延時間情報（D1）を取得後一定時間保持する。遅延情報取得部57は、複数の送信遅延時間情報（D1）を取得すると、送受信部51及び送受信部31を介して回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する。なお、送信遅延時間情報(D)は、例えば、100フレームに１回送信される。
表示部58は、レンダリング部55によってレンダリングされたデータを再生する。
エンコード部60は、映像（音）データ[E]と、時刻情報(t0)と、時間差情報（Δ）とを、送受信部51及び送受信部31を介して、配信管理装置２のデコード部40に送信する。
映像（音）データ[E]は、内蔵マイク213、外付けカメラ62及びマイク63から取得してエンコードしたデータである。時刻情報(t0)は、記憶部5000から取得した現時点の通信端末５における時刻ｔ0を示すデータである。時間差情報（Δ）は、記憶部5000から取得した時間差Δを示すデータである。
【００４４】
また、エンコード部60は、回線適応制御部37bから受信した回線適応制御信号で示される動作条件に基づいて、エンコード部60の動作条件を変更する。エンコード部60は、新たな動作条件に従って、映像（音）データ[E]と、時刻情報(t0)と、時間差情報（Δ）とを、送受信部51及び送受信部31を介して、配信管理装置２のデコード部40に送信する。
【００４５】
映像（音）データ[E]は、カメラ62及びマイク63から取得してエンコードしたデータである。時刻情報(t0)は、記憶部5000から取得した現時点の通信端末５における時刻ｔ0を示すデータである。時間差情報（Δ）は、記憶部5000から取得した時間差Δを示すデータである。
なお、内蔵されたマイク213や、外付けのカメラ62及びマイク63は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像（音）データの他に、触覚(touch)データや嗅覚（smell）データを出力することができてもよい。
入力手段には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。
【００４６】
（端末管理システムの機能構成）
続いて、図９を用いて、端末管理システム７の機能構成について説明する。図９は、端末管理システムの各機能を示す機能ブロック図である。
図９に示されているように、端末管理システム７は、送受信部71a、送受信部71b、及び認証部75及び認識部750を有している。更に、端末管理システム７は、図６に示されているHDD204によって構築される記憶部7000を有している。この記憶部7000には、配信先選択メニューデータ、端末管理テーブル7010、及び利用可能端末管理テーブル7020が記憶される。
このうち、配信先選択メニューは、図10に示されているような配信先選択メニュー画面を示すデータである。
【００４７】
端末管理テーブル7010では、図11に示すように、通信端末５の端末ID、ユーザ証明書、ユーザが配信システム１のサービスを利用する際の契約情報、通信端末５の端末種別が関連づけて管理されている。また、各通信端末５のホームURL(Uniform Resource Locator)を示す設定情報、各通信端末５の実行環境情報、共有ID、設置位置情報、及び表示名情報が関連付けて管理されている。
このうち、実行環境情報には、各通信端末５の「お気に入り」、「前回のCookie情報」、及び「キャッシュファイル」が含まれている。また、実行情報は、各通信端末５のログイン後に、設定情報と共に配信管理装置２に送信され、各通信端末５に対して個別のサービスを行うために利用される。
【００４８】
共有IDは、各ユーザが、自己の通信端末５に配信されている映像（音）データと同じ内容の映像（音）データを他の通信端末５にも配信させることで、遠隔共有処理を行う場合に利用されるIDであり、他の通信端末又は他の通信端末群を識別する識別情報である。例えば、端末ID「t006」の共有IDは「v006」であり、端末ID「t007」の共有IDは「v006」であり、また、端末ID「t008」の共有IDは「v006」である。端末ID「t001」の通信端末5aから、共有ID「v006」の通信端末（5f1，5f2，5f3）との遠隔共有処理の要求があった場合、配信管理装置２は、通信端末5f1〜5f3に対し、通信端末5aに配信中の映像(音)データと同じ映像（音）データを配信する。但し、通信端末5aと通信端末（5f1，5f2，5f3）の表示部58の解像度が異なる場合には、これに応じて、配信管理装置２が映像(音)データを配信する。
【００４９】
更に、配置位置情報は、例えば、図４に示されているように、通信端末（5f1，5f2，5f3）が並んで設置される場合の設置位置を示している。表示名情報は、図10に示されている配信先選択メニュー画面の表示名の内容を表す情報である。
【００５０】
一方、利用可能端末管理テーブル7020では、端末ID毎に、この端末IDによって示される通信端末５が遠隔共有処理することが可能な通信端末又は通信端末群を示す共有IDが関連付けて管理されている。
【００５１】
次に、各機能構成について説明する。
送受信部71aは、通信端末５との間で、各種データや要求等の送受信を行う。例えば、送受信部71aは、通信端末５の送受信部51からログイン要求を受信したり、送受信部51に対してログイン要求の認証結果を送信したりする。
送受信部71bは、配信管理装置２との間で、各種データや要求等の送受信を行う。例えば、送受信部71bは、配信管理装置２の送受信部21から配信先選択メニューのデータの要求を受信したり、送受信部21に対して、配信先選択メニューのデータを送信したりする。
認証部75は、通信端末５から受信した端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う。
【００５２】
［本発明の前提となった実施形態の動作及び処理］
続いて、図15乃至図22を用いて、本実施形態の動作または処理について説明する。
＜基本的な配信処理＞
まず、図15を用いて、配信管理装置２の基本的な配信処理を説明する。なお、図15は、配信管理装置の基本的な配信処理を示したシーケンス図である。ここでは、図２に示されている基本的な配信のパターンについて具体的な処理を説明する。なお、通信端末5aを用いてログイン要求する場合について説明するが、通信端末5a以外の通信端末５を用いてログインしてもよい。図15に示されているように、通信端末5aにおいてユーザが電源オンにすると、通信端末5aの送受信部51は、端末管理システム７の送受信部71aを介して認証部75に、ログイン要求を行う（ステップS21）。このログイン要求には、通信端末5aの端末ID及びユーザ証明書が含まれている。
【００５３】
次に、認証部75は、受信した端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う(ステップS22)。ここでは、端末管理テーブル7010に同じ組み合わせの端末ID及びユーザ証明書がある、即ち、通信端末5aが配信システム１における正当な端末であると認証された場合について、以下に続けて説明する。
端末管理システム７の認証部75は、送受信部71aを介して、通信端末5aの送受信部51bに、配信管理装置２のIPアドレスを送信する（ステップS23）。なお、配信管理装置２のIPアドレスは、予め、端末管理システム７によって取得されて、記憶部7000に記憶されている。更に、端末管理システム７の送受信部71bは、配信管理装置２の送受信部21を介して、ブラウザ管理部22に、ブラウザ20の起動要求を行う（ステップS24）。これにより、ブラウザ管理部22は、ブラウザ20を起動させる（ステップS25）。
【００５４】
次に、エンコーダブリッジ部30の作成・選択部310は、通信端末5aの再生能力としてのディスプレイの解像度等及びコンテンツの種類に従って変換部10を作成する（ステップS26）。
次に、ブラウザ20は、ウェブサーバ８に対して、コンテンツデータ〔Ａ〕を要求する（ステップS27）。これに対して、ウェブサーバ８は、要求されたコンテンツデータ[A]を自己の記憶部（不図示）から読み出す（ステップS28）。そして、ウェブサーバ８は、配信管理装置２の送受信部21を介して、要求元であるブラウザ20にコンテンツデータ[A]を送信する（ステップS29）。
次に、ブラウザ20が、コンテンツデータ[A]をレンダリングして画像（音）データを生成し、送信用FIFO24に出力する（ステップS30）。そして、変換部10が、送信用FIFO24に格納された画像（音）データをエンコードすることで、通信端末5aに配信すべき映像（音）のコンテンツデータ[A]に変換する（ステップＳ３１）。
次に、送受信部31及び送受信部51は、再生制御部53に映像（音）のコンテンツデータ[A]を送信する（ステップS32）。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像（音）のコンテンツデータ[A]が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される（ステップS33）。
【００５５】
＜複数の通信端末を使った通信の処理＞
続いて、図16を用いて、配信管理装置を介して複数の通信端末を使った通信の処理を説明する。なお、図16は、配信管理装置を介して複数の通信端末を使った通信の処理を示すシーケンス図である。ここでは、複数の通信端末５として、図５に示されているパターンについて具体的な処理を説明する。なお、ここでも、上述のステップS21〜S29と同様のログイン処理及びブラウザ起動等の処理を行うため、上述のステップS29に対応する処理から説明する。
図16に示されているように、配信管理装置２のブラウザ20は、ウェブサーバ８から送受信部21を介してコンテンツデータ[A]を受信する（ステップS41）。そして、ブラウザ20は、コンテンツデータ[A]をレンダリングすることにより、画像（音）データを生成して、送信用FIFO24に出力する（ステップS42）。
【００５６】
通信端末5f1のエンコード部60がカメラ62及びマイク63からコンテンツデータ〔Ｅ〕を入力すると(ステップS43)、エンコード部60はエンコード後送受信部31,51を介して、デコード部40にコンテンツデータ[E]を送信する(ステップS44)。これにより、コンテンツデータ[E]は、デコード部40でデコードされた後、受信用FIFO34を介して、ブラウザ20に入力される。そして、ブラウザ20は、コンテンツデータ[E]をレンダリングすることにより、画像（音）のコンテンツデータ[E]を生成して、送信用FIFO24に出力する（ステップS44）。この場合、ブラウザ20は、既に取得しているコンテンツデータ[A]に対して、コンテンツデータ[E]を結合して出力する。
【００５７】
更に、通信端末5f1の操作部52が、電子ペンP1によるストローク操作の入力を受け付けると（ステップS46）、操作部52は、送受信部51及び送受信部31を介して、ブラウザ管理部22に操作データ[p]を送信する（ステップS47）。これにより、操作データ[p]は、ブラウザ管理部22からブラウザ20に入力される。そして、ブラウザ20は、操作データ[p]をレンダリングすることにより、画像データを生成して、送信用FIFO24に出力する（ステップS48）。この場合、ブラウザ20は、既に取得しているコンテンツデータ（[A]，[p]）に対して、操作データ[p]を結合して出力する。
【００５８】
次に、変換部10が、送信用FIFO24に格納された画像（音）のコンテンツデータ（[A]，[E]，[p]）をエンコードすることで、通信端末5aに配信すべき映像（音）のコンテンツデータ（[A]，[E]，[p]）に変換する（ステップS49）。そして、送受信部31及び送受信部51は、再生制御部53に映像（音）データ（[A]，[E]，[p]）を送信する（ステップS50-1）。その後、映像（音）データ（[A]，[E]，[p]）は、デコード部50でデコードされてスピーカ61に音が出力されると共に、デコード部50でデコードされてレンダリング部55でレンダリングされて表示部58に映像が出力される（ステップS51-1）。
【００５９】
また、通信端末5f2に対してもステップS50-1と同様に、送受信部31及び送受信部51は、再生制御部53に映像（音）のコンテンツデータ（[A]，[E]，[p]）を送信する（ステップS50-2）。映像（音）のコンテンツデータ（[A]，[E]，[p]）は、デコード部50でデコードされてスピーカ61に音が出力されると共に、デコード部50でデコードされてレンダリング部55でレンダリングされて表示部58に映像が出力される（ステップS51-2）。これにより、通信端末5f1で出力される映像（音）と同じ映像（音）が、通信端末5f2でも出力されることになる。
【００６０】
＜時刻調整の処理＞
続いて、図17を用いて、時刻調整の処理について説明する。なお、図17は、時刻調整の処理を示したシーケンス図である。
まず、通信端末５の時刻制御部56は、送受信部51が配信管理装置２に時刻情報(T)を要求する時刻を取得するために、記憶部5000から通信端末５における時刻情報(ts)を取得する（ステップS81）。そして、送受信部51は送受信部31に、配信管理装置２における時刻情報(T)を要求する（ステップS82）。この場合、時刻情報(T)の要求と共に、上記時刻情報(ts)が送信される。
次に、時刻取得部26は、送受信部31が上記ステップS82の要求を受信した時刻を取得するために、時刻管理部25から配信管理装置２における時刻情報(Tr)を取得する（ステップS83）。更に、時刻取得部26は、送受信部31が上記ステップS82の要求に応答する時刻を取得するために、時刻管理部25から配信管理装置２における時刻情報(Ts)を取得する（ステップS84）。そして、送受信部31は送受信部51に、時刻情報(ts, Tr，Ts)を送信する（ステップS85）。
次に、通信端末５の時刻制御部56は、送受信部51が上記ステップS85の応答を受信した時刻を取得するために、記憶部5000から通信端末５における時刻情報(tr)を取得する（ステップS86）。
そして、通信端末５の時刻制御部56は、配信管理装置２と通信端末５との間の時刻差Δを計算する（ステップS87）。この時刻差Δは、以下の式１によって表される。
Δ＝((Tr＋Ts）／２)−((tr＋ts)／２)・・・（式１）
そして、時刻制御部S56は、記憶部5000に時刻差Δを示す時刻差情報（Δ）を記憶する（ステップS88）。この時刻調整の一連の処理は、例えば、毎分定期的に行われる。
【００６１】
＜下り用の回線適応制御の処理＞
続いて、図18を用いて、配信管理装置２から通信端末５に送信する（下り）データの回線適応制御の処理を説明する。なお、図18は、配信管理装置から通信端末に送信するデータの回線適応制御の処理を示したシーケンス図である。
まず、配信管理装置２の送受信部31及び送受信部51は、再生制御部53に、再生までにバッファリングして再生を遅延させるための再生遅延時間を示す再生遅延時間情報(U)を送信する（ステップS101）。また、エンコーダブリッジ部30は、送信用FIFO24から取得してエンコード等を行った映像（音）のコンテンツデータ[A]に対して、時刻管理部25から取得した現時点の時刻Toをタイムスタンプとして付加する。付加後、送受信部31及び送受信部51は、再生制御部53に送信する（ステップS102）。
【００６２】
通信端末５は、再生制御部53が通信端末５における時刻（T0＋U−Δ）になるまで待ち、映像（音）データをデコード部50に出力して、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる（ステップS103）。即ち、以下の式２に示される再生遅延時間Ｕの範囲内に通信端末５が受信した映像（音）データだけが再生されることになり、範囲外の映像（音）データは再生されずに消去される。
Ｕ≧(t0＋Δ)−T0・・・（式２）
【００６３】
また、再生制御部53は、記憶部5000から、通信端末５における現時点の時刻ｔ0を読み出す（ステップS104）。この時刻ｔ0は、通信端末５が配信管理装置２から映像（音）データを受信した時点の通信端末５における時刻を示す。更に、再生制御部53は、記憶部5000から、上記ステップS86によって記憶されている時刻差Δを示す時刻差情報（Δ）を読み出す（ステップS105）。そして、再生制御部53は、映像（音）データが配信管理装置２から送信されて通信端末５で受信されるまでの時間を示す送信遅延時間D1を計算する（ステップS106）。この計算は、以下の式３によって行われ、通信ネットワーク９が混雑している場合には、送信遅延時間D1が長くなる。
D1＝(t0＋Δ)−T0・・・（式３）
【００６４】
次に、遅延情報取得部57は、再生制御部53から送信遅延時間D1を示す送信遅延時間情報（D1）を取得して一定時間保持しておく。遅延情報取得部57は、複数の送信遅延時間情報（D1）を取得したところで、送受信部51及び送受信部31を介して回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する（ステップS107）。
次に、配信管理装置２の回線適応制御部27は、送信遅延時間情報(D)に基づいて、新たに再生遅延情報U´を計算したり、変換部10のフレームレートやデータの解像度等の動作条件を計算したりする（ステップS108）。
【００６５】
次に、配信管理装置２の送受信部31及び送受信部51は、再生制御部53に、上記ステップS108によって計算された新たな再生遅延時間U´を示す再生遅延時間情報(U´)を送信する（ステップS109）。
更に、変換部10は、動作条件を示す回線適応制御信号に基づいて、変換部10の動作条件を変更する（ステップS110）。例えば、送信遅延時間D1が長すぎる場合、送信遅延時間D1に応じて再生遅延時間Ｕを長くすると、スピーカ61や表示部58での再生時間が遅くなり過ぎるため、再生遅延時間Ｕを長くすることには限界がある。
そこで、回線適応制御部27は、エンコーダブリッジ部30に対して、再生遅延時間Ｕを変更させて再生遅延時間U´とし、変換部10に対して、映像（音）データのフレームレートを下げさせたり、映像（音）データの解像度を下げさせたりする。これにより、通信ネットワーク９の混雑に対応することができる。これにより、エンコーダブリッジ部30は、変更後の動作条件に従って、上記ステップS102のように、現時点の時刻Toをタイムスタンプとして付加した映像（音）データを通信端末５の再生制御部53に送信する(ステップS111)。
【００６６】
次に、通信端末５では、再生制御部53が、通信端末５における時刻(T0＋U’−Δ)になるまで待ってから、映像（音）データをデコード部50に出力する。これにより、上記ステップS103のように、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる（ステップS112）。その後、上記ステップS104以降の処理が続けて行われる。このようにして、下り用の回線適応制御の処理が継続して行われる。
【００６７】
＜上り用の回線適応制御の処理＞
続いて、図19を用いて、通信端末５から配信管理装置２に送信する（上り）データの回線適応制御の処理を説明する。なお、図18は、通信端末から配信管理装置に送信するデータの回線適応制御の処理を示したシーケンス図である。
まず、通信端末５のエンコード部60は、映像（音）のコンテンツデータ[E]と、時刻情報(t0)と、時間差情報（Δ）とを、送受信部51及び送受信部31を介して、配信管理装置２のデコード部40に送信する（ステップS121）。
映像（音）のコンテンツデータ[E]は、カメラ62及びマイク63から取得してエンコードしたデータである。時刻情報（ｔ0）は、記憶部5000から取得した現時点の通信端末５における時刻ｔ0を示すデータである。時間差情報（Δ）は、記憶部5000から取得した時間差Δを示すデータである。
【００６８】
次に、配信管理装置２では、デコード部40が上記ステップS121によって映像（音）のコンテンツデータ[E]等を受信した時点の時刻Toを時刻管理部25から読み出す(ステップS122)。そして、デコード部40は、映像（音）データが通信端末５から送信されて配信管理装置２で受信されるまでの時間を示す送信遅延時間d1を計算する（ステップS123）。この計算は、以下の式４によって行われ、通信ネットワーク９が混雑している場合には、送信遅延時間D2が長くなる。
D1＝T0−(t0＋Δ)・・・（式４）
【００６９】
次に、配信管理装置２の遅延情報取得部37aは、遅延情報取得部57と同様に、デコード部40から送信遅延時間d1を示す送信遅延時間情報（d1）を取得して一定時間保持しておく。複数の送信遅延時間情報（d1）を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報（ｄ）を出力する（ステップS124）。
【００７０】
次に、回線適応制御部37bは、送信遅延時間情報(d)に基づいて、エンコード部60の動作条件を計算する（ステップS108）。そして、回線適応制御部37bは、送受信部31及び送受信部51を介して通信端末５のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する（ステップS126）。即ち、下りの場合の回線適応制御部27は、同じ配信管理装置２内でエンコーダブリッジ部30に回線適応制御信号を出力する。これに対して、上りの場合の回線適応制御部37bは、配信管理装置２から通信ネットワーク９を介して、通信端末５に回線適応制御信号を送信する。
【００７１】
次に、エンコード部60は、受信した回線適応制御信号で示される動作条件に基づいて、エンコード部60の動作条件を変更する（ステップS127）。エンコード部60は、新たな動作条件により、ステップS121のように、映像（音）のコンテンツデータ[E]と、時刻情報（to）と、時間差情報（Δ）とを、送受信部51及び送受信部31を介して配信管理装置２のデコード部40に送信する（ステップS128）。映像（音）のコンテンツデータ[E]は、カメラ62及びマイク63から取得してエンコードしたデータである。時刻情報（to）は、記憶部5000から取得した現時点の通信端末５における時刻toを示すデータである。時間差情報（Δ）は、記憶部5000から取得した時間差Δを示すデータである。その後、上記ステップS122以降の処理が続けて行われる。このようにして、上り用の回線適応制御の処理が継続して行われる。
【００７２】
＜マルチディスプレイの処理＞
続いて、図20乃至図22を用いて、マルチディスプレイの処理について説明する。なお、図20乃至図22は、図５に示されているマルチディスプレイの処理を示したシーケンス図である。ここでは、通信端末5aで再生されている映像（音）[XYZ]を、各通信端末（5f1，5f2，5f3）にも分割して再生させる例である。
また、ここでは、ウェブコンテンツを表示させるためのブラウザ20を「ブラウザ20a」と示し、ユーザへの設定画面を表示させるためのブラウザ20を「ブラウザ20b」と示す。更に、ここでは、図15のステップS30に相当する処理から説明する。
まず、配信管理装置２のブラウザ20aは、ウェブサーバ８から取得したウェブコンテンツデータ〔XYZ〕をレンダリングして画像（音）データを生成し、送信用FIFO24に出力する（ステップS201）。そして、変換部10が、送信用FIFO24に格納された画像（音）データをエンコードすることで、通信端末5aに配信すべき映像（音）データ〔XYZ〕に変換する（ステップS202）。
【００７３】
次に、送受信部31及び送受信部51は、通信端末5aの再生制御部53に映像（音）データ〔XYZ〕を送信する（ステップS203）。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像（音）データ〔XYZ〕が出力され、レンダリング部55を介して、表示部58にて映像（音）が再生される（ステップS204）。
次に、通信端末5aのユーザによって、表示部58上に表示されている画面が、不図示のメニュー要求画面に切り替えられ、操作部52が、メニュー要求画面中の不図示の「配信先選択メニュー」ボタンの押下を受け付ける（ステップS205）。これにより、送受信部51が、端末管理システム７の送受信部71aに、配信先選択メニューへの切り替えを要求する（ステップS206）。これに対して、送受信部71bは、送受信部21を介して配信管理装置２のブラウザ管理部22に対し、ブラウザ20bの起動要求を行う（ステップS208）。
【００７４】
次に、エンコーダブリッジ部30の作成・選択部310は、ブラウザ20aから変換部10（例えば、変換部10a）への出力を、ブラウザ20bから変換部10への出力に切り替える（ステップS209）。但し、通信端末5aが他の通信端末５（例えば、通信端末5b）と変換部10（例えば、変換部10a）とを共有してステップS203による映像（音）データを受信した場合は次のようになる。すなわち、他の通信端末５（例えば、通信端末5b）はブラウザ20a用に変換部10（例えば、変換部10a）を利用中であるため、エンコーダブリッジ部30の作成・選択部310は、新たに変換部10（例えば、変換部10ｂ）を作成する。
そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理システム７の記憶部7000に、配信先選択メニューを要求する（ステップS210）。この際に、通信端末5aの端末IDも送信される。これに対して、端末管理システム７の記憶部7000では、この端末IDに基づいて記憶部7000に記憶されている利用可能端末管理テーブル7020を検索することにより、対応する共有IDを抽出する（ステップS211）。この共有IDは、通信端末5aが遠隔共通処理をするために利用可能な通信端末５を示している。ここでは、通信端末5aの端末IDが「t001」であるため、抽出される共有IDは「v003」、「v006」である。
【００７５】
更に、記憶部7000は、抽出した共有IDに基づいて端末管理テーブル7010を検索することにより、対応する表示名を示す表示名情報を抽出する（ステップS212）。ここでは、抽出された共有ID「v003」、「v006」に対応する表示名は、それぞれ「東京本社10F  MFP」、「大阪展示場1F  マルチディスプレイ」である。
そして、記憶部7000は、送受信部71b及び送受信部21を介して、ブラウザ20bにコンテンツデータとして配信先選択メニューのデータを送信する（ステップS213）。この配信先選択メニューは、図10に示されているように、チェックボックス、共有ID、及び表示名が含まれている。
【００７６】
次に、図21に示されているように、ブラウザ20bが、端末管理システム７から取得した配信先選択メニュー[M]を示すコンテンツデータをレンダリングして画像（音）データを生成し、送信用FIFO24に出力する（ステップS221）。そして、変換部10が、送信用FIFO24に格納された画像（音）のコンテンツデータ[M]をエンコードすることで、通信端末5aに配信すべき映像（音）データ〔Ｍ〕に変換する（ステップS222）。
次に、送受信部31及び送受信部51は、通信端末5aの再生制御部53に映像（音）のコンテンツデータ[M]を送信する（ステップS223）。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像（音）のコンテンツデータ[M]が出力され、レンダリング部55を介して、表示部58にて、図10に示されているような映像（音）が再生される（ステップS224）。
ユーザによって共有ID「v006」のチェックボックスにチェックが入れられ、「OK」ボタンが押下されると、操作部52が、送受信部51及び送受信部31を介してブラウザ管理部22に、操作データとしてチェック結果を送信する（ステップS226）。
【００７７】
次に、ブラウザ20bは、チェック結果から共有IDを選択する（ステップS227）。そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理システム７の記憶部7000に配信先追加要求を行う（ステップS228）。この配信先追加要求には、上記ステップS227によって選択された共有IDが含まれている。そして、ブラウザ20bは、役目を終えて終了する（ステップS229）。これにより、エンコーダブリッジ部30の作成・選択部310は、ブラウザ20bから変化部10への出力を、ブラウザ20aから変換部10への出力に戻すよう切り替える（ステップS230）。
【００７８】
図22に示すように、端末管理システム７の記憶部7000では、上記ステップS228によって送られて来た共有IDに基づいて、端末管理テーブル7010を検索することにより、対応する端末ID及び設置位置情報を抽出する（ステップS241）。そして、記憶部7000は、送受信部71b及び送受信部21を介してブラウザ管理部22に、配信先の追加指示を行う(ステップS242)。この配信先の追加指示には、上記ステップS241によって抽出された端末ID及び設置位置情報が含まれている。ここでは、端末ID及び配置位置情報が「t006」、「左」と、端末ID及び配置位置情報が「t007」、「中」と、端末ID及び設置位置情報が「t008」、「右」との３組の端末ID及び配置位置情報が含まれている。
次に、エンコーダブリッジ部30の作成・選択部310は、マルチディスプレイ用の変換部10を作成する（ステップS243）。
そして、上記ステップS243によって作成された変換部10の分割部13が、送信用FIFO24に格納されている画像（音）データ〔XYZ〕を分割し、エンコード部19が、分割された各データをエンコードする（ステップS244）。
そして、端末ID（「t006」）及び設置位置情報（「左」）に基づいて、送受信部31及び通信端末5f1の送受信部51は、通信端末5f1の再生制御部53に映像（音）のコンテンツデータ[X]を送信する（ステップS245-1）。これにより、通信端末5f1では、再生制御部53からデコード部50に、映像（音）のコンテンツデータ[X]が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される（ステップS246-1）。
また、同様にして、端末ID（「t007」）及び設置位置情報（「中」）に基づいて、送受信部31及び通信端末5f2の送受信部51は、通信端末5f2の再生制御部53に映像（音）のコンテンツデータ[Y]を送信する（ステップS245-2）。これにより、通信端末5f2は、再生制御部53からデコード部50に、映像（音）のコンテンツデータ[Y]が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される（ステップS246-2）。
更に、同様にして、端末ID（「t008」）及び設置位置情報（「右」）に基づいて、送受信部31及び通信端末5f3の送受信部51は、通信端末5f3の再生制御部53に映像（音）のコンテンツデータ[Z]を送信する（ステップS245-3）。これにより、通信端末5f3は、再生制御部53からデコード部50に、映像（音）のコンテンツデータ[Z]が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される（ステップS246-3）。
【００７９】
［本発明の前提となった実施形態の主な効果］
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の配信システム１では、クラウド上で配信管理装置２がブラウザ20及びエンコード等を行うエンコーダブリッジ部30を有する。これにより、ブラウザ20が所定の記述言語で示されたコンテンツデータから映像データ又は音データを生成し、エンコーダブリッジ部30が通信ネットワーク９を介して配信することができるようにデータ形式を変換してから通信端末５に配信する。よって、通信端末５では、所定の記述言語で示されたコンテンツデータを受信する負荷、及び受信後に映像データ又は音データに変換する負荷が低減されるため、コンテンツのリッチ化に対応させるための負荷が高いという問題を解消することができる。
特に、ブラウザ20は、リアルタイムコミュニケーションを可能にし、変換部10は、ブラウザ20によって生成された映像（音）データに対してリアルタイムのエンコードを行う。例えば、映像（音）データのオンデマンド配信のように、DVDプレーヤがリアルタイム性のない、予めエンコードされている映像（音）データを選択して配信する場合とは異なり、次のことが可能となる。すなわち、配信管理装置２は、配信する直前に取得したコンテンツをレンダリングすることで映像（音）データを生成してからエンコードする。このため、リアルタイム性に優れた映像（音）データの配信を行うことができる。
【００８０】
［補足説明］
本実施形態の配信システム１では、端末管理システム７と配信管理装置２とを互いに別個の装置として構成しているが、本発明はこれに限定されない。例えば、配信管理装置２に端末管理システム７の機能を持たせるなどにより、端末管理システム７と配信管理装置２とを一体の装置として構成するようにしてもよい。
また、上記実施形態における配信管理装置２、及び端末管理システム７は、単一のコンピュータによって構築されてもよく、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
更に、上記実施形態の各プログラムが記憶されたCD-ROM等の記録媒体、並びに、これらプログラムが記憶されたHDD204は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
【００８１】
［本発明の実施の形態１］
［配信管理装置及び通信端末］
図23は、主に配信管理装置と通信端末とを含めた機能ブロック図の一例である。
配信管理装置２に対し、相対位置検出部500からの検出情報である検出した通信端末のID、通信端末５までの距離、方向等の情報と、検出情報を受信する端末管理システムと、端末管理システムから配信管理装置２への通知を表す信号線が追加されている。
本実施形態では一例としてマルチディスプレイに関して、１台のみで使用している通信端末を複数台並べることにより、自動的にマルチディスプレイに切り替わることについて説明する。もちろんマルチディスプレイが必要となる場合に適用可能となる。
【００８２】
配信システム１は、同一のウェブコンテンツを分割して同時に配信、例えばマルチプロジェクションすることもでき、ブラウジングの内容を一拠点で複数台のプロジェクタとしてのデバイス端末で横又は縦に並べて表示させることができる。このマルチプロジェクションでは、複数のプロジェクタを連携させることで、大画面表示を行うことができる。複数の通信端末5fのようなディスプレイを用いる場合は、マルチブラウザである（図５）。
【００８３】
マルチディスプレイに関して、１台のみで使用している通信端末5fを複数台並べることにより、自動的にマルチディスプレイに切り替わることが可能となる発明である。これは、以下に示す構成によって、可能となる。
【００８４】
<代表例として通信端末を近接した距離に並べて１枚の画像を表示するような場合>
例えば、通信端末を横並びに近接させて配置して、１枚の画像を大きく表示するような場合について、通信端末5fの例えば左右の端部に端末検知用のセンサを備え付ける(以下、相対位置検知部500とする)。相対位置検知部500は、通信端末同士が数cm以内程度の距離に近接したことを検知可能なセンサとする。検知方式としては、数cmの近距離でした反応しないセンサでも良い。また、距離を測ることの出来るセンサを使って、距離情報を端末管理システムに送信して、端末管理システムにて近距離であることを認識しても良い。ここでは、通信端末5fが横並びに３台ある例であるが、通信端末5fが配置される方向、台数はこれに限られるものではない。
【００８５】
通信端末5fを物理的に複数台並べて、マルチディスプレイを構成すると、各通信端末5fの相対位置検知部500は、自端末の横に通信端末5fが存在することを認識する。例えば、３台の通信端末5fを横に並べてマルチディスプレイを構成することを認識する。例えば３台の通信端末5fを横に並べてマルチディスプレイを構成する場合を考えると、右の通信端末5fは、自端末の左側にのみに１台の通信端末5fが存在することを検知する。中央の通信端末5fは自端末の左右に通信端末5fが存在することを検知する。中央の通信端末5fは、自端末の左右に通信端末5fが存在することを検知する。左の通信端末5fは、自端末の右側のみに１台の通信端末5fが存在することを検知する。これにより、マルチディスプレイを構成する通信端末5fの相対位置を検知することが出来る。
【００８６】
ここで、実際にマルチディスプレイの構成を管理しているのは、端末管理システムである。従って、各通信端末は、相対位置検知部にて通信端末の存在を認識すると、その情報を端末管理システムに通知する必要がある。
端末管理システムは、通信端末から受信した相対位置検知部の出力情報に基づき、マルチディスプレイを構成する通信端末の相対位置を認識することが可能である。この端末管理システム７における認識は、認識部750により行われる。この構成情報に基づき、配信管理装置に対して、マルチプロジェクションの配信映像位置、例えば３連結の場合、左側や、右側等と、配信先の通信端末5fを通知する。配信管理装置２は、これらの通知された情報を認識することにより、対象の通信端末5fへコンテンツの配信を開始する。
以上の構成によって、マルチディスプレイを構成することが可能となる。
【００８７】
図24は、１つの通信端末5fの正面図である。
通信端末5fは、通信端末5fの相対的な位置を検出するために、通信端末5fに相対位置検知部501を備え付ける。図24は、相対位置検出部501を備え付ける位置を表す概略図である。図24の例では、横方向に並べてマルチディスプレイを構成するために備え付けた相対位置検知部501の例である。横方向に並べる場合、図24に示される通りならべるので、相対位置検出部501は通信端末5fの左右端にのみ備え付けることになる。上下方向を並べる場合、相対位置検出部501は、通信端末5fの上下に設定される。
相対位置検知部501が検知する情報は、検知した通信端末5fがもつ固有のID(通信端末ID)、通信端末5fまでの距離や方向等を検知する。なお、距離情報や方向の情報の使用方法については、後述する。
【００８８】
通信端末5fは、相対位置検出部が他の通信端末を検出したことをトリガとして、端末管理システム７と通信を開始する。端末管理システム７との通信が確立すると、続いて、相対位置検出部500の検出情報を端末管理システム７へ通知する。例えば、通信端末から見て左側の相対位置検出部500のみ検出している場合は、「左側に通信端末ID○○番の通信端末を検出した」旨を通知する。左右両側の相対位置検出部500がともに検出している場合には、「通信端末から見て左側に通信端末ID○○番の通信端末を検出し、通信端末から見て右側に通信端末ID○○番の通信端末を検出した」である旨を通知する。これにより、端末管理システム７は、相対位置検知部501で検知された情報を認識できる。より具体的には、どの通信端末5fが、どの位置（例えば左側、中央、右側）にいるかを認識することが出来る。
尚、本明細書では「通信端末の右側」とは通信端末から見て右側、すなわち向かって左側とする。
【００８９】
図25は、複数の通信端末5fと端末管理システム７とを用いた処理を示すシーケンスである。各通信端末5f1、5f2及び5f3が連結している場合について説明する。各通信端末5f1、5f2及び5f3は、図24に示されるように相対位置検知部501を備えているものとする。
まず、通信端末5f3の相対位置検知部501で、左右に通信端末があるか否か検出を行う(S500)。通信端末5f3の左側には、通信端末5f2があるので、通信端末5f3の相対位置検知部501で通信端末が左側にあることを検出する。次に、通信端末5f1で通信端末5fがあることが検出された場合、検出した相対位置情報を端末管理システム７に送信する(S502)。通信端末5f3から相対位置情報として左側検出が端末管理システム７に送信される。より具体的には、「左側に通信端末ID○○番の通信端末を検出した」旨を送信する。
S500、S502とほぼ同時に、通信端末5f2の相対位置検知部501で、右側に通信端末があるか否か検出を行う(S501)。この場合、通信端末5f2の相対位置検知部501で、通信端末が右側にあることを検出する。次に通信端末5f2で通信端末5f3があることが検出された場合、検出した相対位置情報を端末管理システム７に送信する(S503)。通信端末5f2から相対位置情報として右側検出が端末管理システム７に送信される。より具体的には、「右側に通信端末ID○○番の通信端末を検出した」旨を送信する。
本来、解像度が大きく、３台の通信端末5fを連携させて表示すべきコンテンツについて、２台の通信端末5fしかない場合には、少なくともこれらの２台のどちらか一方の通信端末5fに「もう１台の通信端末を設置してください」等のメッセージを表示させる。これによって、解像度の大きいコンテンツであっても、ユーザが見やすいように必要な台数の通信端末5fに表示させることができる。
さらに、通信端末5f2の相対位置検知部501で、左右に通信端末があるか否か検出を行う(S504)。この場合、通信端末5f2の相対位置検知部501で、通信端末5f1が左側にあることを検出する。次に、通信端末5f2で通信端末5f1,5f3があることが検出された場合、検出した相対位置情報を端末管理システム７に送信する(S508)。既にS501で右側の通信端末5f1が検出がされているので、S501及びS504での検出結果に基づいて通信端末5f2から相対位置情報として左右両側の通信端末5f1,5f3の検出が端末管理システム７に送信される。より具体的には、「通信端末5f2から見て左側に通信端末ID○○番の通信端末5f1を検出し、通信端末5f2から見て右側に通信端末ID○○番の通信端末5f3を検出した」旨送信する。
そして、通信端末5f1の相対位置検知部501で、左右に通信端末5fがあるか否か検出を行う(S505)。この場合、通信端末5f2の相対位置検知部501で、通信端末5f3が右側にあることを検出する。次に、通信端末5f1で通信端末5f2があることが検出された場合、検出した相対位置情報を端末管理システム７に送信する(S507)。
以上より通信端末5f1〜5f3から端末管理システム７に相対位置情報と検出された通信端末ID(識別情報)が送信される。
次に端末管理システム７の認識部750で、複数の通信端末5fの関係を認識する。
この認識部750で認識された情報を端末管理テーブル7010で管理する。ここでは、通信端末5f1、5f2及び5f3が連携することを認識する(S503)。
なお、各通信端末5fは、相対位置検知部500の検知状態が切り替わった時点で、端末管理システム７に対して、相対位置検知部500の検出状態を通知する。
例えば、４台以上の複数の通信端末が存在する場合、先に３台の通信端末5f3、通信端末5f2、及び通信端末5f1の検出結果を端末管理システム７に送信すれば、先に通信端末5f3、通信端末5f2、及び通信端末5f1の連携を開始することができる。例えば、１つの部屋に複数の通信端末5f1がある場合で、どの通信端末5fを選択しても問題がない場合(特定の通信端末5fに限定する必要がない場合)、通信端末5fが認識を開始した順番に連携を開始することができる。
【００９０】
端末管理システム７で複数の通信端末5fが連携していることを認識すると、配信管理装置２に対して、この認識結果を通知する。具体的な処理を以下に記載する。
【００９１】
端末管理システム７は、配信管理装置２に対して、各通信端末5fの通信端末ID及び相対位置情報が送受信部71bを介して送信される。
端末管理システム７では、ブラウザ管理部22がこれらの情報を受信し、受信した端末IDに基づき、その通信端末5fに配信しているブラウザ20を特定し、ブラウザ20に対して複数の通信端末5fにおける相対位置を通知する。
この結果、ブラウザ20は１台の通信端末5fに適したコンテンツを表示する状態から、複数の通信端末5fに送信するためのコンテンツ(例えば、横長のコンテンツの１枚のコンテンツや複数枚からなるコンテンツ等)の表示に切り替えることができる。
以上、通信端末5fを近接して複数台設置それぞれの通信端末間の配置距離が数十cm〜数mなど、比較的に遠い場合も想定される。具体的には、例えば広い会場で基調講演などを開催する場合に、アジェンダや発表資料などを複数のスクリーンで表示したい場合などである(図26参照)。
図26は、複数の通信端末5fの使用状況の説明図である。
複数の通信端末が多数の椅子の左前方、前方、及び右前方に配置されており、ユーザがどの椅子に座っても十分画像を見ることができる。
【００９２】
このような状況では、通信端末は比較的に距離が遠くても、他の通信端末5fを認識する必要がある。一方で、対象としたい通信端末以外の通信端末5fも認識する懸念がある。
従って、複数の通信端末の組み合わせを正しく認識するための認識処理が必要となる。
以下に、認識処理について記載する。説明を容易とするために、説明用の図27を示す。
【００９３】
図27の矢印は、通信端末5fの認識状態を表し、矢印で結ばれている通信端末5f同士は互いに存在を認識していることを表現している。また、図27においては、ユーザは、通信端末5f-1aと通信端末5f-1bと通信端末5f-1cとの組み合わせとして連携しているものとする。そして、通信端末5f-1aと通信端末5f-2bとは、連携させずに、通信端末5f-2bは１台の通信端末として機能するものとする。図28に複数の通信端末5fを認識するための処理を示す。
【００９４】
複数の通信端末5fに対して、向かって左側の通信端末5f-1aから、向かって右側の通信端末5f-1b、通信端末5f-1cへと順番に検索し、向かって右側に通信端末5fが無くなるまで検索する。更に、検索中に通信端末5fの台数をカウントしていき、複数の通信端末5fが連携可能な台数であることを確認する。処理の動作の主体は、端末管理システム７の認識部750である。
認識部750での認識が開始されると、台数を０にクリアする(S550)。次に、複数の通信端末5fの中で最も左側に位置する通信端末5fか否か判断する。この通信端末5fは通信端末5fから見て右側のみ検出している通信端末5f-1aである。
複数の通信端末5fの中で最も左側に位置する通信端末としての通信端末5f-1aである場合(S551/Yes)、認識対象の通信端末5fを更新する(S552)。ここでは、自端末の右側の端末である通信端末5f-1aに通信端末5f-1bがあるという情報を認識する。
次に通信端末5f-1bから見て右側には通信端末5fがあるか否か判断する(S553)。通信端末5f-1bから見て右に通信端末5fがある場合(ここでは通信端末5f-1a)(S553/Yes)、台数を１プラスし(S554)、認識対象の通信端末5fを更新する(S555)。
ここでは、自端末(通信端末5f-1b)から見て右側に通信端末5f-1aがあるという情報を認識する。そしてS553に戻る。
最も左側に位置する通信端末でない場合(S551/No)、確認対象の通信端末を更新し(S558)、S550に戻る。
通信端末から見て右側に通信端末5fがない場合(S553/No)、認識対象の通信端末5fを更新し(S557)、S558に戻る。
通信端末5f-1cから見て右側に通信端末5fが無い場合(S553/No)、複数の通信端末5fを連携できる台数か否か判断する(S556)。この判断は、予め連携できる台数を設定しておいても良い。次に複数の通信端末5fを連携できる場合(S556/No)、構成確定データを保存し(S557)、S558に戻る。構成確定データとは、各通信端末5fの台数、位置情報及び通信端末ID等である。通信端末5fを連携できない場合(S556/No)もS558に戻る。
以上の処理によって、通信端末5fの連携を誤認識することなく、正常に連携を認識することが出来る。
【００９５】
図28の処理を使用した場合であっても、ある通信端末5fが、複数の通信端末5fとして連携するものとして認識する場合がある。図29に複数の通信端末5fの具体例を示す。図29では、通信端末5f-1aと通信端末5f-1bと通信端末5f-1cとを１つの組み合わせの連携として認識し、通信端末5f-1aと通信端末5f-2bと通信端末5f-2cをもう１つの組み合わせとして認識する。このような場合には、ユーザがどちらかの構成を意図しているのかを選択させる方法をとる。具体的には、例えば、端末管理システム７は配信管理装置２に対して、複数の通信端末5fを構成する可能性があることと、それを構成する通信端末5fの通信IDの組み合わせを通知する。配信管理装置２ではこれらの情報を受信すると、例えば、複数の通信端末5fの構成要素となっている各通信端末5fに対して、その旨を通知する。本例においては通信端末5f-1aに対して配信することとなる。ユーザは、本配信画面を見て、意図した複数の通信端末5fの構成を選択する。
【００９６】
端末管理システム７にて複数の通信端末5fの構成を認識し、コンテンツ配信を開始する時に、端末管理テーブル7010のデータを更新する。すなわち、１台で使用されていた通信端末5fを複数の通信端末5fとして連携するための共有IDへと変更する必要がある。図30は３つの通信端末IDとしてt006,t007,t008が複数の通信端末5fを構成した場合に、共有IDv006を割り当てた場合の概念図である。もしくは、既に共有IDが設定されている場合には、図25のS508において、認識部750で共有IDが端末管理テーブル7010を認識し、共有IDが付与されている通信端末5f以外とは連携を開始させない。例えば、１つの部屋に複数の通信端末5fがある場合、ユーザが所望とする通信端末5fの連携以外の通信端末5fまで連携してしまうという誤認識が発生する可能性がある。予め共有IDを設定しておけば、共有IDが設定されていない通信端末5f以外とは連携を開始しないため、誤認識を防ぐことができる。なお、共有IDは、ユーザに設定させるものでもよく、前回連携したとき端末管理テーブル7010に記憶させた共有IDであってもよい。
【００９７】
以上において、本実施形態によれば、複数の通信端末5fを連携させて共有IDを予め設定することにより、以下の効果を奏する。
端末管理システム７が、対象外の通信端末5fから位置検知情報や通信端末ID等を受信しても、通信端末5f間の連携を開始しないので、誤認識が発生しない。
【００９８】
さらに複数の通信端末5fが連携させる場合、どの通信端末5fを連携させるか限定する必要が無い場合に有効である。例えば、１つの部屋に複数台の通信端末5fが有る場合、所望とする位置および台数の通信端末を選択して、並べるだけで複数の通信端末5fを連携させるだけでマルチディスプレイを実現可能である。
【００９９】
本実施形態によれば、例えば、３台の通信端末5fを連携させて、３台分に表示すべきコンテンツを配信する際に、２台の通信端末5fの位置情報を認識した段階で、２台に表示すべきコンテンツを表示することにより、以下の効果を奏する。
【０１００】
以上より、例えば、複数の通信端末5fを連携させ、通信端末5fが表示するコンテンツを、アスペクト比を変えずに拡大表示することで、１台で見ている時に小さくて見づらい場合、１台の通信端末5fを並べるだけで拡大表示され見やすくなる。
【０１０１】
［本発明の実施の形態２］
［配信管理装置及び通信端末］
図31は、主に配信管理装置と通信端末とを含めたシステムの機能ブロック図の他の一例である。
図31に示した実施の形態の図８に示した実施の形態との相違点は、スピーカとして右用のスピーカRight 65及び左用のスピーカLeft 66を有する点である。すなわち、通信端末5f1,5f2,5f3はステレオスピーカRight 65(R65)、ステレオスピーカLeft 66(L66)を備える。図８と同様の要素については、説明を省略する。
再生制御部53は、スピーカの位置に応じた音声を出力するようにスピーカを制御する。つまり、スピーカの位置がユーザに向かって最も左側の場合には左用の音声を出力し、スピーカの位置がユーザに向かって最も右側の場合には右用の音声を出力し、スピーカの位置が最も右側でも最も左側でもない場合は、左右両音声を合成した音声を出力する。但し、スピーカの位置が最も右側でも最も左側でもない場合は、左右両音声を出力しなくてもよい。通信端末は、スピーカは右用スピーカRight 65及び左用スピーカLeft 65を有するが、本発明はこれに限定されるものではなく、通信端末が１つのスピーカを用いて右用の音声もしくは左用の音声を切り替えて出力するように構成してもよい。
【０１０２】
図32は、図31に示したシステムの動作を示すシーケンス図の一例である。
端末管理システム７から配信管理装置２に配信先追加(端末ID、配置位置)を送ると(S242)、配信管理装置２は音声配信を選択する。配信管理装置２は、通信端末5f1に右用の音声データとしての音データ[右]を送る(S245-1)。左端でも右端でもない通信端末としての通信端末5f2に、左用音声及び右用音声を合成した中央の音声データとしての音データ[中央]を送る。通信端末5f3に左用の音声データとしての音データ[左]を送る。通信端末5f1は音[右]を再生し(S246-1)、通信端末5f2は音[中央]を再生し(S246-2)、通信端末5f3は音[左]を再生する(S246-3)。
つまり、配信管理装置２は端末管理システム７に保存されている端末ID毎の配置情報を受け取り、通信端末5f1〜5f3の位置によって配信する音声データを選択し各通信端末5f1〜5f3に送信する。例えば通信端末5f3、通信端末5f2、通信端末5f1が左から順番に配置されている場合を考える。通信端末5f3には左用の音声データを配信し、通信端末5f2には中央の音声データとしての左右両側用の音声の合成音声データを配信し、通信端末5f1には右側の音声を配信する。中央の通信端末5f2の音声は右用の音声と左用の音声とを合わせた音声でも良く、音声を出力しなくても良い。
【０１０３】
以上より、マルチディスプレイの場合、適正な音場を得ることができる。本来、右のスピーカからは右用の音声が聞こえ、左のスピーカからは左用の音声が聞こえる。このため、例えば、右のスピーカから聞こえてくる音が左のスピーカからは聞こえない。
シングルディスプレイの場合のステレオ音声の再生は通信端末の左側に配置されたスピーカからは左の音声、右側に配置されたスピーカからは右側の音声を出力してステレオ再生を行う。
しかし、マルチディスプレイにした状態で音声を再生すると左右の音声が左右に分かれずステレオ音場を得ることが出来ない。そこで、マルチディスプレイの場合の通信端末の配置情報からステレオ音場を得られるように左右の音声を切り替える。これにより、臨場感が得られる。
【０１０４】
尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。
【符号の説明】
【０１０５】
１    配信システム
２    配信管理装置
５    通信端末
７    端末管理システム
８    ウェブサーバ
９    通信ネットワーク
１０    変換部（変換手段の一例）
１１    トリミング部
１２    リサイズ部
１３    ブレンディング部
１４    エンコード部
２０    ブラウザ（生成手段の一例）
２１    送受信部
２２    ブラウザ管理部
２３    クラウドブラウザ
２４    送信用ＦＩＦＯバッファ（送信用ＦＩＦＯ）
３０    エンコーダブリッジ部
３１    送受信部（配信手段の一例）
６５    スピーカＲｉｇｈｔ
６６    スピーカＬｅｆｔ
５００    相対位置検知部
【先行技術文献】
【特許文献】
【０１０６】
【特許文献１】特開２００５−１２９０６８号公報
【図１】
2015079480.tif 000003
【図２】
2015079480.tif 000004
【図３】
2015079480.tif 000005
【図４】
2015079480.tif 000006
【図５】
2015079480.tif 000007
【図６】
2015079480.tif 000008
【図７】
2015079480.tif 000009
【図８】
2015079480.tif 000010
【図９】
2015079480.tif 000011
【図１０】
2015079480.tif 000012
【図１１】
2015079480.tif 000013
【図１２】
2015079480.tif 000014
【図１３】
2015079480.tif 000015
【図１４】
2015079480.tif 000016
【図１５】
2015079480.tif 000017
【図１６】
2015079480.tif 000018
【図１７】
2015079480.tif 000019
【図１８】
2015079480.tif 000020
【図１９】
2015079480.tif 000021
【図２０】
2015079480.tif 000022
【図２１】
2015079480.tif 000023
【図２２】
2015079480.tif 000024
【図２３】
2015079480.tif 000025
【図２４】
2015079480.tif 000026
【図２５】
2015079480.tif 000027
【図２６】
2015079480.tif 000028
【図２７】
2015079480.tif 000029
【図２８】
2015079480.tif 000030
【図２９】
2015079480.tif 000031
【図３０】
2015079480.tif 000032
【図３１】
2015079480.tif 000033
【図３２】
2015079480.tif 000034