(57)【要約】【課題】通信端末の負荷軽減を図りつつ、複数のブラウザで生成された映像データをユーザ所望のレイアウト方法で容易に提供する。【解決手段】映像配信装置の複数のブラウザは、コンテンツデータをレンダリングして映像データを生成する。送受信部は、複数の映像データの映像を１画面にレイアウトするためのレイアウト方法を識別するレイアウト識別情報を受信する。レイアウト処理部３１２は、レイアウト識別情報によって識別されるレイアウト方法に従って、複数の映像データをレイアウトした合成映像データを生成する。変換部１０は、合成映像データを、ネットワークを介して接続された通信端末に配信可能なデータ形式に変換する。【選択図】図１３
2015053613.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツデータをレンダリングして映像データを生成する複数の生成部と、
複数の前記映像データの映像を１画面にレイアウトするためのレイアウト方法を識別するレイアウト識別情報を受信する送受信部と、
前記レイアウト識別情報によって識別されるレイアウト方法に従って、複数の前記映像データをレイアウトした合成映像データを生成するレイアウト処理部と、
前記合成映像データを、ネットワークを介して接続された通信端末に配信可能なデータ形式に変換した変換合成映像データを生成する変換部と、
を備えた映像配信装置。
【請求項２】
前記送受信部は、前記変換合成映像データを配信対象の前記通信端末に配信する、請求項１に記載の映像配信装置。
【請求項３】
配信対象の通信端末の端末数に応じた前記生成部を起動させる管理部を備え、
起動された前記生成部の各々が前記映像データを生成する、請求項１または請求項２に記載の映像配信装置。
【請求項４】
前記管理部は、複数種類のレイアウト方法を選択させるためのレイアウト方法選択画面を生成するための前記生成部を起動させ、
前記変換部は、該生成部で生成された前記レイアウト方法選択画面を、前記通信端末に配信可能なデータ形式に変換し、
前記送受信部は、変換された前記レイアウト方法選択画面を前記端末装置へ送信した後に、前記レイアウト方法選択画面を介して選択された前記レイアウト方法の前記レイアウト識別情報を該端末装置から受信する、
請求項３に記載の映像配信装置。
【請求項５】
前記通信端末は、記録媒体に画像を形成する画像形成機能、ユーザから受け付けた操作軌跡に応じた画像を表示する電子黒板機能、及びネットワークを介して外部装置との間で同じ映像を同時再生するテレビ会議機能、の少なくとも１つの機能を備える、請求項１〜請求項４の何れか１項に記載の映像配信装置。
【請求項６】
映像配信装置と、前記映像配信装置にネットワークを介して接続された通信端末と、を備えた映像配信システムであって、
前記映像配信装置は、
コンテンツデータをレンダリングして映像データを生成する複数の生成部と、
複数の前記映像データの映像を１画面にレイアウトするためのレイアウト方法を識別するレイアウト識別情報を受信する送受信部と、
前記レイアウト識別情報によって識別されるレイアウト方法に従って、複数の前記映像データをレイアウトした合成映像データを生成するレイアウト処理部と、
前記合成映像データを、ネットワークを介して接続された通信端末に配信可能なデータ形式に変換した変換合成映像データを生成する変換部と、
を備え、
前記通信端末は、
前記映像配信装置から受信した合成映像データを表示部に再生する制御を行う再生制御部を備える、
映像配信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像配信装置、及び映像配信システムに関する。
【背景技術】
【０００２】
近年、インターネットの普及に伴い、様々な分野でクラウドコンピューティングが利用されてきている。クラウドコンピューティングは、ユーザが、インターネットに接続した端末を用いてインターネット上のサーバが提供するサービス（クラウドサービス）を利用し、その対価を支払うサービス利用形態である。
【０００３】
しかし、インターネット上で扱われるコンテンツデータ（ウェブコンテンツデータ）は、様々な要求に応えるためにリッチ化される傾向にある。そのため、インターネット経由でサービスを利用するための通信端末を用いて、リッチ化されたコンテンツを利用する場合、通信端末の負荷が高いという問題がある。
【０００４】
通信端末の負荷を低減させる技術としては、シンクライアントと呼ばれる技術がある（例えば、特許文献１等を参照）。そして、このシンクライアントの技術により、インターネット環境を利用してウェブベースで様々なアプリケーションを通信端末で実行することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来では、通信端末では、単にサーバから配信された映像を表示するのみであり、複数の通信端末に配信された映像をまとめて閲覧することはできなかった。すなわち、従来では、通信端末の負荷軽減を図りつつ、且つ、複数のブラウザの表示内容をユーザ所望のレイアウト方法で一度に閲覧することは困難であった。
【０００６】
本発明は、上記に鑑みてなされたものであって、通信端末の負荷軽減を図りつつ、複数のブラウザで生成された映像データをユーザ所望のレイアウト方法で容易に提供することができる、映像配信装置、及び映像配信システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、コンテンツデータをレンダリングして映像データを生成する複数の生成部と、複数の前記映像データの映像を１画面にレイアウトするためのレイアウト方法を識別するレイアウト識別情報を受信する送受信部と、前記レイアウト識別情報によって識別されるレイアウト方法に従って、複数の前記映像データをレイアウトした合成映像データを生成するレイアウト処理部と、前記合成映像データを、ネットワークを介して接続された通信端末に配信可能なデータ形式に変換した変換合成映像データを生成する変換部と、を備える。
【発明の効果】
【０００８】
本発明によれば、通信端末の負荷軽減を図りつつ、複数のブラウザで生成された映像データをユーザ所望のレイアウト方法で容易に提供することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施の形態の映像配信システムの概略図である。
【図２】図２は、ドングルを通信端末に装着するイメージを示す模式図である。
【図３】図３は、マルチブラウザによるデータの流れを示す模式図である。
【図４】図４は、端末管理装置の機能ブロック図である。
【図５】図５は、端末管理テーブルのデータ構造を示す図である。
【図６】図６は、位置関係の説明図である。
【図７】図７は、レイアウトＩＤテーブルの説明図である。
【図８】図８は、レイアウトＩＤテーブルの説明図である。
【図９】図９は、利用可能端末管理テーブルのデータ構造の一例を示す図である。
【図１０】図１０は、配信先選択画面の一例を示す模式図である。
【図１１】図１１は、レイアウト方法選択画面の一例を示す図である。
【図１２】図１２は、映像配信装置の機能的構成を示すブロック図である。
【図１３】図１３は、エンコーダブリッジ部の機能的構成を示す図である。
【図１４】図１４は、変換部の機能構成を示す模式図である。
【図１５】図１５は、通信端末の機能的構成を示す模式図である。
【図１６】図１６は、配信処理の流れの概要を示すシーケンス図である。
【図１７】図１７は、時刻調整処理の手順を示すシーケンス図である。
【図１８】図１８は、下り用の回転適応制御の手順を示すシーケンス図である。
【図１９】図１９は、上り用の回転適応制御の手順を示すシーケンス図である。
【図２０】図２０は、配信制御の手順を示すシーケンス図である。
【図２１】図２１は、配信制御の手順を示すシーケンス図である。
【図２２】図２２は、配信制御の手順を示すシーケンス図である。
【図２３】図２３は、レイアウト処理の手順を示すシーケンス図である。
【図２４】図２４は、映像配信装置、通信端末、端末管理装置のハードウェア構成図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、映像配信装置、及び映像配信システムの一の実施の形態を詳細に説明する。
【００１１】
本実施の形態の映像配信システムは、クラウドコンピューティングを利用してウェブコンテンツデータをレンダリングし、その結果を映像として通信端末に配信するシステムへの適用例である。なお、通信端末には、映像データ及び音データの少なくとも一方を配信すればよい。以下、映像データ及び音データの少なくとも一方を示す場合には、「映像（音）データ」と示して説明する。
【００１２】
まず、映像配信システム１の概略について説明する。
【００１３】
図１は、本実施の形態の映像配信システム１の概略図である。映像配信システム１は、映像配信装置２、ウェブサーバ８、端末管理装置７、及び複数種類の通信端末５ａ〜５ｆを備える。なお、複数種類の通信端末５ａ〜５ｆの内の任意の１種類を示す場合や、複数種類の通信端末５ａ〜５ｆを総称する場合は、通信端末５として説明する。
【００１４】
映像配信装置２、ウェブサーバ８、及通信端末５ａ〜５ｆは、ネットワーク９を介して接続されている。ネットワーク９は、インターネットやＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等である。ネットワーク９には、３Ｇ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）等の無線通信によるネットワークも含まれる。
【００１５】
端末管理装置７は、映像配信システム１を管理する装置である。具体的には、端末管理装置７は、通信端末５を利用するユーザの認証や、通信端末５の契約情報の管理等を行う。また、端末管理装置７は、映像配信装置２の配信管理等も行う。また、端末管理装置７は、ユーザが利用するログイン画面や設定画面などを提供するウェブサイトを有する。また、端末管理装置７は、電子メールを送信するためのＳＭＴＰ（Ｓｉｍｐｌｅ  Ｍａｉｌ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）サーバの機能を有する。
【００１６】
端末管理装置７は、例えば、クラウドサービス（ＩａａＳ：Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ  ａｓ  ａ  Ｓｅｒｖｉｃｅ）上に展開される仮想マシンとして実現することができる。端末管理装置７は、不測の事態に対応して継続的なサービス提供を行うために、多重化して運用することが望ましい。
【００１７】
映像配信装置２は、端末管理装置７による管理のもとで、ウェブコンテンツデータ（以下、「コンテンツデータ」と称する）をレンダリングし、映像（音）データとして通信端末５へ配信する。映像配信装置２は、例えば、複数台のコンピュータを用いて構成され、利用状況に応じてスケールアウトできるようになっている。本実施の形態においては、映像配信装置２は、画像処理用に拡張ボードを利用する構成であり仮想環境が利用できないため、物理マシンで構成する場合を説明する。
【００１８】
映像配信装置２は、ウェブサーバ８からウェブコンテンツデータを取得する。ウェブサーバ８は、１つに限られない。映像配信装置２は、クラウド上に存在するウェブブラウザ２０（以下、「ブラウザ」という）を有する。映像配信装置２は、ブラウザ２０によりウェブコンテンツデータをレンダリングし、これにより得られたＨ．２６４やＭＰＥＧ−４等の映像（音）データを、通信端末５に配信する（詳細後述）。
【００１９】
ブラウザ２０は、リアルタイムコミュニケーション（ＲＴＣ：Ｒｅａｌ−ｔｉｍｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎ／ｃｏｌｌａｂｏｒａｔｉｏｎ）を可能にしている。更に、後述の図１４におけるエンコード部１９を有している。エンコード部１９は、ブラウザ２０によって生成された映像（音）データに対して、リアルタイムのエンコードを行うことができる。そのため、映像配信装置２の処理は、ＤＶＤプレーヤによって、ＤＶＤに記録されているリアルタイム性のない映像（音）データを読み出して配信する場合等とは異なる。
【００２０】
映像配信装置２がコンテンツデータを取得するウェブサーバ８のウェブサイトは、連携サイトと一般サイトに分類される。連携サイトは、映像配信システム１と連携してサービスを提供するウェブサイトであり、事前に連携サイトとして登録されたウェブサイトである。連携サイトは、映像配信システム１のユーザや通信端末５に関する情報を利用することができる。また、連携サイトは、映像配信システム１の様々な機能を利用することができる。一般サイトは、一般にインターネット上に存在するウェブサイトである。
【００２１】
通信端末５は、クライアントアプリがインストールされたＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、タブレット端末、モバイル端末などである。本実施の形態では、映像配信システム１のサービスを受けるユーザが利用する端末を、通信端末５として想定している。
【００２２】
クライアントアプリは、所定のＯＳ（Ｏｐｅｒａｔｉｏｎ  Ｓｙｓｔｅｍ）上で動作する映像配信システム１専用のアプリケーションプログラムである。クライアントアプリは、映像配信装置２から配信された映像（音）データの再生を行うとともに、フレームロス数などの品質情報を映像配信装置２に送信する。クライアントアプリは、ブラウザ２０を操作したり、設定画面を操作したりするための操作情報を送信する機能も有する。なお、通信端末５にカメラやマイクが搭載されている場合は、これらカメラやマイクで取得された映像データや音声データを映像配信装置２に送信することもできる。
【００２３】
通信端末５には、上述したように、複数種類の通信端末５ａ〜５ｆがある。
【００２４】
通信端末５ａは、ノートＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）である。通信端末５ｂは、スマートフォンやタブレット端末等のモバイル端末である。通信端末５ｃは、コピー、スキャン、プリント、及びファックスの各機能が複合されたＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ／Ｐｒｉｎｔｅｒ／Ｐｒｏｄｕｃｔ）である。通信端末５ｄは、プロジェクタである。通信端末５ｅは、カメラ、マイク及びスピーカを備えたテレビ（ビデオ）会議端末である。通信端末５ｆは、ユーザ等の操作指示によって描かれた操作軌跡を受け付け、操作軌跡を電子的に変換して表示させることが可能な電子黒板（ホワイトボード）である。
【００２５】
なお、通信端末５は、上記通信端末５ａ〜５ｆに限られない。例えば、通信端末５は、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ（撮影装置）、マイク、スピーカ等であってもよい。また、通信端末５は、上記テレビ会議のテレビ会議機能、記録媒体に画像を形成する画像形成機能、及び電子黒板の電子黒板機能の内の１または複数の機能を備えた装置であってもよい。
【００２６】
なお、通信端末５の種類によっては、ネットワーク９を介して他の端末やシステムと通信する通信機能を有さないものがある（例えば、通信端末５ｄ）。このような場合には、通信機能を備えた小型装置を通信端末５ｄに装着することで、通信端末５ｄは映像配信装置２や端末管理装置７等とネットワーク９を介して通信可能となる。
【００２７】
図２は、ドングル９９を通信端末５ｄに装着するイメージを示す模式図である。図２に示すように、通信端末５ｄに設けられたＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）や、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）等のインターフェース部に、ドングル９９を装着する。これにより、通信端末５ｄは、ネットワーク９を介して端末管理装置７や映像配信装置２等と通信可能となる。
【００２８】
また、映像配信システム１のサービスに対応していない端末装置を通信端末５として用いる場合についても、映像配信システム１のサービスに対応するためのデバイスアプリを格納したドングルを該端末装置に接続することで、通信端末５として機能させることができる。
【００２９】
本実施の形態の映像配信システム１では、映像を表示する表示部を備えた通信端末５（例えば、通信端末５ｆ）を並べて使用することで、マルチブラウザ等の配信方法で映像を配信することができる。
【００３０】
マルチブラウザとは、連動性を有する複数の映像（音）データを複数の通信端末５に配信して再生する配信方式である。マルチブラウザでは、配信対象の通信端末５の端末数に応じた数のブラウザ２０を起動し、各ブラウザ２０でコンテンツデータを取得してレンダリングすることで映像（音）データを生成する。そして、マルチブラウザでは、生成した複数の映像（音）データを、連動表示の可能な１つの映像に変換した後に、連動性を維持したまま、配信対象の複数の通信端末に配信する。
【００３１】
これにより、例えば、通信端末５ｆ１に表示されている画像を変更する場合には、この変更に連動して、他の通信端末（５ｆ２，５ｆ３）に表示される画像も変更することができる。なお、この場合、通信端末（５ｆ１，５ｆ２，５ｆ３）が同じ表示再生能力（解像度が同じ等）を有する必要がある。
【００３２】
＜配信方法の説明＞
次に、本実施の形態の映像配信システム１の配信処理であるマルチブラウザによるデータの流れを説明する。図３は、本実施の形態の映像配信システム１のマルチブラウザによるデータの流れを示す模式図である。
【００３３】
本実施の形態の映像配信システム１の映像配信装置２では、映像（音）データ配信対象の通信端末５の端末数に対応する数の複数のブラウザ２０を起動する。図３に示す例では、３つのブラウザ２０ａ、２０ｂ、２０ｃを起動する場合を示した。起動した各ブラウザ２０（２０ａ、２０ｂ、２０ｃ）は、ウェブサーバ８（８ａ、８ｂ、８ｃ）の各々からコンテンツデータ〔Ａ〕、〔Ｂ〕、〔Ｃ〕を各々取得する。
【００３４】
各ブラウザ２０（２０ａ、２０ｂ、２０ｃ）は、各々取得したコンテンツデータ〔Ａ〕、〔Ｂ〕、〔Ｃ〕をレンダリングすることにより、映像（音）データ〔Ａ〕、〔Ｂ〕、〔Ｃ〕を生成する。エンコーダブリッジ部３０（詳細後述）は、映像（音）データ〔Ａ〕、〔Ｂ〕、〔Ｃ〕について、連動した表示が可能な１つの映像（音）データ〔ＡＢＣ〕に変換する。その後、エンコーダブリッジ部３０は、この映像（音）データ〔ＡＢＣ〕を、エンコード（データ形式を変換）する。
【００３５】
さらに、エンコーダブリッジ部３０は、エンコードした映像（音）データ〔ＡＢＣ〕の連動性を維持したまま、この映像（音）データ〔ＡＢＣ〕を各通信端末５ｆ１、５ｆ２、５ｆ３の各々へ配信する。
【００３６】
本実施の形態の映像配信装置２では、この映像（音）データ〔ＡＢＣ〕を単に配信するのではなく、ユーザにより選択されたレイアウト方法でレイアウトした後に、配信する（詳細後述）。
【００３７】
なお、エンコーダブリッジ部３０は、エンコードした映像（音）データ〔ＡＢＣ〕の連動性を維持したまま、映像（音）データ〔ＡＢＣ〕を、映像（音）データ〔Ａ〕、〔Ｂ〕、〔Ｃ〕に分割して配信してもよい。この場合、映像配信装置２は、映像（音）データ〔Ａ〕を通信端末５ｆ１に配信し、映像（音）データ〔Ｂ〕を通信端末５ｆ２に配信し、映像（音）データ〔Ｃ〕を通信端末５ｆ３に配信する。
【００３８】
このように、本実施の形態の映像配信システム１では、映像配信装置２のブラウザ２０がウェブサーバ８からコンテンツデータを取得してレンダリングすることにより、映像（音）データを生成する。そして、エンコーダブリッジ部３０が、映像（音）データをエンコード等して、通信端末５に配信する。
【００３９】
このため、ブラウザ２０で取得したコンテンツデータが、ＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）やＣＳＳ（Ｃａｓｃａｄｉｎｇ  Ｓｔｙｌｅ  Ｓｈｅｅｔｓ）等で記述されたリッチなコンテンツデータであったとする。このような場合でも、映像配信装置２から通信端末５には、Ｈ．２６４やＭＰＥＧ−４等に変換された映像（音）データが配信される。このため、低スペックの通信端末５であってもスムーズに映像（音）データを再生することが可能になる。
【００４０】
また、本実施の形態の映像配信システム１では、映像配信装置２におけるブラウザ２０を最新化しておくことで、通信端末５のブラウザを最新化しなくても、最新のリッチなウェブコンテンツデータを通信端末５側でスムーズに再生することが可能となる。
【００４１】
すなわち、本実施の形態の映像配信システム１を利用すると、通信端末５側の負荷を低減させつつ、リッチなコンテンツデータをブラウジングすることができる。
【００４２】
また、本実施の形態の映像配信システム１では、マルチブラウザにより、複数の通信端末５へ連動した映像（音）データを配信する。このため、例えば、１の通信端末５ｆ１に表示されている映像（音）データがユーザによる操作指示によって変更された場合には、この変更に連動して、他の通信端末（５ｆ２，５ｆ３）に表示されている映像（音）データも変更することができる。
【００４３】
さらに、本実施の形態の映像配信システム１では、ブラウジングしているウェブコンテンツデータに対しての端末からの入力（マウスクリック、タップ、スクロールなど）がイベントとしてクラウドブラウザにリアルタイムに送信され、ウェブコンテンツデータに反映される。すなわち、本実施の形態の映像配信システム１によれば、映像として配信されているウェブコンテンツデータをインタラクティブに操作することが可能である。
【００４４】
また、本実施の形態の映像配信システム１は、ウェブコンテンツデータを映像として配信する仕組みであるため、同一のウェブコンテンツデータを多拠点に同時に配信（マルチキャスト）することもでき、ブラウジングの内容を多拠点で共有することができる。
【００４５】
さらに、ユーザが、通信端末５を用いて、映像として配信されているウェブコンテンツデータに対して操作（マウスクリック、タップ、スクロールなど）を行うと、その操作に応じた操作情報が映像配信装置２に送信される。映像配信装置２は、通信端末５からの操作情報をクラウドブラウザの処理に反映させる。これにより、ウェブコンテンツデータをインタラクティブに操作することができる。
【００４６】
＜機能的構成＞
次に、端末管理装置７、映像配信装置２、及び通信端末５の機能的構成を説明する。
【００４７】
図４は、端末管理装置７の機能ブロック図である。端末管理装置７は、送受信部７１ａ、送受信部７１ｂ、抽出部７２、認証部７５、配信管理部７３、及び記憶部７０を含む。これらの構成要素は、例えば、映像配信装置２のハードウェアとして用いるコンピュータのＯＳ上で実行されるプログラム（ソフトウェア）によって実現することができる。
【００４８】
記憶部７０は、ＨＤＤ（ハードディスクドライブ）等によって構成され、各種データを記憶する。本実施の形態では、記憶部７０は、端末管理テーブル７０Ｃ、利用可能端末管理テーブル７０Ｄ、及びレイアウトＩＤテーブル７０Ｅを記憶する。
【００４９】
端末管理テーブル７０Ｃは、映像配信システム１における各通信端末５を管理するための各種情報を格納したテーブルである。図５は、端末管理テーブル７０Ｃのデータ構造を示す図である。端末管理テーブル７０Ｃは、端末ＩＤ、ユーザ証明書、契約情報、端末種別、設定情報（ＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ））、共有ＩＤ、位置関係、レイアウトＩＤ、及び表示名を対応づけたテーブルである。
【００５０】
端末ＩＤは、通信端末５を一意に識別するための識別情報である。ユーザ証明書は、映像配信システム１への接続を許可された通信端末５であることを証明する証明書である。ユーザ証明書は、映像配信システム１への接続を許可された通信端末５に予め与えられている。契約情報は、端末ＩＤによって特定される通信端末５を使用するユーザが映像配信システム１のサービスを利用する際の契約内容を示す。端末種別は、通信端末５の種別を示す。設定情報（ＵＲＬ）は、対応する端末ＩＤによって識別される通信端末５のホームＵＲＬを示す。
【００５１】
共有ＩＤは、遠隔供給処理を行う場合に利用される識別情報である。遠隔共有処理とは、１つの通信端末５に配信されている映像（音）データと、同じ映像（音）データを他の１または複数の通信端末５に配信させることで、映像（音）データを共有させる処理である。すなわち、同じ共有ＩＤに属する端末ＩＤによって特定される各通信端末５には、これらの複数の通信端末５の内の１の通信端末５に配信されている映像（音）データと同じ映像（音）データが配信されることとなる。記憶部７０には、共有ＩＤと、共有ＩＤに属する１または複数の端末ＩＤと、が対応づけて利用可能端末管理テーブル７０Ｄとして予め格納されている（詳細後述）。
【００５２】
共有ＩＤは、複数の通信端末５を予め定めた群に分類し、分類した群毎に一意に予め割り当てられる。この分類方法は、同じ空間（部屋や建物等）に設置された通信端末５を１つの群として共有ＩＤを割り当ててもよいし、同じ端末種別の通信端末５を１つの群として共有ＩＤを割り当ててもよいし、同じユーザによって管理されている通信端末５を１つの群として共有ＩＤを割り当ててもよい。本実施の形態では、一例として、同じ建物内に配置された通信端末５を１つの群として共有ＩＤが予め割り当てられているものとして説明する。
【００５３】
この共有ＩＤは、通信端末５からの設定要求や、端末管理装置７に設けられた図示を省略する操作部の操作指示等によって、適宜変更可能としてもよい。
【００５４】
例えば、共有ＩＤ「ｖ０００６」に属する端末ＩＤが、端末ＩＤ「ｔ０００６」、「ｔ０００７」、「ｔ０００８」であったとする。これらの端末ＩＤ「ｔ０００６」、「ｔ０００７」、「ｔ０００８」の各々によって特定される通信端末５が、例えば、通信端末５ｆ１、５ｆ２、５ｆ３であったとする。ここで、端末ＩＤ「ｔ００１」の通信端末５ａから、共有ＩＤ「ｖ００６」に属する通信端末との遠隔共有処理の要求があったとする。この場合は、映像配信装置２は、端末ＩＤ「ｔ０００６」、「ｔ０００７」、「ｔ０００８」によって特定される通信端末５（５ｆ１、５ｆ２、５ｆ３）に、通信端末５ａに配信中の映像（音）データと同じ映像（音）データを配信する。但し、通信端末５ａと通信端末（５ｆ１，５ｆ２，５ｆ３）の表示部（図示省略）の解像度が異なる場合には、映像配信装置２は、解像度に応じた映像（音）データを配信する。
【００５５】
位置関係は、同じ共有ＩＤに属する通信端末５の、実際の設置位置の位置関係を示している。図６は、位置関係の説明図である。図６に示すように、同じ共有ＩＤに属する３台の通信端末５ｆ（５ｆ１、５ｆ２、５ｆ３）が、所定方向に配列されて設置されていたとする。この場合、例えば、これらの通信端末５ｆの位置関係を表す表現として、表示画面に対向する方向から視認したときの位置である、「左」、「中」、「右」が、位置関係として端末管理テーブル７０Ｃに予め格納される。
【００５６】
図５に戻り、レイアウトＩＤ（レイアウト識別情報）は、レイアウト方法を一意に識別するための識別情報である。レイアウト方法は、複数のブラウザ２０でレンダリングにより生成された複数の映像（音）データの映像を、１画面にレイアウトするための方法である。レイアウト方法は、各映像（音）データの映像の画面上での位置、大きさ、範囲等を示す情報を含む。
【００５７】
表示名は、配信先選択画面（詳細後述）に表示する内容を示す情報である。
【００５８】
端末管理テーブル７０Ｃは、さらに、各端末ＩＤの実行環境を示す実行環境情報を含んでいてもよい。実行環境情報には、各端末ＩＤによって特定される通信端末５の、「お気に入り」、「前回のＣｏｏｋｉｅ情報」、「キャッシュファイル」、及び「ブラウザの設定情報」等を含む。実行環境情報は、通信端末５が映像配信システム１へログインした後に、後述する設定情報と共に通信端末５から映像配信装置２へ送信される。実行環境情報は、各通信端末５に対して個別のサービスを行うために利用される。
【００５９】
レイアウトＩＤテーブル７０Ｅは、レイアウトＩＤと、レイアウト方法と、を対応づけて記憶したテーブルである。本実施の形態では、記憶部７０は、同時に起動するブラウザの数（すなわち、配信対象の通信端末５の端末数）毎に、レイアウトＩＤテーブル７０Ｅを予め記憶する。
【００６０】
図７及び図８は、レイアウトＩＤテーブルの説明図である。なお、図８は、端末数「３」に対応するレイアウトＩＤテーブル７０Ｅの一例である。ここで、例えば、図７に示すように、各ブラウザ２０（２０ａ、２０ｂ、２０ｃ）によって生成された映像（音）データの映像を、各々Ａ、Ｂ、Ｃとする。この場合、図８に示すように、レイアウトＩＤテーブル７０Ｅは、レイアウトの異なる複数種類のレイアウト方法と、各レイアウト方法を一意に識別するレイアウトＩＤと、を対応づけて記憶する。
【００６１】
本実施の形態では、レイアウトＩＤ、及びレイアウトＩＤによって特定されるレイアウト方法は、予め用意されているものとして説明する。なお、レイアウト方法は、ユーザによる端末管理装置７の図示を省略する操作部の操作指示や、通信端末５からの要求等に応じて、適宜、追加、変更可能としてもよい。
【００６２】
図８に示すように、各レイアウトＩＤによって特定されるレイアウト方法は、各ブラウザ２０（２０ａ、２０ｂ、２０ｃ）により生成される映像（音）データの映像（Ａ、Ｂ、Ｃ）を１画面に配置したときの配置位置や大きさや占める範囲が異なる。
【００６３】
これらのレイアウトＩＤの内の１のレイアウトＩＤが、後述する処理によって通信端末５を操作するユーザによって選択される。図５に示す端末管理テーブル７０Ｃには、映像配信対象の端末ＩＤに対応づけて、通信端末５により選択されたレイアウトＩＤが格納される。
【００６４】
図４に戻り、利用可能端末管理テーブル７０Ｄは、各端末ＩＤと、各端末ＩＤの属する共有ＩＤと、を対応づけたテーブルである。言い換えると、利用可能端末管理テーブル７０Ｄは、端末ＩＤ毎に、この端末ＩＤによって示される通信端末５が遠隔共有処理することが可能な通信端末又は通信端末群を示す共有ＩＤが関連付けて管理されている。図９は、利用可能端末管理テーブル７０Ｄのデータ構造の一例を示す図である。利用可能端末管理テーブル７０Ｄは、端末ＩＤと、共有ＩＤと、を対応づけたテーブルである。図９に示す利用可能端末管理テーブル７０Ｄでは、共有ＩＤ「ｖ００６」に属する端末ＩＤが、端末ＩＤ「ｔ００６」、「ｔ００７」、「ｔ００８」であることを示している。
【００６５】
また、記憶部７０は、映像配信システム１のサービスに必要なユーザ情報や、デバイス情報などの永続的なデータを保管する。また、記憶部７０は、通信端末５の状態（切断状態／待機状態／使用中）を表す配信情報や、映像配信装置２の負荷の状態を表す負荷情報、セッションで用いるユーザごとの情報（Ｃｏｏｋｉｅ、ブラウザ設定情報、キャッシュ、閲覧履歴など）である実行環境情報など、映像配信システム１の管理に用いられる各種情報を保存する。
【００６６】
なお、記憶部７０は、外部記憶装置に格納し、端末管理装置７と別体として構成してもよい。この場合、記憶部７０は、端末管理装置７と例えばＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）により接続すればよい。
【００６７】
図４に戻り、抽出部７２は、配信先選択画面に表示する表示名等のコンテンツデータや、レイアウト方法選択画面に表示するレイアウトＩＤ等のコンテンツデータを記憶部７０から抽出する。
【００６８】
配信先選択画面は、遠隔共有処理する対象の通信端末５の選択を受け付けるときに、該通信端末５に表示される画面である。図１０は、配信先選択画面７０Ａの一例を示す模式図である。配信先選択画面７０Ａは、配信先の指示を促す文字情報や、配信先として選択可能な通信端末５の属する共有ＩＤの一覧、及び各共有ＩＤに対応する表示名、及び各共有ＩＤのチェック欄を含む。
【００６９】
抽出部７２は、共有端末選択メニュー要求を通信端末５から受け付けると、該要求に含まれる端末ＩＤに対応する共有ＩＤを利用可能端末管理テーブル７０Ｄ（図９参照）から抽出する。そして、抽出部７２は、抽出した共有ＩＤに対応する表示名を端末管理テーブル７０Ｃ（図５参照）から抽出する。そして、抽出部７２は、抽出した共有ＩＤ及び表示名を含むコンテンツデータを映像配信装置２へ送信する。
【００７０】
また、抽出部７２は、レイアウト方法選択画面に表示する各種コンテンツデータとして、配信対象の通信端末５の端末数に対応するレイアウトＩＤテーブル７０Ｅを抽出する。抽出部７２は、例えば、後述する共有端末選択メニュー要求を通信端末５から受け付けると、利用可能端末管理テーブル７０Ｄ（図９参照）を参照する。そして、抽出部７２は、該利用可能端末管理テーブル７０Ｄから該要求に含まれる端末ＩＤに対応する共有ＩＤを読取る。さらに、抽出部７２は、読取った共有ＩＤに属する通信端末５の端末数を利用可能端末管理テーブル７０Ｄから算出し、該端末数の各々に対応するレイアウトＩＤテーブル７０Ｅを記憶部７０から読取る。これによって、抽出部７２は、各共有ＩＤに属する端末数毎の、レイアウトＩＤテーブル７０Ｅを抽出する。
【００７１】
図１１は、レイアウト方法選択画面７０Ｂの一例を示す図である。図１１は、配信対象の通信端末５の端末数が「３」である場合のレイアウトＩＤテーブル７０Ｅ（図８参照）に基づいて、該レイアウトＩＤテーブル７０Ｅに示される各レイアウト方法を選択可能に示した画面である。
【００７２】
レイアウト方法選択画面７０Ｂは、抽出部７２で抽出されたレイアウトＩＤテーブル７０Ｅに基づいて端末管理装置７で作成される。そして、端末管理装置７でエンコードされた後に通信端末５へ配信される。これにより、通信端末５の表示部には、レイアウト方法選択画面７０Ｂが表示される。そして、ユーザによる操作部の操作指示によって、レイアウト方法選択画面７０Ｂにおける１のレイアウト方法のチェックボックスの表示領域が指示される。これにより、レイアウト方法がユーザによって選択される。図１１では、「ＡＣＢ」のレイアウト方法が選択された状態を示している。レイアウト方法が選択されると、選択されたレイアウト方法に対応するレイアウトＩＤが、通信端末５から端末管理装置７へ送信されることとなる。
【００７３】
図４に戻り、送受信部７１ａは、通信端末５との間で各種データや要求等の送受信を行う。例えば、送受信部７１ａは、通信端末５からログイン要求を受信する。ログイン要求は、映像配信システム１に対する通信端末５の認証要求である。ログイン要求は、通信端末５を一意に識別する端末ＩＤと、ユーザ証明書を含む。また、送受信部７１ａは、通信端末５に対してログイン要求の認証結果を送信したりする。
【００７４】
送受信部７１ｂは、映像配信装置２との間で各種データや要求等の送受信を行う。例えば、送受信部７１ｂは、映像配信装置２から、配信先選択画面の要求やレイアウト方法選択画面の要求を受信する。また、送受信部７１ｂは、受信した配信先選択画面の要求に対して、記憶部７０に記憶されている配信先選択画面７０Ａを送信する。また、送受信部７１ｂは、受信したレイアウト方法選択画面の要求に対して、記憶部７０に記憶されているレイアウト方法選択画面７０Ｂを送信したりする。
【００７５】
認証部７５は、通信端末５から受信したログイン要求に含まれる端末ＩＤ及びユーザ証明書に基づいて、該通信端末５の認証を行う。具体的には、認証部７５は、受け付けた端末ＩＤとユーザ証明書の組み合わせが、端末管理テーブル７０Ｃに対応づけて格納されているか否かを判別することで、通信端末５の認証を行う。
【００７６】
配信管理部７３は、映像配信装置２による映像（音）データの配信を制御する。配信管理部７３は、出力デバイス設定、配信情報の生成・更新、マルチブラウザの設定・パターン表示・補正データ受信、信頼関係者に対する出力デバイス要求、配信開始・終了、配信先の追加、配信セッションの管理、配信エンジンサーバ２Ａの負荷分散判定、映像の品質判定などの機能を有する。配信セッションの管理は、どの通信端末５がどの配信エンジンサーバ２Ａに接続されているかなどの管理である。
【００７７】
例えば、配信管理部７３は、通信端末５からのログイン要求によって認証部７５で認証された通信端末５の端末ＩＤで利用するブラウザ２０の起動要求を、映像配信装置２へ送信する。
【００７８】
また、配信管理部７３は、通信端末５から配信先の追加を要求する配信先追加要求を受け付ける。配信先追加要求は、配信先として追加する対象の端末ＩＤの属する共有ＩＤと、通信端末５で選択されたレイアウトＩＤと、を少なくとも含む。配信管理部７３は、配信先追加要求を受け付けると、配信先追加指示に含まれる共有ＩＤに属する端末ＩＤを、配信先として追加して配信情報や端末管理テーブル７０Ｃの更新を行う。
【００７９】
また、配信管理部７３は、配信先追加要求を受け付けると、該通信端末５が利用している配信エンジンサーバ２Ａを特定し、特定した配信エンジンサーバ２Ａに対して、配信先追加指示を送信する。具体的には、配信管理部７３は、配信先追加要求に含まれる共有ＩＤに対応する端末ＩＤを、端末管理テーブル７０Ｃ（図５参照）から読取る。そして、配信管理部７３は、読取った端末ＩＤ、端末ＩＤに対応する位置関係、該端末ＩＤに対応する実行環境情報等の設定情報、該配信先追加要求に含まれていたレイアウトＩＤを含む配信先追加指示を、映像配信装置２へ送信する。
【００８０】
＜映像配信装置＞
次に、映像配信装置２の機能を説明する。図１２は、映像配信装置２の機能的構成を示すブロック図である。
【００８１】
映像配信装置２は、各通信端末５への配信を制御する配信エンジンサーバ２Ａを備える。なお、図１２に示す例では、映像配信装置２が通信端末５ｆ１に対して映像（音）データを配信する場合の機能構成を示した。しかし、配信先が通信端末５ｆ１以外の場合も、同じ機能構成である。また、映像配信装置２は、各通信端末５への配信を制御する複数の配信エンジンサーバ２Ａを備えているが、図１２には、説明を簡単にするために、単一の配信エンジンサーバ２Ａを備えた構成を示した。
【００８２】
映像配信装置２の配信エンジンサーバ２Ａは、ブラウザ２０、送受信部２１、ブラウザ管理部２２、送信用ＦＩＦＯ２４、時刻管理部２５、時刻取得部２６、回線適応制御部２７、エンコーダブリッジ部３０、送受信部３１、受信用ＦＩＦＯ３４、認識部３５、遅延情報取得部３７ａ、回線適応制御部３７ｂ、デコード部４０、及び記憶部２３を備える。これらの構成要素は、例えば、映像配信装置２のハードウェアとして用いるコンピュータのＯＳ上で実行されるプログラム（ソフトウェア）によって実現することができる。
【００８３】
送受信部２１は、端末管理装置７やウェブサーバ８との間で、各種データや要求等の送受信を行う。例えば、送受信部２１は、ウェブサーバ８のコンテンツデータサイトからウェブコンテンツデータを取得する。
【００８４】
記憶部２３は、各種データを記憶し、ＨＤＤ等によって構築される。記憶部２３は、例えば、認識部３５から受け付けた認証情報（詳細後述）を記憶する。また、ブラウザ２０がウェブサーバ８から取得したコンテンツデータを、キャッシュとして、記憶部２３に一時的に記憶してもよい。
【００８５】
ブラウザ２０は、映像配信装置２内で動作するウェブブラウザである。ブラウザ２０は、ウェブコンテンツデータ等のコンテンツデータをレンダリングする。これにより、ブラウザ２０は、コンテンツデータから、映像（音）データを生成する。生成される映像（音）データは、例えば、ＲＧＢデータや、ＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）データ等である。なお、ブラウザ２０は、ウェブコンテンツデータのリッチ化に対応させて常に最新化されているものとする。
【００８６】
また、本実施の形態の映像配信システム１では、映像配信装置２内に複数のブラウザ２０を用意している。映像配信システム１では、これら複数のブラウザ２０の中からユーザセッションに使用するブラウザが選択される。上述したように、本実施の形態の映像配信システム１では、配信方法としてマルチブラウザを用いる場合を説明する。このため、本実施の形態では、配信対象の通信端末５の端末数に応じた数のブラウザ２０が起動される。なお、図１２では、説明を簡略化するため、単一のブラウザ２０が用意されている場合を示した。
【００８７】
ブラウザ２０は、例えば、Ｍｅｄｉａ  Ｐｌａｙｅｒ、Ｆｌａｓｈ  Ｐｌａｙｅｒ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＣＳＳ（Ｃａｓｃａｄｉｎｇ  Ｓｔｙｌｅ  Ｓｈｅｅｔ）及びＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）レンダラを有する。なお、ＪａｖａＳｃｒｉｐｔ（登録商標）には、標準規格のものと映像配信システム１独自のものが含まれる。
【００８８】
Ｍｅｄｉａ  Ｐｌａｙｅｒは、映像（音）データファイルなどのマルチメディアファイルをブラウザ２０内で再生するためのブラウザプラグインである。Ｆｌａｓｈ  Ｐｌａｙｅｒは、Ｆｌａｓｈコンテンツデータをブラウザ２０内で再生するためのブラウザプラグインである。独自のＪａｖａＳｃｒｉｐｔ（登録商標）は、映像配信システム１に固有のサービスのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）を提供するＪａｖａＳｃｒｉｐｔ（登録商標）群である。ＣＳＳは、ＨＴＭＬで記述されたウェブページの見栄えやスタイルを効率的に定義するための技術である。ＨＴＭＬレンダラは、ウェブキットベースのＨＴＭＬレンダリングエンジンである。
【００８９】
ブラウザ管理部２２は、ブラウザ２０やエンコーダブリッジ部３０を管理する。具体的には、ブラウザ管理部２２は、ブラウザ２０やエンコーダブリッジ部３０の起動又は終了を管理する。ブラウザ管理部２２は、遠隔共有処理する対象、すなわち映像（音）データ配信対象の通信端末５の端末数に応じた数のブラウザ２０を起動させる。
【００９０】
また、ブラウザ管理部２２は、エンコーダブリッジ部３０の起動又は終了時にエンコーダＩＤを採番したりする。エンコーダＩＤは、ブラウザ管理部２２がエンコーダブリッジ３０のプロセスを管理するために採番する識別情報である。
【００９１】
また、ブラウザ管理部２２は、ブラウザ２０が起動されるたびに、ブラウザＩＤを採番して管理する。ブラウザＩＤは、ブラウザ管理部２２がブラウザ２０のプロセスを管理するために採番した識別情報であり、ブラウザ２０を識別するための識別情報である。
【００９２】
また、ブラウザ管理部２２は、送受信部３１を介して通信端末５から各種操作データを取得し、ブラウザ２０に出力する。操作データは、通信端末５での操作イベント（通信端末５に設けられたキーボードやマウス等による操作や電子ペンによるストローク等）によって生じたデータである。また、通信端末５に温度センサ、湿度センサ、及び加速度センサ等の各種センサが設けられている場合には、ブラウザ管理部２２は、通信端末５から各センサの出力信号であるセンサ情報を取得し、ブラウザ２０に出力する。
【００９３】
送信用ＦＩＦＯ２４は、ブラウザ２０で生成された映像（音）データを格納するバッファである。ここで、上述したように、本実施の形態の映像配信システム１では、配信方法としてマルチブラウザを用いるため、配信対象の通信端末５の端末数に応じた数のブラウザ２０が起動される。このため、送信用ＦＩＦＯ２４には、複数のブラウザ２０の各々で生成された映像（音）データが格納される。
【００９４】
時刻管理部２５は、映像配信装置２独自の時刻Ｔを管理する。時刻取得部２６は、通信端末５における時刻制御部（詳細後述）と連携して、時刻調整の処理を行う。具体的には、時刻取得部２６は、時刻管理部２５から映像配信装置２における時刻Ｔを示す時刻情報（Ｔ）を取得する。また、時刻取得部２６は、通信端末５の時刻制御部から、通信端末５における時刻ｔを示す時刻情報（ｔ）を取得する。また、時刻取得部２６は、通信端末５の時刻制御部に、時刻情報（ｔ）及び時刻情報（Ｔ）を送信する。
【００９５】
回線適応制御部２７は、上り用（通信端末５から映像配信装置２への通信用）の回線適応制御を行う。
【００９６】
独自転送プロトコルによる受信処理を行っている際に通信端末５においてＲＴＰデータの受信状況が悪化すると、映像をスムーズに再生できない懸念がある。その場合は、再生遅延時間（通信端末５で映像データをバッファする時間）を延ばしたり、映像配信装置２のエンコーダブリッジ部３０が映像データをエンコードする際のビットレートを落としたりすることで、スムーズな再生を可能にする。このため、通信端末５での映像データの受信状況を一定間隔（初期パラメータで設定）ごとに映像配信装置２に伝え、回線適応制御処理により適切なエンコードパラメータや再生遅延時間の調整を行う。この調整を、詳細を後述する回線適応制御部３７ｂで行う。
【００９７】
エンコードパラメータは、ビットレート、フレームレートなどの各パラメータを個別に変更するのではなく、それらを複数のセットにしてランク付けする。それを品質判定テーブルとして、通信端末５がＲＴＰデータの受信に利用する回線の品質にあわせて、ランクを選択する。
【００９８】
また、独自転送プロトコルによる送信処理においても、受信処理と同様に、回線の品質に応じてエンコードパラメータを調整し、リアルタイム性が損なわれないようにすることが望まれる。そこで、映像配信装置２側で通信端末５から送られてくるデータの受信状況を取得し、回線の品質に応じた適切なビットレート、フレームレートを算出して、エンコードパラメータを調整する。この調整を、回線適応制御部２７で行う。
【００９９】
なお、回線の品質判定により得られたエンコードパラメータや再生遅延時間が現在のものと異なるとき、品質判定の結果に変化があるたびにエンコードパラメータや再生遅延時間を変更していると、評価対象の値が閾値付近にある場合に再生品質が目まぐるしく変化してしまい、スムーズな再生の妨げとなる。そこで、回線の品質が上がる場合と下がる場合とで異なる閾値を持つことで、これを回避することが望ましい。
【０１００】
回線適応制御部２７は、具体的には、通信端末５から送信遅延時間情報（Ｄ）を受け付ける。送信遅延時間情報（Ｄ）は、映像配信装置２から通信端末５へ配信されるＲＴＰパケットの遅延時間を示す情報であり、通信端末５で算出される（詳細後述）。回線適応制御部２７は、この送信遅延時間情報（Ｄ）を、エンコードの品質情報として用いる。
【０１０１】
回線適応制御部２７は、受け付けた送信遅延時間情報（Ｄ）に基づいて、再生遅延情報（Ｕ）の計算や、エンコーダブリッジ部３０における変換部（詳細後述）のフレームレートやデータの解像度等の動作条件の計算を行う。再生遅延情報（Ｕ）は、通信端末５側で映像（音）データを再生するときの調整に用いる情報である。通信端末５側では、再生前に該再生遅延情報（Ｕ）に応じた時間、映像（音）データをバッファリングすることで、再生を遅延させる。
【０１０２】
エンコーダブリッジ部３０は、ブラウザ２０が生成した映像（音）データを送信用ＦＩＦＯ２４から読み出し、各映像（音）データを用いて、合成映像データ（詳細後述）の作成や、データ形式の変換等の処理を実行する。そして、エンコーダブリッジ部３０は、合成映像データのデータ形式を変換することで生成した変換合成映像データを、配信対象の通信端末５に配信する。なお、合成映像データ及び変換合成映像データについても、映像データと同様に、音を含んでいてもよい。
【０１０３】
図１３は、エンコーダブリッジ部３０の機能的構成を示す図である。エンコーダブリッジ部３０は、レイアウト処理部３１２、生成・選択部３１０、変換部１０（１０ａ〜１０ｃ）、及び選択部３２０を備える。
【０１０４】
レイアウト処理部３１２は、レイアウト処理を実行する。レイアウト処理は、複数のブラウザ２０の各々で作成された各映像（音）データを、通信端末５で選択されたレイアウトＩＤによって特定されるレイアウト方法に従ってレイアウトすることで、合成映像データを生成する処理である。
【０１０５】
具体的には、レイアウト処理部３１２は、まず、送信用ＦＩＦＯ２４（図１２参照）に格納された各映像（音）データを読み出す。ここでは、３つのブラウザ２０が起動され、各ブラウザ２０で作成された３つの映像（音）データが送信用ＦＩＦＯ２４に格納されているものとして説明する。なお、起動されるブラウザ２０の数は、遠隔共有処理する対象である、配信対象の通信端末５の端末数に応じて定まり、３つに限られない。
【０１０６】
レイアウト処理部３１２は、読み出した３つの映像（音）データを、通信端末５で選択されたレイアウトＩＤによって特定されるレイアウト方法に従ってレイアウトした合成映像データを生成する。通信端末５で選択されたレイアウトＩＤは、ユーザによる通信端末５の図示を省略する操作部の操作指示によって選択されたものである。
【０１０７】
詳細には、レイアウト処理部３１２は、通信端末５から受信した操作データに含まれるレイアウトＩＤを読取ることで、レイアウトＩＤを特定する。なお、レイアウト処理部３１２は、端末管理装置７から受信した、配信先追加指示に含まれるレイアウトＩＤを読取ることで、レイアウトＩＤを特定してもよい。そして、レイアウト処理部３１２は、送信用ＦＩＦＯ２４から読み出した３つの映像（音）データの映像を、このレイアウトＩＤによって特定されるレイアウト方法で１画面に配置することで、合成映像（音）データを作成する。
【０１０８】
なお、レイアウト処理部３１２は、端末管理装置７と同様に、同時に起動するブラウザ２０の数毎に、レイアウトＩＤとレイアウト方法を対応づけたレイアウトＩＤテーブル７０Ｅを予め図示を省略するメモリに記憶しておく。そして、レイアウト処理部３１２は、端末管理装置７から受信した配信先追加指示に含まれるレイアウトＩＤに対応するレイアウト方法を該レイアウトＩＤテーブル７０Ｅから読取る。これにより、レイアウト方法を特定してもよい。なお、端末管理装置７から受信する配信先追加指示が、レイアウトＩＤと該レイアウトＩＤによって特定されるレイアウト方法を含んでいてもよい。この場合には、レイアウト処理部３１２は、配信先追加指示に含まれるレイアウト方法を読取ることで、レイアウト方法を特定すればよい。
【０１０９】
レイアウト処理部３１２は、生成した合成映像データを、生成・選択部３１０へ出力する。
【０１１０】
変換部１０は、レイアウト処理部３１２で生成された合成映像データを、配信対象の通信端末５に配信可能なデータ形式に変換した変換合成映像データを生成する。なお、図１３に示す例では、変換部１０として、変換部１０ａ、変換部１０ｂ、変換部１０ｃの３つの変換部が構築されている場合を示した。しかし、構築する変換部１０の数は、３つに限られない。なお、変換部１０は、配信対象の通信端末５の端末数に応じた数構築されることが好ましい。なお、変換部１０ａ、変換部１０ｂ、変換部１０ｃを総称して説明する場合には、単に変換部１０と称して説明する。
【０１１１】
図１４は、変換部１０の機能構成を示す模式図である。図１４に示すように、変換部１０は、トリミング部１１、リサイズ部１２、分割部１３、及びエンコード部１９を含む。
【０１１２】
トリミング部１１は、合成映像データ（画像）の一部を、ユーザの指示による矩形座標設定に応じて切り出す処理を行う。矩形座標設定は、例えば、ユーザによる通信端末５の図示を省略する操作部の操作指示による設定を使用すればよい。リサイズ部１２は、映像（音）データや、合成映像データ（画像）の縮尺を、配信先の通信端末５の表示部（図示省略）の大きさ等に合わせて変更する。分割部１３は、合成映像データを、ウェブサーバ８から取得したコンテンツデータに対応する映像（音）データの映像毎に分割する。なお、本実施の形態では、分割部１３による分割は行われない場合を説明する。
【０１１３】
エンコード部１９は、合成映像データをエンコードすることにより、ネットワーク９を介して通信端末５に配信可能なデータ形式に変換し、変換合成映像データを生成する。また、エンコード部１９は、レイアウト処理部３１２で合成映像データの生成が行われなかった場合には、ブラウザ２０で生成された映像（音）データをエンコードし、ネットワーク９を介して通信端末５に配信可能なデータ形式に変換する。また、エンコード部１９は、映像が動かなければ（フレーム間で変化がなければ）、以降、映像が動くまでスキップフレームを挿入することで帯域をセーブする。なお、音の場合には、エンコードだけが行われる。また、トリミング部１１、リサイズ部１２、及び分割部１３は、音データの場合は、処理を行わない。
【０１１４】
図１３へ戻り、生成・選択部３１０は、新たな変換部１０の作成や、既に作成された変換部１０の選択をしたりする。例えば、生成・選択部３１０は、配信対象の通信端末５における映像（音）データや合成映像データの再生能力に応じたエンコードの可能な変換部１０を作成する。
【０１１５】
また、例えば、生成・選択部３１０は、次の場合に、既に作成されている変換部１０の選択を行う。例えば、通信端末５ａへの映像（音）データの配信がなされているときに、同じ映像（音）データを通信端末５ｂへ配信する場合がある。このような場合で、通信端末５ｂ及び通信端末５ａについて、映像（音）データ再生能力が同じであると仮定する。この場合、生成・選択部３１０は、通信端末５ｂ用の変換部１０ｂを作成せず、通信端末５ａ用に既に作成した変換部１０ａを選択する。
【０１１６】
選択部３２０は、既に作成されている変換部１０ａ、変換部１０ｂ、変換部１０ｃの内から、配信対象の通信端末５の再生能力等に応じた変換部１０を選択する。
【０１１７】
これらの生成・選択部３１０や選択部３２０による変換部１０の選択によって、様々な配信方式で各通信端末５へ映像（音）データや、変換合成映像データを配信することができる。
【０１１８】
図１２に戻り、送受信部３１は、通信端末５との間で、各種データや要求等の送受信を行う。例えば、送受信部３１は、ＨＴＴＰＳ（Ｈｙｐｅｒｔｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ  ｏｖｅｒ  Ｓｅｃｕｒｅ  Ｓｏｃｋｅｔ  Ｌａｙｅｒ）サーバを介して映像配信システム独自のプロトコルにより、通信端末５のユーザアプリへのデータ送信およびデータ受信を行う。
【０１１９】
この独自の転送プロトコルは、映像配信装置２と通信端末５との間でリアルタイムに途切れることなくデータを送受信するためのＨＴＴＰＳベースのアプリケーション層プロトコルである。
【０１２０】
また、送受信部３１は、送信レスポンス制御、リアルタイムのデータ作成、コマンド送信、受信レスポンス制御、受信データ分析、およびジェスチャ変換を行う。
【０１２１】
送信レスポンス制御は、映像配信装置２から通信端末５にデータを送信するために、通信端末５からリクエスト（要求）されたダウンロード用のＨＴＴＰＳセッションを管理する処理である。このダウンロード用のＨＴＴＰＳセッションのレスポンスはすぐに終了せず、一定時間（１〜数分）保持する。送受信部３１は、通信端末５に送るデータを動的にレスポンスのＢｏｄｙ部に書き込む。また、再接続のコストをなくすため、通信端末からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部３１を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。
【０１２２】
リアルタイムのデータ作成は、後述の図１４におけるエンコード部１９によるエンコードによって圧縮映像（および圧縮音）とされた合成映像データ（ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）データ）に独自のヘッダを付与して、通信端末５への下り用のＨＴＴＰＳのＢｏｄｙ部に書き込む処理である。
【０１２３】
クライアントコマンド送信は、通信端末５に送信するコマンドデータを生成し、通信端末５への配信用（下り用）のＨＴＴＰＳのＢｏｄｙ部に書き込む処理である。コマンドデータは、例えば、マルチプロジェクションのためのキャリブレーション時に利用するカメラの起動指示などである。
【０１２４】
受信レスポンス制御は、映像配信装置２が通信端末５からデータを受信するために、通信端末５からリクエストされたＨＴＴＰＳセッションを管理する処理である。このＨＴＴＰＳセッションのレスポンスはすぐに終了せず、一定時間（１〜数分）保持される。通信端末５は、映像配信装置２の送受信部３１に送るデータを動的にリクエストのＢｏｄｙ部に書き込む。
【０１２５】
受信データ分析は、通信端末５から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。
【０１２６】
ジェスチャ変換は、ユーザが電子黒板としての通信端末５ｆに電子ペンや手書きにより入力したジェスチャイベントを、ブラウザ２０が受け取れる形式に変換する処理である。
【０１２７】
デコード部４０は、通信端末５から送信されて来た映像（音）データをデコードする。受信用ＦＩＦＯ３４は、デコード部４０でデコードされた映像（音）データを格納するバッファである。
【０１２８】
認識部３５は、通信端末５から受信する映像（音）データに対して各種処理を行う。具体的には、認識部３５は、例えば、サイネージ向けにカメラで撮影された映像から人や動物の顔、年齢、及び性別などを認識する。また、認識部３５は、オフィス向けに、カメラで撮影された映像から顔認識による名前タグ付けや背景映像の差し替え処理などを行う。認識部３５は、認識した内容を示す認識情報を記憶部２３に記憶させる。この認識部３５は、認識拡張ボードで処理を行うことで高速化が実現される。
【０１２９】
遅延情報取得部３７ａは、上り用（通信端末５から映像配信装置２への通信用）の回線適応制御の処理に用いられる遅延情報取得部に対応して設けられ、下り用の回線適応制御の処理に用いられる。具体的には、遅延情報取得部３７ａは、デコード部４０から送信遅延時間ｄ１を示す送信遅延時間情報（ｄ１）を取得して一定時間保持する。そして、遅延情報取得部３７ａは、複数の送信遅延時間情報（ｄ１）を取得したところで、回線適応制御部３７ｂに、複数の送信遅延時間ｄ１による度数分布情報を示す送信遅延時間情報（ｄ）を出力する。
【０１３０】
回線適応制御部３７ｂは、下り用（映像配信装置２から通信端末５への通信用）の回線適応制御の処理を行う。具体的には、回線適応制御部３７ｂは、遅延情報取得部３７ａから受け付けた送信遅延時間情報（ｄ）に基づいて、エンコード部６０の動作条件を計算する。また、回線適応制御部３７ｂは、送受信部３１を介して通信端末５のエンコード部（詳細後述）に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。
【０１３１】
＜通信端末＞
次に、通信端末５の機能的構成を説明する。図１５は、通信端末５の機能的構成を示す模式図である。通信端末５は、ユーザから映像配信システム１へのログイン指示や映像（音）データ配信の開始又は停止などの指示を受け付けるインターフェース端末である。
【０１３２】
通信端末５は、デコード部５０、送受信部５１、操作部５２、再生制御部５３、レンダリング部５５、時刻制御部５６、遅延情報取得部５７、表示部５８、エンコード部６０、及び記憶部５４を備える。これらの構成要素は、例えば、通信端末５のハードウェアとして用いるコンピュータのＯＳ上で実行されるプログラム（ソフトウェア）によって実現することができる。
【０１３３】
記憶部５４は、各種データを記憶し、ＨＤＤ等により構築される。記憶部５４は、後述する時刻差Δを示す時刻差情報（Δ）、及び通信端末５における時刻ｔを示す時刻情報（ｔ）を記憶する。
【０１３４】
デコード部５０は、映像配信装置２から配信され、再生制御部５３から出力された映像データや変換合成映像データをデコードする。送受信部５１は、映像配信装置２及び端末管理装置７との間で、各種データや要求等の送受信を行う。例えば、送受信部５１は、通信端末５のログイン処理において、操作部５２による通信端末５の起動に基づき、端末管理装置７の送受信部７１ａにログイン要求を送信する。
【０１３５】
操作部５２は、ユーザの操作入力を受け付ける。操作部５２は、例えば、電源スイッチ、キーボード、マウス、電子ペンＰ等による入力や選択等を受け付け、操作データとして映像配信装置２に送信する。
【０１３６】
再生制御部５３は、映像配信装置２から送受信部５１を介して受けた合成映像（音）データ（リアルタイムデータのパケット）をバッファリングし、再生遅延時間Ｕを考慮してデコード部５０に出力する。レンダリング部５５は、デコード部５０によってデコードされたデータをレンダリングする。この再生遅延時間Ｕは、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。
【０１３７】
時刻制御部５６は、映像配信装置２の時刻取得部２６と連携して、時刻調整の処理を行う。具体的には、時刻制御部５６は、記憶部５４から通信端末５における時刻ｔを示す時刻情報（ｔ）を取得する。また、時刻制御部５６は、送受信部５１及び送受信部３１を介して、映像配信装置２の時刻取得部２６に、映像配信装置２における時刻Ｔを示す時刻情報（Ｔ）を要求する。この場合、時刻情報（Ｔ）の要求と共に、時刻情報（ｔ）が送信される。
【０１３８】
遅延情報取得部５７は、再生制御部５３から送信遅延時間Ｄ１を示す送信遅延時間情報（Ｄ１）を取得して一定時間保持する。遅延情報取得部５７は、複数の送信遅延時間情報（Ｄ１）を取得したところで、送受信部５１及び送受信部３１を介して回線適応制御部２７に、複数の送信遅延時間Ｄ１による度数分布情報を示す送信遅延時間情報（Ｄ）を送信する。なお、送信遅延時間情報（Ｄ）は、例えば、１００フレームに１回送信される。表示部５８は、レンダリング部５５によってレンダリングされた映像（音）データや変換合成映像データを再生する。
【０１３９】
エンコード部６０は、映像（音）データ〔Ｅ〕と、時刻情報（ｔ０）と、時刻差情報（Δ）を、送受信部５１及び送受信部３１を介して、映像配信装置２のデコード部４０に送信する。この映像（音）データ〔Ｅ〕は、内蔵されたマイク（図示省略）や、外付けのカメラ６２及びマイク６３から取得してエンコードしたデータである。この時刻情報（ｔ０）は、記憶部５４から取得した現時点の通信端末５における時刻ｔ０を示す情報である。この時刻差情報（Δ）は、記憶部５４から取得した時間差Δを示す情報である。
【０１４０】
また、エンコード部６０は、回線適応制御部３７ｂから受信した回線適応制御信号で示される動作条件に基づいて、エンコード部６０の動作条件を変更する。更に、エンコード部６０は、新たな動作条件に従って、映像（音）データ〔Ｅ〕と、時刻情報（ｔ０）と、時刻差情報（Δ）とを、送受信部５１及び送受信部３１を介して、映像配信装置２のデコード部４０に送信する。
【０１４１】
この映像（音）データ〔Ｅ〕は、カメラ６２及びマイク６３から取得してエンコードした情報である。この時刻情報（ｔ０）は、記憶部５４から取得した現時点の通信端末５における時刻ｔ０を示す情報である。この時刻差情報（Δ）は、記憶部５４から取得した時間差Δを示す情報である。
【０１４２】
なお、内蔵されたマイク（図示省略）や、外付けのカメラ６２及びマイク６３は、各種データや指示等を通信端末５に対して入力するための入力部の一例であり、入力部には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。
【０１４３】
＜映像配信システムで実行する処理＞
次に、本実施の形態の映像配信システム１で実行する各処理の手順を説明する。
【０１４４】
＜配信処理の流れの概要＞
図１６は、映像配信システム１における配信方法における具体的な配信処理の流れの概要を示すシーケンス図である。図１６には、一例として、複数の通信端末５の内、通信端末５ａから映像配信システム１にログインした場合を示した。なお、通信端末５ａ以外の通信端末５を用いてログインしてもよい。
【０１４５】
通信端末５ａにおける図示を省略する電源スイッチ等がユーザによって操作指示されることで、通信端末５に電力が供給されて電源オン状態となると、通信端末５ａの送受信部５１が、端末管理装置７に対してログイン要求を送信する（ステップＳ２１）。ログイン要求は、通信端末５ａの端末ＩＤ及びユーザ証明書を含む。
【０１４６】
端末管理装置７では、認証部７５が該ログイン要求を受け付ける。認証部７５は、受け付けたログイン要求に基づいて、端末の認証を行う（ステップＳ２２）。詳細には、認証部７５は、受信したログイン要求に含まれる端末ＩＤ及びユーザ証明書と同じ組み合わせの端末ＩＤとユーザ証明書が端末管理テーブル７０Ｃに格納されているか否かを判断することで、端末の認証を行う。ここでは、ログイン要求に含まれる端末ＩＤとユーザ証明書の組み合わせが端末管理テーブル７０Ｃに格納されていたものとして説明を続ける。すなわち、認証部７５によって、通信端末５ａが映像配信システム１にログイン可能な正当な端末であると認証されたものとして説明を続ける。
【０１４７】
次に、端末管理装置７の認証部７５が、送受信部７１ａを介して通信端末５ａに、映像配信装置２のＩＰアドレスを送信する（ステップＳ２３）。映像配信装置２では、送受信部５１がＩＰアドレスを受け付ける。なお、映像配信装置２のＩＰアドレスは、予め、端末管理装置７によって取得されて、記憶部７０に記憶されている。
【０１４８】
次に、端末管理装置７の送受信部７１ｂが、映像配信装置２にブラウザ２０の起動要求であるブラウザ起動要求を送信する（ステップＳ２４）。映像配信装置２では、ブラウザ管理部２２が送受信部２１を介してブラウザ起動要求を受信する。ブラウザ起動要求を受信したブラウザ管理部２２は、ブラウザ２０を起動させる（ステップＳ２５）。
【０１４９】
次に、映像配信装置２におけるエンコーダブリッジ部３０の生成・選択部３１０が、ステップＳ２１で受信したログイン要求に含まれる端末ＩＤによって特定される通信端末５ａの再生能力や、コンテンツデータの種類に応じて、変換部１０を作成する（ステップＳ２６）。
【０１５０】
次に、上記ステップＳ２５で起動したブラウザ２０が、ウェブサーバ８に対して、コンテンツデータを要求する（ステップＳ２７）。ウェブサーバ８は、要求されたコンテンツデータを自己の記憶部（不図示）から読み出す（ステップＳ２８）。そして、ウェブサーバ８は、映像配信装置２における、該要求の要求元であるブラウザ２０に対して、コンテンツデータを送信する（ステップＳ２９）。次に、映像配信装置２におけるブラウザ２０が、コンテンツデータをレンダリングして映像（音）データを生成する（ステップＳ３０）。ブラウザ２０は、生成した映像（音）データを、送信用ＦＩＦＯ２４に格納する。
【０１５１】
次に、映像配信装置２におけるエンコーダブリッジ部３０の変換部１０が、送信用ＦＩＦＯ２４に格納された映像（音）データをエンコードすることで、通信端末５ａに配信可能なデータ形式の映像（音）データに変換する（ステップＳ３１）。
【０１５２】
次に、映像配信装置２におけるエンコーダブリッジ部３０が、送受信部３１を介して通信端末５ａに、データ形式を変換された映像（音）データを配信する（ステップＳ３２）。
【０１５３】
通信端末５ａでは、再生制御部５３が、該データ変換された映像（音）データを、送受信部５１を介して映像配信装置２から受信する。再生制御部５３は、デコード部５０に、この映像（音）データを出力する。そして、デコード部５０によってデコードされることで、スピーカ６１から音が再生されると共に、レンダリング部５５を介して表示部５８に映像が再生される（ステップＳ３３）。
【０１５４】
＜時刻調整処理＞
次に、映像配信装置２と通信端末５との間で行われる時刻調整処理を説明する。図１７は、時刻調整処理の手順を示すシーケンス図である。
【０１５５】
まず、通信端末５の時刻制御部５６は、送受信部５１が配信管理システム２に時刻情報（Ｔ）を要求する時刻を取得するために、記憶部５０００から通信端末５における時刻情報（ｔｓ）を取得する（ステップＳ８１）。そして、送受信部５１は送受信部３１に、配信管理システム２における時刻情報（Ｔ）を要求する（ステップＳ８２）。この場合、時刻情報（Ｔ）の要求と共に、上記時刻情報（ｔｓ）が送信される。
【０１５６】
次に、時刻取得部２６は、送受信部３１が上記ステップＳ８２の要求を受信した時刻を取得するために、時刻管理部２５から配信管理システム２における時刻情報（Ｔｒ）を取得する（ステップＳ８３）。更に、時刻取得部２６は、送受信部３１が上記ステップＳ８２の要求に応答する時刻を取得するために、時刻管理部２５から配信管理システム２における時刻情報（Ｔｓ）を取得する（ステップＳ８４）。そして、送受信部３１は送受信部５１に、時刻情報（ｔｓ,  Ｔｒ，Ｔｓ）を送信する（ステップＳ８５）。
【０１５７】
次に、通信端末５の時刻制御部５６は、送受信部５１が上記ステップＳ８５の応答を受信した時刻を取得するために、記憶部５０００から通信端末５における時刻情報（ｔｒ）を取得する（ステップＳ８６）。
【０１５８】
そして、通信端末５の時刻制御部５６は、配信管理システム２と通信端末５との間の時刻差Δを計算する（ステップＳ８７）。この時刻差Δは、以下の式（１）によって表される。
【０１５９】
Δ＝（（Ｔｒ＋Ｔｓ）／２）−（（ｔｒ＋ｔｓ）／２）・・・式（１）
【０１６０】
そして、時刻制御部５６は、記憶部５０００に時刻差Δを示す時刻差情報（Δ）を記憶する（ステップＳ８８）。この時刻調整の一連の処理は、例えば、毎分定期的に行われる。
【０１６１】
＜下り用の回線適応制御＞
次に、映像配信装置２から通信端末５への配信用である下り用の回線適応制御の手順を説明する。図１８は、下り用の回転適応制御の手順を示すシーケンス図である。
【０１６２】
まず、映像配信装置２のエンコーダブリッジ部３０が、送受信部３１を介して通信端末５の再生制御部５３に、再生までにバッファリングして再生を遅延させるための再生遅延時間を示す再生遅延時間情報（Ｕ）を送信する（ステップＳ１０１）。
【０１６３】
また、映像配信装置２のエンコーダブリッジ部３０が、送信用ＦＩＦＯ２４から取得してエンコード等を行った映像（音）データに、時刻管理部２５から取得した現時点の時刻Ｔ０をタイムスタンプとして付加して、再生制御部５３に送信する（ステップＳ１０２）。なお、ここでは、一例として、映像（音）データ〔Ａ〕を送信する場合を示した。
【０１６４】
通信端末５では、再生制御部５３が、該再生遅延時間情報（Ｕ）及び映像（音）データと時刻Ｔ０を、送受信部５１を介して受信する。通信端末５における再生制御部５３は、通信端末５における時刻（Ｔ０＋Ｕ−Δ）になるまで待ってから、該再生遅延時間情報（Ｕ）の再生遅延時間Ｕ内に映像配信装置２から配信された映像（音）データを、デコード部５０に出力する。これによって、再生制御部５３は、スピーカ６１から音を再生させる。また、再生制御部５３は、デコード部５０及びレンダリング部５５を介して、表示部５８から映像を再生させる（ステップＳ１０３）。
【０１６５】
ステップＳ１０１〜ステップＳ１０３の処理によって、以下の式（２）に示される再生遅延時間Ｕの範囲内に通信端末５が受信した映像（音）データだけが再生されることになる。また、該範囲外の映像（音）データは、再生されずに消去される。
【０１６６】
Ｕ≧（ｔ０＋Δ）−Ｔ０        ・・・式（２）
【０１６７】
次に、通信端末５の再生制御部５３が、記憶部５４から、通信端末５における現時点の時刻ｔ０を読み出す（ステップＳ１０４）。この時刻ｔ０は、通信端末５が映像配信装置２から映像（音）データを受信した時点の通信端末５における時刻を示す。更に、再生制御部５３は、上記ステップＳ８６（図１７参照）で記憶された時刻差Δを示す時刻差情報（Δ）を、記憶部５４から読み出す（ステップＳ１０５）。
【０１６８】
次に、再生制御部５３は、映像（音）データが映像配信装置２から送信されて通信端末５で受信されるまでの時間を示す送信遅延時間Ｄ１を計算する（ステップＳ１０６）。この計算は、以下の式（３）によって行われ、ネットワーク９が混雑している場合には、送信遅延時間Ｄ１が長くなる。
【０１６９】
Ｄ１＝（ｔ０＋Δ）−Ｔ０      ・・・式（３）
【０１７０】
次に、通信端末５の遅延情報取得部５７が、再生制御部５３から送信遅延時間Ｄ１を示す送信遅延時間情報（Ｄ１）を取得して一定時間保持する。そして、遅延情報取得部５７は、複数の送信遅延時間情報（Ｄ１）を取得したところで、送受信部５１を介して映像配信装置２に、複数の送信遅延時間Ｄ１による度数分布情報を示す送信遅延時間情報（Ｄ）を送信する（ステップＳ１０７）。映像配信装置２では、回線適応制御部２７が該送信遅延時間情報（Ｄ）を、送受信部３１を介して受け付ける。
【０１７１】
次に、映像配信装置２の回線適応制御部２７が、送信遅延時間情報（Ｄ）に基づいて、新たに再生遅延情報Ｕ´を計算したり、変換部１０のフレームレートやデータの解像度等の動作条件を計算したりする（ステップＳ１０８）。
【０１７２】
次に、映像配信装置２のエンコーダブリッジ部３０が、送受信部３１を介して通信端末５に、上記ステップＳ１０８によって計算された新たな再生遅延時間Ｕ´を示す再生遅延時間情報（Ｕ´）を送信する（ステップＳ１０９）。通信端末５では、再生制御部５３が、通信端末５の送受信部５１を介して該再生遅延時間情報（Ｕ´）を受け付ける。
【０１７３】
次に、映像配信装置２のエンコーダブリッジ部３０における変換部１０が、動作条件を示す回線適応制御信号に基づいて、変換部１０の動作条件を変更する（ステップＳ１１０）。
【０１７４】
例えば、送信遅延時間Ｄ１が長すぎる場合、送信遅延時間Ｄ１に応じて再生遅延時間Ｕを長くすると、通信端末５におけるスピーカ６１や表示部５８での再生時間が遅くなり過ぎる。このため、再生遅延時間Ｕを長くすることには限界がある。そこで、回線適応制御部２７は、エンコーダブリッジ部３０に対して、再生遅延時間Ｕを変更させて再生遅延時間Ｕ´とするだけでなく、変換部１０に対して、映像（音）データのフレームレートを下げさせたり、映像（音）データの解像度を下げさせることで、ネットワーク９の混雑に対応することができる。
【０１７５】
これにより、エンコーダブリッジ部３０は、変更後の動作条件に従って、上記ステップＳ１０２と同様に、現時点の時刻Ｔ０をタイムスタンプとして付加した映像（音）データを通信端末５の再生制御部５３に送信する(ステップＳ１１１)。
【０１７６】
次に、通信端末５では、上記ステップＳ１０３と同様に、再生制御部５３が、通信端末５における時刻（Ｔ０＋Ｕ’−Δ）になるまで待ってから、再生遅延時間Ｕ´内に受信した映像（音）データをデコード部５０に出力することで、スピーカ６１から音を再生させると共に、表示部５８から映像を再生させる（ステップＳ１１２）。
【０１７７】
その後、上記ステップＳ１０４〜ステップＳ１１２の処理を繰り返し実行する。このようにして、下り用の回線適応制御の処理が継続して行われる。
【０１７８】
＜上り用の回線適応制御＞
次に、通信端末５から映像配信装置２への配信用である上り用の回線適応制御の手順を説明する。図１９は、上り用の回転適応制御の手順を示すシーケンス図である。
【０１７９】
まず、通信端末５のエンコード部６０が、カメラ６２及びマイク６３から取得してエンコードした映像（音）データと、時刻情報（ｔ０）と、時刻差情報（Δ）とを、送受信部５１を介して映像配信装置２へ送信する（ステップＳ１２１）。なお、ここでは、このエンコードした映像（音）データを、映像（音）データ〔Ｅ〕と称して説明する。時刻情報（ｔ０）は、記憶部５４から取得した現時点の通信端末５における時刻ｔ０を示す情報である。時刻差情報（Δ）は、記憶部５４から取得した時間差Δを示す情報である。
【０１８０】
映像配信装置２では、デコード部４０が送受信部３１を介して、これらの映像（音）データ〔Ｅ〕、時刻情報（ｔ０）、及び時刻差情報（Δ）を受信する。
【０１８１】
次に、映像配信装置２のデコード部４０が、上記ステップＳ１２１によって映像（音）データ〔Ｅ〕等を受信した時点の時刻Ｔ０を時刻管理部２５から読み出す(ステップＳ１２２)。次に、映像配信装置２のデコード部４０は、映像（音）データが通信端末５から送信されて映像配信装置２で受信されるまでの時間を示す送信遅延時間ｄ１を計算する（ステップＳ１２３）。この計算は、以下の式（４）によって行われ、ネットワーク９が混雑している場合には、送信遅延時間Ｄ１が長くなる。
【０１８２】
ｄ１＝Ｔ０−（ｔ０＋Δ）・・・式（４）
【０１８３】
次に、映像配信装置２の遅延情報取得部３７ａが、遅延情報取得部５７と同様に、デコード部４０から送信遅延時間ｄ１を示す送信遅延時間情報（ｄ１）を取得して一定時間保持する。そして、遅延情報取得部３７ａは、複数の送信遅延時間情報（ｄ１）を取得したところで、回線適応制御部３７ｂに、複数の送信遅延時間ｄ１による度数分布情報を示す送信遅延時間情報（ｄ）を出力する（ステップＳ１２４）。
【０１８４】
次に、映像配信装置２の回線適応制御部３７ｂが、送信遅延時間情報（ｄ）に基づいて、エンコード部６０の動作条件を計算する（ステップＳ１０８）。次に、映像配信装置２の回線適応制御部３７ｂは、送受信部３１を介して通信端末５に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する（ステップＳ１２６）。通信端末５では、エンコード部６０が、送受信部５１を介してこの回転適応制御信号を受信する。
【０１８５】
このように、下り用の回線適応制御を行う回線適応制御部２７では、同じ映像配信装置２内でエンコーダブリッジ部３０に回線適応制御信号を出力する。これに対して、上り用の回線適応制御を行う回線適応制御部３７ｂでは、映像配信装置２からネットワーク９を介して、通信端末５に回線適応制御信号を送信する。
【０１８６】
次に、通信端末５のエンコード部６０が、受信した回線適応制御信号で示される動作条件に基づいて、エンコード部６０の動作条件を変更する（ステップＳ１２７）。
【０１８７】
次に、通信端末５のエンコード部６０は、新たな動作条件によって、上記ステップＳ１２１と同様に、カメラ６２及びマイク６３から取得してエンコードした映像（音）データ〔Ｅ〕と、時刻情報（ｔ０）と、時刻差情報（Δ）とを、送受信部５１を介して映像配信装置２へ送信する（ステップＳ１２８）。なお、この時刻情報（ｔ０）は、記憶部５４から取得した現時点の通信端末５における時刻ｔ０を示す情報である。また、この時刻差情報（Δ）は、記憶部５４から取得した時間差Δを示す情報である。
【０１８８】
その後、上記ステップＳ１２２〜ステップＳ１２８の処理を繰り返し実行する。このようにして、上り用の回線適応制御の処理が継続して行われる。
【０１８９】
＜本実施の形態の配信制御＞
次に、図１６を用いて上記に説明した「配信処理の流れの概要」について、更に詳細に説明する。
【０１９０】
ここで、上述したように、本実施の形態の映像配信システム１では、配信方式としてマルチブラウザを採用し、複数の通信端末５へ連動した映像（音）データを配信する。このため、図１６を用いて上記に説明した概要を、更に詳細に説明する。
【０１９１】
図２０〜図２３は、本実施の形態の配信制御の手順を示すシーケンス図である。
【０１９２】
なお、図２０〜図２３では、映像（音）データの配信対象の複数の通信端末５が、通信端末５ｆ１、５ｆ２、５ｆ３であるものとして説明する。また、これらの通信端末５ｆ１、５ｆ２、５ｆ３を総称する場合には、上記と同様に通信端末５ｆと称する。
【０１９３】
そして、通信端末５ｆ１に対応する、ウェブサーバ８から取得したコンテンツデータ（ウェブコンテンツデータと称する場合がある）を表示させるためのブラウザ２０を「ブラウザ２０ａ」と示す。また、通信端末５ｆ１を操作するユーザへの設定画面を表示させるためのブラウザ２０を「ブラウザ２０ｄ」と示す。
【０１９４】
また、通信端末５ｆ１によって指定された、通信端末５ｆ１と同じ映像（音）データを配信させる対象（遠隔共有処理する対象）の他の通信端末５が、通信端末５ｆ２及び通信端末５ｆ３であるものとして説明する。また、通信端末５ｆ２に対応する、ウェブコンテンツデータを表示させるためのブラウザ２０を「ブラウザ２０ｂ」とし、通信端末５ｆ３に対応する、ウェブコンテンツデータを表示させるためのブラウザ２０を「ブラウザ２０ｃ」と示して説明する。
【０１９５】
映像配信システム１では、まず、図１６に示すステップＳ２１〜ステップＳ３０の処理が実行される。なお、図２０では、図１６における通信端末５が通信端末５ｆ１であるものとして説明する。また、図２０では、図１６におけるステップＳ３０に相当する処理において、ウェブサーバ８から取得したコンテンツデータであるＡをレンダリングして映像（音）データを生成し、送信用ＦＩＦＯ２４に出力したとする（ステップＳ２０１）。
【０１９６】
次に、映像配信装置２の変換部１０が、送信用ＦＩＦＯ２４に格納された映像（音）データをエンコードすることで、通信端末５ｆ１に配信すべき映像（音）データ〔Ａ〕に変換する（ステップＳ２０２）。
【０１９７】
次に、映像配信装置２のエンコーダブリッジ部３０が、送受信部３１を介して、通信端末５ｆ１の再生制御部５３に映像（音）データ〔Ａ〕を送信する（ステップＳ２０３）。これにより、通信端末５ｆ１では、再生制御部５３からデコード部５０に、映像（音）データ〔Ａ〕が出力され、レンダリング部５５を介して、表示部５８にて映像（音）データが再生される（ステップＳ２０４）。
【０１９８】
次に、通信端末５ｆ１のユーザによって、表示部５８上に表示されている画面がメニュー要求画面に切り替えられると（ステップＳ２０５）、送受信部５１が、端末管理装置７に、共有端末選択メニューを要求する（ステップＳ２０６）。共有端末選択メニューは、該通信端末５ｆ１の端末ＩＤを含む。
【０１９９】
これに対して、送受信部７１ｂは、送受信部２１を介して配信管理システム２のブラウザ管理部２２に対し、ブラウザ２０ｂの起動要求を行う（ステップＳ２０７）。
【０２００】
端末管理装置７の送受信部７１ａでは、通信端末５ｆ１から共有端末選択メニューを受け付ける。すると、端末管理装置７の配信管理部７３が、映像配信装置２のブラウザ管理部２２に対し、ブラウザ２０ｄの起動要求を行う（ステップＳ２０８）。
【０２０１】
次に、映像配信装置２におけるエンコーダブリッジ部３０の生成・選択部３１０が、ブラウザ２０ａから変換部１０（例えば、変換部１０ａ）への出力を、ブラウザ２０ｄから変換部１０（例えば、変換部１０ｂ）への出力に切り替える（ステップＳ２０９）。
【０２０２】
但し、通信端末５ａが他の通信端末５（例えば、通信端末５ｂ）と変換部１０（例えば、変換部１０ａ）を共有して上記ステップＳ２０３による映像（音）データを受信していた場合には、他の通信端末５（例えば、通信端末５ｂ）はブラウザ２０ａ用に変換部１０（例えば、変換部１０ａ）を利用中であるため、エンコーダブリッジ部３０の生成・選択部３１０は、新たに変換部１０（例えば、変換部１０ｂ）を作成する。
【０２０３】
そして、映像配信装置２のブラウザ２０ｄが、端末管理装置７に、配信先選択画面要求を送信する（ステップＳ２１０）。
【０２０４】
この配信先選択画面要求は、配信先選択画面７０Ａに表示する表示名等のコンテンツデータや、レイアウト方法選択画面７０Ｂに表示するレイアウトＩＤ等のコンテンツデータを要求する要求信号であり、通信端末５ｆ１の端末ＩＤを含む。
【０２０５】
端末管理装置７では、抽出部７２が、映像配信装置２から配信先選択画面要求を受け付ける。配信管理部７３は、記憶部７０に格納されている利用可能端末管理テーブル７０Ｄ（図９参照）を検索することにより、該配信先選択画面要求に含まれる端末ＩＤに対応する共有ＩＤを抽出する（ステップＳ２１１）。なお、抽出部７２は、上記ステップＳ２０６で受け付けた共有端末選択メニュー要求に含まれる通信端末５ｆ１の端末ＩＤを用いて、ステップＳ２１１の処理を行ってもよい。
【０２０６】
例えば、通信端末５ａの端末ＩＤが「ｔ００６」であったとする。この場合、抽出部７２は、該端末ＩＤ「ｔ００６」に対応する共有ＩＤとして、利用可能端末管理テーブル７０Ｄから、共有ＩＤ「ｖ００３」、「ｖ００６」を抽出する。
【０２０７】
次に、抽出部７２は、ステップＳ２１１で抽出した共有ＩＤに対応する表示名（例えば、「大阪展示場１Ｆ  マルチブラウザ」を示す表示名情報を、端末管理テーブル７０Ｃ（図５参照）から抽出する（ステップＳ２１２）。
【０２０８】
次に、抽出部７２は、ステップＳ２１１で抽出した共有ＩＤの各々について、各共有ＩＤに属する端末ＩＤの端末数を、利用可能端末管理テーブル７０Ｄから抽出する。そして、抽出部７２は、抽出した各共有ＩＤに属する端末ＩＤの端末数に対応するレイアウトＩＤテーブル７０Ｅを、記憶部７０から抽出する（ステップＳ２１３）。
【０２０９】
例えば、ステップＳ２１１で抽出した共有ＩＤが「ｖ００３」、「ｖ００６」であったとする（図９の利用可能端末管理テーブル７０Ｄ参照）。そして、共有ＩＤ「ｖ００３」に属する端末ＩＤの端末が、端末ＩＤ「ｔ００６」と「ｔ００２6」の２台であったとする。この場合、抽出部７２は、共有ＩＤ「ｖ００３」に対応する端末数として、「２」を抽出する。
【０２１０】
また、共有ＩＤ「ｖ００６」に属する端末ＩＤの端末数は、利用可能端末管理テーブル７０Ｄから、端末ＩＤ「ｔ００６」、「ｔ００７」、「ｔ００８」の３台である。このため、抽出部７２は、共有ＩＤ「ｖ００６」に属する端末ＩＤの端末数として、利用可能端末管理テーブル７０Ｄから「３」を抽出する。
【０２１１】
そして、抽出部７２は、共有ＩＤ「ｖ００３」に対応するレイアウトＩＤテーブル７０Ｅとして、端末数「２」に対応するレイアウトＩＤテーブル７０Ｅを記憶部７０から抽出する。また、抽出部７２は、共有ＩＤ「ｖ００６」に対応するレイアウトＩＤテーブル７０Ｅとして、端末数「３」に対応するレイアウトＩＤテーブル７０Ｅを記憶部７０から抽出する。
【０２１２】
図２０に戻り、次に、抽出部７２は、映像配信装置２のブラウザ２０ｄに、画面用コンテンツデータを送信する（ステップＳ２１４）。この画面用コンテンツデータには、ステップＳ２１１〜ステップＳ２１３で抽出した、配信先選択画面用のコンテンツデータ、レイアウト方法選択画面用のコンテンツデータ、及び各種選択を促すためのチェックボックスが含まれる。配信先選択画面用のコンテンツデータは、表示名及び共有ＩＤを含む。レイアウト方法選択画面用のコンテンツデータは、抽出した共有ＩＤと、抽出した各共有ＩＤに属する端末数に対応するレイアウトＩＤテーブルを含む。
【０２１３】
次に、図２１を用いて説明を続ける。次に、映像配信装置２における通信端末５ｆ１のブラウザ２０ｄが、端末管理装置７からステップＳ２１４（図２０）で取得した配信先選択画面のコンテンツデータをレンダリングして、配信先選択画面７０Ａの映像データを生成する。そして、ブラウザ２０ｄは、生成した映像データを、映像配信装置２の送信用ＦＩＦＯ２４に出力する。
【０２１４】
次に、映像配信装置２における通信端末５ｆ１のブラウザ２０ｄが、端末管理装置７からステップＳ２１４（図２０）で取得したレイアウト方法選択画面用のコンテンツデータを、各共有ＩＤに属するレイアウトＩＤテーブル毎にレンダリングする。これによって、配信対象の端末数毎に、レイアウト選択画面７０Ｂの映像データが生成される。そして、ブラウザ２０ｄは、生成した映像データを、映像配信装置２の送信用ＦＩＦＯ２４へ出力する（ステップＳ２２１）。
【０２１５】
次に、変換部１０ａが、上記ステップＳ２２０及びステップＳ２２１で送信用ＦＩＦＯ２４に格納された映像データをエンコードする（ステップＳ２２２）。ステップＳ２２２の処理によって、ブラウザ２０ｄで、各共有ＩＤに属する端末数毎に生成されたレイアウト選択画面７０Ｂの映像データ、共有ＩＤに属する端末数、及び配信先選択画面７０Ａ用の映像データが、通信端末５ｆ１に配信可能なデータ形式に変換される。
【０２１６】
次に、映像配信装置２のエンコーダブリッジ部３０が、通信端末５ｆ１に、データ形式を変換されたこれらの映像データを送信する（ステップＳ２２３）。通信端末５ｆ１では、再生制御部５３が、これらの映像データを受け付ける。
【０２１７】
次に、再生制御部５３は、ステップＳ２２３で受け付けた配信先選択画面７０Ａ用の映像データを、デコード部５０及びレンダリング部５５を介して、表示部５８に再生させる制御を行う（ステップＳ２２４）。ステップＳ２２４の処理によって、通信端末５ｆ１の表示部５８には、配信先選択画面７０Ａ（図１０参照）が再生される（ステップＳ２２４）。
【０２１８】
次に、ユーザによるペンＰ等の操作指示によって、配信先の共有ＩＤが選択された後に、例えば「ＯＫ」の表示領域が選択されると、操作部５２が、ユーザによる選択を受け付ける（ステップＳ２２５）。例えば、図１０における配信先選択画面７０Ａに表示された共有ＩＤの内、共有ＩＤ「ｖ００６」のチェックボックスにチェックが入れられ、「ＯＫ」ボタンが押下されたとする。この場合、操作部５２は、共有ＩＤ「ｖ００６」を示す選択を受け付ける。
【０２１９】
次に、再生制御部５３は、ステップＳ２２５で受け付けた共有ＩＤ「ｖ００６」に属する端末数を読取る（ステップＳ２２６）。再生制御部５３は、ステップＳ２２３で受け付けた情報に含まれる、ステップＳ２２５でユーザによって選択された共有ＩＤに対応する端末数を読取ることで、ステップＳ２２６の処理を行う。次に、再生制御部５３は、ステップＳ２２３で受け付けた映像データの中から、読み取った端末数に対応するレイアウト方法選択画面７０Ｂ用の映像データを読み取る。
【０２２０】
そして、再生制御部５３は、読み取ったレイアウト方法選択画面７０Ｂ用の映像データを、デコード部５０及びレンダリング部５５を介して、表示部５８に再生させる制御を行う（ステップＳ２２７）。ステップＳ２２７の処理によって、通信端末５ｆ１の表示部５８には、レイアウト方法選択画面７０Ｂ（図１１参照）が再生される（ステップＳ２２７）。
【０２２１】
このように、通信端末５ｆ１の表示部５８には、ユーザによって配信先として選択された共有ＩＤに属する通信端末５の端末数に応じた、レイアウト方法選択のためのレイアウト方法選択画面７０Ｂが表示される。
【０２２２】
次に、ユーザによるペンＰ等の操作指示によって、１のレイアウト方法が選択された後に、例えば「ＯＫ」の表示領域が選択されたとする。すると、操作部５２が、ユーザによる選択を受け付ける（ステップＳ２２８）。例えば、図１１におけるレイアウト方法選択画面７０Ｂに表示されたレイアウト方法の内、レイアウト方法「ＡＣＢ」を指示するためのチェックボックスにチェックが入れられ、「ＯＫ」ボタンが押下されたとする。この場合、操作部５２は、レイアウト方法「ＡＣＢ」を特定するためのレイアウトＩＤ「０２」（図８参照）を受け付ける。
【０２２３】
次に、通信端末５ｆ１の再生制御部５３が、上記ステップＳ２２５で受け付けた共有ＩＤと、上記ステップＳ２２８で受け付けたレイアウトＩＤと、を含む操作データを、映像配信装置２へ送信する（ステップＳ２２９）。
【０２２４】
映像配信装置２では、映像配信装置２２が送受信部３１を介して通信端末５ｆ１から操作データを受け付ける。
【０２２５】
次に、映像配信装置２のブラウザ２０ｄは、ステップＳ２２９で受け付けた操作データに含まれる、共有ＩＤ及びレイアウトＩＤを読み取る（ステップＳ２３０）。そして、ブラウザ２０ｄは、送受信部２１を介して、読み取った共有ＩＤ及びレイアウトＩＤを含む配信先追加要求を、端末管理装置７へ送信する（ステップＳ２３１）。
【０２２６】
端末管理装置７では、配信管理部７３が追加要求を受け付ける。そして、端末管理装置７は、受け付けた追加要求に含まれる共有ＩＤ及びレイアウトＩＤを、記憶部７０の端末管理テーブル７０Ｃに対応づけて記憶する。これによって、配信管理部７３は、端末管理テーブル７０Ｃを更新する（ステップＳ２３２）。
【０２２７】
ステップＳ２３２の処理によって、例えば、図５の端末管理テーブル７０Ｃに示すように、共有ＩＤ「ｖ００６」に属する端末ＩＤ「ｔ００６」、「ｔ００７」、「ｔ００８」に対応づけて、レイアウトＩＤ「０２」が端末管理テーブル７０Ｃに格納される。
【０２２８】
図２１に戻り、そして、設定用のブラウザであったブラウザ２０ｄは、役目を終えて終了する（ステップＳ２３３）。次に、映像配信装置２におけるエンコーダブリッジ部３０の生成・選択部３１０が、ブラウザ２０ｄから変換部１０ａへの出力を、コンテンツデータ用のブラウザであるブラウザ２０ａから変換部１０ａへの出力に戻すよう切り替える（ステップＳ２３４）。
【０２２９】
次に、図２２を用いて説明を続ける。端末管理装置７の配信管理部７３は、ステップＳ２３１（図２１参照）で受け付けた追加要求に含まれる共有ＩＤに対応する、端末ＩＤ、設定情報、位置関係、レイアウトＩＤ、を端末管理テーブル７０Ｃから抽出する（ステップＳ２４１）。
【０２３０】
次に、配信管理部７３は、配信先追加指示を映像配信装置２へ送信する（ステップＳ２４２）。映像配信装置２では、ブラウザ管理部２２が送受信部２１を介して、配信先追加指示を受け付ける。この配信先追加指示は、上記ステップＳ２４１で抽出された、端末ＩＤ、設定情報、位置関係、及びレイアウトＩＤを含む。
【０２３１】
ここでは、配信先追加指示が、  “「ｔ００６」、「ｈｔｔｐ：／／ｗｗｗ．Ａ．ｃｏ．ｊｐ」、「左」、「０２」”、“「ｔ００７」、「ｈｔｔｐ：／／ｗｗｗ．Ｂ．ｃｏ．ｊｐ」、「中」、「０２」”、“「ｔ００８」、「ｈｔｔｐ：／／ｗｗｗ．Ｃ．ｃｏ．ｊｐ」、「右」、「０２」”の３組の“端末ＩＤ、設定情報、位置関係、レイアウトＩＤ”を含むものとする。
【０２３２】
配信先追加指示を受け付けた映像配信装置２のブラウザ管理部２２では、配信先追加指示に含まれる設定情報に対応する、コンテンツデータ用のブラウザを起動する（ステップＳ２４３）。すなわち、ブラウザ管理部２２では、配信先の通信端末５の端末数に応じたコンテンツデータ用のブラウザとして、設定情報「ｈｔｔｐ：／／ｗｗｗ．Ａ．ｃｏ．ｊｐ」をアドレスとするブラウザ２０ａと、「ｈｔｔｐ：／／ｗｗｗ．Ｂ．ｃｏ．ｊｐ」をアドレスとするブラウザ２０ｂと、「ｈｔｔｐ：／／ｗｗｗ．Ｃ．ｃｏ．ｊｐ」をアドレスとするブラウザ２０ｃと、を起動する。
【０２３３】
なお、設定情報「ｈｔｔｐ：／／ｗｗｗ．Ａ．ｃｏ．ｊｐ」をアドレスとするブラウザ２０ａについてはすでに起動済みであるので、ここでは、ブラウザ管理部２２は、「ｈｔｔｐ：／／ｗｗｗ．Ｂ．ｃｏ．ｊｐ」をアドレスとするブラウザ２０ｂと、「ｈｔｔｐ：／／ｗｗｗ．Ｃ．ｃｏ．ｊｐ」をアドレスとするブラウザ２０ｃと、を新たに起動する。
【０２３４】
ステップＳ２４３の処理によって、ブラウザ２０ｂ及びブラウザ２０ｃでは、ブラウザ２０ａと同様に、ウェブサーバ８ｂ、ウェブサーバ８ｃの各々からのコンテンツデータの取得及び映像の生成が開始され、送信用ＦＩＦＯ２４に格納される。
【０２３５】
次に、映像配信装置２のエンコーダブリッジ部３０が、レイアウト処理を実行する（ステップＳ２４４)。例えば、レイアウト方法「ＡＣＢ」を特定するためのレイアウトＩＤ「０２」が通信端末５ｆ１で選択されたとする。この場合、ステップＳ２４４の処理によって、「ＡＣＢ」のレイアウト方法でレイアウトされた合成映像データが生成される。
【０２３６】
図２３は、レイアウト処理の手順を示すフローチャートである。まず、レイアウト処理部３１２が、上記ステップＳ２４２で端末管理装置７から受け付けた配信先追加指示を、ブラウザ管理部２２から受け付ける。
【０２３７】
そして、レイアウト処理部３１２は、ブラウザ管理部２２から受け付けた配信先追加指示に含まれるレイアウトＩＤから、該レイアウトＩＤによって特定されるレイアウト方法を決定する（ステップＳ３０１）。
【０２３８】
次に、レイアウト処理部３１２は、上記ステップＳ２４３で起動した各ブラウザ２０ａ〜２０ｃの各々で生成された３つの映像（音）データを取得する（ステップＳ３０２）。ステップＳ３０２では、送信用ＦＩＦＯ２４から、これらの映像（音）データを取得する。
【０２３９】
次に、レイアウト処理部３１２が、レイアウトを行う（ステップＳ３０３）。ステップＳ３０３では、レイアウト処理部３１２は、ステップＳ３０２で送信用ＦＩＦＯ２４から読み出した３つの映像（音）データを、ステップＳ３０１で決定したレイアウト方法に従って、１画面にレイアウトする。これによって、レイアウト処理部３１２は、合成映像データを生成する。
【０２４０】
例えば、レイアウト処理部３１２が、３つのブラウザ２０（２０ａ、２０ｂ、２０ｃ）の各々で生成された映像（音）データ「Ａ」「Ｂ」「Ｃ」を送信用ＦＩＦＯ２４から読み出したとする。この場合、レイアウト処理部３１２は、配信先追加指示に含まれる位置関係に従い、これらの映像（音）データの各々にインデックスを付与する。例えば、関係情報が、「左、中、右」であったとすると、左からＡ、Ｂ、Ｃと順にインデックスを付加する。
【０２４１】
そして、レイアウト処理部３１２は、付加したインデックスに対して、レイアウトＩＤによって特定されるレイアウト方法に従ってレイアウトを調整し、合成映像データを生成する。
【０２４２】
例えば、ユーザによる操作指示によって通信端末５で選択されたレイアウトＩＤが、レイアウトＩＤテーブル７０Ｅ（図８参照）におけるレイアウトＩＤ「０２」であったとする。この場合、レイアウト処理部３１２は、ＢとＣの配置を入れ替えて、ＡＣＢの順番でレイアウトした合成映像データを作成する。
【０２４３】
また、例えば、ユーザによる操作指示によって通信端末５で選択されたレイアウトＩＤが、レイアウトＩＤテーブル７０Ｅ（図８参照）におけるレイアウトＩＤ「１１」であったとする。この場合、レイアウト処理部３１２は、Ａの右隣に、縮小したＢとＣを上下にレイアウトすることで、ＡＣＢの順番でレイアウトした合成映像データを作成する。
【０２４４】
この場合、レイアウト処理部３１２は、縮小したＢ、Ｃの映像サイズの高さ（ｈｅｉｇｈｔＢ’、ｈｅｉｇｈｔＣ’とする）の和が、Ａの映像サイズの高さ（ｈｅｉｇｈｔＡとする）と一致するように、ＢとＣの映像をそれぞれ縮小して１画面にレイアウトする。
【０２４５】
すなわち、この場合、レイアウト処理部３１２は、下記式（５）を満たすように、合成映像データを作成する。
【０２４６】
ｈｅｉｇｔｈＢ’＋ｈｅｉｇｈｔＣ’＝ｈｅｉｇｈｔＡ      ・・・式（５）
【０２４７】
また、例えば、ユーザによる操作指示によって通信端末５で選択されたレイアウトＩＤが、レイアウトＩＤテーブル７０Ｅ（図８参照）におけるレイアウトＩＤ「２１」であったとする。この場合、レイアウト処理部３１２は、Ａの右下領域に縮小したＢとＣをレイアウトする。
【０２４８】
この場合、レイアウト処理部３１２は、縮小したＢ、Ｃの映像サイズの幅（ｗｉｄｔｈＢ’、ｗｉｄｔｈ＿Ｃ’とする）の和が、Ａの映像サイズの幅（ｗｉｄｔｈ＿Ａとする）以下となるように、ＢとＣの映像をそれぞれ縮小してレイアウトする。
【０２４９】
すなわち、この場合、レイアウト処理部３１２は、下記式（６）を満たすように、合成映像データを作成する。
【０２５０】
ｗｉｄｔｈ＿Ｂ’＋ｗｉｄｔｈ＿Ｃ’≦ｗｉｄｔｈ＿Ａ      ・・・式（６）
【０２５１】
図２２に戻り、次に、映像配信装置２におけるエンコーダブリッジ部３０の生成・選択部３１０が、マルチブラウザ用の変換部１０を生成する（ステップＳ２４５）。
【０２５２】
具体的には、例えば、生成・選択部３１０は、上記ステップＳ２４３で起動したブラウザ２０ｂに対応する変換部１０として、通信端末５ｆ２の再生能力に応じた変換部１０ｂを生成する。また、生成・選択部３１０は、ブラウザ２０ｃに対応する変換部１０として、通信端末５ｆ３の再生能力に応じた変換部１０ｃを生成する。
【０２５３】
そして、生成・選択部３１０は、ブラウザ２０ｂから変換部１０ｂへの出力、及びブラウザ２０ｃから変換部１０ｃへの出力がなされるように、切り替える。なお、上述したように、変換部１０ａの生成と、コンテンツデータ用のブラウザであるブラウザ２０ａから変換部１０ａへの出力の切り替えは、既になされている。
【０２５４】
次に、映像配信装置２における生成された変換部１０ａ〜１０ｃの各々が、ステップＳ２４４の処理によって生成された合成映像データを、配信対象の通信端末５ａ〜５ｃの各々に配信可能なデータ形式に変換する（ステップＳ２４６）。ステップＳ２４６の処理によって、各変換部１０ａ〜１０ｃが、変換合成映像データを生成する。
【０２５５】
次に、映像配信装置２のエンコーダブリッジ部３０が、各変換部１０ａ〜１０ｃの各々で生成された変換合成映像データを、対応する通信端末５ｆ１〜５ｆ３へ送信する（ステップＳ２４７、ステップＳ２４９、ステップＳ２５１）。
【０２５６】
詳細には、エンコーダブリッジ部３０は、ブラウザ管理部２２から受け付けた配信先追加指示に含まれる端末ＩＤに基づいて、変換部１０ａで生成された変換合成映像データを、対応する通信端末５ｆ１へ送信する（ステップＳ２４７）。また、エンコーダブリッジ部３０は、ブラウザ管理部２２から受け付けた配信先追加指示に含まれる端末ＩＤに基づいて、変換部１０ｂで生成された変換合成映像データを、対応する通信端末５ｆ２へ送信する（ステップＳ２４９）。また、エンコーダブリッジ部３０は、ブラウザ管理部２２から受け付けた配信先追加指示に含まれる端末ＩＤに基づいて、変換部１０ｃで生成された変換合成映像データを、対応する通信端末５ｆ３へ送信する（ステップＳ２５１）。
【０２５７】
通信端末５ｆ１、５ｆ２、５ｆ３の各々では、再生制御部５３が送受信部５１を介して映像配信装置２から変換合成映像データを受け付ける。そして、各通信端末５ｆ１、５ｆ２、５ｆ３の再生制御部５３は、デコード部５０及びレンダリング部５５を介して表示部５８に変換合成映像データを再生すると共に、スピーカ６１から音を再生させる（ステップＳ２４８、ステップＳ２５０、ステップＳ２５２）。
【０２５８】
このため、各通信端末５ｆ１〜５ｆ３には、通信端末５ｆ１でユーザによって選択されたレイアウトＩＤ「０２」によって特定されるレイアウト方法「ＡＣＢ」に配置された合成映像データが再生される。
【０２５９】
また、映像配信システム１では、再度、通信端末５ｆ１のユーザによって、表示部５８上に表示されている画面がメニュー要求画面に切り替えられる毎に、上記ステップＳ２０５〜ステップＳ２５２（図２０〜図２３参照）の処理を繰り返し実行する。このため、ユーザによる通信端末５からのレイアウトの選択指示に応じて、再生された変換合成映像データのレイアウトを変更することもできる。
【０２６０】
以上説明したように、本実施の形態の映像配信システム１では、配信対象の通信端末５の端末数に応じて起動した複数のブラウザ２０の各々で生成された映像（音）データを、ユーザによって選択されたレイアウト方法に応じたレイアウトで１画面に配置して、配信対象の通信端末５へ配信する。
【０２６１】
また、本実施の形態の映像配信システム１では、映像配信装置２のブラウザ２０がウェブサーバ８からコンテンツデータを取得してレンダリングすることにより、映像（音）データを生成する。そして、エンコーダブリッジ部３０が、映像（音）データを、配信対象の通信端末５に配信可能なデータ形式に変更した後に、通信端末５に配信する。
【０２６２】
従って、本実施の形態の映像配信システム１では、通信端末５の負荷軽減を図りつつ、複数のブラウザ２０で生成された映像データをユーザ所望のレイアウト方法で容易に提供することができる。
【０２６３】
また、本実施の形態の映像配信システム１では、通信端末５からレイアウト方法の選択がなされることで、各端末装置５で再生された変換合成映像データのレイアウトを容易に変更することもできる。
【０２６４】
また、本実施の形態の映像配信システム１では、クラウド上で映像配信装置２がブラウザ２０及びエンコード等を行うエンコーダブリッジ部３０を有する。これにより、ブラウザ２０が所定の記述言語で示されたコンテンツデータから映像データ又は音データを生成し、エンコーダブリッジ部３０がネットワーク９を介して配信することができるようにデータ形式を変換してから通信端末５に配信する。よって、通信端末５では、所定の記述言語で示されたコンテンツデータを受信する負荷、及び受信後に映像データ又は音データに変換する負荷が低減されるため、コンテンツデータのリッチ化に対応させるための負荷が高いという問題を解消することができる。
【０２６５】
特に、ブラウザ２０は、リアルタイムコミュニケーションを可能にし、変換部１０は、ブラウザ２０によって生成された映像（音）データに対してリアルタイムのエンコードを行う。よって、例えば、映像（音）データのオンデマンド配信のように、ＤＶＤプレーヤがリアルタイム性のない（つまり、予めエンコードされている）映像（音）データを選択して配信する場合とは異なり、映像配信装置２は、配信する直前に取得したコンテンツをレンダリングすることで映像（音）データを生成してからエンコードするため、映像配信装置２の処理は、例えば、ＤＶＤプレーヤによって、ＤＶＤに記録されているリアルタイム性のない映像（音）データを読み出して配信する場合等とは異なり、リアルタイム性に優れた映像（音）データの配信を行うことができる。
【０２６６】
なお、本実施の形態の映像配信システムを構成する通信端末５、端末管理装置７、映像配信装置２は、ＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェースなどを備えた通常のコンピュータを利用したハードウェア構成を採用し、上述した各機能をソフトウェア（プログラム）として実装することができる。また、端末管理装置７や映像配信装置２の機能の少なくとも一部を、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などの専用のハードウェアを用いて実現することもできる。
【０２６７】
図２４は、映像配信装置２、通信端末５、端末管理装置７のハードウェア構成図である。映像配信装置２、通信端末５、及び端末管理装置７は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、ＨＤＣ（Ｈａｒｄ  Ｄｉｓｋ  Ｃｏｎｔｒｏｌｌｅｒ）２０５、メディアドライブ２０７、ディスプレイ２０８、Ｉ／Ｆ２０９、キーボード２１１、マウス２１２、マイク２１３、スピーカ２１４、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１５、及びバスライン２２０を備える。また、これらの装置は、外付けのカメラや外付けのマイクを更に備えていてもよい。
【０２６８】
なお、マイク２１３、外付けのカメラ及び外付けのマイク等は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像（音）データの他に、触覚（ｔｏｕｃｈ）データや嗅覚（ｓｍｅｌｌ）データを出力することができてもよい。入力手段には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。
【０２６９】
ＣＰＵ２０１は、映像配信装置２、通信端末５、端末管理装置７の各々において全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤＤ２０４は、プログラム等の各種データを記憶する。ＨＤＣ２０５は、ＣＰＵ２０１の制御にしたがってＨＤＤ２０４に対する各種データの読み出し又は書き込みを制御する。メディアドライブ２０７は、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ２０８は、各種情報を表示する。Ｉ／Ｆ２０９は、ネットワーク９を利用してデータ送信したり、ドングル９９を接続するためのインターフェースである。バスライン２２０は、上記各構成要素を図２４に示されているように電気的に接続するためのアドレスバスやデータバスである。
【０２７０】
なお、本実施の形態の映像配信システム１で実行される上記各処理を実行するためのプログラムは、ＲＯＭ２０２等に予め組み込まれて提供される。本実施の形態の映像配信システム１で実行される上記各処理を実行するためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【０２７１】
また、本実施の形態の映像配信システム１で実行される上記各処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の映像配信システム１で実行される上記各処理を実行するためのプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０２７２】
本実施の形態の映像配信システム１で実行される上記各処理を実行するためのプログラムは、上述した各機能部（認証部７５、送受信部７１ｂ、抽出部７２、配信管理部７３、送受信部７１ａ、送受信部２１、ブラウザ２０、送信用ＦＩＦＯ２４、ブラウザ管理部２２、認識部３５、受信用ＦＩＦＯ３４、送信用ＦＩＦＯ２４、エンコーダブリッジ部３０、回線適応制御部２７、時刻管理部２５、時刻取得部２６、デコード部４０、遅延情報取得部３７ａ、回線適応制御部３７ｂ、送受信部３１、送受信部５１、遅延情報取得部５７、再生制御部５３、時刻制御部５６、操作部５２、エンコード部６０、デコード部５０、レンダリング部５５、及び表示部５８）を含むモジュール構成となっている。実際のハードウェアとしてはＣＰＵ２０１が上記ＲＯＭ２０２から上記各処理を実行するためのプログラムを読み出して実行することにより上記各部がＲＡＭ２０３等の主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
【０２７３】
また、本実施の形態の映像配信システム１では、端末管理装置７と映像配信装置２とを互いに別個の装置として構成しているが、例えば、映像配信装置２に端末管理装置７の機能を持たせるなどにより、端末管理装置７と映像配信装置２とを一体の装置として構成するようにしてもよい。
【符号の説明】
【０２７４】
１  映像配信システム
２  映像配信装置
５  通信端末
７  端末管理装置
１０  変換部
２０  ブラウザ
２２  ブラウザ管理部
３０  エンコーダブリッジ部
７２  抽出部
７３  配信管理部
３１０  生成・選択部
３１２  レイアウト処理部
【先行技術文献】
【特許文献】
【０２７５】
【特許文献１】特開２００７−２２１２２９号公報
【図１】
2015053613.tif 000003
【図２】
2015053613.tif 000004
【図３】
2015053613.tif 000005
【図４】
2015053613.tif 000006
【図５】
2015053613.tif 000007
【図６】
2015053613.tif 000008
【図７】
2015053613.tif 000009
【図８】
2015053613.tif 000010
【図９】
2015053613.tif 000011
【図１０】
2015053613.tif 000012
【図１１】
2015053613.tif 000013
【図１２】
2015053613.tif 000014
【図１３】
2015053613.tif 000015
【図１４】
2015053613.tif 000016
【図１５】
2015053613.tif 000017
【図１６】
2015053613.tif 000018
【図１７】
2015053613.tif 000019
【図１８】
2015053613.tif 000020
【図１９】
2015053613.tif 000021
【図２０】
2015053613.tif 000022
【図２１】
2015053613.tif 000023
【図２２】
2015053613.tif 000024
【図２３】
2015053613.tif 000025
【図２４】
2015053613.tif 000026