(57)【要約】【課題】本発明は、処理負荷を低減し、データ通信量を抑制できる映像配信システム１００を提供する。【解決手段】映像配信システム１００は、分割映像を生成する映像分割手段１２と、分割映像に時刻情報を付加する映像同期手段１３と、分割映像をエンコードする映像エンコード手段１４と、全分割領域の分割映像を時刻情報ごとに多重化する多重化手段１５と多重化分割映像を配信する配信手段１７とを備える配信サーバ１と、多重化分割映像を受信する受信手段３１と、拡大領域が入力される拡大縮小手段３３と、拡大領域が含まれる分割領域の分割映像を選択してデコードする選択デコード手段３５と、拡大領域を切り出すと共に時刻情報ごとに出力する表示制御手段３６と、拡大領域の分割映像を拡大表示する表示手段３７とを備えるクライアント端末３とを有する。【選択図】図１
2013157759.tif 000002
【特許請求の範囲】
【請求項１】
入力された全体映像を予め設定されたサイズの分割領域に分割して、前記全体映像の一部を拡大表示する端末装置に配信する映像配信装置であって、
映像座標系で前記分割領域の位置を示す位置情報が予め設定され、前記位置情報に基づいて、前記全体映像を前記分割領域ごとに分割すると共に、各分割領域を一意に識別する識別情報を付加することで、分割映像を生成する映像分割手段と、
前記映像分割手段で生成された分割映像に、前記全体映像の時刻情報を付加する映像同期手段と、
前記映像同期手段で時刻情報が付加された分割映像をエンコードする映像エンコード手段と、
前記映像エンコード手段でエンコードされた全分割領域の分割映像を、当該分割映像に付加された時刻情報ごとに多重化することで、多重化分割映像を生成する多重化手段と、
前記多重化手段で生成された多重化分割映像を前記端末装置に配信する配信手段と、
を備えることを特徴とする映像配信装置。
【請求項２】
前記映像エンコード手段は、前記分割映像の単位面積当たりのビットレートが前記全体映像の単位面積あたりのビットレート以上で予め設定されていると共に、前記分割映像のビットレートで前記分割映像をエンコードすることを特徴とする請求項１に記載の映像配信装置。
【請求項３】
前記映像エンコード手段は、さらに、前記全体映像をエンコードし、
前記多重化手段は、前記全分割領域の分割映像と共に、前記全体映像が多重化された前記多重化分割映像を生成することを特徴とする請求項１又は請求項２に記載の映像配信装置。
【請求項４】
全体映像が予め設定されたサイズの分割領域に分割され、かつ、各分割領域を一意に識別する識別情報及び前記全体映像の時刻情報が付加された分割映像を用いて、前記全体映像の一部を拡大表示する端末装置であって、
外部から、映像座標系で前記全体映像の拡大領域が入力される入力手段と、
請求項１に記載の映像配信装置から、全分割領域の前記分割映像が多重化された多重化分割映像を受信する受信手段と、
前記映像座標系で前記分割領域の位置を示す位置情報が予め設定され、前記位置情報及び前記識別情報に基づいて、前記拡大領域が含まれる分割領域を選択すると共に、前記受信手段で受信した多重化分割映像のうち、選択した当該分割領域の分割映像をデコードする選択デコード手段と、
前記位置情報及び前記識別情報に基づいて、デコードされた前記分割映像を配置して前記拡大領域を切り出すことで拡大映像を生成し、当該分割映像に付加された時刻情報ごとに前記拡大映像を出力する表示制御手段と、
前記表示制御手段から出力された拡大映像を表示する表示手段と、
を備えることを特徴とする端末装置。
【請求項５】
前記受信手段は、前記全分割領域の分割映像と共に、エンコード済みの前記全体映像が多重化された前記多重化分割映像を受信し、
前記選択デコード手段は、前記受信手段で受信した多重化分割映像から、前記全体映像をデコードし、
前記表示制御手段は、前記分割領域の分割映像のデコードが完了するまで、デコードが完了していない前記分割領域の分割映像を前記全体映像で補完した前記拡大映像を生成することを特徴とする請求項４に記載の端末装置。
【請求項６】
入力された全体映像を予め設定されたサイズの分割領域に分割して、前記全体映像の一部を拡大表示する端末装置に配信するために、コンピュータを、
映像座標系で前記分割領域の位置を示す位置情報が予め設定され、前記位置情報に基づいて、前記全体映像を前記分割領域ごとに分割すると共に、各分割領域を一意に識別する識別情報を付加することで、分割映像を生成する映像分割手段、
前記映像分割手段で生成された分割映像に、前記全体映像の時刻情報を付加する映像同期手段、
前記映像同期手段で時刻情報が付加された分割映像をエンコードする映像エンコード手段、
前記映像エンコード手段でエンコードされた全分割領域の分割映像を、当該分割映像に付加された時刻情報ごとに多重化することで、多重化分割映像を生成する多重化手段、
前記多重化手段で生成された多重化分割映像を前記端末装置に配信する配信手段、
として機能させるための映像配信プログラム。
【請求項７】
全体映像が予め設定されたサイズの分割領域に分割され、かつ、各分割領域を一意に識別する識別情報及び前記全体映像の時刻情報が付加された分割映像を用いて、前記全体映像の一部を拡大表示するために、コンピュータを、
外部から、映像座標系で前記全体映像の拡大領域が入力される入力手段、
請求項１に記載の映像配信装置から、全分割領域の前記分割映像が多重化された多重化分割映像を受信する受信手段、
前記映像座標系で前記分割領域の位置を示す位置情報が予め設定され、前記位置情報及び前記識別情報に基づいて、前記拡大領域が含まれる分割領域を選択すると共に、前記受信手段で受信した多重化分割映像のうち、選択した当該分割領域の分割映像をデコードする選択デコード手段、
前記位置情報及び前記識別情報に基づいて、デコードされた前記分割映像を配置して前記拡大領域を切り出すことで拡大映像を生成し、当該分割映像に付加された時刻情報ごとに前記拡大映像を表示手段に出力する表示制御手段、
として機能させるための映像拡大表示プログラム。
【請求項８】
請求項１に記載の映像配信装置と、
請求項４に記載の端末装置と、
を備えることを特徴とする映像配信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置に映像を配信する映像配信装置、映像配信装置から配信された映像の拡大表示を行う端末装置及びこれらのプログラム、並びに、映像配信システムに関する。
【背景技術】
【０００２】
近年、インターネット等の通信ネットワークを介して、映像（動画像）のストリーミング配信が広く行われている。このストリーミング配信において、映像の一部を拡大表示する発明が提案されている（例えば、特許文献１参照）。
【０００３】
この特許文献１に記載の発明は、配信サーバにおいて、再生端末から拡大対象となる部分が指定され、指定された部分の拡大映像を再生端末に配信するものである。そして、特許文献１に記載の発明は、再生端末において、この拡大映像を表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−３５６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の発明では、各再生端末で指定された拡大部分を配信サーバに送信すると共に、配信サーバから再生端末に固有の拡大映像を配信する必要があるため、データ通信量が多くなるという問題がある。さらに、特許文献１に記載の発明では、配信サーバが再生端末に固有の拡大映像を生成する必要があるため、配信サーバの処理負荷が高くなるという問題もある。
【０００６】
そこで、本発明は、処理負荷を低減し、データ通信量を抑制できる映像配信装置、端末装置及びこれらのプログラム、並びに、映像配信システムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記した課題に鑑みて、本願第１発明に係る映像配信装置は、入力された全体映像を予め設定されたサイズの分割領域に分割して、全体映像の一部を拡大表示する端末装置に配信する映像配信装置であって、映像分割手段と、映像同期手段と、映像エンコード手段と、多重化手段と、配信手段とを備えることを特徴とする。
【０００８】
かかる構成によれば、映像配信装置は、映像分割手段によって、映像座標系で分割領域の位置を示す位置情報が予め設定され、位置情報に基づいて、全体映像を分割領域ごとに分割すると共に、各分割領域を一意に識別する識別情報を付加することで、分割映像を生成する。
【０００９】
また、映像配信装置は、映像同期手段によって、映像分割手段で生成された分割映像に、全体映像の時刻情報を付加する。そして、映像配信装置は、映像エンコード手段によって、前記映像同期手段で時刻情報が付加された分割映像をエンコードする。
【００１０】
また、映像配信装置は、多重化手段によって、映像エンコード手段でエンコードされた全分割領域の分割映像を、分割映像に付加された時刻情報ごとに多重化することで、多重化分割映像を生成する。そして、映像配信装置は、配信手段によって、多重化手段で生成された多重化分割映像を端末装置に配信する。
【００１１】
このように、映像配信装置は、全体映像の配信対象となる全端末装置に共通の多重化分割映像を配信することができる。このため、各端末装置が拡大領域を映像配信装置に送信する必要や、映像配信装置が各端末装置に固有の拡大映像を生成して配信する必要がない。
【００１２】
また、本願第２発明に係る映像配信装置は、映像エンコード手段が、分割映像の単位面積当たりのビットレートが全体映像の単位面積あたりのビットレート以上で予め設定されていると共に、分割映像のビットレートで分割映像をエンコードすることを特徴とする。
かかる構成によれば、映像配信装置は、前記したビットレートで分割映像をエンコードするので、分割映像が全体映像に比べて高解像度（高画質）になる。
【００１３】
また、本願第３発明に係る映像配信装置は、映像エンコード手段が、さらに、全体映像をエンコードし、多重化手段が、全分割領域の分割映像と共に、全体映像が多重化された多重化分割映像を生成することを特徴とする。
この多重化分割映像が配信された端末装置は、全体映像を用いて、デコードが完了していない分割領域の分割映像を補完して、拡大映像を生成することができる。
【００１４】
また、前記した課題に鑑みて、本願第４発明に係る端末装置は、全体映像が予め設定されたサイズの分割領域に分割され、かつ、各分割領域を一意に識別する識別情報及び全体映像の時刻情報が付加された分割映像を用いて、全体映像の一部を拡大表示する端末装置であって、入力手段と、受信手段と、選択デコード手段と、表示制御手段と、表示手段とを備えることを特徴とする。
【００１５】
かかる構成によれば、端末装置は、入力手段によって、外部から、映像座標系で全体映像の拡大領域が入力される。また、端末装置は、受信手段によって、本願第１発明に係る映像配信装置から、全分割領域の分割映像が多重化された多重化分割映像を受信する。
【００１６】
このように、端末装置は、映像配信装置から、全体映像の配信対象となる全端末装置に共通の多重化分割映像を受信する。このため、各端末装置が拡大領域を映像配信装置に送信する必要や、映像配信装置が各端末装置に固有の拡大映像を生成して配信する必要がない。
【００１７】
また、端末装置は、選択デコード手段によって、映像座標系で分割領域の位置を示す位置情報が予め設定され、位置情報及び識別情報に基づいて、拡大領域が含まれる分割領域を選択すると共に、受信手段で受信した多重化分割映像のうち、選択した当該分割領域の分割映像をデコードする。
【００１８】
ここで、選択デコード手段は、識別情報を参照すれば、各分割映像が全体映像でどの分割領域に対応するか特定できる。さらに、選択デコード手段は、位置情報を参照すれば、全体映像内で各分割映像の位置（座標）を特定できる。従って、選択デコード手段は、全分割領域から、拡大領域が含まれる分割領域を選択して、この分割領域の分割映像のみをデコードできる。
【００１９】
また、端末装置は、表示制御手段によって、位置情報及び識別情報に基づいて、デコードされた分割映像を配置して拡大領域を切り出すことで拡大映像を生成し、分割映像に付加された時刻情報ごとに拡大映像を出力する。そして、端末装置は、表示手段によって、表示制御手段から出力された拡大映像を拡大表示する。
【００２０】
また、本願第５発明に係る端末装置は、受信手段が、全分割領域の分割映像と共に、エンコード済みの全体映像が多重化された多重化分割映像を受信し、選択デコード手段が、受信手段で受信した多重化分割映像から、全体映像をデコードし、表示制御手段が、分割領域の分割映像のデコードが完了するまで、デコードが完了していない分割領域の分割映像を全体映像で補完した拡大映像を生成する。
かかる構成によれば、端末装置は、全体映像を用いて、デコードが完了していない分割領域の分割映像を補完して、拡大映像を生成することができる。
【００２１】
なお、本発明は、一般的なコンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、映像分割手段、映像同期手段、映像エンコード手段、多重化手段、配信手段として協調動作させるための映像配信プログラムによって実現することもできる（本願第６発明）。
また、本発明は、一般的なコンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、入力手段、受信手段、選択デコード手段、表示制御手段として協調動作させるための映像拡大表示プログラムによって実現することもできる（本願第７発明）。
また、本発明は、本願第１発明に係る映像配信装置と、本願第５発明に係る端末装置と備える映像配信システムによって実現することもできる（本願第８発明）。
【発明の効果】
【００２２】
本発明によれば、以下のような優れた効果を奏する。
本願第１，４，６〜８発明によれば、映像配信装置が、全体映像の配信対象となる全端末装置に共通の多重化分割映像を配信することができる。従って、本願第１，４，６〜８発明によれば、各端末装置が拡大領域を映像配信装置に送信する必要や、映像配信装置が各端末装置に固有の拡大映像を生成して配信する必要がない。これによって、本願第１，４，６〜８発明によれば、映像配信装置の処理負荷を低減し、映像配信装置と端末装置とのデータ通信量を抑制することができる。
【００２３】
本願第２発明によれば、分割映像が全体映像に比べて高解像度（高画質）のため、端末装置で拡大表示を行う際、画質劣化を抑制することができる。
本願第３，５発明によれば、全体映像を用いて、デコードが完了していない分割領域の分割映像を補完して、拡大映像を生成することができる。これによって、本願第３，５発明によれば、分割映像のデコードの完了を待つことなく、拡大表示を素早く行うことができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る映像配信システムの構成を示すブロック図である。
【図２】図１のクライアント端末の外観図である。
【図３】本発明の実施形態において、全体映像の一例を示す図である。
【図４】本発明の実施形態において、位置情報を説明する図である。
【図５】図１の映像分割手段を説明する図である。
【図６】図１の映像同期手段を説明する図である。
【図７】図１の多重化手段を説明する図である。
【図８】図１の配信手段を説明する図である。
【図９】図１のクライアント端末における拡大表示を説明する第１図であり、（ａ）は全体映像内での拡大領域の位置を示し、（ｂ）はデコードが完了する前の表示画面を示し、（ｃ）はデコードが完了した後の表示画面を示す。
【図１０】図１のクライアント端末における拡大表示を説明する第２図であり、（ａ）は全体映像内での拡大領域の位置を示し、（ｂ）はデコードが完了する前の表示画面を示し、（ｃ）はデコードが完了した後の表示画面を示す。
【図１１】図１の配信サーバの動作を示すフローチャートである。
【図１２】図１のクライアント端末の動作を示すフローチャートである。
【図１３】本発明の変形例１において、位置情報を説明する図である。
【発明を実施するための形態】
【００２５】
［映像配信システムの構成］
図１を参照して、映像配信システム１００の構成について、説明する。
図１に示すように、映像配信システム１００は、配信サーバ（映像配信装置）１がクライアント端末（端末装置）３に映像を配信し、クライアント端末３がこの映像を表示するものであり、配信サーバ１と、１台以上のクライアント端末３とを備える。
この図１では、図面を見やすくするため、クライアント端末３を１台のみ図示した。
【００２６】
また、映像配信システム１００は、配信サーバ１及びクライアント端末３が、ネットワークＮを介して、接続されている。本実施形態では、ネットワークＮは、Ｌ２スイッチ（レイヤ２スイッチ）２０と、無線ＬＡＮ（Local Area Network）アクセスポイント２１とで構成されており、無線通信可能である。
なお、Ｌ２スイッチ２０及び無線ＬＡＮアクセスポイント２１は、一般的な手段のため、詳細な説明を省略する。
【００２７】
配信サーバ１は、後記する多重化映像を生成して、クライアント端末３に配信するものである。
本実施形態では、配信サーバ１は、ハイビジョンカメラ（不図示）で撮影された後、エンコードされたベース映像（全体映像）が入力されることとする。そして、配信サーバ１は、入力されたベース映像から多重化分割映像を生成して、クライアント端末３に配信する。
【００２８】
クライアント端末３は、配信サーバ１から多重化分割映像が配信されると共に、配信された多重化分割映像を用いて、ベース映像の一部を拡大表示するものである。
本実施形態では、クライアント端末３は、図２に示すようなスマートフォンであることとする。このクライアント端末３は、無線通信機能を有し、ダウンロードしたプログラムの実行や、多重化分割映像の受信を行うことができる。
また、クライアント端末３は、タッチパネル（操作手段３２及び表示手段３７）を備える。そして、クライアント端末３は、ユーザが、後記するピンチアウト操作を行うことで、ベース映像の一部を拡大表示することができる。
なお、図２では、ユーザの手を２点鎖線で図示した。
【００２９】
［配信サーバの構成］
図１に戻り、配信サーバ１の構成について、説明する。
図１に示すように、配信サーバ１は、映像入力手段１０と、分割エンコード手段１１と、多重化手段１５と、配信情報入力手段１６と、配信手段１７とを備える。
【００３０】
映像入力手段１０は、外部（例えば、ハイビジョンカメラ）からベース映像が入力され、入力されたベース映像を分割エンコード手段１１に出力するものである。
本実施形態では、ベース映像αは、図３に示すように、中央部の山及び左上部の雲が撮影された風景映像であることとする。
【００３１】
分割エンコード手段１１は、映像入力手段１０からベース映像が入力され、入力されたベース映像について、映像分割処理と、同期処理と、エンコード（再エンコード）とを行うものである。このため、分割エンコード手段１１は、映像分割手段１２と、映像同期手段１３と、映像エンコード手段１４とを備える。
【００３２】
映像分割手段１２は、位置情報に基づいて、ベース映像を分割領域ごとに分割すると共に、識別情報を付加することで、分割映像を生成するものである（映像分割処理）。
この位置情報は、映像座標系で分割領域の位置を示す情報であり、配信サーバ１に予め設定されている。言い換えるなら、位置情報は、ベース映像を構成する各フレーム画像において、各分割領域の位置（座標）を空間方向で特定する情報である。
また、識別情報は、各分割領域を一意に識別する情報であり、配信サーバ１に予め設定されている。
【００３３】
＜位置情報及び映像分割処理＞
図４，図５を参照して、分割領域、及び、映像分割手段１２による映像分割処理について、詳細に説明する（適宜図１参照）。
図４，図５では、分割領域Ａ，Ｂ，・・・，Ｐ，Ｑから分割された分割映像は、分割映像Ａ〜Ｑと図示した。
これらＡ〜Ｑは、説明のために図示したものであり、分割映像にＡ〜Ｑが表示されるわけでない。
【００３４】
図４に示すように、本実施形態では、映像座標系は、水平方向の座標ｘ及び垂直方向の座標ｙとし、ベース映像αの左上座標（ｘ０，ｙ０）を原点とする２次元座標系である。
また、分割領域は、ベース映像を水平方向及び垂直方向に４等分した、１６の領域である。
また、位置情報は、分割領域Ａ〜Ｑの位置を、分割領域Ａ〜Ｑの左上座標で示している。図４の例では、位置情報は、分割領域Ａの位置を分割領域Ａの左上座標（ｘＡ，ｙＡ）で示している。
なお、分割領域Ａの左上座標（ｘＡ，ｙＡ）は、原点座標（ｘ０，ｙ０）と同一座標である。また、図４では、分割領域Ａ以外の左上座標は、その図示を省略した。
【００３５】
映像分割手段１２は、図４の位置情報に基づいて、ベース映像αを水平方向及び垂直方向に４等分する。そして、映像分割手段１２は、図５に示すように、分割領域Ａ〜Ｑを示す識別情報を付加して、ベース映像αから、１６の分割映像Ａ〜Ｑを生成する。
図５の例では、映像分割手段１２は、雲の左半分が含まれる分割映像Ａと、雲の右半分が含まれる分割映像Ｂと、分割映像Ｃ〜Ｐと（不図示）、山右側の裾が含まれる分割映像Ｑとを生成する。
なお、映像分割手段１２が、ベース映像αの全フレーム画像について、映像分割処理を行うことは言うまでもない。
【００３６】
図１に戻り、配信サーバ１の構成について、説明を続ける。
映像同期手段１３は、映像分割手段１２で生成された分割映像に、時刻情報を付加するものである（同期処理）。
この時刻情報は、ベース映像の時刻を示す情報（例えば、タイムコード）である。言い換えるなら、時刻情報は、ベース映像内において、分割映像の位置を時間方向で特定する情報である。
【００３７】
＜同期処理＞
図６を参照して、映像同期手段１３による同期処理について、詳細に説明する。
以後、時刻情報Ｔ＝１〜ｎ（但し、ｎは、１以上の整数）とし、図６では、説明を簡易にするため、時刻情報Ｔ＝１の場合を考える。
【００３８】
従って、図６では、時刻情報Ｔ＝１の分割映像Ａ〜Ｑは分割映像Ａ１〜Ｑ１と図示し、時刻情報Ｔ＝１のベース映像αはベース映像α１と図示した。この図６では、同一画質を維持するなら、分割映像Ａ１〜Ｑ１をベース映像α１のサイズまで拡大表示できることを示すため、分割映像Ａ１〜Ｑ１及びベース映像α１を同一サイズで図示した。従って、配信サーバ１が、分割映像Ａ１〜Ｑ１の拡大やベース映像α１の縮小を行うわけでない。
【００３９】
映像同期手段１３は、図６に示すように、ベース映像α１から時刻情報Ｔ＝１を抽出する。そして、映像同期手段１３は、この時刻情報Ｔ＝１を分割映像Ａ１〜Ｑ１に付加する。つまり、映像同期手段１３は、同一時刻の分割映像αから分割した分割映像Ａ〜Ｑに、同一の時刻情報を付加する。
なお、映像同期手段１３が、時刻情報Ｔ＝２〜ｎについても、同期処理を行うことは言うまでもない。
【００４０】
図１に戻り、配信サーバ１の構成について、説明を続ける。
映像エンコード手段１４は、映像同期手段１３で時刻情報が付加された分割映像をエンコードするものである。
また、映像エンコード手段１４は、ベース映像を常にエンコードする。
【００４１】
本実施形態では、映像エンコード手段１４は、映像エンコード方式として、Ｈ．２６４／ＭＰＥＧ（Moving Picture Expert Group）−４  ＡＶＣ（Advanced Video Coding）を用いる。このとき、映像エンコード手段１４は、分割映像に付加された識別情報を、ＴＳ（Transport Stream）パケットのＰＩＤ（パケット識別子）に格納する。
【００４２】
ここで、映像エンコード手段１４は、分割映像及びベース映像のビットレートが任意の値で予め設定されている。このとき、分割映像の単位面積当たりのビットレートは、ベース映像の単位面積あたりのビットレート以上であることが好ましい。言い換えるなら、分割映像のビットレートは、ベース映像のビットレートを分割領域の個数（本実施形態では１６）で除算した値以上であることが好ましい。このように、分割映像のビットレートを設定することで、分割映像は、ベース映像に比べて、高解像度（高画質）になる。
その後、分割エンコード手段１１は、映像エンコード手段１４がエンコードした分割映像及びベース映像を、多重化手段１５に出力する。
【００４３】
多重化手段１５は、映像エンコード手段１４から、エンコードされた分割映像及びベース映像が入力される。そして、多重化手段１５は、入力された分割映像及びベース映像を、時刻情報ごとに多重化することで、多重化分割映像を生成するものである。
【００４４】
＜多重化映像の生成＞
図７を参照して、多重化手段１５による多重化映像の生成について、詳細に説明する（適宜図１参照）。
図７では、時刻情報Ｔ＝１〜ｎの分割映像Ａ〜Ｑは分割映像Ａ１〜Ｑｎと図示し、時刻情報Ｔ＝１〜ｎのベース映像αはベース映像α１〜αｎと図示した（図８も同様）。
【００４５】
図７に示すように、多重化手段１５は、時刻情報Ｔ＝１について、分割映像Ａ１〜Ｑ１及びベース映像α１を多重化する。この多重化分割映像は、分割映像Ａ１〜Ｑ１及びベース映像α１という、合計１７種類の映像が多重化されている。次に、多重化手段１５は、時刻情報Ｔ＝２について、分割映像Ａ２〜Ｑ２及びベース映像α２を多重化する。そして、多重化手段１５は、時刻情報Ｔ＝３，４，・・・，ｎ−１と多重化を行う。最後に、多重化手段１５は、時刻情報Ｔ＝ｎについて、分割映像Ａｎ〜Ｑｎ及びベース映像αｎを多重化する。このように、多重化手段１５は、時刻情報Ｔ＝１〜ｎの順番に、同一の時刻情報Ｔ＝１〜ｎを有する分割映像Ａ１〜Ｑｎ及びベース映像α１〜αｎを多重化して、多重化映像を生成する。
その後、多重化手段１５は、分割映像Ａ１〜Ｑｎ及びベース映像α１〜αｎが多重化された多重化分割映像を、配信手段１７に出力する。
【００４６】
図１に戻り、クライアント端末３の構成について、説明を続ける。
配信情報入力手段１６は、外部（例えば、配信サーバ１の管理者）から配信情報が入力され、入力された配信情報を配信手段１７に出力するものである。
この配信情報は、配信手段１７の配信処理に必要な情報であり、例えば、配信先マルチキャストアドレス、配信先ポート番号及び１回の転送サイズが含まれる。
【００４７】
配信手段１７は、配信情報入力手段１６の配信情報に基づいて、多重化手段１５から多重化分割映像が入力され、入力された多重化分割映像をクライアント端末３に配信するものである。
図８に示すように、配信手段１７は、時刻情報Ｔ＝１〜ｎの順番で、多重化分割映像をクライアント端末３にマルチキャスト配信する。ここで、配信手段１７は、通信プロトコルとして、ＵＤＰ（User Datagram Protocol）を用いる。
【００４８】
［クライアント端末の構成］
図１に戻り、クライアント端末３の構成について、説明を続ける。
図１に示すように、クライアント端末３は、受信情報入力手段３０と、受信手段３１と、操作手段３２と、選択デコード手段３５と、表示制御手段３６と、表示手段３７とを備える。
このクライアント端末３は、配信サーバ１と同一の位置情報が予め設定されている。
【００４９】
受信情報入力手段３０は、外部（例えば、ユーザ）から受信情報が入力され、入力された受信情報を受信手段３１に出力するものである。
この受信情報は、受信手段３１の受信処理に必要な情報であり、例えば、受信マルチキャストアドレス、受信ポート番号及び１回の転送サイズが含まれる。
【００５０】
受信手段３１は、受信情報入力手段３０の受信情報に基づいて、配信サーバ１から多重化分割映像を受信し、受信した多重化分割映像を選択デコード手段３５に出力するものである。
ここで、受信手段３１は、配信手段１７と同一の通信プロトコルを用いる。
【００５１】
操作手段３２は、拡大領域及び拡大領域の移動先を入力するユーザインタフェースである。このため、操作手段３２は、拡大縮小手段（入力手段）３３と、表示範囲移動手段３４とを備える。
本実施形態では、操作手段３２は、図２に示すように、後記する表示手段３７と一体となって、タッチパネルを構成することとする。
【００５２】
拡大縮小手段３３は、外部（例えば、ユーザ）から、拡大領域が入力されるものである。
この拡大領域は、映像座標系で拡大表示する矩形領域を示す情報（例えば、矩形領域の左上座標、幅及び高さ）である。
表示範囲移動手段３４は、外部（例えば、ユーザ）から、表示範囲となる拡大領域の移動先が入力されるものである。
この拡大領域の移動先は、映像座標系で拡大領域の移動先を示す情報（例えば、移動先の拡大領域の左上座標）である。
【００５３】
＜クライアント端末の操作方法＞
図２に戻り、クライアント端末３の操作方法について、具体例を説明する（適宜図１参照）。
例えば、ユーザが、タッチパネル上でピンチアウト操作又はダブルタップ操作を行うことで、拡大縮小手段３３に拡大領域を入力できる。
このピンチアウト操作は、タッチパネル上で拡大領域を２本の指で指定し、これら２本の指を広げる操作である。
このダブルタップ操作は、タッチパネル上で拡大領域の中心を２回連続して押す操作である。
【００５４】
例えば、ユーザが、タッチパネル上でドラッグ操作又はフリック操作を行うことで、表示範囲移動手段３４に拡大領域の移動先を入力できる。
このドラッグ操作は、タッチパネル上で、移動先となる拡大領域の中心を指で押したまま、タッチパネル中央まで移動させる動作である。
このフリック操作は、タッチパネル上で、移動先となる拡大領域に向けて指を払う動作である。
【００５５】
図１に戻り、クライアント端末３の構成について、説明を続ける。
選択デコード手段３５は、受信手段３１から多重化分割映像が入力され、操作手段３２から拡大領域及び拡大領域の移動先が入力される。
そして、選択デコード手段３５は、位置情報及び識別情報に基づいて、拡大領域が含まれる分割領域を選択し、この多重化分割映像から、選択された分割領域の分割映像をデコードするものである。
以後、選択デコード手段３５で選択された分割領域を「選択領域」と略記する。
【００５６】
多重化分割映像の分割映像は、ＴＳパケットのＰＩＤに識別情報が格納されている。このため、選択デコード手段３５は、このＰＩＤを参照すれば、デコードを行う前に、各分割映像がベース映像でどの分割領域に対応するか特定できる。さらに、選択デコード手段３５は、位置情報を参照すれば、ベース映像内で各分割映像の位置（座標）を特定できる。これによって、選択デコード手段３５は、全分割領域から選択領域を選択し、選択領域の分割映像のみをデコードできる。
【００５７】
また、選択デコード手段３５は、この多重化分割映像に多重化されたベース映像を常にデコードする。その後、選択デコード手段３５は、選択領域の分割映像及びベース映像を表示制御手段３６に出力する。
【００５８】
なお、選択デコード手段３５は、映像エンコード手段１４と同一の映像エンコード方式を用いる。
また、選択デコード手段３５の詳細は、後記する映像の拡大表示で説明する。
【００５９】
表示制御手段３６は、操作手段３２から拡大領域及び拡大領域の移動先が入力され、選択デコード手段３５から選択領域の分割映像及びベース映像が入力される。
そして、表示制御手段３６は、位置情報及び識別情報に基づいて、選択デコード手段３５から入力された分割映像を配置して拡大領域を切り出すことで、拡大映像を生成するものである。
【００６０】
ここで、ネットワークＮに遅延が発生する場合や、拡大領域を移動させる場合がある。この場合、選択デコード手段３５では、拡大表示に必要な分割映像のデコードが完了せずに、拡大表示に時間を要することがある。このため、表示制御手段３６は、選択領域の分割映像のデコードが完了したか否かについて、選択デコード手段３５から、選択領域の分割映像が入力されたか否かによって判定する。そして、表示制御手段３６は、選択デコード手段３５で選択領域の分割映像のデコードが完了するまで、デコードが完了していない選択領域の分割映像をベース映像で補完（デジタルズーム）して、拡大映像を生成する。
【００６１】
その後、表示制御手段３６は、生成した拡大映像を、この分割映像に付加された時刻情報ごとに、表示手段３７に出力する。
なお、表示制御手段３６の詳細は、後記する映像の拡大表示で説明する。
【００６２】
表示手段３７は、表示制御手段３６から入力された拡大領域の分割映像を表示するものである。
本実施形態では、表示手段３７は、図２に示すように、操作手段３２と一体となって、タッチパネルを構成することとする。
【００６３】
＜映像の拡大表示：ベース映像を表示するケース＞
図３，図９，図１０を参照して、映像の拡大表示について、具体的に説明する（適宜図１参照）。
最初に、図３を参照して、ベース映像を表示するケースについて説明する。
選択デコード手段３５は、操作手段３２から拡大領域が入力されないため、分割領域Ａ〜Ｑの何れも選択せず、多重化分割映像から常にデコードしているベース映像αのみを表示制御手段３６に出力する。
【００６４】
表示制御手段３６は、操作手段３２から拡大領域が入力されないため、選択デコード手段３５から入力されたベース映像αの切り出しを行わない。従って、表示制御手段３６は、ベース映像αを表示手段３７のサイズに合わせてデジタルズームして、表示手段３７に出力する。従って、表示手段３７は、図２に示すように、ベース映像αを全画面表示する。
【００６５】
＜映像の拡大表示：拡大映像を表示するケース＞
次に、図９を参照して、拡大映像を表示するケースについて説明する。
選択デコード手段３５は、多重化分割映像から常にデコードしているベース映像αを表示制御手段３６に出力する。
【００６６】
また、選択デコード手段３５は、操作手段３２から拡大領域βが入力される。この拡大領域βは、図９（ａ）に示すように、分割領域Ｆ，Ｊの全体と、分割領域Ｅ，Ｉの右半分とを含んでいる。このため、選択デコード手段３５は、分割領域Ａ〜Ｑから、この拡大領域βに一部でも含まれる分割領域Ｅ，Ｆ，Ｉ，Ｊを選択する。そして、選択デコード手段３５は、多重化分割映像から、分割映像Ｅ，Ｆ，Ｉ，Ｊのデコードを開始する。
【００６７】
ここで、表示制御手段３６は、選択デコード手段３５から分割映像Ｅ，Ｆ，Ｉ，Ｊが入力されず、分割映像Ｅ，Ｆ，Ｉ，Ｊのデコードが完了していないと判定したこととする。この場合、表示制御手段３６は、ベース映像αを用いて、デコードが完了していない分割映像Ｅ，Ｆ，Ｉ，Ｊの補完を行う。具体的には、表示制御手段３６は、位置情報に基づいて、ベース映像αから拡大領域βを切り出す。そして、表示制御手段３６は、切り出したベース映像αを表示手段３７のサイズに合わせてデジタルズームした拡大映像を生成し、表示手段３７に出力する。従って、表示手段３７は、図９（ｂ）に示すように、拡大領域βを拡大表示する。
なお、図９（ｂ）では、デジタルズームされた箇所を点線で図示した（図１０（ｂ）も同様）。
【００６８】
その後、表示制御手段３６は、選択デコード手段３５から分割映像Ｅ，Ｆ，Ｉ，Ｊが入力され、分割映像Ｅ，Ｆ，Ｉ，Ｊのデコードが完了したと判定したこととする。この場合、表示制御手段３６は、位置情報に基づいて、分割映像Ｅを左上に配置し、分割映像Ｆを右上に配置し、分割映像Ｉを左下に配置し、分割映像Ｊを右下に配置する。さらに、表示制御手段３６は、配置済みの分割映像Ｅ，Ｆ，Ｉ，Ｊから拡大領域βを切り出して拡大映像を生成する。このとき、表示制御手段３６は、表示手段３７のサイズに合わせて、拡大映像をデジタルズームしてもよい。その後、表示制御手段３６は、生成した拡大映像を表示手段３７に出力する。従って、表示手段３７は、図９（ｃ）に示すように、拡大領域βを拡大表示する。
【００６９】
＜映像の拡大表示：拡大領域を移動させるケース＞
最後に、拡大領域βを移動させるケースを考える。
選択デコード手段３５は、多重化分割映像から常にデコードしているベース映像αを表示制御手段３６に出力する。
【００７０】
また、選択デコード手段３５は、操作手段３２から、図１０（ａ）の拡大領域βが入力される。この拡大領域βは、図９（ａ）の状態から右側に移動して、分割領域Ｆ，Ｊの全体と、分割領域Ｇ，Ｋの左半分を含んでいる。このため、選択デコード手段３５は、分割領域Ａ〜Ｑから、この拡大領域βに一部でも含まれる分割領域Ｆ，Ｇ，Ｊ，Ｋを選択する。そして、選択デコード手段３５は、多重化分割映像から、分割映像Ｆ，Ｇ，Ｊ，Ｋのデコードを開始する。
【００７１】
ここで、選択デコード手段３５は、拡大領域βの移動前後で重複する分割映像Ｆ，Ｊについて、デコードを行っている。一方、選択デコード手段３５は、拡大領域βの移動後に、新たに選択される分割映像Ｇ，Ｋについて、デコードを開始する。
【００７２】
従って、表示制御手段３６は、選択デコード手段３５から分割映像Ｆ，Ｊのみが入力され、分割映像Ｆ，Ｊのデコードが完了した、かつ、分割映像Ｇ，Ｋのデコードが完了していないと判定したこととする。この場合、表示制御手段３６は、ベース映像αを用いて、デコードが完了していない分割映像Ｇ，Ｋの補完を行う。具体的には、表示制御手段３６は、位置情報に基づいて、ベース映像αから、分割領域Ｇ，Ｋに相当する領域を切り出す。そして、表示制御手段３６は、位置情報に基づいて、分割映像Ｆを左上に配置し、分割映像Ｊを左下に配置し、切り出したベース映像αを右側に配置する。さらに、表示制御手段３６は、配置済みの映像Ｆ，Ｊ，αから拡大領域βを切り出して拡大映像を生成する。その後、表示制御手段３６は、生成した拡大映像を表示手段３７に出力する。従って、表示手段３７は、図１０（ｂ）に示すように、拡大領域βを拡大表示する。
【００７３】
その後、表示制御手段３６は、選択デコード手段３５から分割映像Ｇ，Ｋが入力されるため、分割映像Ｇ，Ｋのデコードが完了したと判定したこととする。この場合、表示制御手段３６は、分割映像Ｆを左上に配置し、分割映像Ｇを右上に配置し、分割映像Ｊを左下に配置し、分割映像Ｋを右下に配置する。さらに、表示制御手段３６は、配置済みの分割映像Ｆ，Ｇ，Ｊ，Ｋから拡大領域βを切り出して拡大映像を生成する。その後、表示制御手段３６は、生成した拡大映像を表示手段３７に出力する。従って、表示手段３７は、図１０（ｃ）に示すように、拡大領域βを拡大表示する。
【００７４】
［配信サーバの動作］
図１１を参照して、配信サーバ１の動作について、説明する（適宜図１参照）。
図１１に示すように、配信サーバ１は、映像入力手段１０によって、外部からベース映像が入力される（ステップＳ１）。
配信サーバ１は、映像分割手段１２によって、位置情報に基づいて、ベース映像αを分割領域ごとに分割すると共に、識別情報を付加することで、分割映像を生成する（ステップＳ２）。
【００７５】
配信サーバ１は、映像同期手段１３によって、分割映像に、時刻情報を付加する（ステップＳ３：分割映像の同期）。
配信サーバ１は、映像エンコード手段１４によって、分割映像及びベース映像をエンコードする（ステップＳ４）。
配信サーバ１は、多重化手段１５によって、分割映像及びベース映像を、時刻情報ごとに多重化することで、多重化分割映像を生成する（ステップＳ５）。
【００７６】
配信サーバ１は、配信情報入力手段１６によって、外部から配信情報が入力される。そして、配信サーバ１は、配信手段１７によって、配信情報に基づいて、多重化分割映像をクライアント端末３に配信する（ステップＳ６）。
【００７７】
［クライアント端末の動作］
図１２を参照して、クライアント端末３の動作について、説明する（適宜図１参照）。
クライアント端末３は、受信情報入力手段３０によって、外部から受信情報が入力される。そして、クライアント端末３は、受信手段３１によって、受信情報に基づいて、多重化分割映像を受信する（ステップＳ１１）。
【００７８】
クライアント端末３は、拡大縮小手段３３によって、外部から拡大領域が入力される。このとき、クライアント端末３は、表示範囲移動手段３４によって、外部から拡大領域の移動先が入力されてもよい（ステップＳ１２）。
【００７９】
クライアント端末３は、選択デコード手段３５によって、位置情報及び識別情報に基づいて選択領域を選択し、多重化分割映像から、選択領域の分割映像をデコードする（ステップＳ１３）。
【００８０】
クライアント端末３は、表示制御手段３６によって、位置情報及び識別情報に基づいて、選択領域の分割映像から拡大領域を切り出して、時刻情報ごとに表示手段３７に出力する（ステップＳ１４）。
クライアント端末３は、表示手段３７によって、拡大映像を表示する（ステップＳ１５）。
【００８１】
以上のように、本発明の実施形態に係る映像配信システム１００は、配信サーバ１が、ベース映像の配信対象となる全クライアント端末３に、共通の多重化分割映像を配信することができる。従って、映像配信システム１００は、各クライアント端末３が拡大領域を配信サーバ１に送信する必要や、配信サーバ１が各クライアント端末３に固有の拡大映像を生成して配信する必要がない。このため、映像配信システム１００は、配信サーバ１の処理負荷を低減し、配信サーバ１とクライアント端末３とのデータ通信量を抑制することができる。
【００８２】
さらに、映像配信システム１００は、分割映像がベース映像に比べて高解像度（高画質）のため、クライアント端末３で拡大表示を行う際、図９（ｃ）及び図１０（ｃ）に示すように、画質劣化を抑制することができる。
【００８３】
さらに、映像配信システム１００は、図９（ｂ）及び図１０（ｂ）に示すように、ベース映像を用いて、デコードが完了していない分割領域の分割映像を補完して、拡大映像を生成することができる。このため、映像配信システム１００は、クライアント端末３が、分割映像のデコードの完了を待つことなく、拡大表示を素早く行うことができる。特に、ネットワークＮに遅延が発生する場合、又は、拡大領域βを移動させる場合、クライアント端末３は、分割映像のデコードに時間を要することが多いため、非常に好ましい。
【００８４】
本発明の実施形態に係る映像配信システム１００について説明したが、本発明は、前記した実施形態に限定されず、様々の変形を加えることができる。
以下、本発明の変形例１，２に係る映像配信システム１００Ｂ，１００Ｃについて、映像配信システム１００と異なる点を説明する。
【００８５】
（変形例１）
［配信サーバの構成］
本発明の変形例１に係る映像配信システム１００Ｂは、クライアント端末３Ｂで拡大倍率を変更できる点が、映像配信システム１００と異なる。
【００８６】
配信サーバ１Ｂは、図４の分割領域Ａ〜Ｑ、及び、図１３の分割領域ＡＡ〜ＤＤの位置を映像座標系で示した位置情報が予め設定されている。
映像分割手段１２Ｂは、位置情報に基づいて、映像分割手段１２と同様、ベース映像αから分割映像Ａ〜Ｑを生成する。また、映像分割手段１２Ｂは、図１３に示すように、位置情報に基づいて、ベース映像αを水平方向及び垂直方向に２等分する。そして、映像分割手段１２Ｂは、図１３の分割領域ＡＡ〜ＤＤを示す識別情報を付加して、ベース映像αから、４の分割映像ＡＡ〜ＤＤを生成する。
その後、４分割映像ＡＡ〜ＤＤは、分割領域Ａ〜Ｑと同様、時刻情報が付加され、多重化されて、クライアント端末３に配信される。
【００８７】
以後、ベース映像αが４分割された分割映像を４分割映像と表記し、ベース映像αが１６分割された分割映像を１６分割映像と表記する。
つまり、配信サーバ１Ｂが配信する多重化分割映像は、１６分割映像Ａ〜Ｑと、４分割映像ＡＡ〜ＤＤと、ベース映像αという合計２１種類の映像が多重化されている。
【００８８】
［クライアント端末の構成］
拡大縮小手段３３Ｂは、拡大倍率を無段階で指定（入力）できる。
例えば、ユーザが、ピンチアウト操作又はピンチイン操作を拡大縮小手段３３Ｂに対して行う。すると、拡大縮小手段３３Ｂは、ピンチアウト操作又はピンチイン操作の操作量に応じて、４バイトの浮動小数点で拡大倍率を計算する。その後、拡大縮小手段３３Ｂは、拡大領域と共に、この拡大倍率の値を小数点以下で切り捨てた後、選択デコード手段３５Ｂに出力する。
【００８９】
この拡大倍率は、例えば、１倍から４倍までの間で無段階に計算される。
このピンチイン操作は、タッチパネル上で縮小したい領域を２本の指で指定し、これら２本の指を狭める操作である。
【００９０】
ここで、拡大倍率テーブルが、以下の表１に示すように、クライアント端末３Ｂに予め設定されている。
この拡大倍率テーブルは、拡大倍率と、デコードする映像の種類と、拡大映像のズーム率とを予め対応づけたものである。
なお、拡大倍率テーブルにおいて、‘−’は、表示手段３７の横幅に合わせてデジタルズームすることを示す。
【００９１】
【表１】
2013157759.tif 000003
【００９２】
選択デコード手段３５Ｂは、拡大倍率テーブルを参照し、拡大縮小手段３３Ｂで計算された拡大倍率に応じて、デコードする映像の種類を決定する。例えば、選択デコード手段３５Ｂは、拡大倍率が１倍であれば、ベース映像をデコードすると決定する。また、例えば、選択デコード手段３５Ｂは、拡大倍率が１倍を超え４倍未満であれば、４分割映像をデコードすると決定する。さらに、例えば、選択デコード手段３５Ｂは、拡大倍率が４倍であれば、１６分割映像をデコードすると決定する。その後、選択デコード手段３５Ｂは、決定した種類の映像について、選択デコード手段３５と同様、デコードを行う
【００９３】
表示制御手段３６Ｂは、表示制御手段３６と同様、拡大映像を生成する。また、表示制御手段３６Ｂは、拡大倍率テーブルを参照して、拡大縮小手段３３Ｂで計算された拡大倍率に応じて、ズーム率を決定する。例えば、表示制御手段３６Ｂは、拡大倍率が１倍又は４倍であれば、拡大映像を表示手段３７の横幅に合わせてデジタルズームすると決定する。また、例えば、表示制御手段３６Ｂは、拡大倍率が１倍を超え４倍未満であれば、その拡大倍率に比例するように、拡大映像を５０％〜２００％の間でデジタルズームすると決定する。そして、表示制御手段３６Ｂは、決定したズーム率に応じて拡大映像をデジタルズームし、表示手段３７に出力する。
【００９４】
なお、表示制御手段３６Ｂは、拡大領域の位置、つまり、ユーザのスクロール操作による拡大映像の表示位置（オフセット）を、４バイトの浮動小数点で計算してもよい。そして、表示制御手段３６Ｂは、計算した表示位置の値を小数点以下で切り捨てた後、この表示位置で表示されるように、拡大映像を表示手段３７に出力してもよい。
【００９５】
（変形例２）
本発明の変形例２に係る映像配信システム１００Ｃは、ベース映像に付加された音声を再生する点が、映像配信システム１００と異なる。
【００９６】
配信サーバ１Ｃは、映像エンコード手段１４Ｃによって、この音声をエンコードし、多重化手段１５Ｃによって、デンコードした音声を、ベース映像のパケットに多重化する。
クライアント端末３Ｃは、選択デコード手段３５Ｃによって、ベース映像のパケットに多重化された音声をデコードする。そして、クライアント端末３Ｃは、図示を省略した音声再生手段によって、選択デコード手段３５Ｃでデコードされた音声を再生する。
ここで、多重化手段１５Ｃ及び選択デコード手段３５Ｃは、音声エンコード方式として、ＡＡＣ（Advanced Audio Coding）を用いる。
【００９７】
（その他変形例）
本発明は、映像エンコード方式として、ＭＰＥＧ−２を用いてもよい。
また、本発明は、通信プロトコルとして、ＲＴＰ（Real time Transport Protocol）、ＲＴＳＰ（Real Time Streaming Protocol）、ＲＴＣＰ(Real time Transport Control Protocol)を用いてもよい。
また、本発明は、図１のネットワーク構成に限定されず、インターネットやイントラネットを利用してもよく、有線ネットワークを利用してもよい。
また、本発明は、クライアント端末３を一般的なパーソナルコンピュータ（ＰＣ）としてもよい。
【符号の説明】
【００９８】
１  配信サーバ（映像配信装置）
１０  映像入力手段
１１  分割エンコード手段
１２  映像分割手段
１３  映像同期手段
１４  映像エンコード手段
１５  多重化手段
１６  配信情報入力手段
１７  配信手段
３  クライアント端末（端末装置）
３０  受信情報入力手段
３１  受信手段
３２  操作手段
３３  拡大縮小手段（入力手段）
３４  表示範囲移動手段
３５  選択デコード手段
３６  表示制御手段
３７  表示手段
１００  映像配信システム
【図１】
2013157759.tif 000004
【図２】
2013157759.tif 000005
【図３】
2013157759.tif 000006
【図４】
2013157759.tif 000007
【図５】
2013157759.tif 000008
【図６】
2013157759.tif 000009
【図７】
2013157759.tif 000010
【図８】
2013157759.tif 000011
【図９】
2013157759.tif 000012
【図１０】
2013157759.tif 000013
【図１１】
2013157759.tif 000014
【図１２】
2013157759.tif 000015
【図１３】
2013157759.tif 000016