(57)【特許請求の範囲】
【請求項１】
多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信システムにおいて、
前記多重化装置は、
複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与する多重化受信部と、
予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送する多重化送信部と、を備え、
前記配信サーバは、
互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納するサーバ受信部と、
符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データから、前記再生端末が映像配信を要求している前記識別情報と対応付けられている前記多重化データを読み出し、前記再生端末に前記映像配信を要求している前記識別情報と対応付けられた前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で送信する配信部と、を備え、
前記配信部は、
実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信することを特徴とする映像配信システム。
【請求項２】
多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信システムにおいて、
前記多重化装置は、
複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与する多重化受信部と、
予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送する多重化送信部と、を備え、
前記配信サーバは、
互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納するサーバ受信部と、
符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データを読み出し、前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で前記再生端末に送信する配信部と、を備え、
前記配信部は、
実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信することを特徴とする映像配信システム。
【請求項３】
多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信方法において、
前記多重化装置は、
複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与し、
予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送し、
前記配信サーバは、
互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納し、
符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データから、前記再生端末が映像配信を要求している前記識別情報と対応付けられている前記多重化データを読み出し、前記再生端末に前記映像配信を要求している前記識別情報と対応付けられた前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で前記再生端末に送信する際、実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信する
ことを特徴とする映像配信方法。
【請求項４】
多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信システムにおける映像配信プログラムであって、
コンピュータを、
複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与する多重化受信手段、
予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送する多重化送信手段、
互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納するサーバ受信手段、
符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データをから、前記再生端末が映像配信を要求している前記識別情報と対応付けられている前記多重化データ読み出し、前記再生端末に前記映像配信を要求している前記識別情報と対応付けられた前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で前記再生端末に送信する際、実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信する配信手段、
として機能させるためのプログラムであることを特徴とする映像配信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置によって符号化中の映像をリアルタイムに近い再生を要求する再生端末に要求に応じた映像を配信する映像配信システム、映像配信方法、および映像配信プログラムに関する。
【背景技術】
【０００２】
再生端末に既に録画されている映像の配信を行う場合、インデックスファイルを用いて再生端末が要求する映像を配信する方法がある。基本的に以下の方法で行われている。
例えば、インデックスファイルには、１行単位で、撮影時刻に応じて時系列に並べられた再生時刻を示す情報が記載されている。配信装置は、このインデックスファイルを参照して、再生端末からの要求に応じて映像を、この再生時刻に基づき記憶部から読み出して、再生端末に配信する。この再生時刻は、再生端末がいつ再生すれば良いかを示す時刻であって、その時刻間隔は極めて細かい。
このインデックスファイルとしては、例えば、特許文献１に記載されているものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−４５４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、リアルタイムに近い再生を要求する再生端末に映像を配信する場合、インデックスファイルを作成している時間的余裕がなく、インデックスファイルを用いたリアルタイムに近い再生は困難であった。
仮に実現できた場合であっても符号化中のタイムスタンプと再生のタイムスタンプに大きな時間差が生じ、再生端末における再生映像と符号化中の映像とずれる問題があった。また、インデックスファイルを利用する場合、いつ再生すればよいかを示す細かく刻まれた再生時間単位（１行単位）でインデックスファイルを参照して映像データを読み出すため、ファイルリード回数が大量に発生する問題があった。これによっても、再生映像と現実の撮像対象の映像とずれる問題があった。
【０００５】
本発明は、上記課題を解決するものであり、複数の符号化装置によって符号化中の映像を符号化装置に応じて切り換えてリアルタイムに近い再生する際、符号化中の映像と再生端末における再生映像との時間軸のずれを低減させることができる映像配信システム、映像配信方法、および映像配信プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を鑑み、本発明に係る映像配信システムは、多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信システムにおいて、前記多重化装置は、複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与する多重化受信部と、予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送する多重化送信部と、を備え、前記配信サーバは、互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納するサーバ受信部と、符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データから、前記再生端末が映像配信を要求している前記識別情報と対応付けられている前記多重化データを読み出し、前記再生端末に前記映像配信を要求している前記識別情報と対応付けられた前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で送信する配信部と、を備え、前記配信部は、実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信する。
【０００７】
上述の課題を鑑み、本発明に係る映像配信システムは、多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信システムにおいて、前記多重化装置は、複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与する多重化受信部と、予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送する多重化送信部と、を備え、前記配信サーバは、互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納するサーバ受信部と、符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データを読み出し、前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で前記再生端末に送信する配信部と、を備え、前記配信部は、実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信する。
【０００９】
上述の課題を鑑み、本発明に係る映像配信方法は、多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信方法において、前記多重化装置は、複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与し、予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送し、前記配信サーバは、互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納し、符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データから、前記再生端末が映像配信を要求している前記識別情報と対応付けられている前記多重化データを読み出し、前記再生端末に前記映像配信を要求している前記識別情報と対応付けられた前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で前記再生端末に送信する際、実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信する。
【００１０】
上述の課題を鑑み、本発明に係る映像配信プログラムは、多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信システムにおける映像配信プログラムであって、コンピュータを、複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与する多重化受信手段、予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送する多重化送信手段、互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納するサーバ受信手段、符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データをから、前記再生端末が映像配信を要求している前記識別情報と対応付けられている前記多重化データ読み出し、前記再生端末に前記映像配信を要求している前記識別情報と対応付けられた前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で前記再生端末に送信する際、実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信する配信手段、として機能させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、複数の符号化装置によって符号化している最中の映像を符号化装置に応じて切り換えて再生する際、現在符号化中の映像と再生端末における再生映像との時間軸のずれを低減させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る映像配信システムの概略構成を示すブロック図である。
【図２】本発明の第１実施形態に係る多重化装置から配信サーバへ多重化情報、全映像／音声多重化データを送信する説明図である。
【図３】本発明の第１実施形態に係る映像配信システムにおける、指定配信（映像／音声）要求の映像／音声多重化データ読み出しの説明図である。
【図４】本発明の第１実施形態に係る映像配信システムにおける、複数指定配信（映像／音声）要求の映像／音声多重化データ読み出しの説明図である。
【図５】本発明の第１実施形態に係る映像配信システムにおける、全配信（映像／音声）要求の映像／音声多重化データ読み出しの説明図である。
【図６】本発明の第１実施形態に係る再生端末から配信サーバへの要求と映像／音声多重化データの配信の説明図である。
【図７】本発明の第１実施形態における多重化情報と全映像／音声多重化データの構成を説明するための図である。
【図８】本発明の第２実施形態に係る映像配信システムの概略構成を示すブロック図である。
【図９】本発明の第２実施形態に係る映像多重化装置から配信サーバへ多重化情報、全映像多重化データを送信する説明図である。
【図１０】本発明の第２実施形態に係る映像配信システムにおける、指定配信（映像）要求の映像符号化データ読み出しの説明図である。
【図１１】本発明の第２実施形態に係る映像配信システムにおける、複数指定配信（映像）要求の映像多重化データ読み出しの説明図である。
【図１２】本発明の第２実施形態に係る映像配信システムにおける、全配信（映像）要求の映像多重化データ読み出しの説明図である。
【図１３】本発明の第２実施形態に係る再生端末から配信サーバへの要求と映像多重化データの配信の説明図である。
【図１４】本発明の第１実施形態における多重化情報と全映像／音声多重化データの構成を説明するための図である。
【図１５】本発明の第１実施形態に係る映像配信システムにおける、指定配信（映像／音声）処理手順を示すフローチャートである。
【図１６】本発明の第１実施形態に係る映像配信システムにおける、複数指定（映像／音声）配信処理手順を示すフローチャートである。
【図１７】本発明の第１実施形態に係る映像配信システムにおける、全配信（映像／音声）処理手順を示すフローチャートである。
【図１８】本発明の第２実施形態に係る映像配信システムにおける、指定配信（映像）処理手順を示すフローチャートである。
【図１９】本発明の第２実施形態に係る映像配信システムにおける、複数指定配信（映像）処理手順を示すフローチャートである。
【図２０】本発明の第２実施形態に係る映像配信システムにおける、全配信（映像）処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１３】
[第１実施形態]
以下、本発明の一実施形態による映像配信システムは、複数の撮影装置（以下、カメラという）１００と、複数の符号化装置３００と、多重化装置４００と、配信サーバ５００と、複数の再生端末６００とを含む。複数のカメラ１００と符号化装置３００とは例えば有線または無線接続されており、符号化装置３００がカメラ１００から出力される情報を入力する。符号化装置３００は、ネットワーク７０１を介して多重化装置４００と接続されている。多重化装置４００は、ネットワーク７０２を介して配信サーバ５００と接続されている。配信サーバ５００は、ネットワーク７０３を介して再生端末６００と接続されている。
上述において、符号化装置３００への入力情報として、カメラ１００を用いる例を説明したが、例えば、パノラマ映像を分割して得られる複数の映像データであってもよい。
【００１４】
この複数のカメラ１００は、例えばｎ個のカメラ１００−１〜１００−ｎを含む。本実施形態において、複数のカメラ１００は、カメラ１００−１、１００−２と、ナビゲーションカメラ（以下、ナビカメラという）１００−３と、マイク内蔵型カメラ１００−ｎとを含む。このマイク内蔵型カメラ１００−ｎは、マイク２００を搭載している。このように、１台以上のカメラ１００が符号化装置３００に接続され、音声データは本実施例では、1台のマイク内蔵カメラのマイクによる集音により得られるものとしている。なお、マイク２００は、カメラ内蔵されていない単体の装置であってもよい。また、マイク２００は、複数のマイクを備えるものであってもよく、さらに、必須要件ではなく、なくてもよい。
なお、これら複数のカメラ１００からの出力を特定するため、以下、カメラ１００−１〜１００−ｎのことを、カメラ１〜ｎと表わす場合がある。
【００１５】
複数のカメラ１００は、例えば同一の被写体を撮影して、撮影した映像を示す映像データを接続されている符号化装置３００にそれぞれ出力する。本実施形態において、カメラ１００−１は、例えば被写体の一部を右側からアップ（拡大）で撮影して映像データＤ１を出力する。カメラ１００−２は、例えば被写体の一部を左側からアップ（拡大）で撮影して映像データＤ２を出力する。ナビカメラ１００−３は、被写体の全体を撮影して映像データＤ３を出力する。なお、ナビカメラ１００−３によって撮影される映像を、以下、ナビゲーション映像という。マイク内蔵型カメラ１００−４は、被写体の一部を正面からアップ（拡大）で撮影して映像データＤ４を出力する。また、マイク２００は、取得した音声データＤ５を出力する。
【００１６】
複数の符号化装置３００は、カメラ１００−１から映像データＤ１が入力する符号化装置３００−１と、カメラ１００−２から映像データＤ２が入力する符号化装置３００−２と、ナビカメラ１００−３から映像データＤ３が入力する符号化装置３００−３と、マイク内蔵型カメラ１００−４から映像データＤ４および音声データＤ５が入力する符号化装置３００−ｎを含む。つまり、各符号化装置３００−１〜３００−ｎは、接続されるカメラ１００−１〜１００−ｎが予め決められており、一対一に対応付けられている。
この複数の符号化装置３００は、多重化装置４００から、符号化データの作成開始を示す信号を受信すると、対応付けられているカメラ１００から入力する映像データや音声データを符号化して符号化データを作成し、ネットワーク７０１を介して多重化装置４００に送信する。本実施形態において、符号化装置３００−１〜３００−ｎは、映像符号化データＤ１１〜１４を作成して送信する。また、符号化装置３００−ｎは、音声符号化データＤ１５を作成して送信する。なお、符号化装置３００は、カメラから送られた映像データと音声データをそれぞれ符号化し、符号化された映像符号化データおよび音声符号化データを別のデータとして、送信する。
この符号化装置３００は、実際のレートでネットワーク７０１を介して符号化データを多重化装置４００に送信する。ここで、実際のレートは、符号化時に符号化装置３００によって作成されて配信レートを意味する。
【００１７】
符号化装置３００−１〜３００−ｎは、カメラ１００−１〜１００−ｎから入力する情報に基づき、符号化された順番を示すタイムスタンプを割り当てる。
例えば、符号化装置３００−１〜３００−ｎは、初期状態において、多重化装置４００から符号化データの作成開始を示す信号を受信すると、最初に作成する符号化データに対して、タイムスタンプ＝０を割り当てる。本実施形態において、符号化装置３００−１〜３００−ｎは、全てはじめは初期状態である。
符号化装置３００−１〜３００−ｎは、２回目以降、同じタイミングで、符号化した映像データおよび音声データに対して、符号化した順番に応じて、順次タイムスタンプ＝１、２、・・・を割り当てる。なお、「同じタイミング」とは、完全に同一の時刻であることを意味するとともに、装置間における微小なズレを考慮して、同一の時刻であると許容される範囲を含む。
このように、符号化装置３００−１〜３００−ｎは、概ね同じタイミングで、符号化データの作成開始を示す信号を受信するため、同じタイミングで符号化した符号化データに対して、同じタイミング（順番）で符号化されたことを示す同じタイムスタンプを付与することができる。
なお、符号化装置３００−１〜３００−ｎは、符号化データの先頭にタイムスタンプを付与して、多重化装置４００に送信する。
【００１８】
多重化装置４００は、符号化装置３００から送信された情報を受信する多重化受信部４０１と、この多重化受信部４０１が受信した情報を多重化して多重化データを作成する多重化部４０２と、多重化データを配信サーバ５００に送信する多重化配信部４０３とを含む。
【００１９】
多重化受信部４０１は、符号化装置３００−１〜３００−ｎのそれぞれから、映像／音声符号化データ作成時に作成される情報であって、復号化する順番あるいは再生する順番を示す時刻情報（タイムスタンプ）が付与された映像／音声符号化データＤ１１〜Ｄ１５を受信する。
この多重化受信部４０１は、内蔵する記憶部に記憶されているカメラ出力対応テーブルを参照し、送信元の各符号化装置３００−１〜３００−ｎのＩＰアドレスに基づき、各カメラからの出力データを特定する。このカメラ出力対応テーブルは、符号化装置３００−１〜３００−ｎに割り当てられているＩＰアドレスと、各符号化装置３００−１〜３００−ｎを示す固有の識別番号（ＶｉｅｗＩＤ）と対応づけるテーブルである。
例えば、多重化受信部４０１は、受信した符号化データから送信元のＩＰアドレスが分かるためカメラ出力対応テーブルを参照し、送信元が符号化装置３００−１の場合はＶｉｅｗ１、送信元が符号化装置３００−２の場合はＶｉｅｗ２、送信元が符号化装置３００−３の場合はＶｉｅｗ３を対応付ける。また、多重化受信部４０１は、送信元が符号化装置３００−ｎの場合、映像符号化データに対してはＶｉｅｗｎを、音声符号化データに対してはＶｉｅｗｎ＋１を、それぞれ対応づけをする。以下、ＶｉｅｗＩＤを識別情報という。これにより識別情報（符号化装置）から映像／音声符号化データを特定できる。
さらに、多重化受信部４０１は、各符号化データに各符号化データに対応する識別情報であるＶｉｅｗＩＤを付与する。
【００２０】
多重化部４０２は、タイムスタンプに基づき、予め決められている時間長の映像／音声符号化データを多重化して多重化データを作成する。
例えば、各映像符号化データに付与されているタイムスタンプに基づき、時刻ｔ１から予め決められている時間長後の時刻ｔ２までの全ての符号化装置３００−１〜３００−ｎから受信した映像符号化データ（１ＧＯＰ）を複数まとめて多重化し、多視点映像符号化データ（ＭＶＣ）を作成する。さらに多重化部４０２は、音声符号化データのタイムスタンプに基づき、時刻ｔ１から予め決められている時間長後のｔ２までの音声符号化データ（１ＧＯＰ）と、多視点映像符号化データ（ＭＶＣ）とを多重化し、１つの多重化データである１ＧＯＰ全映像／音声多重化データを作成する。つまり、１ＧＯＰ全映像／音声多重化データには、全ての符号化装置３００−１〜３００−ｎから受信した全ての映像符号化データと全ての音声符号化データがふくまれている。
なお本実施例では、この１ＧＯＰ全映像／音声多重化データには、同じ時刻に符号化装置３００−１〜３００−ｎが符号化を開始した、複数のカメラ１００によって撮影された映像データＤ１（Ｖｉｅｗ１）〜Ｄ４（Ｖｉｅｗｎ）と、映像データＤ１〜Ｄ４と同時刻に符号化装置３００−ｎが符号化を開始した音声データＤ５（Ｖｉｅｗｎ+１）が含まれている。なお、多重化部４０２は、音声符号化データがない場合は、複数の映像符号化データのみを多重化した多視点映像符号化データ（ＭＶＣ）を、１ＧＯＰ全映像多重化データとして出力する。
なお、１ＧＯＰ全映像／音声多重化データに含まれる映像符号化データおよび音声符号化データは、それぞれ、タイムスタンプの時系列（昇順）に並べられている。よって、１ＧＯＰ全映像／音声多重化データのデータ列の先頭には、符号化された順番が最も早い映像符号化データあるいは音声符号化データが位置されている。つまり、多重化部４０２は、予め決められている時間長の符号化データを時刻情報（タイムスタンプ）および識別情報（ＶｉｅｗＩＤ）とともに多重化するとともに、符号化された順番に従って符号化データを並べた多重化データを作成する。
【００２１】
また、多重化部４０２は、１ＧＯＰ全映像／音声多重化データの１ＧＯＰの先頭のタイムスタンプと、１ＧＯＰ全映像／音声多重化データに含まれる全識別情報（全ＶｉｅｗＩＤ）とを含む多重化情報を作成する。つまり、多重化部４０２は、多重化データに含まれる符号化データと対応付けられている時刻情報（タイムスタンプ）のうち符号化された順番が最も早い時刻情報（タイムスタンプ）を含む多重化情報を作成する。
【００２２】
多重化部４０２は、作成した多重化情報と多重化データ（１ＧＯＰ全映像／音声多重化データ）とを対応付けて多重化送信部４０３に出力する。つまり、多重化部４０２は、この多重化情報と１ＧＯＰ全映像／音声多重化データを続けて、その間になんらの情報も挟まないように、多重化送信部４０３に出力する。
【００２３】
多重化送信部４０３は、この対応付けられた多重化情報と１ＧＯＰ全映像／音声多重化データを、配信サーバ５００に対して送信する。例えば、多重化送信部４０３は、最初に、多重化情報を配信サーバ５００へ送信し、続けて１ＧＯＰ全映像／音声多重化データを実際のレートで配信サーバ５００へ送信する。ここで、実際のレートは、符号化時に符号化装置３００によって作成された配信レートを意味する。
【００２４】
配信サーバ５００は、多重化装置４００から送信された多重化情報と１ＧＯＰ全映像／音声多重化データを受信し、一時保存する。なお、送信される多重化情報と１ＧＯＰ全映像／音声多重化データは、それぞれ対応づけられている。この配信サーバ５００は、受信した多重化情報（１ＧＯＰ全映像／音声多重化データの先頭のタイムスタンプ）と多重化データに付与されているタイムスタンプ（１ＧＯＰ全映像／音声多重化データの先頭のタイムスタンプ）を参照して、受信した多重化情報と多重化データのセットデータを時系列に並べて一次記憶部に記憶させる。
【００２５】
また、配信サーバ５００は、例えば再生端末６００−１からの配信要求を受け取ると、一時保存している最新（最も時間が新しい）の１ＧＯＰ全映像／音声多重化データより指定時間分戻ったところの多重化情報から、再生端末６００−１が要求する識別情報（ＶｉｅｗＩＤ）を読み出す。
そして、配信サーバ５００は、戻ったところの全映像／音声多重化データの１ＧＯＰ全映像／音声多重化データの先頭から再生端末６００−１が要求する映像／音声多重化データを読み出し、以後順次読み出す。
いいかえると、配信サーバ５００は、一次記憶部において最新の多重化情報と対応付けられている１ＧＯＰ全映像／音声多重化データより予め決められた時間分だけ過去の時刻の１ＧＯＰ全映像／音声多重化データから、再生端末が映像配信を要求している識別情報（ＶｉｅｗＩＤ）と対応付けられている多重化データを読み出し、この多重化データと対応付けられている多重化情報（１ＧＯＰの先頭のタイムスタンプ）に応じた時系列で、再生端末６００−１に送信する。
【００２６】
配信サーバ５００は、読み出した要求の映像／音声多重化データを指定のオーバーレートに変更し、最初に要求の多重化情報（要求の識別情報）、次に指定のオーバーレートに変更した要求の１ＧＯＰ映像／音声多重化データを、ネットワーク７０３を介してオーバーレートで再生端末６００−１へ配信する。つまり、配信サーバ５００は、符号化時に設定した伝送レートよりも予め決められたオーバーレートの速度で多重化データを配信する。
【００２７】
配信サーバ５００は、このように、再生端末６００−１が要求する符号化データに対応する多重化情報（要求の識別情報）および多重化データを、再生端末６００−１に配信することができる。このように、再生端末６００−１が要求する映像／音声データを識別情報によって指定することで指定された映像だけを配信する方法を、以下、第１の映像配信方法という。
また、本実施形態に係る配信サーバ５００は、これに限られず、全配信要求の場合、多重化情報（全識別情報）、次に指定のオーバーレートに変更した１ＧＯＰ全映像／音声多重化データを再生端末６００−ｎに配信し、再生端末側で、要求に応じたカメラの映像データ等を取り出すものであってもよい。このように、再生端末６００−ｎによって指定された映像に関わらず、全ての映像／音声データを端末装置６００−ｎに配信する方法であって、端末装置６００−ｎ側で所望の映像／音声を受信データから取り出す方法を、以下、第２の映像配信方法という。
【００２８】
再生端末６００は、複数の再生端末６００−１〜６００−ｎを含み、例えば、液晶表示装置やその他ディスプレイを備えるコンピュータや携帯機器等によって構成される。
この再生端末６００は、第１の映像配信方法において指定配信要求を、または第２の映像配信方法において全配信要求を、配信サーバ５００に対して行う。指定配信要求の場合、ユーザは複数の識別情報（ＶｉｅｗＩＤ）うちに、任意の識別情報（ＶｉｅｗＩＤ）を少なくとも１つ以上指定できる。
再生端末６００は、要求した符号化データに対応する多重化情報（要求の識別情報）、要求した１ＧＯＰ映像／音声多重化データの順番で、順次、配信サーバ５００から受け取り、ストリーム再生を開始する。
なお、再生端末６００には、操作部が取り付けられており、ユーザが操作部を操作して、ユーザが指定する符号化装置３００−１〜３００−ｎからの映像符号化データや音声符号化データの配信を、配信サーバ５００に要求することができる。この再生端末６００は、このユーザが指定する映像符号化データや音声符号化データを特定する情報（例えば、ＶｉｅｗＩＤ）を含む要求情報を配信サーバ５００に送信することで、映像データや音声データの配信を要求する。
【００２９】
図２は、本発明の実施例の多重化装置４００から配信サーバ５００に対して、多重化情報と全映像／音声多重化データを送信するための説明図である。これは、第１，第２の映像配信方法を利用するものである。
【００３０】
多重化装置４００は、符号化装置３００−１〜３００−ｎから１つ以上の映像符号化データＤ１〜Ｄ４と、本実地例では１つの音声符号化データＤ５を受けとる。多重化装置４００は、カメラ出力対応テーブルを参照して、送信元の各符号化装置３００−１〜３００−ｎのＩＰアドレスに基づき、符号化データと識別情報（ＶｉｅｗＩＤ）を対応させる。多重化装置４００は、この識別情報であるＶｉｅｗＩＤを、対応する各符号化データに付与する。
多重化装置４００は、映像符号化データＤ１１〜Ｄ１４をまとめて多重化し、多視点映像符号化データ（ＭＶＣ）を作成する。次に、多視点映像符号化データ（ＭＶＣ）に１つの音声符号化データＤ１５を多重化し、１つの多重化データである１ＧＯＰ全映像／音声多重化データを作成する。
また、多重化装置４００は、１ＧＯＰ全映像／音声多重化データの１ＧＯＰの先頭のタイムスタンプと、１ＧＯＰ全映像／音声多重化データに含まれる全識別情報（全ＶｉｅｗＩＤ）とを含む多重化情報を作成する。
多重化装置４００は、初めに、多重化情報を、この多重化情報の次に、カメラ変更をＧＯＰ単位で行うために１ＧＯＰ分の全映像／音声多重化データを、それぞれ実際の配信レートで配信サーバ５００へ送信する。以後、多重化装置４００は、多重化情報、１ＧＯＰ全映像／音声多重化データの順番で、ネットワーク７０２を介して実際の配信レートで配信サーバ５００へ送信する。ここで、実際のレートは、符号化時に符号化装置３００によって作成された配信レートを意味する。
【００３１】
図３は、本発明の実地例の映像配信システムにおける、指定配信要求の映像／音声多重化データ読み出しの説明図である。これは、第１の映像配信方法を利用するものである。
配信サーバ５００は、第１受信部５０１と、一次記憶部５０２と、第２受信部５０３と、送信部５０４と、配信変更部（配信部）５０５−１と、を備える。
【００３２】
第１受信部５０１は、多重化装置４００から順次送信された多重化情報と１ＧＯＰ全映像／音声多重化データを受け取り、受け取った多重化情報と１ＧＯＰ全映像／音声多重化データを一時記憶部５０２に順次送る。なお、第1受信部５０１は、多重化情報と１ＧＯＰ全映像／音声多重化データに付与されているタイムスタンプに基づき、受信した多重化データを時系列に並べ直して、一時記憶部５０２に順次出力する。
【００３３】
一時記憶部５０２は、多重化情報と１ＧＯＰ全映像／音声多重化データを一時保存する。一時記憶部５０２は、第１受信部５０１によってタイムスタンプに基づき時系列に並べられた多重化情報と１ＧＯＰ全映像／音声多重化データとを記憶する。一時記憶部５０２は、一定時間が経過した場合、あるいは、再生端末６００に配信された場合、多重化情報と１ＧＯＰ全映像／音声多重化データを削除する。
【００３４】
第２受信部５０３は、再生端末６００−１からの配信要求を受け取ると、受け取った再生端末６００−１からのＶｉｅｗ２とＶｉｅｗ３の映像データとＶｉｅｗｎ＋１の音声データの配信を要求することを示す要求情報（以下、要求情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の配信要求」と記す。）を一時記憶部５０２に送る。
一時記憶部５０２は、再生端末６００−１から要求情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の配信要求」を受け取ると、一時記憶領域である配信変更部５０５−１を作成する。この配信変更部５０５−１は、一時記憶部５０２に一時保存している最新（最も時間が新しい）の１ＧＯＰ全映像／音声多重化データから指定時間分戻り、戻ったところの多重化情報から、再生端末６００−１からの要求情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の配信要求」に対応する識別情報（ＶｉｅｗＩＤ）を読み出す。
【００３５】
次に、配信変更部５０５−１は、戻ったＧＯＰの全映像／音声多重化データの先頭から再生端末６００−１からの要求情報（「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の配信要求」）に対応する多重化データ（「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」）を読み出す。以後この順番で順次、配信変更部５０５−１が読み出す。
例えば、指定時間を１０００ｍｓｅｃとし場合、１ＧＯＰを０．５秒とすると、配信変更部５０５−１は、最新ＧＯＰから２ＧＯＰ戻った多重化情報から、要求に応じた識別情報（ここでは、識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」）を読み出す。
次に、配信変更部５０５−１は、戻ったＧＯＰの全映像／音声多重化データの先頭から再生端末６００−１の要求に応じた映像／音声多重化データ（ここでは、多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」と記す）を読み出す。以後この順番で、順次配信変更部５０５−１が読み出す。
【００３６】
配信変更部５０５−１は、一時記憶部５０２から順次、要求の識別情報（Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１）と、要求の映像／音声多重化データ（Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ）を取り出す。さらに、配信変更部５０５−１は、取り出した映像／音声多重化データ（Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ）を指定のオーバーレートに変更する。そして、配信変更部５０５−１は、最初に、多重化情報（要求の識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」）、次に指定のオーバーレートに変更した要求の１ＧＯＰ映像／音声多重化データ（Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ）を送信部５０４へ送る。配信変更部５０５−１は、以後この順番で、送信部５０４へ送る。
一時記憶部５０２は、配信要求の再生端末６００−１〜６００−ｎ毎に一時記憶領域の配信変更部５０５−１〜５０５−ｎを作成し、一時記憶部５０２は、配信変更部５０５−１〜５０５−ｎが読み出し完了した一時記憶部５０２の多重化情報、１ＧＯＰ全映像／音声多重化データを順に削除する。
【００３７】
配信変更部５０５−１は、送信完了した多重化情報、１ＧＯＰ映像／音声多重化データから削除する。
一時記憶部５０２および配信変更部５０５−１は、１ＧＯＰの終わりは次の多重化情報で判断する。
送信部５０４は、配信変更部５０５−１から多重化情報（要求の識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」）、要求の映像／音声多重化データ（「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」）の順番で受け取る。送信部５０４は、受け取った多重化情報（要求の識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」）を、その次に要求の１ＧＯＰ映像／音声多重化データ（「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」）をオーバーレートで要求元の再生端末６００−１へネットワーク７０３を介して配信する。
以後、送信部５０４は、多重化情報（要求の識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」）を、その次に要求の１ＧＯＰ映像／音声多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」の順番でネットワーク７０３を介してオーバーレートで再生端末６００−１へ配信する。
なお、本実施例では１ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）は、１５フレーム、０．５秒とするが、必ずしもその必要はない。
【００３８】
図４は、本発明の実地例の映像配信システムにおける、複数指定配信要求の映像／音声多重化データ読み出しの説明図である。これは、第１の映像配信方法を利用するものの他の例である。
配信サーバ５００の第１受信部５０１は、多重化装置４００から順次送信された多重化情報と１ＧＯＰ全映像／音声多重化データを受け取る。第１受信部５０１は、受け取った多重化情報と１ＧＯＰ全映像／音声多重化データを一時記憶部５０２に順次送る。
一時記憶部５０２は、多重化情報と１ＧＯＰ全映像／音声多重化データを一時保存する。
【００３９】
配信サーバ５００の第２受信部５０３は、例えば、再生端末６００−２からの配信要求を受け取ると、受け取った再生端末６００−２からのＶｉｅｗ１、Ｖｉｅｗ２およびＶｉｅｗ３の映像データとＶｉｅｗｎ＋１の音声データの配信を要求することを示す要求情報（ここでは、要求情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の配信要求」と記す。）を一時記憶部５０２に送る。
一時記憶部５０２は、再生端末６００−２からこの要求情報を受け取ると、一時記憶領域の配信変更部５０５−２を作成する。配信変更部５０５−２は、一時記憶部５０２に一時保存している最新（最も時間が新しい）の１ＧＯＰ全映像／音声多重化データから指定時間分戻り、戻ったところの多重化情報からを再生端末６００−２の要求の「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の配信要求」に対応する識別情報（ＶｉｅｗＩＤ）を読み出す。
次に、配信変更部５０５−１は、戻ったＧＯＰの全映像／音声多重化データの先頭から再生端末６００−２からの要求情報（「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の配信要求」）に対応する映像／音声多重化データ（「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」）を読み出す。以後この順番で順次、配信変更部５０５−２が読み出す。
【００４０】
例えば、配信変更部５０５―２は、指定時間を１０００ｍｓｅｃとし場合、１ＧＯＰを０．５秒とすると最新ＧＯＰから２ＧＯＰ戻った多重化情報から、要求に応じた（ここでは、識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」と記す）を読み出す。
次に、配信変更部５０５―２は、戻ったＧＯＰの全映像／音声多重化データの先頭から再生端末６００−２の要求の映像／音声多重化データ「Ｖｉｅｗ１、カメラＶｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」を読み出す。配信変更部５０５―２は、以後この順番で順次、情報を読み出す。
【００４１】
配信変更部５０５−２は、一時記憶部５０２から順次、要求の識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」、要求の映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」を取り出す。さらに、配信変更部５０５―２は、受け取った映像／音声多重化データ「Ｖｉｅｗ１、カメラＶｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」を指定のオーバーレートに変更する。そして、配信変更部５０５−２は、最初に、多重化情報（要求の識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」）、次に指定のオーバーレートに変更した要求の１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」を送信部５０４へ送る。配信変更部５０５―２は、以後この順番で送信部５０４へ情報を送る。
【００４２】
一時記憶部５０２は、配信要求の再生端末６００−１〜６００−ｎ毎に一時記憶領域の配信変更部５０５−１〜５０５−ｎを作成し、一時記憶部５０２は、配信変更部５０５−１〜５０５−ｎが読み出し完了した一時記憶部５０２の多重化情報、１ＧＯＰ全映像／音声多重化データを順に削除する。
配信変更部５０５−２は、送信完了した多重化情報、１ＧＯＰ映像／音声多重化データから削除する。
一時記憶部５０２および配信変更部５０５−１は、１ＧＯＰの終わりは次の多重化情報で判断する。
【００４３】
送信部５０４は、配信変更部５０５−２から多重化情報（要求の識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」）、要求の映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」の順番で受け取る。送信部５０４は、受け取った多重化情報（要求の識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」）を、その次に、要求の１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」をオーバーレートで要求元の再生端末６００−２へネットワーク７０３を介して配信する。
【００４４】
以後、送信部５０４は、多重化情報（要求の識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」）、次に要求の１ＧＯＰ映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」の順番でネットワーク７０３を介してオーバーレートで再生端末６００−２へ送信する。
なお、本実施例では１ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）は、１５フレーム、０．５秒とするが、必ずしもその必要はない。
【００４５】
図５は、本発明の実地例の映像配信システムにおける、全配信要求の映像／音声多重化データ読み出しの説明図である。これは、第２の映像配信方法を利用するものの一例である。
配信サーバ５００の第１受信部５０１は、多重化装置４００から順次送信された多重化情報と１ＧＯＰ全映像／音声多重化データを受け取り、受け取った多重化情報と１ＧＯＰ全映像／音声多重化データを一時記憶部５０２に順次送る。
一時記憶部５０２は、多重化情報と１ＧＯＰ全映像／音声多重化データを一時保存する。
【００４６】
配信サーバ５００の第２受信部５０３は、再生端末６００−ｎからの配信要求を受け取ると、全配信を要求することを示す要求情報（ここでは、「ＶｉｅｗＩＤなし」）を一時記憶部５０２に送る。
一時記憶部５０２は、再生端末６００−ｎから要求情報「ＶｉｅｗＩＤなし」を受け取ると、一時記憶領域の配信変更部５０５−３を作成する。この配信変更部５０５−３は、一時記憶部５０２に一時保存している最新（最も時間が新しい）のＧＯＰ全映像／音声多重化データから指定時間分戻り、戻ったところの多重化情報から再生端末６００−ｎの要求情報に対応する全識別情報読み出す。
次に、配信変更部５０５−３は、戻ったＧＯＰの全映像／音声多重化データの先頭から再生端末６００−ｎの要求情報に対応する全映像／音声多重化データを読み出す。配信変更部５０５−３は、以後この順番で順次、情報を読み出す。
【００４７】
例えば、指定時間を１０００ｍｓｅｃとし場合、１ＧＯＰを０．５秒とすると、配信変更部５０５−３は、最新ＧＯＰから２ＧＯＰ戻った多重化情報から全識別情報を読み出す。次に、配信変更部５０５−３は、戻ったＧＯＰの全映像／音声多重化データの先頭から再生端末６００−ｎの要求の全映像／音声多重化データを読み出す。配信変更部５０５−３は、以後この順番で読み出す。
配信変更部５０５−３は、一時記憶部５０２から順次、要求の全識別情報、要求の全映像／音声多重化データを受け取る。配信変更部５０５−３は、さらに、受け取った全映像／音声多重化データを指定のオーバーレートに変更し、最初に、多重化情報（要求の全識別情報）、次に指定のオーバーレートに変更した要求の１ＧＯＰ全映像／音声多重化データを送信部５０４へ送る。配信変更部５０５−３は、以後この順番で送信部５０４へ送る。
【００４８】
一時記憶部５０２は、配信要求の再生端末６００−１〜６００−ｎ毎に一時記憶領域の配信変更部５０５−１〜５０５−ｎを作成し、一時記憶部５０２は、配信変更部５０５−１〜５０５−ｎが読み出し完了した一時記憶部５０２の多重化情報、１ＧＯＰ全映像／音声多重化データを順に削除する。
配信変更部５０５−３は、送信完了した多重化情報、１ＧＯＰ映像／音声多重化データから削除する。
一時記憶部５０２および配信変更部５０５−３は、１ＧＯＰの終わりは次の多重化情報で判断する。
【００４９】
送信部５０４は、配信変更部５０５−３から多重化情報（要求の全識別情報）、要求の全映像／音声多重化データの順番で受け取る。送信部５０４は、受け取った多重化情報（要求の全識別情報）、その次に要求の１ＧＯＰ全映像／音声多重化データをオーバーレートで要求元の再生端末６０２へネットワーク７０３を介して配信する。以後、送信部５０４は、多重化情報（要求の全識別情報）、次に要求の１ＧＯＰ全映像／音声多重化データの順番で、ネットワーク７０３を介してオーバーレートで再生端末６００−ｎへ送信する。
なお、本実施例では１ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）は、１５フレーム、０．５秒とするが、必ずしもその必要はない。
【００５０】
図６は、本発明の実施例の再生端末から配信サーバへの要求と映像／音声多重化データの配信の説明図である。
再生端末６００−１〜６００−ｎは、送信部６０１と、受信部６０２と、デコード部６０３と、制御部６０４と、表示部６０５とを、それぞれ備える。
【００５１】
再生端末６００−１は、再生開始に、本実施例ではＶｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の指定配信要求（要求情報）を制御部６０４から送信部６０１へ送る。つまり、図３を用いて説明した実施形態に対応するものである。
送信部６０１は、配信サーバ５００へネットワーク７０３を介してＶｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の指定配信要求を行う。配信サーバ５００は、最新ＧＯＰから指定時間分戻ったところから多重化情報（要求の識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」）、１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」の順で順次、オーバーレートでネットワーク７０３を介して配信する。再生端末６００−１の受信部６０２は、多重化情報（要求の識別情報「「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」」と、１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」の順番で順次受け取る。デコード部６０３が、Ｖｉｅｗ２、Ｖｉｅｗ３の映像データとＶｉｅｗｎ＋１の音声データを伸張し、表示部６０５においてストリーム再生を開始する。
【００５２】
一方、再生端末６００−２は、再生開始に、本実施例ではＶｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の複数指定配信要求（要求情報）を、制御部６０４が送信部６０１へ送る。つまり、図４を用いて説明した実施形態に対応するものである。本実施例では、カメラ３台とマイク１つからの映像データ／音声データの配信要求であるが、３台以上の複数カメラの配信要求ができる。
この再生端末６００−２の送信部６０１は、配信サーバ５００へネットワーク７０３を介してＶｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の指定配信要求（要求情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の配信要求」）を行う。配信サーバ５００は、最新ＧＯＰから指定時間分戻ったところから多重化情報（要求の識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」）、１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」の順で、順次オーバーレートでネットワーク７０３を介して配信する。
再生端末６００−２の受信部６０２は、多重化情報（要求の識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」）と、１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」の順番で順次受け取る。デコード部６０３は、Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像データと、Ｖｉｅｗｎ＋１の音声データを伸張し、表示部６０５においてストリーム再生を開始する。
【００５３】
また、再生端末６００−ｎは、再生開始に、本実施例では全配信要求（ＶｉｅｗＩＤは付けない）を制御部６０４から送信部６０１へ送る。再生端末６００−ｎの送信部６０１は、配信サーバ５００へネットワーク７０３を介して全配信要求を行う。つまり、図５を用いて説明した実施形態に対応するものである。
配信サーバ５００は、最新ＧＯＰから指定時間分戻ったところから多重化情報（要求の全識別情報）、１ＧＯＰの全映像／音声多重化データの順で順次オーバーレートでネットワーク７０３を介して配信する。再生端末６００−ｎの受信部６０２は、多重化情報（全ての識別情報）と、１ＧＯＰ全映像／音声多重化データの順番で順次受け取る。再生端末６００−ｎのデコード部６０３は、受け取った全映像／音声多重化データの中から、再生開始映像として事前に指定してある例えばカメラ１とナビの映像データとマイク２００の音声データを伸張し、ストリーム再生を開始する。
【００５４】
図７は、本発明の実施例の多重化情報と全映像／音声多重化データの構成を説明する図である。
多重化情報は、少なくとも、タイムスタンプと識別情報（ＶｉｅｗＩＤ）で構成されている。
１ＧＯＰ映像／音声多重化データは、１ＧＯＰ分の符号化データで構成されている。
図面上段に示す例１は、多重化装置４００が、多重化情報と、この多重化情報に対応付けられた１ＧＯＰ全映像／音声多重化データを、配信サーバ５００に対して順次配信する図である。
多重化情報には、１ＧＯＰ全映像／音声多重化データの先頭のタイムスタンプと、全識別情報（Ｖｉｅｗ１、２、３、・・・、ｎ、ｎ＋１）が含まれている。
１ＧＯＰ全映像／音声多重化データには、１ＧＯＰ分の全符号化データ（Ｖｉｅｗ１、２、３、・・・、ｎ、ｎ＋１）が含まれている。そして、符号化データ毎に、タイムスタンプと識別情報が付与されている。
【００５５】
図面下段に示す例２は、配信サーバ５００が、多重化情報と、この多重化情報に対応付けられた１ＧＯＰ全映像／音声多重化データを、再生端末６００−１に順次配信する例である。つまり、図３を用いて説明した実施形態に対応するものである。
再生端末６００−１の配信要求「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」に対して、多重化情報には、１ＧＯＰ映像／音声多重化データの先頭のタイムスタンプと、配信要求された識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」が含まれている。
１ＧＯＰ映像／音声多重化データには、１ＧＯＰ分の配信要求された符号化データ（Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１）が含まれている。そして、符号化データ毎に、符号化データのタイムスタンプとその識別情報が付与されている。
【００５６】
［第２実施形態］
図８は、本発明の他の例の映像配信システムの概略構成を示すブロック図である。
本実施例の映像配信システムは、複数のカメラ１１００と、複数の符号化装置１３００と、多重化装置１４００と、配信サーバ１５００と、複数の再生端末１６００とを含む。上述の第１実施形態と同様の構成や機能については、詳細な説明は省略する。
【００５７】
１台以上のカメラ１１００が符号化装置１３００に接続されている。符号化装置１３００は、カメラから送られた映像を符号化し、符号化された映像符号化データを実際のレートでネットワーク１７０１を介して多重化装置１４００に送る。ここでは、実際の配信レートは、符号化時に符号化装置１３００によって作成された配信レートを意味する。
多重化装置１４００は、符号化装置１３００−１〜１３００−ｎから１つ以上の映像符号化データＤ１１〜Ｄ１４を受けとる。多重化装置１４００は、カメラ出力対応テーブルを参照して、送信元の各符号化装置１３００−１〜１３００−ｎのＩＰアドレスに基づき、符号化データと識別情報（ＶｉｅｗＩＤ）を対応させる。多重化装置１４００は、この識別情報であるＶｉｅｗＩＤを、対応する各符号化データに付与する。
多重化装置１４００は、映像符号化データＤ１１〜Ｄ１４をまとめて多重化し、多重化データである１ＧＯＰ全映像多重化データを作成する。また、多重化装置４００は、１ＧＯＰ全映像多重化データの１ＧＯＰの先頭のタイムスタンプと、１ＧＯＰ全映像多重化データに含まれる全識別情報（全ＶｉｅｗＩＤ）とを含む多重化情報を作成する。
なお、ナビカメラ１１００−３は、被写体の全体を撮影する。このナビカメラ１１００−３によって撮影された映像は、ナビゲーション映像（ナビ映像）とよぶ。
【００５８】
さらに、多重化装置１４００は、最初に、撮影した全てのカメラ（符号化データ）を識別する多重化情報（Ｖｉｅｗ１、２、３、・・・、ｎ）を配信サーバ１５００へ送信し、次に１ＧＯＰ全映像多重化データを実際のレートで配信サーバ１５００へ送信する。多重化装置１４００は、以後この順番でネットワーク７０２を介して配信サーバ１５００へ、多重化情報および１ＧＯＰ全映像多重化データを送信する。
【００５９】
配信サーバ１５００は、多重化装置１４００から送信された多重化情報（Ｖｉｅｗ１、２、３、・・・、ｎ）と１ＧＯＰ全映像多重化データを一時保存する。
また、配信サーバ１５００は、再生端末１６００（１６００−１、１６００−２、・・・、１６００−ｎ）からの配信要求を受け取ると、一時保存している最新（最も時間が新しい）のＧＯＰ全映像多重化データから指定時間分戻ったところの多重化情報（Ｖｉｅｗ１、２、３、・・・、ｎ）から再生端末１６００の要求の識別情報（ＶｉｅｗＩＤ）を読み出す。配信サーバ１５００は、戻ったところの全映像多重化データのＧＯＰの先頭から再生端末１６００の要求の映像多重化データを読み出す。
配信サーバ１５００は、以後順次読み出し、読み出した要求の映像多重化データを指定のオーバーレートに変更し、最初に多重化情報（要求のＶｉｅｗＩＤ）、次に指定のオーバーレートに変更した要求の１ＧＯＰ映像多重化データを、ネットワーク１７０３を介してオーバーレートで再生端末１６００へ送信する。
【００６０】
再生端末１６００は、指定配信要求または全配信要求を配信サーバ１５００に行う。配信サーバ１５００からは、多重化情報（要求したＶｉｅｗＩＤ）、要求した１ＧＯＰ映像多重化データの順番で順次受け取り、ストリーム再生を開始する。
【００６１】
図９は、本発明の他の例の多重化装置から配信サーバへ多重化情報、全映像多重化データを送信する説明図である。
多重化装置１４００は、符号化装置１３００−１〜１３００−ｎから１つ以上の映像符号化データを受けとる。多重化装置１４００は、カメラ出力対応テーブルを参照して、送信元の各符号化装置１３００−１〜１３００−ｎのＩＰアドレスに基づき、符号化データと対応する識別情報（ＶｉｅｗＩＤ）を得て、各符号化データに付与する。
多重化装置１４００は、映像符号化データをまとめて多重化し、多重化データである１ＧＯＰ全映像多重化データを作成する。また、多重化装置４００は、１ＧＯＰ全映像多重化データの１ＧＯＰの先頭のタイムスタンプと、１ＧＯＰ全映像多重化データに含まれる全識別情報（全ＶｉｅｗＩＤ）とを含む多重化情報を作成する。
この多重化装置１４００は、初めに、多重化情報を、次に、カメラ変更をＧＯＰ単位で行うために１ＧＯＰ分の全映像多重化データを実際の配信レートで、配信サーバ１５００へ送信する。以後、多重化装置１４００は、多重化情報、１ＧＯＰ全映像多重化データの順番で、ネットワーク１７０２を介して実際の伝送レートで配信サーバ１５００へ送信する。
【００６２】
図１０は、本発明の他の例の映像配信システムにおける、指定配信要求の映像符号化データ読み出しの説明図である。これは、第１の映像配信方法を利用するものの一例である。
配信サーバ１５００の第１受信部１５０１は、多重化装置１４００から順次送信された多重化情報と１ＧＯＰ全映像多重化データを受け取り、受け取った多重化情報と１ＧＯＰ全映像多重化データを一時記憶部１５０２に順次送る。一時記憶部１５０２は、多重化情報と１ＧＯＰ全映像多重化データを一時保存する。
【００６３】
配信サーバ１５００の受信部１５０３は、再生端末１６００−１からの配信要求を受け取ると、受け取った再生端末１６００−１からのカメラ１１００−２（Ｖｉｅｗ２）とナビカメラ１１００−３（Ｖｉｅｗ３）の映像データの配信を要求することを示す要求情報（ここでは、要求情報「Ｖｉｅｗ２、Ｖｉｅｗ３の配信要求」と記す。）を一時記憶部５０２に送る。
【００６４】
一時記憶部１５０２は、再生端末１６００−１から配信要求を受け取ると、一時記憶領域の配信変更部１５０５−１を作成する。配信変更部１５０５−１は、一時記憶部１５０２に一時保存している最新（最も時間が新しい）のＧＯＰ全映像多重化データから指定時間分戻り、戻ったところの多重化情報から再生端末１６００−１の要求に対応する識別情報Ｖｉｅｗ２、Ｖｉｅｗ３を読み出す。
【００６５】
次に、配信変更部１５０５−１は、戻ったＧＯＰの全映像多重化データの先頭から、再生端末１６００−１が要求する識別情報Ｖｉｅｗ２、Ｖｉｅｗ３に対応する映像多重化データを読み出す。配信変更部１５０５−１は、以後この順番で順次情報を読み出す。
例えば、指定時間を１０００ｍｓｅｃとし場合、１ＧＯＰを０．５秒とすると、配信変更部１５０５−１は、最新ＧＯＰから２ＧＯＰ戻った多重化情報から、Ｖｉｅｗ２、Ｖｉｅｗ３を読み出す。
【００６６】
次に、配信変更部１５０５−１は、戻ったＧＯＰの全映像多重化データの先頭から再生端末１６００−１要求のＶｉｅｗ２、３の映像多重化データを読み出し、配信変更部１５０５−１へ送る。配信変更部１５０５−１は、以後この順番で順次情報を読み出す。
【００６７】
配信変更部１５０５−１は、一時記憶部１５０２から順次、多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３」、および識別情報Ｖｉｅｗ２、Ｖｉｅｗ３に対応する映像多重化データを受け取る。配信変更部１５０５−１は、受け取った映像多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を、指定のオーバーレートに変更する。配信変更部１５０５−１は、最初に、多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３」、次に指定のオーバーレートに変更した要求の１ＧＯＰの映像多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を送信部１５０４へ送る。配信変更部１５０５−１、以後この順番で送信部１５０４へ送る。
【００６８】
一時記憶部１５０２は、配信要求の再生端末１６００−１〜１６００−ｎ毎に一時記憶領域の配信変更部１５０５−１〜１５０５−ｎを作成する。一時記憶部１５０２は、配信変更部１５０５−１〜１５０５−ｎが読み出し完了した一時記憶部１５０２の多重化情報、１ＧＯＰ全映像多重化データを順に削除する。
配信変更部１５０５−１は、送信完了した多重化情報、１ＧＯＰ映像多重化データから削除する。
データ一時記憶部１５０２と配信変更部１５０５−１は、１ＧＯＰの終わりは次の多重化情報で判断する。
【００６９】
送信部１５０４は、配信変更部１５０５−１から多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３」、および識別情報Ｖｉｅｗ２、Ｖｉｅｗ３に対応する映像多重化データの順で受け取る。送信部１５０４は、受け取った多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３」、次に１ＧＯＰ映像多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を、オーバーレートで要求元の再生端末１６００−１へネットワーク１７０２を介して配信する。
以後、多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３」、次に１ＧＯＰの映像多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」の順番で、ネットワーク１７０３を介してオーバーレートで再生端末１６００−１へ送信する。
なお、本実施例では１ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）は、１５フレーム、０．５秒とするが、必ずしもその必要はない。
【００７０】
図１１は、本発明の他の例の映像配信システムにおける、複数指定配信要求の映像多重化データ読み出しの説明図である。これは、第１の映像配信方法を利用するものの他の例である。
配信サーバ１５００の第１受信部１５０１は、多重化装置１４００から順次送信された多重化情報と１ＧＯＰ全映像多重化データを受け取り、受け取った多重化情報と１ＧＯＰ全映像多重化データを一時記憶部１５０２に順次送る。一時記憶部１５０２は、多重化情報と１ＧＯＰ全映像多重化データを一時保存する。
配信サーバ１５００の受信部１５０３は、再生端末１６００−２からの配信要求を受け取ると、受け取った再生端末１６００−２からのカメラ１１００−１（Ｖｉｅｗ１）、カメラ１１００−２（Ｖｉｅｗ２）およびナビカメラ１１００−３（Ｖｉｅｗ３）の映像データの配信を要求することを示す要求情報（ここでは、要求情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の配信要求」と記す。）を一時記憶部１５０２に送る。
【００７１】
一時記憶部１５０２は、再生端末１６００−２から配信要求を受け取ると、一時記憶領域の配信変更部１５０５−２を作成する。この配信変更部１５０５−２は、一時記憶部１５０２に一時保存している最新（最も時間が新しい）のＧＯＰ全映像多重化データから指定時間分戻り、戻ったところの映像多重化情報から、再生端末１６００−２の要求に対応する識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」を読み出す。次に、配信変更部１５０５−２は、戻ったＧＯＰの全映像多重化データの先頭から再生端末１６００−２が要求する映像多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を読み出す。配信変更部１５０５−２は、以後この順番で順次、情報を読み出す。
【００７２】
例えば、指定時間を１０００ｍｓｅｃとし場合、１ＧＯＰを０．５秒とすると、配信変更部１５０５−２は、最新ＧＯＰから２ＧＯＰ戻った多重化情報から、識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」を読み出す。次に、配信変更部１５０５−２は、戻ったＧＯＰの全映像多重化データの先頭から再生端末１６００−２の要求の映像多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を読み出し、配信変更部１５０５−２へ送る。配信変更部１５０５−２は、以後この順番で順次、情報を読み出す。
【００７３】
配信変更部１５０５−２は、一時記憶部１５０２から順次、要求に対応する識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」と、要求に対応する映像多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を受け取る。配信変更部１５０５−２は、さらに、受け取った要求の映像多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を、指定のオーバーレートに変更する。配信変更部１５０５−２は、最初に、多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」、その次に指定のオーバーレートに変更した要求の１ＧＯＰの映像多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を、送信部１５０４へ送る。配信変更部１５０５−２は、以後この順番で、読み出した情報を送信部１５０４へ送る。
【００７４】
一時記憶部１５０２は、配信要求の再生端末１６００−１〜１６００−ｎ毎に、一時記憶領域の配信変更部１５０５−１〜１５０５−ｎを作成する。一時記憶部１５０２は、配信変更部１５０５−１〜１５０１−ｎが読み出し完了した一時記憶部１５０２の多重化情報、１ＧＯＰ全映像多重化データを順に削除する。
配信変更部１５０５−２は、送信完了した多重化情報、１ＧＯＰ映像多重化データから削除する。
データ一時記憶部１５０２と配信変更部１５０５−２は、１ＧＯＰの終わりは次の多重化情報で判断する。
【００７５】
送信部１５０４は、配信変更部１５０５−２から多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」、その次に、映像多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」の順番で受け取る。送信部１５０４は、受け取った多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」、その次に、１ＧＯＰの映像多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」をオーバーレートで要求元の再生端末１６００−２へネットワーク１７０３を介して配信する。送信部１５０４は、以後、多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」、その次に、１ＧＯＰの映像多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を順番で、ネットワーク１７０３を介してオーバーレートで再生端末１６００−２へ送信する。
なお、本実施例では１ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）は、１５フレーム、０．５秒とするが、必ずしもその必要はない。
【００７６】
図１２は、本発明の他の例の映像配信システムにおける、全配信要求の映像多重化データ読み出しの説明図である。
配信サーバ１５００の第１受信部１５０１は、多重化装置１４００から順次送信された多重化情報と１ＧＯＰ全映像多重化データを受け取り、受け取った多重化情報と１ＧＯＰ全映像多重化データを一時記憶部１５０２に順次送る。一時記憶部１５０２は、多重化情報と１ＧＯＰ全映像多重化データを一時保存する。
【００７７】
配信サーバ１５００の受信部１５０３は、再生端末１６００−３からの配信要求を受け取ると、受け取った再生端末１６００−３からの全配信要求を一時記憶部１５０２に送る。
一時記憶部１５０２は、再生端末１６００−３から配信要求を受け取ると、一時記憶領域の配信変更部１５０５−３を作成する。配信変更部１５０５−３は、一時記憶部１５０２に一時保存している最新（最も時間が新しい）のＧＯＰ全映像多重化データから指定時間分戻り、戻ったところの多重化情報から、再生端末１６００−３の要求に対応する識別情報「Ｖｉｅｗ１、２、３、・・・、ｎ」を読み出す。次に、配信変更部１５０５−３は、戻ったＧＯＰの全映像多重化データの先頭から再生端末１６００−３の要求の全映像多重化データを読み出す。配信変更部１５０５−３は、以後この順番で順次、情報を読み出す。
【００７８】
例えば、指定時間を１０００ｍｓｅｃとし場合、１ＧＯＰを０．５秒とすると、配信変更部１５０５−３は、最新ＧＯＰから２ＧＯＰ戻った多重化情報から全識別情報を読み出し配信変更部１５０５−３へ送る。次に、配信変更部１５０５−３は、戻ったＧＯＰの全映像多重化データの先頭から再生端末１６００−３の要求の全映像多重化データを読み出す。配信変更部１５０５−３は、以後この順番で順次、情報を読み出す。
【００７９】
配信変更部１５０５−３は、一時記憶部１５０２から順次、要求に対応する多重化情報、全映像多重化データを受け取る。配信変更部１５０５−３は、さらに、受け取った全映像多重化データを指定のオーバーレートに変更する。配信変更部１５０５−３は、最初に、要求に対応する多重化情報、その次に指定のオーバーレートに変更した１ＧＯＰ全映像多重化データを送信部１５０４へ送る。配信変更部１５０５−３は、以後この順番で、読み取った情報を送信部１５０４へ送る。
【００８０】
一時記憶部１５０２は、配信要求の再生端末１６００−１〜１６００−ｎ毎に、一時記憶領域の配信変更部１５０５−１〜１５０５−ｎを作成する。一時記憶部１５０２は、配信変更部１５０５−１〜１５０５−ｎが読み出し完了した一時記憶部１５０２の多重化情報、１ＧＯＰ全映像多重化データを順に削除する。
配信変更部１５０５−３は、送信完了した多重化情報、１ＧＯＰ映像多重化データから削除する。
データ一時記憶部１５０２および配信変更部１５０５−３は、１ＧＯＰの終わりは次の多重化情報で判断する。
【００８１】
送信部１５０４は、配信変更部１５０５−３から要求に対応する多重化情報、全映像多重化データの順番で受け取る。送信部１５０４は、受け取った多重化情報、次に１ＧＯＰ全映像多重化データをオーバーレートで要求元の再生端末１６００−３へネットワーク１７０３を介して配信する。送信部１５０４は、以後、要求の多重化情報、次に１ＧＯＰ全映像多重化データの順番でネットワーク１７０３を介してオーバーレートで再生端末１６００−３へ送信する。
なお、本実施例では１ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）は、１５フレーム、０．５秒とするが、必ずしもその必要はない。
【００８２】
図１３は、本発明の他の例の再生端末から配信サーバへの要求と映像多重化データの配信の説明図である。
再生端末１６００−１は、再生開始に、本実施例ではカメラ１１００−２（Ｖｉｅｗ２）、ナビカメラ１１００−３（Ｖｉｅｗ）の指定配信要求を制御部１６０４から送信部１６０１へ送る。
送信部１６０１は、配信サーバ１５００へネットワーク１７０３を介してＶｉｅｗ２、Ｖｉｅｗ３の指定配信要求を行う。配信サーバ１５００は、最新ＧＯＰから指定時間分戻ったところから多重化情報「Ｖｉｅｗ２，Ｖｉｅｗ３」、１ＧＯＰＶｉｅｗ２，Ｖｉｅｗ３の映像多重化データの順で、順次オーバーレートでネットワーク１７０３を介して配信する。
再生端末１６００−１の受信部１６０２は、多重化情報「Ｖｉｅｗ２，Ｖｉｅｗ３」と、１ＧＯＰの映像多重化データ「Ｖｉｅｗ２，Ｖｉｅｗ３の映像多重化データ」の順番で、順次受け取る。
デコード部１６０３は、映像多重化データ「Ｖｉｅｗ２，Ｖｉｅｗ３の映像多重化データ」を伸張し、表示部１６０５においてストリーム再生を開始する。
【００８３】
一方、再生端末１６００−２は、再生開始に、本実施例ではカメラ１１００−１（Ｖｉｅｗ１）、カメラ１１００−２（Ｖｉｅｗ２）、ナビカメラ１１００−３（Ｖｉｅｗ３）の複数指定配信要求（要求情報）を制御部１６０４から送信部１６０１へ送る。本実施例では、カメラ３台の配信要求であるが、３台以上の複数カメラの配信要求ができる。
送信部１６０１は、配信サーバ１５００へネットワーク１７０３を介してＶｉｅｗ１，Ｖｉｅｗ２，Ｖｉｅｗ３の指定配信要求を行う。配信サーバ１５００は、最新ＧＯＰから指定時間分戻ったところから多重化情報「Ｖｉｅｗ１，Ｖｉｅｗ２，Ｖｉｅｗ３」、その次に、１ＧＯＰの映像多重化データ「Ｖｉｅｗ１，Ｖｉｅｗ２，Ｖｉｅｗ３の映像多重化データ」の順で、順次オーバーレートでネットワーク１７０３を介して配信する。
再生端末１６００−３の受信部１６０２は、多重化情報「Ｖｉｅｗ１，Ｖｉｅｗ２，Ｖｉｅｗ３」と、その後に、１ＧＯＰの映像多重化データ「Ｖｉｅｗ１，Ｖｉｅｗ２，Ｖｉｅｗ３の映像多重化データ」の順番で、順次受け取る。デコード部１６０３は、映像多重化データ「Ｖｉｅｗ１，Ｖｉｅｗ２，Ｖｉｅｗ３の映像多重化データ」を伸張し、ストリーム再生を開始する。
【００８４】
また、再生端末１６００−３は、再生開始に、本実施例では全配信要求を制御部１６０４から送信部１６０１へ送る。送信部１６０１は、配信サーバ１５００へネットワーク１７０３を介して全配信要求を行う。配信サーバ１５００は、最新のＧＯＰから指定時間分戻ったところから多重化情報「Ｖｉｅｗ１，Ｖｉｅｗ２，・・・，Ｖｉｅｗｎ」、その後に、１ＧＯＰの全映像多重化データの順で、順次オーバーレートでネットワーク１７０３を介して配信する。再生端末１６００−３の受信部１６０２は、多重化情報「Ｖｉｅｗ１，Ｖｉｅｗ２，・・・，Ｖｉｅｗｎ」と、その後に、１ＧＯＰの全映像多重化データの順番で順次受け取る。デコード部１６０３は、受け取った全映像多重化データの中から、再生開始映像として事前に指定してある例えばＶｉｅｗ１とＶｉｅｗ３の映像を伸張し、ストリーム再生を開始する。
【００８５】
図１４は、本発明の実施例の多重化情報と全映像多重化データの構成を説明する図である。
多重化情報は、少なくとも、タイムスタンプと識別情報（ＶｉｅｗＩＤ）で構成されている。
１ＧＯＰ映像多重化データは、１ＧＯＰ分の符号化データで構成されている。
図面上段に示す例１は、多重化装置１４００から多重化情報と多重化情報に対応付けられた１ＧＯＰ全映像多重化データを、配信サーバ１５００に対して順次配信する図である。
多重化情報には、１ＧＯＰ全映像多重化データの先頭のタイムスタンプと、全識別情報（Ｖｉｅｗ１、２、３、・・・、ｎ）が含まれている。
１ＧＯＰ全映像多重化データには、１ＧＯＰ分の全符号化データ（Ｖｉｅｗ１、２、３、・・・、ｎ）が含まれている。そして、符号化データ毎に、タイムスタンプと識別情報が付与されている。
【００８６】
図面下段に示す例２は、配信サーバ１５００から多重化情報と多重化情報に対応付けられた１ＧＯＰ全映像多重化データを再生端末１６００−１に順次配信する例である。つまり、図１０を用いて説明した実施形態に対応するものである。
再生端末１６００−１の配信要求「Ｖｉｅｗ２、Ｖｉｅｗ３」に対して、
多重化情報には、１ＧＯＰ映像多重化データの先頭のタイムスタンプと、配信要求された識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３」が含まれている。
１ＧＯＰ映像多重化データには、１ＧＯＰ分の配信要求された符号化データ（Ｖｉｅｗ２、Ｖｉｅｗ３）が含まれている。そして、符号化データ毎に、符号化データのタイムスタンプとその識別情報が付与されている。
【００８７】
［第１実施形態に係る処理フロー］
図１５は、本発明の第１実施形態に係る映像配信システムにおける、指定配信処理手順を示すフローチャートである。この処理手順は、図３に示した実施態様によるものに対応するものである。
【００８８】
ステップＳＴ１３０１で、１台以上のカメラ１００−１〜１００−ｎから符号化装置３００−１〜３００−ｎへ映像データを送る。また、音声データは、本実施例では1台のマイク内蔵カメラ１００−ｎのマイク２００が集音し、符号化装置３００−ｎへ送る。
ステップＳＴ１３０２で、符号化装置３００−１〜３００−ｎは、カメラ１００から送られた映像データおよび音声データをそれぞれに符号化し、符号化された映像符号化データと音声符号化データを実際のレートでネットワーク７０１を介して多重化装置４００に送る。
【００８９】
ステップＳＴ１３０３で、多重化装置４００は、符号化装置１００〜１００−ｎから１つ以上の映像符号化データＤ１１〜Ｄ１４と、本実地例では１つの音声符号化データＤ１５を受けとる。多重化装置４００は、カメラ出力対応テーブルを参照して、送信元の符号化装置３００−１〜３００−ｎのＩＰアドレスに基づき、符号化データに対応する識別情報（ＶｉｅｗＩＤ）を得て、各符号化データに付与する。
多重化装置４００は、映像符号化データＤ１１〜Ｄ１４をまとめて多重化し、次に多重化した映像符号化データと１つの音声符号化データＤ１５を多重化し、１ＧＯＰ全映像多重化データを作成する。そして、多重化装置４００は、１ＧＯＰ全映像多重化データの１ＧＯＰの先頭に、タイムスタンプと、１ＧＯＰ全映像多重化データに含まれる全識別情報（全ＶｉｅｗＩＤ）とを含む多重化情報を作成する。
多重化装置４００は、最初に、多重化情報を配信サーバ５００へ送信する。次に、多重化装置４００は、カメラ変更をＧＯＰ単位で行うために全映像／音声多重化データの１ＧＯＰ分を配信サーバ５００へ実際のレートで送信する。
以後、多重化装置４００は、多重化情報、１ＧＯＰ全映像／音声多重化データの順で、ネットワーク７０２を介して、順次、配信サーバ５００へ送信する。
【００９０】
ステップＳＴ１３０４で、配信サーバ５００の第１受信部５０１は、多重化装置４００から順次送信された多重化情報と１ＧＯＰ全映像／音声多重化データを順次受け取る。多重化装置４００は、受け取った多重化情報と１ＧＯＰ全映像／音声多重化データを一時記憶部５０２に順次送る。一時記憶部５０２は、多重化情報と１ＧＯＰ全映像／音声多重化データを時系列に並べて一時保存する。
【００９１】
ステップＳＴ１３０５で、配信サーバ５００の第２受信部５０３は、例えば再生端末６００−１からの配信要求（要求情報）を受け取ると、受け取った再生端末６００−１からの識別情報Ｖｉｅｗ２、３の映像データと、識別情報Ｖｉｅｗｎ＋１の音声データの配信を要求することを示す要求情報（要求情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の配信要求」）を一時記憶部５０２に送る。
一時記憶部５０２は、再生端末６００−１から配信要求（要求情報）を受け取ると、一時記憶領域の配信変更部５０５−１を作成する。この配信変更部５０５−１は、一時記憶部５０２に一時保存している最新（最も時間が新しい）のＧＯＰ全映像／音声多重化データから指定時間分戻り、戻ったところの多重化情報からを再生端末６００−１の要求の「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」を読み出す。次に、配信変更部５０５−１は、戻ったＧＯＰの全映像／音声多重化データの先頭から再生端末６００−１の要求の多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」を読み出し、配信変更部５０５−１へ送る。配信変更部５０５−１は、以後この順番で順次、一時記憶部５０２から読み出す。
【００９２】
例えば、指定時間を１０００ｍｓｅｃとし場合、１ＧＯＰを０．５秒とすると、配信変更部５０５−１は、最新ＧＯＰから２ＧＯＰ戻った多重化情報から識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」を読み出す。次に、配信変更部５０５−１は、戻ったＧＯＰの全映像／音声多重化データの先頭から再生端末６００−１の要求の多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」を読み出す。配信変更部５０５−１は、以後この順番で順次、一時記憶部５０２から読み出す。
【００９３】
配信変更部５０５−１は、一時記憶部５０２から順次、多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」と、要求の映像／音声多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１映像／音声多重化データ」を受け取る。さらに、配信変更部５０５−１は、受け取った映像／音声多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」を指定のオーバーレートに変更する。配信変更部５０５−１は、最初に、多重化情報、その次に、指定のオーバーレートに変更した要求の１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」を送信部５０４へ送る。配信変更部５０５−１は、以後この順番で、送信部５０４へ送る。
【００９４】
一時記憶部５０２は、配信要求の再生端末６００−１〜６００−ｎ毎に一時記憶領域の配信変更部５０５−１〜５０５−ｎを作成する。一時記憶部５０２は、配信変更部５０５−１〜５０５−ｎが読み出し完了した一時記憶部５０２の多重化情報、１ＧＯＰ全映像／音声多重化データを順に削除する。
配信変更部５０５−１は、送信完了した多重化情報、１ＧＯＰ映像／音声多重化データを自身の記憶部から削除する。
データ一時記憶部５０２と配信変更部５０５−１は、１ＧＯＰの終わりは次の多重化情報で判断する。
【００９５】
ステップＳＴ１３０６で、送信部５０４は、配信変更部５０５から多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」、その次に、１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」の順番で受け取る。送信部５０４は、受け取った多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」、その次に１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」をオーバーレートで要求元の再生端末６００−１へネットワーク７０３を介して配信する。
以後、送信部５０４は、多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」、その後に、１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」の順番で、ネットワーク７０３を介してオーバーレートで再生端末６００−１へ送信する。
【００９６】
ステップＳＴ１３０７で、再生端末６００−１は、多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」、その後に１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」の順番で順次受け取り、Ｖｉｅｗ２とＶｉｅｗ３の映像とＶｉｅｗｎ＋１の音声のストリーム再生を開始する。
【００９７】
図１６は、本発明の実施例の映像配信システムにおける、複数指定配信処理手順を示すフローチャートである。この処理手順は、図４に示した実施態様によるものに対応するものである。
【００９８】
ステップＳＴ１４０１で、１台以上のカメラから符号化装置３００−１〜３００−ｎへ映像を送る。また、音声は、本実施例では1台のマイク内蔵カメラ１００−ｎのマイク２００が集音し、符号化装置３００−ｎへ送る。
【００９９】
ステップＳＴ１４０２で、符号化装置３００−１〜３００−ｎは、カメラ１００から送られた映像データまたは音声データをそれぞれに符号化し、符号化された映像符号化データと音声符号化データを、ネットワーク７０１を介して多重化装置４００に送る。
【０１００】
ステップＳＴ１４０３で、多重化装置４００は、符号化装置３００−１〜３００−ｎから１つ以上の映像符号化データと、本実地例では１つの音声符号化データを受けとる。多重化装置４００は、カメラ出力対応テーブルを参照して、送信元の符号化装置３００−〜１３００−ｎのＩＰアドレスに基づき、符号化データに対応する識別情報（ＶｉｅｗＩＤ）を得て、各符号化データに付与する。
多重化装置４００は、映像符号化データＤ１１〜Ｄ１４をまとめて多重化し、次に多重化した映像符号化データと１つの音声符号化データＤ１５を多重化し、１ＧＯＰ全映像多重化データを作成する。そして、多重化装置４００は、１ＧＯＰ全映像多重化データの１ＧＯＰの先頭に、タイムスタンプと、１ＧＯＰ全映像多重化データに含まれる全識別情報（全ＶｉｅｗＩＤ）とを含む多重化情報を作成する。
最初に、多重化装置４００は、全てのカメラ１００−１〜１００−ｎに関する多重化情報を配信サーバ５００へ送信する。次に、カメラ変更をＧＯＰ単位で行うために全映像／音声多重化データの１ＧＯＰ分を配信サーバ５００へ実際のレートで送信する。
以後、多重化装置４００は、多重化情報、１ＧＯＰ全映像／音声多重化データの順でネットワーク７０２を介して順次配信サーバ５００へ送信する。
【０１０１】
ステップＳＴ１４０４で、配信サーバ５００の第１受信部５０１は、多重化装置４００から順次送信された多重化情報と１ＧＯＰ全映像／音声多重化データを順次受け取る。第１受信部５０１は、受け取った多重化情報と１ＧＯＰ全映像／音声多重化データを一時記憶部５０２に順次送る。一時記憶部５０２は、多重化情報と１ＧＯＰ全映像／音声多重化データを一時保存する。
【０１０２】
ステップＳＴ１４０５で、配信サーバ５００の第２受信部５０３は、再生端末６００−２からの配信要求を受け取ると、受け取った再生端末６００−２からの識別情報Ｖｉｅｗ１、Ｖｉｅｗ２、およびＶｉｅｗ３の映像データの配信と識別情報Ｖｉｅｗｎ＋１の音声データを要求することを示す要求情報（以下、要求情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の配信要求」と記す。）を一時記憶部５０２に送る。
【０１０３】
一時記憶部５０２は、再生端末６００−２から配信要求を受け取ると、一時記憶領域の配信変更部５０５−２を作成する。この配信変更部５０５−２は、一時記憶部５０２に一時保存している最新（最も時間が新しい）のＧＯＰ全映像／音声多重化データから指定時間分戻り、戻ったところの多重化情報からを再生端末６００−２の要求に対応する識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」を読み出す。次に、配信変更部５０５−２は、戻ったＧＯＰの全映像／音声多重化データの先頭から再生端末６００−２の要求の映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」を読み出す。配信変更部５０５−２は、以後この順番で順次、情報を読み出す。
【０１０４】
例えば、指定時間を１０００ｍｓｅｃとし場合、１ＧＯＰを０．５秒とすると、配信変更部５０５−２は、最新ＧＯＰから２ＧＯＰ戻った多重化情報から識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」を読み出す。次に、配信変更部５０５−２は、戻ったＧＯＰの全映像／音声多重化データの先頭から再生端末６００−２の要求に対応する映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」を読み出す。配信変更部５０５−２は、以後この順番で順次読み出す。
配信変更部５０５−２は、一時記憶部５０２から順次、多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」、その後に要求の映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１映像／音声多重化データ」を受け取る。この配信変更部５０５−２は、さらに、受け取った映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」を指定のオーバーレートに変更する。この配信変更部５０５−２は、最初に、多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」を、その次に、指定のオーバーレートに変更した要求の１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」を送信部５０４へ送る。配信変更部５０５−２は、以後この順番で、読み出した情報を送信部５０４へ送る。
【０１０５】
一時記憶部５０２は、配信要求の再生端末毎６００に一時記憶領域の配信変更部５０５−１〜５０５−ｎを作成する。一時記憶部５０２は、配信変更部５０５−１〜５０５−ｎが読み出し完了した一時記憶部５０２の多重化情報、１ＧＯＰ全映像／音声多重化データを順に削除する。
配信変更部５０５−１は、送信完了した多重化情報、１ＧＯＰ映像／音声多重化データを自身の記憶部から削除する。
データ一時記憶部５０２と配信変更部５０５−２は、１ＧＯＰの終わりは次の多重化情報で判断する。
【０１０６】
ステップＳＴ１４０６で、送信部５０４は、配信変更部５０５−２から多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」、その後、要求の、映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」の順番で受け取る。送信部５０４は、受け取った多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」、その次に１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」をオーバーレートで要求元の再生端末６００−２へネットワーク７０３を介して配信する。送信部５０４は、以後、多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」、その次に１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」の順番で、ネットワーク７０３を介してオーバーレートで再生端末６００−２へ送信する。
【０１０７】
ステップＳＴ１４０７で、再生端末６００−２は、多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１」、その後、１ＧＯＰの映像／音声多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３、Ｖｉｅｗｎ＋１の映像／音声多重化データ」の順番で順次受け取り、Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像と、Ｖｉｅｗｎ＋１の音声のストリーム再生を開始する。
【０１０８】
図１７は、本発明の実施例の映像配信システムにおける、全カメラ配信処理手順を示すフローチャートである。この処理手順は、図５に示した実施態様によるものに対応するものである。
【０１０９】
ステップＳＴ１５０１で、１台以上のカメラ１００−１〜１００−ｎから符号化装置３００−１〜３００−ｎへ映像を送る。また、音声は、本実施例では1台のマイク内蔵カメラ１００−ｎのマイク２００が集音し、符号化装置３００−ｎへ送る。
【０１１０】
ステップＳＴ１５０２で、符号化装置３００−１〜３００−ｎは、カメラ１００−１〜１００−ｎから送られた映像データまたは音声データをそれぞれに符号化し、符号化された映像符号化データと音声符号化データを、ネットワーク７０１を介して多重化装置４００に送る。
【０１１１】
ステップＳＴ１５０３で、多重化装置４００は、符号化装置３００−１〜３００−ｎから１つ以上の映像符号化データ１１〜Ｄ１４と、本実地例では１つの音声符号化データ１５を受けとる。多重化装置４００は、カメラ出力対応テーブルを参照して、送信元の符号化装置３００−１〜３００−ｎのＩＰアドレスに基づき、符号化データに対応する識別情報（ＶｉｅｗＩＤ）を得て、各符号化データに付与する。
多重化装置４００は、映像符号化データＤ１１〜Ｄ１４をまとめて多重化し、次に多重化した映像符号化データと１つの音声符号化データＤ１５を多重化し、１ＧＯＰ全映像多重化データを作成する。そして、多重化装置４００は、１ＧＯＰ全映像多重化データの１ＧＯＰの先頭に、タイムスタンプと、１ＧＯＰ全映像多重化データに含まれる全識別情報（全ＶｉｅｗＩＤ）とを含む多重化情報を作成する。
【０１１２】
多重化装置４００は、最初に、全てのカメラ１００−１〜１００−ｎに関する多重化情報を配信サーバ５００へ送信する。多重化装置４００は、次に、カメラ変更をＧＯＰ単位で行うために全映像／音声多重化データの１ＧＯＰ分を配信サーバ５００へ実際のレートで送信する。多重化装置４００は、以後、多重化情報、その後に、１ＧＯＰ全映像／音声多重化データの順で、ネットワーク７０２を介して順次、配信サーバ５００へ送信する。
【０１１３】
ステップＳＴ１５０４で、配信サーバ５００の第１受信部５０１は、多重化装置４００から順次送信された多重化情報（全てのカメラ１００に関する多重化情報）と１ＧＯＰ全映像／音声多重化データを順次受け取り、受け取った多重化情報と１ＧＯＰ全映像／音声多重化データを一時記憶部５０２に順次送る。一時記憶部５０２は、多重化情報と１ＧＯＰ全映像／音声多重化データを一時保存する。
【０１１４】
ステップＳＴ１５０５で、配信サーバ５００の第２受信部５０３は、再生端末６００−ｎからの配信要求（要求情報）を受け取ると、受け取った再生端末６００−ｎからの全配信要求（全カメラからの映像データとマイク２００からの音声データを要求することを示す）を一時記憶部５０２に送る。一時記憶部５０２は、再生端末６００−ｎから配信要求（要求情報）を受け取ると、一時記憶領域の配信変更部５０５−３を作成する。配信変更部５０５−３は、一時記憶部５０２に一時保存している最新（最も時間が新しい）のＧＯＰ全映像／音声多重化データから指定時間分戻り、戻ったところの多重化情報から、再生端末６００−ｎの要求に対応する多重化情報（識別情報ＶｉｅｗＩＤ）を読み出す。次に、配信変更部５０５−３は、戻ったＧＯＰの全映像／音声多重化データの先頭から、再生端末６００−ｎの要求に対応する全映像／音声多重化データを読み出す。配信変更部５０５−３は、以後この順番で順次、情報を読み出す。
【０１１５】
例えば、指定時間を１０００ｍｓｅｃとし場合、１ＧＯＰを０．５秒とすると、配信変更部５０５−３は、最新ＧＯＰから２ＧＯＰ戻った多重化情報から全ＶｉｅｗＩＤを読み出す。次に、配信変更部５０５−３は、戻ったＧＯＰの全映像／音声多重化データの先頭から再生端末６００−ｎの要求の全映像／音声多重化データを読み出す。配信変更部５０５−３は、以後この順番で順次、情報を読み出す。
【０１１６】
配信変更部５０５−３は、一時記憶部５０２から順次、多重化情報、全映像／音声多重化データを受け取る。さらに、配信変更部５０５−３は、受け取った全映像／音声多重化データを指定のオーバーレートに変更する。配信変更部５０５−３は、最初に、多重化情報、次に指定のオーバーレートに変更した１ＧＯＰ全映像／音声多重化データを送信部５０４へ送る。配信変更部５０５−３は、以後この順番で、読み出した情報を送信部５０４へ送る。
【０１１７】
一時記憶部５０２は、配信要求の再生端末６００−１〜６００−ｎ毎に一時記憶領域の配信変更部５０５−１〜５０５−ｎを作成する。一時記憶部５０２は、配信変更部５０５−１〜５０５−ｎが読み出し完了した一時記憶部５０２の多重化情報、１ＧＯＰ全映像／音声多重化データを順に削除する。
配信変更部５０５−３は、送信完了した多重化情報、１ＧＯＰ映像多重化データを自身の記憶部から削除する。
データ一時記憶部５０２と配信変更部５０５−３は、１ＧＯＰの終わりは次の多重化情報で判断する。
【０１１８】
ステップＳＴ１５０６で、送信部５０４は、配信変更部５０５−３から多重化情報、その次に１ＧＯＰ全映像／音声多重化データの順番で受け取る。送信部５０４は、受け取った多重化情報、その次に１ＧＯＰ全映像／音声多重化データを、それぞれオーバーレートで要求元の再生端末６００−ｎへネットワーク７０３を介して配信する。以後、多重化情報、１ＧＯＰ全映像／音声多重化データの順番でネットワーク７０３を介してオーバーレートで再生端末６００−ｎへ送信する。
ステップＳＴ１５０７で、再生端末６００−ｎは、多重化情報と、全映像／音声多重化データの順番で順次受け取り、再生開始カメラとして事前に指定してあるＶｉｅｗ１、Ｖｉｅｗ３の映像とＶｉｅｗｎ＋１の音声のストリーム再生を開始する。
【０１１９】
［第２実施形態に係る処理フロー］
図１８は、本発明の他の例の映像配信システムにおける、指定配信処理手順を示すフローチャートである。この処理手順は、図１０に示した実施態様によるものに対応するものである。
【０１２０】
ステップＳＴ１６０１で、１台以上のカメラから符号化装置１３００へ映像を送る。
ステップＳＴ１６０２で、符号化装置１３００は、カメラ１１００から送られた映像を符号化し、符号化された映像符号化データを実際のレートでネットワーク１７０２を介して多重化装置１４００に送る。
【０１２１】
ステップＳＴ１６０３で、多重化装置１４００は、符号化装置１３００−１〜１３００−ｎから１つ以上の映像符号化データを受けとる。多重化装置１４００は、カメラ出力対応テーブルを参照して、送信元の各符号化装置１３００−１〜１３００−ｎのＩＰアドレスに基づき、符号化データと識別情報（ＶｉｅｗＩＤ）を対応させる。多重化装置１４００は、この識別情報であるＶｉｅｗＩＤを、対応する各符号化データに付与する。
そして、多重化装置１４００は、これら映像符号化データをまとめて多重化し、多重化データである１ＧＯＰ全映像多重化データを作成する。多重化装置４００は、１ＧＯＰ全映像多重化データの１ＧＯＰの先頭のタイムスタンプと、１ＧＯＰ全映像多重化データに含まれる全識別情報（全ＶｉｅｗＩＤ）とを含む多重化情報を作成する。
多重化装置１４００は、最初に、多重化情報を配信サーバ１５００へ送信する。多重化装置１４００は、その次に、カメラ変更をＧＯＰ単位で行うために全映像多重化データの１ＧＯＰ分を配信サーバ１５００へ実際のレートで送信する。多重化装置４００は、以後、多重化情報、１ＧＯＰ全映像多重化データの順で、ネットワーク１７０２を介して順次配信サーバ１５００へ送信する。
【０１２２】
ステップＳＴ１６０４で、配信サーバ１５００の第１受信部１５０１は、多重化装置１４００から順次送信された多重化情報と１ＧＯＰ全映像多重化データを順次受け取る。
第１受信部１５０１は、受け取った多重化情報と１ＧＯＰ全映像多重化データを一時記憶部１５０２に順次送る。一時記憶部１５０２は、多重化情報と１ＧＯＰ全映像多重化データを一時保存する。
【０１２３】
ステップＳＴ１６０５で、配信サーバ１５００の第２受信部１５０３は、再生端末１６００−１からの配信要求を受け取ると、受け取った再生端末１６００−１からの識別情報Ｖｉｅｗ２、Ｖｉｅｗ３の映像データの配信を要求することを示す要求情報（要求情報「Ｖｉｅｗ２、Ｖｉｅｗ３の配信要求」）を一時記憶部１５０２に送る。
【０１２４】
一時記憶部１５０２は、再生端末１６００−１から配信要求（要求情報）を受け取ると、一時記憶領域の配信変更部１５０５−１を作成する。この配信変更部１５０５−１は、一時記憶部１５０２に一時保存している最新（最も時間が新しい）のＧＯＰ全映像多重化データから指定時間分戻り、戻ったところの多重化情報から、再生端末１６００−１の要求に対応する識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３」を読み出す。次に、配信変更部１５０５−１は、戻ったＧＯＰの全映像多重化データの先頭から再生端末１６００−１の要求に対応する識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３」の映像多重化データを読み出す。配信変更部１５０５−１は、以後この順番で順次、情報を読み出す。
【０１２５】
例えば、指定時間を１０００ｍｓｅｃとし場合、１ＧＯＰを０．５秒とすると、配信変更部１５０５−１は、最新ＧＯＰから２ＧＯＰ戻った多重化情報から識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３」を読み出す。次に、配信変更部１５０５−１は、戻ったＧＯＰの全映像多重化データの先頭から再生端末１６００−１が要求する映像多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３映像多重化データ」を読み出す。配信変更部１５０５−１は、以後この順番で順次、情報を読み出す。
【０１２６】
配信変更部１５０５−１は、一時記憶部１５０２から順次、多重化情報から要求の識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３」と、その後、要求の多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を受け取る。配信変更部１５０５−１は、さらに、受け取った識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３」の映像多重化データを、指定のオーバーレートに変更する。配信変更部１５０５−１は、最初に、多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３」を、その次に指定のオーバーレートに変更した１ＧＯＰの映像多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を、送信部１５０４へ送る。配信変更部１５０５−１は、以後この順番で、読み出した情報を送信部１５０４へ送る。
【０１２７】
一時記憶部１５０２は、配信要求の再生端末１６００−１〜１６００−ｎ毎に一時記憶領域の配信変更部１５０５−１〜１５０５−ｎを作成する。一時記憶部１５０２は、配信変更部１５０５−１〜１５０５−ｎが読み出し完了した一時記憶部１５０２の多重化情報、１ＧＯＰ全映像多重化データを順に削除する。
配信変更部１５０５−１は、送信完了した多重化情報、１ＧＯＰ映像多重化データを自身の記憶部から削除する。
データ一時記憶部１５０２と配信変更部１５０５−１は、１ＧＯＰの終わりは次の多重化情報で判断する。
【０１２８】
ステップＳＴ１６０６で、送信部１５０４は、配信変更部１５０５−１から多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３」、その次に１ＧＯＰの映像多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」の順番で受け取る。送信部１５０４は、受け取った多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３」、その次に１ＧＯＰの映像多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」をオーバーレートで要求元の再生端末１６００−１へネットワーク１７０３を介して配信する。送信部１５０４は、以後、多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３」、その後１ＧＯＰの映像多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」の順番でネットワーク１７０３を介してオーバーレートで再生端末１６００−１へ送信する。
【０１２９】
ステップＳＴ１６０７で、再生端末１６００−１は、多重化情報「Ｖｉｅｗ２、Ｖｉｅｗ３」、その後、１ＧＯＰの映像多重化データ「Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」の順番で順次受け取り、識別情報「Ｖｉｅｗ２、Ｖｉｅｗ３」の映像データのストリーム再生を開始する。
【０１３０】
図１９は、本発明の他の例の映像配信システムにおける、複数指定カメラ配信処理手順を示すフローチャートである。図１１に示した実施態様によるものに対応するものである。
【０１３１】
ステップＳＴ１７０１で、１台以上のカメラ１１００から符号化装置１３００へ映像を送る。
【０１３２】
ステップＳＴ１７０２で、符号化装置１３００は、カメラ１１００から送られた映像を符号化し、符号化された映像符号化データを実際のレートでネットワーク１７０１を介して多重化装置１４００に送る。
【０１３３】
ステップＳＴ１７０３で、多重化装置１４００は、符号化装置１３００−１〜１３００−ｎから１つ以上の映像符号化データを受けとる。多重化装置１４００は、カメラ出力対応テーブルを参照して、送信元の各符号化装置１３００−１〜１３００−ｎのＩＰアドレスに基づき、符号化データと対応する識別情報（ＶｉｅｗＩＤ）を得て、各符号化データに付与する。
多重化装置１４００は、映像符号化データをまとめて多重化し、多重化データである１ＧＯＰ全映像多重化データを作成する。また、多重化装置４００は、１ＧＯＰ全映像多重化データの１ＧＯＰの先頭のタイムスタンプと、１ＧＯＰ全映像多重化データに含まれる全識別情報（全ＶｉｅｗＩＤ）とを含む多重化情報を作成する。
【０１３４】
多重化装置１４００は、最初に、多重化情報を配信サーバ１５００へ送信する。多重化装置１４００は、その次に、カメラ変更をＧＯＰ単位で行うために全映像多重化データの１ＧＯＰ分を配信サーバ１５００へ実際のレートで送信する。多重化装置１４００は、以後、多重化情報、その後、１ＧＯＰ全映像多重化データの順で、ネットワーク１７０２を介して順次配信サーバ１５００へ送信する。
【０１３５】
ステップＳＴ１７０４で、配信サーバ１５００の第１受信部１５０１は、多重化装置１４００から順次送信された多重化情報と１ＧＯＰ全映像多重化データを順次受け取り、受け取った多重化情報と１ＧＯＰ全映像多重化データを一時記憶部１５０２に順次送る。
一時記憶部１５０２は、多重化情報と１ＧＯＰ全映像多重化データを時系列に並べて一時保存する。
【０１３６】
ステップＳＴ１７０５で、配信サーバ１５００の受信部１５０３は、再生端末１６００−２からの配信要求を受け取ると、受け取った再生端末１６００−２からの識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」の映像データの配信を要求することを示す要求情報（要求情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の配信要求」）を一時記憶部１５０２に送る。
【０１３７】
一時記憶部１５０２は、再生端末１６００−２から配信要求（要求情報）を受け取ると、一時記憶領域の配信変更部１５０５−２を作成する。この配信変更部１５０５−２は、一時記憶部１５０２に一時保存している最新（最も時間が新しい）のＧＯＰ全映像多重化データから指定時間分戻り、戻ったところの多重化情報からを再生端末１６００−２の要求の「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」を読み出す。次に、配信変更部１５０５−２は、戻ったＧＯＰの全映像多重化データの先頭から再生端末１６００−２要求の多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を読み出す。配信変更部１５０５−２は、以後この順番で順次、情報を読み出す。
【０１３８】
例えば、指定時間を１０００ｍｓｅｃとし場合、１ＧＯＰを０．５秒とすると、配信変更部１５０５−２は、最新ＧＯＰから２ＧＯＰ戻った多重化情報から識別情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」を読み出す。次に、配信変更部１５０５−２は、戻ったＧＯＰの全映像多重化データの先頭から再生端末１６００−２の要求の多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を読み出す。配信変更部１５０５−２は、以後この順番で、情報を読み出す。
【０１３９】
配信変更部１５０５−２は、一時記憶部１５０２から順次、多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」、その後に要求の多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を受け取る。配信変更部１５０５−２は、さらに、受け取った多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を指定のオーバーレートに変更する。配信変更部１５０５−２は、最初に、多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」、次に指定のオーバーレートに変更した要求の１ＧＯＰの映像多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」を送信部１５０４へ送る。配信変更部１５０５−２は、以後この順番で、情報を送信部１５０４へ送る。
【０１４０】
一時記憶部１５０２は、配信要求の再生端末１６００−１〜１６００−ｎ毎に、一時記憶領域の配信変更部１５０５−１〜１５０５−ｎを作成する。一時記憶部１５０２は、配信変更部１５０５−１〜１５０５−ｎが読み出し完了した一時記憶部１５０２の多重化情報と１ＧＯＰ全映像多重化データを削除する。
【０１４１】
配信変更部１５０５−２は、送信完了した多重化情報と１ＧＯＰ映像多重化データを自身が内蔵する記憶部から削除する。
データ一時記憶部１５０２、配信変更部１５０５−１は、１ＧＯＰの終わりは次の多重化情報で判断する。
ステップＳＴ１７０６で、送信部１５０４は、配信変更部１５０５−２から多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」、次に１ＧＯＰの映像多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」の順番で受け取る。送信部１５０４は、受け取った多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」、次に１ＧＯＰの映像多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」をオーバーレートで要求元の再生端末１６００−２へネットワーク１７０３を介して配信する。送信部１５０４は、以後、多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」、その後に、１ＧＯＰの映像多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」の順番でネットワーク１７０３を介してオーバーレートで再生端末１６００−２へ送信する。
【０１４２】
ステップＳＴ１７０７で、再生端末１６００−２は、多重化情報「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３」、１ＧＯＰの映像多重化データ「Ｖｉｅｗ１、Ｖｉｅｗ２、Ｖｉｅｗ３の映像多重化データ」の順番で順次受け取り、カメラ１、カメラ２、ナビの映像データのストリーム再生を開始する。
【０１４３】
図２０は、本発明の他の例の映像配信システムにおける、全カメラ配信処理手順を示すフローチャートである。この処理手順は、図１２に示した実施態様によるものに対応するものである。
【０１４４】
ステップＳＴ１８０１で、１台以上のカメラ１１００−１〜１１００−ｎから符号化装置１３００−１〜１３００−ｎへ映像を送る。
【０１４５】
ステップＳＴ１８０２で、符号化装置１３００−１〜１３００−ｎは、カメラ１１００−１〜１１００−ｎから送られた映像を符号化し、符号化された映像符号化データを実際のレートでネットワーク１７０１を介して多重化装置１４００に送る。
【０１４６】
ステップＳＴ１８０３で、多重化装置１４００は、符号化装置１３００−１〜１３００−ｎから１つ以上の映像符号化データを受けとる。多重化装置１４００は、カメラ出力対応テーブルを参照して、送信元の各符号化装置１３００−１〜１３００−ｎのＩＰアドレスに基づき、符号化データと対応する識別情報（ＶｉｅｗＩＤ）を得て、各符号化データに付与する。
多重化装置１４００は、映像符号化データをまとめて多重化し、多重化データである１ＧＯＰ全映像多重化データを作成する。また、多重化装置４００は、１ＧＯＰ全映像多重化データの１ＧＯＰの先頭のタイムスタンプと、１ＧＯＰ全映像多重化データに含まれる全識別情報（全ＶｉｅｗＩＤ）とを含む多重化情報を作成する。
多重化装置１４００は、最初に、全てのカメラ１１００に関する多重化情報を配信サーバ１５００へ送信する。多重化装置１４００は、次に、カメラ変更をＧＯＰ単位で行うために全映像多重化データの１ＧＯＰ分を配信サーバ１５００へ実際のレートで送信する。多重化装置１４００は、以後、多重化情報、その後、１ＧＯＰ全映像多重化データの順で、ネットワーク１７０２を介して順次、配信サーバ１５００へ送信する。
【０１４７】
ステップＳＴ１８０４で、配信サーバ１５００の第１受信部１５０１は、多重化装置１４００から順次送信された多重化情報と１ＧＯＰ全映像多重化データを順次受け取る。第１受信部１５０１は、受け取った多重化情報と１ＧＯＰ全映像多重化データを一時記憶部１５０２に順次送る。一時記憶部１５０２は、多重化情報と１ＧＯＰ全映像多重化データを時系列に並べて一時保存する。
【０１４８】
ステップＳＴ１８０５で、配信サーバ１５００の受信部１５０３は、再生端末１６００−ｎからの配信要求を受け取ると、受け取った再生端末１６００−ｎからの全配信要求（全カメラからの映像データを示す）を一時記憶部１５０２に送る。一時記憶部５０２は、再生端末１６００−ｎから配信要求を受け取ると、一時記憶領域の配信変更部１５０５−３を作成する。この配信変更部１５０５−３は、一時記憶部１５０２に一時保存している最新（最も時間が新しい）の１ＧＯＰ全映像多重化データから指定時間分戻り、戻ったところの全多重化情報からを再生端末１６００−ｎの要求の多重化情報（識別情報）を読み出す。次に、配信変更部１５０５−３は、戻ったＧＯＰの全映像多重化データの先頭から再生端末１６００−ｎの要求に対応する全映像多重化データを読み出す。配信変更部１５０５−３は、以後この順番で順次、読み出す。
【０１４９】
例えば、指定時間を１０００ｍｓｅｃとし場合、１ＧＯＰを０．５秒とすると、配信変更部１５０５−３は、最新ＧＯＰから２ＧＯＰ戻った多重化情報から多重化情報を読み出す。次に、配信変更部１５０５−３は、戻ったＧＯＰの全映像多重化データの先頭から再生端末１６００−ｎの要求の全映像多重化データを読み出す。配信変更部１５０５−３は、以後この順番で順次、読み出す。
【０１５０】
配信変更部１５０５−３は、一時記憶部１５０２から順次、要求の多重化情報および要求の全映像多重化データを受け取る。この配信変更部１５０５−３は、さらに、受け取った全映像多重化データを指定のオーバーレートに変更する。配信変更部１５０５−３は、最初に、要求の多重化情報、その次に指定のオーバーレートに変更した要求の１ＧＯＰ全映像多重化データを送信部１５０４へ送る。配信変更部１５０５−３は、以後この順番で、読み出した情報を送信部１５０４へ送る。
【０１５１】
一時記憶部１５０２は、配信要求の再生端末１６００−１〜１６００−ｎ毎に一時記憶領域の配信変更部１５０５−１〜１５０５−ｎを作成する。一時記憶部１５０２は、配信変更部１５０５−１〜１５０５−ｎが読み出し完了した一時記憶部１５０２の多重化情報、１ＧＯＰ全映像多重化データを一次記憶部１５０２から削除する。
配信変更部１５０５−３は、送信完了した多重化情報、１ＧＯＰ映像多重化データを自身の記憶部から削除する。
データ一時記憶部１５０２と配信変更部１５０５−３は、１ＧＯＰの終わりは次の多重化情報で判断する。
【０１５２】
ステップＳＴ１８０６で、送信部１５０４は、配信変更部１５０５−３から多重化情報、その次に１ＧＯＰ全映像多重化データの順番で受け取る。送信部１５０４は、受け取った多重化情報、その次に１ＧＯＰ全映像多重化データをオーバーレートで要求元の再生端末１６００−ｎへネットワーク１７０３を介して配信する。以後、配信変更部１５０５−３は、多重化情報、その後に１ＧＯＰ全映像多重化データの順番で、ネットワーク１７０３を介してオーバーレートで再生端末１６００−ｎへ送信する。
【０１５３】
ステップＳＴ１８０７で、再生端末１６００−ｎは、多重化情報と、その後に全映像多重化データの順番で順次受け取り、再生開始カメラとして事前に指定してあるカメラ１、ナビの映像のストリーム再生を開始する。
【０１５４】
この構成により、本願発明に係る映像配信システムは、インデックスファイルを用いずとも、再生端末が要求するカメラからの出力映像を配信することができる。これにより、インデックスファイルを作成する時間が削減され、処理速度が速くなることで、リアルタイムに近い再生を実現することができる。言い換えると、符号化中の映像と再生映像にずれが少ない再生を実現することができる。また、オーバーレート配信により、配信要求から再生開始までの時間を短くすることができる。
例えば、複数の符号化装置によって符号化される映像を符号化装置に応じて切り換えて、リアルタイムに近い再生をする際、符号化中の映像と再生端末における再生映像との時間軸のずれを低減させることができる。
また、多重化情報と１ＧＰＯにまとめられた多重化データを配信サーバ５００、１５００に配信するようにした。これにより、配信サーバ５００、１５００は、多重化情報と、当該多重化情報に対応付けられた（直後に並べられた）多重化データから、再生端末が要求する映像を取り出すことができる。
【０１５５】
また、本発明は、上記実施形態に限定されることなく、以下のような態様であってもよい。
上述において、映像データや音声データを出力するカメラやマイクを特定する情報として、ＩＰアドレスを用いる例を説明したが、例えば、これら複数のカメラ１００に対して、それぞれ割り当てられた固有の識別情報（以下、カメラＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）という）を用いるものであってもよい。このカメラＩＤは、各カメラ１００が内蔵する記憶部に記憶されている。本実施形態においてカメラ１００−１〜１００−ｎには、カメラＩＤ１〜ｎが割り当てられている。
【０１５６】
この場合、複数のカメラ１００は、それぞれに割り当てられているカメラＩＤを映像データ等に対応付けて出力する。本実施形態において、カメラ１００−１には、カメラＩＤ１が割り当てられており、映像データＤ１にカメラＩＤ１を対応付けて出力する。カメラ１００−２には、カメラＩＤ２が割り当てられており、映像データＤ２にカメラＩＤ２を対応付けて出力する。ナビカメラ１００−３には、カメラＩＤ３が割り当てられており、映像データＤ３にカメラＩＤ３を対応付けて出力する。マイク内蔵型カメラ１００−４には、カメラＩＤ４が割り当てられており、映像データＤ４および音声データＤ５にカメラＩＤ４を対応付けて出力する。
【０１５７】
なお、上述の符号化装置、多重化装置、配信サーバ、再生端末は、内部にコンピュータシステムを有している。そして、これら装置の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１５８】
また、図１５〜２０に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、図１に示す符号化装置３００、多重化装置４００、配信サーバ５００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１５９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１６０】
１００・・・カメラ、３００・・・符号化装置、４００・・・多重化装置４００、５００・・・配信サーバ、６００・・・再生端末
【図１】
0005492736.tif 000002
【図２】
0005492736.tif 000003
【図３】
0005492736.tif 000004
【図４】
0005492736.tif 000005
【図５】
0005492736.tif 000006
【図６】
0005492736.tif 000007
【図７】
0005492736.tif 000008
【図８】
0005492736.tif 000009
【図９】
0005492736.tif 000010
【図１０】
0005492736.tif 000011
【図１１】
0005492736.tif 000012
【図１２】
0005492736.tif 000013
【図１３】
0005492736.tif 000014
【図１４】
0005492736.tif 000015
【図１５】
0005492736.tif 000016
【図１６】
0005492736.tif 000017
【図１７】
0005492736.tif 000018
【図１８】
0005492736.tif 000019
【図１９】
0005492736.tif 000020
【図２０】
0005492736.tif 000021