(57)【要約】【課題】符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送する。【解決手段】映像再生クライアント３０は、複数のストリームのうち所定数のストリームについて、符号化レートの総和が伝送帯域以内となり、かつ、全てのストリームで最低の評価値となるストリームから順に評価値が大きくなるように、評価値を用いて符号化データの組合わせを特定し、ストリームを映像伝送サーバ２０に要求する。映像伝送サーバ２０は、映像再生クライアント３０から要求されたストリームを前記伝送帯域にて映像再生クライアント３０に送信する。【選択図】図１
2011176497.tif 000002
【特許請求の範囲】
【請求項１】
複数のストリームの各々を、複数の符号化レートを指定するパラメータで符号化し多重化して符号化データを生成する符号化手段と、
前記符号化手段により生成された複数の符号化データの各々に対する評価値を算出する評価値算出手段と、
前記複数のストリームのうち所定数のストリームについて、符号化レートの総和が所定の伝送帯域以内となり、かつ、全ての前記ストリームで最低の前記評価値となるストリームから順に前記評価値が大きくなるように、前記評価値を用いて符号化データの組合わせを特定する参照情報を作成する参照情報作成手段と、
前記参照情報作成手段により作成された参照情報にて特定された符号化データを前記伝送帯域で伝送する伝送手段と
を備えることを特徴とする映像伝送システム。
【請求項２】
請求項１記載の映像伝送システムは、サーバ装置とクライアント装置とを有するものであって、
前記サーバ装置は、
複数のストリームの各々を、複数の符号化レートを指定するパラメータで符号化し多重化して符号化データを生成する符号化部と、
前記符号化部により生成された符号化データを蓄積するデータ蓄積部と、
前記符号化部により生成された複数の符号化データの各々に対する評価値を算出する評価値計算部と、
前記評価値計算部により算出された評価値を前記クライアント装置に送信する評価値送信部と、
符号化データの組合わせを指定するストリーム要求情報を前記クライアント装置から受信すると、該符号化データをデータ蓄積部から読み出すデータ管理部と、
前記データ管理部により読み出された符号化データを所定の伝送帯域でクライアント装置に伝送するデータ送信部と、
を有し、
前記クライアント装置は、
前記サーバ装置から前記評価値を受信する評価値受信部と、
前記複数のストリームのうち所定数のストリームについて、符号化レートの総和が前記伝送帯域以内となり、かつ、全ての前記ストリームで最低の前記評価値となるストリームから順に前記評価値が大きくなるように、前記評価値受信部により受信された評価値を用いて符号化データの組合わせを特定する参照情報を作成する参照情報作成部と、
前記参照情報作成部により作成された参照情報に基づいて、ストリーム要求情報を前記サーバ装置へ送信するコマンド送信部と、
前記サーバ装置から前記符号化データを受信するデータ受信部と、
前記データ受信部により受信された符号化データを復号化した映像を表示する映像表示部と、
を有する、
ことを特徴とする映像伝送システム。
【請求項３】
前記参照情報作成部は、前記評価値の小さいストリームから順に前記評価値が大きくなるように前記符号化レートを指定するパラメータを変更することを特徴とする請求項２に記載の映像伝送システム。
【請求項４】
前記参照情報作成部は、前記データ管理部が符号化データを読み出す時間と前記映像表示部が該符号化データの映像を表示する時間の差を表す平均評価値算出開始オフセットを用いて平均評価値を算出し、該平均評価値が小さいストリームから順に符号化レートを高くすることを特徴とする請求項３に記載の映像伝送システム。
【請求項５】
前記サーバ装置は、
入力された映像データを分割することで複数のストリームを生成する映像分割部を更に備え、
前記符号化部は、
前記映像分割部により分割された複数のストリームの各々を、複数の符号化レートを指定するパラメータで符号化し多重化する
ことを特徴とする請求項２から４いずれか１項に記載の映像伝送システム。
【請求項６】
前記参照情報作成部は、各ストリームの空間的な重要度を表す重み係数を前記評価値に乗じることを特徴とする請求項５に記載の映像伝送システム。
【請求項７】
前記重み係数は、時間的に変動することを特徴とする請求項６に記載の映像伝送システム。
【請求項８】
前記クライアントは、
前記所定数のストリームの組合わせを指定する指定部を更に備え、
前記参照情報作成部は、
前記指定部によりストリームの組合わせが指示されると、該ストリームに対応する符号化データの組合わせを特定する参照情報を作成する
ことを特徴とする請求項２から７までのいずれか１項に記載の映像伝送システム。
【請求項９】
前記コマンド送信部は、前記指定部により前記所定数のストリームの組合わせが指示されると、前記ストリーム要求情報を前記サーバ装置へ送信することを特徴とする請求項８に記載の映像伝送システム。
【請求項１０】
サーバ装置の符号化部が、複数のストリームの各々を、複数の符号化レートを指定するパラメータで符号化し多重化して符号化データを生成し、該符号化データをデータ蓄積部に書き込むステップと、
前記サーバ装置の評価値計算部が、前記符号化部により生成された複数の符号化データの各々に対する評価値を算出するステップと、
前記サーバ装置の評価値送信部が、前記評価値計算部により算出された評価値を送信するステップと、
クライアントの評価値受信部が、前記サーバ装置から前記評価値を受信するステップと、
前記クライアントの参照情報作成部が、前記複数のストリームのうち所定数のストリームについて、符号化レートの総和が所定の伝送帯域以内となり、かつ、全ての前記ストリームで最低の前記評価値となるストリームから順に前記評価値が大きくなるように、前記評価値受信部により受信された評価値を用いて符号化データの組合わせを特定する参照情報を作成するステップと、
前記クライアントのコマンド送信部が、前記参照情報作成部により作成された参照情報に基づいて、符号化データの組合わせを指定するストリーム要求情報を前記サーバ装置へ送信するステップと、
前記サーバ装置のデータ管理部が、ストリーム要求情報を受信すると、該ストリーム要求情報にて指定される符号化データをデータ蓄積部から読み出すステップと、
前記サーバ装置のデータ送信部が、前記データ管理部により読み出された符号化データを前記伝送帯域で伝送するステップと、
前記クライアントのデータ受信部が、前記サーバ装置から前記符号化データを受信するステップと、
前記クライアントの映像表示部が、前記データ受信部により受信された符号化データを復号化した映像を表示するステップと、
を有することを特徴とする映像伝送方法。
【請求項１１】
複数のストリームの各々を、複数の符号化レートを指定するパラメータで符号化し多重化して符号化データを生成し、該符号化データをデータ蓄積部に書き込むステップと、
前記生成した複数の符号化データの各々に対する評価値を算出するステップと、
前記算出した評価値を送信するステップと、
符号化データの組合わせを指定するストリーム要求情報を受信すると、該符号化データをデータ蓄積部から読み出すステップと、
前記読み出した符号化データを所定の伝送帯域で伝送するステップと、
をコンピュータに実行させるためのプログラム。
【請求項１２】
サーバ装置から評価値を受信するステップと、
複数のストリームのうち所定数のストリームについて、符号化レートの総和が所定の伝送帯域以内となり、かつ、全ての前記ストリームで最低の前記評価値となるストリームから順に前記評価値が大きくなるように、前記受信した評価値を用いて符号化データの組合わせを特定する参照情報を作成するステップと、
前記作成した参照情報に基づいて、符号化データの組合わせを指定するストリーム要求情報を前記サーバ装置へ送信するステップと、
前記サーバ装置から前記符号化データを受信するステップと、
前記受信した符号化データを復号化した映像を表示するステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同期した複数のストリーム構成をもつ映像データを一定の伝送帯域以内で伝送する映像伝送システム、映像伝送方法及びプログラムに関する。
【背景技術】
【０００２】
複数のカメラ映像をまとめて圧縮する符号化方式として、国際標準符号化方式Ｈ．２６４  Ａｎｎｅｘ  Ｈである多視点映像符号化（ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ））が標準化されている（例えば、非特許文献１参照）。ＭＶＣでは、複数の映像符号化データを多重化した形で圧縮符号化する。映像符号化データとは、映像データを符号化したデータである。このとき、同じタイムスタンプのフレームの映像符号化データを連続して多重化する。すなわち、映像符号化データは、複数の映像データが多重化されたストリームになる。同じタイムスタンプのフレームが連続して多重化されているため、復号器はＭＶＣの映像符号化データを復号することで、同じタイムスタンプの複数のカメラ映像を連続して復号して出力することができる。
【０００３】
図２０は、従来技術による映像伝送システムの構成を示すブロック図である。従来技術の映像伝送システムは、多重化装置１と、映像伝送サーバ２と、映像再生クライアント３と含んで構成される。多重化装置１は、複数のストリーム構成を持つ映像データを符号化し多重化する装置である。映像伝送サーバ２は、多重化装置１にて符号化された映像データを映像再生クライアント３へ送信する装置である。映像再生クライアント３は、映像伝送サーバ２から受信した映像データを復号化して再生する装置である。
【０００４】
多重化装置１は、符号化部１０１とデータ蓄積部１０２とを含んで構成される。符号化部１０１は、Ｍ本のストリーム構成を持つ映像データを入力とし、このＭ本のストリームを同一の固定符号化レート（例えば、ビットレート）で符号化し多重化したデータを生成する。Ｍは1以上の整数である。そして、符号化部１０１は、生成したデータをデータ蓄積部１０２に書き込む。データ蓄積部１０２は、符号化部１０１が生成したデータを蓄積する。
【０００５】
映像伝送サーバ２は、データ送信部１０３を含んで構成される。データ送信部１０３は、データ蓄積部１０２からＮ（≦Ｍ）本のストリームを読み出し、読み出したストリームを映像再生クライアント３のデータ受信部１０４へ送信する。Ｎは、1以上の整数である。ここで、Ｎ本のストリームを送出するためには、Ｎ×固定符号化レート分の伝送レートが必要となる。
【０００６】
映像再生クライアント３は、データ受信部１０４と、復号化部１０５と、映像表示部１０６とを含んで構成される。データ受信部１０４は、映像伝送サーバ２のデータ送信部１０３からＮ本のストリームを受信する。復号化部１０５は、データ受信部１０４が受信したＮ本のストリームを復号する。映像表示部１０６は、復号化部１０５が復号したストリームの映像を表示する。
【０００７】
図２１は、複数のストリームを５００ｋｂｐｓで符号化した際の復号映像におけるＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）変動の具体例を示す概略図である。
この図において、横軸は時間（単位はフレーム）であり、縦軸はＳＮＲである。図示するように、各映像ストリーム間の違いより、空間的にＳＮＲが異なる。例えば、Ｓｔｒ＿３５で表すストリームとＳｔｒ＿２１で表すストリームとでは、約１０ｄＢ映像品質に差がある。これは、各ストリームに入力される映像は、それぞれ画像の特徴が異なるためである。ここで、ＳＮＲが他の部分と比較し小さい部分は、空間的に被写体が動く部分である。また、各ストリームに入力される映像はそれぞれ重要度が異なる。例えば、ユーザにとって被写体が動く部分が重要である場合には、ＳＮＲが小さい部分が空間的に重要度の高い部分となる。また、この図において、Ｓｔｒ＿７やＳｔｒ＿１４で表すストリームのＳＮＲの時系列変動をみると、５ｄＢ以上の映像品質の変動がある。これにより、１つのストリームでも時間的な映像品質に変動があることがわかる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani, "Panorama video coding for user-driven interactive video application," IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来技術では、伝送レート＜Ｎ×固定符号化レートの場合には、Ｎ本のストリームから構成される映像を送出できないという問題がある。また、伝送レート≧Ｎ×固定符号化レートとなるように符号化レートを下げ過ぎると、画像品質が悪くなる場合があるという問題がある。
【００１０】
本発明は、このような事情を考慮してなされたものであり、その目的は、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる映像伝送システム、映像伝送方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、複数のストリームの各々を、複数の符号化レートを指定するパラメータで符号化し多重化して符号化データを生成する符号化手段と、前記符号化手段により生成された複数の符号化データの各々に対する評価値を算出する評価値算出手段と、前記複数のストリームのうち所定数のストリームについて、符号化レートの総和が所定の伝送帯域以内となり、かつ、全ての前記ストリームで最低の前記評価値となるストリームから順に前記評価値が大きくなるように、前記評価値を用いて符号化データの組合わせを特定する参照情報を作成する参照情報作成手段と、前記参照情報作成手段により作成された参照情報にて特定された符号化データを前記伝送帯域で伝送する伝送手段とを備えることを特徴とする映像伝送システムである。
【００１２】
（２）また、本発明の一態様は、上述の映像伝送システムが、サーバ装置とクライアント装置とを有するものであって、前記サーバ装置は、複数のストリームの各々を、複数の符号化レートを指定するパラメータで符号化し多重化して符号化データを生成する符号化部と、前記符号化部により生成された符号化データを蓄積するデータ蓄積部と、前記符号化部により生成された複数の符号化データの各々に対する評価値を算出する評価値計算部と、前記評価値計算部により算出された評価値を前記クライアント装置に送信する評価値送信部と、符号化データの組合わせを指定するストリーム要求情報を前記クライアント装置から受信すると、該符号化データをデータ蓄積部から読み出すデータ管理部と、前記データ管理部により読み出された符号化データを所定の伝送帯域でクライアント装置に伝送するデータ送信部と、を有し、前記クライアント装置は、前記サーバ装置から前記評価値を受信する評価値受信部と、前記複数のストリームのうち所定数のストリームについて、符号化レートの総和が前記伝送帯域以内となり、かつ、全ての前記ストリームで最低の前記評価値となるストリームから順に前記評価値が大きくなるように、前記評価値受信部により受信された評価値を用いて符号化データの組合わせを特定する参照情報を作成する参照情報作成部と、前記参照情報作成部により作成された参照情報に基づいて、ストリーム要求情報を前記サーバ装置へ送信するコマンド送信部と、前記サーバ装置から前記符号化データを受信するデータ受信部と、前記データ受信部により受信された符号化データを復号化した映像を表示する映像表示部と、を有する、ことを特徴とする。
【００１３】
（３）また、本発明の一態様は、上記の映像伝送システムにおいて、前記参照情報作成部は、前記評価値の小さいストリームから順に前記評価値が大きくなるように前記符号化レートを指定するパラメータを変更することを特徴とする。
【００１４】
（４）また、本発明の一態様は、上記の映像伝送システムにおいて、前記参照情報作成部は、前記データ管理部が符号化データを読み出す時間と前記映像表示部が該符号化データの映像を表示する時間の差を表す平均評価値算出開始オフセットを用いて平均評価値を算出し、該平均評価値が小さいストリームから順に符号化レートを高くすることを特徴とする。
【００１５】
（５）また、本発明の一態様は、上記の映像伝送システムにおいて、前記サーバ装置は、
入力された映像データを分割することで複数のストリームを生成する映像分割部を更に備え、前記符号化部は、前記映像分割部により分割された複数のストリームの各々を、複数の符号化レートを指定するパラメータで符号化し多重化することを特徴とする。
【００１６】
（６）また、本発明の一態様は、上記の映像伝送システムにおいて、前記参照情報作成部は、各ストリームの空間的な重要度を表す重み係数を前記評価値に乗じることを特徴とする。
【００１７】
（７）また、本発明の一態様は、上記の映像伝送システムにおいて、前記重み係数は、時間的に変動することを特徴とする。
【００１８】
（８）また、本発明の一態様は、上記の映像伝送システムにおいて、前記クライアントは、前記所定数のストリームの組合わせを指定する指定部を更に備え、前記参照情報作成部は、前記指定部によりストリームの組合わせが指示されると、該ストリームに対応する符号化データの組合わせを特定する参照情報を作成することを特徴とする。
【００１９】
（９）また、本発明の一態様は、上記の映像伝送システムにおいて、前記コマンド送信部は、前記指定部により前記所定数のストリームの組合わせが指示されると、前記ストリーム要求情報を前記サーバ装置へ送信することを特徴とする。
【００２０】
（１０）また、本発明の一態様は、サーバ装置の符号化部が、複数のストリームの各々を、複数の符号化レートを指定するパラメータで符号化し多重化して符号化データを生成し、該符号化データをデータ蓄積部に書き込むステップと、前記サーバ装置の評価値計算部が、前記符号化部により生成された複数の符号化データの各々に対する評価値を算出するステップと、前記サーバ装置の評価値送信部が、前記評価値計算部により算出された評価値を送信するステップと、クライアントの評価値受信部が、前記サーバ装置から前記評価値を受信するステップと、前記クライアントの参照情報作成部が、前記複数のストリームのうち所定数のストリームについて、符号化レートの総和が所定の伝送帯域以内となり、かつ、全ての前記ストリームで最低の前記評価値となるストリームから順に前記評価値が大きくなるように、前記評価値受信部により受信された評価値を用いて符号化データの組合わせを特定する参照情報を作成するステップと、前記クライアントのコマンド送信部が、前記参照情報作成部により作成された参照情報に基づいて、符号化データの組合わせを指定するストリーム要求情報を前記サーバ装置へ送信するステップと、前記サーバ装置のデータ管理部が、ストリーム要求情報を受信すると、該ストリーム要求情報にて指定される符号化データをデータ蓄積部から読み出すステップと、前記サーバ装置のデータ送信部が、前記データ管理部により読み出された符号化データを前記伝送帯域で伝送するステップと、前記クライアントのデータ受信部が、前記サーバ装置から前記符号化データを受信するステップと、前記クライアントの映像表示部が、前記データ受信部により受信された符号化データを復号化した映像を表示するステップと、を有することを特徴とする映像伝送方法である。
【００２１】
（１１）また、本発明の一態様は、複数のストリームの各々を、複数の符号化レートを指定するパラメータで符号化し多重化して符号化データを生成し、該符号化データをデータ蓄積部に書き込むステップと、前記生成した複数の符号化データの各々に対する評価値を算出するステップと、前記算出した評価値を送信するステップと、符号化データの組合わせを指定するストリーム要求情報を受信すると、該符号化データをデータ蓄積部から読み出すステップと、前記読み出した符号化データを所定の伝送帯域で伝送するステップと、をコンピュータに実行させるためのプログラムである。
【００２２】
（１２）また、本発明の一態様は、サーバ装置から評価値を受信するステップと、複数のストリームのうち所定数のストリームについて、符号化レートの総和が所定の伝送帯域以内となり、かつ、全ての前記ストリームで最低の前記評価値となるストリームから順に前記評価値が大きくなるように、前記受信した評価値を用いて符号化データの組合わせを特定する参照情報を作成するステップと、前記作成した参照情報に基づいて、符号化データの組合わせを指定するストリーム要求情報を前記サーバ装置へ送信するステップと、前記サーバ装置から前記符号化データを受信するステップと、前記受信した符号化データを復号化した映像を表示するステップと、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００２３】
本発明によれば、各ストリームの符号化レートの総和が伝送帯域内となり、かつ、各ストリームの符号化レートがより大きくなるよう、評価値を用いて伝送する符号化データを特定する。これにより、符号化レートを下げすぎることなく、伝送帯域に応じた最適な高画質映像を伝送することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１実施形態による映像伝送システムの構成を示すブロック図である。
【図２】本実施形態によるデータ再生時刻とデータ読出し時刻の関係を説明するための概略図である。
【図３】本実施形態による多重化装置と映像再生クライアントにおける平均評価値算出区間を説明するための概略図である。
【図４】本実施形態による評価値算出処理の手順を示すフローチャートである。
【図５】本実施形態によるストリームＩＤと映像符号化データＩＤの対応情報のデータ構造及びデータ例を示す概略図である。
【図６】本実施形態による参照情報作成処理の手順を示すフローチャートである。
【図７】本実施形態による平均評価値算出処理の手順を示すフローチャートである。
【図８】本実施形態による平均評価値をキーとした映像符号化データＩＤの昇順ソートの具体例を示す概念図である。
【図９】本実施形態による参照情報の具体例を示す概念図である。
【図１０】本実施形態による映像再生クライアントにおけるコマンド送信処理を説明するためのフローチャートである。
【図１１】本実施形態による映像伝送サーバにおけるコマンド受信およびデータ送信処理を説明するためのフローチャートである。
【図１２】本実施形態による映像再生クライアントにおけるデータ受信および映像表示処理を説明するためのフローチャートである。
【図１３】第２実施形態による映像伝送システムの構成を示すブロック図である。
【図１４】本実施形態によるタイル分割処理を説明するための概略図である。
【図１５】本実施形態による評価値算出処理の手順を示すフローチャートである。
【図１６】本実施形態による映像符号化データＩＤの具体例を示す概略図である。
【図１７】本実施形態によるタイルＩＤと映像符号化データＩＤの対応情報のデータ構造及びデータ例を示す概略図である。
【図１８】本実施形態による重み係数マトリクスを示す概略図である。
【図１９】本実施形態による映像表示部における映像表示例を表す概略図である。
【図２０】従来技術による映像伝送システムの構成を示すブロック図である。
【図２１】複数のストリームを５００ｋｂｐｓで符号化した際の復号映像におけるＳＮＲ変動の具体例を示す概略図である。
【発明を実施するための形態】
【００２５】
以下、本発明の一実施形態を、図面を参照して詳しく説明する。
Ａ．第１実施形態
図１は、本発明の第１実施形態による映像伝送システムの構成を示すブロック図である。
映像伝送システムは、多重化装置１０と、映像伝送サーバ２０と、映像再生クライアント３０とを含んで構成される。多重化装置１０は、映像データを符号化し多重化して蓄積する装置である。映像伝送サーバ２０は、多重化装置１０に蓄積された映像データを映像再生クライアント３０に送信する装置である。ここで、多重化装置１０と映像伝送サーバ２０とがサーバ装置である。映像再生クライアント３０（クライアント）は、映像伝送サーバ２０から受信した映像データを復号し再生する装置である。
【００２６】
多重化装置１０は、符号化部２０１と、データ蓄積部２０２と、評価値計算部２０３と、評価値蓄積部２０４とを含んで構成される。符号化部２０１（符号化手段）は、同期した複数（Ｍ本）のストリーム構成を持つ映像データを入力とし、入力されたストリームの各々を複数の符号化レートを指定するパラメータ（例えば、ビットレート）で符号化し多重化して符号化データを生成する。そして、符号化部２０１は、生成した符号化データをデータ蓄積部２０２へ書き込む。なお、本実施形態では、符号化レートを指定するパラメータをビットレートとしたが、これに限られることはなく、例えばＱＰ値（量子化パラメータ）などでもよい。データ蓄積部２０２は、符号化部２０１が生成した符号化データを蓄積する。評価値計算部２０３（評価値算出手段）は、データ蓄積部２０２に蓄積されている符号化データの各々に対する評価値をフレーム毎に算出する。評価値はＳＮＲである。そして、評価値計算部２０３は、所定時間（たとえば、５フレームに相当する時間）における評価値の平均値である平均評価値を算出し、評価値蓄積部２０４へ書き込む。評価値蓄積部２０４は、評価値計算部２０３が算出した平均評価値を蓄積する。
なお、評価値蓄積部２０４は平均評価値を蓄積しているが、評価値を蓄積してもよい。また、データ蓄積部２０２は、評価値、符号化データの順に多重化したデータを蓄積してもよい。
【００２７】
映像伝送サーバ２０は、データ管理部２０５と、コマンド受信部２０６と、データ送信部２０７と、評価値送信部２０８とを含んで構成される。コマンド受信部２０６は、映像再生クライアント３０のコマンド送信部２０９からストリーム要求情報などのコマンドを受信する。ストリーム要求情報は、映像再生クライアント３０が表示する符号化データの組合わせを指定するデータである。データ管理部２０５は、コマンド受信部２０６がストリーム要求情報を受信すると、該ストリーム要求情報に従って、データ蓄積部２０２へＮ（≦Ｍ）本のストリームを要求することで、データ蓄積部２０２に蓄積されたＭ本のストリームからＮ本のストリームを読み出す。そして、データ管理部２０５は、読み出したＮ本のストリームをデータ送信部２０７へ転送する。データ送信部２０７（伝送手段）は、データ管理部２０５から入力されたＮ本のストリームを映像再生クライアント３０のデータ受信部２１２へ所定の伝送帯域で伝送する。なお、評価値送信部２０８は、データ送信部２０７がストリームを送信する前に、事前に評価値蓄積部２０４から評価値情報を読み出し、読み出した評価情報を映像再生クライアント３０の評価値受信部２１５へ送信する。評価値情報は、評価値蓄積部２０４に蓄積された平均評価値のデータである。
【００２８】
映像再生クライアント３０は、コマンド送信部２０９と、参照情報蓄積部２１０と、コマンド変換部２１１と、データ受信部２１２と、復号化部２１３と、映像表示部２１４と、評価値受信部２１５と、評価値蓄積部２１６と、ストリーム組合わせ指定部２１７と、参照情報作成部２１８と、パラメータ指定部２１９とを含んで構成される。データ受信部２１２は、映像伝送サーバ２０のデータ送信部２０７からＮ本のストリームを受信する。復号化部２１３は、データ受信部２１２が受信したストリームを復号する。映像表示部２１４は、復号化部２１３が復号化した映像を表示する。評価値受信部２１５は、映像伝送サーバ２０の評価値送信部２０８から評価値情報を受信し、受信した評価値情報を評価値蓄積部２１６に書き込む。評価値蓄積部２１６は、評価値受信部２１５が受信した評価値情報を蓄積する。ストリーム組合わせ指定部２１７は、ストリーム組合わせ指定の変更入力を受付ける。
【００２９】
参照情報作成部２１８（参照情報作成手段）は、ストリーム組合わせ指定部２１７にてストリーム組合わせ指定に変更があった場合に、参照情報を作成する。参照情報は、符号化データの組合わせを特定するデータである。具体的には、参照情報作成部２１８は、評価値蓄積部２１６から評価値情報を読み出し、該評価情報に基づいて平均評価値を算出する。そして、参照情報作成部２１８は、Ｍ本のストリームのうちＮ本のストリームについて、符号化レートの総和が所定の伝送帯域以内となり、かつ、各ストリームの符号化レートがより大きくなるように、具体的には、全てのストリームで最低の評価値となるストリームから順に評価値が大きくなるように、平均評価値を用いて符号化データの組合わせを特定する。パラメータ指定部２１９は、参照情報を作成する際に用いる平均評価値算出開始オフセットと平均評価値算出区間の指定の入力を受け付ける。平均評価値算出開始オフセットは、データ管理部２０５が符号化データを読み出す時間と映像表示部２１４が該符号化データの映像を表示する時間の差を表すパラメータである。平均評価値算出区間とは、平均評価値を算出する区間である。参照情報蓄積部２１０は、参照情報作成部２１８が作成した参照情報を蓄積する。コマンド変換部２１１は、ストリーム組合わせ指定部２１７にてストリーム組合わせ指定に変更があった場合に、参照情報蓄積部２１０に蓄積された参照情報を参照してストリーム要求情報を作成する。コマンド送信部２０９は、コマンド変換部２１１が作成したストリーム要求情報を映像伝送サーバ２０のコマンド受信部２０６にコマンド送信する。つまり、コマンド送信部２０９は、ストリーム組合わせ指定部２１７によりストリームの組合わせが指定されると、ストリーム要求情報を映像伝送サーバ２０のコマンド受信部２０６に送信する。
【００３０】
なお、多重化装置１０におけるデータ蓄積部２０２と評価値蓄積部２０４とを機能統合してもよい。また、映像伝送サーバ２０におけるデータ送信部２０７と評価値送信部２０８とを機能統合してもよい。或いは、映像再生クライアント３０におけるデータ受信部２１２と評価値受信部２１５とを機能統合するような構成も可能である。
【００３１】
図２は、本実施形態によるデータ再生時刻とデータ読出し時刻の関係を説明するための概略図である。同図を参照して以下のように用語を定義する。
データ読出し時刻ｔｓは、データ管理部２０５がデータ蓄積部２０２からＮ本のストリームを読み出す時刻である。データ再生時刻ｔｃは、映像表示部２１４が映像を表示する時刻である。なお、各時刻は、映像データの先頭を０とした場合のフレーム位置（第Ｘフレーム目（Ｘは正の整数））で表す。ここでは、説明のため時間の単位をフレームとする。Δａは、復号化部２１３におけるバッファ時間（単位はフレーム）である。Δｂは、データ受信部２１２におけるバッファ時間（単位はフレーム）である。Δｃは、データ送信部２０７におけるバッファ時間（単位はフレーム）である。Δｄは、コマンド受信部２０６におけるバッファ時間（単位はフレーム）である。また、総和時間Ｔｂは、復号化部２１３とデータ受信部２１２とデータ送信部２０７とコマンド受信部２０６とにおけるバッファの総和時間であり、Ｔｂ＝Δａ＋Δｂ＋Δｃ＋Δｄである。本実施形態では、総和時間Ｔｂが平均評価値算出開始オフセットである。また、ｔｓ＝ｔｃ＋Ｔｂである。ここで、総和時間Ｔｂを正確に測定することが困難な場合は、各機能部のバッファ設定値から推定されるバッファの総和時間をＴｂとして予め映像再生クライアント３０に手動設定する。
【００３２】
また、Ｍ本のストリーム（以下、全体ストリームとする）から構成される映像を「全体映像」、Ｎ（≦Ｍ）本のストリーム（以下、部分ストリームとする）から構成される映像を「部分映像」、１本のストリームから構成される映像を「単位映像」と定義する。つまり、全体映像はＭ個の単位映像、部分映像はＮ個の単位映像から構成される。
【００３３】
図３は、本実施形態による多重化装置１０と映像再生クライアント３０における平均評価値算出区間を説明するための概略図である。同図において、横軸は時間であり、映像フレーム３０１は映像再生クライアント３０にて再生する部分映像の映像フレームである。同図を参照して以下のように用語を定義する。
データ終端時刻Ｔｅは、部分映像の終端時刻である。ジャンプ再生開始時刻ｔｒｓは、部分映像を再生開始する時刻である。映像再生クライアント３０は、ユーザからジャンプ再生開始時刻ｔｒｓが指定されると、部分映像をジャンプ再生開始時刻ｔｒｓから再生する。平均評価値算出区間Ｔａｓは多重化装置１０における平均評価値を算出する区間である。平均評価値算出区間Ｔａｃは、映像再生クライアント３０における平均評価値を算出する区間である。平均評価値Ａｉ（ｉ＝１，２，３，…）は、Ｔａｓにおける平均評価値である。また、平均評価値Ａａｊ（ｊ＝１，２，３，…）は、Ｔａｃにおける平均評価値である。
【００３４】
次に、図４を参照して多重化装置１０による評価値算出処理について説明する。図４は、本実施形態による評価値算出処理の手順を示すフローチャートである。
まず、符号化部２０１は、同期した複数のストリーム（以下、入力ストリームとする）が入力されると、各入力ストリームにストリームＩＤを付与する。ストリームＩＤは、各ストリームを識別するための識別子である。次に、符号化部２０１は、各入力ストリームを複数段階のビットレートで符号化する（ステップＳ００１）。そして、符号化部２０１は、符号化後のストリームに対して映像符号化データＩＤを付与する（ステップＳ００２）。映像符号化データＩＤは、符号化後のストリームを識別するための識別子である。続いて、評価値計算部２０３が、ストリームＩＤと映像符号化データＩＤの対応情報の作成を行う（ステップＳ００３）。そして、評価値計算部２０３は、各映像符号化データＩＤに対する評価値の算出をフレーム毎に行う（ステップＳ００４）。最後に、評価値計算部２０３は、平均評価値算出区間Ｔａｓにおける平均評価値Ａｉを映像符号化データＩＤ毎に算出する（ステップＳ００５）。
【００３５】
なお、各フレームの評価値ＳＮＲは、次の式（１）により算出する。
【００３６】
ＳＮＲ＝１０＊ｌｏｇ１０（ＭＡＸ２／ＭＳＥ）  …  （１）
【００３７】
単位はデシベル［ｄＢ］である。ＭＡＸは、映像データにおける原画像が取り得る最大画素値である。例えば、ビット深度が８ビットの場合、ＭＡＸの値は２５５である。また、ＭＳＥとは、平均二乗誤差（Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ）のことであり、原画像とローカルデコード画像との差分の二乗総和を、画像の画素数で割ることで求められる。また、符号化部２０１にてローカルデコード画像が得られない符号化モード（例えば、フルイントラモード）などの場合には、ローカルデコード画像作成（復号化）を符号化手順とは別に行う必要がある。
【００３８】
図５は、本実施形態によるストリームＩＤと映像符号化データＩＤの対応情報のデータ構造及びデータ例を示す概略図である。図示するように、ストリームＩＤと映像符号化データＩＤの対応情報テーブルは、行と列からなる２次元の表形式のデータであり、ストリームＩＤと、各符号化レート（５００ｋｂｐｓ，１Ｍｂｐｓ，１．５Ｍｂｐｓ）における映像符号化データＩＤの各項目の列を有している。このテーブルの各行はストリームＩＤ毎に存在する。
【００３９】
次に、図６を参照して映像再生クライアント３０による参照情報作成処理について説明する。図６は、本実施形態による参照情報作成処理の手順を示すフローチャートである。
まず、ストリーム組合わせ指定部２１７が、伝送レートとストリーム組合わせの入力を受け付ける（ステップＳ７０１）。伝送レートは、映像伝送サーバ２０から映像再生クライアント３０へストリームを送信する際の伝送帯域である。ストリーム組合わせは、ストリームＩＤの組合わせである。映像再生クライアント３０のユーザは、伝送レートとストリーム組合わせをストリーム組合わせ指定部２１７に設定する。次に、パラメータ指定部２１９が、各パラメータ（ベースビットレートと、改善ビットレートと、平均評価値算出開始オフセットと、平均評価値算出区間Ｔａｃ）の入力を受け付ける（ステップＳ７０２）。ベースビットレートは、ストリームを伝送する際に基本となる符号化レートである。改善ビットレートは、ベースビットレートより大きい符号化レートである。映像再生クライアント３０のユーザは、ベースビットレートと改善ビットレートと平均評価値算出開始オフセットＴｂと平均評価値算出区間Ｔａｃをパラメータ指定部２１９に設定する。なお、伝送レートと、ストリーム組合わせと、各パラメータは、映像再生クライアント３０に予め設定しておいてもよい。
【００４０】
次に、参照情報作成部２１８が、ストリーム組合わせに含まれるストリームＩＤに対応する平均評価値Ａｉを評価値蓄積部２１６から読み出し、平均評価値Ａｉを用いて平均評価値算出区間Ｔａｃにおける平均評価値Ａａｊを算出する（ステップＳ７０３）。平均評価値Ａａｊの算出方法については後述する。そして、参照情報作成部２１８は、ベースビットレートによる符号化データに付与された映像符号化データＩＤにストリームＩＤを変更する。次に、参照情報作成部２１８は、算出した平均評価値Ａａｊをキーとした映像符号化データＩＤの昇順ソートを行う（ステップＳ７０４）。
【００４１】
次に、参照情報作成部２１８は、平均評価値Ａａｊが最低値を示す映像符号化データＩＤを、１段階上の改善ビットレートで符号化された符号化データに付与された映像符号化データＩＤに変更する（ステップＳ７０５）。つまり、参照情報作成部２１８は、評価値の小さいストリームから順に符号化レートを大きくする。したがって、順に評価値が大きくなるように符号化レートを指定するパラメータを変更することができる。そして、参照情報作成部２１８は、映像符号化データＩＤに対応するビットレートの総和（以下、総ビットレートとする）が伝送レートより大きいか否かを判定する（ステップＳ７０６）。
【００４２】
総ビットレートが伝送レート以下の場合（ステップＳ７０６のＮＯ）には、ステップＳ７０４に戻る。一方、総ビットレートが伝送レートより大きい場合（ステップＳ７０６のＹＥＳ）には、参照情報作成部２１８は、直前に行った映像符号化データＩＤの変更を元に戻す（ステップＳ７０７）。最後に、参照情報作成部２１８は、参照情報の作成を行う（ステップＳ７０８）。参照情報の詳細については後述する。
【００４３】
次に、図７を参照して映像再生クライアント３０による平均評価値算出処理について説明する。図７は、本実施形態による平均評価値算出処理の手順を示すフローチャートである。
まず、参照情報作成部２１８は、「ｔｃ−ｔｒｓ＜Ｔｂ」または「ｔｃ≧Ｔｅ−Ｔｂ」であるか否かを判定する（ステップＳ２３１）。ステップＳ２３１でＹＥＳの場合には、参照情報作成部２１８は、区間［ｔｃ〜ｔｃ＋Ｔａｃ］（ｔｃからｔｃ＋Ｔａｃの間）における平均評価値Ａｉの平均値を平均評価値Ａａｊとする（ステップＳ２３２）。一方、ステップＳ２３１でＮＯの場合には、参照情報作成部２１８は、区間［ｔｃ＋Ｔｂ〜ｔｃ＋Ｔｂ＋Ｔａｃ］（ｔｃ＋Ｔｂからｔｃ＋Ｔｂ＋Ｔａｃの間）における平均評価値Ａｉの平均値を平均評価値Ａａｊとする（ステップＳ２３３）。
【００４４】
次に、平均評価値算出処理について具体的な例を用いて説明する。ここでは、映像データをジャンプ再生（ユーザの指定する任意の時刻から再生）する際に、バッファクリア（バッファにあるデータを消去）するケースについて説明する。
ここで、データ送信部２０７、データ受信部２１２、復号化部２１３、コマンド受信部２０６などに存在するバッファにより，映像再生クライアント３０によるデータ再生時刻ｔｃと映像伝送サーバ２０によるデータ読出し時刻ｔｓが異なる。このため、時間的な映像品質の変動を考慮する際に、このデータ再生時刻ｔｃとデータ読出し時刻ｔｓ差異を考慮する必要がある。
【００４５】
以下、多重化装置１０における平均評価値算出区間Ｔａｓが５フレームであり、データ終端時刻Ｔｅが第４０フレーム目であり、映像再生クライアント３０における平均評価値算出区間Ｔａｃが１５フレームであり、平均評価値算出開始オフセットＴｂが１５フレームである場合を例に平均評価値算出処理について説明する。また、以下、ストリーム組合わせ指定部２１７にてストリーム組合わせが指定された時刻とデータ再生時刻ｔｃは同時刻である。また、ジャンプ再生開始時刻ｔｒｓからｔｒｓ＋Ｔｂまでの区間をコンテンツデータ再生先頭部分と定義し、データ終端時刻Ｔｅ−ＴｂからＴｅまでの区間をコンテンツデータ再生終端部分と定義し、その他の区間をコンテンツデータ再生中間部分と定義する。
【００４６】
まず、ジャンプ再生開始時刻ｔｒｓが第１フレーム目であり、データ再生時刻ｔｃが第３フレーム目である場合について説明する。このとき、ｔｃ−ｔｒｓ＝３−１＝２である。よって、ｔｃ−ｔｒｓ＜Ｔｂ（＝１５）であるため、上述したＳ２３１の判定はＹＥＳである。つまり、データ再生時刻ｔｃは、コンテンツデータ再生先頭部分である。そして、平均値の算出区間は、[ｔｃ〜ｔｃ＋Ｔａｃ]＝区間[３〜１８]となる。ここで、参照情報作成部２１８は、区間[３〜１８]と重なりのあるＡ１，Ａ２，Ａ３，Ａ４を用いて平均評価値を算出する。従って、平均評価値は図３に示すＡａ１となり、次の式（２）により算出する。
【００４７】
Ａａ１＝（Ａ１＋Ａ２＋Ａ３＋Ａ４）／４  …（２）
【００４８】
次に、ジャンプ再生開始時刻ｔｒｓがマイナス第１５フレーム目（時間軸方向逆に１５フレーム目）であり、データ再生時刻ｔｃが第３フレーム目である場合について説明する。このとき、ｔｃ−ｔｒｓ＝３−(−１５)＝１８である。よって、ｔｃ−ｔｒｓ≧Ｔｂ(＝１５)であるため、上述したＳ２３１の判定はＮｏである。つまり、データ再生時刻ｔｃは、コンテンツデータ再生中間部分である。そして、平均値の算出区間は、区間[ｔｃ＋Ｔｂ〜Ｔｃ＋Ｔｂ＋Ｔａｃ]＝区間[１８〜３３]となる。ここで、参照情報作成部２１８は、区間[１８〜３３]と重なりのあるＡ４，Ａ５，Ａ６，Ａ７を用いて平均評価値を算出する。従って、平均評価値は図３に示すＡａ２となり、次の式（３）により算出する。
【００４９】
Ａａ２＝（Ａ４＋Ａ５＋Ａ６＋Ａ７）／４  …（３）
【００５０】
このように「ストリーム組合わせ」の指定の変化があった際に、平均評価値算出開始オフセットＴｂを用いて映像再生クライアント３０における平均評価値を計算することで、新規のストリーム要求時点における、サーバ装置側データ読出し時刻ｔｓ付近の映像品質を考慮したデータ要求が可能となる。
【００５１】
なお、Ａａ２は必ずしも平均値である必要はなく、参照情報作成処理における評価値の算出の際に、平均評価値算出開始オフセットと平均評価値算出区間を指定することが、時間的な画像品質変動を考慮した新規のストリーム要求には重要である。
【００５２】
最後に、データ再生時刻ｔｃが第３０フレーム目である場合について説明する。このとき、Ｔｅ−Ｔｂ＝４０−１５＝２５である。つまり、データ再生時刻ｔｃはコンテンツデータ再生終端部分である。よって、ｔｃ(＝３０)≧Ｔｅ−Ｔｂであるため、上述したＳ２３１はＹＥＳ判定となり、平均値の算出区間は、区間[ｔｃ〜ｔｃ＋Ｔａｃ]＝区間[３０〜４５]となる。ここで、参照情報作成部２１８は、区間[３０〜４５]と重なりのある区間のＡ７，Ａ８を用いて平均評価値を算出する。したがって、平均評価値は図３に示すＡａ３となり、次の式（４）により算出する。
【００５３】
Ａａ３＝（Ａ７＋Ａ８）／２  …（４）
【００５４】
次に、図８及び図９を参照して参照情報作成処理について具体例を用いて説明する。図８は、本実施形態による平均評価値をキーとした映像符号化データＩＤの昇順ソートの具体例を示す概念図である。以下、伝送レートが１１Ｍｂｐｓであり、ベースビットレートが５００ｋｂｐｓであり、改善ビットレートが１Ｍｂｐｓ及び１．５Ｍｂｐｓ（２段階の改善）であり、各機能部のバッファの総和時間Ｔｂを示す平均評価値算出開始オフセットが１５フレームであり、平均評価値算出区間Ｔａｃが１５フレームである場合について説明する。
【００５５】
図８（ａ）は、各ストリームの平均評価値Ａａｊを示す概略図である。参照情報作成部２１８は、上述したステップＳ７０３において、各ストリームＩＤに対し、５００ｋｂｐｓで符号化した場合の平均評価値ＳＮＲ＿Ｙ５００と、１Ｍｂｐｓで符号化した場合の平均評価値ＳＮＲ＿Ｙ１０００と、１．５Ｍｂｐｓで符号化した場合の平均評価値ＳＮＲ＿Ｙ１５００とを算出する。
【００５６】
図８（ｂ）は、映像符号化データＩＤを変更した結果を示す概略図である。参照情報作成部２１８は、上述したステップＳ７０４からＳ７０７までの処理を繰り返すことにより、映像符号化データＩＤを変更する。まず、参照情報作成部２１８は、ストリーム組合わせ指定部２１７にて指定されたストリームＩＤ＝（７，８，９，１３，１４，１５，１９，２０，２１，２５，２６，２７）を、ベースビットレートによる符号化データに付与された映像符号化データＩＤ＝（１０７，１０８，１０９，１１３，１１４，１１５，１１９，１２０，１２１，１２５，１２６，１２７）に変更する。そして、参照情報作成部２１８は、ベースビットレートにおける平均評価値ＳＮＲ＿Ｙ５００をキーとした映像符号化データＩＤの昇順ソートを行う（ステップＳ７０４）。次に、参照情報作成部２１８は、映像符号化データＩＤ＝（１０７，１０８，１０９，１１３，１１４，１１５，１１９，１２０，１２１，１２５，１２６，１２７）のうち、ＳＮＲ＿Ｙ５００が最低値を示す映像符号化データＩＤ＝１２１を、１段階上の１Ｍｂｐｓで符号化された符号化データに付与された映像符号化データＩＤ＝２２１に変更する（ステップＳ７０５）。変更後は、映像符号化データＩＤ＝（１０７，１０８，１０９，１１３，１１４，１１５，１１９，１２０，２２１，１２５，１２６，１２７）となる。
【００５７】
この結果、総ビットレート１１×０．５Ｍｂｐｓ＋１×１Ｍｂｐｓ＝６．５Ｍｂｐｓ＜伝送レート＝１１Ｍｂｐｓとなり（ステップＳ７０６のＮＯ）、Ｓ７０４へ戻る。なお、ソートと映像符号化データＩＤ変更を複数回行った後、映像符号化データＩＤ＝２２１をさらに変更する際には、１段階上の１．５Ｍｂｐｓで符号化されたデータに付与された映像符号化データＩＤ＝３２１に変更する。図８（ｂ）において、斜線での網掛け部分（映像符号化データＩＤ＝（２０７，２１５、２１３、２１４、２２７，２２０，２１９，２０９））は映像符号化データＩＤを１回変更した部分であり、点での網掛け部分（映像符号化ＩＤ＝３２１）は映像符号化ＩＤを２回変更した部分である。
【００５８】
そして、ステップＳ７０６にてＹＥＳとなった場合には、総ビットレートが伝送レートを超えていることを示しているので、参照情報作成部２１８は、直前の映像符号化データＩＤ変更を元に戻す（ステップＳ７０７）。今回のケースでは、参照情報作成部２１８は、１０回の映像符号化データＩＤ変更を実施し、図８（ｂ）に示すような結果を得ることができる。ここで、ＳＮＲ＿Ｙは、変更後の映像符号化データＩＤに対応する平均評価値Ａａｊを示している。
【００５９】
図９は、本実施形態による参照情報の具体例を示す概念図である。図９（ａ）は、映像符号化データＩＤ変更結果を示す概略図である。映像符号化データＩＤ変更結果は、参照情報作成部２１８が上述したステップＳ７０４からＳ７０７までの処理を繰り返すことにより、映像符号化データＩＤを変更した結果の映像符号化データＩＤとＳＮＲ＿Ｙである。図９（ｂ）は、参照情報のデータ構造及びデータ例を示す概略図である。図示するように、参照情報は、行と列からなる２次元の表形式のデータであり、ストリーム組合わせとストリーム要求情報の各項目の列を有している。このテーブルの各行はストリーム組合わせ毎に存在する。ストリーム組合わせは、ストリームＩＤの組合わせを識別するための識別番号である。ストリーム要求情報は、要求する映像符号化データＩＤの組合わせである。図示する例では、ストリーム組合わせＩＤ＝６に対応するストリーム要求情報が「２０７，２１５，２１６，１０８，２１３，２１４，３２１，２２７，１２５，２２０，２１９，２０９」であり、図９（ａ）に示す映像符号化データＩＤの変更結果である。
【００６０】
次に、本第１実施形態による映像伝送システムで、映像再生クライアント３０からのコマンド送信から映像表示までの一連の手順について図１０から図１２を参照して説明する。
図１０は、本実施形態による映像再生クライアント３０におけるコマンド送信処理を説明するためのフローチャートである。まず、ストリーム組合わせ指定部２１７が、ストリーム組合わせの指定を受け付ける（ステップＳ１１１）。次に、コマンド変換部２１１が、参照情報蓄積部２１０から参照情報を読み出し、ストリーム組合わせ指定部２１７にて指定されたストリーム組合わせに対応するストリーム要求情報を参照情報から読み出すことによりコマンド変換を行う（ステップＳ１１２）。そして、コマンド送信部２０９が、読み出したストリーム要求情報をコマンド送信する（ステップＳ１１３）。
【００６１】
図１１は、本実施形態による映像伝送サーバ２０におけるコマンド受信およびデータ送信処理を説明するためのフローチャートである。まず、コマンド受信部２０６が、映像再生クライアント３０のコマンド送信部２０９からストリーム要求情報を含むコマンドを受信する（ステップＳ１２１）。次に、データ管理部２０５が、要求データＩＤを解釈する（ステップＳ１２２）。具体的には、データ管理部２０５は、受信したストリーム要求情報に含まれる映像符号化データＩＤを要求データＩＤとする。そして、データ管理部２０５は、要求データＩＤに対応するストリームをデータ蓄積部２０２から読み出し、読み出したストリームをデータ送信部２０７へ転送する（ステップＳ１２３）。最後に、データ送信部２０７が、入力されたストリームを映像再生クライアント３０のデータ受信部２１２へ送信する（ステップＳ１２４）。
【００６２】
図１２は、本実施形態による映像再生クライアント３０におけるデータ受信および映像表示処理を説明するためのフローチャートである。まず、データ受信部２１２がストリームの受信を行う（ステップＳ１３１）。次に、復号化部２１３が受信したストリームの復号化を行う（ステップＳ１３２）。最後に、映像表示部２１４が復号化した映像の表示を行う（ステップＳ１３３）。
【００６３】
このように、本実施形態によれば、参照情報作成部２１８は、平均評価値に基づいて、各ストリームの符号化レートの総和≦伝送レートにおいて、各ストリームの符号化レートがより大きくなるよう符号化データを特定する。これにより、符号化レートを下げすぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる。
また、参照情報作成部２１８が平均評価値算出開始オフセットＴｂを用いて平均評価値Ａａｊを算出することにより、新規のストリーム要求時点における、サーバ装置側データ読出し時刻ｔｓ付近の映像品質を考慮したデータ要求が可能となる。つまり、時間的な映像品質の変動に対応したストリームの伝送をすることができる。
【００６４】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図１３は、第２実施形態による映像伝送システムの構成を示すブロック図である。図１３から明らかなように、本実施形態における映像伝送システムは、図１に示す構成に対して多重化装置４０における映像分割部１４１を新たに設けている。他の構成は第１実施形態と同様である。なお、図１と同様の構成については説明を省略する。映像分割部１４１は、入力された映像データ（以下、入力映像データとする）を小領域に分割（タイル分割）することでＭ本のストリームを生成する。符号化部３０１は、映像分割部１４１が分割した各ストリームを複数の符号化レートで符号化し多重化して符号化データを作成する。
【００６５】
図１４は、本実施形態によるタイル分割処理を説明するための概略図である。
上述したように、本第２実施形態では、映像分割部１４１にて、入力映像データ４００を同期した複数のストリーム（タイル４０１）に分割する。ここで、映像データにおいて、四角形の画像の所定の方向を縦方向とし、縦方向に対して直交する方向を横方向として定める。例えば、入力映像データ４００の画素数（以下、入力映像サイズとする）が３８４０×１９２０画素、タイル４０１の画素数（以下、タイルサイズとする）が６４０×３２０画素である場合には、図１４に示すように、映像分割部１４１は入力映像データ４００を縦方向に６、横方向に６分割する。つまり、入力映像データ４００のストリームは３６本のストリームに分割される。また、このとき、映像分割部１４１は、分割した各タイル４０１に対して、各タイルを識別するためのタイルＩＤを付与する。
【００６６】
次に、図１５を参照して多重化装置４０による評価値算出処理について説明する。図１５は、本実施形態による評価値算出処理の手順を示すフローチャートである。
まず、映像分割部１４１が、３８４０×１９２０画素の入力映像データを、６×６＝３６個にタイル分割する（ステップＳ１７１）。次に、符号化部３０１が、分割された各タイルを複数段階のビットレート（例えば、５００ｋｂｐｓ、１Ｍｂｐｓ、１．５Ｍｂｐｓ）で符号化する（ステップＳ１７２）。続いて、符号化部３０１は、各タイルの符号化結果に対して映像符号化データＩＤの付与を行う（ステップＳ１７３）。
【００６７】
次に、評価値計算部３０３が、タイルＩＤと映像符号化データＩＤの対応情報を作成する（ステップＳ１７４）。そして、評価値計算部３０３は、各映像符号化データＩＤに対する評価値を算出する（ステップＳ１７５）。具体的には、評価値計算部３０３は、入力画像のタイル分割後に得られるタイルサイズの原画像と、符号化部３０１での処理の過程で得られるタイルサイズのローカルデコード画像とからＳＮＲを算出し、その値を評価値とする。最後に、評価値計算部３０３は、平均評価値を算出する（ステップＳ１７６）。
【００６８】
図１６は、本実施形態による映像符号化データＩＤの具体例を示す概略図である。図１６（ａ）は５００Ｋｂｐｓ、図１６（ｂ）は１Ｍｂｐｓ、図１６（ｃ）は１．５Ｍｂｐｓで各タイルを符号化した場合の映像符号化データＩＤを示す。図示するように、上述したステップＳ１７３において、符号化部３０１は、タイルＩＤ０から３５のストリームを５００Ｋｂｐｓで符号化した結果に対して映像符号化データＩＤ１００から１３５を付与する。また、符号化部３０１は、タイルＩＤ０から３５のストリームを１Ｍｂｐｓで符号化した結果に対して映像符号化データＩＤ２００から２３５を付与する。また、符号化部３０１は、タイルＩＤ０から３５のストリームを１．５Ｍｂｐｓで符号化した結果に対して映像符号化データＩＤ３００から３３５を付与する。
【００６９】
図１７は、本実施形態によるタイルＩＤと映像符号化データＩＤの対応情報のデータ構造及びデータ例を示す概略図である。図示するように、タイルＩＤと映像符号化データＩＤの対応情報テーブルは、行と列からなる２次元の表形式のデータであり、タイルＩＤと、各符号化レート（５００ｋｂｐｓ，１Ｍｂｐｓ，１．５Ｍｂｐｓ）における映像符号化データＩＤの各項目の列を有している。このテーブルの各行はタイルＩＤ毎に存在する。
【００７０】
次に、本実施形態による映像再生クライアント６０における参照情報作成処理について図１８を参照して説明する。図１８は、本実施形態による重み係数マトリクスを示す概略図である。重み係数マトリクスは、各タイルの重み係数を示すマトリクスである。重み係数とは、各タイルの空間的な重要度を表す係数である。本実施形態では、各ストリームは表示の際に空間的に配置されるため、各ストリームが空間的な意味を持ち、それぞれ重要度が異なる。このため、参照情報作成部３１８は、重み係数を平均評価値に乗じた後に、平均評価値をキーとした映像符号化データＩＤの昇順ソートを実施する。他の処理は前述した第１実施形態と同様である。これにより、空間的な重要度を考慮した参照情報を作成することができる。本実施形態では、重み係数が小さいほど重要度が高い。図に示す例では、中心に位置するタイルＩＤ＝（１４，１５，２０，２１）の重み係数が０．５であり、他のタイルの重み係数１より小さい。つまり、タイルＩＤ＝（１４，１５，２０，２１）の重要度は、他のタイルより大きい。ここで、各タイルの重み係数は時間的に変動する。
【００７１】
なお、重み係数マトリクスは、映像伝送サーバ５０から映像再生クライアント６０へストリームの伝送する前にストリームごとに事前に送信される。或いは、映像再生クライアント６０で各タイルの重み係数を設定してもよい。
【００７２】
図１９は、本実施形態による映像表示部３１４における映像表示例を表す概略図である。
図に示す例では、映像表示部３１４が表示する映像のサイズは１９２０×１０８０画素であり、映像表示部３１４は４×３＝１２のタイルを表示する。また、映像表示部３１４が表示する映像の表示パターンは１２通り（表示パターンＰ１からＰ１２）である。図１９において、斜線で示すタイルが映像表示部３１４で表示する映像である。例えば、表示パターンＰ１では、映像表示部３１４はタイルＩＤ＝（０，１，２，６，７，８，１２，１３，１４，１８，１９，２０）を表示する。また、表示パターンＰ２では、映像表示部３１４はタイルＩＤ＝（１，２，３，７，８，９，１３，１４，１５，１９，２０，２１）を表示する。表示パターンＰ３では、映像表示部３１４はタイルＩＤ＝（２，３，４，８，９，１０，１４，１５，１６，２０，２１，２２）を表示する。表示パターンＰ４では、映像表示部３１４はタイルＩＤ＝（３，４，５，９，１０，１１，１５，１６，１７，２１，２２，２３）を表示する。表示パターンＰ５では、映像表示部３１４はタイルＩＤ＝（６，７，８，１２，１３，１４，１８，１９，２０，２４，２５，２６）を表示する。表示パターンＰ６では、映像表示部３１４はタイルＩＤ＝（７，８，９，１３，１４，１５，１９，２０，２１，２５，２６，２７）を表示する。表示パターンＰ７では、映像表示部３１４はタイルＩＤ＝（８，９，１０，１４，１５，１６，２０，２１，２２，２６，２７，２８）を表示する。表示パターンＰ８では、映像表示部３１４はタイルＩＤ＝（９，１０，１１，１５，１６，１７，２１，２２，２３，２７，２８，２９）を表示する。表示パターンＰ９では、映像表示部３１４はタイルＩＤ＝（１２，１３，１４，１８，１９，２０，２４，２５，２６，３０，３１，３２）を表示する。表示パターンＰ１０では、映像表示部３１４はタイルＩＤ＝（１３，１４，１５，１９，２０，２１，２５，２６，２７，３１，３２，３３）を表示する。表示パターンＰ１１では、映像表示部３１４はタイルＩＤ＝（１４，１５，１６，２０，２１，２２，２６，２７，２８，３２，３３，３４）を表示する。表示パターンＰ１２では、映像表示部３１４はタイルＩＤ＝（１５，１６，１７，２１，２２，２３，２７，２８，２９，３３，３４，３５）を表示する。
【００７３】
このように、本実施形態によれば、映像分割部１４１が映像データを複数のタイルに分割し、参照情報作成部３１８が分割した各タイルに重み係数を付与する。これにより、各タイルにおける映像の空間的な重要度を考慮して各タイルの符号化レートを選択することができる。つまり、より重要度の高いタイルがより大きい符号化レートで伝送されるため、重要度の高いタイルの映像を高画質にて再生することができる。
【００７４】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００７５】
１，１０，４０…多重化装置  ２，２０，５０…映像伝送サーバ  ３，３０，６０…映像再生クライアント  １０１，２０１，３０１…符号化部  １０２，２０２，３０２…データ蓄積部  １０３，２０７，３０７…データ送信部  １０４，２１２，３１２…データ受信部  １０５，２１３，３１３…復号化部  １０６，２１４，３１４…映像表示部  １４１…映像分割部  ２０３，３０３…評価値計算部  ２０４，３０４…評価値蓄積部  ２０５，３０５…データ管理部  ２０６，３０６…コマンド受信部  ２０８，３０８…評価値送信部  ２０９，３０９…コマンド送信部  ２１０，３１０…参照情報蓄積部  ２１１，３１１…コマンド変換部  ２１５，３１５…評価値受信部  ２１６，３１６…評価値蓄積部  ２１７，３１７…ストリーム組合わせ指定部  ２１８，３１８…参照情報作成部  ２１９，３１９…パラメータ指定部
【図１】
2011176497.tif 000003
【図２】
2011176497.tif 000004
【図３】
2011176497.tif 000005
【図４】
2011176497.tif 000006
【図５】
2011176497.tif 000007
【図６】
2011176497.tif 000008
【図７】
2011176497.tif 000009
【図８】
2011176497.tif 000010
【図９】
2011176497.tif 000011
【図１０】
2011176497.tif 000012
【図１１】
2011176497.tif 000013
【図１２】
2011176497.tif 000014
【図１３】
2011176497.tif 000015
【図１４】
2011176497.tif 000016
【図１５】
2011176497.tif 000017
【図１６】
2011176497.tif 000018
【図１７】
2011176497.tif 000019
【図１８】
2011176497.tif 000020
【図１９】
2011176497.tif 000021
【図２０】
2011176497.tif 000022
【図２１】
2011176497.tif 000023