(57)【特許請求の範囲】
【請求項１】
全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、
前記映像伝送装置に、Ｍ×Ｎ［画素］の注視領域サイズと前記映像再生端末における前記注視領域サイズを基準にしたデコード面積上限Ｄmaxとの前提条件が入力されるステップと、
前記映像伝送装置が、前記前提条件に基づいた式（Ａ）を満たすｘを算出し、前記タイル映像のタイルサイズ（Ｍ／ｘ）×（Ｎ／ｘ）［画素］を算出するステップと、
を含むことを特徴とする映像タイルサイズ決定方法。
（ｃｅｉｌ（Ｍ／（Ｍ／ｘ））＋１）×（ｃｅｉｌ（Ｎ／（Ｎ／ｘ））＋１）
×（Ｍ／ｘ）×（Ｎ／ｘ）≦Ｄmax（Ｍ×Ｎ）…（Ａ）
ただしｃｅｉｌ（）は小数点を切り上げる関数である。
【請求項２】
全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、
前記映像伝送装置に、Ｍ×Ｎ［画素］の注視領域サイズと所定の品質が得られる前記注視領域サイズの符号化ビットレートＲと伝送帯域上限Ｒmaxとの前提条件が入力されるステップと、
前記映像伝送装置が、前記前提条件に基づいた式（Ｂ）を満たすｘを算出し、前記タイル映像のタイルサイズ（Ｍ／ｘ）×（Ｎ／ｘ）［画素］を算出するステップと、
を含むことを特徴とする映像タイルサイズ決定方法。
（ｃｅｉｌ（Ｍ／（Ｍ／ｘ））＋１）×（ｃｅｉｌ（Ｎ／（Ｎ／ｘ））＋１）
×（Ｒ／ｘ２）≦Ｒmax…（Ｂ）
ただしｃｅｉｌ（）は小数点を切り上げる関数である。
【請求項３】
全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、
前記映像伝送装置に、Ｍ×Ｎ［画素］の注視領域サイズと前記映像再生端末における前記注視領域サイズを基準にしたデコード面積上限Ｄmaxと所定の品質が得られる前記注視領域サイズの符号化ビットレートＲと伝送帯域上限Ｒmaxとの前提条件が入力されるステップと、
前記映像伝送装置が、前記前提条件に基づいた式（Ａ）及び式（Ｂ）をともに満たすｘを算出し、前記タイル映像のタイルサイズ（Ｍ／ｘ）×（Ｎ／ｘ）［画素］を算出するステップと、
を含むことを特徴とする映像タイルサイズ決定方法。
（ｃｅｉｌ（Ｍ／（Ｍ／ｘ））＋１）×（ｃｅｉｌ（Ｎ／（Ｎ／ｘ））＋１）
×（Ｍ／ｘ）×（Ｎ／ｘ）≦Ｄmax（Ｍ×Ｎ）…（Ａ）
（ｃｅｉｌ（Ｍ／（Ｍ／ｘ））＋１）×（ｃｅｉｌ（Ｎ／（Ｎ／ｘ））＋１）
×（Ｒ／ｘ２）≦Ｒmax…（Ｂ）
ただしｃｅｉｌ（）は小数点を切り上げる関数である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザがインタラクティブに指定する注視領域に応じて、高解像度映像を切り出し、端末上でデコード、ディスプレイ上に表示するシステムにおいて、高解像度映像をタイル分割する際のタイルサイズ決定方法に関する。
【背景技術】
【０００２】
複数のカメラ映像をまとめて圧縮する符号化方式として、国際標準符号化方式Ｈ．２６４  Ａｎｎｅｘ  Ｈとして多視点映像符号化（ＭＶＣ）が標準化されている（例えば、非特許文献１参照）。ＭＶＣでは、複数の映像符号化データが多重化された形で圧縮符号化される。同じタイムスタンプのフレームの符号化データが連続して多重化される。すなわち、符号化データは、複数の映像データが多重化されたストリームになる。同じタイムスタンプのフレームが連続して多重化されているため、復号器は、ＭＶＣの符号化データを復号することで、同じタイムスタンプの複数のカメラ映像を連続して復号して出力することができる。
【０００３】
図１０は、従来技術による映像伝送システムの構成を示すブロック図である。図１１は、入力映像データのタイル分割、及びタイルＩＤの付与例を示す概念図である。また、図１２は、映像符号化後の映像データに付与されるデータＩＤを示す概念図である。多重化装置１０において、映像分割部１００は、映像データを複数の解像度に変換した後に、各解像度の映像データをタイル分割し（例えば、図１１）、小領域の映像データからなるタイル映像を作成する。符号化部１０１は、これらタイル映像を複数の符号化レートで符号化し、図１２に示すように、符号化後のデータにデータＩＤを付与する。その後、ＭＶＣにて多重化して映像データを作成する。
【０００４】
データ蓄積部１０２には、タイル分割情報（例えば、図１１）、符号化前のタイル映像データ、タイル映像毎の符号化及び多重化した映像データ、及び符号化処理の過程で作成されるタイル映像ローカルデコード映像データを蓄積する。評価値計算部１０３は、データ蓄積部１０２に蓄積されている映像データを用いて、１フレーム単位（または所定のフレーム単位）ごとの評価値を計算し、これら評価値、各タイル映像と映像符号化データの対応表を対応テーブル＆評価値蓄積部１０４に蓄積する。なお、評価値の計算終了後、不要になった符号化前のタイル映像データが消去される。
【０００５】
映像伝送サーバ２０において、データ管理部１０５は、コマンド受信部１０６で受信した、映像再生クライアント３０からのコマンド（データＩＤを用いたストリーム要求）に従って、データ蓄積部１０２へＮ（≦Ｍ）本のストリーム要求を行うことで、データ蓄積部１０２に蓄積されたＭ本のストリームからＮ本のストリームを取り出し、データ送信部１０７へ転送する。データ送信部１０７は、Ｎ本のストリームを映像再生クライアント３０へ送出する。コマンド受信部１０６は、映像再生クライアント３０からのコマンドを受信する。なお、映像再生クライアント３０へデータ送信前に、データ送信部１０７は、タイル分割情報（例えば、図１１）をデータ受信部１１２へ送出する。また、対応テーブル＆評価値送信部１０８は、評価値蓄積部１０４から対応テーブル、及び評価値情報を取り出し、映像再生クライアントの評価値受信部１１５へ送出する。
【０００６】
映像再生クライアント３０において、データ受信部１１２は、タイル分割情報、及びＮ本のストリームを受信する。復号化部１１３は、Ｎ本のストリームを復号する。映像表示部１１４は、復号化された部分映像をタイル分割情報に基づき再構成し表示する。対応テーブル＆評価値受信部１１５は、映像伝送サーバ２０から送信される対応テーブル及び評価値情報を受信し、対応テーブル＆評価値蓄積部１１６に蓄積する。
【０００７】
タイルＩＤリスト作成部１１８は、ユーザの注視領域の指定に変更があった場合に、注視領域からタイルＩＤリストを決定し、該当のタイルＩＤに対応するデータＩＤを対応テーブルから決定し、該当のデータＩＤに関連する評価値を対応テーブル＆評価値蓄積部１１６から取出し、補正評価値計算部１１０にて評価値の補正（例えば、各フレーム単位の評価値を一定区間ごとに平均化するなどの補正処理）を行う。
【０００８】
注視領域指定部１１７は、ユーザから注視領域の変更を受付ける。コマンド変換部１１１は、注視領域指定の変更、及び補正評価値の変更があった場合に、補正評価値とタイルＩＤとに基づきサーバに要求するデータＩＤを決定する。コマンド送信部１０９は、コマンド変換部１１１で決定されたデータＩＤ基づくコマンドを送信する。
【０００９】
なお、多重化装置１０におけるデータ蓄積部１０２と対応テーブル＆評価値蓄積部１０４とを機能統合し、映像伝送サーバ２０におけるデータ送信部１０７と対応テーブル＆評価値送信部１０８とを機能統合し、映像再生クライアント３０におけるデータ受信部１１２と対応テーブル＆評価値受信部１１５とを機能統合するような構成も可能である。
【００１０】
また、ここでは、Ｍ本のストリーム（全体ストリーム）から構成される映像を「全体映像」、Ｎ（≦Ｍ）本のストリーム（部分ストリーム）から構成される映像を「部分映像」、１本のストリームから構成される映像を「単位映像」と定義する。つまり、全体映像は、Ｍ個の単位映像、部分映像は、Ｎ個の単位映像から構成される（Ｍ≧Ｎ）。
【００１１】
図１３（ａ）、（ｂ）は、タイルＩＤリスト作成部１１８にて作成されるタイルＩＤリストの例を示す概念図である。タイルＩＤリストは、ユーザによりインタラクティブに操作され、平行移動、及び拡大縮小する注視領域を包含する最小のタイルＩＤのリストとして作成される。図１３（ａ）、（ｂ）に示す例において、注視領域位置では、タイルＩＤリストは（１，２，３，４，９，１０，１１，１２，１７，１８，１９，２０，２５，２６，２７，２８）と作成される。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】井上雅之，木全英明，深澤勝彦，松浦宣彦，"インタラクティブ・パノラマ映像配信システムにおける配信方式の検討," 情報処理学会，オーディオビジュアル複合情報処理研究会，Vol.2010-AVM-69 No.9, 2010.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述した非特許文献１における従来のタイル分割法では、ユーザが端末や、回線帯域に応じて、数種類タイルサイズや、符号化ビットレートのパターンを試行錯誤しながら実験的に決定する手法が採用されており、タイル分割の際のタイルサイズを決定するのは非常に困難であるという問題がある。
【００１４】
本発明は、このような事情を考慮してなされたものであり、その目的は、事前に与えられた上限値に基づいて、自動的に分割タイルサイズを算出することができる映像タイルサイズ決定方法を提供することにある。
【課題を解決するための手段】
【００１５】
上述した課題を解決するために、本発明は、全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、前記映像伝送装置に、Ｍ×Ｎ［画素］の注視領域サイズと前記映像再生端末における前記注視領域サイズを基準にしたデコード面積上限Ｄmaxとの前提条件が入力されるステップと、前記映像伝送装置が、前記前提条件に基づいた式（Ａ）を満たすｘを算出し、前記タイル映像のタイルサイズ（Ｍ／ｘ）×（Ｎ／ｘ）［画素］を算出するステップと、を含むことを特徴とする映像タイルサイズ決定方法。
（ｃｅｉｌ（Ｍ／（Ｍ／ｘ））＋１）×（ｃｅｉｌ（Ｎ／（Ｎ／ｘ））＋１）
×（Ｍ／ｘ）×（Ｎ／ｘ）≦Ｄmax（Ｍ×Ｎ）…（Ａ）
ただしｃｅｉｌ（）は小数点を切り上げる関数である。
【００１６】
また、本発明は、全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、前記映像伝送装置に、Ｍ×Ｎ［画素］の注視領域サイズと所定の品質が得られる前記注視領域サイズの符号化ビットレートＲと伝送帯域上限Ｒmaxとの前提条件が入力されるステップと、前記映像伝送装置が、前記前提条件に基づいた式（Ｂ）を満たすｘを算出し、前記タイル映像のタイルサイズ（Ｍ／ｘ）×（Ｎ／ｘ）［画素］を算出するステップと、を含むことを特徴とする映像タイルサイズ決定方法である。
（ｃｅｉｌ（Ｍ／（Ｍ／ｘ））＋１）×（ｃｅｉｌ（Ｎ／（Ｎ／ｘ））＋１）
×（Ｒ／ｘ２）≦Ｒmax…（Ｂ）
ただしｃｅｉｌ（）は小数点を切り上げる関数である。
【００１７】
また、本発明は、全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、前記映像伝送装置に、Ｍ×Ｎ［画素］の注視領域サイズと前記映像再生端末における前記注視領域サイズを基準にしたデコード面積上限Ｄmaxと所定の品質が得られる前記注視領域サイズの符号化ビットレートＲと伝送帯域上限Ｒmaxとの前提条件が入力されるステップと、前記映像伝送装置が、前記前提条件に基づいた式（Ａ）及び式（Ｂ）をともに満たすｘを算出し、前記タイル映像のタイルサイズ（Ｍ／ｘ）×（Ｎ／ｘ）［画素］を算出するステップと、を含むことを特徴とする映像タイルサイズ決定方法である。
（ｃｅｉｌ（Ｍ／（Ｍ／ｘ））＋１）×（ｃｅｉｌ（Ｎ／（Ｎ／ｘ））＋１）
×（Ｍ／ｘ）×（Ｎ／ｘ）≦Ｄmax（Ｍ×Ｎ）…（Ａ）
（ｃｅｉｌ（Ｍ／（Ｍ／ｘ））＋１）×（ｃｅｉｌ（Ｎ／（Ｎ／ｘ））＋１）
×（Ｒ／ｘ２）≦Ｒmax…（Ｂ）
ただしｃｅｉｌ（）は小数点を切り上げる関数である。
【発明の効果】
【００２１】
この発明によれば、タイルサイズをいくつかのパターンを試して試行錯誤しながら決定するのではなく、デコード上限値、映像の伝送帯域上限を利用し、タイルサイズを効率的に決定することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。
【図２】本第１実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。
【図３】本第１実施形態において、他のパラメータを用いた映像タイルサイズ決定方法を説明するためのフローチャートである。
【図４】本第２実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。
【図５】本第２実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。
【図６】本第３実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。
【図７】本第３実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。
【図８】本第４実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。
【図９】本第４実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。
【図１０】従来技術による映像伝送システムの構成を示すブロック図である。
【図１１】入力映像データのタイル分割、及びタイルＩＤの付与例を示す概念図である。
【図１２】映像符号化後の映像データに付与されるデータＩＤを示す概念図である。
【図１３】タイルＩＤリスト作成部１１８にて作成されるタイルＩＤリストの例を示す概念図である。
【発明を実施するための形態】
【００２３】
本発明は、パノラマ映像伝送システムにおけるパノラマ映像のタイル分割方法に関するものである。本発明では、ユーザ操作により、注視領域がタイルＩＤリスト最大になる位置になったときのタイル数、映像再生クライアントがデコードできるデコード上限値、映像の伝送帯域上限を利用してタイルサイズを決定することを特徴とする。
【００２４】
本発明では、デコード可能な面積及び伝送帯域についての制約条件を満たすようタイルサイズを決定することにより、従来の実験的なタイルサイズ決定方法に比して効率的にタイルサイズを決定することが可能となる。
【００２５】
なお、ここでは、注視領域の位置が「タイルＩＤリスト最大になる位置」を「ワーストケースの位置」、「タイルＩＤリスト最大になる位置になったとき」を「ワーストケース時」と呼ぶこととする。
【００２６】
以下、本発明の一実施形態を、図面を参照して説明する。本発明の映像伝送システムの構成は、図１０に示す従来技術による構成と基本的に同様である。すなわち、本実施形態の映像伝送システムは、全体映像を定められたタイルサイズに応じた複数のタイル映像に分割し、映像再生クライアント３０から指定される注視領域に応じて、全体映像のうち指定された注視領域が含まれるタイル映像を符号化する多重化装置１０と、多重化装置１０によって符号化された映像を映像再生クライアント３０に送信する映像伝送サーバ２０と、映像伝送サーバ２０から送信される複数のタイル映像を復号化して表示する映像再生端末３０とを備えている。
【００２７】
Ａ．第１実施形態
図１は、本発明の第１実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。また、図２は、本第１実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。
【００２８】
一般的に、タイルサイズ：ａ×ｂ［画素］、注視領域サイズ：Ｍ×Ｎ［画素］のとき、ワーストケースの位置にあるときの配信タイル数：Ｎａ×Ｎｂと表す。ここで、Ｎａ＝ｃｅｉｌ（Ｍ／ａ）＋１、Ｎｂ＝ｃｅｉｌ（Ｎ／ｂ）＋１である。なお、ｃｅｉｌ（）は、小数点切り上げ関数である。デコード面積は、（Ｎａ×Ｎｂ）×（ａ×ｂ）で表現することができる。
【００２９】
まず、前提条件として、デコード面積上限と注視領域サイズとの情報を設定する（ステップＳ１）。ここで、前提条件は、例えば環境に応じた値が多重化装置１０または映像伝送サーバ２０に予め記憶されているようにしても良いし、映像再生クライアント３０から前提条件がユーザ端末１０に送信されるようにしても良い。このような情報が多重化装置１０に入力され、映像分割部１００の記憶領域に記憶されることにより、前提条件が設定される。例えば、デコード面積上限：１．５ＨＤ（ＨＤ＝ＨＤｈ×ＨＤｖ、ＨＤｈ：ＨＤ横幅、ＨＤｖ：ＨＤ縦幅）、注視領域サイズ：ＨＤ（ＨＤ解像度のディスプレイ表示を想定）とする。次に、タイルサイズを、ａ＝ＨＤｈ／ｘ、ｂ＝ＨＤｖ／ｘ（ここでｘは実数）とし、デコード面積上限を満たすようなｘを求める（ステップＳ２）。
【００３０】
ここで、注視領域サイズ条件は、ＨＤであり、Ｍ＝ＨＤｈ、Ｎ＝ＨＤｖと表現する。
このとき、
Ｎａ＝ｃｅｉｌ（ＨＤｈ／（ＨＤｈ／ｘ））＋１＝ｘ＋１，
Ｎｂ＝ｃｅｉｌ（ＨＤｖ／（ＨＤｖ／ｘ））＋１＝ｘ＋１
となるので、次式（１）〜（６）から、ｘ＞＝４．５であれば、注視領域をデコード可能と分かる。
【００３１】
【数１】
0005603840.tif 000002
【００３２】
【数２】
0005603840.tif 000003
【００３３】
【数３】
0005603840.tif 000004
【００３４】
【数４】
0005603840.tif 000005
【００３５】
【数５】
0005603840.tif 000006
【００３６】
【数６】
0005603840.tif 000007
【００３７】
一般的に、タイルサイズが大きいほど映像品質がよくなるので、多重化装置１０の映像分割部１００は、ｘ＝４．５と決定する（ステップＳ３）。よって、タイルサイズは、ＨＤ／（４．５×４．５）、つまり、映像再生クライアントで再生可能である、ＨＤ面積の約１／２０相当のタイルサイズとする（ステップＳ４）。なお、タイルサイズはＨＤ面積の約１／２０相当であればよく、タイルサイズ横幅をＨＤｈ／４、タイルサイズ縦幅をＨＤｖ／５などとしてもよい。この結果、注視領域と配信するタイル映像との関係は、図２に示すようになる。このように決定されたタイルサイズに応じたタイル映像が、多重化装置１０から映像伝送サーバ２０を介して映像再生クライアントに送信され、デコードされて表示されることで、タイルサイズを効率良く決定することができる。
【００３８】
図３は、本第１実施形態において、他のパラメータを用いた映像タイルサイズ決定方法を説明するためのフローチャートである。ここでは、デコード面積上限を２ＨＤとした場合について説明する。まず、前提条件として、デコード面積上限と注視領域サイズとを設定する（ステップＳ１０）。例えば、デコード面積上限：２ＨＤ（ＨＤ＝ＨＤｈ×ＨＤｖ、ＨＤｈ：ＨＤ横幅、ＨＤｖ：ＨＤ縦幅）、注視領域サイズ：ＨＤ（ＨＤ解像度のディスプレイ表示を想定）とする。次に、タイルサイズを、ａ＝ＨＤｈ／ｘ、ｂ＝ＨＤｖ／ｘ（ここでｘは実数）とし、デコード面積上限を満たすようなｘを求める（ステップＳ１１）。
【００３９】
ここで、注視領域サイズ条件は、ＨＤであり、Ｍ＝ＨＤｈ、Ｎ＝ＨＤｖと表現する。
このとき、
Ｎａ＝ｃｅｉｌ（ＨＤｈ／（ＨＤｈ／ｘ））＋１＝ｘ＋１，
Ｎｂ＝ｃｅｉｌ（ＨＤｖ／（ＨＤｖ／ｘ））＋１＝ｘ＋１
となるので、数式（１）〜（６）から、ｘ＞＝２．４であれば、注視領域をデコード可能と分かる。
【００４０】
一般的に、タイルサイズが大きいほど映像品質がよくなるので、ｘ＝２．４と決定する（ステップＳ１２）。よって、タイルサイズは、ＨＤ／（２．４×２．４）、つまり、映像再生クライアントで再生可能である、ＨＤ面積の約１／６相当のタイルサイズとする（ステップＳ１３）。
【００４１】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第３実施形態では、前提条件として、原画像の縦幅、デコード面積上限、及び注視領域サイズを設定する。
【００４２】
図４は、本第２実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。図５は、本第２実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。まず、前提条件として、原画像の縦幅、デコード面積上限、及び注視領域サイズを設定する（ステップＳ２０）。例えば、原画像の縦幅をＨＤ高、デコード面積上限を１．５ＨＤ（ＨＤ＝ＨＤｈ×ＨＤｖ、ＨＤｈ：ＨＤ横幅、ＨＤｖ：ＨＤ縦幅）、注視領域サイズ：ＨＤ（ＨＤ解像度のディスプレイ表示を想定）とする。次に、タイルサイズを、ａ＝ＨＤｈ／ｘ、ｂ＝ＨＤｖ（ここでｘは実数）とし、デコード面積上限を満たすようなｘを求める（ステップＳ２１）。
【００４３】
ここで、注視領域サイズ条件は、ＨＤであり、Ｍ＝ＨＤｈ、Ｎ＝ＨＤｖと表現する。
このとき、
Ｎａ＝ｃｅｉｌ（ＨＤｈ／（ＨＤｈ／ｘ））＋１＝ｘ＋１，
Ｎｂ＝ｃｅｉｌ（ＨＤｖ／ＨＤｖ）＝１＝１（縦方向はタイル１個のみ）
となるので、数式（１）〜（６）から、Ｘ＞＝２であれば、注視領域をデコード可能と分かる。
【００４４】
一般的に、タイルサイズが大きいほど映像品質がよくなるので、ｘ＝２と決定する（ステップＳ２２）。よって、タイルサイズは、ＨＤ／２、つまり、映像再生クライアントで再生可能である、ＨＤ面積の約１／２相当のタイルサイズとする（ステップＳ２３）。
【００４５】
この第２実施形態のように、原画像のサイズをＨＤ高に制限することで、第１実施形態（図１を参照）と同じデコード面積上限でも、図５に示すように、ＨＤサイズの注視領域がワーストケース時に高さ方向に無駄にデコードするタイルが存在しないため，分割タイルサイズを第１実施形態よりも大きくすることができる．
【００４６】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
本第３実施形態では、前提条件として、注視領域サイズ、伝送帯域上限、及び十分な品質が得られるＨＤ映像の符号化ビットレートを設定する。
【００４７】
図６は、本第３実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。図７は、本第３実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。まず、前提条件として、注視領域サイズ、伝送帯域上限、及び十分な品質が得られるＨＤ映像の符号化ビットレートを設定する（ステップＳ３０）。例えば、注視領域サイズ：ＨＤ（ＨＤ解像度のディスプレイ表示を想定：Ｍ×Ｎ）、伝送帯域上限を１１［Ｍｂｐｓ］、十分な品質が得られるＨＤ映像の符号化ビットレートを６［Ｍｂｐｓ］とする。次に、タイルサイズを、ａ＝ＨＤｈ／ｘ、ｂ＝ＨＤｖ／ｘ（ここでｘは実数）とし、伝送帯域上限を満たすようなｘを求める（ステップＳ３１）。
【００４８】
ここで、注視領域サイズ条件は、ＨＤであり、Ｍ＝ＨＤｈ、Ｎ＝ＨＤｖと表現する。
このとき、
Ｎａ＝ｃｅｉｌ（ＨＤｈ／（ＨＤｈ／ｘ））＋１＝ｘ＋１，
Ｎｂ＝ｃｅｉｌ（ＨＤｖ／（ＨＤｖ／ｘ））＋１＝ｘ＋１
１タイル当たりのビットレート＝（Ｒ／（ｃｅｉｌ（Ｍ／ａ）×ｃｅｉｌ（Ｎ／ｂ））＝（６／（ｘ×ｘ）
となるので、次式（７）〜（１２）から、Ｘ＞＝２．８であれば、注視領域をデコード可能と分かる。なお、Ｒは、十分な品質が得られるＨＤ映像の符号化ビットレートである。
【００４９】
【数７】
0005603840.tif 000008
【００５０】
【数８】
0005603840.tif 000009
【００５１】
【数９】
0005603840.tif 000010
【００５２】
【数１０】
0005603840.tif 000011
【００５３】
【数１１】
0005603840.tif 000012
【００５４】
【数１２】
0005603840.tif 000013
【００５５】
一般的に、タイルサイズが大きいほど映像品質がよくなるので、ｘ＝２．８と決定する（ステップＳ３２）。よって、タイルサイズは、ＨＤ／（２．８×２．８）、つまり、映像再生クライアントで再生可能である、ＨＤ面積の約１／８相当のタイルサイズとする（ステップＳ３３）。この結果、注視領域と配信するタイル映像との関係は、図７に示すようになる。
【００５６】
なお、十分な品質が得られるＨＤ映像の符号化ビットレートは、タイル分割することで符号化効率が落ちることを考慮し、タイル分割しない場合のＨＤ映像の符号化ビットレートより多少大きく設定するほうがよい。例えば、タイル分割しない場合のＨＤ映像の符号化ビットレートが６［Ｍｂｐｓ］であれば、７［Ｍｂｐｓ］に設定し、ｘを算出するなどの考慮が必要である。
【００５７】
Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
本第４実施形態では、前提条件として、原画像の縦幅、注視領域サイズ、伝送帯域上限、及び十分な品質が得られるＨＤ映像の符号化ビットレートを設定する。
【００５８】
図８は、本第４実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。図９は、本第４実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。まず、前提条件として、原画像の縦幅、注視領域サイズ、伝送帯域上限、及び十分な品質が得られるＨＤ映像の符号化ビットレートを設定する（ステップＳ４０）。例えば、原画像の縦幅をＨＤ高、注視領域サイズをＨＤ（ＨＤ解像度のディスプレイ表示を想定：Ｍ×Ｎ）、伝送帯域上限を１１［Ｍｂｐｓ］、十分な品質が得られるＨＤ映像の符号化ビットレートを６［Ｍｂｐｓ］とする。次に、タイルサイズを、ａ＝ＨＤｈ／ｘ、ｂ＝ＨＤｖ（ここでｘは実数）とし、伝送帯域上限を満たすようなｘを求める（ステップＳ４１）。
【００５９】
ここで、注視領域サイズ条件は、ＨＤであり、Ｍ＝ＨＤｈ、Ｎ＝ＨＤｖと表現する。
このとき、
Ｎａ＝ｃｅｉｌ（ＨＤｈ／（ＨＤｈ／ｘ））＋１＝ｘ＋１，
Ｎｂ＝ｃｅｉｌ（ＨＤｖ／ＨＤｖ）＝１＝１（縦方向はタイル１個のみ）
１タイル当たりのビットレート＝（Ｒ／（ｃｅｉｌ（Ｍ／ａ）×ｃｅｉｌ（Ｎ／ｂ））＝（６／（ｘ×ｘ）
となるので、数式（７）〜（１２）から、Ｘ＞＝１．２であれば、注視領域をデコード可能と分かる。なお、Ｒは、十分な品質が得られるＨＤ映像の符号化ビットレートである。
【００６０】
ここで、ｘは実数であるので、ｘ＝２と決定する（ステップＳ４２）。よって、タイルサイズは、ＨＤ／２、つまり、映像再生クライアントで再生可能である、ＨＤ面積の約１／２相当のタイルサイズとする（ステップＳ４３）。この結果、注視領域と配信するタイル映像との関係は、図９に示すようになる。
【００６１】
上述した第１から第４実施形態において、デコード面積上限と伝送帯域上限との２つの上限が存在するとき、これら２つの上限による制約を満たすｘを求めればよい。例えば、第１実施形態（図１）と第３実施形態（図６）を満たすｘは、より制約の厳しいデコード面積を満たすｘ＞＝４．５となる。
【００６２】
上述した第１から第４実施形態によれば、ユーザ操作により、注視領域がタイルＩＤリスト最大になる位置になったときのタイル数、映像再生クライアントがデコードできるデコード上限値、映像の伝送帯域上限を利用し、デコード可能な面積及び伝送帯域についての制約条件を満たすようタイルサイズを決定することにより、従来の実験的なタイルサイズ決定方法に比して効率的にタイルサイズを決定することができる。
【００６３】
なお、上述した第１から第４実施形態において、前提条件として、デコード面積上限と注視領域サイズ、あるいは伝送帯域上限と注視領域サイズと十分な品質が得られるＨＤ映像の符号化ビットレートを設定するとしたが、これに限らず、デコード面積上限と注視領域サイズ、あるいは、伝送帯域上限と注視領域サイズ、あるいは、デコード面積上限と注視領域サイズとに加えて伝送帯域上限、あるいは、デコード面積上限と注視領域サイズとに加えて、注視領域に重なる分割タイル数が最も多くなるときのタイル数、あるいは、伝送帯域上限と注視領域サイズとに加えて、注視領域に重なる分割タイル数が最も多くなるときのタイル数、あるいは、デコード面積上限と前記注視領域サイズとに加えて、伝送帯域上限と注視領域に重なる分割タイル数が最も多くなるときのタイル数を設定するようにしてもよい。
【符号の説明】
【００６４】
１０  多重化装置
２０  映像伝送サーバ
３０  映像再生クライアント
１００  解像度変換＆映像分割部
１０１  符号化部
１０２  データ蓄積部
１０３  評価値計算部
１０４  対応テーブル＆評価値蓄積部
１０５  データ管理部
１０６  コマンド受信部
１０７  データ送信部
１０８  対応テーブル＆評価値送信部
１０９  コマンド送信部
１１０  補正評価値計算部
１１１  コマンド変換部
１１２  データ受信部
１１３  復号化部
１１４  映像表示部
１１５  対応テーブル＆評価値受信部
１１６  対応テーブル＆評価値蓄積部
１１７  注視領域指定部
１１８  タイルＩＤリスト作成部
【図１】
0005603840.tif 000014
【図２】
0005603840.tif 000015
【図３】
0005603840.tif 000016
【図４】
0005603840.tif 000017
【図５】
0005603840.tif 000018
【図６】
0005603840.tif 000019
【図７】
0005603840.tif 000020
【図８】
0005603840.tif 000021
【図９】
0005603840.tif 000022
【図１０】
0005603840.tif 000023
【図１１】
0005603840.tif 000024
【図１２】
0005603840.tif 000025
【図１３】
0005603840.tif 000026