(57)【特許請求の範囲】
【請求項１】
高解像度の映像を分割し、分割映像毎に識別情報を付与し、それぞれの分割映像を複数のビットレートで符号化・多重化することにより生成された映像ストリームを形式変換する形式変換装置であって、
前記識別情報により管理されたＭ本の同期したストリームの符号化情報を解析することにより、参照ピクチャ番号、動ベクトル情報、可変ブロックサイズ動き補償時のブロック分割パターン情報、画面内予測モード情報の符号化情報の少なくとも１つを抽出するストリーム解析部と、
前記識別情報に基づいて、前記Ｍ本の同期したストリームから再符号化対象となる矩形映像を構成するＮ（≦Ｍ）本のストリームを切り出すストリーム切り出し部と、
前記ストリーム解析部により解析された前記符号化情報を再利用し、前記ストリーム切り出し部により切り出されたＮ本のストリームをＬ本（１≦Ｌ≦Ｎ−１）に再符号化する再符号化部と
を備えることを特徴とする形式変換装置。
【請求項２】
高解像度の映像を分割し、分割映像毎に識別情報を付与し、それぞれの分割映像を複数のビットレートで符号化・多重化することにより生成された映像ストリームを形式変換する形式変換装置であって、
前記識別情報により管理されたＭ本の同期したストリームを復号して、動ベクトル情報を得る復号化部と、
前記識別情報に基づいて、前記復号化部により復号された映像を切り出す映像切り出し部と、
前記復号化部による復号化時に得られた前記動ベクトル情報を再利用し、前記映像切り出し部により切り出された映像をＬ本（１≦Ｌ≦Ｍ−１）に再符号化する再符号化部と
を備えることを特徴とする形式変換装置。
【請求項３】
映像受信端末へ高解像度の映像を分割し、分割映像毎に識別情報を付与し、それぞれの分割映像を複数のビットレートで符号化・多重化することにより生成された映像ストリームを配信する映像配信装置であって、
前記映像受信端末からのコマンドを受信する受信部と、
前記受信部により受信されたコマンドで指示されるストリームの符号化情報を解析することにより、参照ピクチャ番号、動ベクトル情報、可変ブロックサイズ動き補償時のブロック分割パターン情報、画面内予測モード情報の符号化情報の少なくとも１つを抽出するストリーム解析部と、
前記受信部により受信されたコマンドで指示されるストリームを切り出すストリーム切り出し部と、
前記ストリーム解析部により解析された前記符号化情報を再利用し、前記ストリーム切り出し部により切り出されたストリームを再符号化する再符号化部と、
前記再符号化部により再符号化された映像を前記映像受信端末に送信する送信部と
を備えることを特徴とする映像配信装置。
【請求項４】
前記再符号化部は、
前記映像受信端末が接続されている回線の伝送帯域以下で再符号化する際に、伝送帯域以下という条件で、各分割映像で事前に符号化されている複数のビットレートのうち、最大のビットレートで符号化した場合の前記符号化情報を再利用し、前記ストリーム切り出し部により切り出されたストリームを再符号化する
ことを特徴とする請求項３に記載の映像配信装置。
【請求項５】
映像受信端末へ高解像度の映像を分割し、分割映像毎に識別情報を付与し、該分割映像を複数のビットレートで符号化・多重化することにより生成された映像ストリームを配信する映像配信装置であって、
前記映像受信端末からのコマンドを受信する受信部と、
前記受信部により受信されたコマンドで指示されるストリームを復号して、動ベクトル情報を得る復号化部と、
前記復号化部により復号された映像から前記受信部により受信されたコマンドで指示される映像を切り出す映像切り出し部と、
前記復号化部による復号化時に得られた前記動ベクトル情報を再利用し、前記映像切り出し部により切り出された映像を再符号化する再符号化部と、
前記再符号化部により再符号化された映像を前記映像受信端末に送信する送信部と
を備えることを特徴とする映像配信装置。
【請求項６】
前記再符号化部は、
前記映像受信端末が接続されている回線の伝送帯域以下で再符号化する際に、伝送帯域以下という条件で、各分割映像で事前に符号化されている複数のビットレートのうち、最大のビットレートで符号化した場合の符号化情報を再利用し、前記映像切り出し部により切り出された映像を再符号化する
ことを特徴とする請求項５に記載の映像配信装置。
【請求項７】
高解像度の映像をストリーム化し蓄積する多重化装置であって、
前記高解像度の映像をタイル分割する映像分割部と、
前記映像分割部によりタイル分割された分割映像毎に識別情報を付与し、前記分割映像を複数のビットレートで符号化・多重化してストリームを生成する符号化部と、
前記符号化部により生成されたストリームを蓄積するストリーム蓄積部と
を備えることを特徴とする多重化装置。
【請求項８】
前記符号化部は、
前記タイル分割された各分割映像を、異なる符号化レートで符号化することを特徴とする請求項７に記載の多重化装置。
【請求項９】
前記映像分割部は、
前記映像のタイル分割の前に、前記入力映像を複数の解像度の映像に解像度変換することを特徴とする請求項７または８に記載の多重化装置。
【請求項１０】
高解像度の映像を分割し、分割映像毎に識別情報を付与し、それぞれの分割映像を複数のビットレートで符号化・多重化することにより生成された映像ストリームを形式変換する形式変換装置が行う形式変換方法であって、
前記識別情報により管理されたＭ本の同期したストリームの符号化情報を解析することにより、参照ピクチャ番号、動ベクトル情報、可変ブロックサイズ動き補償時のブロック分割パターン情報、画面内予測モード情報の符号化情報の少なくとも１つを抽出するストリーム解析ステップと、
前記識別情報に基づいて、前記Ｍ本の同期したストリームから再符号化対象となる矩形映像を構成するＮ（≦Ｍ）本のストリームを切り出すストリーム切り出しステップと、
前記ストリーム解析ステップにより解析された前記符号化情報を再利用し、前記ストリーム切り出しステップにより切り出されたＮ本のストリームをＬ本（１≦Ｌ≦Ｎ−１）に再符号化する再符号化ステップと
を含むことを特徴とする形式変換方法。
【請求項１１】
高解像度の映像を分割し、分割映像毎に識別情報を付与し、それぞれの分割映像を複数のビットレートで符号化・多重化することにより生成された映像ストリームを形式変換する形式変換装置が行う形式変換方法であって、
前記識別情報により管理されたＭ本の同期したストリームを復号して、動ベクトル情報を得る復号化ステップと、
前記識別情報に基づいて、前記復号化ステップにより復号された映像を切り出す映像切り出しステップと、
前記復号化ステップによる復号化時に得られた前記動ベクトル情報を再利用し、前記映像切り出しステップにより切り出された映像をＬ本（１≦Ｌ≦Ｍ−１）に再符号化する再符号化ステップと
を含むことを特徴とする形式変換方法。
【請求項１２】
多重化装置において高解像度の映像を分割し、分割映像毎に識別情報を付与し、それぞれの分割映像を複数のビットレートで符号化・多重化することにより生成された映像ストリームを、映像配信装置から映像受信端末へ配信する映像配信方法であって、
前記多重化装置が、映像配信の事前準備として、高解像度の入力映像をタイル分割するステップと、
前記多重化装置が、前記タイル分割された映像を符号化・多重化して映像ストリームを生成するステップと、
前記多重化装置が、前記生成された前記映像ストリームを蓄積するステップと、
前記映像受信端末が、ユーザからの注視領域指定があると、該注視領域指定に関連付けられたコマンドを前記映像配信装置に送信するステップと、
前記映像配信装置が、前記コマンドに対応した映像ストリームを、前記多重化装置から取り出すステップと、
前記映像配信装置が、前記取り出された映像ストリームの符号化情報を解析することにより、参照ピクチャ番号、動ベクトル情報、可変ブロックサイズ動き補償時のブロック分割パターン情報、画面内予測モード情報の符号化情報の少なくとも１つを抽出するステップと、
前記映像配信装置が、前記映像受信端末からのコマンドに対応したストリームを、前記映像ストリームから切り出すステップと、
前記映像配信装置が、前記解析により得られた前記符号化情報を再利用し、前記切り出したストリームを再符号化するステップと、
前記映像配信装置が、前記再符号化されたストリームを前記映像受信端末へ配信するステップと、
前記映像受信端末が、前記映像配信装置から配信されるストリームを、前記注視領域指定により指定した注視領域の映像として表示するステップと
を含むことを特徴とする映像配信方法。
【請求項１３】
多重化装置において高解像度の映像を分割し、分割映像毎に識別情報を付与し、それぞれの分割映像を複数のビットレートで符号化・多重化することにより生成された映像ストリームを、映像配信装置から映像受信端末へ配信する映像配信方法であって、
前記多重化装置が、映像配信の事前準備として、高解像度の入力映像をタイル分割するステップと、
前記多重化装置が、前記タイル分割された映像を符号化・多重化して映像ストリームを生成するステップと、
前記多重化装置が、前記生成された前記映像ストリームを蓄積するステップと、
前記映像受信端末が、ユーザからの注視領域指定があると、該注視領域指定に関連付けられたコマンドを前記映像配信装置に送信するステップと、
前記映像配信装置が、前記コマンドに対応した映像ストリームを、前記多重化装置から取り出すステップと、
前記映像配信装置が、前記取り出された映像ストリームを復号して、動ベクトル情報を得るステップと、
前記映像配信装置が、前記復号された映像から前記コマンドで指示される映像を切り出すステップと、
前記映像配信装置が、前記復号化時に得られた前記動ベクトル情報を再利用し、前記切り出された映像を再符号化するステップと、
前記映像配信装置が、前記再符号化されたストリームを前記映像受信端末へ配信するステップと、
前記映像受信端末が、前記映像配信装置から配信されるストリームを、前記注視領域指定により指定した注視領域の映像として表示するステップと
を含むことを特徴とする映像配信方法。
【請求項１４】
前記符号化・多重化して映像ストリームを作成するステップは、
前記タイル分割された各分割映像を、異なる符号化レートで符号化することを特徴とする請求項１２または１３に記載の映像配信方法。
【請求項１５】
前記入力映像をタイル分割するステップの前に、前記入力映像を複数の解像度の映像に解像度変換するステップを更に含むことを特徴とする請求項１２または１３に記載の映像配信方法。
【請求項１６】
コンピュータを、請求項３または４に記載の映像配信装置として機能させるためのプログラム。
【請求項１７】
コンピュータを、請求項５または６に記載の映像配信装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現状のＨ．２６４映像符号化方式では対応できないような高解像度の映像を符号化・多重化し、多様な端末に向けて配信表示する形式変換装置、映像配信装置、多重化装置、形式変換方法、映像配信方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、Ｈ．２６４の映像符号化方式では、４Ｋ×２Ｋ（水平画素数４０００×垂直画素数２０００）以下の映像を符号化することしかできず（例えば、非特許文献１参照）、４Ｋ×２Ｋを超える映像に対し、符号化する手段がなかった。そこで、４Ｋ×２Ｋを超える高解像度映像に対しては、高解像度映像を複数の小領域映像に分割してから、符号化する手法が用いられている（例えば、非特許文献２参照）。この非特許文献２では、上記小領域映像を複数のカメラからの映像と見立てて、国際標準符号化方式Ｈ．２６４  Ａｎｎｅｘ  Ｈで規定されている多視点映像符号化（ＭＶＣ：Multi-view Video Coding）を用いて符号化を行っている。
【０００３】
ＭＶＣでは、複数の映像符号化データが多重化された形で圧縮符号化される。同じタイムスタンプのフレームの符号化データが連続して多重化される。すなわち、符号化データは、複数の映像データが多重化されたストリームになる。同じタイムスタンプのフレームが連続して多重化されているため、復号器は、ＭＶＣの符号化データを復号することで、同じタイムスタンプの複数のカメラ映像を連続して復号して出力することができる。
【０００４】
図１４は、従来技術による映像伝送システムの構成を示すブロック図である。図において、従来技術の映像伝送システムは、多重化装置１、映像配信装置２、映像受信端末３から構成される。多重化装置１において、符号化部１０１は、例えば、ＭＶＣ符号化部であり、Ｍ本の入力ストリームを同一の固定符号化レートで符号化・多重化し、多重化データを作成する。ストリーム蓄積部１０２は、このＭ本のストリームを含む多重化データを蓄積する。
【０００５】
映像配信装置２において、ストリーム送信部１０３は、ストリーム蓄積部１０２に蓄積されているＭ本の多重化ストリームからＮ（≦Ｍ）本のストリームを取り出し、映像受信端末３へ送出する。ここで、Ｎ本のストリームを送出するためには、Ｎ×固定符号化レート分の伝送レートが必要となる。
【０００６】
映像受信端末３において、データ受信部１０４は、Ｎ本のストリームを受信する。復号化部１０５は、Ｎ本のストリームを復号する。映像表示部１０６は、部分映像を表示する。
【０００７】
なお、ここでは、Ｍ本のストリーム（全体ストリーム）から構成される映像を「全体映像」、Ｎ（≦Ｍ）本のストリーム（部分ストリーム）から構成される映像を「部分映像」、１本のストリームから構成される映像を「単位映像」と定義する。つまり、全体映像は、Ｍ個の単位映像、部分映像は、Ｎ個の単位映像から構成される。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】大久保ほか：「改訂三版Ｈ．２６４／ＡＶＣ教科書」、インプレスＲ＆Ｄ
【非特許文献２】Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani, ”Panorama video coding for user-driven interactive video application,” IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述したＭＶＣを用いた従来技術では、ＨＤ（高精細度：High Definition）サイズを超えるような高解像度映像を、実網などの制限された伝送帯域以下で、多様な端末へ配信するためには以下の問題があった。
【００１０】
具体的には、
（１）伝送レート＜Ｎ×固定符号化レートの場合には、Ｎ本の部分ストリームから構成される部分映像を伝送帯域以下では映像配信できない。
（２）ＭＶＣデコーダが搭載された端末のみでしか映像を再生できない。
（３）映像受信端末の映像視聴領域が拡大されると、映像受信端末の処理負荷が増大する。一般的に、ユーザが映像注視領域を拡大（例えば、後述する図４において、注視領域１から注視領域２への拡大）すると、デコードしなくてはいけない単位映像が増加し、その結果、端末の処理負荷が増大する。
（４）配信装置にアクセスしている端末の増加とともに配信装置の処理負荷が増大する。
といった課題がある。
【００１１】
本発明は、このような事情を考慮してなされたものであり、その目的は、再符号化処理演算量を低減でき、映像配信装置の処理負荷を小さくでき、配信性能を向上させることができる形式変換装置、映像配信装置、多重化装置、形式変換方法、映像配信方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上述した課題を解決するために、本発明は、圧縮符号化された映像ストリームを形式変換する形式変換装置であって、識別情報により管理されたＭ本の同期したストリームの符号化情報を解析するストリーム解析部と、前記識別情報に基づいて、前記Ｍ本の同期したストリームから再符号化対象となる矩形映像を構成するＮ（≦Ｍ）本のストリームを切り出すストリーム切り出し部と、前記ストリーム解析部により解析された符号化情報を再利用し、前記ストリーム切り出し部により切り出されたＮ本のストリームをＬ本（１≦Ｌ≦Ｎ−１）に再符号化する再符号化部とを備えることを特徴とする形式変換装置である。
【００１３】
上述した課題を解決するために、本発明は、高解像度の映像を分割し、分割映像毎に識別情報を付与し、それぞれの分割映像を複数のビットレートで符号化・多重化することにより生成された映像ストリームを形式変換する形式変換装置であって、識別情報により管理されたＭ本の同期したストリームの符号化情報を解析するストリーム解析部と、前記識別情報に基づいて、前記Ｍ本の同期したストリームから再符号化対象となる矩形映像を構成するＮ（≦Ｍ）本のストリームを切り出すストリーム切り出し部と、前記ストリーム解析部により解析された符号化情報を再利用し、前記ストリーム切り出し部により切り出されたＮ本のストリームをＬ本（１≦Ｌ≦Ｎ−１）に再符号化する再符号化部とを備えることを特徴とする形式変換装置である。
【００１４】
上述した課題を解決するために、本発明は、圧縮符号化された映像ストリームを形式変換する装置であって、識別情報により管理されたＭ本の同期したストリームを復号する復号化部と、前記識別情報に基づいて、前記復号化部により復号された映像を切り出す映像切り出し部と、前記復号化部による復号化時に得られた符号化情報を再利用し、前記映像切り出し部により切り出された映像をＬ本（１≦Ｌ≦Ｍ−１）に再符号化する再符号化部とを備えることを特徴とする形式変換装置である。
【００１５】
上述した課題を解決するために、本発明は、高解像度の映像を分割し、分割映像毎に識別情報を付与し、それぞれの分割映像を複数のビットレートで符号化・多重化することにより生成された映像ストリームを形式変換する装置であって、識別情報により管理されたＭ本の同期したストリームを復号する復号化部と、前記識別情報に基づいて、前記復号化部により復号された映像を切り出す映像切り出し部と、前記復号化部による復号化時に得られた符号化情報を再利用し、前記映像切り出し部により切り出された映像をＬ本（１≦Ｌ≦Ｍ−１）に再符号化する再符号化部とを備えることを特徴とする形式変換装置である。
【００１６】
上述した課題を解決するために、本発明は、映像受信端末へ圧縮符号化された映像ストリームを配信する映像配信装置であって、前記映像受信端末からのコマンドを受信する受信部と、前記受信部により受信されたコマンドで指示されるストリームの符号化情報を解析するストリーム解析部と、前記受信部により受信されたコマンドで指示されるストリームを切り出すストリーム切り出し部と、前記ストリーム解析部により解析された符号化情報を再利用し、前記ストリーム切り出し部により切り出されたストリームを再符号化する再符号化部と、前記再符号化部により再符号化された映像を前記映像受信端末に送信する送信部とを備えることを特徴とする映像配信装置である。
【００１７】
本発明は、上記の発明において、前記ストリームは、高解像度の映像を分割し、分割映像毎に識別情報を付与し、それぞれの分割映像を複数のビットレートで符号化・多重化することにより生成されたストリームであり、前記再符号化部は、前記映像受信端末が接続されている回線の伝送帯域以下で再符号化する際に、伝送帯域以下という条件で、各分割映像で事前に符号化されている複数のビットレートのうち、最大のビットレートで符号化した場合の符号化情報を再利用し、前記ストリーム切り出し部により切り出されたストリームを再符号化することを特徴とする。
【００１８】
上述した課題を解決するために、本発明は、映像受信端末へ圧縮符号化された映像ストリームを配信する映像配信装置であって、前記映像受信端末からのコマンドを受信する受信部と、前記受信部により受信されたコマンドで指示されるストリームを復号する復号化部と、前記復号化部により復号された映像から前記受信部により受信されたコマンドで指示される映像を切り出す映像切り出し部と、前記復号化部による復号化時に得られた符号化情報を再利用し、前記映像切り出し部により切り出された映像を再符号化する再符号化部と、前記再符号化部により再符号化された映像を前記映像受信端末に送信する送信部とを備えることを特徴とする映像配信装置である。
【００１９】
本発明は、上記の発明において、前記ストリームは、高解像度の映像を分割し、分割映像毎に識別情報を付与し、該分割映像を複数のビットレートで符号化・多重化することにより生成されたストリームであり、前記再符号化部は、前記映像受信端末が接続されている回線の伝送帯域以下で再符号化する際に、伝送帯域以下という条件で、各分割映像で事前に符号化されている複数のビットレートのうち、最大のビットレートで符号化した場合の符号化情報を再利用し、前記映像切り出し部により切り出された映像を再符号化することを特徴とする。
【００２０】
また、上述した課題を解決するために、本発明は、高解像度の映像をストリーム化し蓄積する多重化装置であって、前記映像を分割する映像分割部と、前記映像分割部により分割された分割映像毎に識別情報を付与し、前記分割映像を複数のビットレートで符号化・多重化してストリームを生成する符号化部と、前記符号化部により生成されたストリームを蓄積するストリーム蓄積部とを備えることを特徴とする多重化装置である。
【００２１】
本発明は、上記の発明において、前記符号化部は、前記タイル分割された各タイルを、異なる符号化レートで符号化することを特徴とする。
【００２２】
本発明は、上記の発明において、前記映像分割部は、前記映像のタイル分割の前に、前記入力映像を複数の解像度の映像に解像度変換することを特徴とする。
【００２３】
また、上述した課題を解決するために、本発明は、圧縮符号化された映像ストリームを形式変換する形式変換方法であって、識別情報により管理されたＭ本の同期したストリームの符号化情報を解析するステップと、前記識別情報に基づいて、前記Ｍ本の同期したストリームから再符号化対象となる矩形映像を構成するＮ（≦Ｍ）本のストリームを切り出すステップと、前記符号化情報を再利用し、前記切り出されたＮ本のストリームを再符号化するステップとを含むことを特徴とする形式変換方法である。
【００２４】
また、上述した課題を解決するために、本発明は、圧縮符号化された映像ストリームを形式変換する形式変換方法であって、識別情報により管理されたＭ本の同期したストリームを復号するステップと、前記識別情報に基づいて、前記復号された映像を切り出すステップと、前記復号化時に得られた符号化情報を再利用し、前記切り出された映像を再符号化するステップとを含むことを特徴とする形式変換方法である。
【００２５】
また、上述した課題を解決するために、本発明は、多重化装置で作成した映像ストリームを、映像配信装置から映像受信端末へ圧縮符号化された映像ストリームとして配信する映像配信方法であって、前記多重化装置により、映像配信の事前準備として、入力映像をタイル分割するステップと、前記多重化装置により、前記分割された映像を符号化・多重化してストリームを作成するステップと、前記多重化装置により、前記作成されたストリームを蓄積ストリームとして蓄積するステップと、前記映像受信端末により、ユーザからの注視領域指定があると、該注視領域指定に関連付けられたコマンドを前記映像配信装置に送信するステップと、前記映像配信装置により、前記コマンドに対応した蓄積ストリームを、前記多重化装置から取り出すステップと、前記映像配信装置により、前記取り出された蓄積ストリームの符号化情報を解析するステップと、前記映像配信装置により、前記映像受信端末からのコマンドに対応したストリームを、前記蓄積ストリームから切り出すステップと、前記映像配信装置により、前記解析により得られた符号化情報を再利用し、前記切り出したストリームを再符号化するステップと、前記映像配信装置により、前記再符号化されたストリームを前記映像受信端末へ配信するステップと、前記映像受信端末により、前記映像配信装置から配信されるストリームを、前記注視領域指定により指定した注視領域の映像として表示するステップとを含むことを特徴とする映像配信方法である。
【００２６】
また、上述した課題を解決するために、本発明は、多重化装置で作成した映像ストリームを、映像配信装置から映像受信端末へ圧縮符号化された映像ストリームとして配信する映像配信方法であって、前記多重化装置により、映像配信の事前準備として、入力映像をタイル分割するステップと、前記多重化装置により、前記分割された映像を符号化・多重化してストリームを作成するステップと、前記多重化装置により、前記作成されたストリームを蓄積ストリームとして蓄積するステップと、前記映像受信端末により、ユーザからの注視領域指定があると、該注視領域指定に関連付けられたコマンドを前記映像配信装置に送信するステップと、前記映像配信装置により、前記コマンドに対応した蓄積ストリームを、前記多重化装置から取り出すステップと、前記映像配信装置により、前記取り出された蓄積ストリームを復号するステップと、前記映像配信装置により、前記復号された映像から前記コマンドで指示される映像を切り出すステップと、前記映像配信装置により、前記復号化時に得られた符号化情報を再利用し、前記切り出された映像を再符号化するステップと、前記映像配信装置により、前記再符号化されたストリームを前記映像受信端末へ配信するステップと、前記映像受信端末により、前記映像配信装置から配信されるストリームを、前記注視領域指定により指定した注視領域の映像として表示するステップとを含むことを特徴とする映像配信方法である。
【００２７】
本発明は、上記の発明において、前記符号化・多重化してストリームを作成するステップは、前記タイル分割された各タイルを、異なる符号化レートで符号化することを特徴とする。
【００２８】
本発明は、上記の発明において、前記入力映像をタイル分割するステップの前に、前記入力映像を複数の解像度の映像に解像度変換するステップを更に含むことを特徴とする。
【００２９】
また、上述した課題を解決するために、本発明は、映像受信端末へ圧縮符号化された映像ストリームを配信する映像配信装置のコンピュータに、前記映像受信端末からのコマンドを受信する受信機能、前記受信機能により受信されたコマンドで指示されるストリームの符号化情報を解析するストリーム解析機能、前記受信機能により受信されたコマンドで指示されるストリームを切り出すストリーム切り出し機能、前記ストリーム解析機能により解析された符号化情報を再利用し、前記ストリーム切り出し機能により切り出されたストリームを再符号化する再符号化機能、前記再符号化機能により再符号化された映像を前記映像受信端末に送信する送信機能を実行させることを特徴とするプログラムである。
【００３０】
また、上述した課題を解決するために、本発明は、映像受信端末へ圧縮符号化された映像ストリームを配信する映像配信装置のコンピュータに、前記映像受信端末からのコマンドを受信する受信機能、前記受信機能により受信されたコマンドで指示されるストリームを復号する復号化機能、前記復号化機能により復号された映像から前記受信機能により受信されたコマンドで指示される映像を切り出す映像切り出し機能、前記復号化機能による復号化時に得られた符号化情報を再利用し、前記映像切り出し機能により切り出された映像を再符号化する再符号化機能、前記再符号化機能により再符号化された映像を前記映像受信端末に送信する送信機能を実行させることを特徴とするプログラムである。
【発明の効果】
【００３１】
この発明によれば、再符号化処理演算量を低減でき、映像配信装置の処理負荷を小さくでき、配信性能を向上させることができる。
【図面の簡単な説明】
【００３２】
【図１】本第１実施形態による映像配信装置を含む映像配信システムの構成を示すブロック図である。
【図２】映像分割部２００による映像データのタイル分割例、及びタイル分割情報（タイルＩＤ）の付与例を示す概念図である。
【図３】図２に示すタイル分割された各タイルを、５００Ｋｂｐｓ、１Ｍｂｐｓ、１．５Ｍｂｐｓで符号化した場合のデータＩＤの付与例を示す概念図である。
【図４】入力映像の空間的な位置を示すタイルＩＤとデータＩＤとの対応表を示す概念図である。
【図５】本第１実施形態による形式変換装置２０８の構成を示すブロック図である。
【図６】本第１実施形態による形式変換装置２０８の動作を説明するためのフローチャートである。
【図７】本第１実施形態の映像配信システムの一連の動作を説明するためのシーケンス図である。
【図８】入力映像データのタイル分割、及びタイルＩＤの付与例を説明するための概念図である。
【図９】本第１実施形態による映像受信端末３０におけるタイルＩＤの決定方法を説明するための概念図である。
【図１０】本第２実施形態による映像配信装置を含む映像配信システムの構成を示すブロック図である。
【図１１】本第２実施形態による形式変換装置３０８の構成を示すブロック図である。
【図１２】本第２実施形態による形式変換装置３０８の動作を説明するためのフローチャートである。
【図１３】本第２実施形態の映像配信システムの一連の動作を説明するためのシーケンス図である。
【図１４】従来技術による映像伝送システムの構成を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、本発明の一実施形態を、図面を参照して説明する。
【００３４】
Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。本第１実施形態は、多重化装置に蓄積されているストリーム（高解像度の映像を分割し、分割映像毎に識別情報を付与し、それぞれの分割映像を複数のビットレートで符号化・多重化することにより生成された映像ストリーム）を映像配信装置にて復号せずに、ストリームを切り出し、再符号化する形式変換装置２０８を備えることを特徴とする。
【００３５】
図１は、本第１実施形態による映像配信装置を含む映像配信システムの構成を示すブロック図である。図１において、本第１実施形態の映像配信システムは、多重化装置１０、形式変換装置２０８を含む映像配信装置２０、映像受信端末３０から構成される。多重化装置１０は、映像分割部２００、符号化部２０１、及びストリーム蓄積部２０２からなる。映像分割部２００は、映像（Ｍ本の同期したストリーム）をタイル分割し（例えば、後述する図２を参照）、小領域の映像データからなるタイル映像を作成する。符号化部２０１は、これらタイル映像を複数の符号化レートを指定する符号化パラメータ（例えば、ビットレートや、ＱＰ値や映像品質値など）で符号化・多重化し、映像データを作成する。
【００３６】
ストリーム蓄積部２０２は、タイル分割情報（例えば、後述する図２を参照）、及びタイルＩＤ（例えば、後述する図２を参照）で管理されたタイルにおける映像毎に符号化、及び多重化された映像データにデータＩＤ（例えば、図３を参照）を付与して蓄積する。また、ストリーム蓄積部２０２は、タイルＩＤとデータＩＤの対応表（例えば、図４を参照）を蓄積する。
【００３７】
なお、符号化部２０１としては、ＩＤにより管理された複数の同期ストリームが作成可能な、Ｈ．２６４  Ａｎｎｅｘ  Ｈで規定されている多視点映像符号化（ＭＶＣ）などが利用できる。
【００３８】
映像配信装置２０は、ストリーム解析部２０３、ストリーム切り出し部２０４、及び再符号化部２０５を備える形式変換装置２０８と、ストリーム送信部２０６と、コマンド受信部とを備えている。ストリーム解析部２０３は、多重化装置１０におけるストリーム蓄積部２０２からストリームを取り出してストリーム解析を行い、該ストリーム解析から得られる符号化情報（参照ピクチャ番号、動ベクトル情報、可変ブロックサイズ動き補償時のブロック分割パターン情報、画面内予測モード情報など）のうち少なくとも１つの情報を抽出する。
【００３９】
コマンド受信部２０７は、映像受信端末３０からデータＩＤ、または注視領域情報を含むコマンドを受信する。ストリーム切り出し部２０４は、該コマンドに基づいて、データＩＤ、または注視領域情報に関連するストリーム（Ｎ（≦Ｍ）本のストリーム）を切り出す。再符号化部２０５は、符号化情報のうち、少なくとも１つの情報を再利用して、切り出されたＮ本のストリームをＬ本（１≦Ｌ≦Ｎ−１）に再符号化する。ストリーム送信部２０６は、再符号化後の映像を映像受信端末３０に配信する。なお、上記コマンドには、映像受信端末３０が接続されている伝送帯域の情報や、映像受信端末３０のスペックなどの情報が含まれていてもよい。
【００４０】
図２は、映像分割部２００による映像データのタイル分割例、及びタイル分割情報（タイルＩＤ）の付与例を示す概念図である。例えば、入力映像サイズを５１２０×１２８０画素、タイルサイズを６４０×３２０画素とした場合、入力映像は、図２に示すように、タイル分割される。各タイルには、０から３１のタイルＩＤが付与される。タイルの１，２，３，９，１０，１１，１７，１８、１９が注視領域１であり、０，１，２，３，４，５，６，８，９，１０，１１，１２，１３，１４，１６，１７，１８，１９，２０，２１，２２，２４，２５，２６，２７，２８，２９，３０が注視領域２であると想定する。
【００４１】
図３は、図２に示すタイル分割された各タイルを、５００Ｋｂｐｓ、１Ｍｂｐｓ、１．５Ｍｂｐｓで符号化した場合のデータＩＤの付与例を示す概念図である。例えば、図２に示す各タイルを、３種類のビットレート５００Ｋｂｐｓ、１Ｍｂｐｓ、１．５Ｍｂｐｓで符号化した場合、図３に示すように、順に１００〜１３１、２００〜２３１、３００〜３３１のデータＩＤを付与する。
【００４２】
図４は、入力映像の空間的な位置を示すタイルＩＤとデータＩＤとの対応表を示す概念図である。該対応表は、図２に示す高解像度タイルに付与されたタイルＩＤと、図３に示すビットレートでのデータＩＤとを対応付けたものである。すなわち、０，１，…，３１のタイルＩＤに対して、ビットレートが５００Ｋｂｐｓでの１００，１０１，…，１３１のデータＩＤが対応付けられており、ビットレートが１Ｍｂｐｓでの２００，２０１，…，２３１のデータＩＤが対応付けられており、ビットレートが１．５Ｍｂｐｓでの３００，３０１，・・・，３３１のデータＩＤが対応付けられている。
【００４３】
このように、複数のビットレートで事前に符号化することで、映像配信装置２０における形式変換装置２０８の処理負荷を軽減しつつ、符号化効率を向上することができる。ストリーム蓄積部２０２には、これらＩＤで管理された符号化データを多重化した多重化データが保存されるとともに、図４に示すようなタイルＩＤとデータＩＤとの対応表も保存される。
【００４４】
図５は、本第１実施形態による形式変換装置２０８の構成を示すブロック図である。形式変換装置２０８は、入力されたＩＤに関連するストリームをストリーム蓄積部２０２から切り出すストリーム切り出し部２０４と、符号化情報を抽出するためのストリーム解析部２０３と、符号化情報を再利用して再符号化する再符号化部２０５とから構成される。
【００４５】
図６は、本第１実施形態による形式変換装置２０８の動作を説明するためのフローチャートである。形式変換装置２０８は、外部からのＩＤ指定があった場合（ステップＳａ１）、ＩＤに関連したストリームの切り出しを行うとともに（ステップＳａ２）、ストリームの解析を行う（ステップＳａ３）。前記解析から抽出された符号化情報を再利用し、Ｎ本のストリームをＬ本（１≦Ｌ≦Ｎ−１）に再符号化を行い（ステップＳａ４）、再符号化ストリームの作成を行う。
【００４６】
図７は、本第１実施形態の映像配信システムの一連の動作を説明するためのシーケンス図である。まず、多重化装置１０では、映像配信の事前準備として、入力映像をタイル分割し（ステップＳ１１）、符号化・多重化してストリームを作成し（ステップ１２）、ストリーム蓄積を行う（ステップ１３）。
【００４７】
ここで、映像受信端末３０より注視領域指定があると（ステップＳ１４）、それに関連付けられたコマンドが映像配信装置２０に送信され（ステップＳ１５）、映像配信装置２０からストリーム要求が多重化装置１０に送信される（ステップＳ１６）。多重化装置１０からは、コマンドに対応した蓄積ストリームが伝送される（ステップＳ１７）。
【００４８】
次に、映像配信装置２０にて、蓄積ストリームの解析を行い（ステップＳ１８）、蓄積ストリームから映像受信端末３０からのコマンドに対応したストリーム切り出し（ステップＳ１９）、該解析の結果得られた符号化情報を再利用することで、演算負荷を軽減した再符号化を行う（ステップＳ２０）。この結果得られた再符号化ストリームが映像受信端末３０へ配信され（ステップＳ２１）、映像受信端末３０にて、注視領域が表示される（ステップＳ２２）。
【００４９】
ここで、上述した動作において、ステップＳ１１で入力映像をタイル分割する前に、解像度変換するようなケースについて説明する。図８は、入力映像データのタイル分割、及びタイルＩＤの付与例を説明するための概念図である。上述した動作において、ステップＳ１１で入力映像をタイル分割する前に、図８に示すように、入力映像を複数の解像度に変換した後に、タイル分割し、タイルＩＤを付与し、符号化・多重化しストリームを作成し、ストリーム蓄積する。
【００５０】
図８に示す例では、高解像度、中解像度、及び低解像度に変換した後、各解像度の映像データ毎にタイル分割する。図８の例では、高解像度の映像データは、１つが６４０×３２０画素からなるタイルサイズの３２個のタイルに分割され、中解像度の映像データは、１つが６４０×３２０画素からなるタイルサイズの８個のタイルに分割され、低解像度の映像データは、１つが６４０×３２０画素からなるタイルサイズの２個のタイルに分割される。各タイルに付された数字が、タイル分割情報（タイルＩＤ）である。
【００５１】
続いて、ステップＳ１４で、注視領域指定の変化に適用した解像度に対応づけられたタイルＩＤを用いて映像配信装置２０へ再符号化ストリームの配信要求を行い、再符号化ストリームを受信することで、映像受信端末３０の処理負荷を軽減することもできる。例えば、映像受信端末３０において、前述した図４に示す注視領域１から注視領域２へ注視領域指定の変化があった場合、復号化対象タイル数が増大し、映像受信端末３０の負荷が増加するため、低解像度の映像を配信するといったことが、入力映像を複数の解像度へ変換することで可能となる。
【００５２】
ここで、図９（ａ）、（ｂ）は、本第１実施形態による映像受信端末３０におけるタイルＩＤの決定方法を説明するための概念図である。例えば、図９（ａ）に示すように、映像受信端末３０で指定される注視領域の左上頂点座標が（ｘ，ｙ）＝（９６０，１００）であった場合、注視領域の４頂点を含むタイルＩＤは１、４、２５、２８となり、このタイルを４頂点とする四辺形領域に含まれるタイルＩＤは、１，２，３，４，９，１０，１１，１２，１７，１８，１９，２０，２５，２６，２７，２８となる。
【００５３】
映像受信端末３０からは、タイルＩＤ群：１，２，３，４，９，１０，１１，１２，１７，１８，１９，２０，２５，２６，２７，２８の映像配信要求と、注視領域情報（例えば、注視領域サイズと左上頂点の座標など）が映像配信装置２０にコマンド送信される。該コマンドは、ストリーム切り出し部２０４、及びストリーム解析部２０３、ストリーム蓄積部２０２に通知され、ストリームの取り出し、及び切り出しが行われる。次に、注視領域を含む上記タイルＩＤ群から構成されるストリームを再符号化する際に、ストリーム解析部２０３にて抽出された符号化情報（参照ピクチャ番号、動ベクトル情報、可変ブロックサイズ動き補償時のブロック分割パターン情報、画面内予測モード情報など）を再利用する。
【００５４】
以下、符号化情報として、動ベクトル情報を再利用する場合の例について説明する。一般的に、ＭＰＥＧ４などの一般的な映像符号化方式では、映像を格子状のブロックに分割し、各ブロック（以下、マクロブロック）を単位として動ベクトルを求め、マクロブロック毎に動き補償を施し、その結果の動き補償誤差を直交変換、ならびに量子化する。
【００５５】
各マクロブロックには、符号化時に求められた符号化情報（参照ピクチャ番号、動ベクトル情報、可変ブロックサイズ動き補償時のブロック分割パターン情報、画面内予測モード情報など）が割り当てられている。
【００５６】
図９（ｂ）に示すように、再符号化対象領域を各タイルから構成するようにした場合、再符号化対象マクロブロックは、入力映像符号化時のマクロブロックと一致するため、動ベクトル情報をそのまま再利用できる。しかしながら、動ベクトル探索の際に符号化時のビットレートが異なると、参照画像の画像品質が異なるため、動ベクトル結果が異なることとなる。そこで、図９（ｂ）における再符号化対象領域（合計１６タイル）を１６Ｍｂｐｓで再符号化する場合には、各タイル１Ｍｂｐｓで符号化した際の動ベクトル情報を再利用すればよい。これにより、動ベクトル探索の演算負荷を軽減できる。
【００５７】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。なお、ここでは、第１実施形態と異なる部分についてのみ説明する。本第２実施形態は、多重化装置１０に蓄積されているストリーム（高解像度の映像を分割し、分割映像毎に識別情報を付与し、それぞれの分割映像を複数のビットレートで符号化・多重化することにより生成された映像ストリーム）を映像配信装置２０にて復号して映像に戻してから、映像を切り出し、再符号化する形式変換装置３０８を備えることを特徴とする。
【００５８】
図１０は、本第２実施形態による映像配信装置を含む映像配信システムの構成を示すブロック図である。図１０において、本第２実施形態の映像配信システムは、多重化装置１０、形式変換装置３０８を含む映像配信装置２０、映像受信端末３０から構成される。第１実施形態とは、形式変換装置３０８が異なる。本第２実施形態では、ストリーム解析部２０３が復号化部３０３となり、ストリーム切り出し部２０４が映像切り出し部３０４に交換されている。つまり、第２実施形態では、蓄積ストリームを一度映像に戻してから再符号化を実施する。また、動ベクトル情報の再利用に関して、映像切り出し部３０４での切り出し方法で再利用の方法が異なる。
【００５９】
映像切り出し部３０４にて、図９（ｂ）に示す再符号対象領域で映像を切り出す場合、再符号化対象領域内のすべてのマクロブロックの動ベクトルを再利用できる。一方、図９（ｂ）の注視領域で映像を切り出す場合、入力映像の符号化は、各タイル単位で行われるため、注視領域の各辺に位置するタイル（タイルＩＤ＝１，２，３，４，９，１２，１７，２０，２５，２６，２７，２８）に含まれるマクロブロックの動ベクトルは、注視領域の外側の領域を参照している可能性があり、再利用できない。したがって、注視領域内に存在するタイル（タイルＩＤ＝１０，１１，１８，１９）の動ベクトルのみ再利用することとなる。
【００６０】
図１１は、本第２実施形態による形式変換装置３０８の構成を示すブロック図である。形式変換装置３０８は、入力されたＩＤに関連するストリームをストリーム蓄積部２０２から取り出して復号する復号化部３０３、復号化された映像を切り出す映像切り出し部３０４、切り出された映像を復号化時に得られた符号化情報を再利用してＬ本（１≦Ｌ≦Ｍ−１）に再符号化する再符号化部２０５から構成される。
【００６１】
図１２は、本第２実施形態による形式変換装置３０８の動作を説明するためのフローチャートである。形式変換装置３０８は、外部からのＩＤ指定があった場合（ステップＳｂ１）、ＩＤに関連したストリームの取出し（ステップＳｂ２）、復号化を行う（ステップＳｂ３）。この復号化された映像に対して、映像を切り出し（ステップＳｂ４）、復号化時に得られた符号化情報を再利用し、上記切り出し映像の再符号化を行い（ステップＳｂ５）、再符号化ストリームの作成を行う。
【００６２】
図１３は、本第２実施形態の映像配信システムの一連の動作を説明するためのシーケンス図である。まず、多重化装置１０では、映像配信の事前準備として、入力映像をタイル分割し（ステップＳ３１）、符号化・多重化してストリームを作成し（ステップＳ３２）、ストリーム蓄積を行う（ステップＳ３３）。
【００６３】
ここで、映像受信端末３０より注視領域指定があると（ステップＳ３４）、それに関連付けられたコマンドが映像配信装置２０に送信され（ステップＳ３５）、映像配信装置２０からストリーム要求が多重化装置１０に送信される（ステップＳ３６）。多重化装置１０からは、コマンドに対応した蓄積ストリームが伝送される（ステップＳ３７）。
【００６４】
次に、映像配信装置２０にて、蓄積ストリームの復号化を行い（ステップＳ３８）、映像受信端末３０からのコマンドに関連した映像を、復号化した映像から切り出し（ステップＳ３９）、復号化時に得られた符号化情報を再利用することで、演算負荷を軽減した再符号化を行う（ステップＳ４０）。この結果、得られた再符号化ストリームが映像受信端末３０へ配信され（ステップＳ４１）、映像受信端末３０にて、注視領域が表示される（ステップＳ４２）。
【００６５】
なお、図１に示す形式変換装置２０８及び図１０に示す形式変換装置３０８では、図８における、タイルＩＤ＝０，１，２，３，８，９，１０，１１，１６，１７，１８，１９，２４，２５，２６，２７の各タイルの単位映像を１本の映像ストリームタイルで、ＩＤ＝４０，４１，４４，４５，８０の各タイルの単位映像を１本の映像ストリームのように複数の映像ストリームに再符号化するようにしてもよい。
【００６６】
上述した第１、第２実施形態によれば、以下の効果が得られる。
１）再符号化処理演算量を低減でき、伝送レート以下で高解像度映像を配信できる。
２）ＩＤにより管理された複数の同期ストリーム（例えば、ＭＶＣ符号化後のストリーム）を別の符号化フォーマットに変換し、映像を配信できる。
３）多様な映像受信端末３０から同時にアクセスされた場合でも、映像受信端末から要求された映像注視領域を含む映像を配信できる。
４）ＩＤにより管理された複数の同期ストリーム（例えば、ＭＶＣ符号化後のストリーム）を再符号化する際に、同期ストリームに含まれる符号化パラメータを利用することができる。
【符号の説明】
【００６７】
１０  多重化装置
２０  映像配信装置
３０  映像受信端末
２００  映像分割部
２０１  符号化部
２０２  ストリーム蓄積部
２０３  ストリーム解析部
２０４  ストリーム切り出し部
２０５  再符号化部
２０６  ストリーム送信部
２０７  コマンド受信部
２０８、３０８  形式変換装置
３０３  復号化部
３０４  映像切り出し部
【図１】
0005478346.tif 000002
【図２】
0005478346.tif 000003
【図３】
0005478346.tif 000004
【図４】
0005478346.tif 000005
【図５】
0005478346.tif 000006
【図６】
0005478346.tif 000007
【図７】
0005478346.tif 000008
【図８】
0005478346.tif 000009
【図９】
0005478346.tif 000010
【図１０】
0005478346.tif 000011
【図１１】
0005478346.tif 000012
【図１２】
0005478346.tif 000013
【図１３】
0005478346.tif 000014
【図１４】
0005478346.tif 000015