(57)【要約】【課題】処理負荷が少なく、かつ、画質劣化も少ないマルチ映像再生システムを提供することができる。【解決手段】コンテンツ配信サーバ１１は、複数の映像コンテンツそれぞれについて、表示サイズが異なる複数のストリームデータが予め作成されており、その予め作成されたストリームデータを用いてパラメータトランスコードを行うことにより、複数の映像コンテンツのなかから選択した２以上の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータを生成する。本発明は、例えば、コンテンツを配信するサーバ装置に適用できる。【選択図】図４
2012099890.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像コンテンツそれぞれについて、表示サイズが異なる複数のストリームデータが予め作成されており、その予め作成された前記ストリームデータを用いてパラメータトランスコードを行うことにより、前記複数の映像コンテンツのなかから選択した２以上の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータを生成する生成手段を備える
画像処理装置。
【請求項２】
前記生成手段は、前記マルチ映像再生画像を構成する前記映像コンテンツまたはその表示サイズ若しくは表示位置の変更に対して、表示する各映像コンテンツを、表示位置が変更された場合、表示サイズが変更された場合、映像コンテンツが変更された場合、または、変更がない場合に分類し、それぞれ、位置変更処理、サイズ変更処理、コンテンツ変更処理、変更なし処理を行う
請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記位置変更処理では、MV変換を考慮したパラメータトランスコードを行う
請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記コンテンツ変更処理では、変更後の映像コンテンツがライブ放送コンテンツであって、最初のピクチャタイプがＰピクチャである場合に、そのＰピクチャをＩピクチャに再符号化し、それ以降はパラメータトランスコードを行う
請求項２に記載の画像処理装置。
【請求項５】
他の装置から、前記マルチ映像再生画像として同時に表示する前記２以上の映像コンテンツのリクエストを受信し、前記他の装置に、前記生成手段により生成された前記マルチ映像再生画像の１ストリームのストリームデータを送信する通信手段をさらに備え、
前記生成手段は、前記リクエストに基づいて、前記マルチ映像再生画像の１ストリームのストリームデータを生成する
請求項１に記載の画像処理装置。
【請求項６】
前記複数の映像コンテンツそれぞれについて、前記表示サイズが異なる複数のストリームデータを作成する作成手段と、
前記作成された前記表示サイズが異なる複数のストリームデータを記憶する記憶手段と
をさらに備え、
前記生成手段は、前記記憶手段に記憶された前記表示サイズが異なる複数のストリームデータを用いて、前記マルチ映像再生画像の１ストリームのストリームデータを生成する
請求項１に記載の画像処理装置。
【請求項７】
複数の映像コンテンツそれぞれについて、表示サイズが異なる複数のストリームデータが予め作成されており、その予め作成された前記ストリームデータを用いてパラメータトランスコードを行うことにより、前記複数の映像コンテンツのなかから選択した２以上の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータを生成する
画像処理方法。
【請求項８】
複数の映像コンテンツのストリームデータを用いたパラメータトランスコードにより作成された、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータを受信し、受信した前記マルチ映像再生画像の１ストリームのストリームデータに基づいて、前記マルチ映像再生画像を所定の表示手段に表示させる
画像処理装置。
【請求項９】
複数の映像コンテンツのストリームデータを用いたパラメータトランスコードにより作成された、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータを受信し、受信した前記マルチ映像再生画像の１ストリームのストリームデータに基づいて、前記マルチ映像再生画像を所定の表示手段に表示させる
画像処理方法。
【請求項１０】
サーバ装置とクライアント装置とからなり、
前記サーバ装置は、
複数の映像コンテンツそれぞれについて、表示サイズが異なる複数のストリームデータが予め作成されており、その予め作成された前記ストリームデータを用いてパラメータトランスコードを行うことにより、前記複数の映像コンテンツのなかから選択した２以上の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータを生成する生成手段と、
前記生成手段により生成された前記マルチ映像再生画像の１ストリームのストリームデータを前記クライアント装置に送信する送信手段と
を備え、
前記クライアント装置は、
前記送信手段により送信された前記マルチ映像再生画像の１ストリームのストリームデータを受信する受信手段と、
受信した前記マルチ映像再生画像の１ストリームのストリームデータに基づいて、前記マルチ映像再生画像を所定の表示手段に表示させる表示制御手段と
を備える
画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および画像処理システムに関し、特に、処理負荷が少なく、かつ、画質劣化も少ないマルチ映像再生システムを提供するための画像処理装置、画像処理方法、および画像処理システムに関する。
【背景技術】
【０００２】
コンテンツのデジタル化が進み、映像を伝送できるインフラも整備されてきたことにより、インターネットを通じた映像配信が普及しつつある。最近では受信側の装置として、パーソナルコンピュータ以外に、ネットワークに接続可能なテレビジョン受像機も増えてきており、配信される映像コンテンツをテレビジョン受像機で見ることもできるようになってきている。また、近年、クラウドサービスの発展により、ネットワークを介して、プライベートコンテンツを含めた多様なチャンネルが視聴者に提供されるようになってきている。そのため、図１に示すような、複数の映像コンテンツを同時に視聴して、見たい映像コンテンツを簡単に探索することができるマルチ映像再生システムに対するニーズがより高くなってきている。
【０００３】
図１のマルチ映像再生システムにおいて、画面に表示されるマルチ映像再生画像は、複数の映像コンテンツで構成される。表示される複数の映像コンテンツのうち、主として視聴される映像コンテンツである主映像コンテンツが、最大サイズで画面中央に配置されている。そして、主映像コンテンツの周辺に、選択（切り替え）可能な他の映像コンテンツが、主映像コンテンツよりも小さいサイズで配置されている。選択可能な映像コンテンツは、例えば、TV放送のチャンネル、Web画面、映画などのビデオコンテンツ、TVチャット画面などであり、例えば、クラウド（ネットワーク）内から取得される。
【０００４】
このようなマルチ映像再生画像の表示を実現する第１の方法として、クラウド内のサーバから複数の映像コンテンツそれぞれに対応する複数のストリームを配信してもらう方法がある。クライアント側の装置は、複数のストリームを受信して復号化し、合成処理を行うことによって、マルチ映像再生画像を生成する。例えば、特許文献１には、複数のES(Elementary Stream)を受信し、表示優先度に基づいて優先度の高いESに広い面積の表示領域を割り当てるようにしたマルチ映像再生画像が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−０６４８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数のストリームを配信するためには、かなり広い伝送帯域が必要になるという問題がある。また、クライアント側の装置に、複数のストリームを同時に復号化し、合成処理する能力が要求されるため、受信機が高価になるというコスト面の問題も発生する。
【０００７】
その他のマルチ映像再生画像の表示を実現する第２の方法として、図２に示すように、サーバ側が１ストリームとしてマルチ映像再生画像を生成し、配信を行う方法がある。この場合、サーバは、合成する複数の映像コンテンツを一旦復号化（Decode）し、サイズ変更（Resize）と画像合成後に再度符号化（Encode）することによって、１ストリームのストリームデータを作成する。従って、サーバは、各映像コンテンツの復号化とサイズ変更、画像合成、および再符号化の処理を行うため、その負荷はかなり大きくなる。また、一旦復号化し、再符号化することによる画質の劣化も懸念される。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、処理負荷が少なく、かつ、画質劣化も少ないマルチ映像再生システムを提供することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の画像処理装置は、複数の映像コンテンツそれぞれについて、表示サイズが異なる複数のストリームデータが予め作成されており、その予め作成された前記ストリームデータを用いてパラメータトランスコードを行うことにより、前記複数の映像コンテンツのなかから選択した２以上の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータを生成する生成手段を備える。
【００１０】
本発明の第１の側面の画像処理方法は、複数の映像コンテンツそれぞれについて、表示サイズが異なる複数のストリームデータが予め作成されており、その予め作成された前記ストリームデータを用いてパラメータトランスコードを行うことにより、前記複数の映像コンテンツのなかから選択した２以上の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータを生成する。
【００１１】
本発明の第１の側面においては、複数の映像コンテンツそれぞれについて、表示サイズが異なる複数のストリームデータが予め作成されており、その予め作成されたストリームデータを用いてパラメータトランスコードを行うことにより、複数の映像コンテンツのなかから選択した２以上の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータが生成される。
【００１２】
本発明の第２の側面の画像処理装置は、複数の映像コンテンツのストリームデータを用いたパラメータトランスコードにより作成された、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータを受信し、受信した前記マルチ映像再生画像の１ストリームのストリームデータに基づいて、前記マルチ映像再生画像を所定の表示手段に表示させる。
【００１３】
本発明の第２の側面の画像処理方法は、複数の映像コンテンツのストリームデータを用いたパラメータトランスコードにより作成された、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータを受信し、受信した前記マルチ映像再生画像の１ストリームのストリームデータに基づいて、前記マルチ映像再生画像を所定の表示手段に表示させる。
【００１４】
本発明の第２の側面においては、複数の映像コンテンツのストリームデータを用いたパラメータトランスコードにより作成された、複数の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータが受信され、受信されたマルチ映像再生画像の１ストリームのストリームデータに基づいて、マルチ映像再生画像が所定の表示手段に表示される。
【００１５】
本発明の第３の側面の画像処理システムは、サーバ装置とクライアント装置とからなり、前記サーバ装置は、複数の映像コンテンツそれぞれについて、表示サイズが異なる複数のストリームデータが予め作成されており、その予め作成された前記ストリームデータを用いてパラメータトランスコードを行うことにより、前記複数の映像コンテンツのなかから選択した２以上の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータを生成する生成手段と、前記生成手段により生成された前記マルチ映像再生画像の１ストリームのストリームデータを前記クライアント装置に送信する送信手段とを備え、前記クライアント装置は、前記送信手段により送信された前記マルチ映像再生画像の１ストリームのストリームデータを受信する受信手段と、受信した前記マルチ映像再生画像の１ストリームのストリームデータに基づいて、前記マルチ映像再生画像を所定の表示手段に表示させる表示制御手段とを備える。
【００１６】
本発明の第３の側面においては、サーバ装置で、複数の映像コンテンツそれぞれについて、表示サイズが異なる複数のストリームデータが予め作成されており、その予め作成されたストリームデータを用いてパラメータトランスコードを行うことにより、複数の映像コンテンツのなかから選択した２以上の映像コンテンツを同時に表示するマルチ映像再生画像の１ストリームのストリームデータが生成され、クライアント装置に送信される。クライアント装置で、サーバ装置から送信されたマルチ映像再生画像の１ストリームのストリームデータが受信され、受信されたマルチ映像再生画像の１ストリームのストリームデータに基づいて、マルチ映像再生画像が所定の表示手段に表示される。
【発明の効果】
【００１７】
本発明の第１乃至第３の側面によれば、処理負荷が少なく、かつ、画質劣化も少ないマルチ映像再生システムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】マルチ映像再生システムを説明する図である。
【図２】マルチ映像再生画像を１ストリームとして配信する一例を示す図である。
【図３】本発明を適用したマルチ映像再生システムの一実施の形態の構成例を示すブロック図である。
【図４】本発明を適用したマルチ映像再生画像の生成方法について説明する図である。
【図５】本発明を適用したマルチ映像再生画像生成の概念的な機能ブロック図である。
【図６】パラメータトランスコードを行う符号化処理部の機能ブロック図である。
【図７】映像コンテンツの各種の変更が指示された場合の例を説明する図である。
【図８】映像コンテンツの各種の変更が指示された場合の例を説明する図である。
【図９】チャンネルリスト更新（生成）処理を説明するフローチャートである。
【図１０】クライアント側の起動処理を説明するフローチャートである。
【図１１】映像コンテンツ変更処理を説明するフローチャートである。
【図１２】視聴配置変更リクエスト受信処理を説明するフローチャートである。
【図１３】視聴配置リクエスト対応処理を説明するフローチャートである。
【図１４】マルチ映像再生画像生成処理を説明するフローチャートである。
【図１５】コンテンツ変更処理を説明するフローチャートである。
【図１６】位置変更処理を説明するフローチャートである。
【図１７】パラメータトランスコード処理を説明するフローチャートである。
【図１８】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
［マルチ映像再生システムの構成例］
図３は、本発明を適用したマルチ映像再生システムの一実施の形態の構成例を示している。
【００２０】
画像処理システムとしてのマルチ映像再生システム１は、映像コンテンツを配信するコンテンツ配信サーバ１１と、それとネットワーク１２を介して接続されているコンテンツ受信装置１３により構成される。
【００２１】
コンテンツ配信サーバ１１は、複数の映像コンテンツを１画面に合成し、１ストリームのストリームデータにして、クライアントであるコンテンツ受信装置１３に配信する。コンテンツ受信装置１３は、コンテンツ配信サーバ１１が配信する１ストリームのストリームデータを、インターネットなどのネットワーク１２を介して受信する。そして、コンテンツ受信装置１３は、受信した１ストリームのストリームデータに基づく画像（マルチ映像再生画像）を、自身が有する液晶ディスプレイなどの表示部、または、自身に接続されている表示装置に表示させる。コンテンツ受信装置１３は、例えば、ネットワーク接続機能を有するテレビジョン受像機やSTB(Set Top Box)、パーソナルコンピュータ等で構成することができる。
【００２２】
なお、図３では、１台のコンテンツ受信装置１３しか示していないが、ネットワーク１２には複数（多数）のコンテンツ受信装置１３が接続されており、コンテンツ配信サーバ１１は、１ストリームのストリームデータを、複数のコンテンツ受信装置１３にマルチキャスト送信する。
【００２３】
［マルチ映像再生画像の生成方法］
映像コンテンツA、B、C、及びDの４つの映像コンテンツを同時に表示するマルチ映像再生画像を生成する場合を例に、図４を参照して、コンテンツ配信サーバ１１によるマルチ映像再生画像の生成方法について説明する。
【００２４】
コンテンツ配信サーバ１１は、配信可能な複数の映像コンテンツそれぞれについて、MPEG-2，AVC（MPEG４ Part１０（Advanced Video Coding）などの所定の符号化方式で複数種類の表示サイズでエンコード（符号化）することで、表示サイズが異なる複数のストリームデータを予め作成し、記憶しておく。例えば、コンテンツ配信サーバ１１は、映像コンテンツAについて、大、中、小、の各サイズのストリームデータを作成する。映像コンテンツB、C、Dについても同様に、大、中、小、の各サイズのストリームデータが作成される。以下では、大、中、小、の各サイズを、サイズ（大）、サイズ（中）、サイズ（小）と記述する。なお、サイズ（大）は、画面サイズに対応するサイズである。作成するサイズの種類は、予め決定される。
【００２５】
図４に示すような、サイズ（小）の映像コンテンツA、B、及びCと、サイズ（中）の映像コンテンツDとからなるマルチ映像再生画像を生成する場合、コンテンツ配信サーバ１１は、予め作成しておいた表示サイズが異なる複数のストリームを利用して生成する。
【００２６】
具体的には、コンテンツ配信サーバ１１は、合成対象の複数の映像コンテンツの所定サイズのストリームデータを、画面の配置（表示位置）に応じて切り替えてパラメータトランスコードを行うことによって、配信するマルチ映像再生画像の１ストリームのストリームデータを作成する。
【００２７】
ここで、パラメータトランスコードとは、デコードして得られる情報パラメータを後段のエンコーダに渡し、エンコーダは、イントラ/インタータイプ決定処理、ブロックサイズ決定処理、動きベクトル（MV情報）算出処理、イントラ予測モード決定処理を省略し、新たに量子化値を決定した後に、渡された情報パラメータをそのまま使用して、画像データ（差分画像データ）に対してDCT処理、量子化処理を行う符号化処理である。情報パラメータは、例えば、マクロブロック（ＭＢ）のタイプ情報(イントラタイプ、インタータイプ)、ブロックサイズ情報、MV情報、イントラ予測モードなどである。
【００２８】
図５は、パラメータトランスコードを用いた本発明のマルチ映像再生画像生成の概念的な機能ブロック図を示している。
【００２９】
ハードディスク等のコンテンツ記憶部４１Aには、映像コンテンツAについて予め作成しておいた、サイズ（大）、サイズ（中）、サイズ（小）の各サイズのストリームデータが記憶されている。コンテンツ記憶部４１Bには、サイズ（大）、サイズ（中）、サイズ（小）の映像コンテンツBのストリームデータが記憶されている。コンテンツ記憶部４１Cとコンテンツ記憶部４１Dにも同様に、映像コンテンツCと映像コンテンツDのサイズ（大）、サイズ（中）、サイズ（小）のストリームデータが記憶されている。
【００３０】
サイズ（小）の映像コンテンツA、B、及びCと、サイズ（中）の映像コンテンツDとからなるマルチ映像再生画像を生成する場合、パラメータデコーダ４２Aは、映像コンテンツAのサイズ（小）のストリームデータをコンテンツ記憶部４１Aから取得する。そして、パラメータデコーダ４２Aは、入力されたストリームデータをデコードして、画像データと情報パラメータを得て、画像データを画像配置処理部４３に、情報パラメータをパラメータ配置処理部４４に供給する。
【００３１】
パラメータデコーダ４２Bは、映像コンテンツBのサイズ（小）のストリームデータをコンテンツ記憶部４１Bから取得する。そして、パラメータデコーダ４２Bは、入力されたストリームデータをデコードして、画像データと情報パラメータを得て、画像データを画像配置処理部４３に、情報パラメータをパラメータ配置処理部４４に供給する。
【００３２】
パラメータデコーダ４２Cの処理は、処理対象のストリームデータが映像コンテンツCのサイズ（小）のストリームデータである点を除いて、パラメータデコーダ４２Bと同様である。
【００３３】
パラメータデコーダ４２Dは、映像コンテンツDのサイズ（中）のストリームデータをコンテンツ記憶部４１Dから取得する。そして、パラメータデコーダ４２Dは、入力されたストリームデータをデコードして、画像データと情報パラメータを得て、画像データを画像配置処理部４３に、情報パラメータをパラメータ配置処理部４４に供給する。
【００３４】
画像配置処理部４３は、マルチ映像再生画像を所定のマクロブロック単位に分割し、各マクロブロックに注目したときに、その注目マクロブロックの位置に、どの映像コンテンツが配置されるかによって、後段のパラメータ利用エンコーダ４５に出力する画像データを切り替える。
【００３５】
即ち、画像配置処理部４３は、生成するマルチ映像再生画像において、注目マクロブロックの位置が、映像コンテンツAが配置される領域である場合には、パラメータデコーダ４２Aから供給された画像データをパラメータ利用エンコーダ４５に出力する。
【００３６】
また、画像配置処理部４３は、生成するマルチ映像再生画像において、注目マクロブロックの位置が、映像コンテンツBが配置される領域である場合には、パラメータデコーダ４２Bから供給された画像データをパラメータ利用エンコーダ４５に出力する。映像コンテンツC及びDが配置される領域についても同様である。
【００３７】
パラメータ配置処理部４４は、情報パラメータについて、画像配置処理部４３と同様の処理を行う。
【００３８】
即ち、パラメータ配置処理部４４は、生成するマルチ映像再生画像において、注目マクロブロックの位置が、映像コンテンツAが配置される領域である場合には、パラメータデコーダ４２Aから供給された情報パラメータをパラメータ利用エンコーダ４５に出力する。
【００３９】
また、パラメータ配置処理部４４は、生成するマルチ映像再生画像において、注目マクロブロックの位置が、映像コンテンツBが配置される領域である場合には、パラメータデコーダ４２Bから供給された情報パラメータをパラメータ利用エンコーダ４５に出力する。映像コンテンツC及びDが配置される領域についても同様である。
【００４０】
パラメータ利用エンコーダ４５には、生成するマルチ映像再生画像において、注目マクロブロックの位置が、映像コンテンツAが配置される領域である場合には、映像コンテンツAの画像データと情報パラメータが供給される。また、注目マクロブロックの位置が、映像コンテンツBが配置される領域である場合には、映像コンテンツBの画像データと情報パラメータが供給される。映像コンテンツC及びDが配置される領域についても同様である。
【００４１】
パラメータ利用エンコーダ４５は、渡された情報パラメータを使用して、画像データに対してDCT処理、量子化処理等を行う。
【００４２】
以上をまとめると、コンテンツ配信サーバ１１は、生成するマルチ映像再生画像において、映像コンテンツAが配置される位置のマクロブロックでは、映像コンテンツAのストリームからのパラメータトランスコードを行う。また、コンテンツ配信サーバ１１は、映像コンテンツBが配置される位置のマクロブロックでは、映像コンテンツBのストリームからのパラメータトランスコードを行う。同様に、コンテンツ配信サーバ１１は、映像コンテンツCまたはDが配置される位置のマクロブロックでは、映像コンテンツCまたはDのストリームからのパラメータトランスコードを行う。
【００４３】
なお、図５では、理解を容易にするため、コンテンツ記憶部４１A乃至４１Dを別々の異なるコンテンツ記憶部として説明したが、コンテンツ記憶部４１A乃至４１Dは同一のコンテンツ記憶部４１でも良い。同様にパラメータデコーダ４２A乃至４２Dが行う処理も１つのパラメータデコーダ４２で行うようにしてもよい。
【００４４】
図６は、パラメータトランスコードを行う符号化処理部６０の機能ブロック図を示している。
【００４５】
パラメータデコーダ６１には、予め作成しておいた所定サイズのストリームデータが入力され、パラメータデコーダ６１は、入力されたストリームデータをデコードして、デコード結果の情報パラメータと画像データをパラメータコントローラ６２に供給する。
【００４６】
パラメータコントローラ６２は、情報パラメータと画像データを取得し、通常エンコードが必要か否かを判断して、内部のスイッチSW１及びSW２を切り替える。より具体的には、パラメータコントローラ６２は、通常エンコードが必要ではないと判断した場合、スイッチSW１及びSW２を、ａ側に接続し、取得した情報パラメータと画像データをそのまま後段のイントラ予測／動き補償部６４に供給する。一方、通常エンコードが必要であると判断した場合、パラメータコントローラ６２は、スイッチSW１及びSW２を、ｂ側に接続し、取得した情報パラメータと画像データをパラメータ決定部６３に供給する。
【００４７】
パラメータ決定部６３は、通常エンコードと同様に、イントラ/インタータイプ決定処理、ブロックサイズ決定処理、動きベクトル算出処理、イントラ予測モード決定処理を実行し、情報パラメータを決定する。決定された情報パラメータと画像データは、イントラ予測／動き補償部６４に供給される。
【００４８】
イントラ予測／動き補償部６４は、イントラ予測モードのときはイントラ予測する処理（イントラ予測処理）を実行し、インター予測モードのときは動き補償処理を実行する。
【００４９】
DCT／量子化部６５は、イントラ予測／動き補償部６４から供給される画像データ（差分画像データ）に対して直交変換を施し、変換係数を求めるDCT処理を実行する。また、DCT／量子化部６５は、求めた変換係数を量子化する量子化処理を実行する。
【００５０】
ストリーム生成部６６は、量子化後の画像データに対し、可変長符号化、算術符号化等の可逆符号化を行い、その結果得られる符号化ストリームを生成し、出力する。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。イントラ予測を示す情報やインター予測モードを示す情報、量子化パラメータなどは符号化データのヘッダ情報の一部として多重化される。
【００５１】
逆量子化／逆DCT部６７は、DCT／量子化部６５から供給される量子化された変換係数を逆量子化し、得られた変換係数を、さらに逆直交変換する。換言すれば、逆量子化／逆DCT部６７は、DCT／量子化部６５が行うDCT処理及び量子化処理に対応する方法で、逆量子化処理及び逆DCT処理を実行する。
【００５２】
［視聴配置の変更に対する処理］
上述したようなパラメータトランスコードを用いたマルチ映像再生画像生成によれば、映像コンテンツの変更や、映像コンテンツの表示位置または表示サイズの変更が指示された場合でも、容易に対応することができる。
【００５３】
換言すれば、本発明のマルチ映像再生画像生成方法は、コンテンツ領域間に依存性がないパラメータトランスコードを行うために、映像コンテンツの変更等に対して、表示する各映像コンテンツを、表示位置が変更された場合、表示サイズが変更された場合、映像コンテンツが変更された場合、変更がない場合に分類し、それぞれ、位置変更処理、サイズ変更処理、コンテンツ変更処理、変更なし処理を行うことで対応できる。
【００５４】
図７と図８を参照して、映像コンテンツの各種の変更の例と、その対応について説明する。
【００５５】
図７は、サイズ（小）の映像コンテンツA，B，Cと、サイズ（中）の映像コンテンツDのマルチ映像再生画像から、サイズ（小）の映像コンテンツB，C，Eと、サイズ（中）の映像コンテンツDのマルチ映像再生画像に変更する例を示している。
【００５６】
映像コンテンツB及びCについては、表示位置のみが変更されている。従って、映像コンテンツB及びCについては、コンテンツ配信サーバ１１は、位置変更処理として、MV（動きベクトル）変換を考慮したパラメータトランスコード処理を行う。なお、MV変換を考慮したパラメータトランスコード処理を行う際に、PMV（予測動きベクトル）が当てはまらないマクロブロックについてはイントラ符号化するようにしてもよい。
【００５７】
映像コンテンツDについては、変更がない。この場合には、コンテンツ配信サーバ１１は、変更なしに対応する処理として、変更前と同様のパラメータトランスコード処理を継続して実行する。
【００５８】
映像コンテンツAは映像コンテンツEに変更されている。この場合、映像コンテンツEに変更するコンテンツ変更処理が実行される。コンテンツ変更処理では、ライブ放送コンテンツと非ライブ放送コンテンツとで異なる処理が行われる。ライブ放送コンテンツに対しては、コンテンツ配信サーバ１１は、変更後の最初のピクチャタイプがPピクチャである場合に、そのＰピクチャをＩピクチャで再符号化し、それ以降はパラメータトランスコード処理を行う。これによりＩピクチャを待つ必要がないため、高い応答性を実現でき、画質は、次のＩピクチャ後に完全に通常のパラメータトランスコード時の画質に戻る。一方、非ライブ放送コンテンツに対しては、コンテンツ配信サーバ１１は、コンテンツの先頭から新しいパラメータトランスコード処理を開始させる。
【００５９】
図８は、サイズ（小）の映像コンテンツA，B，Cと、サイズ（中）の映像コンテンツDのマルチ映像再生画像から、サイズ（小）の映像コンテンツA，B，Dと、サイズ（中）の映像コンテンツCのマルチ映像再生画像に変更する例を示している。
【００６０】
映像コンテンツA及びBについては、変更がない。この場合には、コンテンツ配信サーバ１１は、変更なしに対応する処理として、変更前と同様のパラメータトランスコード処理を継続して実行する。
【００６１】
映像コンテンツCは、サイズ（小）からサイズ（中）に表示サイズが拡大されるとともに、表示位置も変更されている。この場合、コンテンツ配信サーバ１１は、上述したコンテンツ変更処理と同様の処理を行う。
【００６２】
映像コンテンツDは、サイズ（中）からサイズ（小）に表示サイズが縮小されるとともに、表示位置も変更されている。この場合、コンテンツ配信サーバ１１は、上述したコンテンツ変更処理と同様の処理を行う。
【００６３】
この例では、表示サイズの変更は必ず表示位置の変更も伴うが、仮に表示サイズのみが変更された場合も、コンテンツ変更処理と同一の処理で対応できる。
【００６４】
上述したコンテンツ配信サーバ１１とコンテンツ受信装置１３が行う各処理についてフローチャートを参照して説明する。
【００６５】
［チャンネルリスト更新処理のフローチャート］
図９は、コンテンツ配信サーバ１１が新しい映像コンテンツを取得した時に実行される、チャンネルリスト更新（生成）処理のフローチャートである。
【００６６】
この処理では、初めに、ステップＳ１において、コンテンツ配信サーバ１１は、新しい映像コンテンツが取得されたか否かを判定し、新しい映像コンテンツが取得されたと判定されるまで、ステップＳ１の処理を繰り返す。
【００６７】
ステップＳ１で、新しい映像コンテンツが取得されたと判定された場合、処理はステップＳ２に進み、コンテンツ配信サーバ１１は、取得された新しい映像コンテンツのストリームデータを、サイズ（大）、サイズ（中）、サイズ（小）の各表示サイズについて生成する。
【００６８】
ステップＳ３において、コンテンツ配信サーバ１１は、コンテンツ記憶部４１に記憶されているチャンネルリストに、取得された新しい映像コンテンツの情報を追加して、チャンネルリストを更新する。コンテンツ記憶部４１にチャンネルリストが存在しない場合には、コンテンツ配信サーバ１１は、取得された新しい映像コンテンツの情報を含むチャンネルリストを生成し、コンテンツ記憶部４１に記憶する。
【００６９】
以上により、チャンネルリスト更新は終了する。
【００７０】
［起動処理のフローチャート］
図１０は、クライアント側であるコンテンツ受信装置１３が、起動したときに実行する起動処理のフローチャートを示している。
【００７１】
この処理では、初めに、ステップＳ１１において、コンテンツ受信装置１３は、コンテンツ配信サーバ１１からのチャンネルリストを受信する。コンテンツ受信装置１３は、チャンネルリストの送信を要求するコマンドを送信して、それに応じて送信されてくるチャンネルリストを受信してもよいし、定期的または不定期に送信されているチャンネルリストを受信するのでもよい。
【００７２】
ステップＳ１２において、コンテンツ受信装置１３は、マルチ映像再生画像として最初に表示される複数の映像コンテンツの種類及び配置が規定された初期視聴配置情報を、図示せぬ設定記憶部から取得する。例えば、コンテンツ受信装置１３を製造した直後の最初の起動では、設定記憶部に予め記憶されている初期視聴配置情報が取得され、２回目以降の起動では、以前にマルチ映像再生画像を表示した時の最終状態に対応する初期視聴配置情報が取得される。
【００７３】
ステップＳ１３において、コンテンツ受信装置１３は、取得した初期視聴配置情報に基づくマルチ映像再生画像をコンテンツ配信サーバ１１にリクエストするための視聴配置リクエストを作成する。
【００７４】
例えば、視聴配置リクエストは、コンテンツ数と、各コンテンツを識別するコンテンツ識別子および対角座標で表されるコンテンツ領域（配置領域）とからなる、次のようなフォーマットにより作成することができる。
[コンテンツ数（N），コンテンツ１識別子，コンテンツ１位置(左上ｘ座標，左上ｙ座標，右下ｘ座標，右下ｙ座標) ，コンテンツ２識別子，コンテンツ２位置(左上ｘ座標，左上ｙ座標，右下ｘ座標，右下ｙ座標) ，・・・，コンテンツN識別子，コンテンツN位置(左上ｘ座標，左上ｙ座標，右下ｘ座標，右下ｙ座標)]
【００７５】
ステップＳ１４において、コンテンツ受信装置１３は、作成した視聴配置リクエストを、コンテンツ配信サーバ１１に送信して、処理を終了する。
【００７６】
［映像コンテンツ変更処理］
図１１は、コンテンツ受信装置１３において一度マルチ映像再生画像が表示された後、マルチ映像再生画像を構成する映像コンテンツについて所定の変更がされたときに実行される、映像コンテンツ変更処理のフローチャートである。
【００７７】
初めに、ステップＳ２１において、コンテンツ受信装置１３は、映像コンテンツを変更する操作が行われたか否かを判定し、変更する操作が行われたと判定されるまでステップＳ２１の処理を繰り返す。
【００７８】
ステップＳ２１で、映像コンテンツを変更する操作が行われたと判定された場合、ステップＳ２２において、コンテンツ受信装置１３は、変更後のマルチ映像再生画像の構成に対応する視聴配置リクエストを作成する。
【００７９】
そして、ステップＳ２３において、コンテンツ受信装置１３は、作成した視聴配置リクエストをコンテンツ配信サーバ１１に送信して、処理を終了する。
【００８０】
［視聴配置変更リクエスト受信処理］
図１２は、図１０または図１１の処理によりコンテンツ受信装置１３から送信された視聴配置変更リクエストに対してコンテンツ配信サーバ１１が実行する、視聴配置変更リクエスト受信処理のフローチャートである。
【００８１】
初めに、ステップＳ３１において、コンテンツ配信サーバ１１は、視聴配置変更リクエストを受信したか否かを判定し、視聴配置変更リクエストを受信したと判定されるまでステップＳ３１の処理を繰り返す。
【００８２】
ステップＳ３１で、視聴配置変更リクエストを受信したと判定された場合、処理はステップＳ３２に進み、コンテンツ配信サーバ１１は、視聴配置変更リクエストに応じてマルチ映像再生画像を生成（変更）する視聴配置リクエスト対応処理を実行して、処理を終了する。
【００８３】
［視聴配置リクエスト対応処理］
図１３は、図１２のステップＳ３２で実行される視聴配置リクエスト対応処理の詳細フローチャートである。
【００８４】
この処理では、初めに、ステップＳ４１において、コンテンツ配信サーバ１１は、コンテンツ受信装置１３から送信されてきた視聴配置リクエストを受信する。視聴配置リクエストには、映像コンテンツのコンテンツ数Nと、その各映像コンテンツを識別するコンテンツ識別子、各映像コンテンツの表示領域（位置およびサイズ）が記述されている。そこで、コンテンツ配信サーバ１１は、受信した視聴配置リクエストに基づいて、コンテンツ数Nを設定するとともに、映像コンテンツを示す変数ｉに０を代入して初期化する。
【００８５】
ステップＳ４２において、コンテンツ配信サーバ１１は、ｉ番目のコンテンツ（以下、コンテンツ（ｉ）という。）の情報を取得する。即ち、コンテンツ配信サーバ１１は、視聴配置リクエストに基づいて、コンテンツ（ｉ）について、コンテンツ識別子により映像コンテンツを特定し、その映像コンテンツの表示位置および表示サイズを特定する。
【００８６】
ステップＳ４３において、コンテンツ配信サーバ１１は、コンテンツ（ｉ）が表示中であるか、即ち、視聴配置リクエストを受信する前のマルチ映像再生画像でもコンテンツ（ｉ）を表示していたかを判定する。
【００８７】
ステップＳ４３で、コンテンツ（ｉ）が表示中ではない、即ち、コンテンツ（ｉ）は新たに表示することが選択された映像コンテンツであると判定された場合、処理はステップＳ４４に進み、コンテンツ配信サーバ１１は、コンテンツ変更処理を実行する。
【００８８】
一方、ステップＳ４３で、コンテンツ（ｉ）が表示中である、即ち、変更前のマルチ映像再生画像でもコンテンツ（ｉ）が表示されていたと判定された場合、処理はステップＳ４５に進む。ステップＳ４５において、コンテンツ配信サーバ１１は、コンテンツ（ｉ）の表示サイズに変更がないかを判定する。
【００８９】
ステップＳ４５で、コンテンツ（ｉ）の表示サイズに変更があると判定された場合、処理はステップＳ４６に進み、コンテンツ配信サーバ１１は、コンテンツ（ｉ）の表示サイズを変更するサイズ変更処理を実行する。
【００９０】
一方、ステップＳ４５で、コンテンツ（ｉ）の表示サイズに変更がないと判定された場合、処理はステップＳ４７に進み、コンテンツ配信サーバ１１は、コンテンツ（ｉ）の表示位置に変更がないかを判定する。
【００９１】
ステップＳ４７で、コンテンツ（ｉ）の表示位置に変更があると判定された場合、処理はステップＳ４８に進み、コンテンツ配信サーバ１１は、コンテンツ（ｉ）の表示位置を変更する位置変更処理を実行する。なお、表示位置を変更する前の画像を参照している間の数フレーム（フィールド）は、コンテンツ（ｉ）の表示位置に変更があると判定され、位置変更処理が実行される。
【００９２】
一方、ステップＳ４７で、コンテンツ（ｉ）の表示位置に変更がないと判定された場合、処理はステップＳ４９に進み、コンテンツ配信サーバ１１は、パラメータトランスコード処理を継続して実行する。
【００９３】
ステップＳ４４，Ｓ４６，Ｓ４８、またはＳ４９の処理後、ステップＳ５０において、コンテンツ配信サーバ１１は、変数ｉを１だけインクリメントして、処理をステップＳ５１に進める。
【００９４】
ステップＳ５１において、コンテンツ配信サーバ１１は、未処理の映像コンテンツがあるか、即ち、変数ｉがコンテンツ数Nよりも小さいかを判定する。
【００９５】
ステップＳ５１で、未処理の映像コンテンツがある、即ち、変数ｉがコンテンツ数Nよりも小さいと判定された場合、処理はステップＳ４２に戻り、それ以降の処理が繰り返し実行される。即ち、マルチ映像再生画像に表示される次の映像コンテンツについて、上述したステップＳ４２乃至Ｓ５０の処理が実行される。
【００９６】
一方、ステップＳ５１で、未処理の映像コンテンツがないと判定された場合、視聴配置リクエスト対応処理は終了し、図１２に戻る。
【００９７】
以上のように、視聴配置リクエスト対応処理では、コンテンツ配信サーバ１１は、図７と図８で説明したように、表示位置が変更された場合、表示サイズが変更された場合、コンテンツが変更された場合、変更がない場合に対応する処理を行う。
【００９８】
なお、クライアント側であるコンテンツ受信装置１３が、起動直後に、最初に送信してくる視聴配置リクエストに対しては、変更前のマルチ映像再生画像（映像コンテンツ）が存在しないため、全ての映像コンテンツに対して、ステップＳ４９の処理が実行される。
【００９９】
［マクロブロック単位のマルチ映像再生画像生成処理］
図１３を参照して説明した視聴配置リクエスト対応処理は、マルチ映像再生画像の生成を、映像コンテンツ単位で考えた場合の処理である。
【０１００】
次に、マルチ映像再生画像の生成をマクロブロック単位で考えた場合の処理について、図１４を参照して説明する。図１４は、時刻ｔにおける（ｔ枚目の）マルチ映像再生画像を生成するマルチ映像再生画像生成処理のフローチャートである。マルチ映像再生画像を生成（更新）する周期は、例えば、フィールド周期である。
【０１０１】
初めに、ステップＳ６１において、コンテンツ配信サーバ１１は、生成するマルチ映像再生画像のマクロブロックＭＢの初期設定を行う。具体的には、コンテンツ配信サーバ１１は、処理対象のマクロブロックＭＢを特定するための変数ｘおよびｙに初期値として「０」を設定する。本実施の形態では、マルチ映像再生画像が、水平方向にＸ個、垂直方向にＹ個のマクロブロックＭＢに分割され、マクロブロックＭＢの境界は、映像コンテンツを配置する領域であるコンテンツ領域の境界と少なくとも一致するものとする。なお、以下では、水平方向が変数ｘ、垂直方向が変数ｙの位置のマクロブロックＭＢを、マクロブロックＭＢ（ｘ，ｙ）と記述する。
【０１０２】
ステップＳ６２において、コンテンツ配信サーバ１１は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔが、映像コンテンツを配置する領域であるコンテンツ領域内にあるかを判定する。
【０１０３】
ステップＳ６２で、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔがコンテンツ領域内にはないと判定された場合、処理はステップＳ６３に進み、コンテンツ配信サーバ１１は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔを固定情報で符号化する。固定情報は、例えば、固定の黒画像などを表示するための画像データである。
【０１０４】
一方、ステップＳ６２で、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔがコンテンツ領域内にあると判定された場合、処理はステップＳ６４に進む。ステップＳ６４において、コンテンツ配信サーバ１１は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔと、その１つ前の時刻ｔ−１のマクロブロックＭＢ（ｘ，ｙ）＿ｔ−１の映像コンテンツが同じであるかを判定する。ここで、時刻ｔと時刻ｔ−１で映像コンテンツが同じとは、画像が同一という意味ではなく、番組（内容）が同じということである。
【０１０５】
ステップＳ６４で、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔと時刻ｔ−１のマクロブロックＭＢ（ｘ，ｙ）＿ｔ−１の映像コンテンツが同じではないと判定された場合、処理はステップＳ６５に進む。そして、ステップＳ６５において、コンテンツ配信サーバ１１は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔの映像コンテンツを変更するコンテンツ変更処理を実行する。
【０１０６】
一方、ステップＳ６４で、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔと時刻ｔ−１のマクロブロックＭＢ（ｘ，ｙ）＿ｔ−１の映像コンテンツが同じであると判定された場合、処理はステップＳ６６に進む。ステップＳ６６において、コンテンツ配信サーバ１１は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔと時刻ｔ−１のマクロブロックＭＢ（ｘ，ｙ）＿ｔ−１の属するコンテンツ領域の表示サイズが同じであるかを判定する。
【０１０７】
ステップＳ６６で、コンテンツ領域の表示サイズが同じではないと判定された場合、処理はステップＳ６７に進み、コンテンツ配信サーバ１１は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔの表示サイズを変更するサイズ変更処理を実行する。
【０１０８】
一方、ステップＳ６６で、コンテンツ領域の表示サイズが同じであると判定された場合、処理はステップＳ６８に進む。そして、ステップＳ６８において、コンテンツ配信サーバ１１は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔと時刻ｔ−１のマクロブロックＭＢ（ｘ，ｙ）＿ｔ−１が属するコンテンツ領域の位置が同じであるかを判定する。
【０１０９】
ステップＳ６８で、コンテンツ領域の位置が同じではないと判定された場合、処理はステップＳ６９に進み、コンテンツ配信サーバ１１は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔの位置を変更する位置変更処理を実行する。
【０１１０】
一方、ステップＳ６８で、コンテンツ領域の位置が同じであると判定された場合、処理はステップＳ７０に進み、コンテンツ配信サーバ１１は、時刻ｔのマクロブロックＭＢ（ｘ，ｙ）＿ｔについてパラメータトランスコード処理を実行する。
【０１１１】
ステップＳ６３，Ｓ６５，Ｓ６７，Ｓ６９、またはＳ７０の後、処理はステップＳ７１に進む。ステップＳ７１において、コンテンツ配信サーバ１１は、変数ｘを１だけインクリメントして、処理をステップＳ７２に進める。
【０１１２】
ステップＳ７２において、コンテンツ配信サーバ１１は、変数ｘが水平方向のマクロブロック数Ｘと等しいかを判定する。ステップＳ７２で、変数ｘがマクロブロック数Ｘと等しくない（変数ｘがマクロブロック数Ｘより小さい）と判定された場合、処理はステップＳ６２に戻る。
【０１１３】
一方、ステップＳ７２で、変数ｘが水平方向のマクロブロック数Ｘと等しいと判定された場合、処理はステップＳ７３に進み、コンテンツ配信サーバ１１は、変数ｘを「０」にリセットするとともに、変数ｙを１だけインクリメントする。
【０１１４】
ステップＳ７４において、コンテンツ配信サーバ１１は、変数ｙが垂直方向のマクロブロック数Ｙと等しいかを判定する。ステップＳ７４で、変数ｙがマクロブロック数Ｙと等しくない（変数ｙがマクロブロック数Ｙより少ない）と判定された場合、処理はステップＳ６２に戻る。
【０１１５】
一方、ステップＳ７４で、変数ｙがマクロブロック数Ｙと等しいと判定された場合、処理は終了する。
【０１１６】
［マクロブロックＭＢ（ｘ，ｙ）＿ｔのコンテンツ変更処理］
図１５は、図１４のステップＳ６５で実行される、マクロブロックＭＢ（ｘ，ｙ）＿ｔのコンテンツ変更処理の詳細フローチャートである。
【０１１７】
初めに、ステップＳ９１において、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔが属する映像コンテンツがライブ放送コンテンツであるかを判定する。
【０１１８】
ステップＳ９１で、マクロブロックＭＢ（ｘ，ｙ）＿ｔが属する映像コンテンツがライブ放送コンテンツではないと判定された場合、処理はステップＳ９２に進み、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔが属する映像コンテンツのピクチャ番号ｊを先頭の値（０）に設定する。
【０１１９】
そして、ステップＳ９３において、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔが属する映像コンテンツのピクチャ番号ｊのマクロブロックＭＢ（ｘ，ｙ）部分についてパラメータトランスコード処理を実行する。ピクチャ番号ｊのマクロブロックＭＢ（ｘ，ｙ）部分とは、ピクチャ番号ｊのピクチャ（画像）のマクロブロックＭＢ（ｘ，ｙ）＿ｔに対応する領域の画像を意味する。ステップＳ９３の処理は、図１４のステップＳ７０の処理と同様であり、図１７を参照して後述する。パラメータトランスコード処理の実行後、マクロブロックＭＢ（ｘ，ｙ）＿ｔのコンテンツ変更処理は終了し、図１４に戻る。
【０１２０】
一方、ステップＳ９１で、マクロブロックＭＢ（ｘ，ｙ）＿ｔが属する映像コンテンツがライブ放送コンテンツであると判定された場合、処理はステップＳ９４に進む。ステップＳ９４において、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔが属する映像コンテンツのピクチャ番号ｊを、放送中のピクチャ番号ｍに設定する。
【０１２１】
ステップＳ９４の後、ステップＳ９５において、コンテンツ配信サーバ１１は、ｊ番目のピクチャ（Picture[j]）がＩピクチャであるかを判定する。
【０１２２】
ステップＳ９５で、ｊ番目のピクチャ（Picture[j]）がＩピクチャであると判定された場合、処理は上述したステップＳ９３に進む。これにより、ｊ番目のピクチャ（Picture[j]）のマクロブロックＭＢ（ｘ，ｙ）部分についてパラメータトランスコード処理が実行される。
【０１２３】
一方、ステップＳ９５で、ｊ番目のピクチャ（Picture[j]）がＩピクチャではないと判定された場合、処理はステップＳ９６に進み、コンテンツ配信サーバ１１は、ｊ番目のピクチャ（Picture[j]）がＰピクチャであるかを判定する。
【０１２４】
ステップＳ９６で、ｊ番目のピクチャ（Picture[j]）がＰピクチャではないと判定された場合、即ち、ｊ番目のピクチャ（Picture[j]）がＢピクチャである場合、マクロブロックＭＢ（ｘ，ｙ）＿ｔのコンテンツ変更処理は終了し、図１４に戻る。
【０１２５】
一方、ステップＳ９６で、ｊ番目のピクチャ（Picture[j]）がＰピクチャであると判定された場合、処理はステップＳ９７に進む。ステップＳ９７において、コンテンツ配信サーバ１１は、ｊ番目のピクチャ（Picture[j]）のマクロブロックＭＢ（ｘ，ｙ）部分をイントラマクロブロック（イントラＭＢ）で再符号化する。これにより、ｊ番目のピクチャ（Picture[j]）がＩピクチャとして再符号化され、クライアント側のコンテンツ受信装置１３では、Ｉピクチャを待つ必要がなくなるため、再生に遅延が生じず、高い応答性を実現することができる。
【０１２６】
ステップＳ９７の処理が終了すると、マクロブロックＭＢ（ｘ，ｙ）＿ｔのコンテンツ変更処理は終了し、図１４に戻る。
【０１２７】
［マクロブロックＭＢ（ｘ，ｙ）＿ｔの位置変更処理］
図１６は、図１４のステップＳ６９で実行される、マクロブロックＭＢ（ｘ，ｙ）＿ｔの位置変更処理の詳細フローチャートである。
【０１２８】
初めに、ステップＳ１０１において、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔの情報パラメータを取得する。
【０１２９】
ステップＳ１０２において、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔのタイプ情報がインタータイプであるかを判定する。
【０１３０】
ステップＳ１０２で、マクロブロックＭＢ（ｘ，ｙ）＿ｔのタイプ情報がインタータイプであると判定された場合、処理はステップＳ１０３に進み、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔのMV変換を行う。具体的には、マクロブロックＭＢ（ｘ，ｙ）＿ｔの元の動きベクトルを（MvX,MvY）とし、変更前の位置から変更後の位置までの移動量を（ｄX,dY）とすると、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔの新たな動きベクトルを、（MvX+dX,MvY+dY）とする。
【０１３１】
ステップＳ１０４において、コンテンツ配信サーバ１１は、MV符号化コスト(MV_Cost)を計算する。例えば、コンテンツ配信サーバ１１は、AVC方式における参照ソフトウエアであるJM(Joint Model)で採用されている次式により、MV符号化コストを計算する。
MV_Cost＝λ・R
λ＝ｆ（Qp），R=（Mv_X−PMV_X）＋（Mv_Y−PMV_Y）
λは、量子化パラメータQpの関数として与えられるラグランジュ乗数であり、Rは、発生符号量を表す。（PMV_X, PMV_Y）は予測動きベクトルを表す。
【０１３２】
ステップＳ１０５において、コンテンツ配信サーバ１１は、計算したMV符号化コストに基づいて、通常エンコードによるイントラ符号化を行う必要が有るかを判定する。
【０１３３】
例えば、コンテンツ配信サーバ１１は、計算された符号化コスト（MV_Cost）が所定の閾値Th1より大であり、かつ、マクロブロックＭＢ（ｘ，ｙ）＿ｔ内の画素値の平均絶対値和MAD(Mean Absolute Difference)が所定の閾値Th2より小である（MV_Cost＞Th1かつMAD＜Th2）場合に、通常エンコードによるイントラ符号化を行う必要が有ると判定する。MADは、Σij｜Y（i,j）−Ave_Y｜（Y（i,j）はマクロブロックＭＢ（ｘ，ｙ）＿ｔ内の画素値、Ave_YはクロブロックＭＢ（ｘ，ｙ）＿ｔ内の画素値の平均値）で計算される。
【０１３４】
ステップＳ１０５で、通常エンコードによるイントラ符号化を行う必要が有ると判定された場合、処理はステップＳ１０６に進み、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対し、通常エンコードによるイントラ符号化を行う。
【０１３５】
一方、ステップＳ１０５で、通常エンコードによるイントラ符号化を行う必要がないと判定された場合、処理はステップＳ１０７に進み、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔに対し、MV変換を考慮したパラメータトランスコード処理を実行する。即ち、ステップＳ１０３で計算された更新後の動きベクトル（MvX+dX,MvY+dY）を用いて、マクロブロックＭＢ（ｘ，ｙ）＿ｔのパラメータトランスコード処理を実行する。パラメータトランスコード処理の詳細は、図１７を参照して後述する。
【０１３６】
一方、上述したステップＳ１０２で、マクロブロックＭＢ（ｘ，ｙ）＿ｔのタイプ情報がイントラタイプであると判定された場合も、処理はステップＳ１０７に進み、マクロブロックＭＢ（ｘ，ｙ）＿ｔのパラメータトランスコード処理が実行される。ただし、ステップＳ１０３乃至Ｓ１０５の処理はスキップされるので、MV変換は行われない。
【０１３７】
ステップＳ１０６の通常エンコード処理、または、ステップＳ１０７のパラメータトランスコード処理が終了すると、マクロブロックＭＢ（ｘ，ｙ）＿ｔの位置変更処理は終了し、図１４に戻る。
【０１３８】
[マクロブロックＭＢ（ｘ，ｙ）＿ｔのパラメータトランスコード処理]
図１７は、図１４のステップＳ７０で実行される、マクロブロックＭＢ（ｘ，ｙ）＿ｔのパラメータトランスコード処理の詳細フローチャートである。なお、図１５のステップＳ９３、図１６のステップＳ１０７の処理も、以下の処理となる。
【０１３９】
初めに、ステップＳ１２１において、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔをデコードする。
【０１４０】
ステップＳ１２２において、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔのタイプ情報を取得する。
【０１４１】
そして、ステップＳ１２３において、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔのタイプ情報がイントラタイプであるかを判定する。
【０１４２】
ステップＳ１２３で、マクロブロックＭＢ（ｘ，ｙ）＿ｔのタイプ情報がイントラタイプであると判定された場合、処理はステップＳ１２４に進み、コンテンツ配信サーバ１１は、イントラ予測モードおよび量子化パラメータQpを取得する。
【０１４３】
ステップＳ１２５において、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔをデコードして得られた画像データに対し、取得したイントラ予測モードによるイントラ予測処理を行う。
【０１４４】
一方、ステップＳ１２３で、マクロブロックＭＢ（ｘ，ｙ）＿ｔのタイプ情報がインタータイプであると判定された場合、処理はステップＳ１２６に進み、コンテンツ配信サーバ１１は、ブロックサイズ情報、MV情報、および量子化パラメータQpを取得する。
【０１４５】
ステップＳ１２７において、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔをデコードして得られた画像データに対し、ブロックサイズ情報及びMV情報に基づいて、動き補償処理（MC処理）を行う。
【０１４６】
ステップＳ１２５またはステップＳ１２７の後、ステップＳ１２８において、コンテンツ配信サーバ１１は、マクロブロックＭＢ（ｘ，ｙ）＿ｔの画像データに対してDCT処理を施し、その結果得られた変換係数に対して量子化パラメータQpを用いた量子化処理を行う。
【０１４７】
ステップＳ１２９において、コンテンツ配信サーバ１１は、量子化後の画像データに対し可逆符号化を行い、その結果得られる符号化ストリームを生成する。なお、符号化ストリームには、マクロブロックＭＢ（ｘ，ｙ）＿ｔの情報パラメータも含まれる。
【０１４８】
以上でパラメータトランスコード処理は終了し、処理が図１４に戻る。
【０１４９】
以上のように、コンテンツ配信サーバ１１は、配信可能な全ての映像コンテンツについて、表示サイズの異なる複数のストリームデータを予め作成し、記憶しておく。そして、コンテンツ配信サーバ１１は、受信した視聴配置リクエストに基づいて、予め作成したストリームデータをトランスコードすることにより、複数の映像が配置されたマルチ映像再生画像を、１ストリームのストリームデータとして作成し、コンテンツ受信装置１３に送信する。
【０１５０】
従って、コンテンツ配信サーバ１１からコンテンツ受信装置１３には、１ストリームのストリームデータが提供されるので、コンテンツ受信装置１３が１ストリームしか再生できない装置であってもマルチ映像再生画像を表示することができる。
【０１５１】
サーバ側のコンテンツ配信サーバ１１がマルチ映像再生画像を生成する際のパラメータトランスコード量は、基本的に１種類の映像コンテンツのストリームデータを作成するときと同等であるので、従来のマルチ映像再生画像の生成方法と比べて高速に処理できる。また、完全に復号化してから再符号化するケースが少ないので、画質の劣化を抑制することができる。
【０１５２】
即ち、マルチ映像再生システム１によれば、処理負荷が少なく、かつ、画質劣化も少ないマルチ映像再生システムを提供することができる。
【０１５３】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１５４】
図１８は、上述した一連の処理をプログラムにより実行し、コンテンツ配信サーバ１１またはコンテンツ受信装置１３として機能するコンピュータのハードウエアの構成例を示すブロック図である。
【０１５５】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１５６】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【０１５７】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【０１５８】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１５９】
コンテンツ配信サーバ１１をコンピュータで構成した場合、CPU１０１は、例えば、複数の映像コンテンツそれぞれについて、表示サイズが異なる複数のストリームデータを予め作成する処理、符号化処理部６０に対応するパラメータトランスコード処理などを行う。記憶部１０８は、予め作成された各映像コンテンツの複数の表示サイズのストリームデータを記憶する。通信部１０９は、コンテンツ受信装置１３からの視聴配置リクエストを受信したり、生成したストリームデータをコンテンツ受信装置１３に送信する。
【０１６０】
コンテンツ受信装置１３をコンピュータで構成した場合、CPU１０１は、例えば、視聴配置リクエストを作成したり、１ストリームのストリームデータをデコードし、マルチ映像再生画像を生成し、表示部（出力部１０７）に表示させる。通信部１０９は、コンテンツ配信サーバ１１に視聴配置リクエストを送信したり、コンテンツ配信サーバ１１から送信されてきた１ストリームのストリームデータを受信して、CPU１０１に供給する。
【０１６１】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１６２】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１６３】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【０１６４】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１６５】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６６】
例えば、上述した実施の形態では、マルチ映像再生画像が３つのサイズ（小）の映像コンテンツと１つのサイズ（中）の映像コンテンツからなる例について説明したが、マルチ映像再生画像はこれに限定されない。換言すれば、マルチ映像再生画像において、映像コンテンツの表示サイズ、一画面で同時に表示（視聴）する映像コンテンツの数や配置は、適宜、設定することができる。
【０１６７】
また、上述した実施の形態では、コンテンツ配信サーバ１１が、合成する全ての映像コンテンツの各サイズのストリームデータを自身で作成し、記憶していた。しかし、合成対象の、表示サイズが異なる複数のストリームデータは、他のサーバ（コンピュータ）で作成され、それをコンテンツ配信サーバ１１が取得してマルチ映像再生画像を生成するようにしてもよい。また、自身が作成したストリームデータと、他のサーバから取得したストリームデータを組み合わせて使用してもよい。
【０１６８】
さらに、上述したマルチ映像再生画像は、表示サイズが異なる映像コンテンツの組み合わせで構成されていたが、同一サイズのみの複数の映像コンテンツの組み合わせでもよい。
【符号の説明】
【０１６９】
１  マルチ映像再生システム，  １１  コンテンツ配信サーバ，  １３  コンテンツ受信装置，  ６０  符号化処理部，  ６１  パラメータデコーダ，  ６２  パラメータコントローラ，  ６３  パラメータ決定部，  ６４  イントラ予測／動き補償部，  ６５  DCT／量子化部，  ６６  ストリーム生成部，  ６７  逆量子化／逆DCT部，  １０１  CPU，  １０７  出力部，  １０８  記憶部，  １０９  通信部
【図１】
2012099890.tif 000003
【図２】
2012099890.tif 000004
【図３】
2012099890.tif 000005
【図４】
2012099890.tif 000006
【図５】
2012099890.tif 000007
【図６】
2012099890.tif 000008
【図７】
2012099890.tif 000009
【図８】
2012099890.tif 000010
【図９】
2012099890.tif 000011
【図１０】
2012099890.tif 000012
【図１１】
2012099890.tif 000013
【図１２】
2012099890.tif 000014
【図１３】
2012099890.tif 000015
【図１４】
2012099890.tif 000016
【図１５】
2012099890.tif 000017
【図１６】
2012099890.tif 000018
【図１７】
2012099890.tif 000019
【図１８】
2012099890.tif 000020