(57)【特許請求の範囲】
【請求項１】
複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成部と、
前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択するストリーム選択部と
を備え、
前記ストリーム合成部は、前記ストリーム選択部により選択された前記複数の映像コンテンツそれぞれの符号化ストリームを用いて、前記マルチ映像再生画像の符号化ストリームを生成する
画像処理装置。
【請求項２】
前記ストリーム合成部は、前記複数の映像コンテンツそれぞれの符号化ストリームに含まれるスライスヘッダを変更して合成することにより、前記マルチ映像再生画像の符号化ストリームを生成する
請求項１に記載の画像処理装置。
【請求項３】
前記ストリーム合成部は、前記スライスヘッダに含まれる前記スライスの先頭のブロックを示す情報を変更する
請求項２に記載の画像処理装置。
【請求項４】
前記ストリーム合成部は、前記スライスヘッダに含まれるIDRピクチャの識別子を示す情報を変更する
請求項２に記載の画像処理装置。
【請求項５】
前記ストリーム合成部は、前記スライスヘッダに含まれる量子化パラメータを示す情報を変更する
請求項２に記載の画像処理装置。
【請求項６】
前記複数の映像コンテンツそれぞれの符号化ストリームのピクチャタイプは同一である
請求項１に記載の画像処理装置。
【請求項７】
前記ストリーム合成部は、自己の画像処理装置の処理許容量、前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツのうちの一部の映像コンテンツの符号化ストリームに対して、その符号化ストリームに含まれるスライスヘッダを変更し、残りの映像コンテンツの符号化ストリームに対してパラメータトランスコードを行って、合成することにより、前記マルチ映像再生画像の符号化ストリームを生成する
請求項１に記載の画像処理装置。
【請求項８】
画像処理装置が、
複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成ステップと、
前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択するストリーム選択ステップと
を含み、
前記ストリーム合成ステップの処理では、前記ストリーム選択ステップの処理により選択された前記複数の映像コンテンツそれぞれの符号化ストリームを用いて、前記マルチ映像再生画像の符号化ストリームを生成する
画像処理方法。
【請求項９】
複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成部と、
前記ストリーム合成部により生成された前記マルチ映像再生画像の符号化ストリームを送信する送信部と、
前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択するストリーム選択部と
を有し、
前記ストリーム合成部は、前記ストリーム選択部により選択された前記複数の映像コンテンツそれぞれの符号化ストリームを用いて、前記マルチ映像再生画像の符号化ストリームを生成する
サーバ装置と、
前記送信部により送信された前記マルチ映像再生画像の符号化ストリームを受信する受信部と、
前記受信部により受信された前記マルチ映像再生画像の符号化ストリームに基づいて、前記マルチ映像再生画像を所定の表示部に表示させる表示制御部と
を有する
クライアント装置と
を備える画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、および画像処理システムに関し、特に、マルチ映像再生画像を生成する際の処理負荷を軽減することができるようにした画像処理装置、画像処理方法、および画像処理システムに関する。
【背景技術】
【０００２】
コンテンツのデジタル化が進み、映像を伝送できるインフラも整備されてきたことにより、インターネットを通じた映像配信が普及しつつある。最近では受信側の装置として、パーソナルコンピュータ以外に、ネットワークに接続可能なテレビジョン受像機も増えてきており、配信される映像コンテンツをテレビジョン受像機で見ることもできるようになってきている。また、近年、クラウドサービスの発展により、ネットワークを介して、プライベートコンテンツを含めた多様なチャンネルが視聴者に提供されるようになってきている。そのため、図１に示すような、複数の映像コンテンツを同時に視聴して、見たい映像コンテンツを簡単に探索することができるマルチ映像再生システムに対するニーズがより高くなってきている。
【０００３】
図１のマルチ映像再生システムにおいて、画面に表示されるマルチ映像再生画像は、複数の映像コンテンツで構成される。表示される複数の映像コンテンツのうち、主として視聴される映像コンテンツである主映像コンテンツが、最大サイズで画面中央に配置されている。そして、主映像コンテンツの周辺に、選択（切り替え）可能な他の映像コンテンツが、主映像コンテンツよりも小さいサイズで配置されている。選択可能な映像コンテンツは、例えば、TV放送のチャンネル、Web画面、映画などのビデオコンテンツ、TVチャット画面などであり、例えば、クラウド（ネットワーク）内から取得される。
【０００４】
このようなマルチ映像再生画像の表示を実現する第１の方法として、クラウド内のサーバから複数の映像コンテンツそれぞれに対応する複数の符号化ストリームを配信してもらう方法がある。クライアント側の装置は、複数の符号化ストリームを受信して復号し、合成処理を行うことによって、マルチ映像再生画像を生成する。例えば、特許文献１には、複数のES(Elementary Stream)を受信し、表示優先度に基づいて優先度の高いESに広い面積の表示領域を割り当てるようにしたマルチ映像再生画像が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−０６４８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数の符号化ストリームを配信するためには、かなり広い伝送帯域が必要になる。また、クライアント側の装置に、複数の符号化ストリームを同時に復号し、合成処理する能力が要求されるため、クライアント側の装置が高価になる。
【０００７】
その他のマルチ映像再生画像の表示を実現する第２の方法として、図２に示すように、サーバ側が１本の符号化ストリームとしてマルチ映像再生画像を生成し、配信を行う方法がある。この場合、サーバは、合成する複数の映像コンテンツを一旦復号（Decode）し、サイズ変更（Resize）し、画像合成後に再度符号化（Encode）することによって、マルチ映像再生画像の符号化ストリームを生成する。従って、サーバの処理負荷はかなり大きくなる。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、マルチ映像再生画像を生成する際の処理負荷を軽減することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の第１の側面の画像処理装置は、複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成部と、前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択するストリーム選択部とを備え、前記ストリーム合成部は、前記ストリーム選択部により選択された前記複数の映像コンテンツそれぞれの符号化ストリームを用いて、前記マルチ映像再生画像の符号化ストリームを生成する画像処理装置である。
【００１０】
本技術の第１の側面の画像処理方法は、本技術の第１の側面の画像処理装置に対応する。
【００１１】
本技術の第１の側面においては、複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームが生成される。前記マルチ映像再生画像の符号化ストリームの生成に用いられる前記複数の映像コンテンツそれぞれの符号化ストリームは、前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから選択された、所定のビットレートの符号化ストリームである。
【００１２】
本技術の第２の側面の画像処理システムは、複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成部と、前記ストリーム合成部により生成された前記マルチ映像再生画像の符号化ストリームを送信する送信部と、前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択するストリーム選択部とを有し、前記ストリーム合成部は、前記ストリーム選択部により選択された前記複数の映像コンテンツそれぞれの符号化ストリームを用いて、前記マルチ映像再生画像の符号化ストリームを生成するサーバ装置と、前記送信部により送信された前記マルチ映像再生画像の符号化ストリームを受信する受信部と、前記受信部により受信された前記マルチ映像再生画像の符号化ストリームに基づいて、前記マルチ映像再生画像を所定の表示部に表示させる表示制御部とを有するクライアント装置とを備える画像処理システムである。
【００１３】
本技術の第２の側面においては、サーバ装置が、複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成し、前記マルチ映像再生画像の符号化ストリームを送信する。また、クライアント装置が、前記サーバ装置により送信された前記マルチ映像再生画像の符号化ストリームを受信し、前記マルチ映像再生画像の符号化ストリームに基づいて、前記マルチ映像再生画像を所定の表示部に表示させる。なお、前記マルチ映像再生画像の符号化ストリームの生成に用いられる前記複数の映像コンテンツそれぞれの符号化ストリームは、前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから選択された、所定のビットレートの符号化ストリームである。
【００１４】
なお、第１の側面の画像処理装置および第２の側面の画像処理システムは、コンピュータにプログラムを実行させることにより実現することができる。
【００１５】
また、第１の側面の画像処理装置および第２の側面の画像処理システムを実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１６】
本技術によれば、マルチ映像再生画像を生成する際の処理負荷を軽減することができる。
【図面の簡単な説明】
【００１７】
【図１】マルチ映像再生システムを説明する図である。
【図２】マルチ映像再生画像の符号化ストリームを配信する一例を示す図である。
【図３】本技術を適用したマルチ映像再生システムの第１実施の形態の構成例を示す図である。
【図４】図３のコンテンツ配信サーバの構成例を示すブロック図である。
【図５】図４の符号化処理部の再符号化を説明する図である。
【図６】図４の符号化処理部の再符号化を説明する図である。
【図７】図４のストリーム合成部の構成例を示すブロック図である。
【図８】スライスのNALユニットの構成例を示すブロック図である。
【図９】スライスヘッダの構成例を示すブロック図である。
【図１０】図７のストリーム合成部の合成処理を説明するフローチャートである。
【図１１】図１０のスライスヘッダ書き換え処理の詳細を説明するフローチャートである。
【図１２】図１１のCABACのスライスデータ処理の詳細を説明するフローチャートである。
【図１３】図１１のCAVLCのスライスデータ処理の詳細を説明するフローチャートである。
【図１４】本技術を適用したマルチ映像再生システムのコンテンツ配信サーバの第２実施の形態の構成例を示すブロック図である。
【図１５】図１４のコンテンツ配信サーバの処理の概要を説明する図である。
【図１６】図１４のパラメータトランスコード処理部の構成例を示すブロック図である。
【図１７】図１４の制御部の選択処理を説明するフローチャートである。
【図１８】本技術を適用したマルチ映像再生システムのコンテンツ配信サーバの第３実施の形態の構成例を示すブロック図である。
【図１９】図１８の制御部の選択処理を説明するフローチャートである。
【図２０】本技術を適用したマルチ映像再生システムのコンテンツ配信サーバの第４実施の形態の構成例を示すブロック図である。
【図２１】図２０の制御部の選択処理を説明するフローチャートである。
【図２２】本技術を適用したマルチ映像再生システムのコンテンツ配信サーバの第５実施の形態の構成例を示すブロック図である。
【図２３】図２２のコンテンツ配信サーバの処理の概要を説明する図である。
【図２４】図２２の制御部のストリーム選択処理を説明するフローチャートである。
【図２５】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
＜第１実施の形態＞
［マルチ映像再生システムの第１実施の形態の構成例］
図３は、本技術を適用したマルチ映像再生システムの第１実施の形態の構成例を示している。
【００１９】
画像処理システムとしてのマルチ映像再生システム１は、映像コンテンツを配信するコンテンツ配信サーバ１１と、それとネットワーク１２を介して接続されているコンテンツ受信装置１３により構成される。
【００２０】
コンテンツ配信サーバ１１は、複数の映像コンテンツの符号化ストリームを１画面のマルチ映像再生画像の符号化ストリームに合成し、クライアントであるコンテンツ受信装置１３に配信する。
【００２１】
コンテンツ受信装置１３は、受信部２１、表示制御部２２、および表示部２３により構成される。コンテンツ受信装置１３の受信部２１は、コンテンツ配信サーバ１１が配信する符号化ストリームを、インターネットなどのネットワーク１２を介して受信する。そして、表示制御部２２は、受信した符号化ストリームに基づくマルチ映像再生画像を、液晶ディスプレイなどの表示部２３に表示させる。
【００２２】
なお、コンテンツ受信装置１３は、表示部２３を有さず、マルチ映像再生画像を、自身に接続されている表示装置に表示させるようにしてもよい。また、コンテンツ受信装置１３は、例えば、ネットワーク接続機能を有するテレビジョン受像機やSTB(Set Top Box)、パーソナルコンピュータ等で構成することができる。
【００２３】
また、図３では、１台のコンテンツ受信装置１３しか示していないが、ネットワーク１２には複数（多数）のコンテンツ受信装置１３が接続されており、コンテンツ配信サーバ１１は、符号化ストリームを、複数のコンテンツ受信装置１３にマルチキャスト送信する。
【００２４】
［コンテンツ配信サーバの構成例］
図４は、図３のコンテンツ配信サーバ１１の構成例を示すブロック図である。
【００２５】
図４に示すように、コンテンツ配信サーバ１１は、符号化処理部３１、ストリーム合成部３２、および送信部３３により構成される。
【００２６】
コンテンツ配信サーバ１１の符号化処理部３１は、複数の映像コンテンツのH.264/AVC（Advanced Video Coding）方式等の符号化ストリームを受信し、復号する。符号化処理部３１は、復号の結果得られる複数の映像コンテンツのそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして再符号化する。このとき、同時刻に再生される各映像コンテンツの符号化ストリームのピクチャタイプは同一にされる。即ち、各映像コンテンツの符号化ストリームのGOP（Group Of Picture）構造は、同一である。符号化処理部３１は、再符号化の結果得られる複数の映像コンテンツの符号化ストリームをストリーム合成部３２に供給する。
【００２７】
ストリーム合成部３２は、符号化処理部３１から供給される複数の映像コンテンツの符号化ストリームのスライスヘッダを書き換え、合成することにより、マルチ映像再生画像の符号化ストリームを生成し、送信部３３に供給する。
【００２８】
送信部３３は、マルチ映像再生画像の符号化ストリームを図３のコンテンツ受信装置１３に送信する。
【００２９】
［符号化処理部の再符号化の説明］
図５と図６は、図４の符号化処理部３１の再符号化を説明する図である。
【００３０】
H.264/AVC方式の符号化ストリームは、CABAC(Context-based Adaptive Binary Arithmetic Coding), Intra MB（Macro Block） Prediction, Motion Vector Prediction などにおいて、同一スライス内で依存関係を有する。また、符号化は、上から水平ラインごとに行われ、各水平ラインにおいては左から行われる。
【００３１】
従って、例えば、図５に示すように、１画面を１スライスとした４つの映像コンテンツＡ乃至ＤのH.264/AVC方式の符号化ストリームを用いて、映像コンテンツＡ乃至Ｄが、それぞれ、画面内の左上、右上、左下、右下に配置されたマルチ映像再生画像の符号化ストリームを生成する場合、単に、映像コンテンツＡ乃至Ｄの符号化ストリームを合成して、マルチ映像再生画像の符号化ストリームを生成すると、復号後のマルチ映像再生画像は、元の映像コンテンツＡ乃至Ｄとは異なる。
【００３２】
具体的には、映像コンテンツＡの上から２番目の水平ラインの１番左側のマクロブロックａ2は、元の映像コンテンツＡでは、同一スライス内のマクロブロックａ2より前に符号化された、映像コンテンツＡの上から１番目の水平ラインの１番右側のマクロブロックａ1等を参照して符号化される。
【００３３】
しかしながら、マルチ映像再生画像の符号化ストリームの復号時には、マクロブロックａ2は、同一スライス内のマクロブロックａ2より前に復号された、映像コンテンツＢの上から１番目の１番右側のマクロブロックb等を参照して復号される。従って、マクロブロックａ2の符号化時と復号時で参照されるマクロブロックが異なるため、マルチ映像再生画像内の映像コンテンツＡと、元の映像コンテンツＡのマクロブロックａ2のバイト列は異なる。
【００３４】
そして、マクロブロックａ2以降に復号されるマクロブロックは、マクロブロックａ2、または、マクロブロックａ2を参照したマクロブロックを参照して、復号される。そのため、マルチ映像再生画像内の映像コンテンツＡおよびＢの、マクロブロックａ2以降に復号されるマクロブロックのバイト列は、元の映像コンテンツＡおよびＢとは異なる。これらのことは、映像コンテンツＣおよびＤにおいても同様である。
【００３５】
また、マルチ映像再生画像の符号化ストリームが、AVC規定であるHRD(Hypothetical Reference Decoder)規格に準拠しない場合もある。
【００３６】
そこで、符号化処理部３１は、図６に示すように、映像コンテンツＡ乃至Ｄのそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして再符号化する。これにより、各映像コンテンツにおいて、垂直方向の位置が異なるマクロブロック間の依存関係がなくなる。そのため、映像コンテンツＡ乃至Ｄの符号化ストリームを合成することにより、マクロブロックの符号化順が異なる場合であっても、復号後のマルチ映像再生画像は、元の映像コンテンツＡ乃至Ｄと同一となる。
【００３７】
具体的には、映像コンテンツＡのマクロブロックa2は、スライスの先頭のマクロブロックであるため、元の映像コンテンツＡでは、他のマクロブロックを参照せずに符号化される。また、マルチ映像再生画像の符号化ストリームの復号時においても、マクロブロックａ2は、スライスの先頭のマクロブロックであるため、他のマクロブロックを参照せずに復号される。従って、マクロブロックa2の符号化時と復号時の両方で他のマクロブロックが参照されないため、マルチ映像再生画像内の映像コンテンツＡと、元の映像コンテンツＡにおいて、マクロブロックa2のバイト列は同一である。
【００３８】
また、マクロブロックa2の次に符号化および復号されるマクロブロックa2'は、元の映像コンテンツＡでは、同一スライス内の前に復号されたマクロブロックa2を参照して、符号化される。そして、マルチ映像再生画像の符号化ストリームの復号時にも、同一スライス内の前に復号されたマクロブロックa2を参照して、符号化される。従って、マルチ映像再生画像内の映像コンテンツＡと、元の映像コンテンツＡにおいて、マクロブロックa2'のバイト列は同一である。これらのことは、マクロブロックa2'以降のマクロブロックにおいても同様である。
【００３９】
また、符号化処理部３１は、同時刻に再生される各映像コンテンツの符号化ストリームのピクチャタイプを同一にするので、マルチ映像再生画像におけるスライスのタイプは、H.264/AVC方式に準拠する。
【００４０】
［ストリーム合成部の構成例］
図７は、図４のストリーム合成部３２の構成例を示すブロック図である。
【００４１】
図７に示すように、ストリーム合成部３２は、認識部４１と書き換え部４２により構成される。
【００４２】
認識部４１は、図４の符号化処理部３１から供給される複数の映像コンテンツの符号化ストリームから、スライスのNAL(Network Abstraction Layer)ユニットのデータ長Iとスライスのマクロブロック数sxを認識し、書き換え部４２に供給する。
【００４３】
書き換え部４２は、認識部４１から供給されるデータ長Iおよびマクロブロック数sx、並びに、マルチ映像再生画像内の複数の映像コンテンツの配置に基づいて、符号化処理部３１から供給される複数の映像コンテンツの符号化ストリームのスライスヘッダを書き換える。
【００４４】
また、書き換え部４２は、符号化処理部３１から供給される複数の映像コンテンツそれぞれの符号化ストリームに含まれるPPS（Picture Parameter Set）のNALユニットから、可逆符号化の方式を表す可逆符号化方式フラグを取得する。ここで、可逆符号化の方式としては、CAVLC（Context-Adaptive Variable Length Coding）、または、CABAC（Context-Adaptive Binary Arithmetic Coding）がある。そして、可逆符号化方式フラグは、CABACを表す場合1であり、CAVLCを表す場合0である。
【００４５】
書き換え部４２は、可逆符号化方式フラグに基づいて、スライスヘッダが書き換えられた複数の映像コンテンツそれぞれの符号化ストリームのスライスデータに対して所定の処理を施す。そして、書き換え部４２は、マルチ映像再生画像内の複数の映像コンテンツの配置に基づいて、所定の処理が施されたスライスデータと書き換え後のスライスヘッダを含む映像コンテンツの符号化ストリームを合成することにより、マルチ映像再生画像の符号化ストリームを生成し、送信部３３（図４）に供給する。
【００４６】
［符号化ストリームの構成例］
図８は、符号化ストリームに含まれるスライスのNALユニットの構成例を示すブロック図である。
【００４７】
図８に示すように、スライスのNALユニットには、先頭から順に、NALヘッダ（NAL header）、スライスヘッダ（slice header）、スライスデータ（slice data）、スライストレイリングビット（slice trailing bits）が配置される。
【００４８】
NALヘッダは、NALユニットに含まれるデータが、スライス単位の符号化データであることを表す情報などにより構成される。スライスヘッダは、スライスの符号化データに関する情報などにより構成される。スライスデータは、スライス単位の符号化データである。スライストレイリングビットは、スライス単位の符号化データの終端を表す情報である。
【００４９】
図９は、スライスヘッダの構成例を示すブロック図である。
【００５０】
図９に示すように、スライスヘッダには、スライス内の先頭のマクロブロックのアドレスを規定する先頭マクロブロック情報（first_mb_in_slice）、IDRピクチャの識別子であるIDRピクチャ情報（idr_pic_idc）、マクロブロックで指定されるまで設定される輝度信号に対する量子化パラメータを指定する量子化パラメータ情報（slice_qp_delta）などが含まれている。なお、IDRピクチャ情報は、IDRピクチャのスライスヘッダにのみ含まれる。
【００５１】
ストリーム合成部３２が、映像コンテンツの符号化ストリームを合成してマルチ映像再生画像の符号化ストリームを生成する場合、図６に示したように、元の映像コンテンツとマルチ映像再生画像内の映像コンテンツとの間で、符号化順が異なる。従って、ストリーム合成部３２は、スライスヘッダ内のマクロブロック情報を書き換える。
【００５２】
また、同一のIDRピクチャのスライスヘッダに含まれるIDRピクチャ情報は同一である必要があるため、ストリーム合成部３２は、マルチ映像再生画像のIDRピクチャを構成する各映像コンテンツのスライスヘッダに含まれるIDRピクチャ情報を、同一となるように書き換える。
【００５３】
さらに、各スライスの量子化パラメータ（QP）の初期値SliceQPYは、以下の式（１）に示すように、量子化パラメータだけでなく、PPSに含まれるpic_init_qp_minus26にも依存する。
SliceQPY=26+pic_init_qp_minus26+slice_qp_delta
・・・（１）
【００５４】
従って、ストリーム合成部３２は、各映像コンテンツのPPSに含まれるpic_init_qp_minus26から、マルチ映像再生画像のPPSに含まれるpic_init_qp_minus26を減算した値だけ、スライスヘッダ内の量子化パラメータを増加させる。これにより、ストリーム合成部３２は、各スライスの量子化パラメータ（QP）の初期値SliceQPYを、元の映像コンテンツとマルチ映像再生画像の間で同一にする。なお、マルチ映像再生画像のPPSとしては、例えば、各映像コンテンツのPPSのいずれかのPPSが採用される。
【００５５】
［ストリーム合成部の処理の説明］
図１０は、図７のストリーム合成部３２の合成処理を説明するフローチャートである。
【００５６】
図１０のステップＳ１１において、ストリーム合成部３２は、マルチ映像再生画像の画面内の水平方向のマクロブロック数Xと垂直方向のマクロブロック数Yを設定する。ステップＳ１２において、ストリーム合成部３２は、マルチ映像再生画像内の処理対象とするスライス（以下、対象スライスという）の先頭のマクロブロックの水平方向のマクロブロック番号xと、垂直方向のマクロブロック番号yを0に設定する。
【００５７】
なお、水平方向のマクロブロック番号xとは、マルチ映像再生画像を構成するマクロブロックに対して、左から右へ0から順に付された番号である。垂直方向のマクロブロック番号yとは、マルチ映像再生画像を構成するマクロブロックに対して、上から下へ0から順に付された番号である。
【００５８】
ステップＳ１３において、認識部４１は、マルチ映像再生画像内の複数の映像コンテンツの配置に基づいて、符号化処理部３１から供給される複数の映像コンテンツの符号化ストリームから、対象スライスとして配置される映像コンテンツのスライスのデータ長Iとマクロブロック数sxを認識する。そして、認識部４１は、データ長Iとマクロブロック数sxを書き換え部４２に供給する。
【００５９】
ステップＳ１４において、ストリーム合成部３２は、対象スライスとして配置される映像コンテンツのスライスのスライスヘッダを書き換えるスライスヘッダ書き換え処理を行う。このスライスヘッダ書き換え処理の詳細は、後述する図１１を参照して説明する。
【００６０】
ステップＳ１５において、ストリーム合成部３２は、マクロブロック番号xをマクロブロック数sxだけインクリメントする。
【００６１】
ステップＳ１６において、ストリーム合成部３２は、マクロブロック番号xがマクロブロック数Ｘであるかどうかを判定する。ステップＳ１６で、マクロブロック番号xがマクロブロック数Ｘではないと判定された場合、処理はステップＳ１３に戻り、マクロブロック番号xがマクロブロック数Ｘとなるまで、ステップＳ１３乃至Ｓ１６の処理が繰り返される。
【００６２】
一方、ステップＳ１６で、マクロブロック番号xがマクロブロック数Ｘであると判定された場合、ステップＳ１７において、ストリーム合成部３２は、マクロブロック番号xを0に設定する。ステップＳ１８において、ストリーム合成部３２は、マクロブロック番号yを1だけインクリメントする。
【００６３】
ステップＳ１９において、ストリーム合成部３２は、マクロブロック番号yがマクロブロック数Ｙであるかどうかを判定する。ステップＳ１９で、マクロブロック番号yがマクロブロック数Ｙではないと判定された場合、処理はステップＳ１３に戻り、マクロブロック番号yがマクロブロック数Ｙとなるまで、ステップＳ１３乃至Ｓ１９の処理が繰り返される。
【００６４】
一方、ステップＳ１９で、マクロブロック番号yがマクロブロック数Ｙであると判定された場合、処理はステップＳ２０に進む。ステップＳ２０において、書き換え部４２は、スライスヘッダ書き換え処理後の映像コンテンツの符号化ストリームを、処理順に合成することにより、マルチ映像再生画像の符号化ストリームを生成し、送信部３３（図４）に供給する。
【００６５】
図１１は、図１０のステップＳ１４のスライスヘッダ書き換え処理の詳細を説明するフローチャートである。
【００６６】
図１１のステップＳ４１において、書き換え部４２は、対象スライスとして配置される映像コンテンツのスライスの先頭マクロブロック情報、IDRピクチャ情報、および量子化パラメータ情報を決定する。具体的には、書き換え部４２は、例えば、対象スライスの先頭マクロブロックとして配置される、映像コンテンツのマクロブロックのアドレスを規定する情報を、先頭マクロブロック情報に決定する。
【００６７】
ステップＳ４２において、書き換え部４２は、対象スライスとして配置される映像コンテンツのスライスのスライスヘッダに含まれる先頭マクロブロック情報を、ステップＳ４１で決定された先頭マクロブロック情報に書き換える。
【００６８】
ステップＳ４３において、書き換え部４２は、対象スライスとして配置される映像コンテンツのスライスのNALヘッダに含まれているNALユニットタイプ（nal_unit_type）は5であるかどうかを判定する。
【００６９】
ステップＳ４３で、NALユニットタイプは5であると判定された場合、ステップＳ４４において、書き換え部４２は、対象スライスとして配置される映像コンテンツのスライスのスライスヘッダに含まれるIDRピクチャ情報を、ステップＳ４１で決定されたIDRピクチャ情報に書き換える。そして、処理はステップＳ４５に進む。
【００７０】
ステップＳ４３でNALユニットタイプは5ではないと判定された場合、ステップＳ４４の処理はスキップし、処理はステップＳ４５に進む。
【００７１】
ステップＳ４５において、書き換え部４２は、対象スライスとして配置される映像コンテンツのスライスのスライスヘッダに含まれる量子化パラメータ情報を、ステップＳ４１で決定された量子化パラメータ情報に書き換える。
【００７２】
ステップＳ４６において、可逆符号化方式フラグ（entropy_coding_mode_flag）が1であるかどうかを判定する。ステップＳ４６で可逆符号化方式フラグが1であると判定された場合、ステップＳ４７において、書き換え部４２は、CABACのスライスデータ処理を行う。このCABACのスライスデータ処理の詳細は、後述する図１２を参照して説明する。
【００７３】
一方、ステップＳ４６で可逆符号化方式フラグが0であると判定された場合、ステップＳ４８において、書き換え部４２は、CAVLCのスライスデータ処理を行う。このCAVLCのスライスデータ処理の詳細は、後述する図１３を参照して説明する。
【００７４】
ステップＳ４７またはステップＳ４８の処理後、処理は図１０のステップＳ１４に戻り、処理は、ステップＳ１５に進む。
【００７５】
図１２は、図１１のステップＳ４７のCABACのスライスデータ処理の詳細を説明するフローチャートである。
【００７６】
図１２のステップＳ６１において、書き換え部４２は、書き換え後のスライスヘッダのデータ量（ビット量）に基づいて、スライスデータのバイトアライメント用のcabac_alignment_one_bitの数を書き換える。具体的には、書き換え部４２は、スライスヘッダのデータ量を8で除算した余りを8から減算した値を、新たなcabac_alignment_one_bitの数とする。
【００７７】
なお、書き換え後のスライスヘッダのデータ量は、認識部４１から供給されるデータ長Iと、スライスヘッダの書き換え後のスライスのNALユニットのデータ長I'の差分である。
【００７８】
ステップＳ６１の処理後、処理は、図１１のステップＳ４７に戻り、図１０のステップＳ１４に戻り、ステップＳ１５に進む。
【００７９】
図１３は、図１１のステップＳ４８のCAVLCのスライスデータ処理の詳細を説明するフローチャートである。
【００８０】
図１３のステップＳ８１において、書き換え部４２は、書き換え後のスライスヘッダのデータ量に基づいて、スライスデータのビットシフト量を決定する。具体的には、書き換え部４２は、スライスヘッダのデータ量を8で除算した余りを8から減算した値を、スライスデータのビットシフト量に決定する。
【００８１】
ステップＳ８２において、書き換え部４２は、スライスデータの各バイトデータを、ステップＳ８１で決定されたビットシフト量でシフトする。
【００８２】
ステップＳ８３において、書き換え部４２は、書き換え後のスライスヘッダのデータ量に基づいて、rbsp_slice_trailing_bitsの数を書き換える。ステップＳ８４において、書き換え部４２は、emulation_prevention_three_byte処理を行う。そして、処理は、図１１のステップＳ４８に戻り、図１０のステップＳ１４に戻り、ステップＳ１５に進む。
【００８３】
以上のように、ストリーム合成部３２は、複数の映像コンテンツそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして符号化された符号化ストリームを用いて、マルチ映像再生画像の符号化ストリームを生成する。従って、複数の映像コンテンツの符号化ストリームを合成するだけで、マルチ映像再生画像の符号化ストリームを生成することができる。
【００８４】
よって、映像コンテンツの符号化ストリームを復号し、再度符号化することによりマルチ映像再生画像の符号化ストリームを生成する従来手法に比べて、マルチ映像再生画像を生成する際の処理負荷を軽減することができる。また、従来手法のように復号および再符号化を行わないため、画質の劣化を防止することができる。
【００８５】
なお、以下では、従来手法と区別するために、ストリーム合成部３２によるマルチ映像再生画像の符号化ストリームを生成する手法を、直接コピー手法という。
【００８６】
＜第２実施の形態＞
［コンテンツ配信サーバの第２実施の形態の構成例］
図１４は、本技術を適用したマルチ映像再生システムのコンテンツ配信サーバ１１の第２実施の形態の構成例を示すブロック図である。
【００８７】
図１４に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００８８】
図１４のコンテンツ配信サーバ１１の構成は、新たに、制御部５１、選択部５２、パラメータトランスコード処理部５３、および合成部５４が設けられている点が図４の構成と異なる。図１４のコンテンツ配信サーバ１１は、自己が許容できる処理量（以下、処理許容量という）に基づいて、直接コピー手法とパラメータトランスコード手法（詳細は後述する）を選択的に用いて、マルチ映像再生画像の符号化ストリームを生成する。
【００８９】
具体的には、コンテンツ配信サーバ１１の制御部５１は、処理許容量SL、トランスコード処理量R、直接コピー処理量Q、コンテンツ受信装置１３の数である接続クライアント数N等に基づいて、トランスコード数npと直接コピー数nqを算出する。
【００９０】
なお、トランスコード処理量Rとは、パラメータトランスコード手法を用いてマルチ映像再生画像の符号化ストリームを生成したときの単位面積当たりの想定処理量である。直接コピー処理量Qとは、直接コピー手法を用いてマルチ映像再生画像の符号化ストリームを生成したときの単位面積当たりの想定処理量である。また、トランスコード数npは、パラメータトランスコード手法を用いる映像コンテンツの符号化ストリームの数であり、直接コピー数nqは、直接コピー手法を用いる映像コンテンツの符号化ストリームの数である。
【００９１】
制御部５１は、直接コピー数nqに基づいて、符号化処理部３１から出力される複数の映像コンテンツの符号化ストリームのうちの、直接コピー数nqの映像コンテンツの符号化ストリーム（以下、直接コピーストリームという）を決定する。また、制御部５１は、トランスコード数npに基づいて、符号化処理部３１から出力される複数の映像コンテンツの符号化ストリームのうちの、トランスコード数npの映像コンテンツの符号化ストリーム（以下、トランスコードストリームという）を決定する。
【００９２】
そして、制御部５１は、符号化処理部３１から出力される直接コピーストリームをストリーム合成部３２に供給し、トランスコードストリームをパラメータトランスコード処理部５３に供給するように、選択部５２を制御する。
【００９３】
選択部５２は、制御部５１の制御にしたがって、符号化処理部３１から供給される符号化ストリームのうちの直接コピーストリームをストリーム合成部３２に供給することにより、ストリーム合成部３２に、マルチ映像再生画像の符号化ストリームの一部を生成させる。また、選択部５２は、制御部５１の制御にしたがって、トランスコードストリームをパラメータトランスコード処理部５３に供給することにより、パラメータトランスコード処理部５３に、マルチ映像再生画像の符号化ストリームの一部を生成させる。
【００９４】
パラメータトランスコード処理部５３は、選択部５２から供給されるトランスコードストリームに対して、パラメータトランスコード手法を用いてマルチ映像再生画像の符号化ストリームの一部を生成する。
【００９５】
なお、パラメータトランスコード手法とは、映像コンテンツの符号化ストリームを復号し、その符号化ストリームに含まれる符号化パラメータをそのまま用いて再符号化を行うパラメータトランスコードにより、マルチ映像再生画像の符号化ストリームを生成する手法である。符号化パラメータは、例えば、マクロブロックのタイプ情報(イントラタイプ、インタータイプ)、予測ブロックのサイズ情報、動きベクトル情報、イントラ予測モードなどである。
【００９６】
パラメータトランスコード手法では、再度符号化が行われるため、量子化精度を変更することにより、符号量を削減することができる。また、パラメータトランスコード手法では、符号化パラメータを用いて再符号化が行われるため、従来手法に比べて処理負荷が小さいが、復号と符号化パラメータを用いた再符号化が行われるため、直接コピー手法に比べて処理負荷が大きい。
【００９７】
例えば、従来手法の処理量を１としたとき、ある実験では、直接コピー手法による処理量は、1/75であるが、パラメータトランスコード手法による処理量は1/2であった。なお、処理量は、処理を実行するプロセッサの能力やメモリのアクセス速度に依存する。
【００９８】
パラメータトランスコード処理部５３は、マルチ映像再生画像内の映像コンテンツの配置に基づいて、パラメータトランスコードの結果得られる符号化ストリームの一部を合成し、合成部５４に供給する。
【００９９】
合成部５４は、ストリーム合成部３２から出力されるマルチ映像再生画像の符号化ストリームの一部と、パラメータトランスコード処理部５３から供給されるマルチ映像再生画像の符号化ストリームの一部を合成する。合成部５４は、その結果得られるマルチ映像再生画像の符号化ストリームを送信部３３に供給する。
【０１００】
［コンテンツ配信サーバの処理の概要の説明］
図１５は、図１４のコンテンツ配信サーバ１１の処理の概要を説明する図である。
【０１０１】
図１５の例では、９個の映像コンテンツＡ乃至Ｉからマルチ映像再生画像が構成される。
【０１０２】
図１５に示すように、制御部５１は、選択部５２を制御し、映像コンテンツＡ乃至Ｉの符号化ストリームのうちの、直接コピー数nqの直接コピーストリームをストリーム合成部３２に供給させる。また、制御部５１は、選択部５２を制御し、映像コンテンツＡ乃至Ｉの符号化ストリームのうちの、トランスコード数npのトランスコードストリームをパラメータトランスコード処理部５３に供給させる。
【０１０３】
図１５の例では、直接コピー数nqは6であり、トランスコード数npは3である。従って、映像コンテンツＡと映像コンテンツＣ乃至Ｇの6個の映像コンテンツの符号化ストリームが、直接コピーストリームとしてストリーム合成部３２に供給される。また、映像コンテンツＢ、映像コンテンツＨ、および映像コンテンツＩの3個の映像コンテンツの符号化ストリームが、トランスコードストリームとしてパラメータトランスコード処理部５３に供給される。
【０１０４】
［パラメータトランスコード処理部の構成例］
図１６は、図１４のパラメータトランスコード処理部５３の構成例を示すブロック図である。
【０１０５】
図１６に示すように、パラメータトランスコード処理部５３は、パラメータデコーダ６１、パラメータ決定部６３を有するパラメータコントローラ６２、イントラ予測/動き補償部６４、直交変換/量子化部６５、ストリーム生成部６６、および逆量子化/逆直交変換部６７により構成される。
【０１０６】
パラメータデコーダ６１には、図１４の選択部５２から供給されるトランスコードストリームを復号し、その結果得られる符号化パラメータと画像データをパラメータコントローラ６２に供給する。
【０１０７】
パラメータコントローラ６２は、符号化パラメータと画像データを取得し、通常のH.264/AVC方式の符号化処理が必要か否かを判断して、内部のスイッチSW１及びSW２を切り替える。より具体的には、パラメータコントローラ６２は、通常の符号化処理が必要ではないと判断した場合、スイッチSW１及びSW２を、ａ側に接続し、取得した符号化パラメータと画像データをそのまま後段のイントラ予測／動き補償部６４に供給する。一方、通常の符号化処理が必要であると判断した場合、パラメータコントローラ６２は、スイッチSW１及びSW２を、ｂ側に接続し、取得した符号化パラメータと画像データをパラメータ決定部６３に供給する。
【０１０８】
パラメータ決定部６３は、通常のH.264/AVC方式の符号化処理と同様に、イントラ/インタータイプ決定処理、ブロックサイズ決定処理、動きベクトル算出処理、イントラ予測モード決定処理を実行し、符号化パラメータを決定する。決定された符号化パラメータと画像データは、イントラ予測／動き補償部６４に供給される。
【０１０９】
イントラ予測／動き補償部６４は、符号化パラメータに含まれるマクロブロックのタイプ情報がイントラタイプを表している場合、符号化パラメータに基づいてイントラ予測を行う。一方、イントラ予測／動き補償部６４は、符号化パラメータに含まれるマクロブロックのタイプ情報がインタータイプを表している場合、符号化パラメータに基づいて動き補償を行う。
【０１１０】
また、イントラ予測／動き補償部６４は、イントラ予測または動き補償の結果得られる予測画像の画像データを、パラメータコントローラ６２から供給される画像データから減算し、差分画像データを生成する。イントラ予測／動き補償部６４は、差分画像データを直交変換/量子化部６５に供給する。
【０１１１】
さらに、イントラ予測／動き補償部６４は、逆量子化/逆直交変換部６７から供給される差分画像データと、イントラ予測または動き補償の結果得られる予測画像の画像データとを加算する。イントラ予測／動き補償部６４は、その結果得られる画像データを、イントラ予測または動き補償時に参照する。
【０１１２】
直交変換／量子化部６５は、イントラ予測／動き補償部６４から供給される差分画像データに対して直交変換を施し、変換係数を求める。直交変換／量子化部６５は、求めた変換係数を量子化し、量子化された変換係数をストリーム生成部６６と逆量子化／逆直交変換部６７に供給する。
【０１１３】
ストリーム生成部６６は、直交変換/量子化部６５から供給される量子化された変換係数と、イントラ予測/動き補償部６４から供給される符号化パラメータに対し、CABACまたはCAVLCを可逆符号化として行う。ストリーム生成部６６は、その結果得られる符号化ストリームを、マルチ映像再生画像内の映像コンテンツの配置に基づいて合成し、マルチ映像再生画像の符号化ストリームの一部として出力する。
【０１１４】
逆量子化／逆直交変換部６７は、直交変換／量子化部６５から供給される量子化された変換係数を逆量子化し、得られた変換係数を、さらに逆直交変換する。換言すれば、逆量子化／逆直交変換部６７は、直交変換／量子化部６５が行う直交変換及び量子化に対応する方法で、逆量子化及び逆直交変換を行う。逆量子化／逆直交変換部６７は、逆直交変換の結果得られる差分画像データをイントラ予測/動き補償部６４に供給する。
【０１１５】
［制御部の処理の説明］
図１７は、コンテンツ配信サーバ１１の制御部５１（図１４）の選択処理を説明するフローチャートである。
【０１１６】
図１７のステップＳ１０１において、制御部５１は、処理許容量SL、トランスコード処理量R、および直接コピー処理量Qを設定する。ステップＳ１０２において、制御部５１は、コンテンツ受信装置１３と通信を行うなどして、接続クライアント数Nを取得する。
【０１１７】
ステップＳ１０３において、制御部５１は、処理許容量SLを接続クライアント数Nで除算し、その結果得られる除算値を、コンテンツ受信装置１３当たりの処理許容量として算出する。
【０１１８】
ステップＳ１０４において、制御部５１は、コンテンツ受信装置１３当たりの処理許容量、マルチ映像再生画像の画面の面積、トランスコード処理量R、および直接コピー処理量Qに基づいて、トランスコード面積Spと直接コピー面積Sqを算出する。具体的には、制御部５１は、トランスコード面積Spとトランスコード処理量Rの乗算値と、直接コピー面積Sqと直接コピー処理量Qの乗算値の和が、コンテンツ受信装置１３当たりの処理許容量を超えない最大値となるように、トランスコード面積Spと直接コピー面積Sqを算出する。
【０１１９】
なお、トランスコード面積Spとは、マルチ映像再生画像内の、トランスコードストリームの映像コンテンツの面積であり、直接コピー面積Sqとは、マルチ映像再生画像内の、直接コピーストリームの映像コンテンツの面積である。
【０１２０】
ステップＳ１０５において、制御部５１は、マルチ映像再生画像内の映像コンテンツ当たりの面積、トランスコード面積Sp、および直接コピー面積Sqに基づいて、トランスコード数npと直接コピー数nqを算出する。なお、ここでは、マルチ映像再生画像内の各映像コンテンツの面積は全て同一であるものとするが、その面積は複数種類あってもよい。この場合、面積の種類ごとに、トランスコード数npと直接コピー数nqが算出される。
【０１２１】
制御部５１は、以上のようにして算出されたトランスコード数npと直接コピー数nqに基づいて、トランスコードストリームと直接コピーストリームを決定する。そして、制御部５１は、選択部５２を制御し、直接コピーストリームをストリーム合成部３２に供給し、トランスコードストリームをパラメータトランスコード処理部５３に供給する。
【０１２２】
以上のように、図１４のコンテンツ配信サーバ１１は、処理許容量SLに基づいて、ストリーム合成部３２とパラメータトランスコード処理部５３に、マルチ映像再生画像の符号化ストリームを生成させる。従って、図１４のコンテンツ配信サーバ１１は、処理許容量SL以内の処理量で、ビットレートを抑制しつつ、マルチ映像再生画像の符号化ストリームを生成することができる。
【０１２３】
即ち、上述したように、パラメータトランスコード手法では、量子化精度を変更することにより、符号量を削減することができるが、直接コピー手法に比べて処理量が多い。従って、図１４のコンテンツ配信サーバ１１は、処理量が処理許容量SLを越えない最大値となるように、トランスコード面積Spと直接コピー面積Sqを算出することにより、処理量が処理許容量SLを越えない範囲でトランスコード面積Spを大きくし、ビットレートを抑制することができる。
【０１２４】
また、図１４のコンテンツ配信サーバ１１は、接続クライアント数Nにも基づいて、トランスコード数npと直接コピー数nqを算出するので、接続クライアント数Nの変化に対応して、最適なトランスコード数npと直接コピー数nqを設定することができる。
【０１２５】
なお、トランスコード数npと直接コピー数nqは、コンテンツ受信装置１３ごとに異なるようにしてもよい。この場合、マルチ映像再生画像が使用される、コンテンツ受信装置１３におけるアプリケーション等ごとに、そのコンテンツ受信装置１３に対する処理許容量が算出され、トランスコード数npと直接コピー数nqが算出される。
【０１２６】
＜第３実施の形態＞
［コンテンツ配信サーバの第３実施の形態の構成例］
図１８は、本技術を適用したマルチ映像再生システムのコンテンツ配信サーバ１１の第３実施の形態の構成例を示すブロック図である。
【０１２７】
図１８に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１２８】
図１８のコンテンツ配信サーバ１１の構成は、制御部５１の代わりに制御部８１が設けられている点が図１４の構成と異なる。図１８のコンテンツ配信サーバ１１は、処理許容量ではなく、ユーザにより指定されたビットレート（以下、指定レートという）TRに基づいて、直接コピー手法とパラメータトランスコード手法を選択的に用いて、マルチ映像再生画像の符号化ストリームを生成する。
【０１２９】
具体的には、コンテンツ配信サーバ１１の制御部８１は、指定レートTRに基づいて、トランスコード数npと直接コピー数nqを算出する。制御部８１は、図１４の制御部５１と同様に、直接コピー数nqに基づいて、符号化処理部３１から出力される複数の映像コンテンツの符号化ストリームのうちの直接コピーストリームを決定する。また、制御部８１は、制御部５１と同様に、トランスコード数npに基づいて、符号化処理部３１から出力される複数の映像コンテンツの符号化ストリームのうちのトランスコードストリームを決定する。
【０１３０】
そして、制御部８１は、制御部５１と同様に、符号化処理部３１から出力される直接コピーストリームをストリーム合成部３２に供給し、トランスコードストリームをパラメータトランスコード処理部５３に供給するように、選択部５２を制御する。
【０１３１】
［制御部の処理の説明］
図１９は、コンテンツ配信サーバ１１の制御部８１（図１８）の選択処理を説明するフローチャートである。
【０１３２】
図１８のステップＳ１２１において、制御部８１は、トランスコード数npを0に設定する。また、制御部８１は、直接コピー数nqを、マルチ映像再生画像を構成する映像コンテンツの数Nに設定する。
【０１３３】
ステップＳ１２２において、制御部８１は、直接コピー数nqの映像コンテンツの符号化ストリームを直接コピーストリームとしたときの、マルチ映像再生画像の符号化ストリームの推定ビットレートERを計算する。
【０１３４】
具体的には、制御部８１は、選択部５２を制御し、直接コピー数nq個の映像コンテンツの符号化ストリームを直接コピーストリームとしてストリーム合成部３２に供給させ、トランスコード数npの映像コンテンツの符号化ストリームをトランスコードストリームとしてパラメータトランスコード処理部５３に供給させる。このとき、パラメータトランスコード処理部５３は、パラメータトランスコード時の量子化精度を、予め指定された許容可能な最低の量子化精度に設定する。そして、制御部８１は、その結果合成部５４から出力されるマルチ映像再生画像の符号化ストリームのビットレートを検出し、推定ビットレートERとする。
【０１３５】
または、制御部８１は、映像コンテンツの符号化ストリームのデータ長I等に基づいて、パラメータトランスコード時の量子化精度が、予め指定された許容可能な最低の量子化精度であるとして、マルチ映像再生画像の符号化ストリームのビットレートを推定し、推定ビットレートERとする。
【０１３６】
ステップＳ１２３において、制御部８１は、推定ビットレートERが指定レートTRより小さいかどうかを判定する。ステップＳ１２３で推定ビットレートERが指定レートTRより小さくはないと判定された場合、処理はステップＳ１２４に進む。
【０１３７】
ステップＳ１２４において、制御部８１は、トランスコード数npを、調整値dだけインクリメントする。なお、調整値dとしては、推定ビットレートERと指定レートTRの差分が大きいほど大きい値が設定される。また、制御部８１は、マルチ映像再生画像を構成する映像コンテンツの数Nから、インクリメント後のトランスコード数npを減算した値を、直接コピー数nqとする。そして、処理はステップＳ１２２に戻り、推定ビットレートERが指定レートTRより小さくなるまで、ステップＳ１２２乃至Ｓ１２４の処理が繰り返される。
【０１３８】
ステップＳ１２３で、推定ビットレートERが指定レートTRより小さいと判定された場合、ステップＳ１２５において、制御部８１は、現在のトランスコード数npと直接コピー数nqを最終的な値とする。
【０１３９】
制御部８１は、以上のようにして算出されたトランスコード数npと直接コピー数nqに基づいて、トランスコードストリームと直接コピーストリームを決定する。そして、制御部８１は、選択部５２を制御し、直接コピーストリームをストリーム合成部３２に供給し、トランスコードストリームをパラメータトランスコード処理部５３に供給する。
【０１４０】
以上のように、図１８のコンテンツ配信サーバ１１は、指定レートTRに基づいて、ストリーム合成部３２とパラメータトランスコード処理部５３に、マルチ映像再生画像の符号化ストリームを生成させる。従って、図１８のコンテンツ配信サーバ１１は、処理負荷を軽減しつつ、指定レートTRより小さいビットレートのマルチ映像再生画像の符号化ストリームを生成することができる。
【０１４１】
即ち、上述したように、パラメータトランスコード手法では、直接コピー手法に比べて処理量が多いが、量子化精度を変更することにより、符号量を削減することができる。従って、全ての映像コンテンツの符号化ストリームに対して直接コピー手法を用いることで処理負荷を軽減すると、ビットレートが指定レートTR以上となる場合、図１８のコンテンツ配信サーバ１１は、一部の映像コンテンツの符号化ストリームに対してパラメータトランスコード手法を用いることで、ビットレートを指定レートTRより小さくする。
【０１４２】
なお、直接コピー数nqがNである場合に、推定ビットレートERが、指定レートTRより小さい場合には、図１８のコンテンツ配信サーバ１１は、マルチ映像再生画像の符号化ストリームにFillerデータを追加して、出力する。
【０１４３】
また、図１８のコンテンツ配信サーバ１１では、パラメータトランスコード時に量子化精度が予め指定された許容可能な最低の量子化精度とされるので、パラメータトランスコード手法が用いられた映像コンテンツの符号化ストリームの画質が劣化する。従って、パラメータトランスコード手法が用いられる映像コンテンツの、マルチ映像再生画像内の位置や内容が、マルチ映像再生画像の主観的な印象に大きく影響する。
【０１４４】
よって、図１８のコンテンツ配信サーバ１１は、各映像コンテンツの重要度を設定し、重要度の高い順に直接コピー手法を割り当てることで、マルチ映像再生画像の主観的な印象を向上させるようにすることができる。
【０１４５】
重要度の設定方法としては、マルチ映像再生画像内のユーザが注目している領域や中央領域に配置される映像コンテンツの重要度を高く設定する方法、閲覧した人数が多いなど、過去のユーザの人気度の高い映像コンテンツの重要度を高く設定する方法、複雑な映像コンテンツの重要度を高く設定する方法などがある。
【０１４６】
また、第２の実施の形態と第３の実施の形態は、組み合わせることができる。即ち、コンテンツ配信サーバ１１は、処理許容量SLと指定レートTRの両方に基づいて、トランスコード数npと直接コピー数nqを算出するようにしてもよい。この場合、処理許容量SLが小さいことにより、マルチ映像再生画像の符号化ストリームのビットレートが指定レートTRより小さくならない可能性がある。このときには、コンテンツ配信サーバ１１は、例えば、マルチ映像再生画像の符号化ストリームの一部のマクロブロックを、スキップマクロブロックとすることにより、ビットレートを指定レートTRより小さくする。
【０１４７】
＜第４実施の形態＞
［コンテンツ配信サーバの第４実施の形態の構成例］
図２０は、本技術を適用したマルチ映像再生システムのコンテンツ配信サーバ１１の第４実施の形態の構成例を示すブロック図である。
【０１４８】
図２０に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１４９】
図２０のコンテンツ配信サーバ１１の構成は、制御部５１の代わりに制御部９１が設けられている点が図１４の構成と異なる。図２０のコンテンツ配信サーバ１１は、処理許容量ではなく、上述した方法で設定された各映像コンテンツの重要度に基づいて、直接コピー手法とパラメータトランスコード手法を選択的に用いて、マルチ映像再生画像の符号化ストリームを生成する。
【０１５０】
具体的には、コンテンツ配信サーバ１１の制御部９１は、符号化処理部３１から出力される複数の映像コンテンツの符号化ストリームの重要度に基づいて、その符号化ストリームを直接コピーストリームまたはトランスコードストリームに決定する。
【０１５１】
そして、制御部９１は、制御部５１と同様に、符号化処理部３１から出力される直接コピーストリームをストリーム合成部３２に供給し、トランスコードストリームをパラメータトランスコード処理部５３に供給するように、選択部５２を制御する。
【０１５２】
［制御部の処理の説明］
図２１は、コンテンツ配信サーバ１１の制御部９１（図２０）の選択処理を説明するフローチャートである。この選択処理は、符号化処理部３１から供給される映像コンテンツの符号化ストリームごとに行われる。
【０１５３】
図２１のステップＳ１３１において、制御部９１は、処理対象の映像コンテンツの符号化ストリームの重要度が高いかどうか、即ち、その重要度が閾値以上であるかどうかを判定する。ステップＳ１３１で、処理対象の映像コンテンツの符号化ストリームの重要度が高いと判定された場合、ステップＳ１３２において、制御部９１は、選択部５２に、処理対象の符号化ストリームを直接コピーストリームとして、ストリーム合成部３２に供給させる。そして、処理は終了する。
【０１５４】
一方、ステップＳ１３１で、処理対象の映像コンテンツの符号化ストリームの重要度が低いと判定された場合、ステップＳ１３３において、制御部９１は、選択部５２に、処理対象の符号化ストリームをトランスコードストリームとして、パラメータトランスコード処理部５３に供給させる。そして、処理は終了する。
【０１５５】
以上のように、図２０のコンテンツ配信サーバ１１は、映像コンテンツの重要度に基づいて、ストリーム合成部３２とパラメータトランスコード処理部５３にマルチ映像再生画像の符号化ストリームを生成させる。従って、処理負荷とビットレートを抑制しつつ、マルチ映像再生画像内の重要度の高い映像コンテンツの画質劣化を防止することができる。
【０１５６】
＜第５実施の形態＞
［コンテンツ配信サーバの第５実施の形態の構成例］
図２２は、本技術を適用したマルチ映像再生システムのコンテンツ配信サーバ１１の第５実施の形態の構成例を示すブロック図である。
【０１５７】
図２２に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１５８】
図２２のコンテンツ配信サーバ１１の構成は、符号化処理部３１の代わりに符号化処理部１０１乃至１０３が設けられている点、および、制御部１０４とストリーム選択部１０５が新たに設けられている点が図１４の構成と異なる。図２２のコンテンツ配信サーバ１１は、複数の映像コンテンツそれぞれについての、ビットレートの異なる３種類の符号化ストリームを生成し、その３種類の符号化ストリームを選択的に用いて、マルチ映像再生画像の符号化ストリームを生成する。
【０１５９】
具体的には、コンテンツ配信サーバ１１の符号化処理部１０１は、図４の符号化処理部３１と同様に、複数の映像コンテンツのH.264/AVC方式等の符号化ストリームを受信し、復号する。符号化処理部１０１は、復号の結果得られる複数の映像コンテンツのそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして再符号化する。このとき、同時刻に再生される各映像コンテンツの符号化ストリームのピクチャタイプは同一にされ、再符号化の結果得られる複数の映像コンテンツの符号化ストリームのビットレートが所定のビットレートにされる。符号化処理部１０１は、再符号化の結果得られる複数の映像コンテンツの符号化ストリームをストリーム選択部１０５に供給する。
【０１６０】
符号化処理部１０２と符号化処理部１０３は、符号化処理部１０１と同様に構成され、符号化処理部１０１と同様の処理を行う。但し、符号化処理部１０２による再符号化の結果得られる複数の映像コンテンツの符号化ストリームのビットレートは、符号化処理部１０１の場合に比べて低い。また、符号化処理部１０３による再符号化の結果得られる複数の映像コンテンツの符号化ストリームのビットレートは、符号化処理部１０２の場合に比べてさらに低い。即ち、符号化処理部１０１乃至１０３は、それぞれ、同一の複数の映像コンテンツの符号化ストリームであって、ビットレートの異なる符号化ストリームを生成する。
【０１６１】
制御部１０４は、指定レートTRに基づいて、符号化処理部１０１乃至１０３のいずれかから供給される複数の映像コンテンツの符号化ストリームを、選択部５２に供給するように、ストリーム選択部１０５を制御する。
【０１６２】
ストリーム選択部１０５は、制御部１０４の制御により、符号化処理部１０１乃至１０３のいずれかから供給される複数の映像コンテンツの符号化ストリームを選択し、選択部５２に供給する。
【０１６３】
［コンテンツ配信サーバの処理の概要の説明］
図２３は、図２２のコンテンツ配信サーバ１１の処理の概要を説明する図である。
【０１６４】
図２３の例では、９個の映像コンテンツＡ乃至Ｉからマルチ映像再生画像が構成される。
【０１６５】
図２３に示すように、符号化処理部１０１乃至符号化処理部１０３は、映像コンテンツＡ乃至Ｉのビットレートの異なる３種類の符号化ストリームを生成する。図２３の例では、符号化処理部１０１乃至１０３により生成される符号化ストリームのビットレートは、それぞれ、2Mbps,1Mbps,512kbpsである。
【０１６６】
制御部１０４は、ストリーム選択部１０５を制御し、３種類のビットレートのうちのいずれか１種類のビットレートの映像コンテンツＡ乃至Ｉの符号化ストリームを選択し、選択部５２に供給する。
【０１６７】
制御部５１、選択部５２、ストリーム合成部３２、およびパラメータトランスコード処理部５３の処理は、図１５で説明した処理と同様であるので、説明は省略する。但し、図２３の例では、指定レートRTに基づいて、マルチ映像再生画像の符号化ストリームの生成に用いられる映像コンテンツの符号化ストリームのビットレートが選択されるので、全ての映像コンテンツＡ乃至Ｉの符号化ストリームが直接コピーストリームとなっている。
【０１６８】
［制御部の処理の説明］
図２４は、コンテンツ配信サーバ１１の制御部１０４（図２２）のストリーム選択処理を説明するフローチャートである。
【０１６９】
図２４のステップＳ１４１において、制御部１０４は、指定レートTRが閾値TH1より小さいかどうかを判定する。ステップＳ１４１で指定レートTRが閾値TH1より小さいと判定された場合、ステップＳ１４２において、制御部１０４は、符号化処理部１０３から供給される複数の映像コンテンツの符号化ストリームを選択する。そして、制御部は、選択された符号化ストリームを選択部５２に供給し、処理を終了する。
【０１７０】
一方、ステップＳ１４１で指定レートTRが閾値TH1より小さくはないと判定された場合、ステップＳ１４３において、指定レートTRが閾値TH2(TH2>TH1)より小さいかどうかを判定する。
【０１７１】
ステップＳ１４３で、指定レートTRが閾値TH2より小さいと判定された場合、ステップＳ１４４において、制御部１０４は、符号化処理部１０２から供給される複数の映像コンテンツの符号化ストリームを選択する。そして、制御部は、選択された符号化ストリームを選択部５２に供給し、処理を終了する。
【０１７２】
また、ステップＳ１４３で指定レートTRが閾値TH2より小さくはないと判定された場合、ステップＳ１４５において、制御部１０４は、符号化処理部１０１から供給される複数の映像コンテンツの符号化ストリームを選択する。そして、制御部は、選択された符号化ストリームを選択部５２に供給し、処理を終了する。
【０１７３】
以上のように、図２２のコンテンツ配信サーバ１１は、指定レートTRに基づいて、複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択し、マルチ映像再生画像の符号化ストリームの生成に用いる。従って、図２２のコンテンツ配信サーバ１１は、指定レートTRが小さいほど小さいビットレートの符号化ストリームを選択することにより、トランスコード数npを削減し、処理負荷を軽減することができる。
【０１７４】
また、パラメータトランスコード時の量子化精度を元の量子化精度に近くすることができる。その結果、元の映像コンテンツの量子化値Qorgと、マルチ映像再生画像内の映像コンテンツの再量子化値Qcurの差が小さくて済む。これに対して、量子化値Qorgと再量子化値Qcurの差が大きい場合、画質を考慮すると、パラメータトランスコード時に通常の符号化を行い、予測モードを変更する必要がある。従って、図２２のコンテンツ配信サーバ１１では、パラメータトランスコード時に、通常の符号化を行う必要がないので、処理負荷を軽減し、高速に処理を行うことができる。
【０１７５】
なお、第５実施の形態では、選択される各映像コンテンツのビットレートは、同一であったが、異なっていてもよい。この場合、図２２のコンテンツ配信サーバ１１は、上述した方法で各映像コンテンツの重要度を設定し、重要度の高い順に大きいビットレートの符号化ストリームを選択することができる。また、ビットレートの種類は、３つに限定されない。
【０１７６】
また、第５実施の形態では、指定レートTRに基づいて映像コンテンツの符号化ストリームのビットレートが選択されたが、映像コンテンツの重要度等に基づいて選択されるようにしてもよい。
【０１７７】
さらに、第５実施の形態では、直接コピー手法とトランスコード手法の両方が選択的に用いられたが、第１実施の形態と同様に、直接コピー手法だけが用いられるようにしてもよい。この場合、図２２の制御部５１、選択部５２、パラメータトランスコード処理部５３、および合成部５４は設けられず、ストリーム選択部１０５により選択された符号化ストリームが、全て、ストリーム合成部３２に供給される。
【０１７８】
本技術は、H.264/AVC方式以外のMPEG2（Moving Picture Experts Group phase 2）やHEVC（High Efficiency Video Coding）方式などの符号化方式で符号化された符号化ストリームの画像処理システムにも適用することができる。
【０１７９】
＜本技術を適用したコンピュータの説明＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１８０】
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１８１】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１８２】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１８３】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１８４】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８５】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８６】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１８７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８８】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１８９】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１９１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９３】
なお、本技術は、以下のような構成もとることができる。
【０１９４】
（１）
複数の映像コンテンツそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成部
を備える画像処理装置。
（２）
前記ストリーム合成部は、前記複数の映像コンテンツそれぞれの符号化ストリームに含まれるスライスヘッダを変更して合成することにより、前記マルチ映像再生画像の符号化ストリームを生成する
前記（１）に記載の画像処理装置。
（３）
前記ストリーム合成部は、前記スライスヘッダに含まれる前記スライスの先頭のマクロブロックを示す情報を変更する
前記（２）に記載の画像処理装置。
（４）
前記ストリーム合成部は、前記スライスヘッダに含まれるIDRピクチャの識別子を示す情報を変更する
前記（２）または（３）に記載の画像処理装置。
（５）
前記ストリーム合成部は、前記スライスヘッダに含まれる量子化パラメータを示す情報を変更する
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記複数の映像コンテンツそれぞれの符号化ストリームのピクチャタイプは同一である
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記ストリーム合成部は、自己の画像処理装置の処理許容量、前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツのうちの一部の映像コンテンツの符号化ストリームに対して、その符号化ストリームに含まれるスライスヘッダを変更し、残りの映像コンテンツの符号化ストリームに対してパラメータトランスコードを行って、合成することにより、前記マルチ映像再生画像の符号化ストリームを生成する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択するストリーム選択部
をさらに備え、
前記ストリーム合成部は、前記ストリーム選択部により選択された前記複数の映像コンテンツそれぞれの符号化ストリームを用いて、前記マルチ映像再生画像の符号化ストリームを生成する
前記（１）に記載の画像処理装置。
（９）
画像処理装置が、
複数の映像コンテンツそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成ステップ
を含む画像処理方法。
（１０）
複数の映像コンテンツそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成部と、
前記ストリーム合成部により生成された前記マルチ映像再生画像の符号化ストリームを送信する送信部と
を有する
サーバ装置と、
前記送信部により送信された前記マルチ映像再生画像の符号化ストリームを受信する受信部と、
前記受信部により受信された前記マルチ映像再生画像の符号化ストリームに基づいて、前記マルチ映像再生画像を所定の表示部に表示させる表示制御部と
を有する
クライアント装置と
を備える画像処理システム。
【符号の説明】
【０１９５】
１１  コンテンツ配信サーバ，  １３  コンテンツ受信装置，  ２１  受信部，  ２２  表示制御部，  ２３  表示部，  ３２  ストリーム合成部，  ３３  送信部，  ５３  パラメータトランスコード処理部，  １０５  ストリーム選択部
【図１】
0005979406.tif 000002
【図２】
0005979406.tif 000003
【図３】
0005979406.tif 000004
【図４】
0005979406.tif 000005
【図５】
0005979406.tif 000006
【図６】
0005979406.tif 000007
【図７】
0005979406.tif 000008
【図８】
0005979406.tif 000009
【図９】
0005979406.tif 000010
【図１０】
0005979406.tif 000011
【図１１】
0005979406.tif 000012
【図１２】
0005979406.tif 000013
【図１３】
0005979406.tif 000014
【図１４】
0005979406.tif 000015
【図１５】
0005979406.tif 000016
【図１６】
0005979406.tif 000017
【図１７】
0005979406.tif 000018
【図１８】
0005979406.tif 000019
【図１９】
0005979406.tif 000020
【図２０】
0005979406.tif 000021
【図２１】
0005979406.tif 000022
【図２２】
0005979406.tif 000023
【図２３】
0005979406.tif 000024
【図２４】
0005979406.tif 000025
【図２５】
0005979406.tif 000026