(57)【要約】【課題】マルチ映像の表示領域を移動する場合の処理負荷を軽減する。【解決手段】合成部は、複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、複数の映像からなるマルチ映像の符号化ストリームを生成する。挿入部は、マルチ映像の表示領域が移動した場合、合成部により生成されるマルチ映像の符号化ストリームの間に、マルチ映像の全てのマクロブロックが表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する。本開示は、例えば、マルチ映像を配信する配信サーバ等に適用することができる。【選択図】図４
2014175857.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像の符号化ストリームを生成する合成部と、
前記マルチ映像の表示領域が移動した場合、前記合成部により生成される前記マルチ映像の符号化ストリームの間に、前記マルチ映像の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入部と
を備える映像処理装置。
【請求項２】
前記映像内の周囲の１以上の画素の画素値は所定値である
請求項１に記載の映像処理装置。
【請求項３】
前記挿入部は、参照先が前記マルチ映像内に存在しない前記挿入ストリームのスライスを、そのスライスの表示位置に表示すべき映像のイントラスライスに置換する
請求項１に記載の映像処理装置。
【請求項４】
前記挿入部は、前記表示領域の移動方向が上下方向であり、かつ、移動量がスライスの整数倍である場合、参照先が前記マルチ映像内に存在しない前記挿入ストリームのスライスを、そのスライスの表示位置に表示すべき映像のイントラスライスに置換する
請求項３に記載の映像処理装置。
【請求項５】
前記挿入部は、前記挿入ストリームのスライスヘッダを、前記挿入ストリームの直後の前記マルチ映像の符号化ストリームのスライスヘッダに基づいて生成する
請求項１に記載の映像処理装置。
【請求項６】
前記合成部は、前記マルチ映像の符号化ストリームに対応するマルチ映像内の前記映像のスライスの参照先が、前記挿入ストリームに対応するマルチ映像の画面外に存在する場合、その映像の全ての符号化単位を、動きベクトルが０であるスキップマクロブロックに置換する
請求項１に記載の映像処理装置。
【請求項７】
前記合成部は、前記マルチ映像の符号化ストリームに対応するマルチ映像内に前記映像の全てのスライスが存在しない場合、その映像の全ての符号化単位を、動きベクトルが０であるスキップマクロブロックに置換する
請求項１に記載の映像処理装置。
【請求項８】
映像処理装置が、
複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像の符号化ストリームを生成する合成ステップと、
前記マルチ映像の表示領域が移動した場合、前記合成ステップの処理により生成される前記マルチ映像の符号化ストリームの間に、前記マルチ映像の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入ステップと
を含む映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、映像処理装置および映像処理方法に関し、特に、マルチ映像の表示領域を移動する場合の処理負荷を軽減することができるようにした映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
コンテンツのデジタル化が進み、映像を伝送できるインフラも整備されてきたことにより、インターネットを通じた映像配信が普及しつつある。最近では受信側の装置として、パーソナルコンピュータ以外に、ネットワークに接続可能なテレビジョン受像機も増えてきており、配信される映像をテレビジョン受像機で見ることもできるようになってきている。また、近年、クラウドサービスの発展により、ネットワークを介して、プライベートコンテンツを含めた多様なチャンネルが視聴者に提供されるようになってきている。そのため、図１に示すような、複数の映像を同時に視聴して、見たい映像を簡単に探索することができるマルチ映像再生システムに対するニーズがより高くなってきている。
【０００３】
図１のマルチ映像再生システムにおいて、画面に表示されるマルチ映像は、複数の映像で構成される。表示される複数の映像のうち、主として視聴される映像である主映像が、最大サイズで画面中央に配置されている。そして、主映像の周辺に、選択（切り替え）可能な他の映像が、主映像よりも小さいサイズで配置されている。選択可能な映像は、例えば、TV放送のチャンネル、Web画面、映画などのビデオコンテンツ、TVチャット画面などであり、例えば、クラウド（ネットワーク）内から取得される。
【０００４】
このようなマルチ映像の表示を実現する第１の方法として、クラウド内のサーバから複数の映像それぞれに対応する複数の符号化ストリームを配信してもらう方法がある。クライアント側の装置は、複数の符号化ストリームを受信して復号し、合成処理を行うことによって、マルチ映像を生成する。例えば、特許文献１には、複数のES(Elementary Stream)を受信し、表示優先度に基づいて優先度の高いESに広い面積の表示領域を割り当てるようにしたマルチ映像が開示されている。
【０００５】
しかしながら、複数の符号化ストリームを配信するためには、かなり広い伝送帯域が必要になる。また、クライアント側の装置に、複数の符号化ストリームを同時に復号し、合成処理する能力が要求されるため、クライアント側の装置が高価になる。
【０００６】
その他のマルチ映像の表示を実現する第２の方法として、図２に示すように、サーバ側が１本の符号化ストリームとしてマルチ映像を生成し、配信を行う方法がある。この場合、サーバは、合成する複数の映像を一旦復号（Decode）し、サイズ変更（Resize）し、映像合成後に再度符号化（Encode）することによって、マルチ映像の符号化ストリームを生成する。従って、サーバの処理負荷はかなり大きくなる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−０６４８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
また、スクロール操作等により、マルチ映像の表示領域が移動される場合、サーバは、マルチ映像の符号化ストリームを復号して、動きベクトルを変更し、再符号化する必要がある。従って、サーバの処理負荷は大きい。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、マルチ映像の表示領域を移動する場合の処理負荷を軽減することができるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の一側面の映像処理装置は、複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像の符号化ストリームを生成する合成部と、前記マルチ映像の表示領域が移動した場合、前記合成部により生成される前記マルチ映像の符号化ストリームの間に、前記マルチ映像の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入部とを備える映像処理装置である。
【００１１】
本開示の一側面の映像処理方法は、本開示の一側面の映像処理装置に対応する。
【００１２】
本開示の一側面においては、複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームが合成されて、前記複数の映像からなるマルチ映像の符号化ストリームが生成され、前記マルチ映像の表示領域が移動した場合、前記マルチ映像の符号化ストリームの間に、前記マルチ映像の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームが挿入ストリームとして挿入される。
【発明の効果】
【００１３】
本開示の一側面によれば、マルチ映像の表示領域を移動する場合の処理負荷を軽減することができる。
【図面の簡単な説明】
【００１４】
【図１】マルチ映像再生システムを説明する図である。
【図２】マルチ映像の符号化ストリームの配信方法の一例を示す図である。
【図３】本技術を適用したマルチ映像再生システムの一実施の形態の構成例を示す図である。
【図４】図３の配信サーバの構成例を示すブロック図である。
【図５】マルチ映像のフレーム単位の符号化ストリームの生成について説明する図である。
【図６】表示領域が移動した場合のマルチ映像を説明する図である。
【図７】挿入ストリームを説明する図である。
【図８】挿入ストリームのスライスデータを更新しない場合の挿入映像を説明する図である。
【図９】挿入ストリームのスライスデータを更新する場合の挿入映像を説明する図である。
【図１０】挿入ストリームの挿入を説明する図である。
【図１１】マルチ映像のフレーム単位の符号化ストリームの更新を説明する図である。
【図１２】図４の配信サーバの生成処理を説明するフローチャートである。
【図１３】図１２のマルチ映像更新処理の詳細を説明するフローチャートである。
【図１４】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
＜一実施の形態＞
（マルチ映像再生システムの一実施の形態の構成例）
図３は、本技術を適用したマルチ映像再生システムの一実施の形態の構成例を示している。
【００１６】
マルチ映像再生システム１は、映像処理装置として機能し、映像を配信する配信サーバ１１と、それとネットワーク１２を介して接続されている受信装置１３により構成される。マルチ映像再生システム１は、複数の映像からなるマルチ映像の符号化ストリームを配信し、マルチ映像を表示させる。
【００１７】
具体的には、マルチ映像再生システム１の配信サーバ１１には、外部から複数の映像のフレーム単位の符号化ストリームが入力される。配信サーバ１１は、受信装置１３から送信されてくる表示領域の移動方向と移動量を示す移動情報の履歴に基づいて、入力された複数の映像の符号化ストリームから、表示すべき複数の映像の符号化ストリームを選択する。配信サーバ１１は、選択された複数の映像の符号化ストリームをフレーム単位で合成し、マルチ映像のフレーム単位の符号化ストリームを生成する。
【００１８】
移動情報が示す移動量が０である場合、配信サーバ１１は、マルチ映像のフレーム単位の符号化ストリームを、そのまま合成ストリームとして受信装置１３に送信する。
【００１９】
一方、移動情報が示す移動量が０以外である場合、配信サーバ１１は、移動情報に基づいて、マルチ映像のフレーム単位の符号化ストリームに対応するマルチ映像のフレーム間に挿入する１フレームのマルチ映像である挿入映像の符号化ストリームを、挿入ストリームとして生成する。そして、配信サーバ１１は、マルチ映像のフレーム単位の符号化ストリームの間に挿入ストリームを挿入し、合成ストリームとして受信装置１３に送信する。
【００２０】
受信装置１３は、配信サーバ１１が送信する合成ストリームを、インターネットなどのネットワーク１２を介して受信する。そして、受信装置１３は、受信した合成ストリームを復号し、その結果得られるマルチ映像や挿入映像を、内蔵する液晶ディスプレイなどに表示させる。
【００２１】
また、受信装置１３は、マルチ映像の表示開始後、ユーザのスクロール操作、カーソル操作等に応じて移動情報を生成し、配信サーバ１１に送信する。これにより、移動量が０以外である場合、表示すべき複数の映像の符号化ストリームが変更され、表示領域が移動する。
【００２２】
なお、受信装置１３は、液晶ディスプレイなどを有さず、マルチ映像を、自身に接続されている表示装置に表示させるようにしてもよい。また、受信装置１３は、例えば、ネットワーク接続機能を有するテレビジョン受像機やSTB(Set Top Box)、パーソナルコンピュータ、携帯端末装置等で構成することができる。
【００２３】
また、ネットワーク１２には、複数の受信装置１３が接続されるようにすることもできる。この場合、配信サーバ１１は、合成ストリームを、複数の受信装置１３にマルチキャスト送信する。
【００２４】
（配信サーバの構成例）
図４は、図３の配信サーバ１１の構成例を示すブロック図である。
【００２５】
図４に示すように、配信サーバ１１は、受信部３１、記憶部３２、読み出し部３３、合成部３４、挿入部３５、および送信部３６により構成される。
【００２６】
配信サーバ１１の受信部３１は、図３の受信装置１３からネットワーク１２を介して送信されてくる移動情報を受信し、読み出し部３３、合成部３４、および挿入部３５に供給する。記憶部３２は、移動量が０以外を示す移動情報に対応して挿入ストリームが記憶されている。
【００２７】
読み出し部３３は、受信部３１から供給される移動情報に基づいて、その移動情報に対応する挿入ストリームを記憶部３２から読み出し、挿入部３５に供給する。
【００２８】
合成部３４は、受信部３１から供給される移動情報の履歴に基づいて、外部から入力される複数の映像の符号化ストリームから、表示すべき複数の映像の符号化ストリームを選択する。合成部３４は、選択された複数の映像の符号化ストリームをフレーム単位で合成し、その結果得られるマルチ映像のフレーム単位の符号化ストリームを挿入部３５に供給する。
【００２９】
挿入部３５は、読み出し部３３から挿入ストリームが供給される場合、即ち移動量が０以外である場合、移動情報に応じて、外部から入力された所定の映像のフレーム単位の符号化ストリームを用いて、挿入ストリームのスライスデータを更新する。挿入部３５は、合成部３４から供給されるマルチ映像のフレーム単位の符号化ストリームの間に、挿入ストリームを挿入する。
【００３０】
このとき、挿入部３５は、挿入ストリームのスライスヘッダを、その挿入ストリームの直後に配置されるマルチ映像のフレーム単位の符号化ストリームのスライスヘッダに基づいて変更（生成）する。また、挿入部３５は、挿入ストリーム以降のマルチ映像の符号化ストリームのスライスヘッダを変更する。
【００３１】
また、挿入部３５は、挿入ストリームが挿入されたマルチ映像のフレーム単位の符号化ストリームを、合成ストリームとして送信部３６に供給する。
【００３２】
一方、読み出し部３３から挿入ストリームが供給されない場合、即ち、移動量が０である場合、挿入部３５は、マルチ映像のフレーム単位の符号化ストリームを、合成ストリームとして送信部３６に供給する。
【００３３】
送信部３６は、挿入部３５から供給される合成ストリームを、図３のネットワーク１２を介して受信装置１３に送信する。
【００３４】
（マルチ映像のフレーム単位の符号化ストリームの生成の説明）
図５は、図４の合成部３４によるマルチ映像のフレーム単位の符号化ストリームの生成について説明する図である。
【００３５】
なお、図５の例では、合成部３４が、第０乃至第３の映像（View０乃至３）がそれぞれ左上、右上、左下、右下に配置されたマルチ映像のフレーム単位の符号化ストリームを生成するものとする。
【００３６】
図５に示すように、合成部３４に入力される符号化ストリームに対応する映像は、周囲の１画素以上の画素値が、所定値（ここでは０）となっている。また、合成部３４に入力される符号化ストリームは、各水平ラインの符号化単位であるマクロブロックを同一のスライスとし、画面外を参照せず、かつ、イントラ符号化における参照フレームを符号化順で１フレーム前のフレームとしたAVC（Advanced Video Coding）方式の符号化ストリームである。図５の例では、各映像の垂直方向のマクロブロック数が４であるため、各映像のスライス数は４である。
【００３７】
合成部３４は、入力された符号化ストリームのうちの、表示すべき第０乃至第３の映像の符号化ストリームの各スライスを並び替えることにより、第０乃至第３の映像の符号化ストリームを合成し、マルチ映像のフレーム単位の符号化ストリームを生成する。
【００３８】
具体的には、合成部３４は、第０の映像の０番目のスライスを、合成後の符号化ストリームの０番目のスライスとし、第１の映像の０番目のスライスを、合成後の符号化ストリームの１番目のスライスとする。そして、以降も、第０の映像のスライスと第１の映像のスライスが交互に並べられ、第１の映像の最後のスライスが、合成後の符号化ストリームの７番目のスライスとされる。
【００３９】
その後、合成部３４は、第２の映像の０番目のスライスを、合成後の符号化ストリームの８番目のスライスとし、第３の映像の０番目のスライスを、合成後の符号化ストリームの９番目のスライスとする。そして、以降も、第２の映像のスライスと第３の映像のスライスが交互に並べられ、第３の映像の最後のスライスが、合成後の符号化ストリームの１５番目のスライスとされる。
【００４０】
以上のように、合成部３４に入力される符号化ストリームは、各水平ラインのマクロブロックを同一のスライスとして符号化された符号化ストリームであるので、垂直方向の位置が異なるマクロブロック間の依存関係がない。従って、スライスの復号順が異なっても、正確に復号を行うことができる。よって、合成部３４は、各映像の符号化ストリームのスライスを並び替えるだけで、マルチ映像のフレーム単位の符号化ストリームを生成することができる。
【００４１】
（挿入ストリームの説明）
図６は、表示領域が移動した場合のマルチ映像を説明する図である。
【００４２】
なお、図６において、横軸は、時刻（Ｔ）を表している。このことは、後述する図７においても同様である。
【００４３】
図６に示すように、符号化順で０番目のフレーム（Ｆｒａｍｅ０）の表示領域に対して、１番目のフレーム（Ｆｒａｍｅ１）の表示領域が左下方向である場合、即ち表示領域が左下方向へ移動した場合、マルチ映像内の映像の画面上の位置は右上方向に移動する。即ち、０番目のフレームのマルチ映像４１に対応する１番目のフレームのマルチ映像内の映像４３の画面上の位置は、マルチ映像４１の右上である。
【００４４】
従って、この場合、マルチ映像４１を参照してインター符号化された映像４３内のマクロブロック（ＩｎｔｅｒＭＢ）５２の動きベクトル（ＭＶ）を変更しないと、マクロブロック５２の参照ブロックは、参照すべきブロック５３より右上のブロックになる。
【００４５】
即ち、マクロブロック５２は、表示領域が移動しない場合の１番目のフレームのマルチ映像４２のマクロブロック５１である。従って、マクロブロック５２の動きベクトルは、マクロブロック５１の参照ブロックであるブロック５３を指す必要がある。しかしながら、マクロブロック５２の動きベクトルとして、マクロブロック５１の動きベクトルが用いられる場合、マクロブロック５２の画面上の位置は、マクロブロック５１より右上の位置であるため、マクロブロック５２の参照ブロックは、マルチ映像４１内のブロック５３より右上のブロック５４となる。その結果、マクロブロック５２は、正しく復号されない。
【００４６】
従って、表示領域が移動する場合、インター符号化されたマクロブロックの動きベクトルの指す位置を、表示領域の移動方向に移動量だけ移動させる必要がある。しかしながら、マルチ映像の動きベクトルを変更するために、マルチ映像を一旦復号し、再符号化すると、処理負荷が大きくなり、リアルタイムで合成ストリームを配信することが困難になる。また、再符号化により画質劣化が発生する場合がある。
【００４７】
よって、配信サーバ１１は、挿入ストリームを挿入することにより、インター符号化されたマクロブロックの動きベクトルが指す位置を、表示領域の移動方向に移動量だけ移動させる。
【００４８】
具体的には、配信サーバ１１は、挿入映像の全てのマクロブロックを、表示領域の移動方向と移動量を示す動きベクトルのスキップマクロブロックとした挿入ストリームを生成し、表示領域が移動されたマルチ映像の符号化ストリームの前に挿入する。
【００４９】
例えば、図６に示したように表示領域が左下方向へ移動した場合、図７に示すように、配信サーバ１１は、全てのマクロブロックを、左下方向を示す動きベクトルのスキップマクロブロックとした挿入ストリームを生成する。これにより、挿入映像７１は、自分より画面上の位置が左下であるマルチ映像４１になる。即ち、挿入映像７１は、表示領域が左下方向へ移動した場合のマルチ映像４１である。
【００５０】
そして、このような挿入ストリームが、表示領域が移動された１番目のフレームのマルチ映像の符号化ストリームの前に、０´番目のフレーム（Ｆｒａｍｅ０´）の符号化ストリームとして挿入される。その結果、１番目のフレームのマルチ映像は、１つ前のフレームのマルチ映像として、マルチ映像４１ではなく、挿入映像７１を参照して復号される。
【００５１】
以上により、例えば、マクロブロック５２は、マクロブロック５１の参照ブロックであるブロック５３の右上のブロック５４の画面上の位置における挿入映像７１のブロック７２を参照して復号される。また、ブロック７２は、自分より画面上の位置が左下であるブロック５３である。従って、マクロブロック５２は、対応するマクロブロック５１の参照ブロックであるブロック５３を参照して復号されることになる。
【００５２】
このように、配信サーバ１１は、挿入ストリームを挿入することにより、再符号化を行うことなく、マクロブロック５２の動きベクトルの指す位置を、表示領域の移動方向に移動量だけ移動させる。
【００５３】
次に、図８と図９を参照して、挿入ストリームのスライスデータの更新について説明する。
【００５４】
図８は、挿入ストリームのスライスデータを更新しない場合の挿入映像を説明する図である。
【００５５】
なお、図８の例では、図５で生成されたマルチ映像のフレーム単位の符号化ストリームが、０番目のフレームのマルチ映像の符号化ストリームとなっている。また、そのフレームの次の０´番目のフレームの符号化ストリームとして挿入された挿入ストリームの全てのマクロブロックが、下方向と１マクロブロックサイズの移動量を示す動きベクトルのスキップマクロブロックからなっている。これらのことは、後述する図９においても同様である。
【００５６】
図８に示すように、挿入ストリームのスライスデータを更新しない場合、挿入ストリームの挿入映像は、０番目のフレームのマルチ映像内の映像の位置が１スライス分だけ上に移動したマルチ映像である。即ち、挿入ストリームのマクロブロロックは、１スライス分だけ下方向を指す動きベクトルのスキップマクロブロックである。
【００５７】
従って、挿入ストリームの各スライスの復号時、自分のスライスの画面上の位置より１マクロブロック分下の０番目のフレームのマルチ映像のスライスが参照される。そのため、挿入ストリームの復号映像の上部は、０番目のフレームのマルチ映像の２番目乃至１５番目のスライスからなる。
【００５８】
一方、挿入映像の最下部のスライスにおいては、自分のスライスの画面上の位置より１マクロブロック分下の０番目のフレームのマルチ映像のスライスが存在しない。従って、参照先に最も近い画面内の画素である、０番目のフレームのマルチ映像の最下部のスライスである１４番目および１５番目のスライスの最下部の画素、即ち画素値が所定値（ここでは０）である画素が参照される。その結果、挿入ストリームの復号映像の最下部のスライスの画素は、画素値が所定値（ここでは０）である画素となる。
【００５９】
このように、マルチ映像を構成する映像の周囲の１画素以上の画素値が所定値であるので、参照先が画面外となる挿入ストリームの復号映像の画素値を所定値とすることができる。
【００６０】
これに対して、マルチ映像を構成する映像の周囲の１画素以上の画素値が所定値ではない場合、参照先が画面外となる挿入ストリームの復号映像は、参照先に最も近い画面内の画素となり、挿入ストリームの復号映像が乱れる。
【００６１】
図８に示したように、配信サーバ１１が、挿入ストリームのスライスデータを更新しない場合であっても、挿入ストリームの復号映像の乱れは抑制され、高画質な復号映像が表示される。
【００６２】
しかしながら、本実施の形態では、表示領域の移動量がｎ（ｎは整数）スライス分（例えば、１６×ｎ画素）であり、移動方向が上下方向である場合、固定色（ここでは黒）の映像ではなく、表示すべき映像が表示されるようにする。これにより、挿入ストリームの復号映像の画質をさらに向上させることができる。
【００６３】
図９は、挿入ストリームのスライスデータを更新する場合の挿入映像を説明する図である。
【００６４】
移動量がｎスライス分であり、移動方向が上下方向である場合、挿入映像の移動方向からｎスライスのスライスデータが、そのｎスライスの位置に表示すべき映像の、移動方向と反対方向からｎスライスのイントラ符号化されたスライスデータに更新される。即ち、この場合、挿入映像のスライスの参照先がマルチ映像内に存在しないスライスが、そのスライスの表示位置に表示すべき映像のイントラスライスに置換される。
【００６５】
例えば、図９に示すように、表示領域の移動量が１スライス分であり、移動方向が下方向である場合、挿入映像の下から１スライスのスライスデータが、その１スライスの位置に表示すべき映像の上から１スライスのイントラ符号化されたスライスデータ（SliceA,SliceB）に更新される。
【００６６】
これにより、挿入映像の最下部のスライスの復号時に０番目のフレームのマルチ映像が参照されず、そのスライスの復号映像は、そのスライスの位置に表示すべき映像となる。その結果、挿入ストリームの復号映像の画質が向上する。
【００６７】
（挿入ストリームの挿入の説明）
図１０は、図４の挿入部３５による挿入ストリームの挿入を説明する図である。
【００６８】
図１０に示すように、記憶部３２には、移動情報に対応して挿入ストリーム（のビット列）が記憶されている。具体的には、記憶部３２には、移動情報に対応して、全てのマクロブロックを、その移動情報を示す動きベクトルのスキップマクロブロックとした挿入ストリーム（のビット列）が記憶される。
【００６９】
読み出し部３３は、受信部３１から供給される移動情報に対応する挿入ストリーム（のビット列）を読み出す。そして、挿入部３５は、読み出された挿入ストリーム（のビット列）のスライスデータを移動情報に応じて更新し、合成部３４から供給されるマルチ映像のフレーム単位の符号化ストリーム（のビット列）の間に挿入する。
【００７０】
例えば、図１０に示すように、受信部３１から供給される移動情報が移動情報Ａであり、移動情報がｎスライス分の移動量と上下方向を示さない場合、挿入ストリーム（のビット列）Ａが、そのまま０番目と１番目のフレームのマルチ映像の符号化ストリーム（のビット列）の間に挿入される。
【００７１】
以上のように、記憶部３２が移動情報に対応して挿入ストリームを記憶するので、配信サーバ１１は、移動情報を受信するたびに移動情報に対応した挿入ストリームを生成する場合に比べて、非常に軽い処理で挿入ストリームを挿入することができる。
【００７２】
なお、挿入ストリームの挿入時、挿入ストリームのスライスヘッダが変更される。具体的には、挿入ストリームのスライスヘッダに含まれる、frame_num,pic_order_cnt_lsb,delta_pic_order_cnt_bottom,delta_pic_order_cnt[0] ,delta_pic_order_cnt[1]が、挿入ストリームのフレームの符号化順で直後のフレームのスライスヘッダと同一にされる。
【００７３】
frame_numは、フレームの識別子であり、pic_order_cnt_lsb,delta_pic_order_cnt_bottom,delta_pic_order_cnt[0]、およびdelta_pic_order_cnt[1]は、POC（Picture Order Count）の計算に用いられる情報である。
【００７４】
また、挿入ストリームの挿入時、挿入ストリームのフレーム以降のIDRピクチャまでの全てのフレームのframe_num,pic_order_cnt_lsb,delta_pic_order_cnt_bottom,delta_pic_order_cnt[0] ,delta_pic_order_cnt[1]の値は、フレーム０´分だけ増加される。
【００７５】
さらに、挿入ストリームのスライスデータが更新される場合、更新に用いられるイントラ符号化されたスライスデータがIDRピクチャのスライスデータであるとき、挿入ストリームのスライスデータ以外のデータも変更される。
【００７６】
具体的には、更新に用いられるスライスデータのNAL(Network Abstraction Layer)ユニットの種類を示すnal_unit_typeが、IDRピクチャのスライスデータであることを示す５から、IDRピクチャ以外のピクチャのスライスデータであることを示す１に変更される。また、更新に用いられるスライスデータのスライスヘッダに含まれる、IDRピクチャの識別子であるidr_pic_idが削除される。
【００７７】
また、更新に用いられるスライスデータのnal_unit_typeが５であり、かつ、nal_ref_idcが０ではないとき、スライスヘッダに含まれるno_output_of_prior_pics_flagとlong_term_reference_flagが削除され、adaptive_ref_pic_marking_mode_flagが０にされる。
【００７８】
即ち、更新に用いられるスライスデータが参照ピクチャのスライスデータ等であるとき、no_output_of_prior_pics_flagとlong_term_reference_flagが削除され、adaptive_ref_pic_marking_mode_flagが０にされる。
【００７９】
no_output_of_prior_pics_flagとは、IDRピクチャが復号された後のIDRピクチャより前に復号されたピクチャの扱いを示すフラグである。long_term_reference_flagとは、IDRピクチャがlong term参照ピクチャとして用いられるかどうかを示すフラグである。また、adaptive_ref_pic_marking_mode_flagとは、MMCO（memory management control operation）使用時に設定されるフラグであり、MMCOを使用しない場合０に設定される。
【００８０】
（マルチ映像のフレーム単位の符号化ストリームの更新の説明）
図１１は、図４の合成部３４によるマルチ映像のフレーム単位の符号化ストリームの更新を説明する図である。
【００８１】
図１１の例では、図１１Ａに示すように、０番目のフレームのマルチ映像の符号化ストリームが、図５に示したマルチ映像のフレーム単位の符号化ストリームとなっている。また、図１１Ａに示すように、１番目のフレームのマルチ映像の２番目のスライスの参照先が、１つ前の０番目のフレームの０番目のスライスとなっている。
【００８２】
このようなマルチ映像において、０番目と１番目のフレーム間で、表示領域が下方向に１スライス分だけ移動されると、図１１Ｂに示すように、図９で説明した挿入ストリームが生成され、０´番目のフレームの符号化ストリームとして挿入される。
【００８３】
また、１番目のフレームのマルチ映像の上部が０番目のフレームのマルチ映像の２乃至１５番目のスライスに対応するスライスからなるように、１番目のフレームのマルチ映像の符号化ストリームが生成される。
【００８４】
具体的には、第１および第２の映像の１番目乃至３番目のスライスと、第３および第４の映像の０番目乃至３番目のスライスからなるマルチ映像の符号化ストリームが、１番目のフレームのマルチ映像の符号化ストリームとして生成される。
【００８５】
しかしながら、１番目のフレームのマルチ映像の０番目のスライス（０番目のフレームのマルチ映像の２番目のスライスに対応するスライス）の参照先は、そのスライスより１スライス分上の０´フレームのスライスとなるため、画面外となる。その結果、正常に復号を行うことができない。
【００８６】
そこで、合成部３４は、図１１Ｃに示すように、１番目のフレームのマルチ映像内の参照先が画面外となる第１の映像のスライスのマクロブロックを全て動きベクトルが０であるスキップマクロブロックにする。これにより、１番目のフレームのマルチ映像内の第１の映像が正常に復号され、０´番目のフレームのマルチ映像内の第１の映像と同一となる。その結果、第１の映像の表示が停止される。
【００８７】
なお、図１１の例では、第１の映像と同様に、第２の映像にも参照先が画面外となるスライスが含まれており、第２の映像の表示も停止される。
【００８８】
また、合成部３４は、１番目のフレームのマルチ映像内の第１乃至第４の映像以外の領域が、表示すべき映像の全てのスライスの領域ではない場合、図１０Ｃに示すように、その領域の全てのマクロブロックを、動きベクトルが０であるスキップマクロブロックとする。その結果、１番目のフレームのマルチ映像内の第１乃至第４の映像以外の領域の表示が停止される。
【００８９】
＜配信サーバの処理の説明＞
図１２は、図４の配信サーバ１１の生成処理を説明するフローチャートである。
【００９０】
図１２のステップＳ１１において、合成部３４は、外部から入力される複数の映像の符号化ストリームから、表示すべき複数の映像の１フレーム分の符号化ストリームを選択して合成し、マルチ映像の０番目のフレームの符号化ストリームを生成する。合成部３４は、マルチ映像の０番目のフレームの符号化ストリームを、挿入部３５を介して送信部３６に供給する。
【００９１】
ステップＳ１２において、送信部３６は、挿入部３５から供給されるマルチ映像の０番目のフレームの符号化ストリームを合成ストリームとして、ネットワーク１２を介して図３の受信装置１３に送信する。
【００９２】
ステップＳ１３において、受信部３１は、受信装置１３からネットワーク１２を介して送信されてくる移動情報を受信し、読み出し部３３、合成部３４、および挿入部３５に供給する。
【００９３】
ステップＳ１４において、合成部３４は、移動情報の履歴に基づいて、外部から入力される複数の映像の符号化ストリームから、表示すべき複数の映像の１フレーム分の符号化ストリームを選択して合成し、マルチ映像のフレーム単位の符号化ストリームを生成する。合成部３４は、その符号化ストリームを挿入部３５に供給する。
【００９４】
ステップＳ１５において、読み出し部３３は、受信部３１から供給される移動情報が示す移動量が０であるかどうかを判定する。ステップＳ１５で移動量が０であると判定された場合、挿入部３５は、合成部３４から供給されるマルチ映像のフレーム単位の符号化ストリームを送信部３６に供給する。
【００９５】
ステップＳ１６において、送信部３６は、合成部３４から供給されるマルチ映像のフレーム単位の符号化ストリームを合成ストリームとして、ネットワーク１２を介して受信装置１３に送信し、処理をステップＳ２５に進める。
【００９６】
一方、ステップＳ１５で移動量が０ではないと判定された場合、ステップＳ１７において、合成部３４は、ステップＳ１４で生成されたマルチ映像のフレーム単位の符号化ストリームを更新するマルチ映像更新処理を行う。このマルチ映像更新処理の詳細は、後述する図１３を参照して説明する。
【００９７】
ステップＳ１８において、読み出し部３３は、受信部３１から供給される移動情報に基づいて、その移動情報に対応する挿入ストリームを記憶部３２から読み出し、挿入部３５に供給する。
【００９８】
ステップＳ１９において、挿入部３５は、合成部３４から供給されるマルチ映像のフレーム単位の符号化ストリームのスライスヘッダを用いて、挿入ストリームのスライスヘッダを更新する。具体的には、挿入部３５は、挿入ストリームのスライスヘッダに含まれるframe_num,pic_order_cnt_lsb,delta_pic_order_cnt_bottom,delta_pic_order_cnt[0] ,delta_pic_order_cnt[1]を、合成部３４からの符号化ストリームのスライスヘッダと同一にする。
【００９９】
ステップＳ２０において、挿入部３５は、受信部３１から供給される移動情報が示す移動方向が上下方向であり、かつ、移動量がｎスライスであるかどうかを判定する。
【０１００】
ステップＳ２０で、移動方向が上下方向であり、かつ、移動量がｎスライスであると判定された場合、処理はステップＳ２１に進む。ステップＳ２１において、挿入部３５は、挿入映像の移動方向からｎスライスのスライスデータを、そのnスライスの位置に表示すべき映像の、移動方向と反対方向からｎスライスのイントラ符号化されたスライスデータに更新する。
【０１０１】
なお、更新に用いられるスライスデータは、外部から入力される複数の映像の符号化ストリームのスライスデータから選択される。また、更新に用いられるスライスデータがIDRピクチャのスライスデータである場合、挿入部３５は、挿入ストリームのnal_unit_typeとidr_pic_idを変更する。さらに、nal_ref_idcが0ではないとき、挿入部３５は、no_output_of_prior_pics_flag,long_term_reference_flag、およびadaptive_ref_pic_marking_mode_flagも変更する。ステップＳ２１の処理後、処理はステップＳ２２に進む。
【０１０２】
一方、ステップＳ２０で、移動方向が上下方向ではないか、または、移動量がｎスライスではないと判定された場合、ステップＳ２１の処理はスキップされ、処理はステップＳ２２に進む。
【０１０３】
ステップＳ２２において、挿入部３５は、合成部３４から供給されるマルチ映像の符号化ストリームのスライスヘッダを更新する。具体的には、挿入部３５は、マルチ映像の符号化ストリームのスライスヘッダに含まれるframe_num,pic_order_cnt_lsb,delta_pic_order_cnt_bottom,delta_pic_order_cnt[0] ,delta_pic_order_cnt[1]の値を、IDRピクチャから自分のピクチャまでに挿入される挿入ストリームのフレーム分だけ増加させる。
【０１０４】
ステップＳ２３において、挿入部３５は、ステップＳ２２でスライスヘッダが更新されたマルチ映像のフレーム単位の符号化ストリームの前に、挿入ストリームを挿入する。これにより、マルチ映像のフレーム単位の符号化ストリームの間に、挿入ストリームが挿入される。また、挿入部３５は、挿入ストリームが挿入されたマルチ映像のフレーム単位の符号化ストリームを、送信部３６に供給する。
【０１０５】
ステップＳ２４において、送信部３６は、挿入部３５から供給される挿入ストリームが挿入されたマルチ映像のフレーム単位の符号化ストリームを、合成ストリームとしてネットワーク１２を介して受信装置１３に送信し、処理をステップＳ２５に進める。
【０１０６】
ステップＳ２５において、配信サーバ１１は、例えばユーザの指令などに応じて、生成処理を終了するかどうかを判定する。ステップＳ２５で生成処理を終了しないと判定された場合、処理はステップＳ１３に戻り、生成処理を終了するまで、ステップＳ１３乃至Ｓ２５の処理が繰り返される。
【０１０７】
一方、ステップＳ２５で生成処理を終了すると判定された場合、処理は終了する。
【０１０８】
図１３は、図１２のステップＳ１７のマルチ映像更新処理の詳細を説明するフローチャートである。
【０１０９】
図１３のステップＳ４１において、合成部３４は、マルチ映像を構成する映像のうちのまだ処理対象となされていない映像を、処理対象の映像に決定する。ステップＳ４２において、マルチ映像内に処理対象の映像の全てのスライスが存在するかどうかを判定する。
【０１１０】
ステップＳ４２でマルチ映像内に処理対象の映像の全てのスライスが存在すると判定された場合、ステップＳ４３において、処理対象の映像のスライスの参照先が挿入映像の画面外に存在するかどうかを判定する。
【０１１１】
ステップＳ４３で処理対象の映像のスライスの参照先が挿入映像の画面外に存在すると判定された場合、処理はステップＳ４４に進む。
【０１１２】
一方、ステップＳ４２でマルチ映像内に処理対象の映像の全てのスライスが存在しないと判定された場合、処理はステップＳ４４に進む。
【０１１３】
ステップＳ４４において、合成部３４は、図１２のステップＳ１４で生成されたマルチ映像のフレーム単位の符号化ストリームのうちの、処理対象の映像の全てのマクロブロックを、動きベクトルが０であるスキップマクロブロックに変更する。そして、処理はステップＳ４５に進む。
【０１１４】
一方、ステップＳ４３で処理対象の映像のスライスの参照先が挿入映像の画面外に存在しないと判定された場合、ステップＳ４４の処理はスキップされ、処理はステップＳ４５に進む。
【０１１５】
ステップＳ４５において、合成部３４は、マルチ映像を構成する全ての映像を処理対象の映像としたかどうかを判定する。ステップＳ４５でマルチ映像を構成する全ての映像をまだ処理対象の映像としてないと判定された場合、処理はステップＳ４１に戻り、全ての映像を処理対象の映像とするまで、ステップＳ４１乃至Ｓ４５の処理が繰り返される。
【０１１６】
ステップＳ４５でマルチ映像を構成する全ての映像を処理対象の映像としたと判定された場合、処理は図１２のステップＳ１７に戻り、ステップＳ１８に進む。
【０１１７】
以上のように、配信サーバ１１は、マルチ映像の表示領域が移動した場合、マルチ映像の符号化ストリームの間に挿入ストリームを挿入するので、マルチ映像の符号化ストリームの動きベクトルを変更する必要がない。従って、配信サーバ１１は、マルチ映像の表示領域を移動する場合に再符号化せずに合成ストリームを生成することができる。
【０１１８】
よって、マルチ映像の表示領域を移動する場合の処理負荷が軽減される。その結果、配信サーバ１１の処理能力が低い場合であっても、配信サーバ１１は、マルチ映像の表示領域の移動後の合成ストリームを生成することができる。また、再符号化によるマルチ映像の画質劣化を防止することができる。
【０１１９】
（本開示を適用したコンピュータの説明）
上述した配信サーバ１１の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１２０】
図１４は、上述した配信サーバ１１の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１２１】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１２２】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１２３】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１２４】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２５】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１２６】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１２７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２８】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２９】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１３０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３２】
また、表示領域の移動情報によらず、挿入ストリームの全てのマクロブロックを、動きベクトルが移動情報を示すスキップマクロブロックにするようにしてもよい。さらに、映像の符号化ストリームの符号化方式は、HEVC（High Efficiency Video Coding）方式であってもよい。この場合、符号化単位はCU（Coding Unit）である。
【０１３３】
なお、本開示は、以下のような構成もとることができる。
【０１３４】
（１）
複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像の符号化ストリームを生成する合成部と、
前記マルチ映像の表示領域が移動した場合、前記合成部により生成される前記マルチ映像の符号化ストリームの間に、前記マルチ映像の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入部と
を備える映像処理装置。
（２）
前記映像内の周囲の１以上の画素の画素値は所定値である
前記（１）に記載の映像処理装置。
（３）
前記挿入部は、参照先が前記マルチ映像内に存在しない前記挿入ストリームのスライスを、そのスライスの表示位置に表示すべき映像のイントラスライスに置換する
前記（１）または（２）に記載の映像処理装置。
（４）
前記挿入部は、前記表示領域の移動方向が上下方向であり、かつ、移動量がスライスの整数倍である場合、参照先が前記マルチ映像内に存在しない前記挿入ストリームのスライスを、そのスライスの表示位置に表示すべき映像のイントラスライスに置換する
前記（３）に記載の映像処理装置。
（５）
前記挿入部は、前記挿入ストリームのスライスヘッダを、前記挿入ストリームの直後の前記マルチ映像の符号化ストリームのスライスヘッダに基づいて生成する
前記（１）乃至（４）のいずれかに記載の映像処理装置。
（６）
前記合成部は、前記マルチ映像の符号化ストリームに対応するマルチ映像内の前記映像のスライスの参照先が、前記挿入ストリームに対応するマルチ映像の画面外に存在する場合、その映像の全ての符号化単位を、動きベクトルが０であるスキップマクロブロックに置換する
前記（１）乃至（５）のいずれかに記載の映像処理装置。
（７）
前記合成部は、前記マルチ映像の符号化ストリームに対応するマルチ映像内に前記映像の全てのスライスが存在しない場合、その映像の全ての符号化単位を、動きベクトルが０であるスキップマクロブロックに置換する
前記（１）乃至（６）のいずれかに記載の映像処理装置。
（８）
映像処理装置が、
複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像の符号化ストリームを生成する合成ステップと、
前記マルチ映像の表示領域が移動した場合、前記合成ステップの処理により生成される前記マルチ映像の符号化ストリームの間に、前記マルチ映像の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入ステップと
を含む映像処理方法。
【符号の説明】
【０１３５】
１１  配信サーバ，  ３４  合成部，  ３５  挿入部
【図１】
2014175857.tif 000003
【図２】
2014175857.tif 000004
【図３】
2014175857.tif 000005
【図４】
2014175857.tif 000006
【図５】
2014175857.tif 000007
【図６】
2014175857.tif 000008
【図７】
2014175857.tif 000009
【図８】
2014175857.tif 000010
【図９】
2014175857.tif 000011
【図１０】
2014175857.tif 000012
【図１１】
2014175857.tif 000013
【図１２】
2014175857.tif 000014
【図１３】
2014175857.tif 000015
【図１４】
2014175857.tif 000016