(57)【要約】【課題】合成ストリームの復号後に処理を行う場合に適した方法で合成ストリームを生成することができるようにする。【解決手段】画像処理装置は、複数の画像ファイルそれぞれの符号化ストリームから生成された複数の画像ファイルの１つの符号化ストリームである合成ストリームの復号後に行われる処理に対応する方法で、複数の画像ファイルそれぞれの符号化ストリームから合成ストリームを生成する。本技術は、例えば、画像処理装置等に適用することができる。【選択図】図１
2014103568.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像それぞれの符号化ストリームから生成された前記複数の画像の１つの符号化ストリームである合成ストリームの復号後に行われる処理に対応する方法で、前記複数の画像それぞれの符号化ストリームから合成ストリームを生成する生成部
を備える画像処理装置。
【請求項２】
前記生成部は、前記合成ストリームの復号の結果得られる前記複数の画像を時間方向に分割して各符号化ストリームの画像とする前記処理に対応する方法として、前記符号化ストリームに含まれる前記画像の符号化データを時間方向に多重化する方法で、前記合成ストリームを生成する
請求項１に記載の画像処理装置。
【請求項３】
前記生成部は、前記符号化データを時間方向に多重化し、前記符号化データに付加されたヘッダを変更する方法で、前記合成ストリームを生成する
請求項２に記載の画像処理装置。
【請求項４】
前記生成部は、前記合成ストリームの復号の結果得られる前記複数の画像を垂直方向に分割して各符号化ストリームの画像とする前記処理に対応する方法として、前記符号化ストリームに含まれる前記画像の符号化データを垂直方向に多重化する方法で、前記合成ストリームを生成する
請求項１に記載の画像処理装置。
【請求項５】
前記生成部は、前記符号化データを垂直方向に多重化し、前記符号化データに付加されたヘッダを変更する方法で、前記合成ストリームを生成する
請求項４に記載の画像処理装置。
【請求項６】
前記生成部は、前記複数の画像それぞれの前記符号化ストリームに含まれるスライス単位の前記符号化データを、前記合成ストリームに含まれる１つのピクチャのスライス単位の符号化データとして生成する方法で、前記合成ストリームを生成する
請求項４に記載の画像処理装置。
【請求項７】
前記符号化ストリームは、ダミー画像が付加された前記画像の符号化ストリームであり、
前記生成部は、前記合成ストリームの復号の結果得られる前記複数の画像を水平方向に分割して前記ダミー画像を削除し、各符号化ストリームの画像とする前記処理に対応する方法として、前記符号化ストリームに含まれる前記ダミー画像が付加された前記画像の符号化データを水平方向に多重化する方法で、前記合成ストリームを生成する
請求項１に記載の画像処理装置。
【請求項８】
前記ダミー画像は、前記画像の水平方向の両端に付加される
請求項７に記載の画像処理装置。
【請求項９】
前記符号化ストリームは、前記ダミー画像の量子化パラメータが一定値となるように符号化された符号化ストリームである
請求項７に記載の画像処理装置。
【請求項１０】
画像処理装置が、
複数の画像それぞれの符号化ストリームから生成された前記複数の画像の１つの符号化ストリームである合成ストリームの復号後に行われる処理に対応する方法で、前記複数の画像それぞれの符号化ストリームから合成ストリームを生成する生成ステップ
を含む画像処理方法。
【請求項１１】
コンピュータを、
複数の画像それぞれの符号化ストリームから生成された前記複数の画像の１つの符号化ストリームである合成ストリームの復号後に行われる処理に対応する方法で、前記複数の画像それぞれの符号化ストリームから合成ストリームを生成する生成部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、合成ストリームの復号後に処理を行う場合に適した方法で合成ストリームを生成することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、スマートフォンやタブレット型端末などのモバイル端末が普及しつつある。モバイル端末に搭載されているデコーダの数は１つであり、モバイル端末で同時に再生可能な動画ファイル等の画像ファイルの符号化ストリームの数は１つである。
【０００３】
そこで、モバイル端末上で複数の符号化ストリームを同時に再生する方法として、制約付きで複数の符号化ストリームを１つの符号化ストリームであるマルチストリーム（合成ストリーム）に予め再符号化しておき、そのマルチストリームを再生する方法が考案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Uchihara N.,Kasai H.,“H.264/AVC Prediction Restriction Encoding Control for Fast Multiple Stream Joiner”,Consumer Electronics(ICCE),2012.7.13-16
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１の方法は、モバイル端末が復号した画像をそのまま表示することを前提としている。従って、モバイル端末が復号後に所定の処理を行ってから画像を表示する場合に適した方法でマルチストリームを生成することは考えられていなかった。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、合成ストリームの復号後に処理を行う場合に適した方法で合成ストリームを生成することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の画像処理装置は、複数の画像それぞれの符号化ストリームから生成された前記複数の画像の１つの符号化ストリームである合成ストリームの復号後に行われる処理に対応する方法で、前記複数の画像それぞれの符号化ストリームから合成ストリームを生成する生成部を備える画像処理装置である。
【０００８】
本技術の一側面の画像処理方法およびプログラムは、本技術の一側面の画像処理装置に対応する。
【０００９】
本技術の一側面においては、複数の画像それぞれの符号化ストリームから生成された前記複数の画像の１つの符号化ストリームである合成ストリームの復号後に行われる処理に対応する方法で、前記複数の画像それぞれの符号化ストリームから合成ストリームが生成される。
【発明の効果】
【００１０】
本技術の一側面によれば、合成ストリームの復号後に処理を行う場合に適した方法で合成ストリームを生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本技術を適用した画像処理装置の第１実施の形態を含む画像処理システムの構成例を示すブロック図である。
【図２】図１の画像処理装置の構成例を示すブロック図である。
【図３】マルチストリームの構成例を示す図である。
【図４】マルチストリームの復号結果の例を示す図である。
【図５】図２の画像処理装置の生成処理を説明するフローチャートである。
【図６】図５の基準処理の詳細を説明するフローチャートである。
【図７】図５の基準外処理の詳細を説明するフローチャートである。
【図８】図５の出力処理の詳細を説明するフローチャートである。
【図９】本技術を適用した画像処理装置の第２実施の形態を含む画像処理システムの構成例を示すブロック図である。
【図１０】図９の画像処理装置の構成例を示すブロック図である。
【図１１】マルチストリームにおける参照ピクチャ変更情報を説明する図である。
【図１２】マルチストリームの構成例を示す図である。
【図１３】マルチストリームの復号結果の例を示す図である。
【図１４】基準処理の詳細を説明するフローチャートである。
【図１５】基準外処理の詳細を説明するフローチャートである。
【図１６】出力処理の詳細を説明するフローチャートである。
【図１７】本技術を適用した画像処理装置の第３実施の形態を含む画像処理システムの構成例を示すブロック図である。
【図１８】ダミー画像の画像データに対する符号化時の制約を説明する図である。
【図１９】図１７の画像処理装置の構成例を示すブロック図である。
【図２０】マルチストリームの構成例を示す図である。
【図２１】マルチストリームの復号結果の例を示す図である。
【図２２】図１９の画像処理装置の生成処理を説明するフローチャートである。
【図２３】図２２の基準処理の詳細を説明するフローチャートである。
【図２４】図２２の基準外処理の詳細を説明するフローチャートである。
【図２５】図２２の出力処理の詳細を説明するフローチャートである。
【図２６】本技術を適用した画像処理装置の第４実施の形態を含む画像処理システムの構成例を示すブロック図である。
【図２７】図２６の画像処理装置の構成例を示すブロック図である。
【図２８】マルチストリームの構成例を示す図である。
【図２９】マルチストリームの復号結果の例を示す図である。
【図３０】図２６の画像処理装置の生成処理を説明するフローチャートである。
【図３１】図３０の基準処理の詳細を説明するフローチャートである。
【図３２】図３０の第２の基準外処理の詳細を説明するフローチャートである。
【図３３】図３０の出力処理の詳細を説明するフローチャートである。
【図３４】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
＜第１実施の形態＞
＜画像処理装置の第１実施の形態を含む画像処理システムの構成例＞
図１は、本技術を適用した画像処理装置の第１実施の形態を含む画像処理システムの構成例を示すブロック図である。
【００１３】
図１の画像処理システム１０は、符号化装置１１、画像処理装置１２、およびモバイル端末１３により構成される。画像処理システム１０は、複数の画像ファイルの符号化ストリームからマルチストリームを生成し、マルチストリームの復号結果に対して垂直方向に分割する処理を行った後、表示する。
【００１４】
具体的には、画像処理システム１０の符号化装置１１は、外部から入力される複数（第１実施の形態では２つ）の画像ファイルの画像データを、画像ファイルごとに、所定の制約の下AVC（Advanced Video Coding）方式等で符号化する。所定の制約とは、各画像ファイルの画像データのSPS（Sequence Parameter Set）とPPS（Picture Parameter Set）が同一であること、シンタックスのビット長を、マルチストリームの生成時にemulation prevention byteが生成されないビット長にすることなどである。符号化装置１１は、符号化の結果得られる複数の画像ファイルの符号化ストリームを画像処理装置１２に供給する。
【００１５】
画像処理装置１２は、生成部として機能し、符号化装置１１から供給される複数の画像ファイルの符号化ストリームから１つの符号化ストリームをマルチストリームとして生成する。具体的には、画像処理装置１２は、複数の画像ファイルの符号化ストリームのそれぞれに含まれる符号化された画像データ（以下、符号化データという）を垂直方向に多重化し、マルチストリームとする。画像処理装置１２は、マルチストリームをモバイル端末１３に供給する。
【００１６】
モバイル端末１３は、復号部３１、後処理部３２、および表示部３３により構成される。
【００１７】
モバイル端末１３の復号部３１は、画像処理装置１２から供給されるマルチストリームを復号し、複数の画像ファイルの画像データを生成する。復号部３１は、生成された複数の画像ファイルの画像データを後処理部３２に供給する。
【００１８】
後処理部３２は、復号部３１から供給される複数の画像ファイルの画像データを垂直方向に分割し、分割された各画像データを各画像ファイルの画像データとして表示部３３に供給する。
【００１９】
表示部３３は、後処理部３２から供給される各画像ファイルの画像データに基づいて、各画像ファイルの画像を表示する。
【００２０】
以上のように、画像処理装置１２は、複数の画像ファイルの符号化ストリームから１つのマルチストリームを生成する。従って、モバイル端末１３は、１つのマルチストリームを復号することにより、低負荷で複数の画像ファイルの画像データを再生することができる。
【００２１】
＜画像処理装置の構成例＞
図２は、図１の画像処理装置１２の構成例を示すブロック図である。
【００２２】
図２の画像処理装置１２は、処理部５１−１および処理部５１−２並びに切替部５２により構成される。
【００２３】
画像処理装置１２の処理部５１−１は、復号部７１、選択部７２、解析部７３、および書き換え部７４により構成され、基準ストリームとしての１つの符号化ストリームからマルチストリームに含まれるデータを生成する。
【００２４】
具体的には、処理部５１−１の復号部７１は、図１の符号化装置１１から供給される１つの符号化ストリームを基準ストリームとして取得する。復号部７１は、基準ストリームを復号し、その基準ストリームに含まれるSPS，PPS、スライス単位の符号化データ（以下、スライスデータという）、およびピクチャ単位のデータの終端を表すデリミタを抽出する。復号部７１は、抽出されたSPS,PPS、スライスデータ、およびデリミタを選択部７２に供給し、スライスデータを解析部７３に供給する。
【００２５】
選択部７２は、復号部７１から供給されるSPS,PPS、スライスデータ、およびデリミタを、マルチストリームの生成に用いる有効データとして選択し、書き換え部７４に供給する。
【００２６】
解析部７３は、復号部７１から供給されるスライスデータを構成するデータ部とヘッダ部のうちのヘッダ部（以下、スライスヘッダという）を抽出する。解析部７３は、スライスヘッダを解析し、そのスライスヘッダに含まれるフレーム番号（frame_num）とPOC（Picture Order Count）情報（pic_order_cnt_lsb）を取得する。
【００２７】
なお、フレーム番号とは、対応するスライスのフレームを識別する情報であり、POC情報とは、対応するスライスのピクチャのPOCの計算に用いられる情報である。
【００２８】
また、解析部７３は、処理部５１−２から、マルチストリームの生成に用いられる基準ストリーム以外の符号化ストリームである基準外ストリームのフレーム番号とPOC情報を取得する。解析部７３は、基準ストリームと基準外ストリームのフレーム番号に基づいて、基準ストリームと基準外ストリームに共通のフレーム番号を決定し、書き換え部７４に供給する。同様に、解析部７３は、共通のPOC情報を決定し、書き換え部７４に供給する。解析部７３は、共通のフレーム番号とPOC情報を解析部８３に供給する。
【００２９】
書き換え部７４は、選択部７２から供給されるSPS，PPS、およびデリミタをそのまま切替部５２に供給する。また、書き換え部７４は、選択部７２から供給されるスライスデータのスライスヘッダに含まれるフレーム番号とPOC情報を、解析部７３から供給される共通のフレーム番号とPOC情報に書き換える。
【００３０】
この書き換えによって、シンタックスのビット長が変化するが、基準ストリームの生成時に、シンタックスのビット長を、マルチストリームの生成時にemulation prevention byteが生成されないビット長にするという制約が課されているため、emulation prevention byteは生成されない。書き換え部７４は、書き換えられたスライスデータを切替部５２に供給する。
【００３１】
処理部５１−２は、復号部８１、選択部８２、解析部８３、および書き換え部８４により構成され、基準外ストリームからマルチストリームに含まれるデータを生成する。
【００３２】
具体的には、処理部５１−２の復号部８１は、符号化装置１１から供給される１つの符号化ストリームを基準外ストリームとして取得する。復号部８１は、基準外ストリームを復号し、その基準外ストリームに含まれるSPS，PPS、スライスデータ、およびデリミタを抽出する。復号部８１は、抽出されたSPS,PPS、スライスデータ、およびデリミタを選択部８２に供給し、スライスデータを解析部８３に供給する。
【００３３】
選択部８２は、復号部８１から供給されるSPS,PPS、スライスデータ、およびデリミタのうちのスライスデータを有効データとして選択し、書き換え部８４に供給する。
【００３４】
解析部８３は、復号部８１から供給されるスライスデータからスライスヘッダを抽出する。解析部８３は、スライスヘッダを解析して、そのスライスヘッダに含まれるフレーム番号，POC情報、および先頭マクロ情報（first_mb__in_slice）を取得する。なお、先頭マクロ情報とは、対応するスライスの先頭のマクロブロックのアドレスを示す情報である。
【００３５】
また、解析部８３は、フレーム番号とPOC情報を処理部５１−１の解析部７３に供給し、これにより、解析部７３から共通のフレーム番号とPOC情報を取得する。解析部８３は、基準外ストリームの先頭マクロ情報等に基づいて、マルチストリームにおける先頭マクロ情報を決定する。解析部８３は、共通のフレーム番号およびPOC情報、並びにマルチストリームにおける先頭マクロ情報を書き換え部８４に供給する。
【００３６】
書き換え部８４は、選択部８２から有効データとして供給されるスライスデータのスライスヘッダに含まれるフレーム番号、POC情報、および先頭マクロ情報を、解析部８３から供給される共通のフレーム番号およびPOC情報、並びに先頭マクロ情報に書き換える。
【００３７】
書き換え部７４の場合と同様の理由により、この書き換えによって、emulation prevention byteは生成されない。書き換え部８４は、書き換えられたスライスデータを切替部５２に供給する。
【００３８】
切替部５２は、書き換え部７４から供給されるSPS，PPS、およびスライスデータを順にマルチストリームとして出力した後、書き換え部８４から供給されるスライスデータをマルチストリームとして出力する。そして、切替部５２は、書き換え部７４から供給されるデリミタをマルチストリームとして出力する。
【００３９】
＜マルチストリームの構成例＞
図３は、マルチストリームの構成例を示す図である。
【００４０】
図３に示すように、基準ストリームと基準外ストリームは、それぞれ、SPS,PPS、スライスデータ（Slice）、およびデリミタにより構成される。
【００４１】
また、マルチストリームは、基準ストリームに含まれるSPS，PPS，およびデリミタ、並びに、スライスヘッダが書き換えられた基準ストリームおよび基準外ストリームに含まれるスライスデータにより構成される。即ち、マルチストリームは、基準ストリームと基準外ストリームに含まれるスライスデータが１つのピクチャのスライスデータとなるように構成される。これにより、マルチストリームは、基準ストリームのスライスと基準外ストリームのスライスからピクチャが構成される符号化ストリームとなる。
【００４２】
なお、第１実施の形態では、マルチストリームのSPSおよびPPSとして、基準ストリームのSPSとPPSがそのまま用いられたが、必要に応じて更新されて用いられるようにしてもよい。
【００４３】
＜マルチストリームの復号結果の例＞
図４は、マルチストリームの復号結果の例を示す図である。
【００４４】
上述したように、マルチストリームは、基準ストリームのスライスと基準外ストリームのスライスからピクチャが構成される符号化ストリームである。従って、マルチストリームが復号されると、図４Ａに示すように、基準ストリームに対応する画像と基準外ストリームに対応する画像が垂直方向に多重化された画像が生成される。
【００４５】
同様に、例えば、４つの画像ファイルの符号化ストリームからマルチストリームが生成される場合、図４Ｂに示すように、基準ストリームに対応する画像と３つの基準外ストリームに対応する画像が垂直方向に多重化された画像が生成される。
【００４６】
＜画像処理装置の処理の説明＞
図５は、図２の画像処理装置１２の生成処理を説明するフローチャートである。この生成処理は、符号化装置１１からの基準ストリームと基準外ストリームの供給が開始されたとき、開始される。
【００４７】
図５のステップＳ１１において、処理部５１−１は、基準ストリームからマルチストリームの一部を生成する基準処理を行い、処理部５１−２は、基準ストリームからマルチストリームの一部を生成する基準外処理を行う。この基準処理の詳細は、後述する図６を参照して説明し、基準外処理の詳細は、後述する図７を参照して説明する。
【００４８】
ステップＳ１２において、切替部５２は、処理部５１−１から供給されるSPS,PPS、スライスデータ、およびデリミタと、処理部５１−２から供給されるスライスデータを順に出力する出力処理を行う。この出力処理の詳細は、後述する図８を参照して説明する。
【００４９】
ステップＳ１３において、切替部５２は、基準ストリームと基準外ストリームが供給されなくなったかどうかを判定する。ステップＳ１３で基準ストリームと基準外ストリームが供給されなくなっていない場合、処理はステップＳ１１に戻り、ステップＳ１１乃至Ｓ１３の処理が繰り返される。
【００５０】
一方、ステップＳ１３で基準ストリームと基準外ストリームが供給されなくなったと判定された場合、処理は終了する。
【００５１】
図６は、図５のステップＳ１１の基準処理の詳細を説明するフローチャートである。
【００５２】
図６のステップＳ３１において、処理部５１−１の復号部７１は、符号化装置１１から供給される基準ストリームを取得する。
【００５３】
ステップＳ３２において、復号部７１は、基準ストリームを復号し、その基準ストリームに含まれるSPS，PPS、スライスデータ、およびデリミタのいずれかを抽出する。復号部７１は、抽出されたSPS,PPS、スライスデータ、およびデリミタのいずれかを選択部７２に供給する。
【００５４】
ステップＳ３３において、復号部７１は、ステップＳ３２でSPS,PPS、スライスデータ、およびデリミタのいずれかの全てのデータが抽出されたかどうかを判定する。ステップＳ３３でまだ全てのデータが抽出されていないと判定された場合、処理はステップＳ３１に戻り、全てのデータが抽出されるまでステップＳ３１乃至Ｓ３３の処理が繰り返される。
【００５５】
一方、ステップＳ３３で全てのデータが抽出されたと判定された場合、処理は、ステップＳ３４に進む。ステップＳ３４において、選択部７２は、復号部７１から供給されるSPS,PPS、符号化データ、およびデリミタのいずれかの全てのデータを有効データとして選択し、書き換え部７４に供給する。
【００５６】
ステップＳ３５において、復号部７１は、ステップＳ３２で抽出されたデータがスライスデータであるかどうかを判定する。ステップＳ３５で、ステップＳ３２で抽出されたデータがスライスデータであると判定された場合、復号部７１は、スライスデータを解析部７３に供給し、処理をステップＳ３６に進める。
【００５７】
ステップＳ３６において、解析部７３は、復号部７１から供給されるスライスデータに含まれるスライスヘッダを解析し、そのスライスヘッダに含まれるフレーム番号とPOC情報を取得する。また、解析部７３は、処理部５１−２の解析部８３から基準外ストリームのフレーム番号とPOC情報を取得する。
【００５８】
ステップＳ３７において、解析部７３は、基準ストリームと基準外ストリームのフレーム番号に基づいて、基準ストリームと基準外ストリームに共通のフレーム番号を決定する。また、解析部７３は、基準ストリームと基準外ストリームのPOC情報に基づいて、基準ストリームと基準外ストリームに共通のPOC情報を決定する。解析部８３は、共通のフレーム番号とPOC情報を書き換え部７４と処理部５１−２に供給する。
【００５９】
ステップＳ３８において、書き換え部７４は、選択部７２から供給されるスライスデータのスライスヘッダに含まれるフレーム番号とPOC情報を、解析部７３から供給される共通のフレーム番号とPOC情報に書き換える。そして、処理はステップＳ３９に進む。
【００６０】
一方、ステップＳ３５で、ステップＳ３２で抽出されたデータはスライスデータではないと判定された場合、処理はステップＳ３９に進む。
【００６１】
ステップＳ３９において、書き換え部７４は、選択部７２から供給される有効データとしてのSPS,PPS、またはデリミタ、もしくは、ステップＳ３８で書き換えられたスライスデータを切替部５２に出力する。
【００６２】
図７は、図５のステップＳ１１の基準外処理の詳細を説明するフローチャートである。
【００６３】
図７のステップＳ５１において、処理部５１−２の復号部８１は、符号化装置１１から供給される基準外ストリームとして取得する。ステップＳ５２において、復号部８１は、基準外ストリームを復号し、その基準外ストリームに含まれるSPS，PPS、スライスデータ、およびデリミタのうちのいずれかを抽出する。復号部８１は、抽出されたSPS,PPS、スライスデータ、およびデリミタのうちのいずれかを選択部８２に供給する。また、復号部８１は、スライスデータが抽出された場合、そのスライスデータを解析部８３に供給する。
【００６４】
ステップＳ５３において、復号部８１は、ステップＳ５２でSPS，PPS、スライスデータ、およびデリミタのうちのいずれかの全てのデータが抽出されたかどうかを判定する。ステップＳ５３でまだ全てのデータが抽出されていないと判定された場合、処理はステップＳ５１に戻り、全てのデータが抽出されるまでステップＳ５１乃至Ｓ５３の処理が繰り返される。
【００６５】
一方、ステップＳ５３で全てのデータが抽出されたと判定された場合、ステップＳ５４において、選択部８２は、復号部８１から供給されるデータがスライスデータであるかどうかを判定する。
【００６６】
ステップＳ５４で復号部８１から供給されるデータがスライスデータであると判定された場合、ステップＳ５５において、選択部８２は、そのスライスデータを有効データとして選択し、書き換え部８４に供給する。
【００６７】
ステップＳ５６において、解析部８３は、復号部８１から供給されるスライスデータに含まれるスライスヘッダを解析して、そのスライスヘッダに含まれるフレーム番号，POC情報、および先頭マクロ情報を取得する。また、解析部８３は、フレーム番号とPOC情報を処理部５１−１の解析部７３に供給し、これにより、解析部７３から共通のフレーム番号とPOC情報を取得する。
【００６８】
ステップＳ５７において、解析部８３は、基準外ストリームの先頭マクロ情報に基づいて、マルチストリームにおける先頭マクロ情報を決定する。解析部８３は、共通のフレーム番号およびPOC情報並びにマルチストリームにおける先頭マクロ情報を書き換え部８４に供給する。
【００６９】
ステップＳ５８において、書き換え部８４は、選択部８２からのスライスデータのスライスヘッダに含まれるフレーム番号、POC情報、および先頭マクロ情報を、解析部８３からの共通のフレーム番号およびPOC情報並びに先頭マクロ情報に書き換える。ステップＳ５９において、書き換え部８４は、書き換えられた有効データとしてのスライスデータを切替部５２に出力する。そして、処理は終了する。
【００７０】
一方、ステップＳ５４で復号部８１から供給されるデータがスライスデータではないと判定された場合、処理は終了する。
【００７１】
図８は、図５のステップＳ１２の出力処理の詳細を説明するフローチャートである。
【００７２】
図８のステップＳ７１において、切替部５２は、書き換え部７４から基準ストリームのSPSが供給されたかどうかを判定する。ステップＳ７１で基準ストリームのSPSが供給されたと判定された場合、ステップＳ７２において、切替部５２は、その基準ストリームのSPSをマルチストリームとして出力する。そして、処理は、図５のステップＳ１２に戻り、ステップＳ１３に進む。
【００７３】
一方、ステップＳ７１で基準ストリームのSPSが供給されていないと判定された場合、ステップＳ７３において、切替部５２は、書き換え部７４から基準ストリームのPPSが供給されたかどうかを判定する。
【００７４】
ステップＳ７３で基準ストリームのPPSが供給されたと判定された場合、ステップＳ７４において、切替部５２は、その基準ストリームのPPSをマルチストリームとして出力する。そして、処理は、ステップＳ１２に戻り、ステップＳ１３に進む。
【００７５】
一方、ステップＳ７３で基準ストリームのPPSが供給されていないと判定された場合、ステップＳ７５において、切替部５２は、書き換え部７４から基準ストリームのスライスデータが供給されたかどうかを判定する。
【００７６】
ステップＳ７５で基準ストリームのスライスデータが供給されたと判定された場合、ステップＳ７６において、切替部５２は、その基準ストリームのスライスデータをマルチストリームとして出力する。ステップＳ７７において、切替部５２は、書き換え部８４から基準外ストリームのスライスデータが供給されたかどうかを判定する。
【００７７】
ステップＳ７７で基準外ストリームのスライスデータが供給されていないと判定された場合、切替部５２は、基準外ストリームのスライスデータが供給されるまで待機する。一方、ステップＳ７７で基準外ストリームのスライスデータが供給されたと判定された場合、ステップＳ７８において、切替部５２は、その基準外ストリームのスライスデータをマルチストリームとして出力する。そして、処理は、ステップＳ１２に戻り、ステップＳ１３に進む。
【００７８】
一方、ステップＳ７５で基準ストリームのスライスヘッダが供給されていないと判定された場合、ステップＳ７９において、切替部５２は、書き換え部７４から基準ストリームのデリミタが供給されたかどうかを判定する。
【００７９】
ステップＳ７９で基準ストリームのデリミタが供給されたと判定された場合、ステップＳ８０において、切替部５２は、その基準ストリームのデリミタをマルチストリームとして出力する。そして、処理は、ステップＳ１２に戻り、ステップＳ１３に進む。
【００８０】
一方、ステップＳ７９で基準ストリームのデリミタが供給されていないと判定された場合、処理はステップＳ７１に戻り、以降の処理が繰り返される。
【００８１】
以上のように、画像処理装置１２は、マルチストリームの復号の結果得られる複数の画像ファイルの画像データを垂直方向に分割して各画像ファイルの画像データとする処理に対応する方法として、基準ストリームと基準外ストリームに含まれるスライスデータを垂直方向に多重化する方法で、マルチストリームを生成する。これにより、基準ストリームと基準外ストリームのスライスヘッダを書き換えるだけでマルチストリームを生成することができる。
【００８２】
これに対して、モバイル端末が、マルチストリームの復号の結果得られる複数の画像ファイルの画像データに対して何らの処理も行わず、そのまま表示する場合、モバイル端末は、垂直方向に基準ストリームと基準外ストリームの画像が多重化された画像を表示することになる。しかしながら、このような表示は一般的に使用されないため、この場合、画像処理装置１２におけるマルチストリームの生成方法は適していない。
【００８３】
また、画像処理装置１２は、基準ストリームと基準外ストリームのスライスデータを垂直方向に多重化するので、基準ストリームと基準外ストリームの符号化時の制約が少なくて済む。また、基準ストリームと基準外ストリームの符号化時に、予測モードの制約を課す必要がない。
【００８４】
なお、第１実施の形態では、符号化時の制約として、基準ストリームと基準外ストリームのSPSとPPSが同一であるという制約が課されたが、AVC規格では、各スライスが異なるSPSとPPSを参照することも可能であるため、この制約は課されないようにしてもよい。この場合、基準ストリームと基準外ストリームの両方のSPSとPPSがマルチストリームに含まれる。
【００８５】
但し、基準ストリームと基準外ストリームのSPSとPPSが同一であるという制約が課された場合、マルチストリームの復号時に、SPSとPPSに基づく初期化を共通して行うことができ、復号処理の負荷を軽減することができる。
【００８６】
＜第２実施の形態＞
＜画像処理装置の第２実施の形態を含む画像処理システムの構成例＞
図９は、本技術を適用した画像処理装置の第２実施の形態を含む画像処理システムの構成例を示すブロック図である。
【００８７】
図９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００８８】
図９の画像処理システム１００の構成は、画像処理装置１２の代わりに画像処理装置１０１が設けられる点、およびモバイル端末１３の代わりにモバイル端末１０２が設けられる点が図１の画像処理システム１０の構成と異なる。画像処理システム１００は、複数の画像ファイルの符号化ストリームからマルチストリームを生成し、マルチストリームの復号結果に対して時間方向に分割する処理を行った後、表示する。
【００８９】
具体的には、画像処理システム１００の画像処理装置１０１は、生成部として機能し、符号化装置１１から供給される複数（第２実施の形態では２つ）の画像ファイルの符号化ストリームからマルチストリームを生成する。より詳細には、画像処理装置１０１は、複数の画像ファイルのそれぞれに含まれるスライスデータを時間方向に多重化し、マルチストリームとする。画像処理装置１０１は、マルチストリームをモバイル端末１０２に供給する。
【００９０】
モバイル端末１０２の構成は、後処理部３２の代わりに後処理部１２１が設けられる点が、図１のモバイル端末１３の構成と異なる。
【００９１】
モバイル端末１０２の後処理部１２１は、復号部３１から供給される複数の画像ファイルの画像データを時間方向に分割し、分割された各画像データを各画像ファイルの画像データとして表示部３３に供給する。
【００９２】
＜画像処理装置の構成例＞
図１０は、図９の画像処理装置１０１の構成例を示すブロック図である。
【００９３】
図１０に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９４】
図１０の画像処理装置１０１は、処理部１４１−１および処理部１４１−２並びに切替部１４２により構成される。
【００９５】
画像処理装置１０１の処理部１４１−１の構成は、解析部７３の代わりに解析部１６１が設けられる点、および書き換え部７４の代わりに書き換え部１６２が設けられる点が、図２の画像処理装置１２の構成と異なる。
【００９６】
処理部１４１−１の解析部１６１は、復号部７１から供給されるスライスデータからスライスヘッダを抽出する。解析部１６１は、スライスヘッダを解析し、そのスライスヘッダに含まれるフレーム番号、POC情報、および参照ピクチャ変更情報（ref_pic_list_reordering）を取得する。
【００９７】
なお、参照ピクチャ変更情報とは、対応するスライスの参照ピクチャとして、PPSで特定される参照ピクチャとは異なる参照ピクチャを特定する情報である。
【００９８】
また、解析部１６１は、取得されたフレーム番号、POC情報、および参照ピクチャ変更情報のそれぞれ、マルチストリームに用いられる符号化ストリームの数、PPSで特定される参照ピクチャ等に基づいて、マルチストリームにおけるフレーム番号、POC情報、参照ピクチャ変更情報をそれぞれ決定する。解析部１６１は、決定されたマルチストリームにおけるフレーム番号、POC情報、参照ピクチャ変更情報を、書き換え部１６２に供給する。
【００９９】
書き換え部１６２は、選択部７２から供給されるSPS，PPS、およびデリミタをそのまま切替部１４２に供給する。また、書き換え部１６２は、選択部７２から供給されるスライスデータのスライスヘッダに含まれるフレーム番号、POC情報、および参照ピクチャ変更情報を、解析部１６１から供給されるマルチストリームにおけるフレーム番号、POC情報、および参照ピクチャ変更情報に書き換える。
【０１００】
この書き換えによって、シンタックスのビット長が変化するが、基準ストリームの生成時に、シンタックスのビット長を、マルチストリームの生成時にemulation prevention byteが生成されないビット長にするという制約が課されているため、emulation prevention byteは生成されない。書き換え部１６２は、書き換えられたスライスデータを切替部１４２に供給する。
【０１０１】
処理部１４１−２の構成は、解析部８３の代わりに解析部１７１が設けられ、選択部８２の代わりに選択部１７２が設けられ、書き換え部８４の代わりに書き換え部１７３が設けられる点が、図２の処理部５１−２の構成と異なる。
【０１０２】
処理部１４１−２の解析部１７１は、解析部１６１と同様に構成される。即ち、解析部１７１は、復号部８１から供給されるスライスデータからスライスヘッダを抽出して解析し、フレーム番号，POC情報、および参照ピクチャ変更情報を取得する。そして、解析部１７１は、マルチストリームにおけるフレーム番号、POC情報、および参照ピクチャ変更情報を決定し、書き換え部１７３に供給する。
【０１０３】
選択部１７２は、復号部８１から供給されるSPS,PPS、符号化データ、およびデリミタのうちの符号化データとデリミタを有効データとして選択し、書き換え部１７３に供給する。
【０１０４】
書き換え部１７３は、選択部１７２から供給されるスライスデータのスライスヘッダに含まれるフレーム番号、POC情報、および参照ピクチャ変更情報を、解析部１７１から供給されるマルチストリームにおけるフレーム番号、POC情報、および参照ピクチャ変更情報に書き換える。
【０１０５】
書き換え部１６２の場合と同様の理由により、この書き換えによって、emulation prevention byteは生成されない。書き換え部１７３は、書き換えられたスライスデータを切替部１４２に供給する。また、書き換え部１７３は、選択部１７２から供給されるデリミタをそのまま切替部１４２に供給する。
【０１０６】
切替部１４２は、書き換え部１６２から供給されるSPS，PPS、スライスデータ、およびデリミタを順にマルチストリームとして出力した後、書き換え部１７３から供給されるスライスデータとデリミタを順にマルチストリームとして出力する。
【０１０７】
＜マルチストリームにおける参照ピクチャ変更情報の説明＞
図１１は、マルチストリームにおける参照ピクチャ変更情報を説明する図である。
【０１０８】
PPSやスライスヘッダに含まれる基準ストリームの参照ピクチャを特定する情報は、基準ストリーム内のピクチャを特定する情報であり、基準外ストリームの参照ピクチャを特定する情報は、基準外ストリーム内のピクチャを特定する情報である。
【０１０９】
従って、図１１に示すように、基準ストリームと基準外ストリームが時間方向に多重化されてマルチストリームが生成される場合、マルチストリーム内のピクチャを特定する情報は、基準ストリームや基準外ストリーム内のピクチャを特定する情報とは異なる。
【０１１０】
例えば、図１１に示すように、基準ストリームのＰピクチャが１つ前のＩピクチャやＰピクチャを参照ピクチャとする場合、基準ストリームの参照ピクチャを特定する情報は、1つ前のピクチャを特定する情報である。しかしながら、マルチストリームのピクチャを特定する情報は、2つ前のピクチャを特定する情報となる必要がある。従って、画像処理装置１０１は、マルチストリームにおける参照ピクチャ変更情報を生成することにより、参照ピクチャを特定する情報を変更する。
【０１１１】
＜マルチストリームの構成例＞
図１２は、マルチストリームの構成例を示す図である。
【０１１２】
図１２に示すように、マルチストリームは、基準ストリームに含まれるSPS，PPS、およびデリミタ、基準外ストリームに含まれるデリミタ、並びに、スライスヘッダが書き換えられた基準ストリームおよび基準外ストリームに含まれるスライスデータにより構成される。これにより、マルチストリームは、基準ストリームのスライスからなるピクチャと基準外ストリームのスライスからなるピクチャが交互に配置された符号化ストリームとなる。
【０１１３】
なお、第２実施の形態では、マルチストリームのSPSおよびPPSとして、基準ストリームのSPSとPPSがそのまま用いられたが、必要に応じて更新されて用いられるようにしてもよい。
【０１１４】
＜マルチストリームの復号結果の例＞
図１３は、マルチストリームの復号結果の例を示す図である。
【０１１５】
上述したように、マルチストリームは、基準ストリームのスライスからなるピクチャと基準外ストリームのスライスからなるピクチャが交互に配置された符号化ストリームである。従って、マルチストリームが復号されると、図１３Ａに示すように、基準ストリームに対応する画像と基準外ストリームに対応する画像が時間方向に多重化された画像が生成される。
【０１１６】
同様に、例えば、４つの画像ファイルの符号化ストリームからマルチストリームが生成される場合、図１３Ｂに示すように、基準ストリームに対応する画像と３つの基準外ストリームに対応する画像が時間方向に多重化された画像が生成される。
【０１１７】
＜画像処理装置の処理の説明＞
図１０の画像処理装置１０１の生成処理は、図５のステップＳ１１の基準処理および基準外処理、並びにステップＳ１２の出力処理を除いて、図５の生成処理と同様であるので、それらの処理以外の説明は省略する。
【０１１８】
図１４は、基準処理の詳細を説明するフローチャートである。
【０１１９】
図１４のステップＳ１０１乃至Ｓ１０５の処理は、図６のステップＳ３１乃至Ｓ３５の処理と同様であるので、説明は省略する。
ステップＳ１０６において、解析部１６１は、復号部７１から供給されるスライスデータに含まれるスライスヘッダを解析し、そのスライスヘッダに含まれるフレーム番号、POC情報、および参照ピクチャ変更情報を取得する。
【０１２０】
ステップＳ１０７において、解析部１６１は、取得されたフレーム番号、POC情報、および参照ピクチャ変更情報のそれぞれと、マルチストリームに用いられる符号化ストリームの数、PPSで特定される参照ピクチャ等に基づいて、マルチストリームにおけるフレーム番号、POC情報、参照ピクチャ変更情報をそれぞれ決定する。解析部１６１は、決定されたマルチストリームにおけるフレーム番号、POC情報、参照ピクチャ変更情報を、書き換え部１６２に供給する。
【０１２１】
ステップＳ１０８において、書き換え部１６２は、選択部７２から供給されるスライスデータのスライスヘッダに含まれるフレーム番号、POC情報、および参照ピクチャ変更情報を、解析部１６１から供給されるマルチストリームにおけるフレーム番号、POC情報、および参照ピクチャ変更情報に書き換える。そして、処理はステップＳ１０９に進む。
【０１２２】
一方、ステップＳ１０５で、ステップＳ１０２で抽出されたデータはスライスデータではないと判定された場合、処理はステップＳ１０９に進む。
【０１２３】
ステップＳ１０９において、書き換え部１６２は、選択部７２から供給される有効データとしてのSPS,PPS、またはデリミタ、もしくは、ステップＳ１０８で書き換えられたスライスデータを切替部１４２に出力する。
【０１２４】
図１５は、基準外処理の詳細を説明するフローチャートである。
【０１２５】
図１５のステップＳ１２１乃至Ｓ１２５の処理は、図７のステップＳ５１乃至Ｓ５５の処理と同様であるので、説明は省略する。
【０１２６】
ステップＳ１２６において、解析部１７１は、復号部８１から供給されるスライスデータに含まれるスライスヘッダを解析して、そのスライスヘッダに含まれるフレーム番号，POC情報、および参照ピクチャ変更情報を取得する。
【０１２７】
ステップＳ１２７において、解析部１７１は、解析部１６１と同様に、マルチストリームにおけるフレーム番号、POC情報、および参照ピクチャ変更情報を決定し、書き換え部１７３に供給する。
【０１２８】
ステップＳ１２８において、書き換え部１７３は、選択部１７２から供給されるスライスデータのスライスヘッダに含まれるフレーム番号、POC情報、および参照ピクチャ変更情報を、解析部１７１から供給されるマルチストリームにおけるフレーム番号、POC情報、および参照ピクチャ変更情報に書き換える。そして、処理はステップＳ１３１に進む。
【０１２９】
一方、ステップＳ１２４で復号部８１から供給されるデータがスライスデータではないと判定された場合、ステップＳ１２９において、選択部１７２は、復号部８１から供給されるデータがデリミタであるかどうかを判定する。
【０１３０】
ステップＳ１２９で復号部８１から供給されるデータがデリミタであると判定された場合、ステップＳ１３０において、選択部１７２は、そのデリミタを有効データとして選択し、書き換え部１７３に供給する。そして、処理は、ステップＳ１３１に進む。
【０１３１】
ステップＳ１３１において、書き換え部１７３は、有効データとしての書き換えられたスライスデータまたは選択部１７２から供給されるデリミタを切替部１４２に出力する。そして、処理は終了する。
【０１３２】
一方、ステップＳ１２９で復号部８１から供給されるデータがデリミタではないと判定された場合、処理は終了する。
【０１３３】
図１６は、出力処理の詳細を説明するフローチャートである。
【０１３４】
図１６のステップＳ１４１乃至ステップＳ１４６の処理は、図８のステップＳ７１乃至Ｓ７６の処理と同様であるので、説明は省略する。ステップＳ１４６の処理後、出力処理は終了する。
【０１３５】
ステップＳ１４５で基準ストリームのスライスヘッダが供給されていないと判定された場合、ステップＳ１４７において、切替部１４２は、書き換え部１６２から基準ストリームのデリミタが供給されたかどうかを判定する。ステップＳ１４７で基準ストリームのデリミタが供給されたと判定された場合、ステップＳ１４８において、切替部１４２は、その基準ストリームのデリミタをマルチストリームとして出力する。
【０１３６】
ステップＳ１４９において、切替部５２は、書き換え部１７３から基準外ストリームのスライスデータが供給されたかどうかを判定する。ステップＳ１４９で基準外ストリームのスライスデータが供給されていないと判定された場合、切替部１４２は、基準外ストリームのスライスデータが供給されるまで待機する。
【０１３７】
一方、ステップＳ１４９で基準外ストリームのスライスデータが供給されたと判定された場合、ステップＳ１５０において、切替部５２は、その基準外ストリームのスライスデータをマルチストリームとして出力する。
【０１３８】
ステップＳ１５１において、切替部１４２は、書き換え部１７３から基準外ストリームのデリミタが供給されたかどうかを判定する。ステップＳ１５１で基準外ストリームのデリミタが供給されていないと判定された場合、切替部１４２は、基準外ストリームのデリミタが供給されるまで待機する。
【０１３９】
ステップＳ１５１で基準外ストリームのデリミタが供給されたと判定された場合、ステップＳ１５２において、切替部１４２は、その基準外ストリームのデリミタをマルチストリームとして出力する。そして、出力処理は終了する。
【０１４０】
一方、ステップＳ１４７で基準ストリームのデリミタが供給されていないと判定された場合、処理はステップＳ１４１に戻り、以降の処理が繰り返される。
【０１４１】
以上のように、画像処理装置１０１は、マルチストリームの復号の結果得られる複数の画像ファイルの画像データを時間方向に分割して各画像ファイルの画像データとする処理に対応する方法として、基準ストリームと基準外ストリームに含まれるスライスデータを時間方向に多重化する方法で、マルチストリームを生成する。これにより、基準ストリームと基準外ストリームのスライスヘッダを書き換えるだけでマルチストリームを生成することができる。
【０１４２】
これに対して、モバイル端末において、マルチストリームの復号の結果得られる複数の画像ファイルの画像データに対して何らの処理も行わず、そのまま表示する場合、モバイル端末は、時間方向に基準ストリームと基準外ストリームの画像が多重化された画像を表示することになる。しかしながら、このような表示は一般的に使用されないため、この場合、画像処理装置１０１におけるマルチストリームの生成方法は適していない。
【０１４３】
また、画像処理装置１０１は、基準ストリームと基準外ストリームのスライスデータを時間方向に多重化するので、基準ストリームと基準外ストリームの符号化時の制約が少なくて済む。また、基準ストリームと基準外ストリームの符号化時に、予測モードの制約を課す必要がない。
【０１４４】
さらに、画像処理装置１０１は、基準ストリームと基準外ストリームのスライスデータを時間方向に多重化するので、画面内で多重化する場合のようにスライスデータを低解像度化する必要がない。その結果、例えば、後処理部１２１が、各画像ファイルの画像データをクロスフェード等のトランジション処理を用いて接続し、表示部３３に供給する場合等のように、各画像ファイルの画像が１画面に表示される場合、高解像度の画像を表示させることができる。
【０１４５】
なお、第２実施の形態においても、第１実施の形態と同様に、基準ストリームと基準外ストリームのSPSとPPSが同一であるという制約が課されないようにしてもよい。
【０１４６】
＜第３実施の形態＞
＜画像処理装置の第３実施の形態を含む画像処理システムの構成例＞
【０１４７】
図１７は、本技術を適用した画像処理装置の第３実施の形態を含む画像処理システムの構成例を示すブロック図である。
【０１４８】
図１７に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１４９】
図１７の画像処理システム２００は、符号化装置２０１、画像処理装置２０２、およびモバイル端末２０３により構成される。画像処理システム２００は、複数の画像ファイルの符号化ストリームからマルチストリームを生成し、マルチストリームの復号結果に対して水平方向に分割してダミー画像を削除する処理を行った後、表示する。
【０１５０】
具体的には、画像処理システム２００の符号化装置２０１は、外部から入力される複数（第３実施の形態では２つ）の画像ファイルそれぞれのスライス単位の画像データの水平方向の両端にダミー画像の画像データを付加する。そして、符号化装置２０１は、画像ファイルごとに、ダミー画像の画像データが付加されたスライス単位の画像データを、所定の制約の下AVC方式等で符号化する。
【０１５１】
所定の制約とは、各画像ファイルの画像データのSPSとPPSが同一であること、シンタックスのビット長を、マルチストリームの生成時にemulation prevention byteが生成されないビット長にすること、PPSに含まれるエントロピー符号化モードフラグ（entropy_coding_flag）を、CAVLC（Context-Adaptive Variable Length Coding）を示す0に設定すること、ダミー画像の画像データに対する制約などである。
【０１５２】
なお、エントロピー符号化モードフラグとは、符号化時に行われるエントロピー符号化のモードを示す情報である。また、ダミー画像の画像データに対する制約の詳細については、後述する図１８を参照して説明する。符号化装置２０１は、符号化の結果得られる複数の画像ファイルの符号化ストリームを画像処理装置２０２に供給する。
【０１５３】
画像処理装置２０２は、生成部として機能し、符号化装置２０１から供給される複数の画像ファイルの符号化ストリームからマルチストリームを生成する。具体的には、画像処理装置２０２は、複数の画像ファイルの符号化ストリームのそれぞれに含まれるスライスデータを水平方向に多重化し、マルチストリームとする。画像処理装置２０２は、マルチストリームをモバイル端末２０３に供給する。
【０１５４】
モバイル端末２０３の構成は、後処理部３２の代わりに後処理部２２１が設けられる点が、図１のモバイル端末１３の構成と異なる。
【０１５５】
モバイル端末２０３の後処理部２２１は、復号部３１から供給される複数の画像ファイルの画像データを水平方向に分割してダミー画像の画像データを削除し、その結果得られる各画像データを各画像ファイルの画像データとして表示部３３に供給する。
【０１５６】
＜ダミー画像の画像データに対する符号化時の制約の説明＞
図１８は、ダミー画像の画像データに対する符号化時の制約を説明する図である。
【０１５７】
図１８において、正方形はマクロブロックを表し、縦線または横線が付された正方形は、ダミー画像のマクロブロックを表す。また、何も付されていない正方形および斜線が付された正方形は、各画像ファイルの符号化ストリームのスライス単位のマクロブロックを表す。
【０１５８】
図１８に示すように、符号化装置２０１は、スライス単位の画像データの水平方向の両端に１マクロブロック分のダミー画像の画像データを付加し、符号化する。
【０１５９】
ダミー画像の画像データに対する符号化時の第１の制約は、ダミー画像の係数（NonZeroCoef）を0にすることである。第２の制約は、スライスがIスライスである場合、図１８Ａの横線が付された正方形が表す2つのダミー画像のマクロブロックの予測モードを、予測ブロックのサイズが16×16画素であるイントラDCモードにし、図１８Ａの縦線が付された正方形が表すダミー画像のマクロブロックの予測モードを、予測ブロックのサイズが16×16画素であるイントラVerticalモードにすることである。
【０１６０】
即ち、予測ブロックのサイズが16×16画素以外であるイントラ予測モードである場合、予測モードは、後のマクロブロックに伝搬される。具体的には、対象のマクロブロックと、そのマクロブロックの左と上に隣接するマクロブロックの予測モードが、予測ブロックのサイズが16×16画素以外であるイントラ予測モードである場合、対象のマクロブロックの予測モードは、そのマクロブロックの左と上に隣接するマクロブロックの予測モードに基づいて決定される。
【０１６１】
従って、マルチストリームにおいてダミー画像のマクロブロックの右に配置される符号化ストリームのマクロブロックの復号時に、ダミー画像のイントラ予測モードが影響しないように、ダミー画像のマクロブロックの予測モードが、予測ブロックのサイズが16×16画素以外であるイントラ予測モードにされる。
【０１６２】
また、ダミー画像の符号化時にダミー画像以外が参照されないように、図１８Ａの横線が付された正方形が表すダミー画像の予測モードはDCモードにされ、縦線が付された正方形が表すダミー画像の予測モードはVerticalモードにされる。
【０１６３】
第３の制約は、スライスがＰスライスである場合、図９Ｂの縦線が付された正方形が表すダミー画像の予測モードを、予測ブロックのサイズが16×16画素であるインター予測モードとし、他のマクロブロックから参照されないようにすることである。
【０１６４】
即ち、イントラ予測モードの場合と同様の理由により、インター予測モード時にも予測ブロックのサイズが16×16画素とされる。また、ダミー画像は復号後に削除されるため、ダミー画像は、他のマクロブロックから参照されないようにされる。
【０１６５】
第４の制約は、スライスがＩスライスまたはＰスライスである場合、図１８Ａの縦線および横線が付された正方形が表すダミー画像のマクロブロックと、図１８Ｂの縦線が付された正方形が表すダミー画像のマクロブロックの量子化パラメータＱＰの値が一定値となるように、量子化パラメータＱＰの差分値（mb_qp_delta）を調整することである。
【０１６６】
即ち、量子化パラメータＱＰはラスタスキャン順に伝搬される。従って、マルチストリームにおけるラスタスキャン順でダミー画像の次のマクロブロックの量子化パラメータＱＰが、符号化ストリームにおける量子化パラメータＱＰから変更されないように、ダミー画像のマクロブロックの量子化パラメータＱＰが同一にされる。
【０１６７】
なお、スライスがPスライスである場合、図１８Ｂの縦線が付された正方形が表すダミー画像のマクロブロックの符号化モードをスキップモードとすることで、圧縮効率を上げることも可能である。但し、このとき、図１８Ｂの斜線が付された正方形が表す符号化ストリームのマクロブロックの量子化パラメータＱＰが一定値になるように、差分値（mb_qp_delta）を調整するという制約が課される。
【０１６８】
符号化装置２０１は、以上のようなダミー画像の画像データに対する制約を含む上述した制約の下、ダミー画像の画像データが付加された各画像ファイルのスライス単位の画像データを符号化し、符号化ストリームを生成する。
【０１６９】
これにより、符号化ストリームのスライスデータを再符号化せずに水平方向に多重化するだけで、規格に準拠した復号可能なマルチストリームのスライスデータを生成することができる。また、列単位でスライスに分割する必要がないため、予測モードが制限されるスライス境界のマクロブロックを削減することができ、符号化効率を向上させることができる。
【０１７０】
なお、第２実施の形態では、スライスの種類がＩスライスとＰスライスであるものとするが、スライスの種類としてＢスライスがあってもよい。
【０１７１】
＜画像処理装置の構成例＞
図１９は、図１７の画像処理装置２０２の構成例を示すブロック図である。
【０１７２】
図１９に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１７３】
図１９の画像処理装置２０２は、処理部２４１−１および処理部２４１−２、合成部２４２、並びに切替部２４３により構成される。
【０１７４】
画像処理装置２０２の処理部２４１−１の構成は、解析部７３と書き換え部７４が設けられない点が、図２の処理部５１−１の構成と異なる。選択部７２により有効データとして選択されたSPS,PPS、およびデリミタは切替部２４３に供給され、スライスデータは合成部２４２に供給される。
【０１７５】
画像処理装置２０２の処理部２４１−２の構成は、解析部８３と書き換え部８４が設けられない点が、図２の処理部５１−２の構成と異なる。選択部８２により有効データとして選択されたスライスデータは合成部２４２に供給される。
【０１７６】
合成部２４２は、選択部７２から供給されるスライスデータのデータ部と選択部８２から供給されるスライスデータのデータ部を水平方向に多重化し、スライスヘッダを付加して、スライスデータを生成する。このスライスヘッダは、例えば、基準ストリームと基準外ストリームのスライスヘッダに基づいて生成される。合成部２４２は、生成されたスライスデータを切替部２４３に供給する。
【０１７７】
切替部２４３は、選択部７２から供給されるSPS，PPSを順にマルチストリームとして出力し、合成部２４２から供給されるスライスデータをマルチストリームとして出力する。その後、切替部２４３は、選択部７２から供給されるデリミタをマルチストリームとして出力する。
【０１７８】
＜マルチストリームの構成例＞
図２０は、マルチストリームの構成例を示す図である。
【０１７９】
図２０に示すように、マルチストリームは、基準ストリームに含まれるSPS，PPS，およびデリミタ、並びに、基準ストリームおよび基準外ストリームのスライスデータのデータ部が水平方向に多重化されたスライスデータにより構成される。これにより、マルチストリームは、基準ストリームのスライスと基準外ストリームのスライスが水平方向に多重化され、１つのスライスとされた符号化ストリームとなる。
【０１８０】
なお、第３実施の形態では、マルチストリームのSPSおよびPPSとして、基準ストリームのSPSとPPSがそのまま用いられたが、必要に応じて更新されて用いられるようにしてもよい。
【０１８１】
＜マルチストリームの復号結果の例＞
図２１は、マルチストリームの復号結果の例を示す図である。
【０１８２】
上述したように、マルチストリームは、基準ストリームのスライスと基準外ストリームのスライスが水平方向に多重化され、１つのスライスとされた符号化ストリームである。従って、マルチストリームが復号されると、図２１Ａに示すように、基準ストリームに対応する画像と基準外ストリームに対応する画像が水平方向に多重化された横長の画像が生成される。
【０１８３】
同様に、例えば、４つの画像ファイルの符号化ストリームからマルチストリームが生成される場合、図２１Ｂに示すように、基準ストリームに対応する画像と３つの基準外ストリームに対応する画像が水平方向に多重化された横長の画像が生成される。
【０１８４】
＜画像処理装置の処理の説明＞
図２２は、図１９の画像処理装置２０２の生成処理を説明するフローチャートである。この生成処理は、符号化装置２０１からの基準ストリームと基準外ストリームの供給が開始されたとき、開始される。
【０１８５】
図２２のステップＳ１７１において、処理部２４１−１は基準処理を行い、処理部２４１−２は基準外処理を行う。この基準処理の詳細は、後述する図２３を参照して説明し、基準外処理の詳細は、後述する図２４を参照して説明する。
【０１８６】
ステップＳ１７２において、合成部２４２は、選択部７２から供給されるスライスデータのデータ部と選択部８２から供給されるスライスデータのデータ部を水平方向に多重化し、スライスヘッダを付加して、スライスデータを生成する。合成部２４２は、生成されたスライスデータを切替部２４３に供給する。
【０１８７】
ステップＳ１７３において、切替部２４３は、処理部２４１−１から供給されるSPS,PPS、およびデリミタと、合成部２４２から供給されるスライスデータを順に出力する出力処理を行う。この出力処理の詳細は、後述する図２５を参照して説明する。
【０１８８】
ステップＳ１７４において、切替部２４３は、基準ストリームと基準外ストリームが供給されなくなったかどうかを判定する。ステップＳ１７４で基準ストリームと基準外ストリームが供給されなくなっていない場合、処理はステップＳ１７１に戻り、ステップＳ１７１乃至Ｓ１７４の処理が繰り返される。
【０１８９】
一方、ステップＳ１７４で基準ストリームと基準外ストリームが供給されなくなったと判定された場合、処理は終了する。
【０１９０】
図２３は、図２２のステップＳ１７１の基準処理の詳細を説明するフローチャートである。
【０１９１】
図２３のステップＳ１９１乃至Ｓ１９３の処理は、図６のステップＳ３１乃至Ｓ３３の処理と同様であるので、説明は省略する。
【０１９２】
ステップＳ１９４において、選択部７２は、復号部７１から供給されるSPS,PPS、符号化データ、およびデリミタを、有効データとして選択する。
【０１９３】
ステップＳ１９５において、選択部７２は、有効データがスライスデータであるかどうかを判定する。ステップＳ１９５で有効データがスライスデータであると判定された場合、ステップＳ１９６において、選択部７２は、有効データとしてのスライスデータを合成部２４２に供給し、処理を終了する。
【０１９４】
一方、ステップＳ１９５で有効データがスライスデータではないと判定された場合、ステップＳ１９７において、選択部７２は、有効データとしてのSPS,PPS、およびデリミタを切替部２４３に供給し、処理を終了する。
【０１９５】
図２４は、図２２のステップＳ１７１の基準外処理の詳細を説明するフローチャートである。
【０１９６】
図２４のステップＳ２１１乃至Ｓ２１４の処理は、図７のステップＳ５１乃至Ｓ５４の処理と同様であるので、説明は省略する。
【０１９７】
ステップＳ２１５において、選択部８２は、スライスデータを有効データとして選択し、合成部２４２に供給して処理を終了する。
【０１９８】
図２５は、図２２のステップＳ１７３の出力処理の詳細を説明するフローチャートである。
【０１９９】
図２５のステップＳ２３１乃至ステップＳ２３４の処理は、図８のステップＳ７１乃至Ｓ７４の処理と同様であるので、説明は省略する。
【０２００】
ステップＳ２３３で基準ストリームのPPSが供給されていないと判定された場合、ステップＳ２３５において、切替部２４３は、合成部２４２からスライスデータが供給されたかどうかを判定する。
【０２０１】
ステップＳ２３５でスライスデータが供給されたと判定された場合、ステップＳ２３６において、切替部２４３は、スライスデータをマルチストリームとして出力する。そして、処理は、図２２のステップＳ１７３の処理に戻り、ステップＳ１７４に進む。
【０２０２】
一方、ステップＳ２３５でスライスデータが供給されていないと判定された場合、処理はステップＳ２３７に進み、図８のステップＳ７９の処理と同様の処理が行われる。そして、ステップＳ２３８において、図８のステップＳ８０の処理と同様の処理が行われ、処理は、ステップＳ１７３に戻り、ステップＳ１７４に進む。
【０２０３】
以上のように、画像処理装置２０２は、マルチストリームの復号の結果得られる複数の画像ファイルの画像データを水平方向に分割してダミー画像の画像データを削除し、各画像ファイルの画像データとする処理に対応する方法として、基準ストリームと基準外ストリームに含まれるスライスデータを水平方向に多重化する方法で、マルチストリームを生成する。これにより、基準ストリームと基準外ストリームのスライスデータのデータ部を合成し、スライスヘッダを付加するだけでマルチストリームを生成することができる。
【０２０４】
これに対して、モバイル端末において、マルチストリームの復号の結果得られる複数の画像ファイルの画像データに対して何らの処理も行わず、そのまま表示する場合、モバイル端末は、ダミー画像の画像データが付加された基準ストリームと基準外ストリームの画像が水平方向に多重化された画像を表示することになる。しかしながら、このような表示は一般的に使用されないため、この場合、画像処理装置２０２におけるマルチストリームの生成方法は適していない。
【０２０５】
また、モバイル端末２０３は、ダミー画像の画像データを削除するので、符号化装置２０１は、基準ストリームと基準外ストリームの画像データにダミー画像の画像データを付加して符号化することができる。従って、実際の画像データに対して図１８で説明した制約を課す必要がなく、画質劣化および符号化効率の低下を防止することができる。
【０２０６】
さらに、画像処理装置２０２は、基準ストリームと基準外ストリームのスライスデータを水平方向に多重化してマルチストリームを生成するので、マルチストリームの画像の形状が一般的なデコーダと親和性の高い横長形状になる。その結果、マルチストリームを処理可能なデコーダが増加する。
【０２０７】
なお、第３実施の形態においても、第１実施の形態と同様に、基準ストリームと基準外ストリームのSPSとPPSが同一であるという制約が課されないようにしてもよい。
【０２０８】
＜第４実施の形態＞
＜画像処理装置の第４実施の形態を含む画像処理システムの構成例＞
【０２０９】
図２６は、本技術を適用した画像処理装置の第４実施の形態を含む画像処理システムの構成例を示すブロック図である。
【０２１０】
図２６に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２１１】
図２６の画像処理システム２８０は、符号化装置２８１、画像処理装置２８２、およびモバイル端末２８３により構成される。画像処理システム２８０は、第１乃至第３実施の形態を組み合わせたものである。
【０２１２】
具体的には、符号化装置２８１は、外部から入力される複数（第４実施の形態では８つ）の画像ファイルそれぞれのスライス単位の画像データの水平方向の両端にダミー画像の画像データを付加する。そして、符号化装置２８１は、画像ファイルごとに、ダミー画像の画像データが付加されたスライス単位の画像データを、図１７の符号化装置２０１における制約と同一の制約の下AVC方式等で符号化を行う。
【０２１３】
画像処理装置２８２は、生成部として機能し、符号化装置２８１から供給される複数の画像ファイルの符号化ストリームからマルチストリームを生成する。具体的には、画像処理装置２８２は、複数の画像ファイルのうちの２つの画像ファイルごとに、符号化ストリームに含まれるスライスデータを水平方向に多重化する。そして、画像処理装置２８２は、水平方向に多重化されたスライスデータを垂直方向に多重化し、時間方向に多重化して、マルチストリームとする。画像処理装置２８２は、マルチストリームをモバイル端末２８３に供給する。
【０２１４】
モバイル端末２８３の構成は、後処理部３２の代わりに後処理部２９１が設けられる点が、図１のモバイル端末１３の構成と異なる。
【０２１５】
モバイル端末２０３の後処理部２９１は、復号部３１から供給される複数の画像ファイルの画像データを時間方向、垂直方向、および水平方向に分割し、ダミー画像の画像データを削除する。後処理部２９１は、その結果得られる各画像データを各画像ファイルの画像データとして表示部３３に供給する。
【０２１６】
＜画像処理装置の構成例＞
図２７は、図２６の画像処理装置２８２の構成例を示すブロック図である。
【０２１７】
図２７の画像処理装置２８２は、処理部３０１−１乃至処理部３０１−８、合成部３０２−１乃至３０２−４、並びに切替部３０３により構成される。
【０２１８】
画像処理装置２８２の処理部３０１−１は、復号部３２１−１、選択部３２２−１、解析部３２３−１、および書き換え部３２４−１により構成される。
【０２１９】
処理部３０１−１の復号部３２１−１は、図２の復号部７１と同様に構成される。即ち、復号部３２１−１は、図２６の符号化装置２８１から供給される１つの符号化ストリームを基準ストリームとして取得する。復号部３２１−１は、基準ストリームを復号し、その基準ストリームに含まれるSPS，PPS、スライスデータ、およびデリミタを抽出する。復号部３２１−１は、抽出されたSPS,PPS、スライスデータ、およびデリミタを選択部３２２−１に供給し、スライスデータを解析部３２３−１に供給する。
【０２２０】
選択部３２２−１は、選択部７２と同様に構成される。即ち、選択部３２２−１は、復号部３２１−１から供給されるSPS,PPS、スライスデータ、およびデリミタを、有効データとして選択し、書き換え部３２４−１に供給する。
【０２２１】
解析部３２３−１は、復号部３２１−１から供給されるスライスデータからスライスヘッダを抽出する。解析部３２３−１は、スライスヘッダを解析し、そのスライスヘッダに含まれるフレーム番号、POC情報、および参照ピクチャ変更情報を取得する。
【０２２２】
また、解析部３２３−１は、処理部３０１−３から基準外ストリームのフレーム番号とPOC情報を取得する。解析部３２３−１は、基準ストリームと基準外ストリームのフレーム番号に基づいて、基準ストリームと基準外ストリームに共通のフレーム番号を決定する。同様に、解析部３２３−１は、共通のPOC情報を決定する。解析部３２３−１は、共通のフレーム番号とPOC情報を解析部３２３−３に供給する。
【０２２３】
さらに、解析部３２３−１は、共通のフレーム番号およびPOC情報、並びに参照ピクチャ変更情報のそれぞれと、マルチストリームに用いられる符号化ストリームの数、PPSで特定される参照ピクチャ等に基づいて、マルチストリームにおけるフレーム番号、POC情報、参照ピクチャ変更情報をそれぞれ決定する。解析部１６１は、決定されたマルチストリームにおけるフレーム番号、POC情報、および参照ピクチャ変更情報を、書き換え部３２４−１に供給する。
【０２２４】
書き換え部３２４−１は、選択部３２２−１から供給されるSPS，PPS、およびデリミタをそのまま切替部５２に供給する。また、書き換え部３２４−１は、選択部３２２−１から供給されるスライスデータのスライスヘッダに含まれるフレーム番号、POC情報、および参照ピクチャ変更情報を、解析部３２３−１から供給されるフレーム番号、POC情報、および参照ピクチャ変更情報に書き換える。書き換え部３２４−１は、書き換えられたスライスデータを合成部３０２−１に供給する。
【０２２５】
処理部３０１−２は、復号部３２１−２と選択部３２２−２により構成される。
【０２２６】
復号部３２１−２は、復号部８１と同様に構成される。即ち、復号部３２１−２は、符号化装置２８１から供給される１つの符号化ストリームを基準外ストリームとして復号し、その基準ストリームに含まれるSPS，PPS、スライスデータ、およびデリミタを抽出する。復号部３２１−２は、抽出されたSPS,PPS、スライスデータ、およびデリミタを選択部３２２−２に供給する。
【０２２７】
選択部３２２−２は、復号部３２１−２から供給されるSPS,PPS、スライスデータ、およびデリミタのうちのスライスデータを有効データとして選択し、合成部３０２−１に供給する。
【０２２８】
合成部３０２−１は、図１９の合成部２４２と同様に構成される。即ち、合成部３０２−１は、書き換え部３２４−１から供給されるスライスデータのデータ部と選択部３２２−２から供給されるスライスデータのデータ部を水平方向に多重化し、スライスヘッダを付加して、スライスデータを生成する。合成部３０２−１は、生成されたスライスデータを切替部３０３に供給する。
【０２２９】
処理部３０１−３は、復号部３２１−３、選択部３２２−３、解析部３２３−３、および書き換え部３２４−３により構成される。
【０２３０】
処理部３０１−３の復号部３２１−３は、復号部３２１−１と同様に構成され、SPS,PPS、スライスデータ、およびデリミタを選択部３２２−３に供給し、スライスデータを解析部３２３−３に供給する。
【０２３１】
選択部３２２−３は、選択部３２２−２と同様に構成され、スライスデータを有効データとして書き換え部３２４−３に供給する。
【０２３２】
解析部３２３−３は、復号部３２１−３から供給されるスライスデータからスライスヘッダを抽出する。解析部３２３−３は、スライスヘッダを解析し、そのスライスヘッダに含まれるフレーム番号、POC情報、参照ピクチャ変更情報、および先頭マクロ情報を取得する。また、解析部３２３−３は、フレーム番号とPOC情報を処理部３０１−１の解析部３２３−１に供給し、これにより、解析部３２３−１から共通のフレーム番号とPOC情報を取得する。
【０２３３】
また、解析部３２３−３は、基準外ストリームの先頭マクロ情報に基づいて、マルチストリームにおける先頭マクロ情報を決定する。さらに、解析部３２３−３は、参照ピクチャ変更情報、マルチストリームに用いられる符号化ストリームの数、PPSで特定される参照ピクチャ等に基づいて、マルチストリームにおける参照ピクチャ変更情報を決定する。解析部３２３−３は、共通のフレーム番号およびPOC情報、先頭マクロ情報、並びに参照ピクチャ変更情報を、書き換え部３２４−３に供給する。
【０２３４】
書き換え部３２４−３は、選択部３２２−３から供給されるスライスデータのスライスヘッダに含まれるフレーム番号、POC情報、先頭マクロ情報、および参照ピクチャ変更情報を、解析部３２３−３から供給される共通のフレーム番号およびPOC情報、先頭マクロ情報、並びに参照ピクチャ変更情報に書き換える。書き換え部３２４−３は、書き換えられたスライスデータを合成部３０２−２に供給する。
【０２３５】
処理部３０１−４は、復号部３２１−４と選択部３２２−４により構成される。
【０２３６】
復号部３２１−４は、復号部３２１−２と同様に構成され、選択部３２２−４は、選択部３２２−２と同様に構成される。これにより、スライスデータが有効データとして選択され、合成部３０２−２に供給する。
【０２３７】
合成部３０２−２は、合成部３０２−１と同様に構成される。これにより、書き換え部３２４−３から供給されるスライスデータのデータ部と選択部３２２−４から供給されるスライスデータのデータ部が水平方向に多重化されてスライスデータが生成され、切替部３０３に供給される。
【０２３８】
処理部３０１−５乃至３０１−８は、処理部３０１−５の選択部３２２−１がスライスデータとデリミタのみを有効データとして選択し、書き換え部３２４−７がデリミタを切替部３０３に供給する点を除いて、処理部３０１−１乃至３０１−４と同様に構成される。
【０２３９】
これにより、合成部３０２−３と合成部３０２−４には、それぞれ、２つの基準外ストリームのスライスデータが供給されて、１つのスライスデータが生成され、切替部３０３に供給される。また、切替部３０３には、書き換え部３２４−７からデリミタが供給される。
【０２４０】
切替部３０３は、処理部３０１−１の書き換え部３２４−１から供給されるSPS，PPSを順にマルチストリームとして出力する。そして、切替部３０３は、合成部３０２−１から供給されるスライスデータと合成部３０２−２から供給されるスライスデータを順にマルチストリームとして出力する。その後、切替部３０３は、書き換え部３２４−１から供給されるデリミタをマルチストリームとして出力する。
【０２４１】
そして、切替部３０３は、合成部３０２−３から供給されるスライスデータと合成部３０２−４から供給されるスライスデータを順にマルチストリームとして出力する。その後、切替部３０３は、処理部３０１−５の書き換え部３２４−５から供給されるデリミタをマルチストリームとして出力する。
【０２４２】
なお、書き換え部３２４−１（３２４−３，３２４−５，３２４−７）における書き換えによって、シンタックスのビット長が変化するが、基準ストリームの生成時に、マルチストリームの生成時にemulation prevention byteが生成されないビット長にするという制約が課されているため、emulation prevention byteは生成されない。
【０２４３】
＜マルチストリームの構成例＞
図２８は、マルチストリームの構成例を示す図である。
【０２４４】
図２８に示すように、マルチストリームは、基準ストリームに含まれるSPS，PPS，およびデリミタ、基準ストリームおよび基準外ストリームのスライスデータのデータ部が水平方向に多重化された４つのスライスデータ、並びに、基準外ストリームのデリミタにより構成される。
【０２４５】
これにより、マルチストリームは、基準ストリームのスライスと基準外ストリームのスライスが水平方向に多重化されたスライスと、２つの基準外ストリームのスライスが水平方向に多重化されたスライスとからなるピクチャと、２つの基準外ストリームのスライスが水平方向に多重化された２つのスライスからなるピクチャとが交互に配置された符号化ストリームとなる。
【０２４６】
なお、第４実施の形態では、マルチストリームのSPSおよびPPSとして、基準ストリームのSPSとPPSがそのまま用いられたが、必要に応じて更新されて用いられるようにしてもよい。
【０２４７】
＜マルチストリームの復号結果の例＞
図２９は、マルチストリームの復号結果の例を示す図である。
【０２４８】
上述したように、マルチストリームは、基準ストリームのスライスと基準外ストリームのスライスが水平方向に多重化されたスライスと、２つの基準外ストリームのスライスが水平方向に多重化されたスライスとからなるピクチャと、２つの基準外ストリームのスライスが水平方向に多重化された２つのスライスからなるピクチャとが交互に配置された符号化ストリームである。
【０２４９】
従って、マルチストリームが復号されると、図２９に示すように、基準ストリームに対応する画像と基準外ストリームに対応する画像が水平方向に多重化された横長の画像と、２つの基準外ストリームに対応する画像が水平方向に多重化された横長の画像が垂直方向に多重化された画像と、２つの基準外ストリームに対応する画像が水平方向に多重化された２つの横長の画像が垂直方向に多重化された画像が、時間方向に多重化された画像が生成される。
【０２５０】
＜画像処理装置の処理の説明＞
図３０は、図２６の画像処理装置２８２の生成処理を説明するフローチャートである。この生成処理は、符号化装置２８１からの基準ストリームと７つの基準外ストリームの供給が開始されたとき、開始される。
【０２５１】
図３０のステップＳ２５１において、処理部３０１−１は、基準処理を行い、処理部３０１−２乃至３０１−８は、それぞれ、第１乃至第７の基準外処理を行う。この基準処理の詳細は、後述する図３１を参照して説明し、第１乃至第７の基準外処理の詳細は、後述する図３２を参照して説明する。
【０２５２】
ステップＳ２５２において、合成部３０２−１は、書き換え部３２４−１から供給されるスライスデータのデータ部と選択部３２２−２から供給されるスライスデータのデータ部を水平方向に多重化し、スライスヘッダを付加して、スライスデータを生成する。合成部３０２−１は、生成されたスライスデータを切替部３０３に供給する。
【０２５３】
同様に、合成部３０２−２は、書き換え部３２４−３から供給されるスライスデータと選択部３２２−４から供給されるスライスデータからスライスデータを生成し、切替部３０３に供給する。合成部３０２−３は、書き換え部３２４−５から供給されるスライスデータと選択部３２２−６から供給されるスライスデータからスライスデータを生成し、切替部３０３に供給する。合成部３０２−４は、書き換え部３２４−７から供給されるスライスデータと選択部３２２−８から供給されるスライスデータからスライスデータを生成し、切替部３０３に供給する。
【０２５４】
ステップＳ２５３において、切替部３０３は、書き換え部３２４−１から供給されるSPS,PPS、およびデリミタ、書き換え部３２４−５から供給されるデリミタ、並びに合成部３０２−１乃至３０２−４から供給されるスライスデータを順に出力する出力処理を行う。この出力処理の詳細は、後述する図３３を参照して説明する。
【０２５５】
ステップＳ２５４において、切替部３０３は、基準ストリームと７つの基準外ストリームが供給されなくなったかどうかを判定する。ステップＳ２５４で基準ストリームと７つの基準外ストリームが供給されなくなっていない場合、処理はステップＳ２５１に戻り、ステップＳ２５１乃至Ｓ２５４の処理が繰り返される。
【０２５６】
一方、ステップＳ２５４で基準ストリームと７つの基準外ストリームが供給されなくなったと判定された場合、処理は終了する。
【０２５７】
図３１は、図３０のステップＳ２５１の基準処理の詳細を説明するフローチャートである。
【０２５８】
図３１のステップＳ２７１乃至Ｓ２７５の処理は、図６のステップＳ３１乃至Ｓ３５の処理と同様であるので、説明は省略する。
【０２５９】
ステップＳ２７６において、解析部３２３−１は、復号部３２１−１から供給されるスライスデータに含まれるスライスヘッダを解析し、そのスライスヘッダに含まれるフレーム番号，POC情報、および参照ピクチャ変更情報を取得する。また、解析部３２３−１は、処理部３０１−３の解析部３２３−３から基準外ストリームのフレーム番号とPOC情報を取得する。
【０２６０】
ステップＳ２７７において、解析部３２３−１は、基準ストリームと基準外ストリームのフレーム番号に基づいて、基準ストリームと基準外ストリームに共通のフレーム番号を決定し、基準ストリームと基準外ストリームのPOC情報に基づいて、共通のPOC情報を決定する。
【０２６１】
そして、解析部３２３−１は、共通のフレーム番号およびPOC情報、並びに参照ピクチャ変更情報のそれぞれ、マルチストリームに用いられる符号化ストリームの数、PPSで特定される参照ピクチャ等に基づいて、マルチストリームにおけるフレーム番号、POC情報、参照ピクチャ変更情報をそれぞれ決定する。解析部８３は、共通のフレーム番号とPOC情報を解析部３２３−３に供給し、マルチストリームにおけるフレーム番号、POC情報、および参照ピクチャ変更情報を、書き換え部３２４−１に供給する。
【０２６２】
ステップＳ２７８において、書き換え部３２４−１は、選択部３２２−１から供給されるスライスデータのスライスヘッダに含まれるフレーム番号、POC情報、および参照ピクチャ変更情報を、解析部３２３−１から供給されるフレーム番号、POC情報、および参照ピクチャ変更情報に書き換える。書き換え部３２４−１は、書き換えられたスライスデータを合成部３０２−１に供給する。
【０２６３】
ステップＳ２７９において、書き換え部３２４−１は、有効データとしてのステップＳ２７８で書き換えられたスライスデータを合成部３０２−１に供給し、処理を終了する。
【０２６４】
一方、ステップＳ２７５で、ステップＳ２７２で抽出されたデータはスライスデータではないと判定された場合、処理は、ステップＳ２８０に進む。ステップＳ２８０において、書き換え部３２４−１は、選択部３２２−１から有効データとして供給されるSPS,PPS、またはデリミタを切替部３０３に供給し、処理を終了する。
【０２６５】
図３０のステップＳ２５１の第１の基準外処理、第３の基準外処理、第５の基準外処理、および第７の基準外処理は、図２４の基準外処理と同様であるので、説明は省略する。
【０２６６】
図３２は、図３０のステップＳ２５１の第２の基準外処理の詳細を説明するフローチャートである。
【０２６７】
図３２のステップＳ２９１乃至Ｓ２９５の処理は、図７のステップＳ５１乃至Ｓ５５の処理と同様であるので、説明は省略する。
【０２６８】
ステップＳ２９６において、解析部３２３−３は、復号部３２１−３から供給されるスライスデータに含まれるスライスヘッダを解析して、そのスライスヘッダに含まれるフレーム番号、POC情報、参照ピクチャ変更情報、および先頭マクロ情報を取得する。また、解析部３２３−３は、フレーム番号とPOC情報を処理部３０１−１の解析部３２３−１に供給し、これにより、解析部３２３−１から共通のフレーム番号とPOC情報を取得する。
【０２６９】
ステップＳ２９７において、解析部３２３−３は、基準外ストリームの先頭マクロ情報に基づいてマルチストリームにおける先頭マクロ情報を決定する。また、解析部３２３−３は、参照ピクチャ変更情報、マルチストリームに用いられる符号化ストリームの数、PPSで特定される参照ピクチャ等に基づいて、マルチストリームにおける参照ピクチャ変更情報を決定する。解析部３２３−３は、共通のフレーム番号およびPOC情報、先頭マクロ情報、並びに参照ピクチャ変更情報を、書き換え部３２４−３に供給する。
【０２７０】
ステップＳ２９８において、書き換え部３２４−３は、選択部３２２−３から供給されるスライスデータのスライスヘッダに含まれるフレーム番号、POC情報、参照ピクチャ変更情報、および先頭マクロ情報を、解析部３２３−３から供給される共通のフレーム番号およびPOC情報、参照ピクチャ変更情報、並びに先頭マクロ情報に書き換える。
【０２７１】
ステップＳ２９９において、書き換え部３２４−３は、有効データとしての書き換えられたスライスデータを合成部３０２−２に出力する。そして、処理は終了する。
【０２７２】
一方、ステップＳ２９４で復号部３２１−３から供給されるデータがスライスデータではないと判定された場合、処理は終了する。
【０２７３】
図３０のステップＳ２５１の第４の基準外処理は、図３２の第２の基準外処理のステップＳ２９４でスライスデータではないと判定された場合、さらにデリミタであるかどうかが判定され、デリミタである場合有効データとして選択され、ステップＳ２９９の処理に進む点、および、先頭マクロ情報が決定されず、書き換えられない点を除いて、図３２の第２の基準外処理と同様である。また、ステップＳ２５１の第６の基準外処理は、図３２の第２の基準外処理と同様であるので、説明は省略する。
【０２７４】
図３３は、図３０のステップＳ２５３の出力処理の詳細を説明するフローチャートである。
【０２７５】
図３３のステップＳ３１１乃至ステップＳ３１４の処理は、図８のステップＳ７１乃至Ｓ７４の処理と同様であるので、説明は省略する。
【０２７６】
ステップＳ３１３で基準ストリームのPPSが供給されていないと判定された場合、ステップＳ３１５において、切替部３０３は、合成部３０２−１からスライスデータが供給されたかどうかを判定する。
【０２７７】
ステップＳ３１５で合成部３０２−１からスライスデータが供給されたと判定された場合、ステップＳ３１６において、切替部３０３は、そのスライスデータをマルチストリームとして出力する。
【０２７８】
ステップＳ３１７において、切替部３０３は、合成部３０２−２からスライスデータが供給されたかどうかを判定する。
【０２７９】
ステップＳ３１７で合成部３０２−２からスライスデータが供給されていないと判定された場合、切替部３０３は、合成部３０２−２からスライスデータが供給されるまで待機する。
【０２８０】
一方、ステップＳ３１７で合成部３０２−２からスライスデータが供給されたと判定された場合、ステップＳ３１８において、切替部３０３は、そのスライスデータをマルチストリームとして出力する。そして、処理は、図３０のステップＳ２５３の処理に戻り、ステップＳ２５４に進む。
【０２８１】
また、ステップＳ３１５で合成部３０２−１からスライスデータが供給されていないと判定された場合、処理はステップＳ３１９に進み、図８のステップＳ７９の処理と同様の処理が行われる。そして、ステップＳ３２０において、図８のステップＳ８０の処理と同様の処理が行われる。
【０２８２】
ステップＳ３２１において、切替部３０３は、合成部３０２−３からスライスデータが供給されたかどうかを判定する。ステップＳ３２１で合成部３０２−３からスライスデータが供給されていないと判定された場合、切替部３０３は、合成部３０２−３からスライスデータが供給されるまで待機する。
【０２８３】
一方、ステップＳ３２１で合成部３０２−３からスライスデータが供給されたと判定された場合、ステップＳ３２２において、切替部３０３は、そのスライスデータをマルチストリームとして出力する。
【０２８４】
ステップＳ３２３において、切替部３０３は、合成部３０２−４からスライスデータが供給されたかどうかを判定する。ステップＳ３２３で合成部３０２−４からスライスデータが供給されていないと判定された場合、切替部３０３は、合成部３０２−４からスライスデータが供給されるまで待機する。
【０２８５】
一方、ステップＳ３２３で合成部３０２−４からスライスデータが供給されたと判定された場合、ステップＳ３２４において、切替部３０３は、そのスライスデータをマルチストリームとして出力する。
【０２８６】
ステップＳ３２５において、切替部３０３は、処理部３０１−５の書き換え部３２４−５から基準外ストリームのデリミタが供給されたかどうかを判定する。ステップＳ３２５で書き換え部３２４−５から基準外ストリームのデリミタが供給されていないと判定された場合、切替部３０３は、書き換え部３２４−５から基準外ストリームのデリミタが供給されるまで待機する。
【０２８７】
一方、ステップＳ３２５で基準外ストリームのデリミタが供給されたと判定された場合、ステップＳ３２６において、その基準外ストリームのデリミタをマルチストリームとして出力する。そして、処理は、ステップＳ２５３の処理に戻り、ステップＳ２５４に進む。
【０２８８】
以上のように、画像処理装置２８２は、マルチストリームの復号の結果得られる複数の画像ファイルの画像データを、垂直方向、時間方向、および水平方向に分割してダミー画像の画像データを削除し、各画像ファイルの画像データとする処理に対応する方法として、基準ストリームと基準外ストリームに含まれるスライスデータを水平方向、垂直方向、および時間方向に多重化する方法で、マルチストリームを生成する。これにより、基準ストリームと基準外ストリームのスライスデータのデータ部を合成し、スライスヘッダを付加するだけでマルチストリームを生成することができる。
【０２８９】
なお、第４実施の形態においても、第１実施の形態と同様に、基準ストリームと基準外ストリームのSPSとPPSが同一であるという制約が課されないようにしてもよい。
【０２９０】
また、デコーダの性能や仕様が明らかであれば一時的に生成されるマルチストリームが必ずしもHRD(Hypothetical Reference Decoder)コンフォーマンスを満たす必要がないため、第１乃至第４実施の形態では、HRDコンフォーマンスをとるための処理は行われていない。しかしながら、マルチストリームがHRDコンフォーマンスを満たす必要がある場合、マルチストリームのBuffering Period SEIとPicture Timing SEIのシンタックスを更新すればよい。
【０２９１】
さらに、マルチストリームを復号する復号装置は、モバイル端末のほか、１つの符号化ストリームを復号可能なＣＥ（Consumer Electronics）機器等であってもよい。
【０２９２】
＜第５実施の形態＞
＜本技術を適用したコンピュータの説明＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２９３】
図３４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２９４】
コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
【０２９５】
バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。
【０２９６】
入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。
【０２９７】
以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
【０２９８】
コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２９９】
コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。
【０３００】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３０１】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３０２】
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３０３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３０４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３０５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３０６】
また、第１乃至第３実施の形態のうちのいずれか２つを組み合わせるようにすることもできる。さらに、後処理部３２（１２１，２２１，２９１）は、各画像ファイルの画像データに対してエフェクト、トランジション、回転等の処理を施すようにしてもよい。
【０３０７】
なお、本技術は、以下のような構成もとることができる。
【０３０８】
（１）
複数の画像それぞれの符号化ストリームから生成された前記複数の画像の１つの符号化ストリームである合成ストリームの復号後に行われる処理に対応する方法で、前記複数の画像それぞれの符号化ストリームから合成ストリームを生成する生成部
を備える画像処理装置。
（２）
前記生成部は、前記合成ストリームの復号の結果得られる前記複数の画像を時間方向に分割して各符号化ストリームの画像とする前記処理に対応する方法として、前記符号化ストリームに含まれる前記画像の符号化データを時間方向に多重化する方法で、前記合成ストリームを生成する
前記（１）に記載の画像処理装置。
（３）
前記生成部は、前記符号化データを時間方向に多重化し、前記符号化データに付加されたヘッダを変更する方法で、前記合成ストリームを生成する
前記（２）に記載の画像処理装置。
（４）
前記生成部は、前記合成ストリームの復号の結果得られる前記複数の画像を垂直方向に分割して各符号化ストリームの画像とする前記処理に対応する方法として、前記符号化ストリームに含まれる前記画像の符号化データを垂直方向に多重化する方法で、前記合成ストリームを生成する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記生成部は、前記符号化データを垂直方向に多重化し、前記符号化データに付加されたヘッダを変更する方法で、前記合成ストリームを生成する
前記（４）に記載の画像処理装置。
（６）
前記生成部は、前記複数の画像それぞれの前記符号化ストリームに含まれるスライス単位の前記符号化データを、前記合成ストリームに含まれる１つのピクチャのスライス単位の符号化データとして生成する方法で、前記合成ストリームを生成する
前記（４）または（５）に記載の画像処理装置。
（７）
前記符号化ストリームは、ダミー画像が付加された前記画像の符号化ストリームであり、
前記生成部は、前記合成ストリームの復号の結果得られる前記複数の画像を水平方向に分割して前記ダミー画像を削除し、各符号化ストリームの画像とする前記処理に対応する方法として、前記符号化ストリームに含まれる前記ダミー画像が付加された前記画像の符号化データを水平方向に多重化する方法で、前記合成ストリームを生成する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記ダミー画像は、前記画像の水平方向の両端に付加される
前記（７）に記載の画像処理装置。
（９）
前記符号化ストリームは、前記ダミー画像の量子化パラメータが一定値となるように符号化された符号化ストリームである
前記（７）に記載の画像処理装置。
（１０）
画像処理装置が、
複数の画像それぞれの符号化ストリームから生成された前記複数の画像の１つの符号化ストリームである合成ストリームの復号後に行われる処理に対応する方法で、前記複数の画像それぞれの符号化ストリームから合成ストリームを生成する生成ステップ
を含む画像処理方法。
（１１）
コンピュータを、
複数の画像それぞれの符号化ストリームから生成された前記複数の画像の１つの符号化ストリームである合成ストリームの復号後に行われる処理に対応する方法で、前記複数の画像それぞれの符号化ストリームから合成ストリームを生成する生成部
として機能させるためのプログラム。
【符号の説明】
【０３０９】
１２  画像処理装置，  １０１  画像処理装置，  ２０２  画像処理装置，  ２８２  画像処理装置
【図１】
2014103568.tif 000003
【図２】
2014103568.tif 000004
【図３】
2014103568.tif 000005
【図４】
2014103568.tif 000006
【図５】
2014103568.tif 000007
【図６】
2014103568.tif 000008
【図７】
2014103568.tif 000009
【図８】
2014103568.tif 000010
【図９】
2014103568.tif 000011
【図１０】
2014103568.tif 000012
【図１１】
2014103568.tif 000013
【図１２】
2014103568.tif 000014
【図１３】
2014103568.tif 000015
【図１４】
2014103568.tif 000016
【図１５】
2014103568.tif 000017
【図１６】
2014103568.tif 000018
【図１７】
2014103568.tif 000019
【図１８】
2014103568.tif 000020
【図１９】
2014103568.tif 000021
【図２０】
2014103568.tif 000022
【図２１】
2014103568.tif 000023
【図２２】
2014103568.tif 000024
【図２３】
2014103568.tif 000025
【図２４】
2014103568.tif 000026
【図２５】
2014103568.tif 000027
【図２６】
2014103568.tif 000028
【図２７】
2014103568.tif 000029
【図２８】
2014103568.tif 000030
【図２９】
2014103568.tif 000031
【図３０】
2014103568.tif 000032
【図３１】
2014103568.tif 000033
【図３２】
2014103568.tif 000034
【図３３】
2014103568.tif 000035
【図３４】
2014103568.tif 000036