(57)【要約】【課題】画像の符号化をより容易に行うことができるようにする。【解決手段】本開示の画像処理装置は、画像データの各ピクチャを複数系統に振り分ける振り分け部と、それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化してストリームを生成する複数の符号化部と、前記複数の符号化部により生成された各系統のストリームを合成する合成部とを備え、前記符号化部は、前記合成部により合成されたストリームが正常なものとなるように、ストリームのヘッダ情報を生成する。本開示は画像処理装置に適用することができる。【選択図】図２
2015005939.tif 000002
【特許請求の範囲】
【請求項１】
画像データの各ピクチャを複数系統に振り分ける振り分け部と、
それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化してストリームを生成する複数の符号化部と、
前記複数の符号化部により生成された各系統のストリームを合成する合成部と
を備え、
前記符号化部は、前記合成部により合成されたストリームが正常なものとなるように、ストリームのヘッダ情報を生成する
画像処理装置。
【請求項２】
前記符号化部は、合成後のストリームにおいて、ピクチャおよび参照ピクチャに関する情報が正常なものとなるように、前記ヘッダ情報を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記符号化部は、合成後のストリームにおいて、参照ピクチャリストでの参照インデックスの最大値を規定するシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
請求項２に記載の画像処理装置。
【請求項４】
前記符号化部は、合成後のストリームにおいて、符号化ピクチャバッファからの読み出し時刻に関するシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
請求項２に記載の画像処理装置。
【請求項５】
前記符号化部は、合成後のストリームにおいて、ショートターム参照ピクチャの識別子として使用されるシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
請求項２に記載の画像処理装置。
【請求項６】
前記符号化部は、合成後のストリームにおいて、POC（Picture Order Count）の計算に使用されるシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
請求項２に記載の画像処理装置。
【請求項７】
前記符号化部は、合成後のストリームにおいて、参照ピクチャリストの最大参照インデックス値を示すシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
請求項２に記載の画像処理装置。
【請求項８】
前記符号化部は、合成後のストリームにおいて、参照ピクチャリストの並び替えに関するフラグ情報の値が正常な値となるように、前記ヘッダ情報を生成する
請求項２に記載の画像処理装置。
【請求項９】
前記符号化部は、合成後のストリームにおいて、参照ピクチャリストの並び替えの制御に関するシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
請求項２に記載の画像処理装置。
【請求項１０】
前記符号化部は、合成後のストリームにおいて、参照ピクチャリストのカレントインデックスに移動されたピクチャのピクチャ番号と、ピクチャ番号の予測値との間の差の絶対値を示すシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
請求項２に記載の画像処理装置。
【請求項１１】
各符号化部は、自身の系統のピクチャをGOP（Group Of Picture）構造に従って符号化し、
前記合成部は、各系統のストリームを、前記振り分け部が振り分ける前の画像データにおけるGOP構造に従って合成する
請求項１に記載の画像処理装置。
【請求項１２】
前記符号化部は、自身の系統においてGOPの先頭であって、前記振り分け部が振り分ける前の画像データにおいてGOPの先頭でないピクチャを、全てイントラマクロブロックで構成されるＰピクチャとして符号化する
請求項１１に記載の画像処理装置。
【請求項１３】
画像データの各ピクチャを複数系統に振り分け、
振り分けられた各系統のピクチャをそれぞれ符号化して各系統のストリームを生成し、
その各系統の符号化において、合成後のストリームが正常なものとなるように、ストリームのヘッダ情報を生成し、
生成された各系統のストリームを合成する
画像処理方法。
【請求項１４】
コンピュータに、
画像データの各ピクチャを複数系統に振り分け、
振り分けられた各系統のピクチャをそれぞれ符号化して各系統のストリームを生成し、
その各系統の符号化において、合成後のストリームが正常なものとなるように、ストリームのヘッダ情報を生成し、
生成された各系統のストリームを合成する
処理を実行させるためのプログラム。
【請求項１５】
被写体を撮像する撮像部と、
前記撮像部が前記被写体を撮像して得られた画像データの各ピクチャを複数系統に振り分ける振り分け部と、
それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化してストリームを生成する複数の符号化部と、
前記複数の符号化部により生成された各系統のストリームを合成する合成部と
を備え、
前記符号化部は、前記合成部により合成されたストリームが正常なものとなるように、ストリームのヘッダ情報を生成する
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法、プログラム、並びに撮像装置に関し、特に、画像の符号化をより容易に行うことができるようにした画像処理装置および方法、プログラム、並びに撮像装置に関する。
【背景技術】
【０００２】
従来、動画像の符号化において、複数のエンコーダを用い、例えばピクチャ単位で並列処理する方法があった（例えば、特許文献１および特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−６６８５１号公報
【特許文献２】特開２０１１−２１１４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法では、各符号化を並列に実行するために煩雑な制御が必要になる恐れがあった。
【０００５】
本開示は、このような状況に鑑みて提案されたものであり、画像の符号化をより容易に行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一側面は、画像データの各ピクチャを複数系統に振り分ける振り分け部と、それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化してストリームを生成する複数の符号化部と、前記複数の符号化部により生成された各系統のストリームを合成する合成部とを備え、前記符号化部は、前記合成部により合成されたストリームが正常なものとなるように、ストリームのヘッダ情報を生成する画像処理装置である。
【０００７】
前記符号化部は、合成後のストリームにおいて、ピクチャおよび参照ピクチャに関する情報が正常なものとなるように、前記ヘッダ情報を生成することができる。
【０００８】
前記符号化部は、合成後のストリームにおいて、参照ピクチャリストでの参照インデックスの最大値を規定するシンタクスの値が正常な値となるように、前記ヘッダ情報を生成することができる。
【０００９】
前記符号化部は、合成後のストリームにおいて、符号化ピクチャバッファからの読み出し時刻に関するシンタクスの値が正常な値となるように、前記ヘッダ情報を生成することができる。
【００１０】
前記符号化部は、合成後のストリームにおいて、ショートターム参照ピクチャの識別子として使用されるシンタクスの値が正常な値となるように、前記ヘッダ情報を生成することができる。
【００１１】
前記符号化部は、合成後のストリームにおいて、POC（Picture Order Count）の計算に使用されるシンタクスの値が正常な値となるように、前記ヘッダ情報を生成することができる。
【００１２】
前記符号化部は、合成後のストリームにおいて、参照ピクチャリストの最大参照インデックス値を示すシンタクスの値が正常な値となるように、前記ヘッダ情報を生成することができる。
【００１３】
前記符号化部は、合成後のストリームにおいて、参照ピクチャリストの並び替えに関するフラグ情報の値が正常な値となるように、前記ヘッダ情報を生成することができる。
【００１４】
前記符号化部は、合成後のストリームにおいて、参照ピクチャリストの並び替えの制御に関するシンタクスの値が正常な値となるように、前記ヘッダ情報を生成することができる。
【００１５】
前記符号化部は、合成後のストリームにおいて、参照ピクチャリストのカレントインデックスに移動されたピクチャのピクチャ番号と、ピクチャ番号の予測値との間の差の絶対値を示すシンタクスの値が正常な値となるように、前記ヘッダ情報を生成することができる。
【００１６】
各符号化部は、自身の系統のピクチャをGOP（Group Of Picture）構造に従って符号化し、前記合成部は、各系統のストリームを、前記振り分け部が振り分ける前の画像データにおけるGOP構造に従って合成することができる。
【００１７】
前記符号化部は、自身の系統においてGOPの先頭であって、前記振り分け部が振り分ける前の画像データにおいてGOPの先頭でないピクチャを、全てイントラマクロブロックで構成されるＰピクチャとして符号化することができる。
【００１８】
本開示の一側面は、また、画像データの各ピクチャを複数系統に振り分け、振り分けられた各系統のピクチャをそれぞれ符号化して各系統のストリームを生成し、その各系統の符号化において、合成後のストリームが正常なものとなるように、ストリームのヘッダ情報を生成し、生成された各系統のストリームを合成する画像処理方法である。
【００１９】
本開示の一側面は、さらに、コンピュータに、画像データの各ピクチャを複数系統に振り分け、振り分けられた各系統のピクチャをそれぞれ符号化して各系統のストリームを生成し、その各系統の符号化において、合成後のストリームが正常なものとなるように、ストリームのヘッダ情報を生成し、生成された各系統のストリームを合成する処理を実行させるためのプログラムである。
【００２０】
本開示の他の側面は、被写体を撮像する撮像部と、前記撮像部が前記被写体を撮像して得られた画像データの各ピクチャを複数系統に振り分ける振り分け部と、それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化してストリームを生成する複数の符号化部と、前記複数の符号化部により生成された各系統のストリームを合成する合成部とを備え、前記符号化部は、前記合成部により合成されたストリームが正常なものとなるように、ストリームのヘッダ情報を生成する撮像装置である。
【００２１】
本開示の一側面においては、画像データの各ピクチャが複数系統に振り分けられ、振り分けられた各系統のピクチャがそれぞれ符号化されて各系統のストリームが生成され、その各系統の符号化において、合成後のストリームが正常なものとなるように、ストリームのヘッダ情報が生成され、生成された各系統のストリームが合成される。
【００２２】
本開示の他の側面においては、被写体が撮像され、被写体が撮像されて得られた画像データの各ピクチャが複数系統に振り分けられ、振り分けられた各系統のピクチャがそれぞれ符号化されて各系統のストリームが生成され、その各系統の符号化において、合成後のストリームが正常なものとなるように、ストリームのヘッダ情報が生成され、生成された各系統のストリームが合成される。
【発明の効果】
【００２３】
本開示によれば、画像を処理することが出来る。特に、画像の符号化による画質の低減を抑制することができる。
【図面の簡単な説明】
【００２４】
【図１】画像符号化装置の主な構成例を示すブロック図である。
【図２】画像符号化装置の他の構成例を示すブロック図である。
【図３】ストリームの合成の様子を説明する図である。
【図４】第１符号化部の主な構成例を示すブロック図である。
【図５】元画像と偶数画像の参照関係を説明する図である。
【図６】元画像と奇数画像の参照関係を説明する図である。
【図７】シンタクスの例を示す図である。
【図８】ストリームの構成例を示す図である。
【図９】並列符号化処理の流れの例を説明する図である。
【図１０】偶数画像符号化処理の流れの例を示すフローチャートである。
【図１１】ブロック符号化処理の流れの例を示すフローチャートである。
【図１２】奇数画像符号化処理の流れの例を示すフローチャートである。
【図１３】画像符号化装置の他の構成例を示すブロック図である。
【図１４】コンピュータの主な構成例を示すブロック図である。
【図１５】撮像装置の主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像符号化装置）
３．第３の実施の形態（コンピュータ）
４．第４の実施の形態（撮像装置）
【００２６】
＜１．第１の実施の形態＞
＜従来の並列画像符号化＞
従来、動画像の符号化において、複数のエンコーダを用い、例えばピクチャ単位で並列処理する方法があった（例えば、特許文献１および特許文献２参照）。
【００２７】
例えば、図１に示される画像符号化装置１０のように、画像振分部１１が入力画像を偶数画像と奇数画像に振り分け、偶数画像を第１符号化部１２が、奇数画像を第２符号化部１３が、それぞれ、互いに並列に符号化し、ストリーム合成部１４が、第１符号化部１２において生成された第１ストリームと、第２符号化部１３において生成された第２ストリームとを合成して出力ストリームを生成し、出力する。
【００２８】
その際、特許文献２に記載の方法を用いると、第１符号化部１２と第２符号化部１３（特許文献２における送信処理部１１０と受信処理部１２０）との間で、参照画像を授受する必要があり、その転送量が多くなり、容易に符号化を行うことができない恐れがあった。つまり、このような符号化を実現するために、第１符号化部１２と第２符号化部１３との間の通信路（特許文献２における通信路１４０）の帯域を多く設計する必要があり、ハードウエアコストが増大する恐れがあった。
【００２９】
また、この方法では、第１符号化部１２（特許文献２の第１LSI）による符号化処理と第２符号化部１３（特許文献２の第２LSI）による符号化処理との間で依存関係が生じてしまう恐れがあった。例えば、特許文献２の図５に示されるように、第１符号化部１２による偶数画像の符号化を行った後、チップ間転送を行い、第２符号化部１３による奇数画像の符号化を行うといった依存関係が生じる恐れがあった。このような依存関係を保つために、単に第１符号化部１２の処理と第２符号化部１３の処理とをそれぞれ制御するだけでなく、第１符号化部１２と第２符号化部１３の両方の処理を一元的に制御する必要があった。そのため煩雑な制御が必要になり、容易に符号化を行うことができない恐れがあった。また、これにより、開発コストが増大する恐れがあった。
【００３０】
＜画像符号化装置＞
そこで、並列化された各符号化部の符号化処理間の情報の授受を無くして互いの依存関係を解消し、各処理が互いに独立に行われるようにする。
【００３１】
図２は、本開示の一実施形態に係る画像符号化装置１００の構成の一例を示すブロック図である。図２に示される画像符号化装置１００は、動画像である入力画像をピクチャ毎に２系統に並列化して符号化する。
【００３２】
図２に示されるように、画像符号化装置１００は、画像振分部１０１、第１符号化部１０２、第２符号化部１０３、およびストリーム合成部１０４を有する。
【００３３】
画像振分部１０１は、入力画像を交互に２系統に振り分ける。すなわち、画像振分部１０１は、入力画像の偶数番目のピクチャ（偶数画像）を第１符号化部１０２に供給し、奇数番目のピクチャ（奇数画像）を第２符号化部１０３に供給する。なお、以下において、入力画像とは、画像符号化装置１００に入力される、画像振分部１０１が振り分ける前の状態の１系統の動画像（若しくはそのピクチャ）を指すものとする。
【００３４】
第１符号化部１０２は、供給される偶数画像群を、１系統の動画像として符号化する。例えば、第１符号化部１０２は、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等と同様のイントラ予測やインター予測等を行って予測画像を生成し、その予測画像と入力された偶数画像の差分画像に対して、直交変換や量子化等を行い、可逆符号化してストリーム（第１ストリーム）を生成する。第１符号化部１０２は、生成した第１ストリーム（偶数画像群の符号化データ）をストリーム合成部１０４に供給する。
【００３５】
第２符号化部１０３は、供給される奇数画像群に対して、第１符号化部１０２と同様の符号化を行い、第２ストリームを生成する。第２符号化部１０３は、生成した第２ストリーム（奇数画像群の符号化データ）をストリーム合成部１０４に供給する。
【００３６】
ストリーム合成部１０４は、供給された第１ストリームと第２ストリームとを合成し、１系統の出力ストリームを生成する。例えば、図３に示されるように、ストリーム合成部１０４は、第１ストリームに含まれる各偶数画像の符号化データと、第２ストリームに含まれる各奇数画像の符号化データとを交互に並べることにより、入力画像における各ピクチャの並び順に並べ替えて１系統化する。
【００３７】
その際、ストリーム合成部１０４は、第１ストリームのヘッダ情報と、第２ストリームのヘッダ情報とを適切に組み合わせ、出力ストリームのヘッダ情報を生成する。つまり、ストリーム合成部１０４は、第１ストリームと第２ストリームとを合成することにより、入力画像を並列化せずに符号化した場合と同様のストリームを生成する。ストリーム合成部１０４は、生成した出力ストリームを画像符号化装置１００の外部に出力する。
【００３８】
なお、第１符号化部１０２と第２符号化部１０３とは、互いに並列に処理を行うこともできる。つまり、例えば、第１符号化部１０２が、入力画像のあるピクチャを符号化中に、第２符号化部１０３が入力画像のその次のピクチャの符号化を行うことができる。また、例えば、第２符号化部１０３が、入力画像のあるピクチャを符号化中に、第１符号化部１０２が入力画像のその次のピクチャの符号化を行うことができる。このようにすることにより、第１符号化部１０２および第２符号化部１０３は、それぞれ、１ピクチャの符号化に２ピクチャ分の垂直同期期間を使うことができる。換言するに、第１符号化部１０２および第２符号化部１０３が１ピクチャの符号化を２ピクチャ分の垂直同期期間内に行うことにより、リアルタイム（即時的）に、すなわち、入力画像のフレームレートに対応する速度で、オーバフローせずに出力ストリームを出力することができる。
【００３９】
つまり、第１符号化部１０２および第２符号化部１０３が並列に処理を行うことができることにより、符号化処理のためにより長時間を確保することができるようになるので、画像符号化装置１００は、入力画像が例えば４Ｋ画像のようなデータ量（画素数やビット深度等）が大きなピクチャであってもリアルタイムに符号化することができる。
【００４０】
また、第１符号化部１０２と第２符号化部１０３との間の参照画像等の情報の授受が行われないようになされている。したがって、第１符号化部１０２の符号化処理と、第２符号化部１０３の符号化処理との間に依存関係が生じず、第１符号化部１０２および第２符号化部１０３は、互いに独立に処理を行うことができる。
【００４１】
＜第１符号化部＞
図４は、図２の第１符号化部１０２の主な構成例を示すブロック図である。
【００４２】
図４に示される第１符号化部１０２は、AVCやHEVCのように、予測処理を用いて画像データを符号化する。
【００４３】
図４に示されるように第１符号化部１０２は、A/D変換部１５１、画面並べ替えバッファ１５２、演算部１５３、直交変換部１５４、量子化部１５５、可逆符号化部１５６、および蓄積バッファ１５７を有する。また、第１符号化部１０２は、逆量子化部１５８、逆直交変換部１５９、演算部１６０、デブロックフィルタ１６１、フレームメモリ１６２、選択部１６３、イントラ予測部１６４、動き予測・補償部１６５、予測画像選択部１６６、およびレート制御部１６７を有する。
【００４４】
第１符号化部１０２は、さらに、ヘッダ生成部１７１およびヘッダ変換部１７２を有する。
【００４５】
A/D変換部１５１は、入力された画像データをA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１５２に供給し、記憶させる。画面並べ替えバッファ１５２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、ヘッダ生成部１７１およびヘッダ変換部１７２を介して、演算部１５３に供給する。また、画面並べ替えバッファ１５２においてフレームの順番を並び替えられた画像は、イントラ予測部１６４および動き予測・補償部１６５にも供給される。
【００４６】
演算部１５３は、画面並べ替えバッファ１５２から読み出された画像から、予測画像選択部１６６を介してイントラ予測部１６４若しくは動き予測・補償部１６５から供給される予測画像を減算し、その差分情報を直交変換部１５４に出力する。
【００４７】
例えば、イントラ符号化が行われる画像の場合、演算部１５３は、画面並べ替えバッファ１５２から読み出された画像から、イントラ予測部１６４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１５３は、画面並べ替えバッファ１５２から読み出された画像から、動き予測・補償部１６５から供給される予測画像を減算する。
【００４８】
直交変換部１５４は、演算部１５３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部１５４は、その変換係数を量子化部１５５に供給する。
【００４９】
量子化部１５５は、直交変換部１５４から供給される変換係数を量子化する。量子化部１５５は、レート制御部１６７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部１５５は、量子化された変換係数を可逆符号化部１５６に供給する。
【００５０】
可逆符号化部１５６は、量子化部１５５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１６７の制御の下で量子化されているので、この符号量は、レート制御部１６７が設定した目標値となる（若しくは目標値に近似する）。
【００５１】
また、可逆符号化部１５６は、イントラ予測のモードを示す情報などをイントラ予測部１６４から取得し、インター予測のモードを示す情報や動きベクトル情報などを動き予測・補償部１６５から取得する。さらに、可逆符号化部１５６は、デブロックフィルタ１６１において使用されたフィルタ係数等を取得することもできる。
【００５２】
可逆符号化部１５６は、これらの各種情報を任意の符号化方式で符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１５６は、符号化して得られた符号化データを蓄積バッファ１５７に供給して蓄積させる。
【００５３】
可逆符号化部１５６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
【００５４】
蓄積バッファ１５７は、可逆符号化部１５６から供給された符号化データを、一時的に保持する。蓄積バッファ１５７は、所定のタイミングにおいて、保持している符号化データを、ビットストリーム（第１ストリーム）として出力する。
【００５５】
また、量子化部１５５において量子化された変換係数は、逆量子化部１５８にも供給される。逆量子化部１５８は、その量子化された変換係数を、量子化部１５５による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部１５５による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部１５８は、得られた変換係数を、逆直交変換部１５９に供給する。
【００５６】
逆直交変換部１５９は、逆量子化部１５８から供給された変換係数を、直交変換部１５４による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部１５４による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力（復元された差分情報）は、演算部１６０に供給される。
【００５７】
演算部１６０は、逆直交変換部１５９から供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部１６６を介してイントラ予測部１６４若しくは動き予測・補償部１６５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、デブロックフィルタ１６１またはフレームメモリ１６２に供給される。
【００５８】
デブロックフィルタ１６１は、演算部１６０から供給される復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ１６１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１５６に供給し、それを符号化させるようにすることもできる。
【００５９】
デブロックフィルタ１６１は、フィルタ処理結果（フィルタ処理後の復号画像）をフレームメモリ１６２に供給する。なお、上述したように、演算部１６０から出力される復号画像は、デブロックフィルタ１６１を介さずにフレームメモリ１６２に供給することができる。つまり、デブロックフィルタ１６１によるフィルタ処理は省略することができる。
【００６０】
フレームメモリ１６２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１６３に供給する。
【００６１】
選択部１６３は、フレームメモリ１６２から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部１６３は、フレームメモリ１６２から供給される参照画像をイントラ予測部１６４に供給する。また、例えば、インター予測の場合、選択部１６３は、フレームメモリ１６２から供給される参照画像を動き予測・補償部１６５に供給する。
【００６２】
イントラ予測部１６４は、選択部１６３を介してフレームメモリ１６２から供給される参照画像であるカレントピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１６４は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。
【００６３】
イントラ予測部１６４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１５２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１６４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１６６に供給する。
【００６４】
また、上述したように、イントラ予測部１６４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１５６に供給し、符号化させる。
【００６５】
動き予測・補償部１６５は、画面並べ替えバッファ１５２から供給される入力画像と、選択部１６３を介してフレームメモリ１６２から供給される参照画像とを用いて動き予測（インター予測）を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１６５は、予め用意された複数のモード（インター予測モード）でこのようなインター予測を行う。
【００６６】
動き予測・補償部１６５は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１６５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１６６に供給する。
【００６７】
また、動き予測・補償部１６５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１５６に供給し、符号化させる。
【００６８】
予測画像選択部１６６は、演算部１５３や演算部１６０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１６６は、予測画像の供給元としてイントラ予測部１６４を選択し、そのイントラ予測部１６４から供給される予測画像を演算部１５３や演算部１６０に供給する。また、例えば、インター符号化の場合、予測画像選択部１６６は、予測画像の供給元として動き予測・補償部１６５を選択し、その動き予測・補償部１６５から供給される予測画像を演算部１５３や演算部１６０に供給する。
【００６９】
レート制御部１６７は、蓄積バッファ１５７に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５５の量子化動作のレートを制御する。
【００７０】
ヘッダ生成部１７１は、供給される偶数画像群等に基づいて、第１ストリームのヘッダ情報を生成する。つまり、ヘッダ生成部１７１は、偶数画像群の系統についてのヘッダ情報を生成する。ヘッダ生成部１７１は、その偶数画像群等を、生成したヘッダ情報とともにヘッダ変換部１７２に供給する。
【００７１】
このヘッダ情報には、奇数画像群の系統（他の系統）に関する情報は含まれない。したがって、このヘッダ情報においては、例えば、各ピクチャの番号や、情報を参照する参照ピクチャの番号等は、偶数画像のみで割り当てられている。したがってこれらの番号は、ストリーム合成部１０４による合成後の出力ストリームにおける番号と対応しない。したがって、ヘッダ生成部１７１が生成したヘッダ情報に含まれる、ピクチャや参照ピクチャの番号に関するシンタクスも、出力ストリームにおいてそのまま使用することはできない。
【００７２】
ヘッダ変換部１７２は、ヘッダ生成部１７１から供給されるヘッダ情報を、出力ストリームにおいて利用することができるように、すなわち、合成後の出力ストリームが正常なものとなるように、変換する。
【００７３】
例えば、図５に示されるように、偶数画像群の系統において番号が連続するピクチャ群は、元画像群の系統において１ピクチャ置きとなる。また、偶数画像群の系統において直前のピクチャを参照することは、元画像群の系統において２つ前のピクチャを参照することに対応する。さらに、偶数画像群の系統において２つ前のピクチャを参照することは、元画像群の系統において４つ前のピクチャを参照することに対応する。
【００７４】
ヘッダ変換部１７２は、このような元画像と偶数画像間の対応関係に従って、ヘッダ情報の、ピクチャや参照ピクチャに関する情報（例えば、ピクチャや参照ピクチャの識別に関する情報等）を更新する。ヘッダ変換部１７２は、偶数画像群を演算部１５３、イントラ予測部１６４、および動き予測・補償部１６５等に供給するとともに、情報を更新したヘッダ情報を、演算部１５３乃至量子化部１５５を介して可逆符号化部１５６に供給する。
【００７５】
可逆符号化部１５６は、供給されたヘッダ情報を、生成した符号化データ（第１ストリーム）に付加し、蓄積バッファ１５７を介してストリーム合成部１０４に出力する。
【００７６】
＜第２符号化部＞
なお、第２符号化部１０３は、偶数画像の代わりに奇数画像を符号化し、第１ストリームの代わりに第２ストリームを出力する点以外、第１符号化部１０２と同様の処理部であり、第１符号化部１０２と同様の符号化を行う。つまり、第２符号化部１０３は、第１符号化部１０２と同様の構成（図４）を有する。したがって、図４は、第２符号化部１０３の説明にも利用することができるものとする。
【００７７】
例えば、第２符号化部１０３のヘッダ生成部１７１は、供給される奇数画像群等に基づいて、第２ストリームのヘッダ情報を生成する。つまり、この場合、ヘッダ生成部１７１は、奇数画像群の系統についてのヘッダ情報を生成する。ヘッダ生成部１７１は、その奇数画像群等を、生成したヘッダ情報とともにヘッダ変換部１７２に供給する。
【００７８】
第２符号化部１０３のヘッダ変換部１７２は、ヘッダ生成部１７１から供給されるヘッダ情報を、出力ストリームにおいて利用することができるように、すなわち、合成後の出力ストリームが正常なものとなるように、変換する。
【００７９】
例えば、図６に示されるように、奇数画像群の系統において番号が連続するピクチャ群は、元画像群の系統において１ピクチャ置きとなる。また、奇数画像群の系統において直前のピクチャを参照することは、元画像群の系統において２つ前のピクチャを参照することに対応する。さらに、奇数画像群の系統において２つ前のピクチャを参照することは、元画像群の系統において４つ前のピクチャを参照することに対応する。
【００８０】
ヘッダ変換部１７２は、このような元画像と奇数画像間の対応関係に従って、ヘッダ情報の、ピクチャや参照ピクチャに関する情報（例えば、ピクチャや参照ピクチャの識別に関する情報等）を更新する。ヘッダ変換部１７２は、奇数画像群を演算部１５３、イントラ予測部１６４、および動き予測・補償部１６５等に供給するとともに、情報を更新したヘッダ情報を、演算部１５３乃至量子化部１５５を介して可逆符号化部１５６に供給する。
【００８１】
第２符号化部１０３の可逆符号化部１５６は、供給されたヘッダ情報を、生成した符号化データ（第２ストリーム）に付加し、蓄積バッファ１５７を介してストリーム合成部１０４に出力する。
【００８２】
＜ストリーム合成部＞
以上のように、ストリーム合成部１０４に供給される第１ストリームおよび第２ストリームには、出力ストリームにおいて利用可能な情報に変換されたヘッダ情報が含まれる。したがって、ストリーム合成部１０４は、この第１ストリームおよび第２ストリームに含まれるヘッダ情報に基づいて、容易に、合成後の出力ストリーム用のヘッダ情報を生成することができる。つまり、ストリーム合成部１０４は、容易に第１ストリームと第２ストリームとを合成して出力ストリームを生成することができる。
【００８３】
＜符号化処理の容易化＞
したがって、第１符号化部１０２と第２符号化部１０３は、互いに依存関係を生じずに、互いに独立に符号化処理を行うことができる。つまり、第１符号化部１０２の符号化処理と第２符号化部１０３の符号化処理とを一元的に制御する必要がない。したがって、画像符号化装置１００は、画像の符号化を、煩雑な制御なしに、より容易に行うことができる。また、これにより、開発コストの増大を抑制することができる。
【００８４】
また、第１符号化部１０２と第２符号化部１０３との間の通信路として広い帯域を確保する必要もない。したがって、ハードウエアコストの増大を抑制することができる。
【００８５】
＜更新するシンタクス＞
ヘッダ情報の変更について、より詳細に説明する。第１符号化部１０２および第２符号化部１０３のヘッダ変換部１７２は、ピクチャや参照ピクチャに関する情報として、例えば、図７に示されるようなシンタクスのパラメータを変更する。
【００８６】
図７に示されるように、ヘッダ変換部１７２は、例えば、ピクチャパラメータセット（pic_parameter_set）のnum_ref_idx_l0_active_minus1を変更する。num_ref_idx_l0_active_minus1は、num_ref_idx_active_override_flagの値が０である場合、参照ピクチャリストでの参照インデックスの最大値を規定する。この値に１を加えたものが参照インデックスの最大値となる。ヘッダ変換部１７２は、図５や図６に示される関係に基づいて、この参照ピクチャに関する情報を出力ストリームにおいて正常となるように変更する。
【００８７】
また、図７に示されるように、ヘッダ変換部１７２は、例えば、ピクチャタイミングSEI（Suplemental Enhancement Information）のcpb_removal_delayを変更する。cpb_removal_delayは、CPB（Coded Picture Buffer, 符号化ピクチャバッファ）からの読み出し時刻に関する情報であり、初期時刻情報からの遅延で表す。ヘッダ変換部１７２は、図５や図６に示される関係に基づいて、この参照ピクチャに関する情報を出力ストリームにおいて正常となるように変更する。
【００８８】
また、図７に示されるように、ヘッダ変換部１７２は、例えば、スライスヘッダ（slice header）のframe_numを変更する。frame_numは、ショートターム（Short Term）参照ピクチャの識別子として使用される。ヘッダ変換部１７２は、図５や図６に示される関係に基づいて、この参照ピクチャに関する情報を出力ストリームにおいて正常となるように変更する。
【００８９】
また、図７に示されるように、ヘッダ変換部１７２は、例えば、スライスヘッダ（slice header）のpic_order_cnt_lsbを変更する。pic_order_cnt_lsbは、ピクチャの出力順序を示す情報であるPOC（Picture Order Count）の計算に使用される。ヘッダ変換部１７２は、図５や図６に示される関係に基づいて、このピクチャに関する情報を出力ストリームにおいて正常となるように変更する。
【００９０】
また、図７に示されるように、ヘッダ変換部１７２は、例えば、スライスヘッダ（slice header）のnum_ref_idx_l0_active_minus1を変更する。num_ref_idx_l0_active_minus1は、参照ピクチャリストの最大参照インデックス値を示す。ヘッダ変換部１７２は、図５や図６に示される関係に基づいて、この参照ピクチャに関する情報を出力ストリームにおいて正常となるように変更する。
【００９１】
また、図７に示されるように、ヘッダ変換部１７２は、例えば、スライスヘッダ（slice header）のref_pic_list_reordering_flag_l0を変更する。ref_pic_list_reordering_flag_l0は、参照ピクチャリストの並び替えを行うか否かを示すフラグ情報である。値が１の場合、参照ピクチャリストの並び替えが行われる。ヘッダ変換部１７２は、図５や図６に示される関係に基づいて、この参照ピクチャリストの並び替えに関する情報を出力ストリームにおいて正常となるように変更する。
【００９２】
また、図７に示されるように、ヘッダ変換部１７２は、例えば、スライスヘッダ（slice header）のreordering_of_pic_nums_idcを変更する。reordering_of_pic_nums_idcは、どのピクチャのインデックスを並び替えるのかを指定する、参照ピクチャリストの並び替えの制御に関するシンタクスである。ヘッダ変換部１７２は、図５や図６に示される関係に基づいて、この参照ピクチャに関する情報を出力ストリームにおいて正常となるように変更する。
【００９３】
また、図７に示されるように、ヘッダ変換部１７２は、例えば、スライスヘッダ（slice header）のabs_diff_pic_num_minus1を変更する。abs_diff_pic_num_minus1は、参照ピクチャリストのカレントインデックスに移動されたピクチャのピクチャ番号と、ピクチャ番号の予測値との間の差の絶対値を示す。すなわち、abs_diff_pic_num_minus1は、カレントインデックスに指定するピクチャを指定する。ヘッダ変換部１７２は、図５や図６に示される関係に基づいて、この参照ピクチャに関する情報を出力ストリームにおいて正常となるように変更する。
【００９４】
このようにヘッダ変換部１７２が各種情報を変更することにより、第１符号化部１０２と第２符号化部１０３は、互いに独立に符号化処理を行うことができ、画像符号化装置１００は、画像の符号化をより容易に行うことができる。
【００９５】
もちろん、画像符号化装置１００が、以上に説明したもの以外のパラメータ等を変更するようにしてもよい。
【００９６】
＜GOP＞
第１符号化部１０２は、偶数画像群をGOP（Group Of Picture）構造に従って符号化し、第１ストリームを生成する。同様に、第２符号化部１０３は、奇数画像群をGOP構造に従って符号化し、第１ストリームを生成する。ストリーム合成部１０４は、出力ストリームが、入力画像をGOP構造に従って符号化して得られるストリームとなるように、第１ストリームと第２ストリームとを合成する。つまり、例えば、第１ストリームと第２ストリームは、図３に示されるように合成される。このとき、第１ストリームのGOPの先頭ピクチャが、出力ストリームにおけるGOPの先頭ピクチャとなり、第２ストリームのGOPの先頭ピクチャは、出力ストリームにおけるGOPの先頭ピクチャとならない。
【００９７】
そこで、第２符号化部１０３は、図８に示されるように、第２ストリームのGOPの先頭ピクチャを、Ｉピクチャでなく、イントラブロックのみで構成されるＰピクチャとして符号化する（図８の2(P'0)）。このようにすることにより、ストリーム合成部１０４は、容易に、出力ストリームが図８に示されるように正常なGOP構造となるように、第１ストリームと第２ストリームとを合成することができる。
【００９８】
＜処理の流れ＞
次に、このような画像符号化装置１００により実行される処理の流れについて説明する。
【００９９】
＜並列符号化処理の流れ＞
図９のフローチャートを参照して、画像符号化装置１００により実行される並列符号化処理の流れの例を説明する。
【０１００】
画像符号化装置１００の画像振分部１０１は、ステップＳ１０１において、入力画像の各ピクチャを順次、偶数画像と奇数画像に振り分ける。偶数画像に対してはステップＳ１０２の処理が行われ、奇数画像に対してはステップＳ１０３の処理が行われる。この偶数画像に対するステップＳ１０２の処理と、奇数画像に対するステップＳ１０３の処理とは、互いに並列に実行することができる。
【０１０１】
ステップＳ１０２において、第１符号化部１０２は、入力された偶数画像の各ピクチャを符号化する。ステップＳ１０２の処理が終了すると処理はステップＳ１０４に進む。また、ステップＳ１０３において、第２符号化部１０３は、入力された奇数画像の各ピクチャを符号化する。ステップＳ１０３の処理が終了すると処理はステップＳ１０４に進む。
【０１０２】
ステップＳ１０４において、ストリーム合成部１０４は、ステップＳ１０２の処理により生成される第１ストリームと、ステップＳ１０３の処理により生成される第２ストリームとを合成し、出力ストリームを生成する。なお、ストリーム合成部１０４が、供給される各ピクチャのストリームを順次合成するようにしてもよい。つまり、ステップＳ１０４の処理は、ステップＳ１０２やステップＳ１０３の処理と並行して実行されるようにしてもよい。
【０１０３】
第１ストリームと第２ストリームが全て合成され、ステップＳ１０４の処理が終了すると、並列符号化処理が終了する。
【０１０４】
＜偶数画像符号化処理の流れ＞
次に、図９のステップＳ１０２において実行される偶数画像符号化処理の流れの例を、図１０のフローチャートを参照して説明する。
【０１０５】
偶数画像符号化処理が開始されると、第１符号化部１０２のA/D変換部１５１は、ステップＳ１２１において、入力された偶数画像をA/D変換する。ステップＳ１２２において、第１符号化部１０２の画面並べ替えバッファ１５２は、A/D変換された画像を記憶し、必要に応じてピクチャを、表示する順番から符号化する順番へ並べ替える。
【０１０６】
ステップＳ１２３において、ヘッダ生成部１７１は、第１ストリーム（偶数画像）についてのヘッダ情報を生成する。ステップＳ１２４において、ヘッダ変換部１７２は、出力ストリームが正常なものとなるように、ステップＳ１２３において生成されたヘッダ情報を変換する。
【０１０７】
ステップＳ１２５において、第１符号化部１０２は、処理対象であるカレントピクチャをブロック毎に符号化する。なお、第１符号化部１０２は、各ピクチャ（各偶数画像）について、ステップＳ１２１乃至ステップＳ１２５の処理を実行する。
【０１０８】
全てのピクチャについてステップＳ１２１乃至ステップＳ１２５の処理を実行すると、偶数画像符号化処理が終了し、処理は図９に戻る。
【０１０９】
＜ブロック符号化処理の流れ＞
次に、図１０のステップＳ１２５において実行されるブロック符号化処理の流れの例を、図１１のフローチャートを参照して説明する。
【０１１０】
ブロック符号化処理が開始されると、イントラ予測部１６４は、ステップＳ１４１において、イントラ予測モードのイントラ予測処理を行う。ステップＳ１４２において、動き予測・補償部１６５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。
【０１１１】
ステップＳ１４３において、予測画像選択部１６６は、イントラ予測部１６４および動き予測・補償部１６５から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、予測画像選択部１６６は、イントラ予測部１６４により生成された予測画像と、動き予測・補償部１６５により生成された予測画像のいずれか一方を選択する。
【０１１２】
ステップＳ１４４において、演算部１５３は、並び替えられた画像と、ステップＳ１４３の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
【０１１３】
ステップＳ１４５において、直交変換部１５４は、ステップＳ１４４の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１４６において、量子化部１５５は、ステップＳ１４５の処理により得られた直交変換係数を量子化する。
【０１１４】
ステップＳ１４６の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１４７において、逆量子化部１５８はステップＳ１４６の処理により量子化された直交変換係数を、ステップＳ１４６の量子化に対応する方法で逆量子化する。ステップＳ１４８において、逆直交変換部１５９は、ステップＳ１４７の処理により得られた直交変換係数を、ステップＳ１４５の処理に対応する方法で逆直交変換する。
【０１１５】
ステップＳ１４９において、演算部１６０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１５３への入力に対応する画像）を生成する。ステップＳ１５０において、デブロックフィルタ１６１は、ステップＳ１４９の処理により生成された画像に対してデブロックフィルタ処理を行う。これによりブロック歪み等が除去される。
【０１１６】
ステップＳ１５１において、フレームメモリ１６２は、ステップＳ１５０の処理によりブロック歪みの除去等が行われた画像を記憶する。なお、フレームメモリ１６２にはデブロックフィルタ１６１によりフィルタ処理されていない画像も演算部１６０から供給され、記憶される。このフレームメモリ１６２に記憶された画像は、ステップＳ１４１の処理やステップＳ１４２の処理に利用される。
【０１１７】
ステップＳ１５２おいて、可逆符号化部１５６は、ステップＳ１４６の処理により量子化された変換係数を符号化し、符号化データを生成する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
【０１１８】
なお、可逆符号化部１５６は、図１０のステップＳ１２３において生成され、ステップＳ１２４において変換されたヘッダ情報を符号化データに付加する。
【０１１９】
また、可逆符号化部１５６は、ステップＳ１４３の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。例えば、イントラ予測モードが選択された場合、可逆符号化部１５６は、イントラ予測モード情報を符号化する。また、例えば、インター予測モードが選択された場合、可逆符号化部１５６は、インター予測モード情報を符号化する。これらの情報は、例えばヘッダ情報等として符号化データに付加（多重化）される。
【０１２０】
ステップＳ１５３において蓄積バッファ１５７は、ステップＳ１５２の処理により生成された符号化データを蓄積する。蓄積バッファ１５７に蓄積された符号化データは、適宜読み出され、第１ストリームとして、ストリーム合成部１０４に出力される。
【０１２１】
ステップＳ１５４においてレート制御部１６７は、ステップＳ１５３の処理により蓄積バッファ１５７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５５の量子化動作のレートを制御する。
【０１２２】
第１符号化部１０２は、以上のような一連の処理を、カレントピクチャの各ブロックについて実行する。このようにしてピクチャ全体が符号化されると、符号化処理が終了し、処理は図１０に戻る。
【０１２３】
＜奇数画像符号化処理の流れ＞
次に、図９のステップＳ１０３において実行される奇数画像符号化処理の流れの例を、図１２のフローチャートを参照して説明する。
【０１２４】
奇数画像符号化処理が開始されると、第２符号化部１０３のA/D変換部１５１は、ステップＳ１７１において、入力された奇数画像をA/D変換する。ステップＳ１７２において、第２符号化部１０３の画面並べ替えバッファ１５２は、A/D変換された画像を記憶し、必要に応じてピクチャを、表示する順番から符号化する順番へ並べ替える。
【０１２５】
ステップＳ１７３において、第２符号化部１０３は、処理対象であるカレントピクチャが、GOPの先頭ピクチャであるか否かを判定する。先頭ピクチャでないと判定された場合、処理はステップＳ１７４に進む。
【０１２６】
ステップＳ１７４において、第２符号化部１０３のヘッダ生成部１７１は、第２ストリーム（奇数画像）についてのヘッダ情報を生成する。ステップＳ１７５において、第２符号化部１０３のヘッダ変換部１７２は、出力ストリームが正常なものとなるように、ステップＳ１７４において生成されたヘッダ情報を変換する。
【０１２７】
ステップＳ１７６において、第２符号化部１０３は、処理対象であるカレントピクチャをブロック毎に符号化する。第２符号化部１０３は、奇数画像のカレントピクチャに対して、図１１のフローチャートと基本的に同様のブロック符号化処理を行い、第２ストリームを出力する。
【０１２８】
また、ステップＳ１７３において、処理対象であるカレントピクチャが、GOPの先頭ピクチャであると判定された場合、処理はステップＳ１７７に進む。ステップＳ１７７において、第２符号化部１０３は、カレントブロックを、全てイントラマクロブロックで構成されるＰピクチャとして符号化する。つまり、第２符号化部１０３は、全てのブロックについて、ステップＳ１７４と同様の処理を行って、第２ストリーム（奇数画像）についてのヘッダ情報を生成し、ステップＳ１７５と同様の処理を行って、出力ストリームが正常なものとなるように、生成されたヘッダ情報を変換する。そして、第２符号化部１０３は、イントラ予測により予測画像を生成し、その予測画像の生成以外は図１１のフローチャートと基本的に同様のブロック符号化処理を行い、第２ストリームを出力する。第２符号化部１０３は、カレントピクチャの全てのブロックをこのようにイントラ予測を用いて符号化する。GOPの先頭ピクチャの符号化が終了すると、ステップＳ１７７の処理が終了する。
【０１２９】
第２符号化部１０３は、各ピクチャ（各奇数画像）について、上述したような一連の処理を実行する。全てのピクチャについて一連の処理が実行されると、奇数画像符号化処理が終了し、処理は図９に戻る。
【０１３０】
以上のように各処理を実行することにより、画像符号化装置１００は、画像の符号化をより容易に行うことができる。
【０１３１】
＜２．第２の実施の形態＞
＜画像符号化装置＞
以上においては、入力画像を偶数画像と奇数画像の２系統に振り分ける場合について説明したが、入力画像は、任意の数の系統に振り分けることができる。すなわち、入力画像を３系統以上に振り分けるようにしてもよい。つまり、互いに並列かつ独立に符号化を行う符号化部の数は、２つに限らず任意であり、例えば３つ以上であってもよい。
【０１３２】
例えば、図１３に示される画像符号化装置２００は、画像振分部２０１、Ｎ（Ｎは３以上の整数）個の符号化部（第１符号化部２０２−１、第２符号化部２０２−２、・・・、第Ｎ符号化部２０２−Ｎ）、並びにストリーム合成部２０４を有する。
【０１３３】
画像振分部２０１は、入力画像の各ピクチャを順次、第１符号化部２０２−１乃至第Ｎ符号化部２０２−Ｎのいずれかに振り分け、供給する（Ｎ系統に振り分ける）。例えば、画像振分部２０１は、入力画像の０番目のピクチャを第１符号化部２０２−１に供給し、入力画像の１番目のピクチャを第２符号化部２０２−２に供給し、・・・、入力画像の（Ｎ−１）番目のピクチャを第Ｎ符号化部２０２−Ｎに供給する。そして、画像振分部２０１は、その次のＮ番目のピクチャを第１符号化部２０２−１に供給する。以下、同様に振り分けを行う。
【０１３４】
第１符号化部２０２−１乃至第Ｎ符号化部２０２−Ｎは、画像符号化装置１００の第１符号化部１０２および第２符号化部１０３と同様に、互いに独立に、並行して符号化を行うことができる。例えば、第１符号化部２０２−１は、画像振分部２０１から供給される１番目の系統の各ピクチャを符号化し、第１ストリームを生成する。また、例えば、第１符号化部２０２−２は、画像振分部２０１から供給される２番目の系統の各ピクチャを符号化し、第２ストリームを生成する。さらに、例えば、第Ｎ符号化部２０２−Ｎは、画像振分部２０１から供給されるＮ番目の系統の各ピクチャを符号化し、第Ｎストリームを生成する。第１ストリーム乃至第Ｎストリームは、ストリーム合成部２０４に供給される。
【０１３５】
ストリーム合成部２０４は、供給される第１ストリーム乃至第Ｎストリームを合成し、出力ストリームを生成し、出力する。
【０１３６】
この場合も、第１符号化部２０２−１乃至第Ｎ符号化部２０２−Ｎは、画像符号化装置１００の第１符号化部１０２および第２符号化部１０３と同様に、符号化部間での情報の授受は行わずに符号化を行う。また、第１符号化部２０２−１乃至第Ｎ符号化部２０２−Ｎは、各ストリームのヘッダ情報を生成し、さらに、出力ストリームが正常なものとなるようにそのヘッダ情報を変換する。このようにすることにより、画像符号化装置２００は、画像符号化装置１００の場合と同様に、画像の符号化をより容易に行うことができる。
【０１３７】
さらに、第１符号化部２０２−１乃至第Ｎ符号化部２０２−Ｎは、その系統においてGOPの先頭ピクチャであるが、入力画像（出力ストリーム）におけるGOPの先頭ピクチャではないピクチャを、全てイントラマクロブロックで構成されるＰピクチャとして符号化する。例えば、第１符号化部２０２−１のみが、入力画像（出力ストリーム）におけるGOPの先頭ピクチャを符号化する場合、第１符号化部２０２−１は、入力画像（出力ストリーム）におけるGOPの先頭ピクチャを、Ｉピクチャとして符号化する。これに対して、第２符号化部２０２−２乃至乃至第Ｎ符号化部２０２−Ｎは、その系統においてGOPの先頭ピクチャを、全てイントラマクロブロックで構成されるＰピクチャとして符号化する。このようにすることにより、画像符号化装置２００のストリーム合成部２０４は、画像符号化装置１００のストリーム合成部１０４の場合と同様に、出力ストリームが図８に示されるように正常なGOP構成となるように、容易に各ストリームを合成することができる。
【０１３８】
＜その他＞
なお、以上においては、説明の便宜上、まずヘッダ生成部１７１が、その系統のヘッダ情報を生成し、ヘッダ変換部１７２が、そのヘッダ情報を、出力ストリームにおいて利用することができるように変換するように説明した。しかしながら、これに限らず、例えば、ヘッダ生成部１７１が、出力ストリームにおいて利用することができるヘッダ情報（つまりヘッダ変換部１７２が出力するヘッダ情報と同等のもの）を生成するようにしてもよい。その場合、ヘッダ変換部１７２（図１０のステップＳ１２４や図１２のステップＳ１７５等）は省略することができる。
【０１３９】
また、入力画像（出力ストリーム）におけるGOPの先頭ピクチャはどの符号化部が符号化するようにしてもよい。例えば、各GOPの先頭ピクチャを符号化する符号化部が統一されていなくてもよい。
【０１４０】
＜３．第３の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１４に示されるようなコンピュータとして構成されるようにしてもよい。
【０１４１】
図１４において、コンピュータ９００のCPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２に記憶されているプログラム、または記憶部９１３からRAM（Random Access Memory）９０３にロードされたプログラムに従って各種の処理を実行する。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１４２】
CPU９０１、ROM９０２、およびRAM９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インタフェース９１０も接続されている。
【０１４３】
入出力インタフェース９１０には、キーボード、マウス、タッチパネル、および入力端子などよりなる入力部９１１、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）、およびOELD（Organic ElectroLuminescence Display）などよりなるディスプレイ、並びにスピーカ等の任意の出力デバイスや出力端子等よりなる出力部９１２、ハードディスクやフラッシュメモリ等の任意の記憶媒体やその記憶媒体の入出力を制御する制御部等により構成される記憶部９１３、モデム、LANインタフェース、USB（Universal Serial Bus）、並びにBluetooth（登録商標）等、有線や無線の任意の通信デバイスよりなる通信部９１４が接続されている。通信部９１４は、例えばインターネットを含むネットワークを介して他の通信デバイスとの通信処理を行う。
【０１４４】
入出力インタフェース９１０にはまた、必要に応じてドライブ９１５が接続される。そのドライブ９１５には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９２１が適宜装着される。ドライブ９１５は、例えばCPU９０１の制御に従って、自身に装着されたリムーバブルメディア９２１からコンピュータプログラムやデータ等を読み出す。その読み出されたデータやコンピュータプログラムは、例えば、RAM９０３に供給される。また、リムーバブルメディア９２１から読み出されたコンピュータプログラムは、必要に応じて記憶部９１３にインストールされる。
【０１４５】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１４６】
この記録媒体は、例えば、図１４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア９２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM９０２や、記憶部９１３に含まれるハードディスクなどで構成される。
【０１４７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４８】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４９】
＜４．第４の実施の形態＞
＜撮像装置＞
上述した実施形態に係る画像符号化装置１００および画像符号化装置２００は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。
【０１５０】
図１５は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０１５１】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース（I/F）部９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース（I/F）部９７１、およびバス９７２を備える。
【０１５２】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース部９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、および制御部９７０を相互に接続する。
【０１５３】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０１５４】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０１５５】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６またはメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６またはメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０１５６】
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０１５７】
外部インタフェース部９６６は、例えばUSB入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース部９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース部９６６は、撮像装置９６０における伝送部としての役割を有する。
【０１５８】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０１５９】
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０１６０】
ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース部９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０１６１】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１００（図２）若しくは画像符号化装置２００（図１３）の機能を有する。それにより、撮像装置９６０が画像の符号化をより容易に行うことができる。
【０１６２】
なお、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１６３】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６４】
なお、本技術は以下のような構成も取ることができる。
（１）  画像データの各ピクチャを複数系統に振り分ける振り分け部と、
それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化してストリームを生成する複数の符号化部と、
前記複数の符号化部により生成された各系統のストリームを合成する合成部と
を備え、
前記符号化部は、前記合成部により合成されたストリームが正常なものとなるように、ストリームのヘッダ情報を生成する
画像処理装置。
（２）  前記符号化部は、合成後のストリームにおいて、ピクチャおよび参照ピクチャに関する情報が正常なものとなるように、前記ヘッダ情報を生成する
（１）、（３）乃至（１２）のいずれかに記載の画像処理装置。
（３）  前記符号化部は、合成後のストリームにおいて、参照ピクチャリストでの参照インデックスの最大値を規定するシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
（１）、（２）、（３）乃至（１２）のいずれかに記載の画像処理装置。
（４）  前記符号化部は、合成後のストリームにおいて、符号化ピクチャバッファからの読み出し時刻に関するシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
（１）乃至（３）、（５）乃至（１２）のいずれかに記載の画像処理装置。
（５）  前記符号化部は、合成後のストリームにおいて、ショートターム参照ピクチャの識別子として使用されるシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
（１）乃至（４）、（６）乃至（１２）のいずれかに記載の画像処理装置。
（６）  前記符号化部は、合成後のストリームにおいて、POC（Picture Order Count）の計算に使用されるシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
（１）乃至（５）、（７）乃至（１２）のいずれかに記載の画像処理装置。
（７）  前記符号化部は、合成後のストリームにおいて、参照ピクチャリストの最大参照インデックス値を示すシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
（１）乃至（６）、（８）乃至（１２）のいずれかに記載の画像処理装置。
（８）  前記符号化部は、合成後のストリームにおいて、参照ピクチャリストの並び替えに関するフラグ情報の値が正常な値となるように、前記ヘッダ情報を生成する
（１）乃至（７）、（９）乃至（１２）のいずれかに記載の画像処理装置。
（９）  前記符号化部は、合成後のストリームにおいて、参照ピクチャリストの並び替えの制御に関するシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
（１）乃至（８）、（１０）乃至（１２）のいずれかに記載の画像処理装置。
（１０）  前記符号化部は、合成後のストリームにおいて、参照ピクチャリストのカレントインデックスに移動されたピクチャのピクチャ番号と、ピクチャ番号の予測値との間の差の絶対値を示すシンタクスの値が正常な値となるように、前記ヘッダ情報を生成する
（１）乃至（９）、（１１）、（１２）のいずれかに記載の画像処理装置。
（１１）  各符号化部は、自身の系統のピクチャをGOP（Group Of Picture）構造に従って符号化し、
前記合成部は、各系統のストリームを、前記振り分け部が振り分ける前の画像データにおけるGOP構造に従って合成する
（１）乃至（１０）、（１２）のいずれかに記載の画像処理装置。
（１２）  前記符号化部は、自身の系統においてGOPの先頭であって、前記振り分け部が振り分ける前の画像データにおいてGOPの先頭でないピクチャを、全てイントラマクロブロックで構成されるＰピクチャとして符号化する
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）  画像データの各ピクチャを複数系統に振り分け、
振り分けられた各系統のピクチャをそれぞれ符号化して各系統のストリームを生成し、
その各系統の符号化において、合成後のストリームが正常なものとなるように、ストリームのヘッダ情報を生成し、
生成された各系統のストリームを合成する
画像処理方法。
（１４）  コンピュータに、
画像データの各ピクチャを複数系統に振り分け、
振り分けられた各系統のピクチャをそれぞれ符号化して各系統のストリームを生成し、
その各系統の符号化において、合成後のストリームが正常なものとなるように、ストリームのヘッダ情報を生成し、
生成された各系統のストリームを合成する
処理を実行させるためのプログラム。
（１５）  被写体を撮像する撮像部と、
前記撮像部が前記被写体を撮像して得られた画像データの各ピクチャを複数系統に振り分ける振り分け部と、
それぞれが、前記振り分け部により振り分けられた互いに異なる系統のピクチャを符号化してストリームを生成する複数の符号化部と、
前記複数の符号化部により生成された各系統のストリームを合成する合成部と
を備え、
前記符号化部は、前記合成部により合成されたストリームが正常なものとなるように、ストリームのヘッダ情報を生成する
撮像装置。
【符号の説明】
【０１６５】
１００  画像符号化装置，  １０１  画像振分部，  １０２  第１符号化部，  １０３  第２符号化部，  １０４  ストリーム合成部，  １５１  A/D変換部，  １５２  画面並べ替えバッファ，  １５３  演算部，  １５４  直交変換部，  １５５  量子化部，  １５６  可逆符号化部，  １５７  蓄積バッファ，  １５８  逆量子化部，  １５９  逆直交変換部，  １６０  演算部，  １６１  デブロックフィルタ，  １６２  フレームメモリ，  １６３  選択部，  １６４  イントラ予測部，  １６５  動き予測・補償部，  １６６  予測画像選択部，  １６７  レート制御部，  １７１  ヘッダ生成部，  １７２  ヘッダ変換部，  ２００  画像符号化装置，  ９００  パーソナルコンピュータ，  ９６０  撮像装置，  ９６４  画像処理部
【図１】
2015005939.tif 000003
【図２】
2015005939.tif 000004
【図３】
2015005939.tif 000005
【図４】
2015005939.tif 000006
【図５】
2015005939.tif 000007
【図６】
2015005939.tif 000008
【図７】
2015005939.tif 000009
【図８】
2015005939.tif 000010
【図９】
2015005939.tif 000011
【図１０】
2015005939.tif 000012
【図１１】
2015005939.tif 000013
【図１２】
2015005939.tif 000014
【図１３】
2015005939.tif 000015
【図１４】
2015005939.tif 000016
【図１５】
2015005939.tif 000017