(57)【要約】分割シーケンスが出力シーケンスに重畳されてからインデックスが変更されて、処理量の多い処理が必要になってしまっている。そこで、送信装置（３）は、入力シーケンス（ＤＶ１）を、Ｎ（Ｎ≧２）本の分割シーケンスへと分割する分配器（５）と、前記分配器（５）によって分割されたＮ本の分割シーケンスを符号化するＮ個の符号化器（６Ａ〜６Ｎ）と、Ｎ個の前記符号化器によって符号化されたＮ本の前記分割シーケンスを、１本の出力シーケンス（ＤＳ１）へと多重化する合成器（７）とを備え、前記出力シーケンス（ＤＳ１）は、当該出力シーケンス（ＤＳ１）が有する各フレームのうちから参照フレームをユニークに特定する参照画像インデックスが含まれ、前記出力シーケンス（ＤＳ１）へと分割シーケンスが多重化されるよりも前に、上述の参照インデックスを分割シーケンスに設定する参照フレーム識別子制御部（６１０）を備える。
2009078150.tif 000002
【特許請求の範囲】
【請求項１】
当該動画像符号化装置に入力される入力シーケンスを、Ｎ（N≧２）本の分割シーケンスへと分割する分割部と、
前記分割部により分割されたＮ本の分割シーケンスを符号化するＮ個の符号化器と、
Ｎ個の前記符号化器によって符号化されたＮ本の前記分割シーケンスを、１本の出力シーケンスへと多重化する多重化部とを備え、
前記出力シーケンスは、当該出力シーケンスが有する各画像のうちから１の画像をユニークに特定するインデックスが含まれ、
前記出力シーケンスへと分割シーケンスが多重化されるよりも前に、当該分割シーケンスに前記インデックスを設定するインデックス制御部を備える動画像符号化装置。
【請求項２】
前記インデックス制御部はＮ個であり、
Ｎ個の前記インデックス制御部は、それぞれ、
互いに異なる前記符号化器に設けられ、
当該インデックス制御部が設けられた符号化器が符号化する分割シーケンスが前記出力シーケンスへと多重化されるよりも前に、当該分割シーケンスに含まれる１の画像を特定する前記インデックスを当該分割シーケンスに設定し、
前記多重化部は、第ｔの前記符号化器（１≦ｔ≦N）が符号化した分割シーケンスの第ｓ番目の順番の画像（ｓは整数）が、第（ｓ×N＋ｔ＋Ａｔ）番目（Ａｔ（１≦ｔ≦N）は定数）の順番である出力シーケンスへと、Ｎ個の前記分割シーケンスを多重化し、
第ｔの前記符号化器（１≦ｔ≦N）に設けられた第ｔの前記インデックス制御部（１≦ｔ≦N）は、当該画像が分割シーケンスに含まれる順番ｓと前記ｔとに対して、（ｓ×N＋ｔ＋Ａｔ）なる順番のインデックスを設定する請求項１記載の動画像符号化装置。
【請求項３】
前記分割部は、前記Ｎ以下の各値のうちから選択値を選択して、選択された前記選択値の本数の分割シーケンスへと前記入力シーケンスを分割し、
Ｎ個の前記符号化器は、Ｎ個の当該符号化器のうちで前記選択値の個数の符号化器によって、前記分割部により分割された前記選択値の本数の分割ストリームを符号化し、
前記多重化部は、当該選択値の個数の前記符号化器により符号化された、当該選択値の本数の前記分割シーケンスを、１本の出力シーケンスへと多重化し、
前記インデックス制御部はＮ個であり、
Ｎ個の前記インデックス制御部は、それぞれ、
互いに異なる前記符号化器に設けられ、
当該インデックス制御部が設けられた前記符号化器が、前記選択値の個数の符号化器に含まれる場合に、当該符号化器が符号化する分割シーケンスが前記出力シーケンスへと多重化されるよりも前に、当該分割シーケンスに含まれる１の画像を特定する前記インデックスを、当該分割シーケンスに設定する請求項１記載の動画像符号化装置。
【請求項４】
当該動画像符号化装置は集積回路であり、
当該集積回路は、動画像を撮像する撮像装置に設けられ、当該撮像装置により撮像された前記動画像を表す入力シーケンスが当該集積回路に入力され、
前記撮像装置は、単位時間に有する画像の個数が、第１の動画像の個数よりも多い第２の動画像と、前記第１の動画像とを撮像し、
前記分割部は、前記撮像装置によって前記第２の動画像が撮像される場合、前記撮像装置によって前記第１の動画像が撮像される場合に選択する第１の選択値よりも大きい第２の選択値を選択する請求項３記載の動画像符号化装置。
【請求項５】
前記出力シーケンスは、当該出力シーケンスを動画像復号化装置が復号化する際に、当該動画像復号化装置が、前記インデックスにより特定される画像を記憶するバッファの大きさを指定するバッファ情報を含み、
前記バッファ情報を前記出力シーケンスに設定するバッファ情報制御部を備える請求項１記載の動画像符号化装置。
【請求項６】
前記出力シーケンスは、当該出力シーケンスを動画像復号化装置が復号化する際に、当該動画像復号化装置が、前記インデックスにより特定される画像を記憶するバッファの大きさを指定するバッファ情報を含み、
前記バッファ情報を前記出力シーケンスに設定するバッファ情報制御部を備え、
前記バッファ情報制御部は、前記インデックスを設定する前記インデックス制御部の個数たる前記選択値が多いほど、より大きい大きさを指定する前記バッファ情報を前記出力シーケンスに設定する請求項３記載の動画像符号化装置。
【請求項７】
前記インデックス制御部はＮ個であり、
Ｎ個の前記インデックス制御部は、それぞれ、
互いに異なる前記符号化器に設けられ、
当該インデックス制御部が設けられた符号化器が符号化する分割シーケンスが前記出力シーケンスへと多重化されるよりも前に、当該分割シーケンスに含まれる１の画像を特定する前記インデックスを当該分割シーケンスに設定し、
Ｎ個の前記符号化部は、それぞれ、
当該符号化部に設けられた前記インデックス制御部と、
前記出力シーケンスが動画像復号化装置によって復号化される際に、当該符号化部で設定された前記インデックスが当該動画像復号化装置に必要になる符号化を当該分割ストリームに行うインデックス必要符号化部と、
前記インデックス必要符号化部により符号化された前記分割ストリームを可変長符号化する可変長符号化部とを備え、
当該インデックス制御部は、前記可変長符号化部によって可変長符号化される前の前記分割ストリームに前記インデックスを設定する請求項１記載の動画像符号化装置。
【請求項８】
前記インデックス必要符号化部は、
過去の画像の周波数係数値が量子化された量子化値を周波数係数値へと逆量子化する逆量子化部と、
前記逆量子化部により逆量子化された前記周波数係数値に基いて、当該周波数係数値が示す前記過去の画像を算出する逆直交変換処理部と、
前記逆直交変換処理部により算出された前記過去の画像にデブロッキングフィルタ処理を行うデブロッキングフィルタ部と、
前記デブロッキングフィルタ部によりデブロッキングフィルタ処理された前記過去の画像から、現在の画像の推定画像を算出する推定部と、
前記現在の画像と、前記推定部により算出された前記推定画像との差分を周波数係数値に変換する直交変換部と、
前記直交変換部により変換された前記周波数係数値を量子化値へと量子化する量子化部とを備え、
前記可変長符号化部は、前記量子化部により量子化された前記量子化値を含んだ符号化情報を可変長符号化し、
前記インデックス制御部は、前記過去の画像を特定するインデックスを、前記可変長符号化部によって可変長符号化される前記符号化情報に設定して、当該インデックスが設定された前記符号化情報を前記可変長符号化部に可変長符号化させる請求項７記載の動画像符号化装置。
【請求項９】
前記出力シーケンスは、前記入力シーケンスに対して、Ｈ．２６４符号化規格による符号化がされたシーケンスである請求項１記載の動画像符号化装置。
【請求項１０】
入力シーケンスを、Ｎ（Ｎ≧２）本の分割シーケンスへと分割する分割工程と、
前記分割工程で分割されたＮ本の分割シーケンスをＮ個の符号化器によって符号化する工程と、
前記符号化工程で符号化されたＮ本の前記分割シーケンスを、１本の出力シーケンスへと多重化する多重化工程とを備え、
前記出力シーケンスは、当該出力シーケンスが有する各画像のうちから１の画像をユニークに特定するインデックスが含まれ、
前記出力シーケンスへと分割シーケンスが多重化されるよりも前に、当該分割シーケンスに前記インデックスを設定するインデックス制御工程を備える動画像符号化方法。
【請求項１１】
入力シーケンスを、Ｎ（Ｎ≧２）本の分割シーケンスへと分割する分割工程と、
前記分割工程で分割されたＮ本の分割シーケンスをＮ個の符号化器によって符号化する工程と、
前記符号化工程で符号化されたＮ本の前記分割シーケンスを、１本の出力シーケンスへと多重化する多重化工程とをコンピュータに実行させ、
前記出力シーケンスは、当該出力シーケンスが有する各画像のうちから１の画像をユニークに特定するインデックスが含まれ、
前記出力シーケンスへと分割シーケンスが多重化されるよりも前に、当該分割シーケンスに前記インデックスを設定するインデックス制御工程を前記コンピュータに実行させるコンピュータプログラム。
【請求項１２】
入力シーケンスを、Ｎ（Ｎ≧２）本の分割シーケンスへと分割する分割部と、
前記分割部により分割されたＮ本の分割シーケンスを符号化するＮ個の符号化器と、
Ｎ個の前記符号化器によって符号化されたＮ本の前記分割シーケンスを、１本の出力シーケンスへと多重化する多重化部とを備え、
前記出力シーケンスは、当該出力シーケンスが有する各画像のうちから１の画像をユニークに特定するインデックスが含まれ、
前記出力シーケンスへと分割シーケンスが多重化されるよりも前に、当該分割シーケンスに前記インデックスを設定するインデックス制御部を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高速度で入力される撮影画像を処理するために、入力シーケンスを時間方向にＮフレーム毎に分割したＮ本の分割シーケンスに対して、Ｎ系統の符号化回路を用いて並列に符号化を行い、出力されるＮ系統の符号化ストリームをフレーム単位で入力順に重畳する並列符号化装置に関するものである。
【背景技術】
【０００２】
図１〜図７を用いて、従来システムの動作を説明する。【０００３】
図１は、特許文献１に記載された従来の動画伝送システムＸ１の構成を示す。従来の動画像伝送システムＸ１は、送信装置Ｘ３と、受信装置Ｘ４とを備える。【０００４】
図１において、動画伝送システムＸ１は、通信路Ｘ２を介して送信装置Ｘ３から受信装置Ｘ４に高フレームレートの動画像を配信する。ここで送信装置Ｘ３は、Ｈ．２６４符号化方式が適用されている。【０００５】
この送信装置Ｘ３は、入力ビデオデータＸＤＶ１を、ピクチャ単位で順次循環的に振り分けて時間軸伸張し、複数系統のビデオデータＸＤＶ１Ａ、ＸＤＶ１Ｂ、…、ＸＤＶ１Ｎを生成する。また、送信装置Ｘ３は、各系統のビデオデータＸＤＶ１Ａ、ＸＤＶ１Ｂ、…、ＸＤＶ１Ｎを、それぞれ符号化器Ｘ６Ａ〜Ｘ６Ｎで符号化処理した後、時間軸圧縮して１系統に合成する。送信装置Ｘ３は、この合成した符号化データＸＤＳ１を図示しない通信部を介して通信路Ｘ２に送出する。【０００６】
すなわち送信装置Ｘ３において、分配器Ｘ５は、入力ビデオデータＸＤＶ１の各ピクチャを順次循環的に振り分けて時間軸伸張し、複数系統のビデオデータＸＤＶ１Ａ、ＸＤＶ１Ｂ、…、ＸＤＶ１Ｎを出力する。具体的に、分配器Ｘ５は、入力ビデオデータＸＤＶ１のｍ番目のピクチャを第１番目の系統のビデオデータＸＤＶ１Ａに振り分けると、続くｍ＋１番目のピクチャを続く第２番目の系統のビデオデータＸＤＶ１Ｂに振り分ける。また、分配器Ｘ５は、さらに続くｍ＋２番目のピクチャを、続く第３番目の系統のビデオデータＸＤＶ１Ｃに振り分ける。【０００７】
符号化器Ｘ６Ａ〜Ｘ６Ｎは、それぞれＨ．２６４に従って各系統のビデオデータＸＤＶ１Ａ、ＸＤＶ１Ｂ、…、ＸＤＶ１Ｎを符号化処理し、符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、…、ＸＤＳ１Ｎを出力する。【０００８】
合成器Ｘ７は、符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、…、ＸＤＳ１Ｎを時間軸圧縮した後、分配器Ｘ５における入力ビデオデータＸＤＶ１の振り分けに対応するように、ピクチャ単位で、順次循環的に選択し、これら複数の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、…、ＸＤＳ１Ｎを１系統の符号化データＸＤＳ１に合成する。さらに合成器Ｘ７は、この、１系統の符号化データＸＤＳ１に設定された各ピクチャの関係を示す情報を設定し直し、又は事前に複数系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、…、ＸＤＳ１Ｎに設定された各ピクチャの関係を示す情報を設定し直し、合成した１系統の符号化データＸＤＳ１をＨ．２６４符号化規格に従った１台の復号化装置で復号化できるようにする。【０００９】
合成器Ｘ７は、この各ピクチャの関係を示す情報として、各ピクチャを特定するフレーム識別子(frame＿num)を設定し直し、合成した符号化データＸＤＳ１で各ピクチャを特定できるようにする。すなわちＨ．２６４では、各ピクチャに固有の識別子であるフレーム識別子(frame＿num)が、各アクセスユニット（AccessUnit）のスライスヘッダ（SliceHeader）に設定され、このフレーム識別子(frame＿num)で各ピクチャが特定される。従ってＨ．２６４符号化規格に従った符号化器Ｘ６Ａ〜Ｘ６Ｎでそれぞれ符号化処理した符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、…、ＸＤＳ１Ｎは、それぞれ各符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、…、ＸＤＳ１Ｎで固有のフレーム識別子(frame＿num)が各ピクチャに設定されていることになる。【００１０】
合成器７は、合成した１系統の符号化データＸＤＳ１で、ピクチャ毎に、連続して値が変化するように、フレーム識別子(frame＿num)を設定し直し、各符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、 …、ＸＤＳ１Ｎで固有のフレーム識別子(frame＿num)を、１系統の符号化データＸＤＳ１で固有のフレーム識別子(frame＿num)に設定し直す。【００１１】
図２は、２系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂを合成する場合を例にとって、この、合成器Ｘ７（図１）におけるフレーム識別子(frame＿num)の設定を示す略線図である。【００１２】
この図２の例では、１系統の符号化データＸＤＳ１Ａの各ピクチャに、値ＡＵｎ、値ＡＵｎ＋１、値ＡＵｎ＋２、…の連続するフレーム識別子(frame＿num)が順次設定され（図２上段）、残り１系統の符号化データＸＤＳ１Ｂの各ピクチャに、値ＡＵｍ、値ＡＵｍ＋１、値ＡＵｍ＋２、…の連続するフレーム識別子(frame＿num)が順次設定されている（図２中段）。【００１３】
合成器Ｘ７は、矢印で示すように、２系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂの各ピクチャが交互に連続するように、この２系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂを合成して１系統の符号化データＸＤＳ１を生成する（図２下段）。また、合成器Ｘ７は、値ＡＵｎ、値ＡＵｎ＋１、値ＡＵｎ＋２、値ＡＵｎ＋３、値ＡＵｎ＋４、で示すように、ピクチャ単位で、各ピクチャのフレーム識別子(frame＿num)が順次連続するように、フレーム識別子(frame＿num)を設定し直す。【００１４】
また合成器Ｘ７は、各ピクチャの関係を示す情報として、参照ピクチャを特定する参照ピクチャリスト(Reference Picture List：ref＿pic＿list）を設定し直し、合成した符号化データＸＤＳ１で正しく参照関係を特定できるようにする。【００１５】
すなわち、Ｈ．２６４では、参照フレーム識別子（ref＿idx）及び参照ピクチャリスト（ref＿pic＿list）で、各マクロブロックが参照する参照フレームが特定される。【００１６】
図３は、参照ピクチャリストＸＬの構造を説明する概略図である。【００１７】
図３に示すように、参照ピクチャリストＸＬ（ref＿pic＿list）は、過去複数枚の参照フレーム識別子（ref＿idx）と、各参照フレーム識別子（ref＿idx）に対応するフレーム識別子（frame＿num）とを有するリストであり、スライスヘッダ（SliceHeader）に設けられる。Ｈ．２６４の符号化装置、復号化装置では、この参照ピクチャリストＸＬ（ref＿pic＿list）に設定されたフレーム識別子（frame＿num）のピクチャが、参照ピクチャ用のバッファＸＢ（Decoded Picture Buffer）に格納されて他のピクチャの符号化、復号化に使用される。【００１８】
各マクロブロックＸＭ（ＭacroＢlock）には、参照ピクチャリストＸＬ（ref＿pic＿list）に設定された参照フレーム識別子（ref＿idx）の中から、参照ピクチャに対応する参照フレーム識別子（ref＿idx）が設定される。【００１９】
従って図３に示す例では、マクロブロックＸＭ（ＭacroＢlock）に値１の参照フレーム識別子（ref＿idx）が設定され（ref＿idx=1）、参照ピクチャリストＸＬ（ref＿pic＿list）にはこの値１の参照フレーム識別子（ref＿idx）に値ｎ＋１のフレーム識別子（frame＿num）が設定されていることから、このマクロブロックＸＭ（ＭacroＢlock）は、バッファＸＢ（DecodedPictureBuffer）に保持したフレーム識別子（frame＿num）が値ｎ＋１のピクチャを参照していることが判る。【００２０】
図４は、動画像符号化装置（送信装置Ｘ３）における参照関係を説明する概略図である。【００２１】
ここで２系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂを合成する場合を例にとって図４に示すように、複数系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂをピクチャ単位で選択して１系統に合成する場合、連続するピクチャ間で参照関係が変化することになる。なお、ここで図４では、符号frame＿n〜frame＿n+3、frame＿m〜frame＿m+3でそれぞれピクチャを示し、各ピクチャ間の参照関係を矢印線で示す。従って、この図４の場合、２系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂでは、各ピクチャがそれぞれ直前ピクチャを参照していることが示されている。この２系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂを１系統に合成すると、各ピクチャは、それぞれ１つのピクチャを間に挟んだ前方ピクチャを参照することになり、各系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂに設定されている参照関係の情報では、正しく参照関係を表すことが困難になる。つまり、各符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂが、符号化データＸＤＳ１に合成された後には、各符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂに設定されている参照関係の情報は、正しい参照関係ではない参照関係、すなわち誤った参照関係を表す。【００２２】
図５、図６は、図４に示す合成前ストリームＸＤＳ１Ａ、合成後ストリームＸＤＳ１それぞれの参照関係を、参照ピクチャリストの状態遷移とともに表したものである。【００２３】
図５において、各フレームの参照フレーム識別子（ref＿idx）は、常に値０を保持している。合成器７では、各マクロブロックから参照する参照フレーム識別子（ref＿idx）は設定し直さないため、スライスヘッダ（SliceHeader）情報を設定し直す必要がある。【００２４】
そこで合成器Ｘ７は、図６に示すように、１系統に合成した符号化データＸＤＳ１で、正しく参照関係を指示できるように、スライスヘッダ（SliceHeader）に設けられた参照ピクチャリスト（ref＿pic＿list）のフレーム識別子（frame＿num）を設定し直す。具体的に、合成器Ｘ７は、上述したフレーム識別子（frame＿num）の設定に対応するように、参照ピクチャリスト（ref＿pic＿list）のフレーム識別子（frame＿num）を設定し直す。【００２５】
図７は、一般的なＨ．２６４符号化規格の符号化ストリームの構成を示した図である。【００２６】
合成器７は、スライスヘッダ（SliceHeader）内に存在するフレーム識別子（frame＿num）、参照ピクチャリスト（ref＿pic＿list＿reordering）を設定し直す。その結果、スライスデータ（SliceData）内に存在する（実際はマクロブロックデータ毎に存在する）参照フレーム識別子（ref＿idx）を設定し直す必要がない。
【特許文献１】特開２００７−２０２０２６号公報
【発明の開示】
【発明が解決しようとする課題】
【００２７】
しかしながら、前記特許文献１で実施されている従来の構成では、各符号化器Ｘ６Ａ〜Ｘ６Ｎで符号化された符号化データＸＤＳ１Ａ〜ＸＤＳ１Ｎは、既にアクセスユニット（AccessUnit）として構成された符号化データであり、図７で示したとおり、スライスヘッダ（SliceHeader）シンタックスとしてフレーム識別子（frame＿num）、マクロブロック（macroblock）シンタックスとして参照フレーム識別子（ref＿idx）が可変長符号化されている。合成器Ｘ７においてスライスヘッダ（SliceHeader）に設定されているフレーム識別子（frame＿num）を設定し直すためには、符号化データ内のスライスヘッダ先頭を検出し、スライスヘッダ以降の可変長符号化された符号化パラメータを可変長復号しながらフレーム識別子（frame＿num）を検出し、設定し直すフレーム識別子を可変長符号化してフレーム識別子を置換する必要がある。また、設定し直すフレーム識別子の可変長符号化データのビット長が変化する場合、設定し直したフレーム識別子以降のビット位置がずれるため、符号化データをビットシフトしながら符号化データを再構成する必要がある。更に、参照ピクチャリスト（ref＿pic＿list＿reordering）を設定し直す必要があるため、そのシンタックスの出現位置まで、可変長符号化された符号化ストリームを可変長復号する必要がある。そのため、各符号化器Ｘ６Ａ〜Ｘ６Ｎの後段、若しくは、合成器Ｘ７に符号化データを一旦保持するためのバッファメモリと、スタートコード検出、可変長復号処理を行うストリーム操作部、符号化データをビットシフトするためのバレルシフタが必要であり、ハードウェア資源の増加と、それに伴う消費電力が増加するという課題を有している。【００２８】
また、Ｈ．２６４符号化規格においては、参照可能フレーム枚数（num＿ref＿frames）を指定することが可能で、その最大値は１６枚と規定されている。但し、参照可能フレーム枚数（num＿ref＿frames）は各符号化器Ｘ６Ａ〜Ｘ６Ｎの参照フレームを保持するためのバッファ容量を規定するもので、１６枚以下に制限される場合が多い。そのため、符号化時に参照可能フレーム枚数が制限された場合、１系統に合成された符号化データＸＤＳ１において、参照フレームを保持するためのバッファ容量が不足し、参照フレームが既にバッファ領域から破棄され、参照すべきフレームデータがバッファ内に存在しない場合が発生するという課題を有していた。【００２９】
本発明は、前記従来の課題を解決するもので、合成後のフレームの参照関係の互換性を保つために、予め符号化ストリーム作成時に可変長符号化器を制御することにより、既に符号化ストリームとして構成されたパラメータを設定し直すためのバッファメモリ、スタートコード検出器、可変長復号を行うストリーム制御部、符号化データをビットシフトするためのバレルシフタを必要としない動画像符号化装置を提供することを目的とする。また、これより、行われる処理が比較的簡単である動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００３０】
本発明は以上の点を考慮してなされたもので、本発明の第１の動画像符号化装置は、当該動画像符号化装置に入力される入力シーケンスを、Ｎ（Ｎ≧２）本の分割シーケンスへと分割する分割部と、前記分割部により分割されたＮ本の分割シーケンスを符号化するＮ個の符号化器と、Ｎ個の前記符号化器によって符号化されたＮ本の前記分割シーケンスを、１本の出力シーケンスへと多重化する多重化部とを備え、前記出力シーケンスは、当該出力シーケンスが有する各画像のうちから１の画像をユニークに特定するインデックスが含まれ、前記出力シーケンスへと分割シーケンスが多重化されるよりも前に、当該分割シーケンスに前記インデックスを設定するインデックス制御部を備える動画像符号化装置である。【００３１】
また、第２の動画像符号化装置は、入力画像をＮ枚おきに選択した入力シーケンスＮ本をＮ個の符号化回路で符号化する装置であって、入力画像と過去に符号化した複数の画像から動きを推定して動きベクトル情報と差分ブロックを取得する動き推定手段と、前記動き推定手段によって推定されたブロックとの差分を周波数係数値に変換する直交変換手段と、前記直交変換手段で変換された周波数係数値を量子化する量子化手段と、前記量子化手段で量子化された量子化値を逆量子化する逆量子化手段と、前記逆量子化手段で逆量子化された量子化係数を画素値に変換する逆直交変換手段と、前記逆直交変換手段で変換された画素値にフィルタ処理を行うデブロックフィルタ手段と、前記量子化手段で量子化された係数値、前記動き推定手段で算出した動きベクトル値、及び、参照画像インデックスを含む符号化情報を符号化する可変長符号化手段と、前記動き推定手段で取得した参照画像インデックスを変更する参照インデックス情報制御手段と、入力シーケンス全体の符号化情報とＮ個の符号化回路から生成される符号化ストリームを入力順に重畳する多重化手段とを有することを特徴とする動画像符号化装置である。【００３２】
ここで、第２の動画像符号化装置は、参照フレーム識別子制御手段を備える。【００３３】
この構成において、符号化データ作成時に参照フレーム識別子を符号化ストリームに挿入することが可能となる。【００３４】
また、第３の動画像符号化装置は、前記多重化手段により重畳される入力シーケンス全体の符号化情報の構成要素である参照画像バッファ情報を変更する参照画像バッファ情報制御手段を有することを特徴とする第２の動画像符号化装置である。【００３５】
ここで、第３の動画像符号化装置は、参照画像バッファ情報制御手段を備える。【００３６】
この構成において、符号化データ作成時に参照可能フレーム枚数（参照フレームバッファ情報）を符号化ストリームに挿入することが可能となる。【００３７】
また、この第２の動画像符号化装置の各ステップを備える方法により、符号化データ作成時に参照フレーム識別子を符号化ストリームに挿入する符号化方法を提供することが可能となる。【００３８】
また、この第３の動画像符号化装置の各ステップを備える方法により、符号化データ作成時に参照可能フレーム枚数（参照フレームバッファ情報）を符号化ストリームに挿入する符号化方法を提供することが可能となる。【００３９】
また、この第２の動画像符号化装置の各ステップをコンピュータに実現するためのプログラムにより、符号化データ作成時に参照フレーム識別子を符号化ストリームに挿入する符号化方法のプログラムを提供することが可能となる。【００４０】
また、この第３の動画像符号化装置の各機能をコンピュータに実現するためのプログラムにより、符号化データ作成時に参照可能フレーム枚数（参照フレームバッファ情報）を符号化ストリームに挿入する符号化方法のプログラムを提供することが可能となる。【００４１】
ここで、第２の動画像符号化装置の動画像符号化方法のプログラムを記録した記録媒体は、参照フレーム識別子制御ステップを備える方法のプログラムを記録した記録媒体である。【００４２】
この記録媒体により、符号化データ作成時に参照フレーム識別子を符号化ストリームに挿入する符号化方法のプログラムを記録した記録媒体を提供することが可能となる。【００４３】
ここで、第３の動画像符号化装置の動画像符号化方法のプログラムを記録した記録媒体は、参照フレームバッファ制御ステップを備える方法を記録した記録媒体である。【００４４】
この構成において、符号化データ作成時に参照可能フレーム枚数（参照フレームバッファ情報）を符号化ストリームに挿入する符号化方法のプログラムを記録した記録媒体を提供することが可能となる。
【発明の効果】
【００４５】
本発明の動画像符号化装置によれば、符号化ストリームのパラメータを、設定し直すことなく、独立に符号化した複数ストリームを合成した場合の参照関係の互換性を保つことができる。また、これにより、行われる処理が比較的簡単である動画像符号化装置を提供できる。
【図面の簡単な説明】
【００４６】
【図１】図１は、従来の動画像伝送システムのブロック図である。
【図２】図２は、図６の動画像符号化システムにおける符号化データの合成処理を説明する概略図である。
【図３】図３は、参照ピクチャリストの構造を説明する概略図である。
【図４】図４は、動画像符号化装置における参照関係を説明する概略図である。
【図５】図５は、図９における参照関係を参照フレームバッファの状態遷移で説明する概略図である。
【図６】図６は、従来の符号化システムにおける参照フレームバッファの状態遷移を説明する概略図である。
【図７】図７は、Ｈ．２６４符号化規格におけるスライス層シンタックスを説明する概略図である。
【図８】図８は、本発明の実施の形態におけるデジタルカメラセットのブロック図である。
【図９】図９は、本発明の実施の形態における動画像伝送システムのブロック図である。
【図１０】図１０は、本発明の実施の形態における参照フレームバッファの状態遷移を説明する概略図である。
【図１１】図１１は、本発明の実施の形態における参照フレームバッファの状態遷移を説明する概略図である。
【図１２】図１２は、本発明の実施の形態における参照フレームバッファの状態遷移を説明する概略図である。
【図１３】図１３は、本発明の実施の形態における参照フレームバッファの状態遷移を説明する概略図である。
【図１４】図１４は、本発明の実施の形態における参照フレーム識別子制御のフロー図である。
【図１５】図１５は、分割シーケンスと、出力シーケンス１５４とを示す図である。
【符号の説明】
【００４７】
１  デジタルカメラシステム
２  通信路
３  送信装置
４  受信装置
５  分配器
６Ａ〜６Ｎ、６  符号化器
７  合成器
８  参照フレームバッファ制御部
６０１  直交変換部
６０２  量子化部
６０３  逆量子化部
６０４  逆直交変換部
６０５  デブロックフィルタ部
６０６  動き探索部
６０７  イントラ予測部
６０８  可変長符号化部
６０９  フレームメモリ
６１０  参照フレーム識別子制御部
１４０１  レンズ
１４０２  撮像素子
１４０３  画像処理プロセッサ
【発明を実施するための最良の形態】
【００４８】
以下本発明の実施の形態について、図面を参照しながら説明する。【００４９】
（実施の形態）
以下、実施の形態が詳しく説明される。【００５０】
図８は、デジタルカメラシステム１のブロック図である。【００５１】
デジタルカメラシステム１は、図８に示されるように、光学レンズ１４０１と、撮像素子（イメージセンサー）１４０２と、撮像素子１４０２から光電変換によって得られるセンサ画像（RAWデータ）をＹＵＶフォーマットデータＤＶ１に変換するプレ処理用の画像処理プロセッサ１４０３と、画像処理プロセッサ１４０３から送出されるＹＵＶフォーマットデータを符号化する送信装置３とを備える。【００５２】
光学レンズ１４０１は、デジタルカメラシステム１が撮像する動画像の像を、撮像素子１４０２上に形成する。【００５３】
撮像素子１４０２は、光学レンズ１４０１により形成された像の電気信号を生成する。そして、撮像素子１４０２は、生成された電気信号を画像処理プロセッサ１４０３へ出力して、デジタルカメラシステム１が撮像する動画像を画像処理プロセッサ１４０３に入力する。そして、より具体的には、撮像素子１４０２は、例えばテレビ放送のフレームレートなどの通常のフレームレートよりも高いフレームレートでの動画像の電気信号を生成して、高いフレームレートの動画像を画像処理プロセッサ１４０３に入力する。【００５４】
画像処理プロセッサ１４０３は、入力される動画像の画像処理を行い、画像処理をした動画像を送信装置３へ出力する。【００５５】
送信装置３は、画像処理プロセッサ１４０３から送信装置３に出力された動画像の入力シーケンスＤＶ１（図８）に基いて、入力シーケンスＤＶ１がＨ．２６４符号化方式により符号化された出力シーケンスＤＳ１（図９）を生成し、生成された出力シーケンスＤＳ１を、通信路２（図９）を介して受信装置４へ送信する。【００５６】
図９は、本発明の実施の形態におけるデジタルカメラシステム１の詳細な構成を示すブロック図である。【００５７】
図９の下段は、デジタルカメラシステム１が有する送信装置３（図８）の詳細な構成を示す。【００５８】
図９の下段に示すように、デジタルカメラシステム１は、通信路２を介して送信装置３から受信装置４に高フレームレートの動画像を配信する。デジタルカメラシステム１および受信装置４の全体により、動画像伝送システムが構成される。【００５９】
なお、受信装置４は、復号化器４ｍを備える。復号化器４ｍは、受信装置４によって受信された、送信装置３が送信した出力シーケンスＤＳ１を復号化する。具体的には、復号化器４ｍは、受信された出力シーケンスＤＳ１に対して、Ｈ．２６４符号化方式における復号化を行う。受信装置４は、復号化器４ｍによって、受信した出力シーケンスＤＳ１を復号化する。【００６０】
送信装置３は、分配器５と、複数の符号化器（符号化器６Ａ〜符号化器６Ｎ）と、合成器７と、参照フレームバッファ制御部８とを備える（図９下段）。なお、これら分配器５等は、例えば、送信装置３が備える集積回路に実装された機能ブロックである。また、例えば、これら分配器５等は、送信装置３が備えるコンピュータがソフトウェアを実行することによってそのコンピュータに実現する機能の機能ブロックである。【００６１】
分配器５は、入力ビデオデータ（入力シーケンス）ＤＶ１の各ピクチャを順次循環的に振り分けて時間軸伸張し、複数系統のビデオデータＤＶ１Ａ、ＤＶ１Ｂ、…、ＤＶ１Ｎを出力する。分配器５は、これら複数系統のビデオデータＤＶ１Ａ、ＤＶ１Ｂ、…、ＤＶ１Ｎを、符号化器６Ａ〜符号化器６Ｎへと出力する。【００６２】
複数の符号化器（符号化器６Ａ〜符号化器６Ｎ）は、それぞれ、分配器５によって分割されたビデオデータＤＶ１Ａ〜ビデオデータＤＶ１Ｎが分配器５から入力される。符号化器６Ａ〜符号化器６Ｎは、それぞれ、その符号化器に入力されたビデオデータ（ビデオデータＤＶ１Ａ〜ビデオデータＤＶ１Ｎ）を符号化する。符号化器６Ａ〜符号化器６Ｎによって符号化された後のビデオデータＤＶ１Ａ〜ビデオデータＤＶ１Ｎは、それぞれ、符号化データＤＳ１Ａ〜ＤＳ１Ｎと呼ばれる。【００６３】
なお、入力ビデオデータＤＶ１は、符号化器６Ａ〜符号化器６Ｎによって符号化されるＮ個の分割シーケンスへと分配器５によって分割される。分割された各分割シーケンスは、符号化器６Ａ〜符号化器６Ｎによって符号化され、符号化された後の各分割シーケンスが、合成器７へと、符号化器６Ａ〜符号化器６Ｎから各々出力される。【００６４】
なお、分配器５によって分割されたＮ個の分割シーケンスは、いずれも、入力ビデオデータＤＶ１のフレームレートよりも低いフレームレートを有する。例えば、入力ビデオデータＤＶ１のフレームレートよりも、Ｎ倍遅いフレームレートを有する。具体的には、例えば、これらＮ個の分割シーケンスのフレームレートは、テレビ放送のフレームレートと同じである。【００６５】
図９の上段は、符号化器６の詳細な構成を示す。【００６６】
符号化器６は、符号化器６Ａ〜符号化器６Ｎ（図９下段）のうちの１つである。例えば、符号化器６は、符号化器６Ａである。そして、符号化器６Ｂ〜６Ｎの詳細な構成は、符号化器６（符号化器６Ａ）の詳細な構成（図９上段）と同じである。【００６７】
符号化器６は、直交変換部（Ｔ）６０１と、量子化部（Ｑ）６０２と、逆量子化部（Ｑ−１）６０３と、逆直交変換部（Ｔ−１）６０４と、デブロックフィルタ部（ＤＢＦ）６０５と、フレームメモリ（FM）６０９と、イントラ予測部（ＩＮＴＲＡ）６０７と、動き探索部（ＭＥ）６０６と、可変長符号化部（ＶＬＣ）６０８と、参照フレーム識別子制御部６１０とを備える。以下、直交変換部（Ｔ）６０１〜動き探索部６０６の全体が、前段符号化部と呼ばれる。符号化器６は、前段符号化部と、可変長符号化部（ＶＬＣ）６０８と、参照フレーム識別子制御部６１０とを備える。【００６８】
なお、符号化器６を構成している前段符号化部（直交変換部（Ｔ）６０１、量子化部（Ｑ）６０２、逆量子化部（Ｑ−１）６０３、逆直交変換部（Ｔ−１）６０４、デブロックフィルタ部（ＤＢＦ）６０５、フレームメモリ（FM）６０９は、イントラ予測部（ＩＮＴＲＡ）６０７、動き探索部（ＭＥ）６０６）と、可変長符号化部（ＶＬＣ）６０８とは、一般的なＨ．２６４符号化処理における機能と同一の機能を有する。これら前段符号化部、可変長符号化部は、これらに対応する所定の公知技術が用いられたものでもよい。これら前段符号化部と、可変長符号化部とは、図１４の説明において簡単なフローチャートでの処理の流れが説明される。【００６９】
参照フレーム識別子制御部６１０、参照フレームバッファ制御部８については図１０〜図１３が参照されて、最初に詳しく説明される。【００７０】
合成器７（図９下段）は、符号化器６Ａ〜符号化器６Ｎが符号化した符号化データＤＳ１Ａ、ＤＳ１Ｂ、…、ＤＳ１Ｎを時間軸圧縮した後、分配器５における入力ビデオデータＤＶ１の振り分けに対応するように、ピクチャ単位で、順次循環的に、時間軸圧縮した符号化データＤＳ１Ａ、ＤＳ１Ｂ、…、ＤＳ１Ｎを選択する。そして、合成器７は、これら複数の符号化データＤＳ１Ａ、ＤＳ１Ｂ、…、ＤＳ１Ｎを、１系統の符号化データＤＳ１に合成する。合成された符号化データＤＳ１は、送信装置３によって、受信装置４へと送信される。【００７１】
図１０は、符号化器６（図９上段、符号化器６Ａ）によって出力される符号化データＤＳ１Ａを示す図である。【００７２】
図１１は、符号化データＤＳ１Ａ（図１０）等が合成器７によって合成された符号化データＤＳ１（図９下段）を示す図である。【００７３】
図１０、図１１を用いて、参照フレーム識別子制御部６１０（図９の上段）の動作が説明される。【００７４】
参照フレーム識別子制御部６１０（図９上段）は、符号化データＤＳ１（図９下段、図１１）が有する各フレームのうちから１のフレームをユニークに特定するグローバルなインデックスを、ビデオデータＸＤＶ１Ａに設定する。【００７５】
図１０は、符号化器６（符号化器６Ａ）が、図１０の符号化ストリームＤＳ１Ａを作成した際の参照ピクチャリストを表したものである。【００７６】
また、図１１においては、符号化器をＮ系統（２系統）用いて合成した例が示される。図１１では、Ｎが２である場合が例示される。符号化器をＮ系統にした場合の参照フレーム関係は、Ｎ−１フレーム（１フレーム）離間した参照関係を持つことになる。【００７７】
図１０において、frame＿n+2に参照されるフレームは、frame＿n+1であり、通常、参照ピクチャリストの参照フレーム識別子の一番小さい値のフレームから順に、各フレームが参照される。つまり、frame＿n+2の参照フレーム識別子（ref＿idx）は0である。図１０では、frame＿n+2のref＿idxが０であることが、frame＿n+2から延びる破線の矢印線によって図示される。しかし、このまま、つまり、ref＿idxが０のまま、符号化を行ってしまうと、合成器７によって合成された符号化データＤＳ１（図１１）が、正しく参照を表すことが不可能である。そこで、合成した後の符号化データＤＳ１が、Ｎ−１フレーム（１フレーム）離間した参照関係を持つことから、あらかじめ、符号化器６（符号化器６Ａ）が符号化する際に、符号化器６（符号化器６Ａ）の参照フレーム識別子制御部６１０が、離間した参照関係になるように参照フレーム識別子（ref＿idx）を制御して、符号化を行う。つまり、本来の破線の矢印線（図１０）で示した参照フレーム関係を、参照フレーム識別子制御部６１０が、実線の矢印線で示した参照フレーム関係に置き換える。これにより、例えば、図１０のframe＿n+2の「ref＿idx=1」に示されるように、frame＿n+2のref＿idxは、０から１に置き換えられる。【００７８】
なお、具体的には、たとえば、参照フレーム識別子制御部６１０は、置き換える前の値を設定した後に、置き換えた後の値を設定して、文字通り置き換えを行うものとしてもよい。また、参照フレーム識別子制御部６１０は、一々、置き換える前の値を設定することはなく、すぐに置き換えた後の値を設定するものとしてもよい。【００７９】
なお、参照フレーム識別子は、その参照フレーム識別子が含まれるフレームから、そのフレームにより参照されるフレーム（参照フレーム）への距離、すなわち、それらのフレームが互いに離間する距離によって、参照されるフレーム（参照フレーム）を特定する。参照フレーム識別子は、その参照フレーム識別子のフレームからの距離よりなるインデックスを含み、そのインデックスの距離のフレームを参照フレームとして特定する。参照フレーム識別子は、相対指定（自己相対的指定）によって、参照フレームを特定する。【００８０】
なお、参照フレーム識別子が含まれるフレームは、例えば、いわゆるＰフレーム（Ｐｒｅｄｅｃａｔｅｄ  Ｆｒａｍｅ）でもよい。また、参照フレーム識別子が含まれるフレームは、例えば、いわゆるＢフレーム（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  Ｐｒｅｄｅｃａｔｅｄ  Ｆｒａｍｅ）でもよい。【００８１】
図１１は、上記の制御を行った符号化データＤＳ１Ａ、符号化データＤＳ１Ｂを合成した符号化データＤＳ１を復号化器４ｍ（図９）が復号する際の参照ピクチャリストの状態遷移を表したものである。【００８２】
なお、図１１では、新たに２つの符号化データが合成された結果が示される。すなわち、図１０のframe＿n〜frame＿n+3による符号化データＤＳ１Ａではない、別の符号化データが合成された符号化データが、図１１のframe＿n〜frame＿n+5による符号化データＤＳ１である。【００８３】
図１１において、frame＿n〜frame＿n+5は、参照ピクチャリストにおいて、復号時刻が最近のフレームから順に、より小さい参照フレーム識別子（ref＿idx）が割り当てられる。また、各フレームの参照フレーム識別子（ref＿idx）は、合成後の符号化データＤＳ１で２フレーム離間した参照関係、すなわち、合成前の符号化データＤＳ１Ａで１フレーム離間した参照関係を保持しているため、復号化器４ｍは、正常な参照関係情報により、フレーム復号処理が可能である。【００８４】
また、図１２、図１３を用いて、複数フレーム参照関係が存在する場合の送信装置３の動作を説明する。【００８５】
図１２において、ストリーム（符号化データＤＳ１Ａ、図９）のframe＿n+2はframe＿n、frame＿n+1の複数フレームを参照しているものとする。また、参照フレーム最大値（num＿ref＿frames）を3に制限しているものとする。この場合、参照できるフレーム識別子（ref＿idx）は、2までである。この符号化ストリームを合成器７が２系統合成した場合の参照ピクチャリストの状態遷移を図１３に示す。【００８６】
図１３において、frame＿n+4では、frame＿n+2とframe＿nを参照するように、frame＿n+4のフレーム識別子（ref＿idx）が変更される。すなわち、frame＿n+4のマクロブロックは、図１３において縦に並んだ６個のマクロブロック（macro＿block）のうちで、上から５番目のマクロブロックである。そして、このframen+4のマクロブロックは、２つのフレーム識別子（ref＿idx）を有する。そして、これら２つのフレーム識別子（ref＿idx）の値は、予め、図１３の実線の矢印線によって示されるように、参照フレーム識別子制御部６１０によって、０及び１ではなく、1及び３が設定されている。【００８７】
参照フレームバッファ制御部８（図９下段）は、参照フレーム最大値（num＿ref＿frames）を設定する。【００８８】
参照フレーム最大値（num＿ref＿frames）が３のままであれば、frame＿n+4のデコード時に参照されるframe＿nのフレーム識別子（ref＿idx）が３となるため（ref＿idx=3、図１３）、参照が不可能となる。そのため、参照フレームバッファ制御部８（図９下段）は、１系統への合成器７による合成時に、シーケンスパラメータセット（Sequence＿Parameter＿Set）シンタックスである参照フレーム最大値を（元設定値×フレーム分割数）に再設定し、１系統に合成する。その結果、合成時に再設定した参照フレーム最大値が４となり、frame＿n+4のデコード時に参照されるframe＿nのフレーム識別子（ref＿idx）の値３は、参照が可能な値となる。【００８９】
また、図１４を用いて、参照フレーム識別子制御部６１０による参照フレーム識別子制御、参照フレームバッファ制御部８による参照フレームバッファ制御の処理のフローチャートを説明する。【００９０】
図１４において、まず、符号化処理を何系統の符号化器で行うか、各符号化器に対して並列度Ｎの設定を、例えば送信装置３の分配器５などが行う（Ｓ１３０１）。次に、Ｈ．２６４規格に従って、符号化器６Ａの前段符号化部（直交変換部（Ｔ）６０１等）が、符号化処理を行う（Ｓ１３０２〜Ｓ１３０９）。次に、画面間予測処理（ME:動き検出）において参照したフレームの元フレーム識別子（ref＿idx＿OLD）を新しいフレーム識別子（ref＿idx＿NEW）に、参照フレーム識別子制御部６１０が変更する（Ｓ１３１０）。なお、変更後のフレーム識別子（ref＿idx＿NEW）は、変更前のフレーム識別子（ref＿idx＿OLD）から、「ref＿idx＿NEW  =  (ref＿idx＿OLD+1)*N-1」なる計算式により、参照フレーム識別子制御部６１０によって算出される。なお、参照フレーム識別子制御部６１０は、一旦ref＿idx＿OLDを設定してから、設定した設定内容をref＿idx＿NEWへと変更することにより、ref＿idx＿NEWを設定してもよい。つまり、参照フレーム識別子制御部６１０は、元の値を、一旦ref＿idx＿OLDへと修正した後に、修正された設定内容たるref＿idx＿OLDを、さらに、ref＿idx＿NEWへと修正するものとしてもよい。また、参照フレーム識別子制御部６１０は、元の値を一旦ref＿idx＿OLDへと修正することなく、直接、元の値からref＿idx＿NEWへと修正するものとしてもよい。【００９１】
次に、参照フレーム識別子制御部６１０によって変更されたフレーム識別子は、Ｈ．２６４規格に従って可変長符号化部（ＶＬＣ）６０８により可変長符号化される（Ｓ１３１１）。フレーム内の全てのマクロブロックの符号化が完了していれば（Ｓ１３１２）、スライスヘッダ情報、ピクチャパラメータセット情報をストリームに符号化器等が付加し（Ｓ１３１３、Ｓ１３１４）、符号化対象フレームがシーケンスの最終フレームであれば（Ｓ１３１５：ＹＥＳ）、参照フレームバッファ制御部８が参照フレームバッファ制御を行う（Ｓ１３１６）。これは、前述したとおり、参照フレーム最大値（num＿ref＿frames）を変更し、参照フレーム保持区間を変更する処理である。次に、変更された参照フレーム最大値（num＿ref＿frames）を含むシーケンスパラメータセット情報を合成器７がストリームに付加する（Ｓ１３１７）。【００９２】
従来の問題として、独立に符号化した複数ストリームを合成する後に、不整合がある参照関係を設定し直すために、ストリーム操作部、バレルシフタ、ストリームの一時保持のためのバッファメモリが必要であり、それに伴う消費電力が増加するという問題がある。このデジタルカメラシステム１によれば、この問題を回避できる。すなわち、デジタルカメラシステム１における送信装置３は、参照フレーム識別子制御部６１０と、参照フレームバッファ制御部８とを備え、符号化ストリームを作成する際に、予め合成後の参照関係を、可変長符号化器を制御することにより、合成よりも前に設定する。これにより、既に符号化ストリームとして構成されたパラメータを設定し直すためのバッファメモリ、スタートコード検出器、可変長復号を行うストリーム制御部、符号化データをビットシフトするためのバレルシフタを必要としない動画像符号化装置（送信装置３）を提供することが可能となる。【００９３】
なお、上述の実施例においては、Ｈ．２６４規格に従って符号化処理を行う場合を想定して述べたが、本発明はこれに限らず、複数のピクチャを参照ピクチャとすることが可能な種々の符号化方式で符号化処理を行う場合に広く適用することができる。【００９４】
また、上述の実施例においては、各処理がハードウェアで構成され、そのハードウェアが符号化処理端末として構成される場合について述べたが、本発明ではこれに限らず、各処理がハードウェアで構成され、そのハードウェアが一つのＬＳＩとして構成される場合も考えられる。【００９５】
また、ソフトウェア処理により、ＬＳＩ内の専用デジタル信号処理プロセッサの演算処理を制御する組み込みプログラムとして構成される場合も考えられる。【００９６】
また、ソフトウェア処理により、パーソナルコンピュータ内の汎用演算処理を制御するプログラムとして構成される場合も考えられる。【００９７】
この場合、演算処理のプログラムは、光ディスク、磁気ディスク、メモリカード、ＬＳＩ内の命令メモリ等の種々の記録媒体に記録して提供してもよく、また、インターネット等のネットワークを介して提供するようにしてもよい。【００９８】
図１５は、分配器５によって分割された複数の分割シーケンスと、分割された複数の分割シーケンスが合成器７によって合成された出力シーケンス１５４とを示す図である。【００９９】
右側の分割シーケンス（分割シーケンス１５２及び分割シーケンス１５３）は、符号化器６（符号化器６Ａ）が符号化する分割シーケンス（図９のビデオデータＤＶ１Ａ、符号化データＤＳ１Ａ）である。【０１００】
分割シーケンス１５２は、可変長符号化部６０８（図９上段）によって可変長符号化される直前の分割シーケンスである。【０１０１】
分割シーケンス１５３は、可変長符号化部６０８によって可変長符号化された後の分割シーケンス（符号化データＤＳ１Ａ）である。図１５では、分割シーケンス１５３が可変長符号化されている点が、分割シーケンス１５３に付されたハッチングによって図示される。【０１０２】
出力シーケンス１５４は、図１５の右側の分割シーケンス、左側の分割シーケンス等の複数の分割シーケンスが合成器７によって合成された出力シーケンス（図９の出力シーケンスＤＳ１）である。【０１０３】
分割シーケンス１５２は、フレーム１５２０等の各フレームを有する。【０１０４】
フレーム１５２０は、分割シーケンス１５２が有する各フレームのうちの１つであり、例えば、図１０におけるframe＿n+2である。【０１０５】
フレーム１５２０は、参照フレーム識別子制御部６１０（図９上段）によって設定された参照フレーム識別子１５２０ｉを有する。【０１０６】
数直線１５１ａは、図１５右側の分割シーケンス（分割シーケンス１５２、分割シーケンス１５３）におけるインデックス、すなわちローカルなインデックスの数直線である。【０１０７】
数直線１５１ｃは、出力シーケンス１５４におけるインデックス、すなわちグローバルなインデックスの数直線である。【０１０８】
インデックスＹは、フレーム１５２０に参照されるフレームの、ローカルなインデックスである。インデックスＹは、フレーム１５２０に対して、１個のフレーム分の距離が離間したフレームを特定するインデックスである。フレーム１５２０に参照されるフレームは、フレーム１５２０に対して、１個のフレーム分の距離が離間したフレームである。インデックスＹは、図１０において、frame＿n+2のmacro＿blockから伸びる破線の矢印線によって図示される参照フレーム識別子である。【０１０９】
なお、数直線１５１ａ、数直線１５１ｃ、インデックスＹは、何れも、単なる、説明の便宜上から図示された図示物であり、デジタルカメラシステム１の一部分などではない。【０１１０】
参照フレーム識別子１５２０ｉは、インデックスＹが特定するフレームを、数直線１５１ｃにおいて特定するグローバルなインデックスを有する参照フレーム識別子である。参照フレーム識別子１５２０ｉは、図１０において、frame＿n+2のmacro＿blockから伸びる実線の矢印線、および、frame＿n+2のmacro＿blockに示される「ref＿idx=1」によって図示される。【０１１１】
分割シーケンス１５５及び分割シーケンス１５６は、例えば符号化器６Ｂなどの他の符号化器における分割シーケンスである。【０１１２】
分割シーケンス１５２および分割シーケンス１５３において、数直線１５１ａのローカルなインデックスによって、インデックスＹが特定したフレームは、出力シーケンス１５４において、数直線１５１ｃのグローバルなインデックスによって、参照フレーム識別子１５２０ｉが特定するフレームである。そして、分割シーケンス１５２および分割シーケンス１５３において、インデックスＹが特定したフレームは、フレーム１５２０によって参照されるフレームである。このため、出力シーケンス１５４の参照フレーム識別子１５２０ｉは、一々、出力シーケンス１５４が合成された後に変更されなくとも、適切な内容を有する。このため、出力シーケンス１５４が復号化器４ｍによって復号化される際には、出力シーケンス１５４のフレーム１５２０が、参照フレーム識別子１５２０ｉに基いて、復号化器４ｍによって適切に復号化される。【０１１３】
以上説明したようにして、当該動画像符号化装置（送信装置３、送信装置３のコンピュータ、送信装置３の集積回路等）に入力される入力シーケンスを、Ｎ（N≧２）本の分割シーケンス（図１５の左側の分割シーケンス、右側の分割シーケンス等）へと分割する分割部（分配器５：図９下段）と、前記分割部により分割されたＮ本の分割シーケンスを符号化するＮ個の符号化器（符号化器６Ａ〜符号化器６Ｎ：図９下段）と、Ｎ個の前記符号化器によって符号化されたＮ本の前記分割シーケンスを、１本の出力シーケンス（出力シーケンスＤＳ１、出力シーケンス１５４）へと多重化する多重化部（合成器７：図９下段）とを備え、前記出力シーケンスは、当該出力シーケンスが有する各画像のうちから１の画像をユニークに特定するインデックス（参照フレーム識別子１５２０ｉ、参照画像インデックス）が含まれ、前記出力シーケンスへと分割シーケンスが多重化されるよりも前に、前記インデックスを分割シーケンスに設定するインデックス制御部（参照フレーム識別子制御部６１０：図９下段）とを備える動画像符号化装置（送信装置３、送信装置３のコンピュータ、送信装置３の集積回路等）が構成される。【０１１４】
なお、ここで、「ユニークに」とは、インデックスによって、各画像のうちから複数の特定画像が特定されて、インデックスが複数の特定画像を各々特定するのではなく、インデックスによって各画像のうちから１つの特定画像のみが特定されて、その１つの特定画像のみがインデックスによって特定されることをいう。【０１１５】
これにより、本実施の形態の動画像符号化装置（送信装置３：図９下段参照）によれば、多重化部による多重化（重畳）の前に、インデックスが設定される。これにより、大きな処理量の処理なく、簡単な処理で、インデックスが設定できる。【０１１６】
そして、前記インデックス制御部はＮ個であり、Ｎ個の前記インデックス制御部は、それぞれ、互いに異なる前記符号化器に設けられ、当該インデックス制御部が設けられた符号化器が符号化する分割シーケンスが前記出力シーケンスへと多重化されるよりも前に、当該分割シーケンスに含まれる１の画像（参照フレーム）を特定する前記インデックス（参照フレーム識別子１５２０ｉ、参照画像インデックス）を当該分割シーケンスに設定し、前記多重化部は、第ｔの前記符号化器（１≦ｔ≦N）が符号化した分割シーケンスの第ｓ番目の順番の画像（Sは整数）が、第（ｓ×N＋ｔ＋Ａｔ）番目（Ａｔ（１≦ｔ≦N）は予め定められた整数）の順番である出力シーケンスへと、Ｎ個の前記分割シーケンスを多重化し（図１５参照）、第ｔの前記符号化器（１≦ｔ≦N）に設けられた第ｔの前記インデックス制御部（１≦ｔ≦N）は、当該画像が分割シーケンスに含まれる順番ｓと前記ｔとに対して、（ｓ×N＋ｔ＋Ａｔ）なる順番のインデックスを設定する動画像符号化装置が構成される。【０１１７】
なお、先述したよう、ref＿idx＿NEW、及び、ref＿idx＿OLDは、「ref＿idx＿NEW  =  (ref＿idx＿OLD+1)*N-1」なる関係を有する。【０１１８】
そして、前記分割部は、例えば、デジタルカメラシステム１が高速撮影をするか、通常速度の撮影をするかなどに応じて、Ｎ以下の各値（１〜Ｎ）のうちから選択値を選択して、選択された前記選択値の本数の分割シーケンスへと前記入力シーケンスを分割し、Ｎ個の前記符号化器は、Ｎ個の当該符号化器のうちで前記選択値の個数の符号化器によって、前記分割部により分割された前記選択値の本数の分割ストリームを符号化し、前記多重化部は、当該選択値の個数の前記符号化器により符号化された、当該選択値の本数の前記分割シーケンスを、１本の出力シーケンスへと多重化し、前記インデックス制御部はＮ個であり、Ｎ個の前記インデックス制御部は、それぞれ、互いに異なる前記符号化器に設けられ、当該インデックス制御部が設けられた前記符号化器が、前記選択値の個数の符号化器に含まれる場合に、当該符号化器が符号化する分割シーケンスが前記出力シーケンスへと多重化されるよりも前に、当該分割シーケンスに含まれる１の画像を特定する前記インデックスを、当該分割シーケンスに設定する動画像符号化装置が構成される。【０１１９】
なお、前記分割部は、例えば、高速撮影をする場合には、通常速度の撮影をする場合に選択する通常選択値よりも大きい値の高速撮影用の選択値を選択する。【０１２０】
そして、当該動画像符号化装置は集積回路（送信装置３が備える集積回路）であり、当該集積回路は、動画像を撮像する撮像装置（デジタルカメラシステム１）に設けられ、当該撮像装置により撮像された前記動画像を表す入力シーケンスが当該集積回路に入力され、前記撮像装置は、単位時間に有する画像の個数が、第１の動画像の個数（例えば６０）よりも多い第２の動画像（例えば６０×Ｎ個の個数）と、前記第１の動画像とを撮像し、前記分割部は、前記撮像装置によって前記第２の動画像が撮像される場合、前記撮像装置によって前記第１の動画像が撮像される場合に選択する第１の選択値（例えば１）よりも大きい第２の選択値（例えばＮ）を選択する動画像符号化装置が構成される。【０１２１】
そして、前記出力シーケンスは、当該出力シーケンスを動画像復号化装置が復号化する際に、当該動画像復号化装置が、前記インデックスにより特定される画像を記憶するバッファ（DPB: Decoded Picture Buffer）の大きさを指定するバッファ情報（参照フレーム最大値（num＿ref＿frames））を含み、前記バッファ情報を前記出力シーケンスに設定するバッファ情報制御部（参照フレームバッファ制御部８：図９下段）を備える動画像符号化装置が構成される。【０１２２】
そして、前記出力シーケンスは、当該出力シーケンスを動画像復号化装置が復号化する際に、当該動画像復号化装置が、前記インデックスにより特定される画像を記憶するバッファの大きさを指定するバッファ情報を含み、前記バッファ情報を前記出力シーケンスに設定するバッファ情報制御部を備え、前記バッファ情報制御部は、前記インデックスを設定する前記インデックス制御部の個数たる前記選択値が多いほど、より大きい大きさを指定する前記バッファ情報を前記出力シーケンスに設定する動画像符号化装置が構成される。【０１２３】
そして、Ｎ個の前記符号化部は、それぞれ、当該符号化部に設けられた前記インデックス制御部と、前記出力シーケンスが動画像復号化装置（復号化器４ｍ）によって復号化される際に、当該符号化部で設定された前記インデックスが当該動画像復号化装置に必要になる符号化を当該分割ストリームに行うインデックス必要符号化部（前段符号化部：直交変換部（Ｔ）６０１、量子化部（Ｑ）６０２、逆量子化部（Ｑ−１）６０３、逆直交変換部（Ｔ−１）６０４、デブロックフィルタ部（ＤＢＦ）６０５、フレームメモリ（FM）６０９、動き探索部（ＭＥ）６０６、イントラ予測部（ＩＮＴＲＡ）６０７、）と、前記インデックス必要符号化部により符号化された前記分割ストリームを可変長符号化する可変長符号化部（可変長符号化部６０８）とを備え、当該インデックス制御部は、前記可変長符号化部によって可変長符号化される前の前記分割ストリームに前記インデックスを設定する動画像符号化装置が構成される。【０１２４】
そして、前記インデックス必要符号化部は、過去の画像の周波数係数値が量子化された量子化値を周波数係数値へと逆量子化する逆量子化部（逆量子化部（Ｑ−１）６０３）と、前記逆量子化部により逆量子化された前記周波数係数値に基いて、当該周波数係数値が示す前記過去の画像を算出する逆直交変換処理部（逆直交変換部（Ｔ−１）６０４）と、前記逆直交変換処理部により算出された前記過去の画像にデブロッキングフィルタ処理を行うデブロッキングフィルタ部（デブロックフィルタ部（ＤＢＦ）６０５）と、前記デブロッキングフィルタ部によりデブロッキングフィルタ処理された前記過去の画像から、現在の画像の推定画像を算出する推定部（イントラ予測部（ＩＮＴＲＡ）６０７）と、前記現在の画像と、前記推定部により算出された前記推定画像との差分を周波数係数値に変換する直交変換部（直交変換部（Ｔ）６０１）と、前記直交変換部により変換された前記周波数係数値を量子化値へと量子化する量子化部（量子化部（Ｑ）６０２）とを備え、前記可変長符号化部（可変長符号化部（ＶＬＣ）６０８）は、前記量子化部により量子化された前記量子化値を含んだ符号化情報を可変長符号化し、前記インデックス制御部は、前記過去の画像を特定するインデックスを、前記可変長符号化部によって可変長符号化される前記符号化情報に設定して、当該インデックスが設定された前記符号化情報を前記可変長符号化部に可変長符号化させる動画像符号化装置が構成される。【０１２５】
そして、前記出力シーケンス（図９の出力シーケンスＤＳ１、図１５の出力シーケンス１５４）は、前記入力シーケンス（図９の入力シーケンスＤＶ１）に対して、Ｈ．２６４符号化規格による符号化がされたシーケンスである動画像符号化装置が構成される。
【産業上の利用可能性】
【０１２６】
本発明に係る動画像符号化装置は、例えば、Ｈ．２６４符号化を用いて高速度撮影画像の符号化処理を行う撮影システムとして有用である。【０１２７】
当該動画像符号化装置で行われる処理が簡単な動画像符号化装置を提供できる。
【図１】
2009078150.tif 000003
【図２】
2009078150.tif 000004
【図３】
2009078150.tif 000005
【図４】
2009078150.tif 000006
【図５】
2009078150.tif 000007
【図６】
2009078150.tif 000008
【図７】
2009078150.tif 000009
【図８】
2009078150.tif 000010
【図９】
2009078150.tif 000011
【図１０】
2009078150.tif 000012
【図１１】
2009078150.tif 000013
【図１２】
2009078150.tif 000014
【図１３】
2009078150.tif 000015
【図１４】
2009078150.tif 000016
【図１５】
2009078150.tif 000017
【手続補正書】
【提出日】平成21年5月29日(2009.5.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高速度で入力される撮影画像を処理するために、入力シーケンスを時間方向にＮフレーム毎に分割したＮ本の分割シーケンスに対して、Ｎ系統の符号化回路を用いて並列に符号化を行い、出力されるＮ系統の符号化ストリームをフレーム単位で入力順に重畳する並列符号化装置に関するものである。
【背景技術】
【０００２】
図１〜図７を用いて、従来システムの動作を説明する。
【０００３】
図１は、特許文献１に記載された従来の動画伝送システムＸ１の構成を示す。従来の動画像伝送システムＸ１は、送信装置Ｘ３と、受信装置Ｘ４とを備える。
【０００４】
図１において、動画伝送システムＸ１は、通信路Ｘ２を介して送信装置Ｘ３から受信装置Ｘ４に高フレームレートの動画像を配信する。ここで送信装置Ｘ３は、Ｈ．２６４符号化方式が適用されている。
【０００５】
この送信装置Ｘ３は、入力ビデオデータＸＤＶ１を、ピクチャ単位で順次循環的に振り分けて時間軸伸張し、複数系統のビデオデータＸＤＶ１Ａ、ＸＤＶ１Ｂ、…、ＸＤＶ１Ｎを生成する。また、送信装置Ｘ３は、各系統のビデオデータＸＤＶ１Ａ、ＸＤＶ１Ｂ、…、ＸＤＶ１Ｎを、それぞれ符号化器Ｘ６Ａ〜Ｘ６Ｎで符号化処理した後、時間軸圧縮して１系統に合成する。送信装置Ｘ３は、この合成した符号化データＸＤＳ１を図示しない通信部を介して通信路Ｘ２に送出する。
【０００６】
すなわち送信装置Ｘ３において、分配器Ｘ５は、入力ビデオデータＸＤＶ１の各ピクチャを順次循環的に振り分けて時間軸伸張し、複数系統のビデオデータＸＤＶ１Ａ、ＸＤＶ１Ｂ、…、ＸＤＶ１Ｎを出力する。具体的に、分配器Ｘ５は、入力ビデオデータＸＤＶ１のｍ番目のピクチャを第１番目の系統のビデオデータＸＤＶ１Ａに振り分けると、続くｍ＋１番目のピクチャを続く第２番目の系統のビデオデータＸＤＶ１Ｂに振り分ける。また、分配器Ｘ５は、さらに続くｍ＋２番目のピクチャを、続く第３番目の系統のビデオデータＸＤＶ１Ｃに振り分ける。
【０００７】
符号化器Ｘ６Ａ〜Ｘ６Ｎは、それぞれＨ．２６４に従って各系統のビデオデータＸＤＶ１Ａ、ＸＤＶ１Ｂ、…、ＸＤＶ１Ｎを符号化処理し、符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、…、ＸＤＳ１Ｎを出力する。
【０００８】
合成器Ｘ７は、符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、…、ＸＤＳ１Ｎを時間軸圧縮した後、分配器Ｘ５における入力ビデオデータＸＤＶ１の振り分けに対応するように、ピクチャ単位で、順次循環的に選択し、これら複数の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、…、ＸＤＳ１Ｎを１系統の符号化データＸＤＳ１に合成する。さらに合成器Ｘ７は、この、１系統の符号化データＸＤＳ１に設定された各ピクチャの関係を示す情報を設定し直し、又は事前に複数系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、…、ＸＤＳ１Ｎに設定された各ピクチャの関係を示す情報を設定し直し、合成した１系統の符号化データＸＤＳ１をＨ．２６４符号化規格に従った１台の復号化装置で復号化できるようにする。
【０００９】
合成器Ｘ７は、この各ピクチャの関係を示す情報として、各ピクチャを特定するフレーム識別子(frame＿num)を設定し直し、合成した符号化データＸＤＳ１で各ピクチャを特定できるようにする。すなわちＨ．２６４では、各ピクチャに固有の識別子であるフレーム識別子(frame＿num)が、各アクセスユニット（AccessUnit）のスライスヘッダ（SliceHeader）に設定され、このフレーム識別子(frame＿num)で各ピクチャが特定される。従ってＨ．２６４符号化規格に従った符号化器Ｘ６Ａ〜Ｘ６Ｎでそれぞれ符号化処理した符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、…、ＸＤＳ１Ｎは、それぞれ各符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、…、ＸＤＳ１Ｎで固有のフレーム識別子(frame＿num)が各ピクチャに設定されていることになる。
【００１０】
合成器７は、合成した１系統の符号化データＸＤＳ１で、ピクチャ毎に、連続して値が変化するように、フレーム識別子(frame＿num)を設定し直し、各符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂ、 …、ＸＤＳ１Ｎで固有のフレーム識別子(frame＿num)を、１系統の符号化データＸＤＳ１で固有のフレーム識別子(frame＿num)に設定し直す。
【００１１】
図２は、２系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂを合成する場合を例にとって、この、合成器Ｘ７（図１）におけるフレーム識別子(frame＿num)の設定を示す略線図である。
【００１２】
この図２の例では、１系統の符号化データＸＤＳ１Ａの各ピクチャに、値ＡＵｎ、値ＡＵｎ＋１、値ＡＵｎ＋２、…の連続するフレーム識別子(frame＿num)が順次設定され（図２上段）、残り１系統の符号化データＸＤＳ１Ｂの各ピクチャに、値ＡＵｍ、値ＡＵｍ＋１、値ＡＵｍ＋２、…の連続するフレーム識別子(frame＿num)が順次設定されている（図２中段）。
【００１３】
合成器Ｘ７は、矢印で示すように、２系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂの各ピクチャが交互に連続するように、この２系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂを合成して１系統の符号化データＸＤＳ１を生成する（図２下段）。また、合成器Ｘ７は、値ＡＵｎ、値ＡＵｎ＋１、値ＡＵｎ＋２、値ＡＵｎ＋３、値ＡＵｎ＋４、で示すように、ピクチャ単位で、各ピクチャのフレーム識別子(frame＿num)が順次連続するように、フレーム識別子(frame＿num)を設定し直す。
【００１４】
また合成器Ｘ７は、各ピクチャの関係を示す情報として、参照ピクチャを特定する参照ピクチャリスト(Reference Picture List：ref＿pic＿list）を設定し直し、合成した符号化データＸＤＳ１で正しく参照関係を特定できるようにする。
【００１５】
すなわち、Ｈ．２６４では、参照フレーム識別子（ref＿idx）及び参照ピクチャリスト（ref＿pic＿list）で、各マクロブロックが参照する参照フレームが特定される。
【００１６】
図３は、参照ピクチャリストＸＬの構造を説明する概略図である。
【００１７】
図３に示すように、参照ピクチャリストＸＬ（ref＿pic＿list）は、過去複数枚の参照フレーム識別子（ref＿idx）と、各参照フレーム識別子（ref＿idx）に対応するフレーム識別子（frame＿num）とを有するリストであり、スライスヘッダ（SliceHeader）に設けられる。Ｈ．２６４の符号化装置、復号化装置では、この参照ピクチャリストＸＬ（ref＿pic＿list）に設定されたフレーム識別子（frame＿num）のピクチャが、参照ピクチャ用のバッファＸＢ（Decoded Picture Buffer）に格納されて他のピクチャの符号化、復号化に使用される。
【００１８】
各マクロブロックＸＭ（ＭacroＢlock）には、参照ピクチャリストＸＬ（ref＿pic＿list）に設定された参照フレーム識別子（ref＿idx）の中から、参照ピクチャに対応する参照フレーム識別子（ref＿idx）が設定される。
【００１９】
従って図３に示す例では、マクロブロックＸＭ（ＭacroＢlock）に値１の参照フレーム識別子（ref＿idx）が設定され（ref＿idx=1）、参照ピクチャリストＸＬ（ref＿pic＿list）にはこの値１の参照フレーム識別子（ref＿idx）に値ｎ＋１のフレーム識別子（frame＿num）が設定されていることから、このマクロブロックＸＭ（ＭacroＢlock）は、バッファＸＢ（DecodedPictureBuffer）に保持したフレーム識別子（frame＿num）が値ｎ＋１のピクチャを参照していることが判る。
【００２０】
図４は、動画像符号化装置（送信装置Ｘ３）における参照関係を説明する概略図である。
【００２１】
ここで２系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂを合成する場合を例にとって図４に示すように、複数系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂをピクチャ単位で選択して１系統に合成する場合、連続するピクチャ間で参照関係が変化することになる。なお、ここで図４では、符号frame＿n〜frame＿n+3、frame＿m〜frame＿m+3でそれぞれピクチャを示し、各ピクチャ間の参照関係を矢印線で示す。従って、この図４の場合、２系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂでは、各ピクチャがそれぞれ直前ピクチャを参照していることが示されている。この２系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂを１系統に合成すると、各ピクチャは、それぞれ１つのピクチャを間に挟んだ前方ピクチャを参照することになり、各系統の符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂに設定されている参照関係の情報では、正しく参照関係を表すことが困難になる。つまり、各符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂが、符号化データＸＤＳ１に合成された後には、各符号化データＸＤＳ１Ａ、ＸＤＳ１Ｂに設定されている参照関係の情報は、正しい参照関係ではない参照関係、すなわち誤った参照関係を表す。
【００２２】
図５、図６は、図４に示す合成前ストリームＸＤＳ１Ａ、合成後ストリームＸＤＳ１それぞれの参照関係を、参照ピクチャリストの状態遷移とともに表したものである。
【００２３】
図５において、各フレームの参照フレーム識別子（ref＿idx）は、常に値０を保持している。合成器７では、各マクロブロックから参照する参照フレーム識別子（ref＿idx）は設定し直さないため、スライスヘッダ（SliceHeader）情報を設定し直す必要がある。
【００２４】
そこで合成器Ｘ７は、図６に示すように、１系統に合成した符号化データＸＤＳ１で、正しく参照関係を指示できるように、スライスヘッダ（SliceHeader）に設けられた参照ピクチャリスト（ref＿pic＿list）のフレーム識別子（frame＿num）を設定し直す。具体的に、合成器Ｘ７は、上述したフレーム識別子（frame＿num）の設定に対応するように、参照ピクチャリスト（ref＿pic＿list）のフレーム識別子（frame＿num）を設定し直す。
【００２５】
図７は、一般的なＨ．２６４符号化規格の符号化ストリームの構成を示した図である。
【００２６】
合成器７は、スライスヘッダ（SliceHeader）内に存在するフレーム識別子（frame＿num）、参照ピクチャリスト（ref＿pic＿list＿reordering）を設定し直す。その結果、スライスデータ（SliceData）内に存在する（実際はマクロブロックデータ毎に存在する）参照フレーム識別子（ref＿idx）を設定し直す必要がない。
【先行技術文献】
【特許文献】
【００２７】
【特許文献１】特開２００７−２０２０２６号公報
【発明の概要】
【発明が解決しようとする課題】
【００２８】
しかしながら、前記特許文献１で実施されている従来の構成では、各符号化器Ｘ６Ａ〜Ｘ６Ｎで符号化された符号化データＸＤＳ１Ａ〜ＸＤＳ１Ｎは、既にアクセスユニット（AccessUnit）として構成された符号化データであり、図７で示したとおり、スライスヘッダ（SliceHeader）シンタックスとしてフレーム識別子（frame＿num）、マクロブロック（macroblock）シンタックスとして参照フレーム識別子（ref＿idx）が可変長符号化されている。合成器Ｘ７においてスライスヘッダ（SliceHeader）に設定されているフレーム識別子（frame＿num）を設定し直すためには、符号化データ内のスライスヘッダ先頭を検出し、スライスヘッダ以降の可変長符号化された符号化パラメータを可変長復号しながらフレーム識別子（frame＿num）を検出し、設定し直すフレーム識別子を可変長符号化してフレーム識別子を置換する必要がある。また、設定し直すフレーム識別子の可変長符号化データのビット長が変化する場合、設定し直したフレーム識別子以降のビット位置がずれるため、符号化データをビットシフトしながら符号化データを再構成する必要がある。更に、参照ピクチャリスト（ref＿pic＿list＿reordering）を設定し直す必要があるため、そのシンタックスの出現位置まで、可変長符号化された符号化ストリームを可変長復号する必要がある。そのため、各符号化器Ｘ６Ａ〜Ｘ６Ｎの後段、若しくは、合成器Ｘ７に符号化データを一旦保持するためのバッファメモリと、スタートコード検出、可変長復号処理を行うストリーム操作部、符号化データをビットシフトするためのバレルシフタが必要であり、ハードウェア資源の増加と、それに伴う消費電力が増加するという課題を有している。
【００２９】
また、Ｈ．２６４符号化規格においては、参照可能フレーム枚数（num＿ref＿frames）を指定することが可能で、その最大値は１６枚と規定されている。但し、参照可能フレーム枚数（num＿ref＿frames）は各符号化器Ｘ６Ａ〜Ｘ６Ｎの参照フレームを保持するためのバッファ容量を規定するもので、１６枚以下に制限される場合が多い。そのため、符号化時に参照可能フレーム枚数が制限された場合、１系統に合成された符号化データＸＤＳ１において、参照フレームを保持するためのバッファ容量が不足し、参照フレームが既にバッファ領域から破棄され、参照すべきフレームデータがバッファ内に存在しない場合が発生するという課題を有していた。
【００３０】
本発明は、前記従来の課題を解決するもので、合成後のフレームの参照関係の互換性を保つために、予め符号化ストリーム作成時に可変長符号化器を制御することにより、既に符号化ストリームとして構成されたパラメータを設定し直すためのバッファメモリ、スタートコード検出器、可変長復号を行うストリーム制御部、符号化データをビットシフトするためのバレルシフタを必要としない動画像符号化装置を提供することを目的とする。また、これより、行われる処理が比較的簡単である動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００３１】
本発明は以上の点を考慮してなされたもので、本発明の第１の動画像符号化装置は、当該動画像符号化装置に入力される入力シーケンスを、Ｎ（Ｎ≧２）本の分割シーケンスへと分割する分割部と、前記分割部により分割されたＮ本の分割シーケンスを符号化するＮ個の符号化器と、Ｎ個の前記符号化器によって符号化されたＮ本の前記分割シーケンスを、１本の出力シーケンスへと多重化する多重化部とを備え、前記出力シーケンスは、当該出力シーケンスが有する各画像のうちから１の画像をユニークに特定するインデックスが含まれ、前記出力シーケンスへと分割シーケンスが多重化されるよりも前に、当該分割シーケンスに前記インデックスを設定するインデックス制御部を備える動画像符号化装置である。
【００３２】
また、第２の動画像符号化装置は、入力画像をＮ枚おきに選択した入力シーケンスＮ本をＮ個の符号化回路で符号化する装置であって、入力画像と過去に符号化した複数の画像から動きを推定して動きベクトル情報と差分ブロックを取得する動き推定手段と、前記動き推定手段によって推定されたブロックとの差分を周波数係数値に変換する直交変換手段と、前記直交変換手段で変換された周波数係数値を量子化する量子化手段と、前記量子化手段で量子化された量子化値を逆量子化する逆量子化手段と、前記逆量子化手段で逆量子化された量子化係数を画素値に変換する逆直交変換手段と、前記逆直交変換手段で変換された画素値にフィルタ処理を行うデブロックフィルタ手段と、前記量子化手段で量子化された係数値、前記動き推定手段で算出した動きベクトル値、及び、参照画像インデックスを含む符号化情報を符号化する可変長符号化手段と、前記動き推定手段で取得した参照画像インデックスを変更する参照インデックス情報制御手段と、入力シーケンス全体の符号化情報とＮ個の符号化回路から生成される符号化ストリームを入力順に重畳する多重化手段とを有することを特徴とする動画像符号化装置である。
【００３３】
ここで、第２の動画像符号化装置は、参照フレーム識別子制御手段を備える。
【００３４】
この構成において、符号化データ作成時に参照フレーム識別子を符号化ストリームに挿入することが可能となる。
【００３５】
また、第３の動画像符号化装置は、前記多重化手段により重畳される入力シーケンス全体の符号化情報の構成要素である参照画像バッファ情報を変更する参照画像バッファ情報制御手段を有することを特徴とする第２の動画像符号化装置である。
【００３６】
ここで、第３の動画像符号化装置は、参照画像バッファ情報制御手段を備える。
【００３７】
この構成において、符号化データ作成時に参照可能フレーム枚数（参照フレームバッファ情報）を符号化ストリームに挿入することが可能となる。
【００３８】
また、この第２の動画像符号化装置の各ステップを備える方法により、符号化データ作成時に参照フレーム識別子を符号化ストリームに挿入する符号化方法を提供することが可能となる。
【００３９】
また、この第３の動画像符号化装置の各ステップを備える方法により、符号化データ作成時に参照可能フレーム枚数（参照フレームバッファ情報）を符号化ストリームに挿入する符号化方法を提供することが可能となる。
【００４０】
また、この第２の動画像符号化装置の各ステップをコンピュータに実現するためのプログラムにより、符号化データ作成時に参照フレーム識別子を符号化ストリームに挿入する符号化方法のプログラムを提供することが可能となる。
【００４１】
また、この第３の動画像符号化装置の各機能をコンピュータに実現するためのプログラムにより、符号化データ作成時に参照可能フレーム枚数（参照フレームバッファ情報）を符号化ストリームに挿入する符号化方法のプログラムを提供することが可能となる。
【００４２】
ここで、第２の動画像符号化装置の動画像符号化方法のプログラムを記録した記録媒体は、参照フレーム識別子制御ステップを備える方法のプログラムを記録した記録媒体である。
【００４３】
この記録媒体により、符号化データ作成時に参照フレーム識別子を符号化ストリームに挿入する符号化方法のプログラムを記録した記録媒体を提供することが可能となる。
【００４４】
ここで、第３の動画像符号化装置の動画像符号化方法のプログラムを記録した記録媒体は、参照フレームバッファ制御ステップを備える方法を記録した記録媒体である。
【００４５】
この構成において、符号化データ作成時に参照可能フレーム枚数（参照フレームバッファ情報）を符号化ストリームに挿入する符号化方法のプログラムを記録した記録媒体を提供することが可能となる。
【発明の効果】
【００４６】
本発明の動画像符号化装置によれば、符号化ストリームのパラメータを、設定し直すことなく、独立に符号化した複数ストリームを合成した場合の参照関係の互換性を保つことができる。また、これにより、行われる処理が比較的簡単である動画像符号化装置を提供できる。
【図面の簡単な説明】
【００４７】
【図１】図１は、従来の動画像伝送システムのブロック図である。
【図２】図２は、図６の動画像符号化システムにおける符号化データの合成処理を説明する概略図である。
【図３】図３は、参照ピクチャリストの構造を説明する概略図である。
【図４】図４は、動画像符号化装置における参照関係を説明する概略図である。
【図５】図５は、図９における参照関係を参照フレームバッファの状態遷移で説明する概略図である。
【図６】図６は、従来の符号化システムにおける参照フレームバッファの状態遷移を説明する概略図である。
【図７】図７は、Ｈ．２６４符号化規格におけるスライス層シンタックスを説明する概略図である。
【図８】図８は、本発明の実施の形態におけるデジタルカメラセットのブロック図である。
【図９】図９は、本発明の実施の形態における動画像伝送システムのブロック図である。
【図１０】図１０は、本発明の実施の形態における参照フレームバッファの状態遷移を説明する概略図である。
【図１１】図１１は、本発明の実施の形態における参照フレームバッファの状態遷移を説明する概略図である。
【図１２】図１２は、本発明の実施の形態における参照フレームバッファの状態遷移を説明する概略図である。
【図１３】図１３は、本発明の実施の形態における参照フレームバッファの状態遷移を説明する概略図である。
【図１４】図１４は、本発明の実施の形態における参照フレーム識別子制御のフロー図である。
【図１５】図１５は、分割シーケンスと、出力シーケンス１５４とを示す図である。
【発明を実施するための形態】
【００４８】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００４９】
（実施の形態）
以下、実施の形態が詳しく説明される。
【００５０】
図８は、デジタルカメラシステム１のブロック図である。
【００５１】
デジタルカメラシステム１は、図８に示されるように、光学レンズ１４０１と、撮像素子（イメージセンサー）１４０２と、撮像素子１４０２から光電変換によって得られるセンサ画像（RAWデータ）をＹＵＶフォーマットデータＤＶ１に変換するプレ処理用の画像処理プロセッサ１４０３と、画像処理プロセッサ１４０３から送出されるＹＵＶフォーマットデータを符号化する送信装置３とを備える。
【００５２】
光学レンズ１４０１は、デジタルカメラシステム１が撮像する動画像の像を、撮像素子１４０２上に形成する。
【００５３】
撮像素子１４０２は、光学レンズ１４０１により形成された像の電気信号を生成する。そして、撮像素子１４０２は、生成された電気信号を画像処理プロセッサ１４０３へ出力して、デジタルカメラシステム１が撮像する動画像を画像処理プロセッサ１４０３に入力する。そして、より具体的には、撮像素子１４０２は、例えばテレビ放送のフレームレートなどの通常のフレームレートよりも高いフレームレートでの動画像の電気信号を生成して、高いフレームレートの動画像を画像処理プロセッサ１４０３に入力する。
【００５４】
画像処理プロセッサ１４０３は、入力される動画像の画像処理を行い、画像処理をした動画像を送信装置３へ出力する。
【００５５】
送信装置３は、画像処理プロセッサ１４０３から送信装置３に出力された動画像の入力シーケンスＤＶ１（図８）に基いて、入力シーケンスＤＶ１がＨ．２６４符号化方式により符号化された出力シーケンスＤＳ１（図９）を生成し、生成された出力シーケンスＤＳ１を、通信路２（図９）を介して受信装置４へ送信する。
【００５６】
図９は、本発明の実施の形態におけるデジタルカメラシステム１の詳細な構成を示すブロック図である。
【００５７】
図９の下段は、デジタルカメラシステム１が有する送信装置３（図８）の詳細な構成を示す。
【００５８】
図９の下段に示すように、デジタルカメラシステム１は、通信路２を介して送信装置３から受信装置４に高フレームレートの動画像を配信する。デジタルカメラシステム１および受信装置４の全体により、動画像伝送システムが構成される。
【００５９】
なお、受信装置４は、復号化器４ｍを備える。復号化器４ｍは、受信装置４によって受信された、送信装置３が送信した出力シーケンスＤＳ１を復号化する。具体的には、復号化器４ｍは、受信された出力シーケンスＤＳ１に対して、Ｈ．２６４符号化方式における復号化を行う。受信装置４は、復号化器４ｍによって、受信した出力シーケンスＤＳ１を復号化する。
【００６０】
送信装置３は、分配器５と、複数の符号化器（符号化器６Ａ〜符号化器６Ｎ）と、合成器７と、参照フレームバッファ制御部８とを備える（図９下段）。なお、これら分配器５等は、例えば、送信装置３が備える集積回路に実装された機能ブロックである。また、例えば、これら分配器５等は、送信装置３が備えるコンピュータがソフトウェアを実行することによってそのコンピュータに実現する機能の機能ブロックである。
【００６１】
分配器５は、入力ビデオデータ（入力シーケンス）ＤＶ１の各ピクチャを順次循環的に振り分けて時間軸伸張し、複数系統のビデオデータＤＶ１Ａ、ＤＶ１Ｂ、…、ＤＶ１Ｎを出力する。分配器５は、これら複数系統のビデオデータＤＶ１Ａ、ＤＶ１Ｂ、…、ＤＶ１Ｎを、符号化器６Ａ〜符号化器６Ｎへと出力する。
【００６２】
複数の符号化器（符号化器６Ａ〜符号化器６Ｎ）は、それぞれ、分配器５によって分割されたビデオデータＤＶ１Ａ〜ビデオデータＤＶ１Ｎが分配器５から入力される。符号化器６Ａ〜符号化器６Ｎは、それぞれ、その符号化器に入力されたビデオデータ（ビデオデータＤＶ１Ａ〜ビデオデータＤＶ１Ｎ）を符号化する。符号化器６Ａ〜符号化器６Ｎによって符号化された後のビデオデータＤＶ１Ａ〜ビデオデータＤＶ１Ｎは、それぞれ、符号化データＤＳ１Ａ〜ＤＳ１Ｎと呼ばれる。
【００６３】
なお、入力ビデオデータＤＶ１は、符号化器６Ａ〜符号化器６Ｎによって符号化されるＮ個の分割シーケンスへと分配器５によって分割される。分割された各分割シーケンスは、符号化器６Ａ〜符号化器６Ｎによって符号化され、符号化された後の各分割シーケンスが、合成器７へと、符号化器６Ａ〜符号化器６Ｎから各々出力される。
【００６４】
なお、分配器５によって分割されたＮ個の分割シーケンスは、いずれも、入力ビデオデータＤＶ１のフレームレートよりも低いフレームレートを有する。例えば、入力ビデオデータＤＶ１のフレームレートよりも、Ｎ倍遅いフレームレートを有する。具体的には、例えば、これらＮ個の分割シーケンスのフレームレートは、テレビ放送のフレームレートと同じである。
【００６５】
図９の上段は、符号化器６の詳細な構成を示す。
【００６６】
符号化器６は、符号化器６Ａ〜符号化器６Ｎ（図９下段）のうちの１つである。例えば、符号化器６は、符号化器６Ａである。そして、符号化器６Ｂ〜６Ｎの詳細な構成は、符号化器６（符号化器６Ａ）の詳細な構成（図９上段）と同じである。
【００６７】
符号化器６は、直交変換部（Ｔ）６０１と、量子化部（Ｑ）６０２と、逆量子化部（Ｑ−１）６０３と、逆直交変換部（Ｔ−１）６０４と、デブロックフィルタ部（ＤＢＦ）６０５と、フレームメモリ（FM）６０９と、イントラ予測部（ＩＮＴＲＡ）６０７と、動き探索部（ＭＥ）６０６と、可変長符号化部（ＶＬＣ）６０８と、参照フレーム識別子制御部６１０とを備える。以下、直交変換部（Ｔ）６０１〜動き探索部６０６の全体が、前段符号化部と呼ばれる。符号化器６は、前段符号化部と、可変長符号化部（ＶＬＣ）６０８と、参照フレーム識別子制御部６１０とを備える。
【００６８】
なお、符号化器６を構成している前段符号化部（直交変換部（Ｔ）６０１、量子化部（Ｑ）６０２、逆量子化部（Ｑ−１）６０３、逆直交変換部（Ｔ−１）６０４、デブロックフィルタ部（ＤＢＦ）６０５、フレームメモリ（ＦＭ）６０９は、イントラ予測部（ＩＮＴＲＡ）６０７、動き探索部（ＭＥ）６０６）と、可変長符号化部（ＶＬＣ）６０８とは、一般的なＨ．２６４符号化処理における機能と同一の機能を有する。これら前段符号化部、可変長符号化部は、これらに対応する所定の公知技術が用いられたものでもよい。これら前段符号化部と、可変長符号化部とは、図１４の説明において簡単なフローチャートでの処理の流れが説明される。
【００６９】
参照フレーム識別子制御部６１０、参照フレームバッファ制御部８については図１０〜図１３が参照されて、最初に詳しく説明される。
【００７０】
合成器７（図９下段）は、符号化器６Ａ〜符号化器６Ｎが符号化した符号化データＤＳ１Ａ、ＤＳ１Ｂ、…、ＤＳ１Ｎを時間軸圧縮した後、分配器５における入力ビデオデータＤＶ１の振り分けに対応するように、ピクチャ単位で、順次循環的に、時間軸圧縮した符号化データＤＳ１Ａ、ＤＳ１Ｂ、…、ＤＳ１Ｎを選択する。そして、合成器７は、これら複数の符号化データＤＳ１Ａ、ＤＳ１Ｂ、…、ＤＳ１Ｎを、１系統の符号化データＤＳ１に合成する。合成された符号化データＤＳ１は、送信装置３によって、受信装置４へと送信される。
【００７１】
図１０は、符号化器６（図９上段、符号化器６Ａ）によって出力される符号化データＤＳ１Ａを示す図である。
【００７２】
図１１は、符号化データＤＳ１Ａ（図１０）等が合成器７によって合成された符号化データＤＳ１（図９下段）を示す図である。
【００７３】
図１０、図１１を用いて、参照フレーム識別子制御部６１０（図９の上段）の動作が説明される。
【００７４】
参照フレーム識別子制御部６１０（図９上段）は、符号化データＤＳ１（図９下段、図１１）が有する各フレームのうちから１のフレームをユニークに特定するグローバルなインデックスを、ビデオデータＸＤＶ１Ａに設定する。
【００７５】
図１０は、符号化器６（符号化器６Ａ）が、図１０の符号化ストリームＤＳ１Ａを作成した際の参照ピクチャリストを表したものである。
【００７６】
また、図１１においては、符号化器をＮ系統（２系統）用いて合成した例が示される。図１１では、Ｎが２である場合が例示される。符号化器をＮ系統にした場合の参照フレーム関係は、Ｎ−１フレーム（１フレーム）離間した参照関係を持つことになる。
【００７７】
図１０において、frame＿n+2に参照されるフレームは、frame＿n+1であり、通常、参照ピクチャリストの参照フレーム識別子の一番小さい値のフレームから順に、各フレームが参照される。つまり、frame＿n+2の参照フレーム識別子（ref＿idx）は０である。図１０では、frame＿n+2のref＿idxが０であることが、frame＿n+2から延びる破線の矢印線によって図示される。しかし、このまま、つまり、ref＿idxが０のまま、符号化を行ってしまうと、合成器７によって合成された符号化データＤＳ１（図１１）が、正しく参照を表すことが不可能である。そこで、合成した後の符号化データＤＳ１が、Ｎ−１フレーム（１フレーム）離間した参照関係を持つことから、あらかじめ、符号化器６（符号化器６Ａ）が符号化する際に、符号化器６（符号化器６Ａ）の参照フレーム識別子制御部６１０が、離間した参照関係になるように参照フレーム識別子（ref＿idx）を制御して、符号化を行う。つまり、本来の破線の矢印線（図１０）で示した参照フレーム関係を、参照フレーム識別子制御部６１０が、実線の矢印線で示した参照フレーム関係に置き換える。これにより、例えば、図１０のframe＿n+2の「ref＿idx=1」に示されるように、frame＿n+2のref＿idxは、０から１に置き換えられる。
【００７８】
なお、具体的には、たとえば、参照フレーム識別子制御部６１０は、置き換える前の値を設定した後に、置き換えた後の値を設定して、文字通り置き換えを行うものとしてもよい。また、参照フレーム識別子制御部６１０は、一々、置き換える前の値を設定することはなく、すぐに置き換えた後の値を設定するものとしてもよい。
【００７９】
なお、参照フレーム識別子は、その参照フレーム識別子が含まれるフレームから、そのフレームにより参照されるフレーム（参照フレーム）への距離、すなわち、それらのフレームが互いに離間する距離によって、参照されるフレーム（参照フレーム）を特定する。参照フレーム識別子は、その参照フレーム識別子のフレームからの距離よりなるインデックスを含み、そのインデックスの距離のフレームを参照フレームとして特定する。参照フレーム識別子は、相対指定（自己相対的指定）によって、参照フレームを特定する。
【００８０】
なお、参照フレーム識別子が含まれるフレームは、例えば、いわゆるＰフレーム（Ｐｒｅｄｅｃａｔｅｄ  Ｆｒａｍｅ）でもよい。また、参照フレーム識別子が含まれるフレームは、例えば、いわゆるＢフレーム（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  Ｐｒｅｄｅｃａｔｅｄ  Ｆｒａｍｅ）でもよい。
【００８１】
図１１は、上記の制御を行った符号化データＤＳ１Ａ、符号化データＤＳ１Ｂを合成した符号化データＤＳ１を復号化器４ｍ（図９）が復号する際の参照ピクチャリストの状態遷移を表したものである。
【００８２】
なお、図１１では、新たに２つの符号化データが合成された結果が示される。すなわち、図１０のframe＿n〜frame＿n+3による符号化データＤＳ１Ａではない、別の符号化データが合成された符号化データが、図１１のframe＿n〜frame＿n+5による符号化データＤＳ１である。
【００８３】
図１１において、frame＿n〜frame＿n+5は、参照ピクチャリストにおいて、復号時刻が最近のフレームから順に、より小さい参照フレーム識別子（ref＿idx）が割り当てられる。また、各フレームの参照フレーム識別子（ref＿idx）は、合成後の符号化データＤＳ１で２フレーム離間した参照関係、すなわち、合成前の符号化データＤＳ１Ａで１フレーム離間した参照関係を保持しているため、復号化器４ｍは、正常な参照関係情報により、フレーム復号処理が可能である。
【００８４】
また、図１２、図１３を用いて、複数フレーム参照関係が存在する場合の送信装置３の動作を説明する。
【００８５】
図１２において、ストリーム（符号化データＤＳ１Ａ、図９）のframe＿n+2はframe＿n、frame＿n+1の複数フレームを参照しているものとする。また、参照フレーム最大値（num＿ref＿frames）を３に制限しているものとする。この場合、参照できるフレーム識別子（ref＿idx）は、２までである。この符号化ストリームを合成器７が２系統合成した場合の参照ピクチャリストの状態遷移を図１３に示す。
【００８６】
図１３において、frame＿n+4では、frame＿n+2とframe＿nを参照するように、frame＿n+4のフレーム識別子（ref＿idx）が変更される。すなわち、frame＿n+4のマクロブロックは、図１３において縦に並んだ６個のマクロブロック（macro＿block）のうちで、上から５番目のマクロブロックである。そして、このframe＿n+4のマクロブロックは、２つのフレーム識別子（ref＿idx）を有する。そして、これら２つのフレーム識別子（ref＿idx）の値は、予め、図１３の実線の矢印線によって示されるように、参照フレーム識別子制御部６１０によって、０及び１ではなく、１及び３が設定されている。
【００８７】
参照フレームバッファ制御部８（図９下段）は、参照フレーム最大値（num＿ref＿frames）を設定する。
【００８８】
参照フレーム最大値（num＿ref＿frames）が３のままであれば、frame＿n+4のデコード時に参照されるframe＿nのフレーム識別子（ref＿idx）が３となるため（ref＿idx=3、図１３）、参照が不可能となる。そのため、参照フレームバッファ制御部８（図９下段）は、１系統への合成器７による合成時に、シーケンスパラメータセット（Sequence＿Parameter＿Set）シンタックスである参照フレーム最大値を（元設定値×フレーム分割数）に再設定し、１系統に合成する。その結果、合成時に再設定した参照フレーム最大値が４となり、frame＿n+4のデコード時に参照されるframe＿nのフレーム識別子（ref＿idx）の値３は、参照が可能な値となる。
【００８９】
また、図１４を用いて、参照フレーム識別子制御部６１０による参照フレーム識別子制御、参照フレームバッファ制御部８による参照フレームバッファ制御の処理のフローチャートを説明する。
【００９０】
図１４において、まず、符号化処理を何系統の符号化器で行うか、各符号化器に対して並列度Ｎの設定を、例えば送信装置３の分配器５などが行う（Ｓ１３０１）。次に、Ｈ．２６４規格に従って、符号化器６Ａの前段符号化部（直交変換部（Ｔ）６０１等）が、符号化処理を行う（Ｓ１３０２〜Ｓ１３０９）。次に、画面間予測処理（ME:動き検出）において参照したフレームの元フレーム識別子（ref＿idx＿OLD）を新しいフレーム識別子（ref＿idx＿NEW）に、参照フレーム識別子制御部６１０が変更する（Ｓ１３１０）。なお、変更後のフレーム識別子（ref＿idx＿NEW）は、変更前のフレーム識別子（ref＿idx＿OLD）から、「ref＿idx＿NEW  =  (ref＿idx＿OLD+1)*N-1」なる計算式により、参照フレーム識別子制御部６１０によって算出される。なお、参照フレーム識別子制御部６１０は、一旦ref＿idx＿OLDを設定してから、設定した設定内容をref＿idx＿NEWへと変更することにより、ref＿idx＿NEWを設定してもよい。つまり、参照フレーム識別子制御部６１０は、元の値を、一旦ref＿idx＿OLDへと修正した後に、修正された設定内容たるref＿idx＿OLDを、さらに、ref＿idx＿NEWへと修正するものとしてもよい。また、参照フレーム識別子制御部６１０は、元の値を一旦ref＿idx＿OLDへと修正することなく、直接、元の値からref＿idx＿NEWへと修正するものとしてもよい。
【００９１】
次に、参照フレーム識別子制御部６１０によって変更されたフレーム識別子は、Ｈ．２６４規格に従って可変長符号化部（ＶＬＣ）６０８により可変長符号化される（Ｓ１３１１）。フレーム内の全てのマクロブロックの符号化が完了していれば（Ｓ１３１２）、スライスヘッダ情報、ピクチャパラメータセット情報をストリームに符号化器等が付加し（Ｓ１３１３、Ｓ１３１４）、符号化対象フレームがシーケンスの最終フレームであれば（Ｓ１３１５：ＹＥＳ）、参照フレームバッファ制御部８が参照フレームバッファ制御を行う（Ｓ１３１６）。これは、前述したとおり、参照フレーム最大値（num＿ref＿frames）を変更し、参照フレーム保持区間を変更する処理である。次に、変更された参照フレーム最大値（num＿ref＿frames）を含むシーケンスパラメータセット情報を合成器７がストリームに付加する（Ｓ１３１７）。
【００９２】
従来の問題として、独立に符号化した複数ストリームを合成する後に、不整合がある参照関係を設定し直すために、ストリーム操作部、バレルシフタ、ストリームの一時保持のためのバッファメモリが必要であり、それに伴う消費電力が増加するという問題がある。このデジタルカメラシステム１によれば、この問題を回避できる。すなわち、デジタルカメラシステム１における送信装置３は、参照フレーム識別子制御部６１０と、参照フレームバッファ制御部８とを備え、符号化ストリームを作成する際に、予め合成後の参照関係を、可変長符号化器を制御することにより、合成よりも前に設定する。これにより、既に符号化ストリームとして構成されたパラメータを設定し直すためのバッファメモリ、スタートコード検出器、可変長復号を行うストリーム制御部、符号化データをビットシフトするためのバレルシフタを必要としない動画像符号化装置（送信装置３）を提供することが可能となる。
【００９３】
なお、上述の実施例においては、Ｈ．２６４規格に従って符号化処理を行う場合を想定して述べたが、本発明はこれに限らず、複数のピクチャを参照ピクチャとすることが可能な種々の符号化方式で符号化処理を行う場合に広く適用することができる。
【００９４】
また、上述の実施例においては、各処理がハードウェアで構成され、そのハードウェアが符号化処理端末として構成される場合について述べたが、本発明ではこれに限らず、各処理がハードウェアで構成され、そのハードウェアが一つのＬＳＩとして構成される場合も考えられる。
【００９５】
また、ソフトウェア処理により、ＬＳＩ内の専用デジタル信号処理プロセッサの演算処理を制御する組み込みプログラムとして構成される場合も考えられる。
【００９６】
また、ソフトウェア処理により、パーソナルコンピュータ内の汎用演算処理を制御するプログラムとして構成される場合も考えられる。
【００９７】
この場合、演算処理のプログラムは、光ディスク、磁気ディスク、メモリカード、ＬＳＩ内の命令メモリ等の種々の記録媒体に記録して提供してもよく、また、インターネット等のネットワークを介して提供するようにしてもよい。
【００９８】
図１５は、分配器５によって分割された複数の分割シーケンスと、分割された複数の分割シーケンスが合成器７によって合成された出力シーケンス１５４とを示す図である。
【００９９】
右側の分割シーケンス（分割シーケンス１５２及び分割シーケンス１５３）は、符号化器６（符号化器６Ａ）が符号化する分割シーケンス（図９のビデオデータＤＶ１Ａ、符号化データＤＳ１Ａ）である。
【０１００】
分割シーケンス１５２は、可変長符号化部６０８（図９上段）によって可変長符号化される直前の分割シーケンスである。
【０１０１】
分割シーケンス１５３は、可変長符号化部６０８によって可変長符号化された後の分割シーケンス（符号化データＤＳ１Ａ）である。図１５では、分割シーケンス１５３が可変長符号化されている点が、分割シーケンス１５３に付されたハッチングによって図示される。
【０１０２】
出力シーケンス１５４は、図１５の右側の分割シーケンス、左側の分割シーケンス等の複数の分割シーケンスが合成器７によって合成された出力シーケンス（図９の出力シーケンスＤＳ１）である。
【０１０３】
分割シーケンス１５２は、フレーム１５２０等の各フレームを有する。
【０１０４】
フレーム１５２０は、分割シーケンス１５２が有する各フレームのうちの１つであり、例えば、図１０におけるframe＿n+2である。
【０１０５】
フレーム１５２０は、参照フレーム識別子制御部６１０（図９上段）によって設定された参照フレーム識別子１５２０ｉを有する。
【０１０６】
数直線１５１ａは、図１５右側の分割シーケンス（分割シーケンス１５２、分割シーケンス１５３）におけるインデックス、すなわちローカルなインデックスの数直線である。
【０１０７】
数直線１５１ｃは、出力シーケンス１５４におけるインデックス、すなわちグローバルなインデックスの数直線である。
【０１０８】
インデックスＹは、フレーム１５２０に参照されるフレームの、ローカルなインデックスである。インデックスＹは、フレーム１５２０に対して、１個のフレーム分の距離が離間したフレームを特定するインデックスである。フレーム１５２０に参照されるフレームは、フレーム１５２０に対して、１個のフレーム分の距離が離間したフレームである。インデックスＹは、図１０において、frame＿n+2のmacro＿blockから伸びる破線の矢印線によって図示される参照フレーム識別子である。
【０１０９】
なお、数直線１５１ａ、数直線１５１ｃ、インデックスＹは、何れも、単なる、説明の便宜上から図示された図示物であり、デジタルカメラシステム１の一部分などではない。
【０１１０】
参照フレーム識別子１５２０ｉは、インデックスＹが特定するフレームを、数直線１５１ｃにおいて特定するグローバルなインデックスを有する参照フレーム識別子である。参照フレーム識別子１５２０ｉは、図１０において、frame＿n+2のmacro＿blockから伸びる実線の矢印線、および、frame＿n+2のmacro＿blockに示される「ref＿idx=1」によって図示される。
【０１１１】
分割シーケンス１５５及び分割シーケンス１５６は、例えば符号化器６Ｂなどの他の符号化器における分割シーケンスである。
【０１１２】
分割シーケンス１５２および分割シーケンス１５３において、数直線１５１ａのローカルなインデックスによって、インデックスＹが特定したフレームは、出力シーケンス１５４において、数直線１５１ｃのグローバルなインデックスによって、参照フレーム識別子１５２０ｉが特定するフレームである。そして、分割シーケンス１５２および分割シーケンス１５３において、インデックスＹが特定したフレームは、フレーム１５２０によって参照されるフレームである。このため、出力シーケンス１５４の参照フレーム識別子１５２０ｉは、一々、出力シーケンス１５４が合成された後に変更されなくとも、適切な内容を有する。このため、出力シーケンス１５４が復号化器４ｍによって復号化される際には、出力シーケンス１５４のフレーム１５２０が、参照フレーム識別子１５２０ｉに基いて、復号化器４ｍによって適切に復号化される。
【０１１３】
以上説明したようにして、当該動画像符号化装置（送信装置３、送信装置３のコンピュータ、送信装置３の集積回路等）に入力される入力シーケンスを、Ｎ（Ｎ≧２）本の分割シーケンス（図１５の左側の分割シーケンス、右側の分割シーケンス等）へと分割する分割部（分配器５：図９下段）と、前記分割部により分割されたＮ本の分割シーケンスを符号化するＮ個の符号化器（符号化器６Ａ〜符号化器６Ｎ：図９下段）と、Ｎ個の前記符号化器によって符号化されたＮ本の前記分割シーケンスを、１本の出力シーケンス（出力シーケンスＤＳ１、出力シーケンス１５４）へと多重化する多重化部（合成器７：図９下段）とを備え、前記出力シーケンスは、当該出力シーケンスが有する各画像のうちから１の画像をユニークに特定するインデックス（参照フレーム識別子１５２０ｉ、参照画像インデックス）が含まれ、前記出力シーケンスへと分割シーケンスが多重化されるよりも前に、前記インデックスを分割シーケンスに設定するインデックス制御部（参照フレーム識別子制御部６１０：図９下段）とを備える動画像符号化装置（送信装置３、送信装置３のコンピュータ、送信装置３の集積回路等）が構成される。
【０１１４】
なお、ここで、「ユニークに」とは、インデックスによって、各画像のうちから複数の特定画像が特定されて、インデックスが複数の特定画像を各々特定するのではなく、インデックスによって各画像のうちから１つの特定画像のみが特定されて、その１つの特定画像のみがインデックスによって特定されることをいう。
【０１１５】
これにより、本実施の形態の動画像符号化装置（送信装置３：図９下段参照）によれば、多重化部による多重化（重畳）の前に、インデックスが設定される。これにより、大きな処理量の処理なく、簡単な処理で、インデックスが設定できる。
【０１１６】
そして、前記インデックス制御部はＮ個であり、Ｎ個の前記インデックス制御部は、それぞれ、互いに異なる前記符号化器に設けられ、当該インデックス制御部が設けられた符号化器が符号化する分割シーケンスが前記出力シーケンスへと多重化されるよりも前に、当該分割シーケンスに含まれる１の画像（参照フレーム）を特定する前記インデックス（参照フレーム識別子１５２０ｉ、参照画像インデックス）を当該分割シーケンスに設定し、前記多重化部は、第ｔの前記符号化器（１≦ｔ≦Ｎ）が符号化した分割シーケンスの第ｓ番目の順番の画像（Ｓは整数）が、第（ｓ×Ｎ＋ｔ＋Ａｔ）番目（Ａｔ（１≦ｔ≦Ｎ）は予め定められた整数）の順番である出力シーケンスへと、Ｎ個の前記分割シーケンスを多重化し（図１５参照）、第ｔの前記符号化器（１≦ｔ≦Ｎ）に設けられた第ｔの前記インデックス制御部（１≦ｔ≦Ｎ）は、当該画像が分割シーケンスに含まれる順番ｓと前記ｔとに対して、（ｓ×Ｎ＋ｔ＋Ａｔ）なる順番のインデックスを設定する動画像符号化装置が構成される。
【０１１７】
なお、先述したよう、ref＿idx＿NEW、及び、ref＿idx＿OLDは、「ref＿idx＿NEW  =  (ref＿idx＿OLD+1)*N-1」なる関係を有する。
【０１１８】
そして、前記分割部は、例えば、デジタルカメラシステム１が高速撮影をするか、通常速度の撮影をするかなどに応じて、Ｎ以下の各値（１〜Ｎ）のうちから選択値を選択して、選択された前記選択値の本数の分割シーケンスへと前記入力シーケンスを分割し、Ｎ個の前記符号化器は、Ｎ個の当該符号化器のうちで前記選択値の個数の符号化器によって、前記分割部により分割された前記選択値の本数の分割ストリームを符号化し、前記多重化部は、当該選択値の個数の前記符号化器により符号化された、当該選択値の本数の前記分割シーケンスを、１本の出力シーケンスへと多重化し、前記インデックス制御部はＮ個であり、Ｎ個の前記インデックス制御部は、それぞれ、互いに異なる前記符号化器に設けられ、当該インデックス制御部が設けられた前記符号化器が、前記選択値の個数の符号化器に含まれる場合に、当該符号化器が符号化する分割シーケンスが前記出力シーケンスへと多重化されるよりも前に、当該分割シーケンスに含まれる１の画像を特定する前記インデックスを、当該分割シーケンスに設定する動画像符号化装置が構成される。
【０１１９】
なお、前記分割部は、例えば、高速撮影をする場合には、通常速度の撮影をする場合に選択する通常選択値よりも大きい値の高速撮影用の選択値を選択する。
【０１２０】
そして、当該動画像符号化装置は集積回路（送信装置３が備える集積回路）であり、当該集積回路は、動画像を撮像する撮像装置（デジタルカメラシステム１）に設けられ、当該撮像装置により撮像された前記動画像を表す入力シーケンスが当該集積回路に入力され、前記撮像装置は、単位時間に有する画像の個数が、第１の動画像の個数（例えば６０）よりも多い第２の動画像（例えば６０×Ｎ個の個数）と、前記第１の動画像とを撮像し、前記分割部は、前記撮像装置によって前記第２の動画像が撮像される場合、前記撮像装置によって前記第１の動画像が撮像される場合に選択する第１の選択値（例えば１）よりも大きい第２の選択値（例えばＮ）を選択する動画像符号化装置が構成される。
【０１２１】
そして、前記出力シーケンスは、当該出力シーケンスを動画像復号化装置が復号化する際に、当該動画像復号化装置が、前記インデックスにより特定される画像を記憶するバッファ（DPB: Decoded Picture Buffer）の大きさを指定するバッファ情報（参照フレーム最大値（num＿ref＿frames））を含み、前記バッファ情報を前記出力シーケンスに設定するバッファ情報制御部（参照フレームバッファ制御部８：図９下段）を備える動画像符号化装置が構成される。
【０１２２】
そして、前記出力シーケンスは、当該出力シーケンスを動画像復号化装置が復号化する際に、当該動画像復号化装置が、前記インデックスにより特定される画像を記憶するバッファの大きさを指定するバッファ情報を含み、前記バッファ情報を前記出力シーケンスに設定するバッファ情報制御部を備え、前記バッファ情報制御部は、前記インデックスを設定する前記インデックス制御部の個数たる前記選択値が多いほど、より大きい大きさを指定する前記バッファ情報を前記出力シーケンスに設定する動画像符号化装置が構成される。
【０１２３】
そして、Ｎ個の前記符号化部は、それぞれ、当該符号化部に設けられた前記インデックス制御部と、前記出力シーケンスが動画像復号化装置（復号化器４ｍ）によって復号化される際に、当該符号化部で設定された前記インデックスが当該動画像復号化装置に必要になる符号化を当該分割ストリームに行うインデックス必要符号化部（前段符号化部：直交変換部（Ｔ）６０１、量子化部（Ｑ）６０２、逆量子化部（Ｑ−１）６０３、逆直交変換部（Ｔ−１）６０４、デブロックフィルタ部（ＤＢＦ）６０５、フレームメモリ（FM）６０９、動き探索部（ＭＥ）６０６、イントラ予測部（ＩＮＴＲＡ）６０７、）と、前記インデックス必要符号化部により符号化された前記分割ストリームを可変長符号化する可変長符号化部（可変長符号化部６０８）とを備え、当該インデックス制御部は、前記可変長符号化部によって可変長符号化される前の前記分割ストリームに前記インデックスを設定する動画像符号化装置が構成される。
【０１２４】
そして、前記インデックス必要符号化部は、過去の画像の周波数係数値が量子化された量子化値を周波数係数値へと逆量子化する逆量子化部（逆量子化部（Ｑ−１）６０３）と、前記逆量子化部により逆量子化された前記周波数係数値に基いて、当該周波数係数値が示す前記過去の画像を算出する逆直交変換処理部（逆直交変換部（Ｔ−１）６０４）と、前記逆直交変換処理部により算出された前記過去の画像にデブロッキングフィルタ処理を行うデブロッキングフィルタ部（デブロックフィルタ部（ＤＢＦ）６０５）と、前記デブロッキングフィルタ部によりデブロッキングフィルタ処理された前記過去の画像から、現在の画像の推定画像を算出する推定部（イントラ予測部（ＩＮＴＲＡ）６０７）と、前記現在の画像と、前記推定部により算出された前記推定画像との差分を周波数係数値に変換する直交変換部（直交変換部（Ｔ）６０１）と、前記直交変換部により変換された前記周波数係数値を量子化値へと量子化する量子化部（量子化部（Ｑ）６０２）とを備え、前記可変長符号化部（可変長符号化部（ＶＬＣ）６０８）は、前記量子化部により量子化された前記量子化値を含んだ符号化情報を可変長符号化し、前記インデックス制御部は、前記過去の画像を特定するインデックスを、前記可変長符号化部によって可変長符号化される前記符号化情報に設定して、当該インデックスが設定された前記符号化情報を前記可変長符号化部に可変長符号化させる動画像符号化装置が構成される。
【０１２５】
そして、前記出力シーケンス（図９の出力シーケンスＤＳ１、図１５の出力シーケンス１５４）は、前記入力シーケンス（図９の入力シーケンスＤＶ１）に対して、Ｈ．２６４符号化規格による符号化がされたシーケンスである動画像符号化装置が構成される。
【産業上の利用可能性】
【０１２６】
本発明に係る動画像符号化装置は、例えば、Ｈ．２６４符号化を用いて高速度撮影画像の符号化処理を行う撮影システムとして有用である。
【０１２７】
当該動画像符号化装置で行われる処理が簡単な動画像符号化装置を提供できる。
【符号の説明】
【０１２８】
１  デジタルカメラシステム
２  通信路
３  送信装置
４  受信装置
５  分配器
６Ａ〜６Ｎ、６  符号化器
７  合成器
８  参照フレームバッファ制御部
６０１  直交変換部
６０２  量子化部
６０３  逆量子化部
６０４  逆直交変換部
６０５  デブロックフィルタ部
６０６  動き探索部
６０７  イントラ予測部
６０８  可変長符号化部
６０９  フレームメモリ
６１０  参照フレーム識別子制御部
１４０１  レンズ
１４０２  撮像素子
１４０３  画像処理プロセッサ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
当該動画像符号化装置に入力される入力シーケンスを、Ｎ（Ｎ≧２）本の分割シーケンスへと分割する分割部と、
前記分割部により分割されたＮ本の分割シーケンスを符号化するＮ個の符号化器と、
Ｎ個の前記符号化器によって符号化されたＮ本の前記分割シーケンスを、１本の出力シーケンスへと多重化する多重化部とを備え、
前記出力シーケンスは、当該出力シーケンスが有する各画像のうちから１の画像をユニークに特定するインデックスが含まれ、
前記出力シーケンスへと分割シーケンスが多重化されるよりも前に、当該分割シーケンスに前記インデックスを設定するインデックス制御部を備える動画像符号化装置。
【請求項２】
前記インデックス制御部はＮ個であり、
Ｎ個の前記インデックス制御部は、それぞれ、
互いに異なる前記符号化器に設けられ、
当該インデックス制御部が設けられた符号化器が符号化する分割シーケンスが前記出力シーケンスへと多重化されるよりも前に、当該分割シーケンスに含まれる１の画像を特定する前記インデックスを当該分割シーケンスに設定し、
前記多重化部は、第ｔの前記符号化器（１≦ｔ≦Ｎ）が符号化した分割シーケンスの第ｓ番目の順番の画像（ｓは整数）が、第（ｓ×Ｎ＋ｔ＋Ａｔ）番目（Ａｔ（１≦ｔ≦Ｎ）は定数）の順番である出力シーケンスへと、Ｎ個の前記分割シーケンスを多重化し、
第ｔの前記符号化器（１≦ｔ≦Ｎ）に設けられた第ｔの前記インデックス制御部（１≦ｔ≦Ｎ）は、当該画像が分割シーケンスに含まれる順番ｓと前記ｔとに対して、（ｓ×Ｎ＋ｔ＋Ａｔ）なる順番のインデックスを設定する請求項１記載の動画像符号化装置。
【請求項３】
前記分割部は、前記Ｎ以下の各値のうちから選択値を選択して、選択された前記選択値の本数の分割シーケンスへと前記入力シーケンスを分割し、
Ｎ個の前記符号化器は、Ｎ個の当該符号化器のうちで前記選択値の個数の符号化器によって、前記分割部により分割された前記選択値の本数の分割ストリームを符号化し、
前記多重化部は、当該選択値の個数の前記符号化器により符号化された、当該選択値の本数の前記分割シーケンスを、１本の出力シーケンスへと多重化し、
前記インデックス制御部はＮ個であり、
Ｎ個の前記インデックス制御部は、それぞれ、
互いに異なる前記符号化器に設けられ、
当該インデックス制御部が設けられた前記符号化器が、前記選択値の個数の符号化器に含まれる場合に、当該符号化器が符号化する分割シーケンスが前記出力シーケンスへと多重化されるよりも前に、当該分割シーケンスに含まれる１の画像を特定する前記インデックスを、当該分割シーケンスに設定する請求項１記載の動画像符号化装置。
【請求項４】
当該動画像符号化装置は集積回路であり、
当該集積回路は、動画像を撮像する撮像装置に設けられ、当該撮像装置により撮像された前記動画像を表す入力シーケンスが当該集積回路に入力され、
前記撮像装置は、単位時間に有する画像の個数が、第１の動画像の個数よりも多い第２の動画像と、前記第１の動画像とを撮像し、
前記分割部は、前記撮像装置によって前記第２の動画像が撮像される場合、前記撮像装置によって前記第１の動画像が撮像される場合に選択する第１の選択値よりも大きい第２の選択値を選択する請求項３記載の動画像符号化装置。
【請求項５】
前記出力シーケンスは、当該出力シーケンスを動画像復号化装置が復号化する際に、当該動画像復号化装置が、前記インデックスにより特定される画像を記憶するバッファの大きさを指定するバッファ情報を含み、
前記バッファ情報を前記出力シーケンスに設定するバッファ情報制御部を備える請求項１記載の動画像符号化装置。
【請求項６】
前記出力シーケンスは、当該出力シーケンスを動画像復号化装置が復号化する際に、当該動画像復号化装置が、前記インデックスにより特定される画像を記憶するバッファの大きさを指定するバッファ情報を含み、
前記バッファ情報を前記出力シーケンスに設定するバッファ情報制御部を備え、
前記バッファ情報制御部は、前記インデックスを設定する前記インデックス制御部の個数たる前記選択値が多いほど、より大きい大きさを指定する前記バッファ情報を前記出力シーケンスに設定する請求項３記載の動画像符号化装置。
【請求項７】
前記インデックス制御部はＮ個であり、
Ｎ個の前記インデックス制御部は、それぞれ、
互いに異なる前記符号化器に設けられ、
当該インデックス制御部が設けられた符号化器が符号化する分割シーケンスが前記出力シーケンスへと多重化されるよりも前に、当該分割シーケンスに含まれる１の画像を特定する前記インデックスを当該分割シーケンスに設定し、
Ｎ個の前記符号化部は、それぞれ、
当該符号化部に設けられた前記インデックス制御部と、
前記出力シーケンスが動画像復号化装置によって復号化される際に、当該符号化部で設定された前記インデックスが当該動画像復号化装置に必要になる符号化を当該分割ストリームに行うインデックス必要符号化部と、
前記インデックス必要符号化部により符号化された前記分割ストリームを可変長符号化する可変長符号化部とを備え、
当該インデックス制御部は、前記可変長符号化部によって可変長符号化される前の前記分割ストリームに前記インデックスを設定する請求項１記載の動画像符号化装置。
【請求項８】
前記インデックス必要符号化部は、
過去の画像の周波数係数値が量子化された量子化値を周波数係数値へと逆量子化する逆量子化部と、
前記逆量子化部により逆量子化された前記周波数係数値に基いて、当該周波数係数値が示す前記過去の画像を算出する逆直交変換処理部と、
前記逆直交変換処理部により算出された前記過去の画像にデブロッキングフィルタ処理を行うデブロッキングフィルタ部と、
前記デブロッキングフィルタ部によりデブロッキングフィルタ処理された前記過去の画像から、現在の画像の推定画像を算出する推定部と、
前記現在の画像と、前記推定部により算出された前記推定画像との差分を周波数係数値に変換する直交変換部と、
前記直交変換部により変換された前記周波数係数値を量子化値へと量子化する量子化部とを備え、
前記可変長符号化部は、前記量子化部により量子化された前記量子化値を含んだ符号化情報を可変長符号化し、
前記インデックス制御部は、前記過去の画像を特定するインデックスを、前記可変長符号化部によって可変長符号化される前記符号化情報に設定して、当該インデックスが設定された前記符号化情報を前記可変長符号化部に可変長符号化させる請求項７記載の動画像符号化装置。
【請求項９】
前記出力シーケンスは、前記入力シーケンスに対して、Ｈ．２６４符号化規格による符号化がされたシーケンスである請求項１記載の動画像符号化装置。
【請求項１０】
入力シーケンスを、Ｎ（Ｎ≧２）本の分割シーケンスへと分割する分割工程と、
前記分割工程で分割されたＮ本の分割シーケンスをＮ個の符号化器によって符号化する工程と、
前記符号化工程で符号化されたＮ本の前記分割シーケンスを、１本の出力シーケンスへと多重化する多重化工程とを備え、
前記出力シーケンスは、当該出力シーケンスが有する各画像のうちから１の画像をユニークに特定するインデックスが含まれ、
前記出力シーケンスへと分割シーケンスが多重化されるよりも前に、当該分割シーケンスに前記インデックスを設定するインデックス制御工程を備える動画像符号化方法。
【請求項１１】
入力シーケンスを、Ｎ（Ｎ≧２）本の分割シーケンスへと分割する分割工程と、
前記分割工程で分割されたＮ本の分割シーケンスをＮ個の符号化器によって符号化する工程と、
前記符号化工程で符号化されたＮ本の前記分割シーケンスを、１本の出力シーケンスへと多重化する多重化工程とをコンピュータに実行させ、
前記出力シーケンスは、当該出力シーケンスが有する各画像のうちから１の画像をユニークに特定するインデックスが含まれ、
前記出力シーケンスへと分割シーケンスが多重化されるよりも前に、当該分割シーケンスに前記インデックスを設定するインデックス制御工程を前記コンピュータに実行させるコンピュータプログラム。
【請求項１２】
入力シーケンスを、Ｎ（Ｎ≧２）本の分割シーケンスへと分割する分割部と、
前記分割部により分割されたＮ本の分割シーケンスを符号化するＮ個の符号化器と、
Ｎ個の前記符号化器によって符号化されたＮ本の前記分割シーケンスを、１本の出力シーケンスへと多重化する多重化部とを備え、
前記出力シーケンスは、当該出力シーケンスが有する各画像のうちから１の画像をユニークに特定するインデックスが含まれ、
前記出力シーケンスへと分割シーケンスが多重化されるよりも前に、当該分割シーケンスに前記インデックスを設定するインデックス制御部を備える集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009078150.tif 000018
【図２】
2009078150.tif 000019
【図３】
2009078150.tif 000020
【図４】
2009078150.tif 000021
【図５】
2009078150.tif 000022
【図６】
2009078150.tif 000023
【図７】
2009078150.tif 000024
【図８】
2009078150.tif 000025
【図９】
2009078150.tif 000026
【図１０】
2009078150.tif 000027
【図１１】
2009078150.tif 000028
【図１２】
2009078150.tif 000029
【図１３】
2009078150.tif 000030
【図１４】
2009078150.tif 000031
【図１５】
2009078150.tif 000032
【国際調査報告】
2009078150.tif 000033
2009078150.tif 000034