(57)【要約】【課題】１フレームを小画像に分割することによる画質劣化がなく、かつ少ないメモリ容量で高速に符号化処理を実行可能とした画像符号化装置を提供する。【解決手段】入力画像データを符号化する画像符号化装置であって、入力画像データを時間軸分割することにより得られる、２以上の連続するピクチャからなるピクチャ群のそれぞれを、複数の画像系列のいずれかに割り当て、かつ、当該画像系列に、符号化する際参照画像となる基準ピクチャが共通して含まれるように分配する画像分配部１２１と、画像分配部１２１により複数の画像系列毎に割り当てられたピクチャを、画像系列ごとに符号化することにより、複数の符号列を生成する符号化部１２３、１２４と、を備える。【選択図】図７
2010200019.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データを符号化する画像符号化装置であって、
前記入力画像データを時間軸分割することにより得られる、２以上の連続するピクチャからなるピクチャ群のそれぞれを、複数の画像系列のいずれかに割り当て、かつ、当該画像系列に、符号化する際参照画像となる基準ピクチャが共通して含まれるように分配する画像分配部と、
前記画像分配部により前記複数の画像系列毎に割り当てられたピクチャを、前記画像系列ごとに符号化し、複数の符号列を生成する符号化部と、を備える
画像符号化装置。
【請求項２】
前記基準ピクチャは、前記ピクチャ群の複数個分に対応するピクチャ数により示される周期ごとに含まれるピクチャであり、
前記複数の符号化部は、前記基準ピクチャをＩピクチャとして符号化するとともに、前記ピクチャ群のうち基準ピクチャを含まないピクチャ群が、それぞれＰピクチャを含むように符号化する
請求項１に記載の画像符号化装置。
【請求項３】
前記基準ピクチャは、前記ピクチャ群の１個分に対応するピクチャ数により示される周期ごとに含まれるピクチャであり、
前記複数の符号化部は、前記基準ピクチャをＩピクチャ又はＰピクチャとして符号化する
請求項１に記載の画像符号化装置。
【請求項４】
前記画像分配部は、前記ピクチャ群のそれぞれを時系列順に前記複数の画像系列に順に割り当てる
請求項１〜３のいずれか１項に記載の画像符号化装置。
【請求項５】
前記画像分配部は、前記符号化部により生成される複数の符号列のそれぞれにおいて、同一のＧＯＰ構造がＧＯＰごとに繰り返されるように、前記ピクチャ群のそれぞれを前記複数の画像系列のいずれかに割り当てる
請求項１〜３のいずれか１項に記載の画像符号化装置。
【請求項６】
さらに、
前記基準ピクチャに対応する符号列が重複しないように、前記複数の符号化部により生成された符号列を合成することにより、前記入力画像データに対応したストリームを生成する符号列合成部を備える
請求項１〜５のいずれか１項に記載の画像符号化装置。
【請求項７】
撮影した画像を記録媒体に記録する画像記録装置であって、
画像を撮像する撮像部と、
請求項１に記載の画像符号化装置と、
前記画像符号化装置により生成された符号列を前記記録媒体に記録する記録処理部とを備え、
前記画像符号化装置は、前記撮像部により撮像された画像を入力画像データとして符号列を生成する
画像記録装置。
【請求項８】
入力画像データを符号化する画像符号化方法であって、
前記入力画像データを時間軸分割することにより得られる、２以上の連続するピクチャからなるピクチャ群のそれぞれを、複数の画像系列のいずれかに割り当て、かつ、当該画像系列に、符号化する際参照画像となる基準ピクチャが共通して含まれるように分配する画像分配ステップと、
前記画像分配ステップにおいて前記複数の画像系列毎に割り当てられたピクチャを、前記画像系列ごとに符号化し、複数の符号列を生成する符号化ステップと、を含む
画像符号化方法。
【請求項９】
入力画像データを符号化する集積回路であって、
前記入力画像データを時間軸分割することにより得られる、２以上の連続するピクチャからなるピクチャ群のそれぞれを、複数の画像系列のいずれかに割り当て、かつ、当該画像系列に、符号化する際参照画像となる基準ピクチャが共通して含まれるように分配する画像分配部と、
前記画像分配部により前記複数の画像系列毎に割り当てられたピクチャを、前記画像系列ごとに符号化し、複数の符号列を生成する符号化部と、を備える
集積回路。
【請求項１０】
入力画像データを符号化するためのプログラムであって、
前記入力画像データを時間軸分割することにより得られる、２以上の連続するピクチャからなるピクチャ群のそれぞれを、複数の画像系列のいずれかに割り当て、かつ、当該画像系列に、符号化する際参照画像となる基準ピクチャが共通して含まれるように分配する画像分配ステップと、
前記画像分配ステップにおいて前記複数の画像系列毎に割り当てられたピクチャを、前記画像系列ごとに符号化し、複数の符号列を生成する符号化ステップと、をコンピュータに実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置に係わり、特に、高解像度画像を符号化して記録するビデオカメラなどの画像記録再生装置に内蔵される画像符号化装置、及び、デジタル放送又はケーブルテレビなどの高解像度画像を扱う映像送信装置に内蔵される画像符号化装置に関する。
【背景技術】
【０００２】
従来の画像符号化装置として、ＭＰＥＧ−２やＨ．２６４といった標準符号化方式でＨＤＴＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ）を符号化する装置がある。これらの画像符号化方式においては、Ｉピクチャ、Ｐピクチャ、及び、Ｂピクチャから構成される、双方向のフレーム間予測を用いて画像信号を圧縮符号化することで、高い圧縮効率を実現している。
【０００３】
Ｉピクチャとは、前後の画面とは関係なく、その画面内だけで独立に符号化されるピクチャであり、この情報のみで画像を復号することができるものである。Ｐピクチャとは、フレーム間の順方向予測符号化、すなわち時間的に前のＩピクチャ又はＰピクチャを参照画像としたフレーム間予測を用いて符号化されるピクチャである。Ｂピクチャとは、時間的に前（順方向）、又は後（逆方向）、又は前後（双方向）のピクチャを利用して動き補償フレーム間予測により符号化されるピクチャである。なお、Ｈ．２６４においては、順方向で２枚のピクチャを参照してのフレーム間予測、あるいは逆方向の２枚のピクチャを参照してのフレーム間予測も可能である。
【０００４】
これらのフレーム間予測画像を組み合わせて、画像信号を符号化する処理の例を図１６に示す。Ｂピクチャが存在する場合、一般に符号化のピクチャ順と入力及び表示のピクチャ順とは一致しないため、図１６に示すような画像の並び替えが発生する。
【０００５】
このような符号化方式においては、Ｐピクチャ又はＢピクチャは単独で復号することができず、必ずＩピクチャから復号する必要がある。このため、ストリーム内でＩピクチャから始まり、次のＩピクチャまでのピクチャの集まりをＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）と呼び、このＧＯＰ単位でストリームを扱うことが一般的である。
【０００６】
このような画像符号化装置でＨＤＴＶを符号化することは、近年一般的になってきており、デジタル放送やビデオカメラで実用化されている。これをさらに４Ｋ２Ｋなどの超高精細画像に適用しようとすると、符号化処理の高速化が必要となる。
【０００７】
これに対し、高精細度画像を符号化する従来の画像符号化装置としては、高解像度画像の各フレームを複数個の小画像に分割し、分割した複数個の小画像のそれぞれを別々の符号化部によって並列処理することで高速に処理する画像符号化装置があった（例えば、特許文献１参照）。
【０００８】
また、別の従来の画像符号化装置として、高解像度画像を時間軸方向にＧＯＰ単位に分割して、分割したＧＯＰ単位の画像のそれぞれを別々の符号化部によって並列処理することで高速に処理する画像符号化装置があった（例えば、特許文献２参照）。
【特許文献１】特開平８−３７６６２号公報
【特許文献２】特開２００８−６６８５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１記載の従来の画像記録装置では、１フレームを複数個の小画像に分割しているために、フレーム間符号化を行うための制御、及び分割して符号化された小画像を１つのフレームとして扱うための制御が複雑となる。また、分割した切れ目付近の画質が劣化したり、切れ目が圧縮歪により検知されたりする。さらに、この分割した切れ目付近の画質劣化を緩和するための処理を導入すると、その分、処理がさらに複雑になってしまうという課題があった。
【００１０】
また、特許文献２記載の従来の画像記録装置では、ＧＯＰ分の符号化前の画像を保持する必要があるため大容量のメモリを持つ必要があり、装置が大型になるという課題がある。
【００１１】
そこで、本発明は上記問題に鑑みてなされたものであり、１フレームを小画像に分割することなく、かつ比較的少ないメモリ容量で高速に符号化処理を実行可能とした画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明に係る画像符号化装置は、入力画像データを符号化する画像符号化装置であって、前記入力画像データを時間軸分割することにより得られる、２以上の連続するピクチャからなるピクチャ群のそれぞれを、複数の画像系列のいずれかに割り当て、かつ、当該画像系列に、符号化する際参照画像となる基準ピクチャが共通して含まれるように分配する画像分配部と、前記画像分配部により前記複数の画像系列毎に割り当てられたピクチャを、前記画像系列ごとに符号化し、複数の符号列を生成する符号化部と、を備える。
【００１３】
この構成によれば、基準ピクチャ毎に複数の符号化部の符号化処理をリセットしつつ、入力ピクチャ群ごとに並列して符号化処理を行うことができる。これにより、入力画像に含まれるピクチャを小画像に分割することなく、入力画像をピクチャ単位に時間軸分割したピクチャ群ごとに並列処理を可能とするため、分割した切れ目付近における画質劣化が発生しないとともに、比較的簡単な制御で並列処理を行うことが可能となる。また、ＧＯＰと比較してピクチャ数の少ない入力ピクチャ群単位に並列処理をおこなうため、ピクチャの振分けのために用いるメモリ容量が少なくてすみ、符号化装置の大型化を回避することができる。
【００１４】
また、前記基準ピクチャは、前記ピクチャ群の複数個分に対応するピクチャ数により示される周期ごとに含まれるピクチャであり、前記複数の符号化部は、前記基準ピクチャをＩピクチャとして符号化するとともに、前記ピクチャ群のうち基準ピクチャを含まないピクチャ群が、それぞれＰピクチャを含むように符号化してもよい。
【００１５】
この構成によれば、前記複数の符号化部がすべて同じＩピクチャを符号化し、それ以外の画像はこのＩピクチャを参照して符号化されるため、ＧＯＰ以下の単位に分割して並列符号化処理していても、一つのＧＯＰに含まれる画像は共通の一つのＩピクチャを参照しつつ復号することが可能になる。
【００１６】
また、前記基準ピクチャは、前記ピクチャ群の１個分に対応するピクチャ数により示される周期ごとに含まれるピクチャであり、前記複数の符号化部は、前記基準ピクチャをＩピクチャ又はＰピクチャとして符号化してもよい。
【００１７】
この構成によれば、すべての符号化部で用いられる参照画像がすべて同一になるため、一つの符号化装置で符号化した場合と同一の参照構造を複数の符号化部で実現することが可能になる。
【００１８】
また、前記画像分配部は、前記ピクチャ群のそれぞれを時系列順に前記複数の画像系列に順に割り当ててもよい。
【００１９】
この構成によれば、ピクチャ群が順番に複数の符号化部に振り分けられるため、各符号化部の処理負荷がほぼ同等となり、特定の符号化部がボトルネックになることなく高速に並列符号化処理される。
【００２０】
また、前記画像分配部は、前記符号化部により生成される複数の符号列のそれぞれにおいて、同一のＧＯＰ構造がＧＯＰごとに繰り返されるように、前記ピクチャ群のそれぞれを前記複数の画像系列のいずれかに割り当ててもよい。
【００２１】
この構成によれば、各符号化部が、ＧＯＰによって異なる制御を必要としないため、全体の制御が容易になる。
【００２２】
また、さらに、前記基準ピクチャに対応する符号列が重複しないように、前記複数の符号化部により生成された符号列を合成することにより、前記入力画像データに対応したストリームを生成する符号列合成部を備えることが好ましい。
【００２３】
この構成によれば、複数の符号化部によって符号化され、出力された符号列を、ピクチャの重複無く一本のストリームにまとめることが可能になる。
【００２４】
また、本発明に係る画像記録装置は、撮影した画像を記録媒体に記録する画像記録装置であって、画像を撮像する撮像部と、請求項１に記載の画像符号化装置と、前記画像符号化装置により生成された符号列を前記記録媒体に記録する記録処理部とを備え、前記画像符号化装置は、前記撮像部により撮像された画像を入力画像データとして符号列を生成する。
【００２５】
この構成によれば、画像記録装置において、上記画像符号化装置と同様の効果を得ることができる。
【００２６】
また、本発明は、このような画像符号化装置として実現できるだけでなく、画像符号化装置の特徴的な構成部を備える集積回路として実現することもできる。また、本発明は、画像符号化装置に含まれる特徴的な構成部の動作をステップとする画像符号化方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００２７】
以上より、本発明は、１フレームを小画像に分割することなく、かつ比較的少ないメモリ容量で高速に符号化処理を実行可能とした画像符号化装置を提供できる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明に係る画像符号化装置の実施の形態について、図面を参照しながら詳細に説明する。
【００２９】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像符号化装置を用いた画像記録再生装置の外観を示す斜視図である。図１に示すように、画像記録再生装置１００は、例えば、デジタルビデオカメラである。画像記録再生装置１００は、撮影した高解像度画像を記録媒体１０に記録する画像記録装置としての機能を有する。また、画像記録再生装置１００は、記録媒体１０に記録されている高解像度画像を再生する画像再生装置としての機能を有する。ここで、高解像度画像は例えば画素数が４０９６×２１６０又は３８４０×２１６０の画像である。
【００３０】
記録媒体１０は、画像記録再生装置１００に着脱可能な記録媒体であり、例えば、半導体メモリ又は光ディスク等である。
【００３１】
図２は、本発明の実施の形態１に係る画像符号化装置を用いた画像記録再生装置１００の構成を示す図である。図２に示すように、画像記録再生装置１００は、レンズ群１０１と、撮像部１０２と、Ａ／Ｄ変換部１０３と、画像信号処理部１０４と、圧縮多重部１０５と、記録処理部１０６と、記録制御部１０８と、入力部１０９と、制御部１１０と、画像生成部１１１と、表示部１１２と、画像信号処理部１１３と、分離伸張部１１４と、再生処理部１１５とを備える。ここで、圧縮多重部１０５が本発明の実施の形態１に係る画像符号化装置に相当する。
【００３２】
レンズ群１０１は、複数の光学レンズから構成される。レンズ群１０１は、光を撮像部１０２に集光する。
【００３３】
撮像部１０２は、撮像素子などから構成され、レンズ群１０１を介して入力された光を撮像する。具体的には、撮像部１０２は、入力された光信号をアナログ信号（電気信号）に変換して、当該アナログ信号をＡ／Ｄ変換部１０３に出力する。
【００３４】
Ａ／Ｄ変換部１０３は、撮像部１０２から出力されたアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部１０３は、変換したデジタル信号を画像信号処理部１０４に出力する。
【００３５】
画像信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル信号に対してノイズ除去及び画質調整などの画像信号処理を施すことで画像信号を生成し、圧縮多重部１０５に出力する。
【００３６】
圧縮多重部１０５は、画像信号処理部１０４から出力された画像信号に含まれる入力画像データ（以下、単に「入力画像」という。）を、ＭＰＥＧ−２又はＨ．２６４などの符号化方法に基づいて、圧縮符号化（以下、単に「符号化」ともいう。）して多重する。圧縮多重部１０５は、多重して得られた圧縮ＡＶストリームを記録処理部１０６に出力する。
【００３７】
記録処理部１０６は、圧縮多重部１０５から出力された圧縮ＡＶストリームを記録媒体１０に記録する。
【００３８】
記録制御部１０８は、記録媒体１０を駆動するドライブ装置、又は、記録アドレス入力手順などの記録プロトコルを制御する。
【００３９】
入力部１０９は、入力デバイスを介してユーザ操作を受け付ける。入力部１０９は、受け付けたユーザ操作を操作情報として制御部１１０に出力する。
【００４０】
制御部１１０は、画像信号処理部１０４、圧縮多重部１０５、記録処理部１０６、記録制御部１０８、画像生成部１１１、画像信号処理部１１３、分離伸張部１１４、及び再生処理部１１５を制御することで、画像記録再生装置１００における記録処理、及び再生処理等を各構成部に実行させる。
【００４１】
画像生成部１１１は、記録媒体１０に記録されているコンテンツの一覧を示すメニュー画像を生成する。
【００４２】
再生処理部１１５は、再生対象の圧縮ＡＶストリームを記録媒体１０から読み出し、分離伸張部１１４に出力する。
【００４３】
分離伸張部１１４は、再生処理部１１５から出力された圧縮ＡＶストリームを、圧縮多重部１０５が施したＭＰＥＧ−２又はＨ．２６４などの符号化方法に基づいて、分離して伸張する。分離伸張部１１４は、伸張して得られた伸張後の画像を画像信号処理部１１３に出力する。
【００４４】
画像信号処理部１１３は、分離伸張部１１４から出力された伸張後の画像に表示用の画質調整などの処理を施し、再生画像を生成する。画像信号処理部１１３は、生成した再生画像を表示部１１２に出力する。
【００４５】
また、画像信号処理部１１３は、必要に応じて画像生成部１１１が生成したメニュー画像などをそのまま、又は分離伸張部１１４から出力された再生画像に多重して、画像信号として表示部１１２に出力する。
【００４６】
表示部１１２は、画像信号処理部１１３から出力された再生画像、メニュー画像、又はメニュー画像を含む画像信号を再生し、再生した画像をモニタなどに表示する。
【００４７】
図３は、圧縮多重部１０５の機能構成を示すブロック図である。
圧縮多重部１０５は、画像分配部１２１と、画像バッファ１２２と、第１の符号化部１２３と、第２の符号化部１２４と、符号列合成部１２５と、ストリームバッファ１２６と、多重部１２７とを備える。
【００４８】
画像分配部１２１は、圧縮多重部１０５に入力された入力画像を一旦画像バッファ１２２に蓄積する。画像分配部１２１は、画像バッファ１２２に蓄積された入力画像を時間軸分割することにより得られる、２以上のピクチャからなるピクチャ群のそれぞれを、第１の画像系列及び第２の画像系列のいずれかに割り当てる。また、画像分配部１２１は、画像バッファ１２２に蓄積された入力画像に一定周期ごとに含まれるピクチャである基準ピクチャのそれぞれを第１の画像系列及び第２の画像系列の両方に割り当てる。ここで、一定周期とは、２以上のピクチャ数により示される一定の周期である。そして、画像分配部１２１は、第１の画像系列及び第２の画像系列に割り当てられたピクチャのそれぞれを画像系列ごとに読み出す。画像分配部１２１は、読み出したピクチャを画像系列ごとに符号化部に供給する。具体的には、例えば、画像分配部１２１は、第１の画像系列に割り当てられたピクチャを第１の符号化部１２３に供給し、第２の画像系列に割り当てられたピクチャを第２の符号化部１２４に供給する。
【００４９】
画像バッファ１２２は、バッファメモリであり、入力画像が一時的に蓄積される。
第１の符号化部１２３は、画像分配部１２１により供給された、第１の画像系列に割り当てられたピクチャのそれぞれを、ＭＰＥＧ−２又はＨ．２６４などの符号化方法に基づいて圧縮符号化することにより、符号列を生成する。そして、第１の符号化部１２３は、生成した符号列を符号列合成部１２５に出力する。
【００５０】
第２の符号化部１２４は、画像分配部１２１により供給された、第２の画像系列に割り当てられたピクチャのそれぞれを、ＭＰＥＧ−２又はＨ．２６４などの符号化方法に基づいて圧縮符号化することにより、符号列を生成する。そして、第２の符号化部１２４は、生成した符号列を符号列合成部１２５に出力する。
【００５１】
なお、画像分配部１２１、第１の符号化部１２３、及び第２の符号化部１２４は、制御情報をやりとりすることで、第１の画像系列及び第２の画像系列へのピクチャの割当てを制御する。この詳細については後ほど説明する。
【００５２】
符号列合成部１２５は、第１の符号化部１２３及び第２の符号化部１２４から入力された符号列を、ストリームバッファ１２６に一旦蓄積する。そして、符号列合成部１２５は、蓄積された符号列を読み出すことで、ピクチャ単位でのストリームの並べ替えを行うとともに２つの符号列を１つの画像ビットストリームに合成する。ここで、符号列合成部１２５は、基準ピクチャに対応する符号列が重複しないように、第１の符号化部１２３及び第２の符号化部１２４により生成された符号列を合成することにより、入力画像に対応した画像ビットストリームを生成する。そして、符号列合成部１２５は、生成した画像ビットストリームを多重部１２７に出力する。
【００５３】
ストリームバッファ１２６は、バッファメモリであり、第１の符号化部１２３及び第２の符号化部１２４により生成された符号列が一時的に蓄積される。
【００５４】
多重部１２７は、符号列合成部１２５から入力された画像ビットストリームをパケット化する。多重部１２７は、パケット化した画像ビットストリームに、音声パケット等を多重化することで、圧縮ＡＶストリームを生成する。多重部１２７は、生成した圧縮ＡＶストリームを記録処理部１０６に出力する。
【００５５】
次に、以上のように構成された画像記録再生装置１００における各種動作について説明する。
【００５６】
図４は、圧縮多重部１０５による処理の流れを示すフローチャートである。なお、圧縮多重部１０５へは、図５（ａ）に示すような入力画像２００が入力されるものとする。
【００５７】
まず、画像分配部１２１は、入力画像２００を、図５（ａ）に示すように２以上の連続するピクチャからなるピクチャ群２０１、２０２、２０３、２０４、２０５に時間軸分割する（ステップＳ１０１）。
【００５８】
次に、画像分配部１２１は、入力画像に含まれるピクチャを複数の画像系列のそれぞれに割り当てる（ステップＳ１０２）。具体的には、画像分配部１２１は、図５（ｂ）に示すように、ピクチャ群２０１、２０３、２０５を第１の画像系列２０７に割り当て、さらにピクチャ群２０２、２０４を第２の画像系列２０８に割り当てる。また同時に、画像分配部１２１は、入力画像に一定周期ごとに含まれるピクチャである基準ピクチャ２０６を、第１の画像系列２０７及び、第２の画像系列２０８の両方に割り当てる。
【００５９】
そして、複数の符号化部は、ステップＳ１０２において複数の画像系列のそれぞれに割り当てられたピクチャのそれぞれを、基準ピクチャを参照画像として画像系列ごとに符号化することにより、符号列を生成する（ステップＳ１０３）。例えば、第１の符号化部１２３は、第１の画像系列２０７に割り当てられたピクチャのそれぞれを符号化することにより、符号列を生成する。また、例えば、第２の符号化部１２４は、第２の画像系列２０８に割り当てられたピクチャのそれぞれを符号化することにより、符号列を生成する。
【００６０】
続いて、符号列合成部１２５は、基準ピクチャに対応する符号列が重複しないように、複数の符号化部により生成された符号列を合成することにより、入力画像に対応したストリームを生成する（ステップＳ１０４）。具体的には、例えば、符号列合成部１２５は、ストリームバッファ１２６に蓄積された符号列から、第１の符号化部１２３及び第２の符号化部１２４により生成された符号列を読み出す。ここで、符号列合成部１２５は、基準ピクチャに対応する符号列については、第１の符号化部１２３により生成された符号列を読み出さず、第２の符号化部１２４により生成された符号列のみを読み出す。このように読み出すことにより、符号列合成部１２５は、基準ピクチャに対応する符号列が重複しないように符号列を合成することにより、入力画像に対応したストリームを生成する。
【００６１】
図６は、圧縮多重部１０５が備える各構成部による処理のタイミングを示すタイミング図である。図６において、横軸は時間軸を示す。また、図６に示す矩形のそれぞれは、入力画像に含まれるピクチャを示す。また、矩形内の識別符号は、説明のために便宜的に付した符号である。この識別符号において、アルファベットは、各符号化部により符号化される際のピクチャの種別を示し、番号は、ＧＯＰ内のピクチャの表示順（０番から始まる表示順）を示す。具体的には、「Ｉ２」は、ＧＯＰの中で２番目に表示されるピクチャであり、符号化部によりＩピクチャとして符号化されることを示す。
【００６２】
図６（ａ）は、画像分配部１２１に入力される画像を示す。ここでは入力画像は、順次走査画像が６０Ｈｚ周波数で入力されている、いわゆる６０ｐ画像であり、その１枚のフレームが圧縮処理における１つのピクチャであるものとして説明する。
【００６３】
画像分配部１２１は、入力された６０ｐ画像を一旦画像バッファ１２２に蓄積する。そして、画像分配部１２１は、第１の符号化部１２３及び第２の符号化部１２４から入力される制御情報に基づいて、画像バッファ１２２に蓄積された６０ｐ画像を第１の画像系列及び第２の画像系列に割り当てる。具体的には、画像分配部１２１は、６０ｐ画像を時間軸分割することにより得られる、連続する３枚のピクチャからなるピクチャ群のそれぞれを時系列順に第１の画像系列及び第２の画像系列に交互に割り当てる。つまり、画像分配部１２１は、ピクチャ群のそれぞれを時系列順に第１の画像系列及び第２の画像系列の順に繰り返し割り当てる。また、画像分配部１２１は、１５枚周期で６０ｐ画像に含まれるピクチャである基準ピクチャ（ピクチャＩ２）のそれぞれを第１の画像系列及び第２の画像系列の両方に割り当てる。ここで１５枚周期は、連続する３枚のピクチャからなるピクチャ群の５個分に対応するピクチャ数により示される周期である。そして、画像分配部１２１は、画像系列ごとに、連続して割り当てられたピクチャを画像バッファ１２２から時系列順に読み出す。さらに、画像分配部１２１は、読み出したピクチャを画像系列ごとに符号化部（第１の符号化部１２３又は第２の符号化部１２４）へ出力する。
【００６４】
例えば、画像分配部１２１は、ピクチャＰ１４、Ｂ０及びＢ１からなるピクチャ群と基準ピクチャＩ２とを読み出し、読み出したピクチャを第１の符号化部１２３へ供給する。つまり、画像分配部１２１は、ピクチャＰ１４、Ｂ０及びＢ１からなるピクチャ群と基準ピクチャであるピクチャＩ２とを第１の画像系列に割り当て、割り当てたピクチャのそれぞれを第１の符号化部１２３に供給する。また、画像分配部１２１は、基準ピクチャＩ２を含んで連続するピクチャＩ２、Ｂ３及びＢ４からなるピクチャ群を読み出し、読み出したピクチャ群を第２の符号化部１２４へ供給する。つまり、画像分配部１２１は、ピクチャＩ２、Ｂ３及びＢ４（ピクチャ群）を第２の画像系列に割り当て、割り当てたピクチャのそれぞれを第２の符号化部１２４に供給する。すなわち、図６（ａ）に示した、いわゆる表示順でＩピクチャ又はＰピクチャから始まり、これに続いて次のＩピクチャ又はＰピクチャまでの間に存在するＢピクチャが、まとめて一つのピクチャ群となるように、画像分配部１２１は、各ピクチャを各符号化部へ供給する。
【００６５】
なお、本実施の形態においては、画像分配部１２１は、Ｉピクチャとして符号化されるピクチャＩ２のみを基準ピクチャとして第１の符号化部１２３及び第２の符号化部１２４に重複して供給する。
【００６６】
図６（ｂ）は第１の符号化部１２３に入力され、並び替えられた画像を示す。図６（ａ）に示す順に画像分配部１２１に入力された入力画像は、図６（ｂ）に示すように、時間遅れを伴いつつ、第１の符号化部１２３によりピクチャ選択、周波数変換、及びピクチャ並び替えされる。ここで、図６（ａ）と図６（ｂ）とを結ぶ実線矢印は、図６（ａ）のピクチャと図６（ｂ）のピクチャとの対応関係を示す。
【００６７】
第１の符号化部１２３は、ＭＰＥＧ−２又はＨ．２６４などのフレーム間予測を用いた符号化方法を用いてピクチャを符号化する。したがって、図１６に示した従来技術と同様に、伸張時にＢピクチャから参照されるＩピクチャ及びＰピクチャが、参照するＢピクチャよりも先に符号化される。
【００６８】
また、画像分配部１２１に入力された入力画像は、３枚のピクチャからなるピクチャ群ごとに２つの画像系列に割り当てられ、その一方の画像系列が第１の符号化部１２３に入力されるため、図６（ｂ）は図６（ａ）に対して、ほぼ半分の周波数である３０Ｈｚに近い周波数に変換されている（実際にはＩピクチャが重複して入力されるため、入力画像の周波数の半分よりは少し高い周波数になる）。したがって、第１の符号化部１２３及び第２の符号化部１２４が並列して入力画像を符号化することにより、圧縮多重部１０５は、より高速に符号化処理を実行可能である。
【００６９】
図６（ｃ）は第１の符号化部１２３の出力符号列を示す。ここでは、図を簡略化するため、第１の符号化部１２３における符号化処理は１／６０秒程度の処理時間が掛かるものとした。したがって、各ピクチャが図６（ｂ）に対して１／６０秒遅れで出力される。
【００７０】
図６（ｄ）は第２の符号化部１２４に入力され、並び替えられた画像を示す。図６（ｂ）と同様に、図６（ａ）に示す順に画像分配部１２１に入力された画像は、図６（ｄ）に示すように、時間遅れを伴いつつ、ピクチャ選択、周波数変換、及びピクチャ並び替えされる。ここで、図６（ａ）と図６（ｄ）とを結ぶ破線矢印は、図６（ａ）のピクチャと図６（ｄ）のピクチャとの対応関係を示す。
【００７１】
図６（ｅ）は第２の符号化部１２４の出力符号列を示す。図６（ｃ）に示した第１の符号化部１２３の出力符号列と同様に、図６（ｄ）に対して１／６０秒遅れたタイミングとしている。
【００７２】
図６（ｆ）は符号列合成部１２５の出力画像ビットストリームを示す。図６（ｃ）又は図６（ｅ）と図６（ｆ）とを結ぶ実線矢印は、図６（ｃ）又は図６（ｅ）のピクチャと図６（ｆ）のピクチャとの対応関係を示す。符号列合成部１２５は、第１の符号化部１２３及び第２の符号化部１２４から入力された符号列を、ストリームバッファ１２６に一旦蓄積する。そして、符号列合成部１２５は、蓄積された符号列を読み出すことにより、ピクチャ単位でのストリームの並べ替えを行う。また、第１の符号化部１２３及び第２の符号化部１２４の両方で重複して圧縮符号化されていたピクチャＩ２の符号列を一方だけ選択して合成する。つまり、符号列合成部１２５は、基準ピクチャであるピクチャＩ２に対応する符号列が重複しないように、第１の符号化部１２３及び第２の符号化部１２４により生成された符号列を合成することにより、入力画像に対応する画像ビットストリームを生成する。
【００７３】
本実施の形態においては、第１の符号化部１２３と第２の符号化部１２４とでＩピクチャについては全く同じ符号列を生成することが前提になっている。Ｉピクチャは、他のピクチャを参照することなく、その画面内だけで独立に符号化されるピクチャである。したがって、符号化の際に用いるパラメータを共通にしておけば、同じピクチャを２つの符号化部で符号化しても、全く同じ符号列が容易に得られる。
【００７４】
図７は、フレーム間予測の参照関係を示した処理イメージ図である。図７に示す矩形のそれぞれは、入力画像に含まれるピクチャを示す。そして、矩形内の識別符号は、図６と同様に、説明のために付した符号である。図７（ａ）は図６（ａ）と同じ、画像分配部１２１に入力される入力画像を示す。図７（ｂ）は第１の符号化部１２３に入力される画像の参照関係を矢印で示したものである。図７（ａ）及び図７（ｃ）との関係を容易に説明できるようにするため、ここでは並べ替えを行う前の順序、いわゆる表示順で各ピクチャを示すとともに、第１の符号化部１２３に入力されないピクチャ、例えばピクチャＢ３、Ｂ４などを点線で示している。これらの点線で示されたピクチャは、実際は第１の符号化部１２３に入力されないため、他のピクチャを参照することも参照されることも無い。
【００７５】
図７（ｃ）は第２の符号化部１２４に入力される画像の参照関係を矢印で示したものである。図７（ｂ）と併せて見たとき、第１の符号化部１２３で処理されるピクチャと、第２の符号化部１２４で処理されるピクチャとは、互いに参照関係に無く、独立に処理可能であることが判る。ここで、Ｉピクチャ、すなわちピクチャＩ２のみは第１の符号化部１２３及び第２の符号化部１２４に重複して入力される。しかし、先に述べたように、符号化パラメータを共通にすることで同じ符号列が得られるため、ピクチャＩ２に対応する符号列を一方だけ選択して合成しても元の画像に関する情報が欠落することは無い。
【００７６】
図７（ｄ）は第１の符号化部１２３及び第２の符号化部１２４において生成された符号列を、符号列合成部１２５が合成することにより生成された画像ビットストリームを示す。したがって、図６（ｆ）と同じものを示している。
【００７７】
なお、図６（ｆ）及び図７（ｄ）におけるピクチャの並び順は、図１６に示した従来技術による画像の並び替え順に合わせた場合を示しているが、従来技術とは違う並び順にしても構わない。例えば、第１の符号化部１２３から出力される符号列と、第２の符号化部１２４から出力される符号列をピクチャ単位で交互に並べても構わない。この場合でも、分離伸張部との間で、画像ビットストリーム中のピクチャの並び順の解釈をあわせておけば、分離伸張部は問題なく画像ビットストリームを分離伸張することができる。
【００７８】
以上のように、各符号化部により符号化された符号列において、各ピクチャは、ＩピクチャであるピクチャＩ２を越えて他のピクチャを参照することはない。したがって、符号列合成部１２５により生成された画像ビットストリームにおいても、各ピクチャは、Ｉピクチャを越えて他のピクチャを参照することはない。つまり、符号列合成部１２５により生成された画像ビットストリームは、ＭＰＥＧ−２又はＨ．２６４などの規格に適合した画像ビットストリームである。このように、基準ピクチャがすべての符号化部に供給されることにより、各符号化部がＧＯＰに関係なく符号化しても、圧縮多重部１０５は、規格に適合した画像ビットストリームを生成することが可能となる。
【００７９】
図８は、分離伸張部１１４の機能構成を示すブロック図である。
分離伸張部１１４は、分離部１４１と、符号列分配部１４２と、ストリームバッファ１４３と、第１の伸張部１４４と、第２の伸張部１４５と、画像合成部１４６と、画像バッファ１４７と、参照画像バッファ１４８及び１４９とを備える。
【００８０】
分離部１４１は、分離伸張部１１４に入力された圧縮ＡＶストリームから画像ビットストリームのパケットを分離し、各パケットから画像ビットストリームを分離して符号列分配部１４２に出力する。
【００８１】
符号列分配部１４２は、入力された画像ビットストリームを一旦ストリームバッファ１４３に蓄積し、読み出す際に、第１の符号化部１２３が符号化した符号系列と、第２の符号化部１２４が符号化した符号系列とに分割する。そして、符号列分配部１４２は、分割した符号系列を各伸張部（第１の伸張部１４４又は第２の伸張部１４５）に供給する。なお、Ｉピクチャに対応した符号列は第１の伸張部１４４及び第２の伸張部１４５の両方に供給される。
【００８２】
第１の伸張部１４４及び第２の伸張部１４５はそれぞれ入力された符号系列を、第１の符号化部１２３及び第２の符号化部１２４が施した符号化方法を用いて伸張し、伸張後の画像系列を画像合成部１４６に出力する。この際、Ｂピクチャの伸張処理を行う際に参照するために、第１の伸張部１４４は、伸張したＩピクチャ及びＰピクチャを参照画像バッファ１４８に一旦蓄積する。また、第２の伸張部１４５も同様に、伸張したＩピクチャ及びＰピクチャを参照画像バッファ１４９に一旦蓄積する。
【００８３】
画像合成部１４６は、第１の伸張部１４４及び第２の伸張部１４５から入力された画像系列を、画像バッファ１４７に一旦蓄積する。そして、画像合成部１４６は、画像バッファ１４７に蓄積された画像を読み出すことによりピクチャの並べ替えを行うとともに１つの画像信号に合成する。また、画像合成部１４６は、画像信号を画像信号処理部１１３に出力する。
【００８４】
図９は、分離伸張部１１４が備える各構成部による処理のタイミングを示すタイミング図である。
【００８５】
図９（ａ）は、符号列分配部１４２に入力される画像ビットストリームを示す。符号列分配部１４２は、入力された画像ビットストリームを一旦ストリームバッファ１４３に蓄積する。そして、符号列分配部１４２は、第１の符号化部１２３及び第２の符号化部１２４における符号化順に合わせて時間軸分割した形で画像ビットストリームを読み出す。
【００８６】
図９（ｂ）は、第１の伸張部１４４に入力される符号列を示す。ストリームバッファ１４３に図９（ａ）の順に蓄積された画像ビットストリームが、実線矢印が示すように時間遅れを伴いつつ、ピクチャ選択及び周波数変換されて読み出され、第１の伸張部１４４に入力される。
【００８７】
入力される画像ビットストリームをピクチャ単位で２つの伸張部に分配するため、それぞれの伸張部への入力は、図９（ａ）に示した符号列分配部１４２に入力される画像ビットストリームのタイミングに対して、ほぼ半分の周波数に変換される。これにより、分離伸張部１１４としては、伸張部を単体で構成する場合に比べてより高速に伸張処理を実行可能である。
【００８８】
図９（ｃ）は、第１の伸張部１４４の出力画像系列を示す。第１の伸張部１４４は、ＭＰＥＧ−２又はＨ．２６４などのフレーム間予測を用いた符号化方法に対応した伸張処理を行うため、参照画像となるＩピクチャ及びＰピクチャは伸張後、第１の伸張部１４４に接続された参照画像バッファ１４８に一旦蓄積され、そのピクチャを参照するＢピクチャがすべて伸張された後に出力される。したがって、Ｉピクチャ及びＰピクチャとＢピクチャとの間でピクチャ順の並び替えが発生する。
【００８９】
図９（ｄ）は、第２の伸張部１４５に入力される符号列を示す。図９（ｂ）と同様に、ストリームバッファ１４３に図９（ａ）の順に蓄積された画像ビットストリームが、破線矢印が示すように時間遅れを伴いつつ、ピクチャ選択及び周波数変換されて読み出され、第２の伸張部１４５に入力される。
【００９０】
図９（ｅ）は、第２の伸張部１４５の出力画像系列を示す。第２の伸張部１４５も、第１の伸張部１４４と同様に、伸張後の画像系列はピクチャ毎に並び替えられて出力される。
【００９１】
図９（ｆ）は、画像合成部１４６の出力画像を示す。画像合成部１４６は、第１の伸張部１４４及び第２の伸張部１４５から入力された画像系列を、画像バッファ１４７に一旦蓄積し、読み出すことで画像の時間軸変換及び合成を行う。また、第１の伸張部１４４及び第２の伸張部１４５の両方で重複して伸張されるピクチャＩ２を一方だけ選択して出力画像に合成する。
【００９２】
図１０は、第１の符号化部１２３及び第２の符号化部１２４におけるバッファ制御のイメージを示す図である。画像圧縮符号化の規格においては、装置間で交換しても正常に復号が可能な画像ビットストリームを生成するために、理想的に動作する分離伸張部１１４のモデルを想定している。そして、このモデルのストリームバッファ（以下、ＣＰＢ（Ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）と称する。）がオーバーフローもアンダーフローも起こさないように、符号化部は、各ピクチャから生成される符号列の符号量を制御する。
【００９３】
図１０（ａ）は第１の符号化部１２３から出力される符号列のピクチャ順を示す。また、図１０（ｂ）は第１の符号化部１２３に対応するＣＰＢモデルのバッファ占有率を示す。図１０（ｂ）に示すように、ＣＰＢモデルのバッファ占有率は、画像ビットストリームのビットレートに合わせて徐々に増加し、各ピクチャのデコード処理が開始された瞬間に、そのピクチャの符号量だけ減る（すなわち、無限の速度でストリームバッファから読み出される）。
【００９４】
一般に、Ｉピクチャが最も符号列の符号量が多く、Ｐピクチャがその次に符号量が多く、Ｂピクチャが最も符号量が少なくなる。この符号量は各ピクチャの圧縮処理の困難度によって変動するため、ＣＰＢ占有率は時間とともに変動していくが、符号化部は、ＣＰＢの容量に対してｆｕｌｌにもｅｍｐｔｙにもならないように符号量制御を行う。図１０（ｂ）はこの様子を示したグラフになっている。
【００９５】
以下、図１０（ｃ）は第２の符号化部１２４から出力される符号列のピクチャ順を示す。また、図１０（ｄ）は第２の符号化部１２４に対応するＣＰＢモデルのバッファ占有率を示す。また、図１０（ｅ）は符号列合成部１２５から出力される符号列のピクチャ順を示す。また、図１０（ｆ）は符号列合成部１２５に対応する（すなわち２つの符号化部のトータルでの）ＣＰＢモデルのバッファ占有率を示す。
【００９６】
図１０（ｆ）においては、２つの符号化部から出力される符号列トータルでのビットレートに合わせてＣＰＢモデルの占有率が増加するため、図１０（ｂ）及び図１０（ｄ）よりも傾きが急になる。しかし、各ピクチャの符号量が読み出される周期が２倍（１／６０秒）になるため、ＣＰＢモデルの占有率がオーバーフローしないように符号化部が制御することは可能である。本明細書の実施の形態においては、図１０（ｂ）、図１０（ｄ）、図１０（ｆ）の３つについて同時並行に計算を行い、いずれもオーバーフローもアンダーフローも起こさないように、各ピクチャから生成される符号列の符号量を符号化部が制御するものとし、以降の実施の形態においてはこれを前提に説明を行う。
【００９７】
なお、分離伸張部１１４が、必ず図８に示したように複数の伸張部（第１の伸張部１４４及び第２の伸張部１４５）を持つものとして、図１０（ｆ）についてはオーバーフロー又はアンダーフローが発生しても問題ないと扱うことも可能である。
【００９８】
以上、本発明の実施の形態１に係る画像符号化装置を用いた画像記録再生装置１００によれば、例えば画素数が４０９６×２１６０又は３８４０×２１６０といった高解像度画像を画面分割することなく記録媒体１０に記録できる。入力ピクチャを小画像に分割することなく、ピクチャ単位に時間軸分割することにより並列処理を可能とするため、分割した切れ目付近における画質劣化が発生しないとともに、比較的簡単な制御で並列処理を行うことが可能となる。
【００９９】
また、ＧＯＰと比較してピクチャ数の少ない（本実施の形態においては３ピクチャ）ピクチャ群単位に並列処理をおこなうため、ピクチャの振分けのために用いるメモリ（画像バッファ１２２）の容量が少なくてすみ、符号化装置の大型化を回避することができる。
【０１００】
以上、本発明の実施の形態１に係る圧縮多重部１０５について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１０１】
例えば、上記説明では、ピクチャ群として表示順でＩピクチャ又はＰピクチャから始まり、これに続くＢピクチャをまとめて一つのピクチャ群としたが、他のピクチャから参照されるＩピクチャ又はＰピクチャを、第１の符号化部１２３及び第２の符号化部１２４に振り分ける形であれば、ピクチャ群の時間分割の方法は違っていてもよい。例えば、図１１に示すように、画像分配部１２１は、一つ一つのピクチャ群が、表示順でＩピクチャ又はＰピクチャで終わるように入力画像を時間分割してもよい。
【０１０２】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
【０１０３】
本発明の実施の形態２に係る画像符号化装置は、実施の形態１に係る画像符号化装置、すなわち圧縮多重部１０５の変形例である。
【０１０４】
本発明の実施の形態２では、ピクチャを一時保持するためのメモリ容量を抑えつつ、ピクチャを分割した切れ目付近における画質劣化が発生しないという本発明の特徴を変更せずに、制御をより簡略化した画像符号化装置について説明する。
【０１０５】
本発明の実施の形態２に係る画像符号化装置が備える圧縮多重部は、ブロック図レベルの構成は図３に示した圧縮多重部１０５と同一である。また、本発明の実施の形態２に係る画像符号化装置が備える圧縮多重部の動作は、図４に示したフローチャートと同一である。しかし、本実施の形態に係る画像分配部による、ピクチャの画像系列への割り当て方法の詳細が、実施の形態１に係る画像分配部１２１によるピクチャの割り当て方法と異なる。
【０１０６】
図１２は、本発明の実施の形態２に係る圧縮多重部１０５の、フレーム間予測の参照関係を示した処理イメージ図である。
【０１０７】
図１２（ａ）は圧縮多重部１０５の画像分配部１２１に入力される画像を示す。この段階では図７（ａ）との違いはない。
【０１０８】
図１２（ｂ）は第１の符号化部１２３に入力される画像の参照関係を矢印で示したものである。図１２（ａ）及び図１２（ｃ）との関係を説明するため、ここでは並べ替えを行う前の順序、いわゆる表示順で各ピクチャを示すとともに、第１の符号化部１２３に入力されないピクチャ、例えばピクチャＢ３及びＢ４を点線で示している。これらの点線で示されたピクチャは、実際は符号化部に入力されないため、他のピクチャを参照することも参照されることも無い。
【０１０９】
図１２に示した実施の形態２と、図７に示した実施の形態１の違いは、第１の符号化部１２３への入力、及び第２の符号化部１２４への入力においてＩピクチャと次のＩピクチャとの間に入るピクチャの構成、すなわちＧＯＰ構造が毎ＧＯＰ同じ構造になるようにした点にある。図１２（ｂ）においては、第１の符号化部１２３に入力される画像系列のピクチャは、ピクチャＩ２、Ｐ５、Ｂ６、Ｂ７、Ｐ１１、Ｂ１２、及びＢ１３に固定されており、次のＩ２からまた同じ識別符号のピクチャが繰り返し入力される。すなわち、画像分配部１２１は、複数の符号化部により生成される符号列のそれぞれにおいて、同一のＧＯＰ構造がＧＯＰごとに繰り返されるように、ピクチャ群のそれぞれを複数の画像系列のいずれかに割り当てる。このようにピクチャが割り当てられた画像系列が第１の符号化部１２３に入力されることにより、第１の符号化部１２３の制御パターンが簡略化され、実装しやすくなるという利点がある。
【０１１０】
図１２（ｃ）は第２の符号化部１２４に入力される画像の参照関係を矢印で示したものである。図１２（ｂ）と併せて見たとき、第１の符号化部１２３で処理されるピクチャと、第２の符号化部１２４で処理されるピクチャとは互いに参照関係に無く、独立に処理可能であることが判る。Ｉピクチャ、すなわちピクチャＩ２のみは第１の符号化部１２３及び第２の符号化部１２４に重複して入力されるが、先に述べたように、符号化パラメータを共通にすることで同じ符号列が得られるため、一方の符号列だけを選択して合成しても元の画像に関する情報が欠落することは無い。
【０１１１】
図１２（ｃ）においても、第２の符号化部１２４に入力されるピクチャはピクチャＢ０、Ｂ１、Ｉ２、Ｂ３、Ｂ４、Ｐ８、Ｂ９、Ｂ１０及びＰ１４に固定されており、次のＢ０からまた同じ識別符号のピクチャが繰り返し入力される。すなわち、画像分配部１２１は、複数の符号化部により生成される符号列のそれぞれにおいて、同一のＧＯＰ構造がＧＯＰごとに繰り返されるように、ピクチャ群のそれぞれを複数の画像系列のいずれかに割り当てる。このようにピクチャが割り当てられた画像系列が第２の符号化部１２４に入力されることにより、第２の符号化部１２４の制御パターンが簡略化され、実装しやすくなるという利点がある。さらには、第１の符号化部１２３から出力される符号列の並び、及び第２の符号化部１２４から出力される符号列の並びがＧＯＰ単位で固定化されるため、符号列合成部１２５の制御も簡素化されるという利点がある。
【０１１２】
図１２（ｄ）は第１の符号化部１２３及び第２の符号化部１２４において生成された符号列を、符号列合成部１２５が合成することにより生成された画像ビットストリームを示す。この段階でのピクチャの並び順が変更可能であることは、実施の形態１と同様である。
【０１１３】
以上、本発明の実施の形態２に係る圧縮多重部１０５によれば、例えば画素数が４０９６×２１６０又は３８４０×２１６０といった高解像度画像を画面分割することなく記録媒体１０に記録できる。入力ピクチャを小画像に分割することなく、ピクチャ単位に時間軸分割した並列処理を可能とするため、分割した切れ目付近における画質劣化が発生しない。
【０１１４】
また、ＧＯＰと比較してピクチャ数の少ない（本実施の形態においては３ピクチャ）ピクチャ群単位に並列処理をおこなうため、ピクチャの振分けのために用いるメモリ（画像バッファ１２２）の容量が少なくてすみ、符号化装置の大型化を回避することができる。
【０１１５】
さらには、分割した複数のピクチャ群を並列処理する際の、各符号化部において生成される符号列のＧＯＰ構造が毎ＧＯＰ同一になるため、各符号化部の制御が単純化されるとともに、符号列合成部１２５の制御も簡素化される。
【０１１６】
以上、本発明の実施の形態２に係る圧縮多重部１０５について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１１７】
例えば、上記説明では、ピクチャ群として表示順でＩピクチャ又はＰピクチャから始まり、これに続くＢピクチャをまとめて一つのピクチャ群としたが、他のピクチャから参照されるＩピクチャ又はＰピクチャを、第１の符号化部１２３及び第２の符号化部１２４に振り分ける形であれば、ピクチャ群の時間分割の方法は違っていてもよい。例えば、図１３に示すように、画像分配部１２１は、一つ一つのピクチャ群が、表示順でＩピクチャ又はＰピクチャで終わるように入力画像を時間分割してもよい。
【０１１８】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
【０１１９】
本発明の実施の形態３に係る画像符号化装置は、実施の形態１に係る画像符号化装置、すなわち圧縮多重部１０５の変形例である。
【０１２０】
本発明の実施の形態３では、ピクチャを一時保持するためのメモリ容量を抑えつつ、ピクチャを分割した切れ目付近における画質劣化が発生しないという本発明の特徴を変更せずに、従来の画像符号化装置との互換性を確保した画像符号化装置について説明する。
【０１２１】
本発明の実施の形態３に係る画像符号化装置は、ブロック図レベルの構成は図３に示した圧縮多重部１０５と同一である。また、本発明の実施の形態３に係る画像符号化装置が備える圧縮多重部の動作は、図４に示したフローチャートと同一である。しかし、本実施の形態に係る画像分配部による、ピクチャの画像系列への割り当て方法の詳細が、実施の形態１に係る画像分配部１２１によるピクチャの割り当て方法と異なる。
【０１２２】
図１４は、本発明の実施の形態３に係る圧縮多重部１０５の、フレーム間予測の参照関係を示した処理イメージ図である。
【０１２３】
図１４（ａ）は圧縮多重部１０５の画像分配部１２１に入力される入力画像を示す。この段階では図７（ａ）との違いはない。
【０１２４】
図１４（ｂ）は第１の符号化部１２３に入力される画像の参照関係を矢印で示したものである。図１４（ａ）及び図１４（ｃ）との関係を説明するため、ここでは並べ替えを行う前の順序、いわゆる表示順で各ピクチャを示すとともに、第１の符号化部１２３に入力されないピクチャ、例えばピクチャＢ３及びＢ４を点線で示している。これらの点線で示されたピクチャは、実際は符号化部に入力されないため、他のピクチャを参照することも参照されることも無い。
【０１２５】
図１４に示した実施の形態３と、図７に示した実施の形態１の違いは、Ｉピクチャだけでなく、Ｐピクチャについても第１の符号化部１２３、及び第２の符号化部１２４の両方に入力するようにした点にある。つまり、本実施の形態の画像分配部１２１は、３枚周期で入力画像に含まれるピクチャのそれぞれを、基準ピクチャとして第１の画像系列及び第２の画像系列の両方に割り当てる。ここで３枚周期は、連続する３枚のピクチャからなるピクチャ群の１個分に対応するピクチャ数により示される周期である。
【０１２６】
図１４（ｂ）においては、第１の符号化部１２３にはピクチャＩ２に続いて、ピクチャＰ５、Ｂ６、Ｂ７、Ｐ８の順にピクチャが入力されている。ピクチャＰ５とピクチャＰ８との間にあるピクチャＢ６及びＢ７の参照構造は、図１６に示した従来技術の符号化装置と同一になっている。続くピクチャＰ１１、Ｂ１２、Ｂ１３、Ｐ１４も同様であり、ピクチャＢ１２及びＢ１３の参照構造は図１６に示した従来技術の符号化装置と同一になっている。
【０１２７】
図１４（ｃ）は第２の符号化部１２４に入力される画像の参照関係を矢印で示したものである。図１４（ｂ）と併せて見たとき、第１の符号化部１２３で処理されるピクチャと、第２の符号化部１２４で処理されるピクチャとは互いに参照関係に無く、独立に処理可能であることが判る。図１４（ｃ）においても、第２の符号化部１２４にはピクチャＩ２に続いて、ピクチャＢ３、Ｂ４、Ｐ５の順にピクチャが入力されている。ピクチャＩ２とピクチャＰ５との間にあるピクチャＢ３及びピクチャＢ４の参照構造は、図１６に示した従来技術の符号化装置と同一になっている。続くピクチャＰ９、Ｂ９、Ｂ１０、Ｐ１１も同様であり、ピクチャＢ９及びＢ１０の参照構造は図１６に示した従来技術の符号化装置と同一になっている。すなわち、すべてのピクチャについて従来技術の符号化装置と同一の参照構造が実現できている。
【０１２８】
図１４（ｄ）は第１の符号化部１２３及び第２の符号化部１２４において生成された符号列を、符号列合成部１２５が合成することにより生成された画像ビットストリームを示す。図１４では図７のＩピクチャ、すなわちピクチャＩ２に加えて、Ｐピクチャも第１の符号化部１２３及び第２の符号化部１２４に重複して入力されるが、先に述べたように、符号化パラメータを共通にすることで同じ符号列が得られるため、符号列合成部１２５がＩピクチャ及びＰピクチャに対応する符号列の一方だけを選択して合成しても元の画像に関する情報が欠落することは無い。さらに、ピクチャの並び順を図１６に示した従来技術の符号化装置と同一にすることで、従来と互換性のある画像ビットストリームが生成される。
【０１２９】
以上、本発明の実施の形態３に係る圧縮多重部１０５によれば、例えば画素数が４０９６×２１６０又は３８４０×２１６０といった高解像度画像を画面分割することなく記録媒体１０に記録できる。入力ピクチャを小画像に分割することなく、ピクチャ単位に時間軸分割した並列処理を可能とするため、分割した切れ目付近における画質劣化が発生しない。
【０１３０】
また、ＧＯＰと比較してピクチャ数の少ない（本実施の形態においては３ピクチャ）ピクチャ群単位に並列処理をおこなうため、ピクチャの振分けのために用いるメモリ（画像バッファ１２２）の容量が少なくてすみ、符号化装置の大型化を回避することができる。
【０１３１】
さらには、並列処理により符号化された符号列を符号列合成部１２５により合成された画像ビットストリームが、従来技術の符号化装置により生成される画像ビットストリームと同一になり、互換性を保つことが可能になる。
【０１３２】
以上、本発明の実施の形態３に係る圧縮多重部１０５について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１３３】
例えば、上記説明では、画像分配部１２１は、第１の符号化部１２３及び第２の符号化部１２４に、３ピクチャからなるピクチャ群を交互に供給したが、実施の形態２と同様に、２つの符号化部においてそれぞれＧＯＰ構造が毎ＧＯＰ同じ構造になるようにピクチャ群を供給してもよい。
【０１３４】
以上、本発明の実施の形態１、２及び３に係る画像符号化装置について説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１３５】
例えば、上記説明では、高解像度画像は４０９６×２１６０又は３８４０×２１６０の解像度としたが、高解像度画像の画像サイズはこれに限定されるものではない。また、本発明は従来解像度の画像に適用することも可能である。
【０１３６】
さらに、上記説明では、Ｉピクチャ及びＰピクチャの間にＢピクチャが２枚入るＧＯＰ構造について説明したが、Ｂピクチャの枚数は２枚に限るものではない。さらにはＢピクチャのない、ＩピクチャとＰピクチャだけの構成でもよい。また、Ｉピクチャの間隔についても任意に決定できる。
【０１３７】
また、上記説明では、入力画像として毎秒６０フレームの順次走査画像を例に説明したが、フレームレートは毎秒６０フレーム以外であってもよい。例えば、毎秒３０フレームや毎秒２４フレームのフレームレートの画像であってもよい。また、飛び越し走査の画像であっても良い。
【０１３８】
また、上記説明では、符号化部及び伸張部をそれぞれ２つずつ持つものとしたが、これらの数は２つに限られるものではなく、３つ以上の数であっても良い。
【０１３９】
また、上記説明では、図８において第１の伸張部１４４及び第２の伸張部１４５はそれぞれ参照画像バッファ１４８及び１４９と接続されているものとしたが、これらの参照画像バッファは、画像合成部の画像バッファ１４７と兼用するように構成することも可能である。
【０１４０】
また、上記の画像符号化装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。具体的には、例えば、図１５に示すように、画像分配部１２１、第１の符号化部１２３、第２の符号化部１２４、符号列合成部１２５及び多重部１２７は、１個のシステムＬＳＩから構成されてもよい。
【産業上の利用可能性】
【０１４１】
本発明は、画像符号化装置に適用でき、特に、高解像度画像を符号化する、デジタルビデオカメラ、デジタルカメラ、デジタルレコーダ、デジタルテレビ、ゲーム機、ＩＰ電話機及び携帯電話機などの画像記録再生装置や、デジタル放送やケーブルテレビなどの映像送信装置に搭載される画像符号化装置に適用できる。
【図面の簡単な説明】
【０１４２】
【図１】本発明の実施の形態１に係る画像符号化装置を用いた画像記録再生装置の外観を示す斜視図である。
【図２】本発明の実施の形態１に係る画像符号化装置を用いた画像記録再生装置の構成を示す図である。
【図３】本発明の実施の形態１に係る圧縮多重部の機能構成を示すブロック図である。
【図４】本発明の実施の形態１に係る圧縮多重部による処理の流れを示すフローチャートである。
【図５】（ａ）は、本発明の実施の形態１に係る画像符号化装置に入力される入力画像を示す図である。（ｂ）は、本発明の実施の形態１に係る第１の画像系列及び第２の画像系列を示す図である。
【図６】本発明の実施の形態１に係る圧縮多重部が備える各構成部による処理のタイミングを示すタイミング図である。
【図７】本発明の実施の形態１に係る圧縮多重部におけるフレーム間予測の参照関係を示した処理イメージ図である。
【図８】本発明の実施の形態１に係る分離伸張部の機能構成を示すブロック図である。
【図９】本発明の実施の形態１に係る分離伸張部が備える各構成部による処理のタイミングを示すタイミング図である。
【図１０】本発明の実施の形態１に係る第１の符号化部及び第２の符号化部におけるバッファ制御のイメージを示す図である。
【図１１】本発明の実施の形態１に係る圧縮多重部におけるフレーム間予測の参照関係の別のパターンを示した処理イメージ図である。
【図１２】本発明の実施の形態２に係る圧縮多重部におけるフレーム間予測の参照関係を示した処理イメージ図である。
【図１３】本発明の実施の形態２に係る圧縮多重部におけるフレーム間予測の参照関係の別のパターンを示した処理イメージ図である。
【図１４】本発明の実施の形態３に係る圧縮多重部におけるフレーム間予測の参照関係を示した処理イメージ図である。
【図１５】本発明に係るシステムＬＳＩの機能構成を示すブロック図である。
【図１６】従来の画像符号化装置におけるフレーム間予測の参照関係を説明する処理イメージ図である。
【符号の説明】
【０１４３】
１００  画像記録再生装置
１０１  レンズ群
１０２  撮像部
１０３  Ａ／Ｄ変換部
１０４  画像信号処理部
１０５  圧縮多重部
１０６  記録処理部
１０８  記録制御部
１０９  入力部
１１０  制御部
１１１  画像生成部
１１２  表示部
１１３  画像信号処理部
１１４  分離伸張部
１１５  再生処理部
１２１  画像分配部
１２２  画像バッファ
１２３  第１の符号化部
１２４  第２の符号化部
１２５  符号列合成部
１２６  ストリームバッファ
１２７  多重部
１４１  分離部
１４２  符号列分配部
１４３  ストリームバッファ
１４４  第１の伸張部
１４５  第２の伸張部
１４６  画像合成部
１４７  画像バッファ
１４８、１４９  参照画像バッファ
【図１】
2010200019.tif 000003
【図２】
2010200019.tif 000004
【図３】
2010200019.tif 000005
【図４】
2010200019.tif 000006
【図５】
2010200019.tif 000007
【図６】
2010200019.tif 000008
【図７】
2010200019.tif 000009
【図８】
2010200019.tif 000010
【図９】
2010200019.tif 000011
【図１０】
2010200019.tif 000012
【図１１】
2010200019.tif 000013
【図１２】
2010200019.tif 000014
【図１３】
2010200019.tif 000015
【図１４】
2010200019.tif 000016
【図１５】
2010200019.tif 000017
【図１６】
2010200019.tif 000018