(57)【要約】【課題】ＨＤ画像を記録する符号化装置においてＳＤ画像を記録する際に、メモリを有効利用してフレーム間符号化を行う際により多くのフレームを参照ながら符号化することで高画質化を実現することを課題とする。【解決手段】参照フレーム画像を記憶する参照フレームバッファ（１０２）と、参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化手段（１０４〜１１３）とを有し、参照フレームバッファは、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更する符号化装置が提供される。【選択図】図１
2007166555.tif 000002
【特許請求の範囲】
【請求項１】
参照フレーム画像を記憶する参照フレームバッファと、
前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化手段とを有し、
前記参照フレームバッファは、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更することを特徴とする符号化装置。
【請求項２】
前記参照フレームバッファは、入力画像フレームが低解像度のときの参照フレーム画像を記憶可能なフレーム数が、入力画像フレームが高解像度のときの参照フレーム画像を記憶可能なフレーム数より多いことを特徴とする請求項１記載の符号化装置。
【請求項３】
前記参照フレームバッファは、入力画像フレームが低解像度のときの参照フレーム画像を記憶可能なフレーム数が、入力画像フレームが高解像度のときの参照フレーム画像を記憶可能なフレーム数より少ないことを特徴とする請求項１記載の符号化装置。
【請求項４】
前記符号化手段は、Ｈ．２６４符号化方式で符号化することを特徴とする請求項１〜３のいずれか１項に記載の符号化装置。
【請求項５】
前記符号化手段は、ＭＰＥＧ符号化方式で符号化することを特徴とする請求項１〜３のいずれか１項に記載の符号化装置。
【請求項６】
入力画像の解像度に応じて入力フレーム画像の符号化順序を変更して入力画像を符号化する符号化手段を有することを特徴とする符号化装置。
【請求項７】
前記符号化手段は、複数のピクチャ単位で符号化を行い、低解像度の入力画像を符号化するときに、フレーム内符号化画像の符号化を行い、その後、前記複数のピクチャ内に含まれる順方向予測画像の符号化を全て行い、その後、双方向予測画像の符号化を行うことを特徴とする請求項６記載の符号化装置。
【請求項８】
前記符号化手段は、複数のピクチャ単位で符号化を行い、高解像度の入力画像を符号化するときに、フレーム内符号化画像の符号化を行い、その後、前記複数のピクチャ内に含まれる順方向予測画像の符号化を全て行い、その後、双方向予測画像の符号化を行うことを特徴とする請求項６記載の符号化装置。
【請求項９】
前記符号化手段は、Ｈ．２６４符号化方式で符号化することを特徴とする請求項６〜８のいずれか１項に記載の符号化装置。
【請求項１０】
前記符号化手段は、ＭＰＥＧ符号化方式で符号化することを特徴とする請求項６〜８のいずれか１項に記載の符号化装置。
【請求項１１】
入力画像の解像度に応じてピクチャタイプ構成比を変更して入力画像を符号化する符号化手段を有することを特徴とする符号化装置。
【請求項１２】
前記符号化手段は、ＧＯＰ単位で低解像度の入力画像を符号化するときに前記ＧＯＰを構成する順方向予測画像の比率が、高解像度の入力画像を符号化するときに前記ＧＯＰを構成する順方向予測画像の比率よりも多くなるように符号化することを特徴とする請求項１１記載の符号化装置。
【請求項１３】
前記符号化手段は、ＧＯＰ単位で低解像度の入力画像を符号化するときに前記ＧＯＰを構成する順方向予測画像の比率が、高解像度の入力画像を符号化するときに前記ＧＯＰを構成する順方向予測画像の比率よりも少なくなるように符号化することを特徴とする請求項１１記載の符号化装置。
【請求項１４】
前記符号化手段は、Ｈ．２６４符号化方式で符号化することを特徴とする請求項１１〜１３のいずれか１項に記載の符号化装置。
【請求項１５】
前記符号化手段は、ＭＰＥＧ符号化方式で符号化することを特徴とする請求項１１〜１３のいずれか１項に記載の符号化装置。
【請求項１６】
参照フレーム画像を参照フレームバッファに記憶する記憶ステップと、
前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化ステップとを有し、
前記参照フレームバッファは、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更することを特徴とする符号化方法。
【請求項１７】
入力画像の解像度に応じて入力フレーム画像の符号化順序を変更して入力画像を符号化する符号化ステップを有することを特徴とする符号化方法。
【請求項１８】
入力画像の解像度に応じてピクチャタイプ構成比を変更して入力画像を符号化する符号化ステップを有することを特徴とする符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置及び方法に関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラやデジタルテレビではハイビジョン化の流れが進行しハイデフィニション画像（ＨＤ画像）をＨ２６４等の高能率符号化方式で記録するハイビジョン用符号化装置に対する需要が大きくなっている。またハイビジョン用符号化装置は、ＨＤ画像のみを記録するだけでなく、スタンダードデフィニション画像（ＳＤ画像）も記録可能であることが仕様として要求されている。
【０００３】
下記の特許文献１には、ＳＤ画像とＨＤ画像の両方が記録可能なビデオカメラが記載されている。
【０００４】
【特許文献１】特開平１１−１９６３３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述のような符号化装置はＨＤ画像を符号化可能なスペックを持っているため、ＨＤ画像の符号化を行う際は、その装置が持つメモリなどを十分に使用して符号化を行うことになる。しかし、ＳＤ画像の符号化を行う際は、ＨＤ画像の符号化と同じ方法ではメモリを十分に有効利用することができない。
【０００６】
本発明の目的は、Ｈ２６４等の高能率符号化方式でＨＤ画像を記録する符号化装置においてＳＤ画像を記録する際に、メモリを有効利用してフレーム間符号化を行う際により多くのフレームを参照ながら符号化することで高画質化を実現することである。
【課題を解決するための手段】
【０００７】
本発明の符号化装置は、参照フレーム画像を記憶する参照フレームバッファと、前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化手段とを有し、前記参照フレームバッファは、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更することを特徴とする。
また、本発明の符号化装置は、入力画像の解像度に応じて入力フレーム画像の符号化順序を変更して入力画像を符号化する符号化手段を有することを特徴とする。
また、本発明の符号化装置は、入力画像の解像度に応じてピクチャタイプ構成比を変更して入力画像を符号化する符号化手段を有することを特徴とする。
また、本発明の符号化方法は、参照フレーム画像を参照フレームバッファに記憶する記憶ステップと、前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化ステップとを有し、前記参照フレームバッファは、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更することを特徴とする。
また、本発明の符号化方法は、入力画像の解像度に応じて入力フレーム画像の符号化順序を変更して入力画像を符号化する符号化ステップを有することを特徴とする。
また、本発明の符号化方法は、入力画像の解像度に応じてピクチャタイプ構成比を変更して入力画像を符号化する符号化ステップを有することを特徴とする。
【発明の効果】
【０００８】
参照フレームバッファを有効活用することができ、高画質化を実現することができる。
【発明を実施するための最良の形態】
【０００９】
（第１の実施形態）
本発明の第１の実施の形態による符号化装置を図１、図２、図３に基づき説明する。第１の実施形態では入力信号の解像度に応じて参照フレームバッファ１０２の管理方法を変更する形態である。ＧＯＰ（Group of Pictures）内のピクチャ並び順はＨＤ解像度とＳＤ解像度で同じであるが、符号化を行う際に使用する参照ピクチャの管理方法を解像度に応じて変更する形態である。
【００１０】
図１は第１の実施形態による符号化装置の全体システム構成図であり、図２はＨＤ画像を本符号化装置で符号化する際の入力ピクチャと符号化ピクチャの関係を示す図である。図３はＳＤ画像を本符号化装置で符号化する際の入力ピクチャと符号化ピクチャの関係を示す図である。なお、本装置の符号化方式はＨ.２６４／ＡＶＣであるとし、解像度がＨＤとＳＤの時での本装置の動作を示す。
【００１１】
Ｈ．２６４／ＡＶＣ符号化方式では、マクロブロックごとに、予測モードとして、フレーム画像信号と時間的に異なる複数の符号化済みフレーム画像信号（参照フレーム画像信号）を参照して動きベクトルを検出する。これにより、動き補償フレーム間予測を行う複数の「インタ（ＩＮＴＥＲ）予測モード」と、同一空間上の符号化済みである近傍のマクロブロックの画素値を用いた空間予測を行う複数の「イントラ（ＩＮＴＲＡ）予測モード」とが用意されている。なお、「ＩＮＴＥＲ予測モード」においては、マクロブロックをさらに任意の領域（例えば、８画素×１６ライン）に分割したブロック（対象領域）毎に動き検出、動き予測、及び動き補償の各処理（詳細は後述する。）が行われる。動画像符号化装置は、入力映像信号の局所的な性質に応じてマクロブロック単位で予測モードを切り替え、効率的な情報圧縮を行うことができるように構成されている。
【００１２】
本符号化装置は、機能的な構成要素として、図１に示すように、入力部と、フレームバッファ１０１、参照フレームバッファ１０２、動き予測部１０４と、動き補償部１０５、イントラ予測部１０６を備える。さらに、本符号化装置は、直交変換部１０７、量子化部１０８、エントロピー符号化部１０９、逆量子化部１１０、逆直交変換部１１１と、スイッチ１１３を備える。以下、各構成要素について説明する。
【００１３】
入力部は、外部から入力される動画像信号を符号化のための並べ替えを行う部分であり、並べ替えを行った後のフレームデータはフレームバッファ１０１に保存される。
【００１４】
動き予測部１０４は、予測モードの選択と動きベクトルの検出を行う部分であり、「ＩＮＴＥＲ予測モード」を選択した場合、参照フレーム信号を用いて、動きベクトルを検出する。より具体的には、動き予測部１０４は、参照フレーム信号を用いて、あらかじめ参照フレームバッファ１０２に蓄積されている複数の符号化済みフレーム画像の中から所定の探索範囲内で、現フレーム内の画像信号パターンに類似する画像信号パターンを探し出す。そして、両画像信号パターン間の空間的な変位量である動きベクトルを検出する。動き予測部１０４は、動きベクトル差分値と、参照フレーム番号と、選択された予測モードとを含む信号をエントロピー符号化部１０９へ送る。前記動きベクトル差分値は、検出された動きベクトルと符号化済みの隣接ブロックの動きベクトルから算出する最適予測動きベクトル（動きベクトル予測値）との差分情報である。前記参照フレーム番号は、動きベクトルの検出に用いた参照フレーム画像信号を示す。同時に、動き予測部１０４は、選択された予測モードと、動きベクトルと、参照フレーム番号とを含む信号を動き補償部１０５に送る。
【００１５】
また、動き補償部１０５は、動き予測部１０４から送られた動きベクトルを用いて、参照フレームバッファ１０２中の参照フレーム番号で示されるフレームの符号化済み画像信号（参照フレーム画像信号）を参照する。そして、動き補償部１０５は、各ブロックの予測画像信号を生成し、スイッチ１１３に送り、符号化対象画像との差分をとって後段の直交変換部１０７へ送る。
【００１６】
一方、動き予測部１０４が「ＩＮＴＲＡ予測モード」を選択した場合、イントラ予測部１０６において同一空間上の符号化済みである近傍のブロックの画素値を用いた予測信号をスイッチ１１３に送る。減算器は、その予測信号と符号化対象画像との差分をとって後段の直交変換部１０７へ送る。
【００１７】
直交変換部１０７は、予測残差信号を直交変換することにより、直交変換係数を生成して量子化部１０８に送る。
【００１８】
これに対して、量子化部１０８が、直交変換部１０７から送信された直交変換係数を量子化することにより、量子化直交変換係数を生成し、エントロピー符号化部１０９及び逆量子化部１１０に送る。
【００１９】
次に、エントロピー符号化部１０９は、量子化部１０８から送信された量子化直交変換係数と、動き予測部１０４から送信された予測モードと、動きベクトル差分値と、参照フレーム番号とに基づいてエントロピー符号化を行って圧縮ストリームに多重化する。そして、エントロピー符号化部１０９は、それを外部へ伝送する。
【００２０】
また、逆量子化部１１０は、量子化部１０８から送信された量子化直交変換係数について逆量子化を行うことにより、直交変換係数を生成して、逆直交変換部１１１に送る。
【００２１】
そして、逆直交変換部１１１は、逆量子化部１１０から送信された直交変換係数について逆直交変換を行うことにより、予測残差信号を生成し、加算器に送る。
【００２２】
加算器は、逆直交変換部１１１から送信された予測残差信号とスイッチ１１３から送信された予測画像信号とを加算してフレーム画像信号を生成し、図示しないループフィルタでフィルタリングされた後、参照フレームバッファ１０２に送る。このフレーム画像信号が、参照フレームバッファ１０２に格納され、以降の符号化処理で、参照フレーム画像信号として用いられる。また、動きベクトルや参照フレーム番号に関する情報も参照フレーム画像信号に含んで同時に格納される。
【００２３】
本装置に入力される画像信号の解像度がＨＤ解像度である場合の本装置の符号化方法を説明する。
【００２４】
図２において、Ｆ０〜Ｆ１４は入力信号をフレーム単位で示したものであり、Ｉ０、Ｂ１、Ｂ２・・・は符号化したピクチャであり、各符号化ピクチャの下には対象ピクチャを符号化する際に使用する参照フレームバッファ１０２を示したものである。なお、この参照フレームバッファ１０２は、Ｈ.２６４ではデコーディッドピクチャバッファ（DPB : Decoded Picture Buffer）とも呼ばれ、レベルである解像度に応じてそのサイズが規定されている。そのため、入力画像がＨＤ画像の場合、そのレベルは４であり（小数点以下はないものとする）、ＨＤ解像度画像４枚分が保存可能なメモリ領域が必要となる。このメモリ量はデコード側で規定するものであってエンコードの際はこれ以下のメモリ量で符号化しても構わない。この後の説明では４枚分の画像が保存可能なメモリ量をもつものとする。
【００２５】
入力信号Ｆ０、Ｆ１、Ｆ２はフレームバッファ１０１に一旦保存されてフレームの並べ替えが行われる。その後Ｆ２をＩピクチャとして符号化してＩ０を生成する。その際、Ｉ０ピクチャは次フレーム以降の参照ピクチャとして使用されるため、本装置内部でローカルデコードされて参照フレームバッファ１０２に保存される。なお、ローカルデコードを行う仕組みは上述した通りである。次に、Ｆ０はローカルデコードされたＩ０ピクチャを参照ピクチャとしてＢ１ピクチャを生成し、Ｆ１もローカルデコードされたＩ０ピクチャを参照してＢ２ピクチャを生成する。またＦ５はローカルデコードされたＩ０ピクチャを参照してＰ３ピクチャを生成するが、この後の符号化の参照ピクチャとして用いられるため、ローカルデコードされて参照フレームバッファ１０２に保存される。この後も同様の動作を繰り返すことで参照フレームバッファ１０２にローカルデコードを保存しながら符号化信号を形成していく。
【００２６】
ここで、Ｆ１３ならびにＦ１４フレームを符号化する際の参照フレームバッファ１０２の管理方法を説明する。Ｆ１４は順方向予測画像（以下、Ｐピクチャと呼ぶ）として符号化するため、前方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ１０２には符号化済みのＩ０、Ｐ３、Ｐ６、Ｐ９をローカルデコードした４枚の画像が保存されている。Ｆ１４はそれらのピクチャを用いてＰ１２の符号化を行うが、Ｆ１４はＰピクチャであり、次フレーム以降の参照ピクチャとして使用されるため、ローカルデコードを行い参照フレームバッファ１０２に保存される。また、この時点でＰ１２が今後の参照フレームとして使用されるため、参照フレームバッファ１０２に保存されているＩ０ピクチャが破棄されて、Ｐ１２が参照フレームバッファ１０２に保存される。
【００２７】
Ｆ１３はＢピクチャとして符号化するため、前方ならびに後方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ１０２には符号化済みの、Ｐ３、Ｐ６、Ｐ９、Ｐ１２をローカルデコードした４枚の画像が保存されている。Ｆ１３はそれらのピクチャを用いてＢ１４の符号化を行う。
【００２８】
以上のように参照フレームバッファ１０２を管理すると、Ｐピクチャを符号化する際には常に前方４枚の画像を参照ピクチャとして使用し、Ｂピクチャは常に前方３枚、後方１枚の画像を参照ピクチャとして使用できるようになる。
【００２９】
次に、本装置に入力される画像信号の解像度がＳＤ解像度である場合の本装置の符号化方法を説明する。
【００３０】
図３において、Ｆ０〜Ｆ１４は入力信号をフレーム単位で示したものであり、Ｉ０、Ｂ１、Ｂ２・・・は符号化したピクチャであり、各符号化ピクチャの下には対象ピクチャを符号化する際に使用する参照フレームバッファ１０２を示したものである。なお、参照フレームバッファ１０２は入力画像がＳＤ画像の場合、そのレベルは３であり（小数点以下はないものとする）、ＳＤ解像度画像７枚分が保存可能なメモリ領域が必要となる。しかし、前述のとおり、エンコード側で７枚分のメモリ領域を持つ必要はなく、６枚以下のメモリ量で符号化しても構わない。しかしながら、本装置はＨＤ解像度画像を符号化するためのメモリ領域としてＨＤ解像度４枚分のメモリ領域を既に持っているため、ＳＤ解像度６枚分のメモリ領域が十分ある。そのため、入力信号の解像度がＳＤ解像度である場合はＨＤ解像度を符号化可能な領域である参照フレームバッファ１０２を有効利用して符号化を行う。
【００３１】
入力信号Ｆ０、Ｆ１、Ｆ２はフレームバッファ１０１に一旦保存されてフレームの並べ替えが行われる。その後Ｆ２をＩピクチャとして符号化してＩ０を生成する。その際、Ｉ０ピクチャは次フレーム以降の参照ピクチャとして使用されるため、本装置内部でローカルデコードされて参照フレームバッファ１０２に保存される。なお、ローカルデコードを行う仕組みは上述した通りである。次に、Ｆ０はローカルデコードされたＩ０ピクチャを参照ピクチャとしてＢ１ピクチャを生成し、Ｆ１もローカルデコードされたＩ０ピクチャを参照してＢ２ピクチャを生成する。またＦ５はローカルデコードされたＩ０ピクチャを参照してＰ３ピクチャを生成するが、この後の符号化の参照ピクチャとして用いられるため、ローカルデコードされて参照フレームバッファ１０２に保存される。この後も同様の動作を繰り返すことで参照フレームバッファ１０２にローカルデコードを保存しながら符号化信号を形成していく。
【００３２】
ここで、Ｆ１３ならびにＦ１４フレームを符号化する際の参照フレームバッファ１０２の管理方法を説明する。Ｆ１４はＰピクチャとして符号化するため、前方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ１０２には符号化済みのＩ０、Ｐ３、Ｐ６、Ｐ９をローカルデコードした４枚の画像が保存されている。Ｆ１４はそれらのピクチャを用いてＰ１２の符号化を行うが、Ｆ１４はＰピクチャであり、次フレーム以降の参照ピクチャとして使用されるため、ローカルデコードを行い参照フレームバッファ１０２に保存される。
【００３３】
Ｆ１３はＢピクチャとして符号化するため、前方ならびに後方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ１０２には符号化済みのＩ０、Ｐ３、Ｐ６、Ｐ９、Ｐ１２をローカルデコードした５枚の画像が保存されている。Ｆ１３はそれらのピクチャを用いてＢ１４の符号化を行う。
【００３４】
図２ならびに図３は説明を簡略化するために１ＧＯＰ分しか表示していない。しかし、当該ＧＯＰの前ならびに後ろにもフレームが続いてあるものとし、参照フレームバッファ１０２に保存されている参照ピクチャは表示したＧＯＰより前のＧＯＰに含まれるＰピクチャなどをローカルデコードした画像が保存されている。オープンＧＯＰ構造の場合、ＧＯＰをまたいで参照することは容易に可能であるとする。また、今回示した例ではＢピクチャを参照ピクチャに用いるようにしてはいないが、Ｈ.２６４／ＡＶＣではＢピクチャを参照フレームに用いることが可能なのでＢピクチャをローカルデコードして、そのピクチャを参照するような形態でも構わない。
【００３５】
以上のように参照フレームバッファ１０２を管理すると、Ｐピクチャを符号化する際には常に前方６枚の画像を参照ピクチャとして使用し、Ｂピクチャを符号化する際には常に前方５枚、後方１枚の画像を参照ピクチャとして使用できるようになる。よって、フレーム間予測を行うＰピクチャならびにＢピクチャの符号化において、符号化対象フレームから時間的に離れたフレームを参照ピクチャとして使用することが可能となるので大幅な予測効率の向上が行えることになる。
【００３６】
なお、本実施形態ではＨＤ解像度とＳＤ解像度を例にとって説明したが、解像度はこの２つだけに限らない。また、ＨＤ解像度とＳＤ解像度の参照フレームの保持枚数は上記で説明したものと逆に、ＨＤ解像度信号を符号化する時の参照フレームの枚数がＳＤ解像度信号を符号化する時の参照フレームの枚数よりも多くすることも可能である。
【００３７】
以上のように、本実施形態は、参照フレーム画像を記憶する参照フレームバッファ１０２と、前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化手段１０４〜１１３とを有する。前記参照フレームバッファ１０２は、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更する。
【００３８】
前記参照フレームバッファ１０２は、入力画像フレームが低解像度（ＳＤ解像度）のときの参照フレーム画像を記憶可能なフレーム数が、入力画像フレームが高解像度（ＨＤ解像度）のときの参照フレーム画像を記憶可能なフレーム数より多い。
【００３９】
また、前記参照フレームバッファ１０２は、入力画像フレームが低解像度のときの参照フレーム画像を記憶可能なフレーム数が、入力画像フレームが高解像度のときの参照フレーム画像を記憶可能なフレーム数より少なくしてもよい。
【００４０】
（第２の実施形態）
本発明の第２の実施の形態による符号化装置を図１、図４に基づき説明する。第２の実施形態では入力信号の解像度に応じて符号化順序を変更する形態である。
【００４１】
全体システム構成図は第１の実施形態と共通であるため図１と変わらない。よって図１の説明は第１の実施形態で述べてあるので省略する。またＨＤ解像度の場合は図２ならびに第１の実施形態に示した方法で符号化を行うものとする。図４はＳＤ画像を本符号化装置で符号化する際の入力ピクチャと符号化ピクチャの関係を示す図である。なお、本装置の符号化方式はＨ.２６４／ＡＶＣであるとし、解像度がＨＤとＳＤの時での本装置の動作を示す。
【００４２】
本装置に入力される画像信号の解像度がＳＤ解像度である場合の本装置の符号化方法を説明する。
【００４３】
図４において、Ｆ０〜Ｆ１４は入力信号をフレーム単位で示したものであり、Ｉ０、Ｐ１、Ｐ２・・・は符号化したピクチャであり、各符号化ピクチャの下には対象ピクチャを符号化する際に使用する参照フレームバッファ１０２を示したものである。なお、参照フレームバッファ１０２は入力画像がＳＤ画像の場合、そのレベルは３であり（小数点以下はないものとする）、ＳＤ解像度画像６枚分が保存可能なメモリ領域が必要となる。しかし、前述の通り、エンコード側で６枚分のメモリ領域を持つ必要はなく、６枚以下のメモリ量で符号化しても構わない。しかしながら、本装置はＨＤ解像度画像を符号化するためのメモリ領域としてＨＤ解像度４枚分のメモリ領域を既に持っているため、ＳＤ解像度６枚分のメモリ領域が十分ある。そのため、入力信号の解像度がＳＤ解像度である場合はＨＤ解像度ＨＤ解像度を符号化可能な領域である参照フレームバッファ１０２を有効利用して符号化を行う。
【００４４】
入力信号Ｆ０、Ｆ１、Ｆ２はフレームバッファ１０１に一旦保存されてフレームの並べ替えが行われる。その後Ｆ２をＩピクチャとして符号化してＩ０を生成する。その際、Ｉ０ピクチャは次フレーム以降の参照ピクチャとして使用されるため、本装置内部でローカルデコードされて参照フレームバッファ１０２に保存される。なお、ローカルデコードを行う仕組みは第１の実施形態内に述べた通りである。次に、入力信号Ｆ３、Ｆ４、Ｆ５がフレームバッファ１０１に一旦保存されてフレームの並べ替えを行い、Ｉ０を参照ピクチャとしてＦ５を符号化してＰ１を生成する。このＰ１も後のフレームの参照ピクチャとして用いるためローカルデコードを行い参照フレームバッファ１０２に保存される。同様にＦ８からＰ２を生成してローカルデコード画像を参照フレームバッファ１０２に保存する。
【００４５】
次に、Ｆ０はローカルデコードされたＩ０、Ｐ１、Ｐ２を参照ピクチャとしてＢ１ピクチャを生成し、Ｆ１もローカルデコードされたＩ０、Ｐ１、Ｐ２を参照してＢ２ピクチャを生成する。この後も同様の動作を繰り返すことで参照フレームバッファ１０２にローカルデコード画像を保存しながら符号化信号を形成していく。
【００４６】
ここで、Ｆ１０ならびにＦ１４フレームを符号化する際の符号化順序を説明する。Ｆ１４はＰピクチャとして符号化するため、前方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ１０２には符号化済みのＩ０、Ｐ１、Ｐ２、Ｐ７をローカルデコードした４枚の画像が保存されている。Ｆ１４はそれらのピクチャを用いてＰ８の符号化を行うが、Ｆ１４はＰピクチャであり、次フレーム以降の参照ピクチャとして使用されるため、ローカルデコードを行い参照フレームバッファ１０２に保存される。
【００４７】
Ｆ１０はＢピクチャとして符号化するため、前方ならびに後方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ１０２には符号化済みの、Ｉ０、Ｐ１、Ｐ２、Ｐ７、Ｐ８をローカルデコードした５枚の画像が保存されている。Ｆ１０はそれらのピクチャを用いてＢ１２の符号化を行う。
【００４８】
図４は説明を簡略化するために１ＧＯＰ分しか表示していないが、第１の実施形態と同様、当該ＧＯＰの前ならびに後ろにもフレームが続いてあるものとする。参照フレームバッファ１０２に保存されている参照ピクチャは表示したＧＯＰより前のＧＯＰに含まれるＰピクチャなどをローカルデコードした画像が保存されており、オープンＧＯＰ構造の場合、ＧＯＰをまたいで参照することは容易に可能であるとする。また、今回示した例ではＢピクチャを参照ピクチャに用いるようにしてはいないが、Ｈ.２６４／ＡＶＣではＢピクチャを参照フレームに用いることが可能なのでＢピクチャをローカルデコードして、そのピクチャを参照するような形態でも構わない。
【００４９】
以上のように最初にＰピクチャだけを符号化しておいて、その後にＢピクチャを符号化するような符号化順序で符号化を行うと、Ｐピクチャを符号化する際には常に前方６枚の画像を参照ピクチャとして使用する。そして、Ｂピクチャを符号化する際には後方２枚以上のピクチャを参照フレームとして使用できるようになる。よって、フレーム間予測を行うＰピクチャならびにＢピクチャの符号化において、符号化対象フレームから時間的に離れたフレームを参照ピクチャとして使用することが可能となるので大幅な予測効率の向上が行えることになる。
【００５０】
なお、本実施形態ではＨＤ解像度とＳＤ解像度を例にとって説明したが、解像度はこの２つだけに限らない。また、ＨＤ解像度とＳＤ解像度の符号化順序は上記で説明したものと逆でもよい。すなわち、ＨＤ解像度信号を符号化する時の符号化順序が上記で説明したＳＤ解像度信号を符号化する時の符号化順序になり、ＳＤ解像度信号を符号化するときの符号化順序が上記で説明したＨＤ解像度信号を符号化するときの符号化順序になることも可能である。
【００５１】
以上のように、本実施形態は、入力画像の解像度に応じて入力フレーム画像の符号化順序を変更して入力画像を符号化する符号化手段を有する。前記符号化手段は、複数のピクチャ単位で符号化を行い、低解像度（ＳＤ解像度）の入力画像を符号化するときに、フレーム内符号化画像（Ｉピクチャ）の符号化を行う。その後、前記複数のピクチャ内に含まれる順方向予測画像（Ｐピクチャ）の符号化を全て行い、その後、双方向予測画像（Ｂピクチャ）の符号化を行う。
【００５２】
符号化手段は、複数のピクチャ単位で符号化を行い、高解像度の入力画像を符号化するときに、フレーム内符号化画像の符号化を行い、その後、複数のピクチャ内に含まれる順方向予測画像の符号化を全て行い、その後、双方向予測画像の符号化を行ってもよい。
【００５３】
（第３の実施形態）
本発明の第３の実施の形態による符号化装置を図１、図５に基づき説明する。第３の実施形態では入力信号の解像度に応じてＧＯＰ（Group of Pictures）を形成するPピクチャの比率を変更する形態である。
【００５４】
全体システム構成図は第１の実施形態と共通であるため図１と変わらない。よって図１の説明は第１の実施形態で述べてあるので省略する。またＨＤ解像度の場合は図２ならびに第１の実施形態に示した方法で符号化を行うものとする。図５はＳＤ画像を本符号化装置で符号化する際の入力ピクチャと符号化ピクチャの関係を示す図である。なお、本装置の符号化方式はＨ.２６４／ＡＶＣであるとし、解像度がＨＤとＳＤの時での本装置の動作を示す。
【００５５】
本装置に入力される画像信号の解像度がＳＤ解像度である場合の本装置の符号化方法を説明する。
【００５６】
図５において、Ｆ０〜Ｆ８は入力信号をフレーム単位で示したものであり、Ｉ０、Ｐ１、Ｐ２・・・は符号化したピクチャであり、各符号化ピクチャの下には対象ピクチャを符号化する際に使用する参照フレームバッファ１０２を示したものである。なお、参照フレームバッファ１０２は入力画像がＳＤ画像の場合、そのレベルは３であり（小数点以下はないものとする）、ＳＤ解像度画像６枚分が保存可能なメモリ領域が必要となるが、第２の実施形態と同様の理由でＳＤ解像度６枚分のメモリ領域が十分ある。そのため、入力信号の解像度がＳＤ解像度である場合はＨＤ解像度ＨＤ解像度を符号化可能な領域である参照フレームバッファ１０２を有効利用して符号化を行う。
【００５７】
入力信号Ｆ０〜Ｆ８はフレームバッファ１０１に一旦保存されてフレームの並べ替えが行われる。その後Ｆ２をＩピクチャとして符号化してＩ０を生成する。その際、Ｉ０ピクチャは次フレーム以降の参照ピクチャとして使用されるため、本装置内部でローカルデコードされて参照フレームバッファ１０２に保存される。なお、ローカルデコードを行う仕組みは第１の実施形態内に述べた通りである。次に、Ｆ４はローカルデコードされたＩ０を参照ピクチャとしてＰ１を生成し、Ｆ６はローカルデコードされたＩ０、Ｐ１を参照ピクチャとしてＰ２を生成し、Ｆ８も同様にＰ３を生成する。その後Ｆ０はＩ０、Ｐ１、Ｐ２、Ｐ３を参照ピクチャとしてＢ４を生成し、この後も同様の動作を繰り返すことで参照フレームバッファ１０２にローカルデコード画像を保存しながら符号化信号を形成していく。
【００５８】
ここで、Ｆ５を符号化する際の符号化順序を説明する。Ｆ５はＢピクチャとして符号化するため、前方の符号化済みピクチャと後方の符号化済みピクチャを参照ピクチャとして使用する。しかし、その際、参照フレームバッファ１０２には符号化済みのＩ０、Ｐ１、Ｐ２、Ｐ３をローカルデコードした４枚の画像が保存されている。Ｆ５はそれらのピクチャを用いてＢ７の符号化を行う。
【００５９】
図５は説明を簡略化するために短い１ＧＯＰ分しか表示していないが、第１の実施形態と同様、当該ＧＯＰの前ならびに後ろにもフレームが続いてあるものとする。参照フレームバッファ１０２に保存されている参照ピクチャは表示したＧＯＰより前のＧＯＰに含まれるＰピクチャなどをローカルデコードした画像が保存されており、オープンＧＯＰ構造の場合、ＧＯＰをまたいで参照することは容易に可能であるとする。また、今回示した例ではＢピクチャを参照ピクチャに用いるようにしてはいないが、Ｈ.２６４／ＡＶＣではＢピクチャを参照フレームに用いることが可能なのでＢピクチャをローカルデコードして、そのピクチャを参照するような形態でも構わない。
【００６０】
以上のようにＧＯＰを構成するPピクチャの比率を変更すると、Ｐピクチャを符号化する際は常に前方最高６枚までのピクチャを参照して符号化を行う。Ｂピクチャを符号化する際は、ＧＯＰを形成するフレームの先頭から最後までのフレームを参照ピクチャとして符号化することが可能となる。よって、フレーム間予測を行うＰピクチャならびにＢピクチャの符号化において、符号化対象フレームから時間的に離れたフレームを参照ピクチャとして使用することが可能となるので大幅な予測効率の向上が行えることになる。
【００６１】
なお、本実施形態ではＨＤ解像度とＳＤ解像度を例にとって説明したが、解像度はこの２つだけに限らない。また、ＨＤ解像度とＳＤ解像度のPピクチャの比率は上記で説明したものと逆に、ＨＤ解像度信号を符号化する時のPピクチャの比率がＳＤ解像度信号を符号化する時のPピクチャの比率よりも多くすることも可能である。
【００６２】
以上のように、本実施形態は、入力画像の解像度に応じてピクチャタイプ構成比を変更して入力画像を符号化する符号化手段を有する。前記符号化手段は、ＧＯＰ単位で低解像度の入力画像を符号化するときに前記ＧＯＰを構成する順方向予測画像（Ｐピクチャ）の比率が、高解像度の入力画像を符号化するときに前記ＧＯＰを構成する順方向予測画像の比率よりも多くなるように符号化する。低解像度は、例えばＳＤ解像度である。
【００６３】
また、前記符号化手段は、ＧＯＰ単位で低解像度の入力画像を符号化するときに前記ＧＯＰを構成する順方向予測画像の比率が、高解像度の入力画像を符号化するときに前記ＧＯＰを構成する順方向予測画像の比率よりも少なくなるように符号化してもよい。
【００６４】
以上詳述したように、第１〜第３の実施形態によれば、様々な解像度信号を符号化可能な本符号化装置において、フレーム間符号化を行う際の参照ピクチャの管理方法を入力画像の解像度に応じて変更する。これにより、メモリを有効利用して、多くのフレームを参照しながら符号化を行い、高画質符号化信号を生成することが可能となる。
【００６５】
また本装置において、フレーム間符号化を行う際の符号化順番を入力画像の解像度に応じて変更することで、メモリを有効利用して多くのフレームを参照しながら符号化を行い、高画質符号化信号を生成することが可能となる。
【００６６】
また本装置において、ＧＯＰを形成するPピクチャの比率を入力画像の解像度に応じて変更することで、メモリを有効利用して多くのフレームを参照しながら符号化を行い、高画質符号化信号を生成することが可能となる。
【００６７】
なお、符号化手段は、Ｈ．２６４符号化方式で符号化してもよいし、ＭＰＥＧ符号化方式で符号化してもよい。上記実施形態の符号化装置は、光ディスクや磁気テープを記録媒体にもつデジタルビデオカメラ等の符号化装置に適用することができる。
【００６８】
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１の実施形態による符号化装置の構成例を示すブロック図である。
【図２】符号化装置において、ＨＤ解像度信号を符号化した際の入力フレームと符号化フレームの関係を示す図である。
【図３】本発明の第１の実施形態において、ＳＤ解像度画像を符号化した際の入力フレームと符号化フレームの関係を示す図である。
【図４】本発明の第２の実施形態において、ＳＤ解像度画像を符号化した際の入力フレームと符号化フレームの関係を示す図である。
【図５】本発明の第３の実施形態において、ＳＤ解像度画像を符号化した際の入力フレームと符号化フレームの関係を示す図である。
【符号の説明】
【００７０】
１０１  フレームバッファ
１０２  参照フレームバッファ
１０４  動き予測部
１０５  動き補償部
１０６  イントラ予測部
１０７  直交変換部
１０８  量子化部
１０９  エントロピー符号化部
１１０  逆量子化部
１１１  逆直交変換部
１１３  スイッチ
【図１】
2007166555.tif 000003
【図２】
2007166555.tif 000004
【図３】
2007166555.tif 000005
【図４】
2007166555.tif 000006
【図５】
2007166555.tif 000007