(57)【要約】【課題】画像符号化処理の遅延を確実に抑えるとともに回路規模の増大を抑えた画像符号化装置および画像符号化方法を提供する。【解決手段】画像符号化装置１００は、複数の入力ピクチャを順次符号化することにより符号化ピクチャを生成する画像符号化部１０１と、スキップピクチャを生成するスキップピクチャ生成部１０４と、その符号化ピクチャおよびスキップピクチャに対してエントロピー符号化を行うエントロピー符号化部１０２と、エントロピー符号化によって、閾値よりも大きい符号量のマクロブロックを含む符号化ピクチャが発生したか否かを判別し、その符号化ピクチャに対応する入力ピクチャ以降の何れかを特定ピクチャとして、その特定ピクチャに対し、画像符号化部１０１に符号化させず、スキップピクチャ生成部１０４にスキップピクチャを生成させる符号化制御部１０３とを備える。【選択図】図１
2008005163.tif 000002
【特許請求の範囲】
【請求項１】
複数の入力ピクチャを順次符号化することにより画素値を有する符号化ピクチャを生成する画像符号化手段と、
画素値を持たないスキップピクチャを生成するスキップピクチャ生成手段と、
前記符号化ピクチャおよび前記スキップピクチャに対してエントロピー符号化を行うエントロピー符号化手段と、
前記エントロピー符号化手段によるエントロピー符号化によって、閾値よりも大きい符号量のマクロブロックを含む符号化ピクチャが発生したか否かを判別する判別手段と、
前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャと、前記入力ピクチャよりも符号化順で後の各入力ピクチャとのうち何れかを特定ピクチャとして、前記特定ピクチャに対し、前記画像符号化手段に符号化させず、前記スキップピクチャ生成手段にスキップピクチャを生成させる符号化制御手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
前記画像符号化手段は、
量子化ステップ値を用いて符号化を行い、
前記符号化制御手段は、
前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャが、前記特定ピクチャでない場合、先の符号化で用いられた量子化ステップ値よりも大きな量子化ステップ値で、前記入力ピクチャを前記画像符号化手段に再び符号化させる
ことを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記符号化制御手段は、
前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャが、前記特定ピクチャでない場合、前記入力ピクチャを新たな符号化ピクチャとして画像符号化手段に生成させる
ことを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記符号化制御手段は、
前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャと、前記入力ピクチャよりも符号化順で後の各入力ピクチャとのうち、ボトムフィールドを前記特定ピクチャとする
ことを特徴とする請求項１記載の画像符号化装置。
【請求項５】
前記スキップピクチャ生成手段は、
左上端のマクロブロックが、符号化順で直前のトップフィールドを参照し、水平方向に０画素で垂直方向に０．５画素の動き補償をすべきことを示し、他のマクロブロックがスキップトマクロブロックとして構成される前記スキップピクチャを生成する
ことを特徴とする請求項４記載の画像符号化装置。
【請求項６】
前記符号化制御手段は、
前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャと、前記入力ピクチャよりも符号化順で後の各入力ピクチャとのうち、トップフィールドを前記特定ピクチャとする
ことを特徴とする請求項１記載の画像符号化装置。
【請求項７】
前記スキップピクチャ生成手段は、
左上端のマクロブロックが、符号化順で直前のボトムフィールドを参照し、水平方向に０画素で垂直方向に−０．５画素の動き補償をすべきことを示し、他のマクロブロックがスキップトマクロブロックとして構成される前記スキップピクチャを生成する
ことを特徴とする請求項６記載の画像符号化装置。
【請求項８】
前記符号化制御手段は、
前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャと、前記入力ピクチャよりも符号化順で後の各入力ピクチャとのうち、Ｂピクチャを前記特定ピクチャとする
ことを特徴とする請求項１記載の画像符号化装置。
【請求項９】
前記スキップピクチャ生成手段は、
左上端のマクロブロックが、符号化順で直前のＩピクチャまたはＰピクチャを参照すべきことを示し、他のマクロブロックがスキップトマクロブロックとして構成される前記スキップピクチャを生成する
ことを特徴とする請求項８記載の画像符号化装置。
【請求項１０】
前記符号化制御手段は、
前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャと、前記入力ピクチャよりも符号化順で後の各入力ピクチャとのうち、Ｂピクチャのボトムフィールドを前記特定ピクチャとする
ことを特徴とする請求項１記載の画像符号化装置。
【請求項１１】
前記スキップピクチャ生成手段は、
左上端のマクロブロックが、符号化順で直前のトップフィールドを参照し、水平方向に０画素で垂直方向に０．５画素の動き補償をすべきことを示し、他のマクロブロックがスキップトマクロブロックとして構成される前記スキップピクチャを生成する
ことを特徴とする請求項１０記載の画像符号化装置。
【請求項１２】
前記符号化制御手段は、
前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャと、前記入力ピクチャよりも符号化順で後の各入力ピクチャとのうち、Ｂピクチャのトップフィールドを前記特定ピクチャとする
ことを特徴とする請求項１記載の画像符号化装置。
【請求項１３】
前記スキップピクチャ生成手段は、
左上端のマクロブロックが、符号化順で直前のボトムフィールドを参照し、水平方向に０画素で垂直方向に−０．５画素の動き補償をすべきことを示し、他のマクロブロックがスキップトマクロブロックとして構成される前記スキップピクチャを生成する
ことを特徴とする請求項１２記載の画像符号化装置。
【請求項１４】
前記判別手段は、
ＡＶＣ／Ｈ．２６４で規定されるマクロブロックの最大の符号量を前記閾値として扱う
ことを特徴とする請求項１記載の画像符号化装置。
【請求項１５】
前記エントロピー符号化手段は、
Ｃｏｎｔｅｘｔ−ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ（ＣＡＢＡＣ）によって前記エントロピー符号化を行う
ことを特徴とする請求項１記載の画像符号化装置。
【請求項１６】
前記スキップピクチャ生成手段は、
全てのマクロブロックがスキップトマクロブロックとして構成される前記スキップピクチャを生成する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項１７】
前記符号化制御手段は、
前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャと、前記入力ピクチャよりも符号化順で後の各入力ピクチャとのうち、前記特定ピクチャ以外の既に前記画像符号化手段で符号化された入力ピクチャを、前記画像符号化手段に再び符号化させることによって処理の遅延が生じたときには、前記遅延が解消されるまで、前記スキップピクチャ生成手段にスキップピクチャを生成させる
ことを特徴とする請求項１記載の画像符号化装置。
【請求項１８】
複数の入力ピクチャを順次符号化することにより画素値を有する符号化ピクチャを生成する画像符号化ステップと、
画素値を持たないスキップピクチャを生成するスキップピクチャ生成ステップと、
前記符号化ピクチャおよび前記スキップピクチャに対してエントロピー符号化を行うエントロピー符号化ステップと、
前記エントロピー符号化ステップによるエントロピー符号化によって、閾値よりも大きい符号量のマクロブロックを含む符号化ピクチャが発生したか否かを判別する判別ステップと、
前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャと、前記入力ピクチャよりも符号化順で後の各入力ピクチャとのうち何れかを特定ピクチャとして、前記特定ピクチャに対し、前記画像符号化ステップで符号化させず、前記スキップピクチャ生成ステップでスキップピクチャを生成させる符号化制御ステップと
を含むことを特徴とする画像符号化方法。
【請求項１９】
複数の入力ピクチャを順次符号化することにより画素値を有する符号化ピクチャを生成する画像符号化手段と、
画素値を持たないスキップピクチャを生成するスキップピクチャ生成手段と、
前記符号化ピクチャおよび前記スキップピクチャに対してエントロピー符号化を行うエントロピー符号化手段と、
前記エントロピー符号化手段によるエントロピー符号化によって、閾値よりも大きい符号量のマクロブロックを含む符号化ピクチャが発生したか否かを判別する判別手段と、
前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャと、前記入力ピクチャよりも符号化順で後の各入力ピクチャとのうち何れかを特定ピクチャとして、前記特定ピクチャに対し、前記画像符号化手段に符号化させず、前記スキップピクチャ生成手段にスキップピクチャを生成させる符号化制御手段と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を圧縮符号化して、光ディスク、磁気ディスクあるいはフラッシュメモリ等の記憶メディア上に記録する画像符号化装置および画像符号化方法に関するものであり、特にＨ．２６４符号化方式により圧縮符号化を行う画像符号化装置および画像符号化方法に関する。
【背景技術】
【０００２】
デジタル映像技術の発展と共に、増大するデータ量を処理するために、データを圧縮する技術がデジタル映像データに使用され、発展しつつある。その発展は、映像データの特性を生かした映像データに特化した圧縮技術となって現れている。また、コンピュータなどの情報処理機器の処理能力の向上に伴い、圧縮技術における複雑な演算も可能となり、映像データの圧縮率は大幅に向上しつつある。例えば、衛星、地上波デジタルハイビジョン放送で採用されている圧縮技術はＭＰＥＧ２と呼ばれる方式であり、衛星デジタルハイビジョン放送はＭＰＥＧ２によって映像データを約１／３０に圧縮している。
【０００３】
ＭＰＥＧ２の次の映像圧縮技術として規格化されたＡＶＣ／Ｈ．２６４は、ＭＰＥＧ２の約２倍の圧縮率を実現すると言われている。ＡＶＣ／Ｈ．２６４では、多くの圧縮技術を実装し、それらを組み合わせることで高い圧縮率を実現している。そのため、演算量も大幅に増加している。
【０００４】
ＡＶＣ／Ｈ．２６４で実装されている圧縮技術の一つにエントロピー符号化（可変長符号化）がある。エントロピー符号化の方式として、ＣＡＶＬＣとＣＡＢＡＣという２つの方式が用意されている。ＣＡＶＬＣは、Ｃｏｎｔｅｘｔ−ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ（コンテキスト適応型可変長符号化方式）の略であり、ＤＣＴ係数を符号化する際、可変長符号化テーブルを用いて連続する０の長さであるランとレベルをスキャンの方向と反対の方向から符号化する方式である。
【０００５】
ＣＡＢＡＣは、Ｃｏｎｔｅｘｔ−ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ（コンテキスト適応型２値算術符号化方式）の略で、時間とともに変化する符号化対象の出現頻度を変化させる方式で、一般に算術符号化と呼ばれる方式である。ＣＡＢＡＣでは、通常の算術符号化のほかに、圧縮すべき符号ごとにコンテキストを付け、そのコンテキストごとに出現頻度の変更を行っている。
【０００６】
ＣＡＢＡＣでの符号化は主に２つの処理に分けられる。１つ目は、Ｓｙｎｔａｘと呼ばれる符号化すべき多値情報を２値データに変換する２値化（ｂｉｎａｒｉｚａｔｉｏｎ）と呼ばれる処理であり、２つ目は、２値化によって変換された２値データに対してコンテキストを算出し算術符号化を行う処理である。
【０００７】
また、ＣＡＢＡＣ符号化処理は、コンテキストによっては、大量のビットストリームを出力する必要があるため、高クロックで動作させる必要があり、回路規模および消費電力が大きくなる。そこで、ＣＡＢＡＣでは、符号化対象の画像データにより処理量が大きく変化する特性を利用して、ＣＡＢＡＣの平均的な処理量で回路を実装し、その処理量の増減を吸収する２値データバッファを設け、２値化処理を行う回路と算術符号化を行う回路とは、非同期に動作させることで、クロック数を抑えることが可能である。
【０００８】
ところで、ＡＶＣ／Ｈ．２６４において、マクロブロックの最大符号量は、４−２−０フォーマット、ｂｉｔ＿ｄｅｐｔｈ８ビットの場合で３２００ビットに制限されている。しかし、算術符号化では、２値データのビット毎に０／１の出現確率を求めて符号化の処理が行われ、その出現確率は、ビット毎に適応的に切り替えられて、ビットの値によって更新されるため、ＣＡＢＡＣの出力符号量を符号化前に正確に知ることは困難である。したがって、マクロブロックを符号化した結果、符号量が３２００ビットを超える場合は、そのマクロブロックの符号化の条件を変更して再度符号化を行わなければならない。つまり、マクロブロックの最大符号量制限が満たされているかどうかの判定は、ＣＡＢＡＣ符号化後に行われる。
【０００９】
その結果、平均的な処理速度での算術符号化によって遅延が発生して、数フレーム分の２値データが２値データバッファの中に蓄積されている状態で、算術符号化後に３２００ビットを越えるマクロブロックが検出されることがある。このような場合、再符号化のために、２値データバッファに蓄積されている数フレーム分の２値化されたデータをすべて破棄して、３２００ビットを超えたフレーム（または、マクロブロック）から符号化を再度行う必要がある。その結果、画像符号化処理の遅延が大きくなる。
【００１０】
そこで、算術符号化部に入力されるデータを監視し、３２００ビットを超えそうな場合には、Ｉ＿ＰＣＭ符号化へ切り替えるという画像符号化装置が提案されている（例えば、特許文献１参照）。つまり、この画像符号化装置では、算術符号化を実施する前に、算術符号化後の符号量を推定することにより、３２００ビットを超えそうなマクロブロックを有するピクチャに対しては再符号化を行うことなく、符号化されていない入力ピクチャをＣＡＢＡＣ符号化処理の対象とする。
【特許文献１】特開２００４−１３５２５１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記特許文献１の画像符号化装置であっても、画像符号化処理の遅延が発生し、回路規模が増大するという問題がある。
【００１２】
つまり、上記特許文献１の画像符号化装置であっても、算術符号化後の符号量を正確に推定できず、３２００ビットを超える符号量のマクロブロックの発生を防ぐことができない。３２００ビットを超える符号量のマクロブロックが発生した場合には、２値データバッファに含まれるデータを全て破棄して、規格違反を起こしたピクチャ以降のデータ全てを再度メモリから読み出し、再符号化を行う必要がある。その結果、入力ピクチャに対して画像符号化処理の遅れが生じ、そのメモリには多くの入力ピクチャが格納されることとなり、回路規模が増大する。
【００１３】
そこで、本発明は、かかる問題に鑑みてなされたものであって、画像符号化処理の遅延を確実に抑えるとともに回路規模の増大を抑えた画像符号化装置および画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明に係る画像符号化装置は、複数の入力ピクチャを順次符号化することにより画素値を有する符号化ピクチャを生成する画像符号化手段と、画素値を持たないスキップピクチャを生成するスキップピクチャ生成手段と、前記符号化ピクチャおよび前記スキップピクチャに対してエントロピー符号化を行うエントロピー符号化手段と、前記エントロピー符号化手段によるエントロピー符号化によって、閾値よりも大きい符号量のマクロブロックを含む符号化ピクチャが発生したか否かを判別する判別手段と、前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャと、前記入力ピクチャよりも符号化順で後の各入力ピクチャとのうち何れかを特定ピクチャとして、前記特定ピクチャに対し、前記画像符号化手段に符号化させず、前記スキップピクチャ生成手段にスキップピクチャを生成させる符号化制御手段とを備えることを特徴とする。例えば、前記判別手段は、ＡＶＣ／Ｈ．２６４で規定されるマクロブロックの最大の符号量を前記閾値として扱う。また、前記エントロピー符号化手段は、Ｃｏｎｔｅｘｔ−ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ（ＣＡＢＡＣ）によって前記エントロピー符号化を行う。
【００１５】
従来では、閾値よりも大きい符号量のマクロブロックを含む符号化ピクチャが発生したときには、つまり規格違反が発生したときには、その規格違反の入力ピクチャ以降の各入力ピクチャの全てに対して予測符号化などの符号化処理が行われるが、本発明では、特定ピクチャに対しては、予測符号化などの符号化処理が行われずに、画素値を持たないスキップピクチャが生成される。ここで、特定ピクチャに対する符号化処理に要する時間は、スキップピクチャを生成する時間に比べて非常に長いため、その符号化処理に要する時間を省いて、入力ピクチャの入力に対する画像符号化処理の遅延を確実に抑えることができる。その結果、入力メモリを保持しておくメモリの容量を抑えて回路規模の増大を抑えることができる。さらに、低消費電力化を測ることができる。
【００１６】
また、前記画像符号化手段は、量子化ステップ値を用いて符号化を行い、前記符号化制御手段は、前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャが、前記特定ピクチャでない場合、先の符号化で用いられた量子化ステップ値よりも大きな量子化ステップ値で、前記入力ピクチャを前記画像符号化手段に再び符号化させることを特徴としてもよい。または、前記符号化制御手段は、前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャが、前記特定ピクチャでない場合、前記入力ピクチャを新たな符号化ピクチャとして画像符号化手段に生成させることを特徴としてもよい。
【００１７】
これにより、再符号化により生成された符号化ピクチャに対してエントロピー符号化が行われたときには、その符号化ピクチャに含まれるマクロブロックの符号量を閾値以下に確実に抑えることができる。
【００１８】
また、前記符号化制御手段は、前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャと、前記入力ピクチャよりも符号化順で後の各入力ピクチャとのうち、ボトムフィールドを前記特定ピクチャとすることを特徴としてもよい。ここで、前記スキップピクチャ生成手段は、左上端のマクロブロックが、符号化順で直前のトップフィールドを参照し、水平方向に０画素で垂直方向に０．５画素の動き補償をすべきことを示し、他のマクロブロックがスキップトマクロブロックとして構成される前記スキップピクチャを生成することを特徴としてもよい。
【００１９】
これにより、エントロピー符号化によって生成されたストリームを取得した画像復号化装置は、ボトムフィールドに対するスキップピクチャに基づいて、全てのマクロブロックにおいて直前のトップフィールドを参照して垂直方向に０．５画素の動き補償を行うことにより、そのスキップピクチャを、その符号化前のボトムフィールドに近似するピクチャに復号することができる。
【００２０】
また、前記符号化制御手段は、前記マクロブロックを含む符号化ピクチャに対応する入力ピクチャと、前記入力ピクチャよりも符号化順で後の各入力ピクチャとのうち、トップフィールドを前記特定ピクチャとすることを特徴としてもよい。ここで、前記スキップピクチャ生成手段は、左上端のマクロブロックが、符号化順で直前のボトムフィールドを参照し、水平方向に０画素で垂直方向に−０．５画素の動き補償をすべきことを示し、他のマクロブロックがスキップトマクロブロックとして構成される前記スキップピクチャを生成することを特徴としてもよい。
【００２１】
これにより、エントロピー符号化によって生成されたストリームを取得した画像復号化装置は、トップフィールドに対するスキップピクチャに基づいて、全てのマクロブロックにおいて直前のボトムフィールドを参照して垂直方向に−０．５画素の動き補償を行うことにより、そのスキップピクチャを、その符号化前のトップフィールドに近似するピクチャに復号することができる。
【００２２】
なお、本発明は、このような画像符号化装置として実現することができるだけでなく、このような画像符号化装置が備える特徴的な手段をステップとする画像符号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００２３】
本発明の画像符号化装置は、画像符号化処理の遅延を確実に抑えるとともに回路規模の増大を抑え、低消費電力化を図ることができる。したがって、ビデオカメラやカメラ付き携帯電話機等が広く普及してきた今日における本発明の実用的価値は極めて高い。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態における画像符号化装置について図面を参照しながら説明する。
【００２５】
図１は、本発明の実施の形態における画像符号化装置の構成を示すブロック図である。
【００２６】
画像符号化装置１００は、画像符号化部１０１、エントロピー符号化部１０２、符号化制御部１０３、スキップピクチャ生成部１０４、およびスイッチ１０３ａを備える。
【００２７】
画像符号化部１０１は、入力画像データを取得して、その入力画像データに含まれる各入力ピクチャに対して順次、予測符号化（面内予測符号化または面間予測符号化）を行う。その結果、画像符号化部１０１は、画素値を有する予測符号化ピクチャを生成する。
【００２８】
スキップピクチャ生成部１０４は、画素値を持たないスキップピクチャを生成する。このようなスキップピクチャを含むビットストリームを取得した画像復号化装置は、そのスキップピクチャに対して他のピクチャの復号結果を利用する。つまり、画像復号化装置は、復号化対象のピクチャがスキップピクチャであることを判断すると、そのスキップピクチャを、既に復号化された他のピクチャと同様の画素値を有するピクチャに復号化する。
【００２９】
エントロピー符号化部１０２は、画像符号化部１０１で生成された予測符号化ピクチャを取得すると、その予測符号化ピクチャに対してエントロピー符号化（可変長符号化）を行い、その結果を示す出力ストリーム（ビットストリーム）を出力する。また、エントロピー符号化部１０２は、スキップピクチャ生成部１０４で生成されたスキップピクチャを取得すると、そのスキップピクチャに対してエントロピー符号化を行い、その結果を示す出力ストリームを出力する。
【００３０】
スイッチ１０３ａは、符号化制御部１０３からの指示に従って、エントロピー符号化部１０２を、画像符号化部１０１とスキップピクチャ生成部１０４とに切り換えて接続する。
【００３１】
符号化制御部１０３は、エントロピー符号化部１０２によるエントロピー符号化によって発生する符号量に応じて、予測符号化モードとスキップ符号化モードとを切り換えて設定する。
【００３２】
予測符号化モードは、通常設定されるモードであって、入力画像データに含まれる各入力ピクチャに対して予測符号化およびエントロピー符号化が行われるモードである。この予測符号化モードが設定されているときには、符号化制御部１０３は、スイッチ１０３ａを制御することで、エントロピー符号化部１０２を画像符号化部１０１に常に接続させる。
【００３３】
スキップ符号化モードは、入力画像データに含まれる予め定められたタイプの入力ピクチャ（特定ピクチャ）に対して、予測符号化が行われずにスキップピクチャが生成されて、そのスキップピクチャに対してエントロピー符号化が行われるモードである。また、スキップ符号化モードでは、入力画像データに含まれる特定ピクチャを除く各入力ピクチャに対しては、上述の予測符号化モードと同様に、予測符号化およびエントロピー符号化が行われる。このスキップ符号化モードが設定されているときには、符号化制御部１０３は、スイッチ１０３ａを制御することで、特定ピクチャに対しては、エントロピー符号化部１０２をスキップピクチャ生成部１０４に接続させ、他の入力ピクチャに対しては、エントロピー符号化部１０２を画像符号化部１０１に接続させる。
【００３４】
ここで、本実施の形態では、上記特定ピクチャをボトムフィールドとする。
【００３５】
図２は、本実施の形態におけるスキップピクチャの構成を示す図である。
【００３６】
スキップピクチャ生成部１０４は、例えば、図２の（ａ）に示すように、全てのマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成する。
【００３７】
このようなスキップピクチャを特定ピクチャたるボトムフィールドとして取得した画像復号化装置は、そのボトムフィールドの符号化順で直前のトップフィールドを参照し、そのスキップピクチャを、そのトップフィールドと同じ画像を有するボトムフィールドに復号する。その結果、復号化されたスキップピクチャは、符号化前のボトムフィールドと近似した画像を有することとなる。
【００３８】
また、スキップピクチャ生成部１０４は、例えば、図２の（ｂ）に示すように、左上端のマクロブロックのみがインターマクロブロックからなり、他のマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成してもよい。インターマクロブロックは、参照すべきピクチャ（参照ピクチャ）として符号化順で直前のトップフィールドを示すとともに、そのトップフィールドを参照して水平方向に０画素で垂直方向に０．５画素の動き補償をすべきことを示す情報を有する。
【００３９】
このようなスキップピクチャを特定ピクチャたるボトムフィールドとして取得した画像復号化装置は、全てのマクロブロックにおいて直前のトップフィールドを参照して垂直方向に０．５画素の動き補償を行うことにより、そのスキップピクチャを、符号化前のボトムフィールドにより近似させたピクチャに復号することができる。
【００４０】
図３は、画像符号化部１０１の構成を示すブロック図である。
【００４１】
画像符号化部１０１は、入力画像データメモリ２０１、参照画像データメモリ２０２、面内予測部２０３、動きベクトル検出部２０４、動き補償部２０５、スイッチ２０６、差分演算部２０７、直交変換部２０８、量子化部２０９、逆量子化部２１０、逆直交変換部２１１、および加算部２１２を備えている。
【００４２】
入力画像データメモリ２０１は、入力画像データを取得してその入力画像データを蓄積する。参照画像データメモリ２０２は、入力画像データに含まれる入力ピクチャが予測符号化されてさらに復号化されたピクチャを参照ピクチャとして蓄積する。なお、入力画像データメモリ２０１および参照画像データメモリ２０２に蓄積されるデータは、１マクロブロックあたりの符号量が３２００ビットを超えるという規格違反がエントロピー符号化部１０２で発生した際の再予測符号化のデータとして利用される。
【００４３】
面内予測部２０３は、入力画像データに含まれる入力ピクチャに対して画像領域ごとに面内予測を行うことにより予測画像を生成する。このとき、面内予測部２０３は、参照画像データメモリ２０２に蓄積されている画素値を用いる。この画素値は、その面内予測対象の入力ピクチャに含まれる既に予測符号化されて復号化された画像領域の画素値である。
【００４４】
動きベクトル検出部２０４は、参照画像データメモリ２０２に格納されている参照ピクチャを探索対象とし、最も入力ピクチャに近い画像領域を検出してその位置を示す動きベクトルを決定し、最も誤差の小さい符号化対象ブロックのサイズおよびそのサイズでの動きベクトルを決定する。
【００４５】
動き補償部２０５は、参照画像データメモリ２０２に格納されている参照ピクチャから、動きベクトル検出部２０４によって検出された動きベクトルにより示される画像領域の画素値を取り出すことにより、予測画像を生成する。
【００４６】
スイッチ２０６は、入力ピクチャに対して面内予測符号化が行われるときには、差分演算部２０７に面内予測部２０３を接続し、入力ピクチャに対して面間予測符号化が行われるときには、差分演算部２０７に動き補償部２０５を接続する。
【００４７】
差分演算部２０７は、入力画像データメモリ２０１から入力ピクチャを取得すると、その入力ピクチャと予測画像の差分値を計算し、直交変換部２０８に出力する。
【００４８】
直交変換部２０８は、差分値を周波数係数に変換し、量子化部２０９に出力する。
【００４９】
量子化部２０９は、直交変換部２０８から出力された周波数係数を、予め定められた量子化ステップ値を用いて量子化し、その結果得られた量子化値をスイッチ１０３ａに出力する。つまり、画像符号化部１０１は予測符号化ピクチャをスイッチ１０３ａに出力する。
【００５０】
逆量子化部２１０は、量子化部２０９から出力された量子化値を逆量子化して周波数係数に復元し、逆直交変換部２１１に出力する。
【００５１】
逆直交変換部２１１は、逆量子化部２１０から出力された周波数係数を画素差分値に逆周波数変換し、加算部２１２に出力する。
【００５２】
加算部２１２は、逆直交変換部２１１から出力された画素差分値と、面内予測部２０３または動き補償部２０５から出力された予測画像とを加算して参照ピクチャを生成し、参照画像データメモリ２０２に格納する。
【００５３】
また、制御情報とは、符号化制御部１０３から出力された画像符号化部１０１を制御するための情報である。画像符号化部１０１は、この制御情報に応じて、例えば量子化ステップ値を変更したり、マクロブロックをＩ_ＰＣＭに変更したりすることができる。
【００５４】
図４は、エントロピー符号化部１０２の構成を示すブロック図である。
【００５５】
エントロピー符号化部１０２は、２値化部３０１、２値化データバッファ３０２、およびＣＡＢＡＣ符号化部３０３を備える。
【００５６】
２値化部３０１は、入力データとして予測符号化ピクチャまたはスキップピクチャを例えばマクロブロックごとに取得すると、そのマクロブロックに示される多値情報を２値データに変換して、その２値データを２値化データバッファ３０２に格納する。
【００５７】
ＣＡＢＡＣ符号化部３０３は、２値化データバッファ３０２に格納されている２値データを取得して、その２値データに対してコンテキストを算出して算術符号化を行う。なお、ＣＡＢＡＣ符号化部３０３による処理は、２値化部３０１の処理とは非同期に行われる。
【００５８】
ＣＡＢＡＣ符号化部３０３は、算出符号化の結果、予測符号化ピクチャに含まれる全てのマクロブロックに対して、１マクロブロックあたりの符号量が３２００ビットを超えない場合には、その予測符号化ピクチャに対する算術符号化の結果を示す出力ストリームを出力する。このとき、符号化制御部１０３は、このような出力ストリームが出力されるごとに、画像符号化部１０１の入力画像データメモリ２０１および参照画像データメモリ２０２に蓄積されている不要となった再予測符号化のためのデータを削除させる。
【００５９】
また、ＣＡＢＡＣ符号化部３０３は、算出符号化の結果、予測符号化ピクチャに含まれる何れかのマクロブロックに対して、１マクロブロックあたりの符号量が３２００ビットを超える場合には、その予測符号化ピクチャに対する算出符号化の結果を示す出力ストリームを出力しない。そして、既に２値化データバッファ３０２に蓄積されている２値データを削除する。
【００６０】
このような本実施の形態において、符号化制御部１０３の処理について詳細に説明する。
【００６１】
符号化制御部１０３は、エントロピー符号化部１０２によるエントロピー符号化によって、予測符号化ピクチャに含まれる１マクロブロックに、３２００ビットを超える符号量が発生したか否か、つまり規格違反が発生したか否かを判別する。つまり、本実施の形態では、符号化制御部１０３が判別手段を備えている。そして、規格違反が発生したと判別すると、符号化制御部１０３は、予測符号化モードをスキップ符号化モードに切り換える。ここで、規格違反のマクロブロックを含む予測符号化ピクチャに対応する入力ピクチャを、以下、違反入力ピクチャという。
【００６２】
符号化制御部１０３は、スキップ符号化モードに切り換えると、入力画像データに含まれる各入力ピクチャのうち、違反入力ピクチャと、その違反入力ピクチャの符号化順で後続の各入力ピクチャとに対して、スキップ符号化モードによる処理を適用する。ここで、符号化制御部１０３は、違反入力ピクチャが上述の特定ピクチャでない場合には、画像符号化部１０１を制御することにより、その違反入力ピクチャに対して再び予測符号化を行う、つまりその違反入力ピクチャに対して再予測符号化を行う。この再予測符号化のときには、符号化制御部１０３は、画像符号化部１０１での量子化ステップ値を先に用いられた値よりも大きくさせることで、再び規格違反が発生しないようにする。
【００６３】
ところで、従来例のように、規格違反が発生したときに、違反入力ピクチャ以降の全ての入力ピクチャに対して予測符号化およびエントロピー符号化が行われると、既に予測符号化が行われて２値データとされた入力ピクチャに対しては、再び予測符号化が行われることとなる。その結果、規格違反が発生する度に、入力画像データの入力に対する画像符号化処理の遅延が大きくなる。
【００６４】
そこで、本実施の形態における符号化制御部１０３は、上述のようなスキップ符号化モードを適用し、例えば、符号化対象とされる入力ピクチャが、規格違反が発生しなかった場合に符号化対象とされる入力ピクチャに追いつくまで、そのスキップ符号化モードを継続させ、その後、スキップ符号化モードを予測符号化モードに切り換える。ここで、現時点において、規格違反が発生しなかった場合に符号化対象とされる入力ピクチャと、実際に符号化対象とされる入力ピクチャとの間のピクチャ数を、以下、符号化遅延数という。したがって、上記スキップ符号化モードは、符号化遅延数が０となるまで継続される。また、本実施の形態における符号化制御部１０３は、画像符号化部１０１で符号化対象とされる入力ピクチャの例えばＰＯＣ（Picture Order Count）などの識別番号を監視することによって、上述の符号化遅延数を特定する。
【００６５】
図５は、本実施の形態における画像符号化装置１００の動作を説明するための説明図である。
【００６６】
例えば、図５の（ａ）に示すように、ピクチャＩ０、ピクチャＰ１、ピクチャＢ２、ピクチャＢ３、…の順で、各入力ピクチャが画像符号化部１０１の入力画像データメモリ２０１に格納される。なお、図５中、各入力ピクチャの符号に含まれる最初のアルファベットは、入力ピクチャの符号化タイプを示し、その符号に含まれる次の数字は、入力ピクチャの表示順を示す。例えば、ピクチャＩ０は最初（０番目）に表示されるＩピクチャであって、ピクチャＰ１は１番目に表示されるＰピクチャである。
【００６７】
また、画像符号化装置１００は、規則違反が発生しないときには、図５の（ｂ）に示すように、画像符号化部１０１の入力画像データメモリ２０１に格納されている各入力ピクチャに対して、ピクチャＩ０、ピクチャＰ１、ピクチャＰ６、ピクチャＰ７、…の順で、予測符号化およびエントロピー符号化を行う。
【００６８】
一方、画像符号化装置１００は、規則違反が発生したときには、図５の（ｃ）に示すように、スキップ符号化モードによる処理を実行する。例えば、画像符号化装置１００は、ピクチャＰ６のマクロブロックに対するエントロピー符号化（算術符号化）の結果、そのマクロブロックに対して３２００ビットを超える符号量が発生したと判別する。このとき、画像符号化装置１００は、ピクチャＰ６、ピクチャＰ７、ピクチャＢ２、およびピクチャＢ３に対する予測符号化および２値化の結果として、２値化データバッファ３０２に既に蓄積されている２値データを全て破棄し、スキップ符号化モードによる処理を実行する。
【００６９】
即ち、画像符号化装置１００は、違反入力ピクチャであるピクチャＰ６と、そのピクチャＰ６の符号化順で後続の各入力ピクチャとに対して、符号化遅延数が０となるまで、スキップ符号化モードによる処理を適用する。
【００７０】
具体的に、画像符号化装置１００の符号化制御部１０３は、ピクチャＰ６が特定ピクチャであるボトムフィールドでないため、画像符号化部１０１にそのピクチャＰ６に対する再予測符号化を実行させ、その結果に対してエントロピー符号化部１０２にエントロピー符号化を実行させる。そして、符号化制御部１０３は、次のピクチャＰ７が特定ピクチャであるボトムフィールドであるため、スキップピクチャ生成部１０４にそのピクチャＰ７に対するスキップピクチャを生成させ、その結果に対してエントロピー符号化部１０２にエントロピー符号化を実行させる。
【００７１】
上述と同様に、符号化制御部１０３は、ピクチャＢ２、ピクチャＢ４およびピクチャＰ１２がボトムフィールドでないため、画像符号化部１０１にそれらの入力ピクチャに対する予測符号化を実行させ、その結果に対してエントロピー符号化部１０２にエントロピー符号化を実行させる。また、符号化制御部１０３は、ピクチャＢ３、ピクチャＢ５およびピクチャＰ１３がボトムフィールドであるため、スキップピクチャ生成部１０４にそれらの入力ピクチャに対するスキップピクチャを生成させ、その結果に対してエントロピー符号化部１０２にエントロピー符号化を実行させる。
【００７２】
ピクチャＰ１３に対する処理が終了すると、符号化遅延数が０となるため、符号化制御部１０３は、スキップ符号化モードを予測符号化モードに切り換えて設定する。その結果、ピクチャＢ８以降の各ピクチャに対しては、ボトムフィールドであるか否かに関わらず全て、予測符号化が行われる。
【００７３】
図６は、本実施の形態における符号化制御部１０３の動作を示すフローチャートである。
【００７４】
符号化制御部１０３は、エントロピー符号化部１０２によるエントロピー符号化によって、１マクロブロックあたりに３２００ビットを超える符号量が発生したか否か、つまり規格違反の予測符号化ピクチャが発生したか否かを判別する（ステップＳ１００）。
【００７５】
ここで、規格違反が発生していないと判別したときには（ステップＳ１００のＮｏ）、符号化制御部１０３は、予測符号化モードを継続させる（ステップＳ１０２）。即ち、入力画像データに含まれる入力ピクチャを順次、予測符号化するように画像符号化部１０１に指示するとともに、画像符号化部１０１がエントロピー符号化部１０２に接続されるようにスイッチ１０３ａを制御する。
【００７６】
一方、規格違反が発生したと判別したときには（ステップＳ１００のＹｅｓ）、符号化制御部１０３は、さらに、符号化対象とされる入力ピクチャ（符号化対象ピクチャ）がボトムフィールドであるか否かを判別する（ステップＳ１０４）。なお、このときの最初の符号化対象ピクチャは違反入力ピクチャである。そして、ボトムフィールドでないと判別したとき、つまりトップフィールドであると判別したときには（ステップＳ１０４のＮｏ）、符号化制御部１０３は、その符号化対象ピクチャを予測符号化するように画像符号化部１０１に指示するとともに、画像符号化部１０１がエントロピー符号化部１０２に接続されるようにスイッチ１０３ａを制御する（ステップＳ１０６）。
【００７７】
また、ステップＳ１０４でボトムフィールドであると判別したときには（ステップＳ１０４のＹｅｓ）、符号化制御部１０３は、その符号化対象ピクチャに対してスキップピクチャを生成するようにスキップピクチャ生成部１０４に指示するとともに、スキップピクチャ生成部１０４がエントロピー符号化部１０２に接続されるようにスイッチ１０３ａを制御する（ステップＳ１０８）。
【００７８】
そして、符号化制御部１０３は、符号化遅延数が０となるまで、違反入力ピクチャの後続の入力ピクチャを順に符号化対象ピクチャとして、ステップＳ１０４〜Ｓ１０８の処理、つまりスキップ符号化モードによる処理を継続して行う。
【００７９】
また、符号化制御部１０３は、画像符号化処理を終了すべきか否かを判別し（ステップＳ１１０）、終了すべきと判別したときには（ステップＳ１１０のＹｅｓ）、全ての処理動作を終了し、終了すべきでないと判別したときには（ステップＳ１１０のＮｏ）、ステップＳ１００からの動作を繰り返し実行する。
【００８０】
このように本実施の形態では、規格違反が発生したときには、従来のように、その規格違反の入力ピクチャ以降の各入力ピクチャの全てに対して予測符号化などの符号化処理が行われることなく、特定ピクチャであるボトムフィールドに対しては、予測符号化などの符号化処理が行われずに、画素値を持たないスキップピクチャが生成される。ここで、特定ピクチャに対する符号化処理に要する時間は、スキップピクチャを生成する時間に比べて非常に長いため、その符号化処理に要する時間を省いて、入力ピクチャに対する画像符号化処理の遅延を確実に抑えることができる。その結果、入力メモリを保持しておく入力画像データメモリ２０１の容量を抑えて回路規模の増大を抑えることができる。さらに、低消費電力化を測ることができる。
【００８１】
（変形例１）
本変形例に係る符号化制御部１０３は、トップフィールドを特定ピクチャとして扱う。
【００８２】
また、本変形例に係るスキップピクチャ生成部１０４は、例えば、図２の（ａ）に示すように、全てのマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成する。
【００８３】
このようなスキップピクチャを特定ピクチャたるトップフィールドとして取得した画像復号化装置は、そのトップフィールドの符号化順で直前のボトムフィールドを参照し、そのスキップピクチャを、そのボトムフィールドと同じ画像を有するトップフィールドに復号する。その結果、復号化されたスキップピクチャは、符号化前のトップフィールドと近似した画像を有することとなる。
【００８４】
また、本変形例に係るスキップピクチャ生成部１０４は、例えば、図２の（ｂ）に示すように、左上端のマクロブロックのみがインターマクロブロックからなり、他のマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成してもよい。インターマクロブロックは、参照すべきピクチャ（参照ピクチャ）として符号化順で直前のボトムフィールドを示すとともに、そのトップフィールドを参照して水平方向に０画素で垂直方向に−０．５画素の動き補償をすべきことを示す情報を有する。
【００８５】
このようなスキップピクチャを特定ピクチャたるトップフィールドとして取得した画像復号化装置は、全てのマクロブロックにおいて直前のボトムフィールドを参照して垂直方向に−０．５画素の動き補償を行うことにより、そのスキップピクチャを、符号化前のトップフィールドにより近似させたピクチャに復号することができる。
【００８６】
図７は、本変形例に係る符号化制御部１０３の動作を示すフローチャートである。
【００８７】
符号化制御部１０３は、エントロピー符号化部１０２によるエントロピー符号化によって、１マクロブロックあたりに３２００ビットを超える符号量が発生したか否か、つまり規格違反の予測符号化ピクチャが発生したか否かを判別する（ステップＳ１３０）。
【００８８】
ここで、規格違反が発生していないと判別したときには（ステップＳ１３０のＮｏ）、符号化制御部１０３は、予測符号化モードを継続させる（ステップＳ１３２）。
【００８９】
一方、規格違反が発生したと判別したときには（ステップＳ１３０のＹｅｓ）、符号化制御部１０３は、さらに、符号化対象ピクチャがトップフィールドであるか否かを判別する（ステップＳ１３４）。そして、トップフィールドでないと判別したとき、つまりボトムフィールドであると判別したときには（ステップＳ１３４のＮｏ）、符号化制御部１０３は、その符号化対象ピクチャを予測符号化するように画像符号化部１０１に指示するとともに、画像符号化部１０１がエントロピー符号化部１０２に接続されるようにスイッチ１０３ａを制御する（ステップＳ１３６）。
【００９０】
また、ステップＳ１３４でトップフィールドであると判別したときには（ステップＳ１３４のＹｅｓ）、符号化制御部１０３は、その符号化対象ピクチャに対してスキップピクチャを生成するようにスキップピクチャ生成部１０４に指示するとともに、スキップピクチャ生成部１０４がエントロピー符号化部１０２に接続されるようにスイッチ１０３ａを制御する（ステップＳ１３８）。
【００９１】
そして、符号化制御部１０３は、符号化遅延数が０となるまで、違反入力ピクチャの後続の入力ピクチャを符号化対象ピクチャとして、ステップＳ１３４〜Ｓ１３８の処理、つまりスキップ符号化モードによる処理を継続して行う。
【００９２】
また、符号化制御部１０３は、画像符号化処理を終了すべきか否かを判別し（ステップＳ１４０）、終了すべきと判別したときには（ステップＳ１４０のＹｅｓ）、全ての処理動作を終了し、終了すべきでないと判別したときには（ステップＳ１４０のＮｏ）、ステップＳ１３０からの動作を繰り返し実行する。
【００９３】
（変形例２）
本変形例に係る符号化制御部１０３は、Ｂピクチャを特定ピクチャとして扱う。
【００９４】
また、本変形例に係るスキップピクチャ生成部１０４は、例えば、図２の（ａ）に示すように、全てのマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成する。
【００９５】
このようなスキップピクチャを特定ピクチャたるＢピクチャとして取得した画像復号化装置は、そのＢピクチャの符号化順で直前のＩピクチャまたはＰピクチャを参照し、そのスキップピクチャを、そのＩピクチャまたはＰピクチャと同じ画像を有するＢピクチャに復号する。その結果、復号化されたスキップピクチャは、符号化前のＢピクチャと近似した画像を有することとなる。
【００９６】
また、本変形例に係るスキップピクチャ生成部１０４は、例えば、図２の（ｂ）に示すように、左上端のマクロブロックのみがインターマクロブロックからなり、他のマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成してもよい。インターマクロブロックは、参照すべきピクチャ（参照ピクチャ）として符号化順で直前のＩピクチャまたはＰピクチャを示すとともに、そのＩピクチャまたはＰピクチャを参照して水平方向に０画素で垂直方向に±０．５画素の動き補償をすべきことを示す情報を有する。
【００９７】
このようなスキップピクチャを特定ピクチャたるＢピクチャとして取得した画像復号化装置は、全てのマクロブロックにおいて直前のＩピクチャまたはＰピクチャを参照して垂直方向に±０．５画素の動き補償を行うことにより、そのスキップピクチャを、符号化前のＢピクチャにより近似させたピクチャに復号することができる。
【００９８】
図８は、本変形例に係る画像符号化装置１００の動作を説明するための説明図である。
【００９９】
本変形例に係る画像符号化装置１００は、規則違反が発生しないときには、上記実施の形態と同様、図８の（ａ）に示すように、画像符号化部１０１の入力画像データメモリ２０１に格納されている各入力ピクチャに対して、ピクチャＩ０、ピクチャＰ１、ピクチャＰ６、ピクチャＰ７、…の順で予測符号化およびエントロピー符号化を行う。
【０１００】
一方、画像符号化装置１００は、規則違反が発生したときには、図８の（ｂ）に示すように、スキップ符号化モードによる処理を実行する。例えば、画像符号化装置１００は、ピクチャＰ６のマクロブロックに対するエントロピー符号化（算術符号化）の結果、そのマクロブロックに対して３２００ビットを超える符号量が発生したと判別する。このとき、画像符号化装置１００は、ピクチャＰ６、ピクチャＰ７、ピクチャＢ２、およびピクチャＢ３に対する予測符号化および２値化の結果として、２値化データバッファ３０２に既に蓄積されている２値データを全て破棄し、スキップ符号化モードによる処理を実行する。
【０１０１】
即ち、画像符号化装置１００は、違反入力ピクチャであるピクチャＰ６と、そのピクチャＰ６の符号化順で後続の各入力ピクチャとに対して、符号化遅延数が０となるまで、スキップ符号化モードによる処理を適用する。
【０１０２】
具体的に、画像符号化装置１００の符号化制御部１０３は、ピクチャＰ６が特定ピクチャであるＢピクチャでないため、画像符号化部１０１にそのピクチャＰ６に対する再予測符号化を実行させ、その結果に対してエントロピー符号化部１０２にエントロピー符号化を実行させる。そして、符号化制御部１０３は、次のピクチャＰ７も特定ピクチャであるＢピクチャでないため、画像符号化部１０１にそのピクチャＰ７に対する再予測符号化を実行させ、その結果に対してエントロピー符号化部１０２にエントロピー符号化を実行させる。
【０１０３】
さらに、符号化制御部１０３は、その次のピクチャＢ２が特定ピクチャであるＢピクチャであるため、スキップピクチャ生成部１０４にそのピクチャＢ２に対するスキップピクチャを生成させ、その結果に対してエントロピー符号化部１０２にエントロピー符号化を実行させる。上述と同様に、符号化制御部１０３は、ピクチャＢ３、ピクチャＢ４およびピクチャＢ５がＢピクチャであるため、スキップピクチャ生成部１０４にそれらの入力ピクチャに対するスキップピクチャを生成させ、その結果に対してエントロピー符号化部１０２にエントロピー符号化を実行させる。
【０１０４】
ピクチャＢ５に対する処理が終了すると、符号化遅延数が０となるため、符号化制御部１０３は、スキップ符号化モードを予測符号化モードに切り換えて設定する。その結果、ピクチャＰ１２以降の各ピクチャに対しては、Ｂピクチャであるか否かに関わらず全て、予測符号化が行われる。
【０１０５】
図９は、本変形例に係る符号化制御部１０３の動作を示すフローチャートである。
【０１０６】
符号化制御部１０３は、エントロピー符号化部１０２によるエントロピー符号化によって、１マクロブロックあたりに３２００ビットを超える符号量が発生したか否か、つまり規格違反の予測符号化ピクチャが発生したか否かを判別する（ステップＳ１５０）。
【０１０７】
ここで、規格違反が発生していないと判別したときには（ステップＳ１５０のＮｏ）、符号化制御部１０３は、予測符号化モードを継続させる（ステップＳ１５２）。
【０１０８】
一方、規格違反が発生したと判別したときには（ステップＳ１５０のＹｅｓ）、符号化制御部１０３は、さらに、符号化対象ピクチャがＢピクチャであるか否かを判別する（ステップＳ１５４）。そして、Ｂピクチャでないと判別したときには（ステップＳ１５４のＮｏ）、符号化制御部１０３は、その符号化対象ピクチャを予測符号化するように画像符号化部１０１に指示するとともに、画像符号化部１０１がエントロピー符号化部１０２に接続されるようにスイッチ１０３ａを制御する（ステップＳ１５６）。
【０１０９】
また、ステップＳ１５４でＢピクチャであると判別したときには（ステップＳ１５４のＹｅｓ）、符号化制御部１０３は、その符号化対象ピクチャに対してスキップピクチャを生成するようにスキップピクチャ生成部１０４に指示するとともに、スキップピクチャ生成部１０４がエントロピー符号化部１０２に接続されるようにスイッチ１０３ａを制御する（ステップＳ１５８）。
【０１１０】
そして、符号化制御部１０３は、符号化遅延数が０となるまで、違反入力ピクチャの後続の入力ピクチャを符号化対象ピクチャとして、ステップＳ１５４〜Ｓ１５８の処理、つまりスキップ符号化モードによる処理を継続して行う。
【０１１１】
また、符号化制御部１０３は、画像符号化処理を終了すべきか否かを判別し（ステップＳ１６０）、終了すべきと判別したときには（ステップＳ１６０のＹｅｓ）、全ての処理動作を終了し、終了すべきでないと判別したときには（ステップＳ１６０のＮｏ）、ステップＳ１５０からの動作を繰り返し実行する。
【０１１２】
（変形例３）
本変形例に係る符号化制御部１０３は、Ｂピクチャのボトムフィールドを特定ピクチャとして扱う。
【０１１３】
また、本変形例に係るスキップピクチャ生成部１０４は、例えば、図２の（ａ）に示すように、全てのマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成する。
【０１１４】
このようなスキップピクチャを特定ピクチャたるＢピクチャのボトムフィールドとして取得した画像復号化装置は、そのＢピクチャのボトムフィールドの符号化順で直前のトップフィールドを参照し、そのスキップピクチャを、そのトップフィールドと同じ画像を有するＢピクチャのボトムフィールドに復号する。その結果、復号化されたスキップピクチャは、符号化前のＢピクチャのボトムフィールドと近似した画像を有することとなる。
【０１１５】
また、本変形例に係るスキップピクチャ生成部１０４は、例えば、図２の（ｂ）に示すように、左上端のマクロブロックのみがインターマクロブロックからなり、他のマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成してもよい。インターマクロブロックは、参照すべきピクチャ（参照ピクチャ）として符号化順で直前のトップフィールドを示すとともに、そのトップフィールドを参照して水平方向に０画素で垂直方向に０．５画素の動き補償をすべきことを示す情報を有する。
【０１１６】
このようなスキップピクチャを特定ピクチャたるＢピクチャのボトムフィールドとして取得した画像復号化装置は、全てのマクロブロックにおいて直前のトップフィールドを参照して垂直方向に０．５画素の動き補償を行うことにより、そのスキップピクチャを、符号化前のＢピクチャのボトムフィールドにより近似させたピクチャに復号することができる。
【０１１７】
図１０は、本変形例に係る画像符号化装置１００の動作を説明するための説明図である。
【０１１８】
本変形例に係る画像符号化装置１００は、規則違反が発生しないときには、上記実施の形態と同様、図１０の（ａ）に示すように、画像符号化部１０１の入力画像データメモリ２０１に格納されている各入力ピクチャに対して、ピクチャＩ０、ピクチャＰ１、ピクチャＰ６、ピクチャＰ７、…の順で予測符号化およびエントロピー符号化を行う。
【０１１９】
一方、画像符号化装置１００は、規則違反が発生したときには、図１０の（ａ）に示すように、スキップ符号化モードによる処理を実行する。例えば、画像符号化装置１００は、ピクチャＰ６のマクロブロックに対するエントロピー符号化（算術符号化）の結果、そのマクロブロックに対して３２００ビットを超える符号量が発生したと判別する。このとき、画像符号化装置１００は、ピクチャＰ６、ピクチャＰ７、ピクチャＢ２、およびピクチャＢ３に対する予測符号化および２値化の結果として、２値化データバッファ３０２に既に蓄積されている２値データを全て破棄し、スキップ符号化モードによる処理を実行する。
【０１２０】
即ち、画像符号化装置１００は、違反入力ピクチャであるピクチャＰ６と、そのピクチャＰ６の符号化順で後続の各入力ピクチャとに対して、符号化遅延数が０となるまで、スキップ符号化モードによる処理を適用する。
【０１２１】
具体的に、画像符号化装置１００の符号化制御部１０３は、ピクチャＰ６が特定ピクチャであるＢピクチャのボトムフィールドでないため、画像符号化部１０１にそのピクチャＰ６に対する再予測符号化を実行させ、その結果に対してエントロピー符号化部１０２にエントロピー符号化を実行させる。そして、符号化制御部１０３は、次のピクチャＰ７およびその次のピクチャＢ２も特定ピクチャであるＢピクチャのボトムフィールドでないため、画像符号化部１０１にそのピクチャＰ７およびピクチャＢ２に対する再予測符号化を実行させ、その結果に対してエントロピー符号化部１０２にエントロピー符号化を実行させる。
【０１２２】
さらに、符号化制御部１０３は、その次のピクチャＢ３が特定ピクチャであるＢピクチャのボトムフィールドであるため、スキップピクチャ生成部１０４にそのピクチャＢ３に対するスキップピクチャを生成させ、その結果に対してエントロピー符号化部１０２にエントロピー符号化を実行させる。
【０１２３】
その後、符号化制御部１０３は、上述と同様に、ピクチャＢ４、ピクチャＰ１２、ピクチャＰ１３、ピクチャＢ８、およびピクチャＢ１０がＢピクチャのボトムフィールドでないため、画像符号化部１０１にそれらの入力ピクチャに対する予測符号化を実行させ、その結果に対してエントロピー符号化部１０２にエントロピー符号化を実行させる。そして、符号化制御部１０３は、上述と同様に、ピクチャＢ５、ピクチャＢ９、およびピクチャＢ１１がＢピクチャのボトムフィールドであるため、スキップピクチャ生成部１０４にそれらの入力ピクチャに対するスキップピクチャを生成させ、その結果に対してエントロピー符号化部１０２にエントロピー符号化を実行させる。
【０１２４】
ピクチャＢ１１に対する処理が終了すると、符号化遅延数が０となるため、符号化制御部１０３は、スキップ符号化モードを予測符号化モードに切り換えて設定する。その結果、ピクチャＰ１８以降の各ピクチャに対しては、Ｂピクチャのボトムフィールドであるか否かに関わらず全て、予測符号化が行われる。
【０１２５】
図１１は、本変形例に係る符号化制御部１０３の動作を示すフローチャートである。
【０１２６】
符号化制御部１０３は、エントロピー符号化部１０２によるエントロピー符号化によって、１マクロブロックあたりに３２００ビットを超える符号量が発生したか否か、つまり規格違反の予測符号化ピクチャが発生したか否かを判別する（ステップＳ１７０）。
【０１２７】
ここで、規格違反が発生していないと判別したときには（ステップＳ１７０のＮｏ）、符号化制御部１０３は、予測符号化モードを継続させる（ステップＳ１７２）。
【０１２８】
一方、規格違反が発生したと判別したときには（ステップＳ１７０のＹｅｓ）、符号化制御部１０３は、さらに、符号化対象ピクチャがＢピクチャのボトムフィールドであるか否かを判別する（ステップＳ１７４）。そして、Ｂピクチャのボトムフィールドでないと判別したときには（ステップＳ１７４のＮｏ）、符号化制御部１０３は、その符号化対象ピクチャを予測符号化するように画像符号化部１０１に指示するとともに、画像符号化部１０１がエントロピー符号化部１０２に接続されるようにスイッチ１０３ａを制御する（ステップＳ１７６）。
【０１２９】
また、ステップＳ１７４でＢピクチャのボトムフィールドであると判別したときには（ステップＳ１７４のＹｅｓ）、符号化制御部１０３は、その符号化対象ピクチャに対してスキップピクチャを生成するようにスキップピクチャ生成部１０４に指示するとともに、スキップピクチャ生成部１０４がエントロピー符号化部１０２に接続されるようにスイッチ１０３ａを制御する（ステップＳ１７８）。
【０１３０】
そして、符号化制御部１０３は、符号化遅延数が０となるまで、違反入力ピクチャの後続の入力ピクチャを符号化対象ピクチャとして、ステップＳ１７４〜Ｓ１８８の処理、つまりスキップ符号化モードによる処理を継続して行う。
【０１３１】
また、符号化制御部１０３は、画像符号化処理を終了すべきか否かを判別し（ステップＳ１８０）、終了すべきと判別したときには（ステップＳ１８０のＹｅｓ）、全ての処理動作を終了し、終了すべきでないと判別したときには（ステップＳ１８０のＮｏ）、ステップＳ１７０からの動作を繰り返し実行する。
【０１３２】
（変形例４）
本変形例に係る符号化制御部１０３は、Ｂピクチャのトップフィールドを特定ピクチャとして扱う。
【０１３３】
また、本変形例に係るスキップピクチャ生成部１０４は、例えば、図２の（ａ）に示すように、全てのマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成する。
【０１３４】
このようなスキップピクチャを特定ピクチャたるＢピクチャのトップフィールドとして取得した画像復号化装置は、そのＢピクチャのトップフィールドの符号化順で直前のボトムフィールドを参照し、そのスキップピクチャを、そのボトムフィールドと同じ画像を有するＢピクチャのトップフィールドに復号する。その結果、復号化されたスキップピクチャは、符号化前のＢピクチャのトップフィールドと近似した画像を有することとなる。
【０１３５】
また、本変形例に係るスキップピクチャ生成部１０４は、例えば、図２の（ｂ）に示すように、左上端のマクロブロックのみがインターマクロブロックからなり、他のマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成してもよい。インターマクロブロックは、参照すべきピクチャ（参照ピクチャ）として符号化順で直前のボトムフィールドを示すとともに、そのボトムフィールドを参照して水平方向に０画素で垂直方向に−０．５画素の動き補償をすべきことを示す情報を有する。
【０１３６】
このようなスキップピクチャを特定ピクチャたるＢピクチャのトップフィールドとして取得した画像復号化装置は、全てのマクロブロックにおいて直前のボトムフィールドを参照して垂直方向に−０．５画素の動き補償を行うことにより、そのスキップピクチャを、符号化前のＢピクチャのトップフィールドにより近似させたピクチャに復号することができる。
【０１３７】
図１２は、本変形例に係る符号化制御部１０３の動作を示すフローチャートである。
【０１３８】
符号化制御部１０３は、エントロピー符号化部１０２によるエントロピー符号化によって、１マクロブロックあたりに３２００ビットを超える符号量が発生したか否か、つまり規格違反の予測符号化ピクチャが発生したか否かを判別する（ステップＳ１９０）。
【０１３９】
ここで、規格違反が発生していないと判別したときには（ステップＳ１９０のＮｏ）、符号化制御部１０３は、予測符号化モードを継続させる（ステップＳ１９２）。
【０１４０】
一方、規格違反が発生したと判別したときには（ステップＳ１９０のＹｅｓ）、符号化制御部１０３は、さらに、符号化対象ピクチャがＢピクチャのトップフィールドであるか否かを判別する（ステップＳ１９４）。そして、Ｂピクチャのトップフィールドでないと判別したときには（ステップＳ１９４のＮｏ）、符号化制御部１０３は、その符号化対象ピクチャを予測符号化するように画像符号化部１０１に指示するとともに、画像符号化部１０１がエントロピー符号化部１０２に接続されるようにスイッチ１０３ａを制御する（ステップＳ１９６）。
【０１４１】
また、ステップＳ１９４でＢピクチャのトップフィールドであると判別したときには（ステップＳ１９４のＹｅｓ）、符号化制御部１０３は、その符号化対象ピクチャに対してスキップピクチャを生成するようにスキップピクチャ生成部１０４に指示するとともに、スキップピクチャ生成部１０４がエントロピー符号化部１０２に接続されるようにスイッチ１０３ａを制御する（ステップＳ１９８）。
【０１４２】
そして、符号化制御部１０３は、符号化遅延数が０となるまで、違反入力ピクチャの後続の入力ピクチャを符号化対象ピクチャとして、ステップＳ１９４〜Ｓ１９８の処理、つまりスキップ符号化モードによる処理を継続して行う。
【０１４３】
また、符号化制御部１０３は、画像符号化処理を終了すべきか否かを判別し（ステップＳ２００）、終了すべきと判別したときには（ステップＳ２００のＹｅｓ）、全ての処理動作を終了し、終了すべきでないと判別したときには（ステップＳ２００のＮｏ）、ステップＳ１９０からの動作を繰り返し実行する。
【０１４４】
以上、本発明の画像符号化装置および画像符号化方法について、実施の形態およびその変形例を用いて説明したが、本発明はこれらに限定されるものではない。
【０１４５】
例えば、上記実施の形態およびその変形例では、違反入力ピクチャを再予測符号化するときには、再び規格違反が発生しないように、量子化ステップ値を大きくしたが、その違反入力ピクチャを予測符号化ピクチャとしてもよい。つまり、規格違反を起こしたマクロブロックをＩ_ＰＣＭに変更して符号化してもよい。この場合にも、規格違反の再発を確実に防ぐことができる。
【０１４６】
また、上記実施の形態およびその変形例では、符号化遅延数が０となるまでスキップ符号化モードを継続させたが、符号化遅延数が０となる前に、そのスキップ符号化モードを予測符号化モードに切り換えてもよい。
【０１４７】
また、図１、図３および図４に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現してもよい。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１４８】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０１４９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性として有り得る。
【０１５０】
また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、別構成としても良い。
【産業上の利用可能性】
【０１５１】
本発明の画像符号化装置は、より小さな回路規模および低消費電力で例えばＨ．２６４による映像の符号化を実現することができ、例えばパーソナルコンピュータや、ＨＤＤレコーダ、ＤＶＤレコーダなどの他、ビデオカメラ、カメラ付き携帯電話機等に適用することができる。
【図面の簡単な説明】
【０１５２】
【図１】本発明の実施の形態における画像符号化装置の構成を示すブロック図である。
【図２】同上のスキップピクチャの構成を示す図である。
【図３】同上の画像符号化部の構成を示すブロック図である。
【図４】同上のエントロピー符号化部の構成を示すブロック図である。
【図５】同上の画像符号化装置の動作を説明するための説明図である。
【図６】同上の符号化制御部の動作を示すフローチャートである。
【図７】同上の変形例１に係る符号化制御部の動作を示すフローチャートである。
【図８】同上の変形例２に係る画像符号化装置の動作を説明するための説明図である。
【図９】同上の変形例２に係る符号化制御部の動作を示すフローチャートである。
【図１０】同上の変形例３に係る画像符号化装置の動作を説明するための説明図である。
【図１１】同上の変形例３に係る符号化制御部の動作を示すフローチャートである。
【図１２】同上の変形例４に係る符号化制御部の動作を示すフローチャートである。
【符号の説明】
【０１５３】
１００  画像符号化装置
１０１  画像符号化部
１０２  エントロピー符号化部
１０３  符号化制御部
１０４  スキップピクチャ生成部
２０１  入力画像データメモリ
２０２  参照画像データメモリ
２０３  面内予測部
２０４  動きベクトル検出部
２０５  動き補償部
２０６  スイッチ
２０７  差分演算部
２０８  直交変換部
２０９  量子化部
２１０  逆量子化部
２１１  逆直交変換部
２１２  加算部
【図１】
2008005163.tif 000003
【図２】
2008005163.tif 000004
【図３】
2008005163.tif 000005
【図４】
2008005163.tif 000006
【図５】
2008005163.tif 000007
【図６】
2008005163.tif 000008
【図７】
2008005163.tif 000009
【図８】
2008005163.tif 000010
【図９】
2008005163.tif 000011
【図１０】
2008005163.tif 000012
【図１１】
2008005163.tif 000013
【図１２】
2008005163.tif 000014