(57)【要約】【課題】算術符号化の際の再度符号化の頻度の低減ないしは解消を可能とすることにより、符号化処理を効率良く行うための符号化装置を提供する。【解決手段】マクロブロックの画像データ２は、マクロブロック・タイプが決定された後、そのタイプの画像データに対して、ＤＣＴデータの生成を経て２値化データが生成される。２値化データは、ビット長予測部１２によって、そのビット量から算術符号化後のビット長の予測値が、符号化の規格上許容される最大符号量を超えるか否かのビット長予測が行われる。超えると予測した場合には、その２値化データの算術符号化を実行させないように制御する。【選択図】図１
2009100125.tif 000002
【特許請求の範囲】
【請求項１】
所定のブロックサイズの画像データを直交変換する直交変換部と、
前記直交変換部から出力される画像データを２値化する２値化部と、
前記２値化部により生成された２値化データに対して算術符号化を行う算術符号化部と、
前記２値化データから、前記算術符号化部により生成される算術符号化データが、符号化の規格上において、前記所定のブロックサイズの場合に対して、許容される最大符号量を超えるか否かの予測を行う予測部と、
を具備し、
前記予測部により、前記算術符号化データが、前記最大符号量を超えると予測した場合には、前記算術符号化部による該当する２値化データに対する算術符号化を実行させない制御を行うことを特徴とする符号化装置。
【請求項２】
所定のブロックサイズの画像データを直交変換する直交変換部と、
前記直交変換部から出力される変換データを２値化する２値化部と、
前記２値化部により生成された２値化データに対して算術符号化を行い、前記画像データの第１の符号化データとしての算術符号化データを生成する算術符号化部と、
前記画像データをデジタルコードに変換して、前記画像データの第２の符号化データとしてのデジタルコードデータの生成を、前記算術符号化部の動作と並行して行うデジタルコード変換部と、
前記算術符号化部により生成された算術符号化データが、符号化の規格上において、前記所定のブロックサイズの場合に対して、許容される最大符号量を超えるか否かの判定を行う判定部と、
前記判定部により、前記算術符号化データが、前記最大符号量を超えると判定した場合には、前記デジタルコード変換部により変換されたデジタルコードデータを前記画像データの符号化データとして選択してストリームを出力するストリーム生成部と、
を具備することを特徴とする符号化装置。
【請求項３】
前記予測部は、前記２値化データのデータ量に、所定のパラメータ値を乗算若しくは除算することにより前記予測を行うことを特徴とする請求項１に記載の符号化装置。
【請求項４】
さらに、前記予測部が前記予測に用いる前記２値化データに対応する画像データを予めデジタルコードに変換するデジタルコード変換部と、該デジタルコード変換部により生成されたデジタルコードを記憶する記憶部とを有することを特徴とする請求項１又は３に記載の符号化装置。
【請求項５】
前記直交変換部、前記２値化、及び前記算術符号化部は、それぞれ異なる領域に対応する各ブロックサイズの画像データに対する処理を実行可能なパイプライン方式の構成である特徴とする請求項１又は２に記載の符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ−４規格の動画像符号化を行う符号化装置に関する。
【背景技術】
【０００２】
画像を圧縮符号化する最近の規格として、国際標準化機関（ITU-T）によるMPEG−4 Part10：Advanced Video Coding(MPEG-4 AVC a或いは H.264規格(ITU-T H.264/AVC)）がある。  
このH.264規格の符号化装置（H.264符号化装置と略記）では、その規格上において、1マクロブロック毎に許容される符号量としてのビット量が所定値、具体的には3200ビット以内に制限されている。  
このため、H.264符号化装置においては、算術符号化を行う符号化時に1マクロブロックのビット量が３２００ビットを超えた場合、該当するマクロブロックを圧縮しないでデジタルコードとしてのＰＣＭ（パルスコードモデュレーション）に変換するＩ_ＰＣＭタイプのマクロブロックとして再度符号化(以降、Ｉ_ＰＣＭ再符号化処理と呼ぶ)を行う必要がある。
【０００３】
複数のマクロブロックの符号化処理をパイプライン方式で行う場合、Ｉ_ＰＣＭ再符号化処理はパイプラインを停止する必要があり、符号化処理の効率を低下させる原因となる。  
なお、特許文献１には、予測モードの多い符号化において、符号化に先立って発生符号量を高精度に見積もることができ、符号化手段及び工程における符号化処理を、例えば画質、圧縮率、レートを最適に制御する符号化装置が開示されている。  
しかし、この特許文献１には、算術符号化を行った場合に許容される最大符号量以下に抑制する内容の記載や、符号化処理の効率の低下を改善する内容の記載がされていない。  このため、算術符号化の際の再度符号化の頻度の低減ないしは解消を可能にし、符号化処理を効率良く行うことができる符号化装置が望まれる。
【特許文献１】特開２００５−２０３９０５号公報
【非特許文献１】ITU-T Recommendation H.264(05/2003) "Advanced video coding for generic audiovisual services"(2003)
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は上述した点に鑑みてなされたもので、算術符号化の際の再度符号化の頻度の低減ないしは解消を可能とすることにより、符号化処理を効率良く行うための符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一実施形態に係る符号化装置は、所定のブロックサイズの画像データを直交変換する直交変換部と、前記直交変換部から出力される画像データを２値化する２値化部と、前記２値化部により生成された２値化データに対して算術符号化を行う算術符号化部と、前記２値化データから、前記算術符号化部により生成される算術符号化データが、符号化の規格上において、前記所定のブロックサイズの場合に対して、許容される最大符号量を超えるか否かの予測を行う予測部と、を具備し、前記予測部により、前記算術符号化データが、前記最大符号量を超えると予測した場合には、前記算術符号化部による該当する２値化データに対する算術符号化を実行させない制御を行うことを特徴とする。
【０００６】
本発明の一実施形態に係る符号化装置は、所定のブロックサイズの画像データを直交変換する直交変換部と、前記直交変換部から出力される変換データを２値化する２値化部と、前記２値化部により生成された２値化データに対して算術符号化を行い、前記画像データの第１の符号化データとしての算術符号化データを生成する算術符号化部と、前記画像データをデジタルコードに変換して、前記画像データの第２の符号化データとしてのデジタルコードデータの生成を、前記算術符号化部の動作と並行して行うデジタルコード変換部と、前記算術符号化部により生成された算術符号化データが、符号化の規格上において、前記所定のブロックサイズの場合に対して、許容される最大符号量を超えるか否かの判定を行う判定部と、前記判定部により、前記算術符号化データが、前記最大符号量を超えると判定した場合には、前記デジタルコード変換部により変換されたデジタルコードデータを前記画像データの符号化データとして選択してストリームを出力するストリーム生成部と、を具備することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、算術符号化の際の再度符号化の頻度の低減ないしは解消を可能とする。これにより、符号化処理を効率良く行うことが可能となる。
【発明を実施するための最良の形態】
【０００８】
（第１の実施形態）
以下、本発明の実施形態を説明するに先立ち、本実施形態に関係する参考例を説明する。図４は、参考例のH.264符号化装置２１の構成を示す。  
このH.264符号化装置２１は、所定のブロックサイズとしてのマクロブロックの画像データ２をモード判定部３が読み込み、画面間符号化および画面内符号化の予測モードを評価し、マクロブロック・タイプを決定する。モード判定部３に係る内容は、非特許文献１の８．３節、８．４節に記載されている。８．３節、８．４節において、画面内符号化及び画面間符号化の予測がそれぞれ記載されている。  
モード判定部３により決定されたマクロブロック・タイプのデータは、直交変換を行う直交変換部としての例えばＤＣＴ（離散コサイン変換）データ生成部４に入力される。
【０００９】
次に、ＤＣＴデータ生成部４は、決定されたマクロブロック・タイプに従い、画像データの差分データを計算し、差分データのＤＣＴ変換を行い、ＤＣＴ差分データを生成する。このＤＣＴ差分データは、２値化部５に入力される。ＤＣＴデータ生成部４に係る内容は、非特許文献１の８．５節に記載されている。  
２値化部５は、マクロブロック・タイプのデータとＤＣＴ差分データを２値化し、２値化データを生成する。この２値化データは、算術符号化部６に入力される。２値化部５に係る内容は、非特許文献１の９．３．２節に記載されている。  
算術符号化部６は、２値化データを算術符号化し、算術符号化データを生成する。算術符号化部６に係る内容は、非特許文献１の９．３節に記載されている。
【００１０】
この算術符号化部６は、１マクロブロック当たり、算術符号化データが許容される最大符号量としての３２００ビットを超えたか否かを判定（検出）する判定部として、ＰＣＭ判定部７を有する。  
そして、ＰＣＭ判定部７は、算術符号化処理の途中で算術符号化データが、この３２００ビットを超えることを検出すると、算術符号化部６の処理を中断させる。そして、ＰＣＭ判定部７は、ＰＣＭ処理要求８をＰＣＭデータ生成部９及びH.264ストリーム生成部１０に出力し、I_ＰＣＭ再符号化処理を行うようにする。  
つまり、ＰＣＭ判定部７は、I_ＰＣＭ再符号化処理として、マクロブロック・タイプをI_ＰＣＭに強制的に書き換え、算術符号化部６においてマクロブロック・タイプのデータのみを算術符号化し、マクロブロック・タイプ算術符号化データを生成する。このマクロブロック・タイプ算術符号化データは、H.264ストリーム生成部１０に出力される。
【００１１】
ＰＣＭデータ生成部９は、ＰＣＭ処理要求８がある場合には、該当マクロブロックの画像データ２をデジタルコード変換として、例えばパルスコード変調（ＰＣＭ）符号化し、ＰＣＭデータを生成する。そして、このＰＣＭデータをH.264ストリーム生成部１０に出力する。ＰＣＭデータ生成部９に係る内容は、非特許文献１の８．３．４節に記載されている。  
H.264ストリーム生成部１０は、ＰＣＭ処理要求８が無い場合には、算術符号化データをH.264ストリーム１１として出力する。一方、ＰＣＭ処理要求８がある場合には、マクロブロック・タイプ算術符号化データとＰＣＭデータを連結し、H.264ストリーム１１を生成して、この連結されたデータ（つまりマクロブロック・タイプ算術符号化データとＰＣＭデータ）を出力する。
【００１２】
上記のように、参考例のH.264符号化装置２１においては、ＰＣＭ判定部７は、算術符号化処理の途中で算術符号化データが３２００ビットを超えたことを検出すると、算術符号化処理を中断し、I_ＰＣＭ再符号化処理を行う必要があった。  
H.264符号化装置２１が複数のマクロブロックに対してパイプライン方式の処理（パイプライン処理とも言う）を行う構成の場合、I_ＰＣＭ再符号化の処理を行っている間は、そのパイプライン処理が停止することになるため、H.264符号化処理の処理効率の低下を引き起こすという欠点があった。  
ここで、パイプライン処理とは、モード判定部３、ＤＣＴデータ生成部４、２値化部５、算術符号化部６、H.264ストリーム生成部１０が、それぞれ異なる（領域としての）各マクロブロックに対して同時に処理を行うことが可能な動作を言う。
【００１３】
従って、算術符号化部６において、あるマクロブロックの画像データに対して、その算術符号化処理を中断することになると、その前段の２値化部５による２値化データが算術符号化部６に出力されても、その前のマクロブロックの画像データに対する算術符号化処理が中断しているため、その処理を速やかに続行できないことになる。  
このため、上記のようなH.264符号化処理の処理効率の低下を低減ないしは解消してH.264ストリーム１１を生成できるH.264符号化装置が望まれる。  
次にこのような参考例における欠点を低減できるH.264符号化装置を説明する。  
図１は本発明の第１の実施形態に係るH.264符号化装置１の構成を示す。このH.264符号化装置１は、基本的には、図４のH.264符号化装置２１において、以下に説明するビット長予測部１２を備えた構成にしている。
【００１４】
そして、このビット長予測部１２により、算術符号化部６が算術符号化データを生成する前に、２値化部５の２値化データから、算術符号化データがH.264符号化の規格上で許容される最大符号量としての３２００ビットを超えるか否かを予測する。以下、ビット長予測部１２を備えたH.264符号化装置１の構成及び動作を説明する。  
このH.264符号化装置１は、入力されるマクロブロックの画像データ２を読み込むモード判定部３を有する。  
このモード判定部３は、読み込んだマクロブロックの画像データ２に対して、画面間符号化（インター符号化）及び画面内符号化（イントラ符号化）の予測モードを評価し、マクロブロック・タイプを決定し、マクロブロック・タイプのデータをＤＣＴデータ生成部４に出力する。モード判定部３に係る内容は、上述した非特許文献１の８．３節、８．４節に記載されている。
【００１５】
ＤＣＴデータ生成部４は、決定されたマクロブロック・タイプに従い、画像データ２の差分データを計算し、差分データのＤＣＴ変換を行う。そして、このＤＣＴデータ生成部４は、ＤＣＴ変換によりＤＣＴ差分データを生成して、２値化部５に出力する。ＤＣＴデータ生成部４に係る内容は、非特許文献１の８．５節に記載されている。  
２値化部５は、ＤＣＴ差分データを２値化する。２値化部５に係る内容は、参考例の場合と同様に非特許文献１の９．３．２節に記載されている。
【００１６】
このH.264符号化装置１においては、参考例の構成と異なり、例えば２値化部５に、ビット長予測部１２が設けてある。  
本実施形態における２値化部５は、２値化された２値化データとしての２値化ＤＣＴ差分データを、この２値化部５内のビット長予測部１２に出力する。  
また、この２値化部５は、マクロブロック・タイプのデータの２値化を行い、２値化マクロブロック・タイプデータ（或いはマクロブロック・タイプの２値化データ）を生成する。  
このビット長予測部１２は、入力されたＤＣＴ差分データの２値化データ量から算術符号化部６による算術符号化後のビットが３２００ビットを超えるか否かを、その算術符号化の開始前に予測する。本明細書では、この予測をビット長予測という。  
また、ビット長予測部１２は、このビット長予測により、３２００ビットを超えると予測した場合には、該当するマクロブロック・タイプを強制的にＩ＿ＰＣＭに変更する。    ビット長予測部１２は、２値化ＤＣＴ差分データのビット量と、これを算術符号化した場合の算術符号化データのビット量とに相関があることを利用して、以下の式１により、簡単な計算でビット長予測を行う。
【００１７】
２値化ＤＣＴ差分データのビット量＊Ｎ  ＞  ３２００    (式１)
ここで、Ｎは１以下の数値で、通常０．８から０．６程度の値である。本実施形態においては、このように２値化ＤＣＴ差分データのビット量に単に所定の数値を乗算することにより、ビット長予測を行う。なお、式１は除算形式の表現にすることもできる。  
そして、このビット長予測により、式１が成立する場合には、上記のようにマクロブロック・タイプを強制的にI_ＰＣＭに変更する。  
なお、ビット長予測部１２は、式１により２値化ＤＣＴ差分データのビット量から算術符号化後のビット長が３２００ビットを超えるか否かのビット長予測を行っているが、２値化ＤＣＴ差分データのビット量と、該当する２値化マクロブロック・タイプデータ（或いはマクロブロック・タイプの２値化データ）のビット量の和からビット長予測を行うようにしても良い。
【００１８】
そして、このビット長予測部１２によるビット長予測により、算術符号化後のビット長が３２００ビットを超えると予測した場合には、算術符号化部６におけるこのビット長予測が行われない場合に行われる２値化ＤＣＴ差分データの算術符号化を実行させないように制御する。この場合、算術符号化部６は、I_ＰＣＭのマクロブロック・タイプの２値化データに対する算術符号化を行う。
【００１９】
この具体例の場合は、ビット長予測部１２がビット長予測により、式１が成立すると予測した場合には、上記のようにマクロブロック・タイプを強制的にI_ＰＣＭに変更して（２値化部５或いはビット長予測部１２が）その結果を算術符号化部６に出力することにより、この制御が行われる。
【００２０】
一方、ビット長予測部１２によるビット長予測により、３２００ビットを超えないと予測された場合には、図４の場合と同様に、２値化部５は、ＤＣＴ差分データの２値化データとマクロブロック・タイプの２値化データとを連結した２値化データを算術符号化部６に出力する。そして、以下のように図４の場合と同様の処理が行われることになる。  
算術符号化部６は、２値化データを算術符号化し、算術符号化データを生成する。また、この算術符号化部６は、算術符号化部６による算術符号化データが３２００ビットを超えるか否かを判定するＰＣＭ判定部７を有する。算術符号化部６に係る内容は、非特許文献１の９．３節に記載されている。  
図４の構成において説明したように、ＰＣＭ判定部７は、算術符号化処理の途中で算術符号化データが、３２００ビットを超えることを検出すると、算術符号化部６の処理を中断させる。
【００２１】
そして、ＰＣＭ判定部７は、ＰＣＭ処理要求８をＰＣＭデータ生成部９及びH.264ストリーム生成部１０に出力し、I_ＰＣＭ再符号化処理を行うようにする。  
この場合、ＰＣＭ判定部７は、I_ＰＣＭ再符号化処理として、マクロブロック・タイプをI_ＰＣＭに強制的に書き換える。  
また、算術符号化部６は、そのマクロブロック・タイプのデータのみを算術符号化し、マクロブロック・タイプ算術符号化データを生成する。このマクロブロック・タイプ算術符号化データは、H.264ストリーム生成部１０に出力される。  
ＰＣＭデータ生成部９は、ＰＣＭ処理要求８がある場合には、該当マクロブロックの画像データ２をデジタルコード変換として、例えばパルスコード変調（ＰＣＭ）符号化し、ＰＣＭデータを生成する。
【００２２】
そして、このＰＣＭデータをH.264ストリーム生成部１０に出力する。ＰＣＭデータ生成部９に係る内容は、非特許文献１の８．３．４節に記載されている。  
H.264ストリーム生成部１０は、ＰＣＭ処理要求８が無い場合には、算術符号化データをH.264ストリーム１１として出力する。  
一方、ＰＣＭ処理要求８がある場合には、マクロブロック・タイプ算術符号化データとＰＣＭデータを連結し、H.264ストリーム１１を生成して、この連結されたデータ（つまりマクロブロック・タイプ算術符号化データとＰＣＭデータ）を出力する。  
一方、上述したようにビット長予測により、３２００ビットを超えると予測した場合には、ビット長予測部１２は、該当するマクロブロック・タイプを強制的にＩ＿ＰＣＭに変更する。また、そのマクロブロック・タイプは、２値化部５により２値化データが生成される。
【００２３】
そして、２値化部５から、マクロブロック・タイプが強制的にＩ＿ＰＣＭに変更された２値化データが算術符号化部６に入力されると、算術符号化部６のＰＣＭ判定部７は、直ちに通常のＰＣＭ判定処理を行うことなく、ＰＣＭ処理要求８を出力する。  
また、算術符号化部６は、マクロブロック・タイプの２値化データのみの算術符号化のみを行い、生成した算術符号化データをH.264ストリーム生成部１０に出力する。  
つまり、この場合、算術符号化部６は、２値化ＤＣＴ差分データの算術符号化を実行しない。
【００２４】
また、ＰＣＭ処理要求８が入力されたＰＣＭデータ生成部９は、該当するマクロブロックの画像データ２をＰＣＭ符号化し、生成したＰＣＭデータをH.264ストリーム生成部１０に出力する。  
H.264ストリーム生成部１０は、ＰＣＭ処理要求８により、算術符号化部６により生成されたマクロブロック・タイプの算術符号化データと、ＰＣＭデータ生成部９により生成されたＰＣＭデータをH.264ストリーム１１として後段側に出力する。
【００２５】
このようにビット長予測部１２により、２値化ＤＣＴ差分データのビット量を用いてビット長予測を行い、ビット長予測値が３２００ビットを超えると予測した場合には、ビット長予測部１２は、該当する２値化ＤＣＴ差分データを算術符号化部６で算術符号化を実行させないように制御する。  
このため、算術符号化部６に入力され、この算術符号化部６により算術符号化されるＤＣＴ差分データは、そのビット量が３２００以内に収まると予測されたもののみとなる。従って、本実施形態によれば、算術符号化部６により算術符号化した場合に、I_ＰＣＭ再符号化処理が発生する頻度を下げることができる。  
また、I_ＰＣＭ再符号化処理が発生する頻度を下げることができるので、このH.264符号化装置１が複数のマクロブロックに対してパイプライン処理を行っている場合に、I_ＰＣＭ再符号化処理のためにパイプライン処理が停止する頻度を下げることが出来ることになる。
【００２６】
従って本実施形態によれば、H.264符号化処理効率の低下を緩和することが出来る。    図２は変形例のH.264符号化装置１Ｂの構成を示す。  
このH.264符号化装置１Ｂは、図１におけるＰＣＭデータ生成部９の代わりにＰＣＭデータ生成部９Ｂを採用した構成である。  
図１のH.264符号化装置１におけるＰＣＭデータ生成部９は、ＰＣＭ処理要求８が発生した場合に、該当するマクロブロックの画像データのＰＣＭデータを生成していた。  
この変形例におけるＰＣＭデータ生成部９Ｂは、ＰＣＭ処理要求８が発生しない場合にも算術符号化部６側とは独立して或いは並行して、マクロブロックの画像データのＰＣＭデータを生成し、生成したＰＣＭデータを例えばＰＣＭデータ生成部９Ｂ内のバッファメモリ等により構成されるＰＣＭデータ記憶部１６に格納する。
【００２７】
換言すると、ＰＣＭ処理要求８が出される前に、それが出された時のマクロブロックの画像データを（デジタルコード変換部としての）ＰＣＭデータ生成部９ＢによりＰＣＭデータとして予め生成し、ＰＣＭデータ一時記憶手段としてのＰＣＭデータ記憶部１６に格納しておく。  
そして、ビット長予測部１２により、そのビット予測値が３２００ビットを超えると予測された場合には、その予測結果に基づいて（上述した実施形態と同様に）ＰＣＭ判定部７を経て直ちにＰＣＭ処理要求８が出される。このＰＣＭ処理要求８が出されると、このＰＣＭデータ生成部９Ｂは、該当するＰＣＭデータをＰＣＭデータ記憶部１６から読み出してH.264ストリーム生成部１０に出力する。  
このため、ＰＣＭ処理要求８が出されてからＰＣＭデータを生成し始める場合に比較して、短時間にＰＣＭデータをH.264ストリーム生成部１０に出力できる。
【００２８】
また、ビット長予測部１２により、そのビット予測値が３２００ビットを超えないと予測された場合において、算術符号化部６による算術符号化データがＰＣＭ判定部７により３２００ビットを超えたと判定された場合にもＰＣＭ処理要求８がＰＣＭデータ生成部９Ｂに入力される。  
この場合にも、このＰＣＭデータ生成部９Ｂは、該当するＰＣＭデータをＰＣＭデータ記憶部１６から読み出してH.264ストリーム生成部１０に出力する。  
このため、ＰＣＭ処理要求８が出されてからＰＣＭデータを生成し始める場合に比較して、短時間にＰＣＭデータをH.264ストリーム生成部１０に出力できる。つまり、算術符号化部６の算術符号化の処理が中断される時間を十分に低減できる。
【００２９】
このように本変形例は、ＰＣＭ処理要求８が出された場合、該当するＰＣＭデータを速やかにH.264ストリーム生成部１０に出力することができる。その他の動作は、図１の場合と同様である。  
本変形例によれば、第１の実施形態の場合と同様に算術符号化部６の算術符号化の処理が中断する頻度を低減できると共に、さらに算術符号化の処理を中断する場合にも短時間の中断で済ませることができる。  
このため、第１の実施形態の場合よりもさらにH.264符号化処理効率の低下を緩和することが出来る。
【００３０】
（第２の実施形態）
図３は本発明の第２の実施形態に係るH.264符号化装置１Ｂの構成を示す。このH.264符号化装置１Ｃは、基本的には、図４のH.264符号化装置２１において、ＰＣＭデータ生成部９をＰＣＭ処理要求８が発生した場合に動作する構成であったものを、常時ＰＣＭデータを生成に使用する構成のＰＣＭデータ生成部９Ｃにすると共に、ＰＣＭ用２値化部１３と、ＰＣＭ用算術符号化部１４とを備えた構成にしている。  
そして、ＰＣＭデータ生成部９Ｃは、マクロブロックの画像データ２からＰＣＭデータを生成して、H.264ストリーム生成部１０に出力する。  
また、このＰＣＭデータ生成部９Ｃにより生成されるＰＣＭデータに対応して、ＰＣＭ用２値化部１３は、このマクロブロック・タイプをI_ＰＣＭとして２値化し、２値化マクロブロック・タイプデータを生成する。そして、ＰＣＭ用２値化部１３は、この２値化マクロブロック・タイプデータをＰＣＭ用算術符号化部１４に出力する。  
ＰＣＭ用算術符号化部１４は、２値化マクロブロック・タイプデータの算術符号化を行い、ＰＣＭ用算術符号化データを生成する。そして、ＰＣＭ用算術符号化部１４は、このＰＣＭ用算術符号化データをH.264ストリーム生成部１０に出力する。  
また、図４においては、ＰＣＭ判定部７は、算術符号化部６内に設けられ、算術符号化データが３２００ビットを超えるか否かを判定して、超えると判定した場合にはＰＣＭ処理要求８をH.264ストリーム生成部１０と、ＰＣＭデータ生成部９とに出力していた。これに対して、本実施形態におけるＰＣＭ判定部７Ｂは、算術符号化部６の例えば外部に設けられ、算術符号化部６から算術符号化データのビット長１５が入力される。
【００３１】
そして、ＰＣＭ判定部７Ｂは、そのビット長１５が３２００ビットを超えると判定した場合には、ＰＣＭ処理要求８をH.264ストリーム生成部１０に出力する構成にしている。  また、算術符号化部６により生成された算術符号化データは、H.264ストリーム生成部１０に入力される。  
なお、本実施形態においては、算術符号化部６は、ＰＣＭ判定部７ＢがＰＣＭ処理要求８を出力する場合にも、算術符号化の処理を中断しない（或いは中断を必要しない）構成となっている。  
H.264ストリーム生成部１０は、ＰＣＭ判定部７ＢからＰＣＭ処理要求８が入力されない場合には、算術符号化部６から入力される算術符号化データを選択して、H.264ストリーム１１として出力する。
【００３２】
一方、H.264ストリーム生成部１０は、ＰＣＭ判定部７ＢからＰＣＭ処理要求８が入力された場合には、ＰＣＭデータ生成部９Ｃから入力されるＰＣＭデータとＰＣＭ用算術符号化部１４から入力されるＰＣＭ用算術符号化データを連結してH.264ストリーム１１として出力する。  
その他は、図４のH.264符号化装置２１の構成及び動作と類似している。本実施形態においては、モード判定部３によるモード判定結果に応じて、決定されたマクロブロップ・タイプの画像データに対して、ＤＣＴデータ生成部４、２値化部５、算術符号化部６がパイプライン的にそれぞれ動作する。  
この動作と並行してＰＣＭデータ生成部９Ｃは、マクロブロップ・タイプをI_ＰＣＭとして、そのマクロブロックの画像データをＰＣＭデータの生成を行う。
【００３３】
また、ＰＣＭ用２値化部１３は、このマクロブロック・タイプをI_ＰＣＭとして２値化し、２値化マクロブロック・タイプデータを生成する。そして、ＰＣＭ用２値化部１３は、この２値化マクロブロック・タイプデータをＰＣＭ用算術符号化部１４に出力する。    つまり、共通の画像データ２に対して、算術符号化部６側で第１の符号化を行う動作と並行して、デジタルコード変換部側のＰＣＭデータ生成部９Ｃ側で第２の符号化の動作を行うようにしている。  
そして、上述したように、H.264ストリーム生成部１０は、ＰＣＭ判定部７ＢからＰＣＭ処理要求８が入力されない場合には、算術符号化部６からの算術符号化データを選択し、逆にＰＣＭ処理要求８が入力された場合には、ＰＣＭデータ生成部９Ｃ側からのＰＣＭデータ及びＰＣＭ用算術符号化データを選択して出力する構成にしている。
【００３４】
そして、算術符号化部６は、ＰＣＭ判定部７ＢがＰＣＭ処理要求８を出力する判定を行った場合においても、算術符号化の処理を中断しない（換言すると中断を必要としない）構成にしている。  
次に本実施形態のH.264符号化装置２１の動作を説明する。  
モード判定部３は、マクロブロックの画像データ２を読み込み、画面間符号化または画面内符号化の予測モードを評価し、マクロブロック・タイプを決定する。  
また、このマクロブロックの画像データは、ＰＣＭデータ生成部９Ｃにも入力され、ＰＣＭデータが生成される。
【００３５】
ＤＣＴデータ生成部４は、モード判定部３により決定されたマクロブロック・タイプに従い、画像の差分データを求め、ＤＣＴ変換を行い、ＤＣＴ差分データを生成する。  
２値化部５は、マクロブロック・タイプとＤＣＴ差分データを２値化し、２値化データを生成する。  
算術符号化部６は、２値化データを算術符号化し、算術符号化データを生成する。このとき、算術符号化データのビット量をビット長１５としてＰＣＭ判定部７Ｂに出力する。  ＰＣＭ判定部７Ｂは、ビット長１５が３２００ビットを超えるか否かの判定を行い、超えた場合には、ＰＣＭ処理要求８をH.264ストリーム生成部１０に出力する。
【００３６】
上記のようにＰＣＭデータ生成部９Ｃは、マクロブロックの画像データのＰＣＭデータを生成する。そして、H.264ストリーム生成部１０に出力する。  
また、ＰＣＭ用２値化部１３は、マクロブロック・タイプをI_ＰＣＭとして２値化し、２値化マクロブロック・タイプデータを生成し、ＰＣＭ用算術符号化部１４に出力する。ＰＣＭ用算術符号化部１４は、２値化マクロブロック・タイプデータの算術符号化を行い、ＰＣＭ用算術符号化データを生成し、H.264ストリーム生成部１０に出力する。  
H.264ストリーム生成部１０は、ＰＣＭ処理要求８が無い場合には、算術符号化部６から入力されたデータをH.264ストリーム１１として出力し、ＰＣＭ処理要求８がある場合には、ＰＣＭ用算術符号化データとＰＣＭデータを連結し、H.264ストリーム１１として出力する。
【００３７】
本実施形態によれば、算術符号化部６の算術符号化データが符号化の規格上から許容される最大符号量としての３２００ビットを超える事態が発生しても、並行して生成されるＰＣＭデータをH.264ストリーム生成部１０に出力することができる。  
従って、算術符号化部６は、算術符号化の処理を中断することを必要としないので、H.264符号化処理の効率の低下を防止できる。  
従って、本実施形態によれば、パイプライン処理を停止する必要がないので、効率良くH.264符号化処理を行うことが出来るようになる。  
なお、本実施形態におけるＰＣＭデータ生成部９Ｃとして、図２のＰＣＭデータ生成部９Ｂを採用しても良い。  
なお、本発明は、上述したH.264符号化装置の場合に限定されるものでなく、符号化の規格上で許容される最大符号量が規定されるような場合に広く適用できる。  
また、上述じた実施形態等の構成を部分的に組み合わせる等して構成される実施形態も本発明に属する。
【図面の簡単な説明】
【００３８】
【図１】本発明の第１の実施形態に係るH.264符号化装置の構成を示すブロック図。
【図２】第１の実施形態の変形例に係るH.264符号化装置の構成を示すブロック図。
【図３】本発明の第２の実施形態に係るH.264符号化装置の構成を示すブロック図。
【図４】本発明における参考例のH.264符号化装置の構成を示すブロック図。
【符号の説明】
【００３９】
１、１Ｂ、１Ｃ…H.264符号化装置、４…ＤＣＴデータ生成部、５…２値化部、６…算術符号化部、７…ＰＣＭ判定部、９…ＰＣＭデータ生成部、１０…H.264ストリーム生成部、１１…H.264ストリーム、１２…ビット長予測部
【図１】
2009100125.tif 000003
【図２】
2009100125.tif 000004
【図３】
2009100125.tif 000005
【図４】
2009100125.tif 000006