(57)【要約】【課題】  復号化後の画像において画質が低下することがなく、動き補償の精度の劣化を防いで符号化効率を落とすことがないようにする。【解決手段】  動画像データ信号Ｓ１は、フィールド画像分割処理部２によって、奇数フィールド番号のフィールドデータである奇数フィールド画像データと、偶数フィールド番号のフィールドデータである偶数フィールド画像データとに分割され、奇数フィールド画像データは第１の符号化処理部５で、偶数フィールド画像データは第２の符号化処理部８で、それぞれマクロブロックタイプを選択して符号化される。その結果は、多重化処理部１３により、復号可能な符号化データに多重化され、符号化データ出力信号Ｓ１０として符号化データ出力端子１４から出力される。【選択図】  図１
2005143025.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を奇数フィールドおよび偶数フィールドに分割して、奇数フィールド画像および偶数フィールド画像を得るフィールド画像分割部と、
前記分割された奇数フィールド画像を圧縮符号化する第１の符号化処理部と、
前記分割された偶数フィールド画像を圧縮符号化する第２の符号化処理部と、
前記第１の符号化処理手段から出力される第１の符号化データおよび第２の符号化処理手段から出力される第２の符号化データを多重化し、復号可能な１つの符号化データを出力する多重化処理部とを備えることを特徴とする動画像符号化装置。
【請求項２】
前記第１の符号化処理部および前記第２の符号化処理部は、
イントラ符号化フレーム、前方向予測符号化フレームおよび両方向予測符号化フレームのそれぞれの符号化方式に応じて、フレーム内の各マクロブロックのマクロブロックタイプを選択するマクロブロック選択処理手段と、
マクロブロック選択処理手段により選択されたマクロブロックタイプに応じて、マクロブロックを符号化処理するマクロブロック符号化処理手段とをそれぞれ備えたことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
複数のマクロブロックタイプから、符号化すべきマクロブロックタイプを判断するマクロブロックタイプ判定処理手段を備え、
前記第１の符号化処理部および前記第２の符号化処理部は、
イントラ符号化フレーム、前方向予測符号化フレームおよび両方向予測符号化フレームのそれぞれの符号化方式に応じて、フレーム内の各マクロブロックのマクロブロックタイプを選択して前記マクロブロックタイプ判定処理手段に出力するマクロブロック選択処理手段と、
前記マクロブロックタイプ判定処理手段により判断されたマクロブロックタイプに応じて、マクロブロックを符号化処理するマクロブロック符号化処理手段とをそれぞれ備えたことを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記マクロブロックタイプ判定処理手段は、第１の符号化処理部におけるマクロブロック選択処理手段によって選択されたマクロブロックタイプまたは第２の符号化処理部におけるマクロブロック選択処理手段によって選択されたマクロブロックタイプのうち、どちらか一方のマクロブロックタイプを用いるようにマクロブロックタイプを判定することを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
実際の発生符号量と目標とする発生符号量との差分に基づいて、実際の発生符号量が目標とする発生符号量に調整されるように量子化レベルを決定する量子化レベル判定処理手段を備え、
前記多重化処理手段は、多重化した符号化データの発生符号量を前記量子化レベル判定処理手段に出力する機能を有することを特徴とする請求項２乃至４のいずれかに記載の動画像符号化装置。
【請求項６】
前記第１の符号化処理部および前記第２の符号化処理部の前段に、バッファ内のデータ占有量を判定可能な第１の入力バッファおよび第２の入力バッファと、
前記第１の入力バッファのデータ占有量および第２の入力バッファのデータ占有量と目標とするデータ占有量との差分に基づいて、符号化処理時間が調整されるようにマクロブロックタイプの選択処理を制限するマクロブロック制限処理手段とを備えたことを特徴とする請求項２乃至４のいずれかに記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された動画像を分割して圧縮符号化する動画像符号化装置に関する。
【背景技術】
【０００２】
近年、動画像データの利用分野においては、ＨＤＤ（ハードディスクドライブ）やブルーレイディスクを用いたハイビジョンデジタル放送対応レコーダの普及により、ハイビジョン画質のデジタル放送を手軽に録画・視聴できる環境が整いつつある。
しかし、ハイビジョン画像の符号化には膨大な計算処理量が必要であり、専用の高性能符号化装置を用いる必要がある。そのため、ハイビジョン画像の符号化装置は大規模かつ高価なものとなり、よって、一般ユーザが手軽にハイビジョン映像を撮影し、記録できるビデオカメラの実現は現状では非常に困難である。
このような背景から、性能の低い符号化器を複数個接続し、並列動作させることによって、安価な符号化システム構成で、より高精細な符号化画像の符号化システムを構築する技術が提案されている。
【０００３】
例えば、入力動画像データを４分割や６分割して複数のデータ領域に配分し、各分割画像データを、複数の符号化器により並列に符号化した後、それぞれの符号化器からの出力データを多重化して１つの符号化データを得る方式が開示されている（特許文献１参照）。
【０００４】
図１５は、特許文献１に開示されている動画像符号化装置の構成を示すブロック図である。同図に示す動画像符号化装置は、動画像データ信号入力端子１００と、画像分割部１０１と、画像分割符号化部１０２ａ〜１０２ｆと、統合ストリーム生成部１０３と、制御部１０４と、符号化データ出力端子１０５とを備えている。
【０００５】
この動画像符号化装置では、動画像データ信号入力端子１００から入力された入力動画像データを画像分割部１０１により６分割して６つの領域に配分し、各分割画像データを、画像分割符号化部１０２ａ〜１０２ｆにより、それぞれ並列に符号化し、その各々の出力データを統合ストリーム生成部１０３によって多重化して一つの符号化データを得ている。なお、デジタル放送における動画像符号化方式としては、ＭＰＥＧ符号化画像形式が用いられている。
【０００６】
このＭＰＥＧ符号化画像形式の画像は、Ｉピクチャ（イントラ符号化画像）、Ｐピクチャ（前方向予測符号化画像）及びＢピクチャ（両方向予測符号化画像）と呼ばれる符号化方法の異なる３種類のピクチャから構成されている。また、各ピクチャはマクロブロックと呼ばれる１６×１６画素からなるブロックから構成され、符号化は、このマクロブロック単位になされている。
【０００７】
Ｉピクチャの全てのマクロブロックは、マクロブロック内の画像データのみを用いたイントラ符号化タイプとして符号化される。このイントラ符号化タイプで符号化されるマクロブロックに対しては、ＤＣＴ変換（Discrete  Cosine  Transform：離散コサイン変換）が施された後に量子化及び可変長符号化が行われている。
【０００８】
また、Ｐピクチャにおけるマクロブロックは、マクロブロック内の画像データのみを用いたイントラ符号化タイプ、または時間的に直前に位置するＩまたはＰピクチャからの動き補償による前方向予測符号化タイプのうち、どちらか符号化効率の良い方の符号化タイプが選択されて符号化される。前方向予測符号化タイプとして選択されたマクロブロックに対しては、動き補償によって得られた予測画像との差分画像に対して、前述のＤＣＴ変換、量子化及び可変長符号化が行われている。
【０００９】
さらに、Ｂピクチャにおけるマクロブロックは、符号化効率の良い符号化タイプが選択されて符号化される。即ち、ブロック内の画像データのみを用いたイントラ符号化タイプ、時間的に直前に位置するＩまたはＰピクチャからの動き補償による前方向予測符号化タイプ、時間的に直後に位置するＩまたはＰピクチャからの動き補償による後方向予測符号化タイプ、若しくは、時間的に直前に位置するＩまたはＰピクチャと時間的に直後に位置するＩまたはＰピクチャのそれぞれからの動き補償を用いた両方向予測符号化タイプのうち、いずれかの符号化効率の良い符号化タイプが選択されて符号化される。
【００１０】
前方向予測符号化タイプ及び後方向予測符号化タイプとして選択されたマクロブロックに対しては、動き補償によって得られた予測画像との差分画像に対してＤＣＴ変換、量子化及び可変長符号化が行われる。また、両方向予測符号化タイプとして選択されたマクロブロックに対しては、前後２つの予測画像の差分画像に対して、前述のＤＣＴ変換、量子化及び可変長符号化が行われる。
【００１１】
従って、Ｐピクチャのマクロブロックの符号化における動き補償では、時間的に直前に位置し、すでに復号されたＩまたはＰピクチャと当該マクロブロックとの間でのブロックマッチング処理が行われる。
また、Ｂピクチャのマクロブロックの符号化における動き補償では、時間的に直前に位置し、すでに復号されたＩまたはＰピクチャと当該マクロブロックとの間でのブロックマッチング処理及び時間的に直後に位置し、既に復号されたＩピクチャまたはＰピクチャと、当該マクロブロックとの間でブロックマッチング処理が行われる。
【００１２】
このため、上記の従来技術では、Ｉピクチャにおいてマクロブロックをイントラ符号化タイプとして符号化するのに対して、Ｐ及びＢピクチャにおけるマクロブロックの符号化では、動き補償のためのブロックマッチング処理が必要となり、符号化に要する処理量が大きくなる。また、Ｂピクチャでは前後２方向のブロックマッチング処理が必要となるため、Ｐピクチャよりも符号化に要する処理量が大きくなる。
【特許文献１】特開平１０−２３４０４３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記背景技術で述べた従来の動画像符号化装置にあっては、多重化されたＭＰＥＧ符号化データは、領域の分割境界付近での符号化効率が低くなるため、局所的に画質が劣化するという問題点があった。
【００１４】
図１６は、図１５の動画像符号化装置の場合の画質劣化を説明するための説明図である。図１６に示すように、入力画面を４つの領域に分割して４個の符号化部で同時に符号化処理する方式においては、境界を越えた動き補償符号化処理がなされないため、復号化後の画像において領域分割境界付近で画質が低下するという問題点があった。
【００１５】
また、符号化処理を行なう際の動き補償の対象が、各分割領域内のみであるため、各分割領域を跨がって動くような動き量の大きい入力動画像に対しては、動き補償の精度が劣化するため、符号化効率が低下することになるという問題点があった。
【００１６】
さらに、複数の符号化器を独立に動作させるため、各符号化器から出力された符号化データを多重化して１つの復号可能な符号化データを得る際に、多重化装置から出力される符号化データの発生符号量が、一般に、予め目標としていた発生符号量とは異なることになるという問題点があった。
【００１７】
また、個々の符号化装置に対して、各符号化装置間での連携処理等、通常の符号化処理では行われることのない間接的な処理が必要となるので、処理速度が低下するという問題点があった。より具体的には、各符号化装置間で、符号化タイプを調整する処理や、符号化処理の同期を確保するための情報をやり取りする処理などが必要となり、このような間接的な処理を行うことによって符号化処理速度が低下する可能性がある。さらに、この場合、符号化処理速度が低下することによって、符号化装置の前段に設けたバッファがオーバーフローするという問題点があった。
【００１８】
本発明は、上記従来の問題点に鑑みてなされたものであって、復号化後の画像において画質が低下することがなく、動き補償の精度の劣化を防いで符号化効率を落とすことがない動画像符号化装置を提供することを目的としている。
【課題を解決するための手段】
【００１９】
上記課題を解決するために、本発明に係る動画像符号化装置は、入力画像を奇数フィールドおよび偶数フィールドに分割して、奇数フィールド画像および偶数フィールド画像を得るフィールド画像分割部と、前記分割された奇数フィールド画像を圧縮符号化する第１の符号化処理部と、前記分割された偶数フィールド画像を圧縮符号化する第２の符号化処理部と、前記第１の符号化処理手段から出力される第１の符号化データおよび第２の符号化処理手段から出力される第２の符号化データを多重化し、復号可能な１つの符号化データを出力する多重化処理部とを備えることを特徴とする。
【００２０】
本発明に係る動画像符号化装置は、前記第１の符号化処理部および前記第２の符号化処理部は、イントラ符号化フレーム、前方向予測符号化フレームおよび両方向予測符号化フレームのそれぞれの符号化方式に応じて、フレーム内の各マクロブロックのマクロブロックタイプを選択するマクロブロック選択処理手段と、マクロブロック選択処理手段により選択されたマクロブロックタイプに応じて、マクロブロックを符号化処理するマクロブロック符号化処理手段とをそれぞれ備えたことを特徴とする。
【００２１】
本発明に係る動画像符号化装置は、複数のマクロブロックタイプから、符号化すべきマクロブロックタイプを判断するマクロブロックタイプ判定処理手段を備え、前記第１の符号化処理部および前記第２の符号化処理部は、イントラ符号化フレーム、前方向予測符号化フレームおよび両方向予測符号化フレームのそれぞれの符号化方式に応じて、フレーム内の各マクロブロックのマクロブロックタイプを選択して前記マクロブロックタイプ判定処理手段に出力するマクロブロック選択処理手段と、前記マクロブロックタイプ判定処理手段により判断されたマクロブロックタイプに応じて、マクロブロックを符号化処理するマクロブロック符号化処理手段とをそれぞれ備えたことを特徴とする。
【００２２】
ここで、前記マクロブロックタイプ判定処理手段は、第１の符号化処理部におけるマクロブロック選択処理手段によって選択されたマクロブロックタイプまたは第２の符号化処理部におけるマクロブロック選択処理手段によって選択されたマクロブロックタイプのうち、どちらか一方のマクロブロックタイプを用いるようにマクロブロックタイプを判定することを特徴とする。
【００２３】
本発明に係る動画像符号化装置は、実際の発生符号量と目標とする発生符号量との差分に基づいて、実際の発生符号量が目標とする発生符号量に調整されるように量子化レベルを決定する量子化レベル判定処理手段を備え、前記多重化処理手段は、多重化した符号化データの発生符号量を前記量子化レベル判定処理手段に出力する機能を有することを特徴とする。
【００２４】
本発明に係る動画像符号化装置は、前記第１の符号化処理部および前記第２の符号化処理部の前段に、バッファ内のデータ占有量を判定可能な第１の入力バッファおよび第２の入力バッファと、前記第１の入力バッファのデータ占有量および第２の入力バッファのデータ占有量と目標とするデータ占有量との差分に基づいて、符号化処理時間が調整されるようにマクロブロックタイプの選択処理を制限するマクロブロック制限処理手段とを備えたことを特徴とする。
【発明の効果】
【００２５】
以上説明したように、本発明の動画像符号化装置によれば、動画像データ全体に渡る広域的なデータ領域を動き補償の対象とするので、符号化の精度を低下させず、また、局所的な画質の劣化を回避できる。
【００２６】
また、奇数フィールドデータと偶数フィールドデータに含まれるマクロブロックのマクロブロックタイプを、それぞれ符号化に反映させることにより、画質を向上させることができる。
【００２７】
また、量子化レベル判定処理手段により、各マクロブロック符号化手段から出力された符号化データを多重化して１つの復号可能な符号化データを得る際に、符号化データの符号発生量と予め規定した目標発生符号量との差に基づいて量子化レベルを決定し、この決定された量子化レベルに基づいて、マクロブロックの符号化を行うので、符号化データの符号発生量を予め規定した目標発生符号量に近づけることが可能となる。
【００２８】
さらに、各符号化装置間での連携処理等、通常の符号化処理では行われることのない特別な処理が要求されて、符号化処理速度が速くなり過ぎたり、逆に、遅くなり過ぎた場合であっても、入力バッファから送出されるバッファ占有量信号に基づいて、符号化処理量が適正なマクロブロックタイプを決定するので、各入力バッファにおけるオーバーフローやアンダーフローを回避することができる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の動画像符号化装置の最良の実施形態について、第１の実施形態〜第５の実施形態の順に図面を参照して詳細に説明する。
なお、それぞれの実施形態の説明では、本発明に係る動画像符号化装置について詳述するが、本発明に係る動画像符号化方法に関する説明は以下の説明に含まれる。
【００３０】
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る動画像符号化装置の全体構成を示すブロック図である。
本実施形態の動画像符号化装置は、動画像信号入力端子１、フィールド画像分割処理部２、第１の入力バッファ３、第２の入力バッファ４、第１の符号化処理部５、第２の符号化処理部８、第１の出力バッファ１１、第２の出力バッファ１２、多重化処理部１３および符号化データ出力端子１４から構成される。また、第１の符号化処理部５および第２の符号化処理部８は、それぞれマクロブロックタイプ選択処理部（図中ではＭＢタイプ選択処理部）６および９、マクロブロック符号化処理部（図中ではＭＢ符号化処理部）７および１０から構成される。
【００３１】
次に、この動画像符号化装置の動作について説明する。
動画像信号入力端子１から入力された動画像信号Ｓ１は、フィールド画像分割処理部２によって奇数フィールド画像および奇数フィールド画像に分割され、奇数フィールド画像信号Ｓ２は第１の入力バッファ３に格納され、偶数フィールド画像信号Ｓ３は第２の入力バッファ４に格納される。
【００３２】
第１の入力バッファ３から出力された奇数フィールド画像信号Ｓ４は、第１の符号化処理部５に入力される。マクロブロック選択処理部６は、入力された奇数フィールド画像信号Ｓ４に対してマクロブロックのマクロブロックタイプを選択する。また、マクロブロック符号化処理部７は、マクロブロックタイプ選択処理部６によって選択されたマクロブロックタイプに基づいて、マクロブロックの符号化処理を行なう。
【００３３】
偶数フィールド画像についても同様の処理を行なう。第２の入力バッファ４から出力された偶数フィールド画像信号Ｓ５は、第２の符号化処理部８に入力される。マクロブロック選択処理部９は、入力された偶数フィールド画像信号Ｓ５に対してマクロブロックのマクロブロックタイプを選択する。また、マクロブロック符号化処理部１０はマクロブロックタイプ選択処理部９によって選択されたマクロブロックタイプに基づいて、マクロブロックの符号化処理を行なう。
【００３４】
第１の符号化処理部５で符号化された奇数フィールド画像信号Ｓ６のマクロブロックデータは第１の出力バッファ１１に格納される。また、第２の符号化処理部８で符号化された偶数フィールド画像信号Ｓ７のマクロブロックデータは第２の出力バッファ１２に格納される。
【００３５】
第１の出力バッファ１１から出力された奇数フィールド画像信号Ｓ８のマクロブロックおよび第２の出力バッファ１２から出力された偶数フィールド画像信号Ｓ９のマクロブロックは、多重化処理部１３において、復号可能な符号化データに多重化され、符号化データ出力端子１４から多重化画像信号Ｓ１０として出力される。
【００３６】
次に、第１の符号化処理部５におけるマクロブロックタイプ選択処理部６および第２の符号化処理部８におけるマクロブロック選択処理部９におけるマクロブロックタイプの選択動作を図２のフローチャートに従い説明する。
まず、マクロブロックタイプ選択処理部６及びマクロブロックタイプ選択処理部９は、これから符号化処理するマクロブロックが属するフレームの符号化ピクチャタイプを取得する（ステップＳＴ１）。取得した符号化ピクチャタイプがイントラ符号化タイプ（Ｉピクチャ）であるか否かを判断し（ステップＳＴ２）、取得した符号化ピクチャタイプがイントラ符号化タイプである場合はステップＳＴ４に移り、また、取得した符号化ピクチャタイプがイントラ符号化タイプでない場合はステップＳＴ３に移る。ステップＳＴ４では、当該マクロブロックの符号化タイプをイントラ符号化タイプに設定する。該マクロブロックの符号化タイプをマクロブロック符号化処理部７，１０に出力し（ステップＳＴ７）、処理を終了する。
【００３７】
ステップＳＴ３では、取得した符号化ピクチャタイプが前方向予測符号化タイプ（Ｐピクチャ）であるか否かを判断し、取得した符号化ピクチャタイプが前方向予測符号化タイプである場合はステップＳＴ５に移り、また、取得した符号化ピクチャタイプが前方向予測符号化タイプでない場合はステップＳＴ６に移る。ステップＳＴ５では、該マクロブロックの符号化タイプを前方向予測符号化タイプに設定した後、ステップＳＴ７に移り、該マクロブロックの符号化タイプをマクロブロック符号化処理部７，１０に出力し、処理を終了する。ステップＳＴ６では、当該マクロブロックの符号化タイプを両方向予測符号化タイプに設定した後、ステップＳＴ７に移り、該マクロブロックの符号化タイプをマクロブロック符号化処理部７，１０に出力し、処理を終了する。
【００３８】
次に、奇数フィールド画像のマクロブロックの符号化処理と偶数フィールド画像のマクロブロックの符号化処理を行なった後に、それぞれのマクロブロックを多重化して復号可能な１つの符号化データを構成する仕組みについて図３を用いて説明する。
【００３９】
この多重化処理とは、具体的には、マクロブロック符号化処理部７，１０におけるマクロブロックの符号化処理、及び多重化処理部１３における奇数フィールド画像のマクロブロックと偶数フィールド画像のマクロブロックの多重化処理を示す。
【００４０】
マクロブロック符号化処理部７，１０では、マクロブロックタイプ選択処理部６，９によって選択されたマクロブロックタイプに従って奇数フィールド画像のマクロブロックＭ１及び偶数フィールド画像のマクロブロックＭ２に対して符号化処理を行ない、それぞれのマクロブロック符号データＣ１，Ｃ２を得る。この時、マクロブロックの符号化パラメータとして、フレームストラクチャ、フレームＤＣＴ、フレーム予測を用いる。図３では、マクロブロックタイプが両方向予測符号化タイプである場合の例を示している。
【００４１】
最後に、多重化処理部１３において、この奇数フィールド画像のマクロブロック符号データＣ１と、偶数フィールド画像のマクロブロック符号データＣ２とを合成して、２つのマクロブロック符号化データＭＣ１，ＭＣ２（図１に示す多重化画像信号Ｓ１０）を得る。
【００４２】
図４は、本発明の第１の実施形態に係る動画像符号化装置においてマクロブロックタイプを符号化処理する際に選択可能なマクロブロックタイプを示す説明図である。
以下、マクロブロックタイプを符号化処理する際に選択可能なマクロブロックタイプについて図４を用いて説明する。
【００４３】
同図の下方に示すように、マクロブロックＭ３を符号化処理する際に選択可能なマクロブロックタイプには、イントラ符号化タイプ、前方向予測符号化タイプ、後方向予測符号化タイプ及び両方向予測符号化タイプとがある。従って、マクロブロック符号化処理部７，１０において、各タイプごとに符号化処理を行なう。イントラ符号化タイプはマクロブロック符号データＣ３、前方向予測符号化タイプはマクロブロック符号データＣ４、後方向予測符号化タイプはマクロブロック符号データＣ５、両方向予測符号化タイプはマクロブロック符号データＣ６となる。
【００４４】
これらのマクロブロックタイプのうち、Ｉピクチャの符号化にはイントラ符号化タイプのみが選択可能である。また、Ｐピクチャの符号化には、イントラ符号化タイプ及び前方向予測符号化タイプが選択可能である。さらに、Ｂピクチャの符号化には、前記全ての符号化タイプが選択可能である。
【００４５】
この実施形態によれば、動画像データは奇数フィールドと偶数フィールドに分けられるが、どちらのフィールドデータも動画像データ領域全体の広域的な情報を含んでいるので、動き補償を行なう符号化の精度を低下させず、また、局所的な画質の劣化を回避できる効果がある。
【００４６】
〔第２の実施形態〕
図５は、本発明の第２の実施形態に係る動画像符号化装置の全体構成を示すブロック図である。ここで、図１と同じ構成要素には同符号を付す。
【００４７】
本実施形態は、第１の実施形態に対して、マクロブロックタイプ判定処理部２６を設けた構成である。そして、マクロブロックタイプ選択処理部２１およびマクロブロックタイプ選択処理部２４からの選択マクロブロックタイプ信号Ｓ２０および選択マクロブロックタイプ信号Ｓ２１がマクロブロックタイプ判定処理部２６に入力され、マクロブロックタイプ判定処理部２６から判定後マクロブロックタイプ信号Ｓ２２および判定後マクロブロックタイプ信号Ｓ２３がマクロブロック符号化処理部２２およびマクロブロック符号化処理部２３に入力される。
【００４８】
次に、この動画像符号化装置の動作について説明する。
第１の実施形態と同様に、動画像信号入力端子１から入力された動画像信号Ｓ１は、フィールド画像分割処理部２において奇数フィールド画像信号Ｓ２および偶数フィールド画像Ｓ３に分割され、第１の入力バッファ３および第２の入力バッファ４に格納される。
【００４９】
マクロブロック選択処理部２１および２４は第１の入力バッファから入力された奇数フィールド画像信号S４および第２の入力バッファから入力された偶数フィールド画像信号Ｓ５のマクロブロックのマクロブロックタイプをそれぞれ選択し、選択結果をそれぞれ選択マクロブロックタイプ信号Ｓ２０および選択マクロブロックタイプ信号Ｓ２１としてマクロブロックタイプ判定処理部２６に入力する。
【００５０】
マクロブロックタイプ判定処理部２６は選択マクロブロックタイプ信号Ｓ２０および選択マクロブロックタイプ信号Ｓ２１に基づいて、奇数フィールド画像のマクロブロックおよび偶数フィールド画像のマクロブロックに対するマクロブロックタイプを判定する。判定されたマクロブロックタイプは、判定後マクロブロックタイプ信号Ｓ２２および判定後マクロブロックタイプ信号Ｓ２３として、マクロブロック符号化処理部２２およびマクロブロック符号化処理部２５に入力される。マクロブロック符号化処理部２２および２５は選択後マクロブロックタイプ信号Ｓ２２およびＳ２３にしたがってマクロブロックの符号化処理を行なう。
【００５１】
第１の実施形態と同様に、マクロブロック符号化処理部２２および２５から出力されたマクロブロック符号データＳ６およびＳ７は、第１の出力バッファ１１および第２の出力バッファ１２に格納される。第１の出力バッファ１１および第２の出力バッファ１２から出力されたマクロブロック符号データＳ８およびＳ９は、多重化処理部１３で多重化された後に符号化データ出力端子１４から多重化画像信号Ｓ１０として出力される。
【００５２】
図６は、本発明の第２の実施形態に係る動画像符号化装置のマクロブロックタイプの判定処理動作を説明するためのフローチャートである。
以下、図５を参照しながら、図６に示すフローチャートを使用して、本実施形態に係る動画像符号化装置のマクロブロックタイプ判定処理部２６におけるマクロブロックタイプの判定処理動作を説明する。
【００５３】
まず、マクロブロックタイプ判定処理部２６は、第１の符号化処理部２０のマクロブロック選択処理部２１から、奇数フィールドマクロブロックの選択マクロブロックタイプを、選択マクロブロックタイプ信号２０により取得する（ステップＳＴ２１）。また、第２の符号化処理部２３のマクロブロック選択処理部２４から、偶数フィールドマクロブロックの選択マクロブロックタイプを、選択マクロブロックタイプ信号２１により取得する（ステップＳＴ２２）。
【００５４】
次に、マクロブロック判定処理部２６は、奇数フィールドと、偶数フィールドの前記取得したマクロブロックタイプを突き合わせ、両者の組合せから、符号化すべきマクロブロックタイプを判定し、決定する処理を行なう（ステップＳＴ２３）。次に、マクロブロック判定処理部２６は、第１の符号化処理部２０のマクロブロック符号化処理部２２に対して前記決定したマクロブロックタイプを判定後マクロブロックタイプ信号Ｓ２２により通知する（ステップＳＴ２４）。また、第２の符号化処理部２３のマクロブロック符号化処理部２５に対して前記決定したマクロブロックタイプを判定後マクロブロックタイプ信号Ｓ２２により通知する（ステップＳＴ２５）。
【００５５】
図７，８は、図６に示すフローチャートのステップＳＴ２３に示すマクロブロックタイプ判定処理におけるマクロブロックタイプ判定基準の１例を示すテーブルである。
図７は、奇数フィールドマクロブロックに対するマクロブロックタイプの判定基準の１例を示す。また、図８は、偶数フィールドマクロブロックに対するマクロブロックタイプの判定基準を示す。どちらの判定基準も、符号化ピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）毎に定められている。
【００５６】
前述の第１の実施形態では、イントラ符号化フレーム、前方向予測符号化フレーム及び両方向予測符号化フレームのそれぞれの符号化方式に応じて、フレーム内の各マクロブロックのマクロブロックタイプを予め設定したマクロブロックタイプに固定して符号化処理するのに対して、本実施形態では、第１の符号化処理部２０及び第２の符号化処理部２３のどちらか一方のマクロブロックタイプを用いる。従って、この点で、前述の第１の実施形態とは異なる。
【００５７】
この実施形態によれば、奇数フィールドデータと偶数フィールドデータとに含まれるマクロブロックのマクロブロックタイプを両方とも参照して、フレーム内全体で各マクロブロックのマクロブロックタイプを最適化できるように変化させることができるため、第１の実施例に比べて、より画質を向上させることができる効果がある。
【００５８】
〔第３の実施形態〕
図９は、本発明の第３の実施形態に係る動画像符号化装置の全体構成を示すブロック図である。ここで、図５と同じ構成要素には同符号を付す。
【００５９】
本実施形態は、符号化処理後に多重化された符号化データの発生符号量に基づいて符号化処理における量子化レベルを決定することによって、符号化データの発生符号量を制御することを目的としている。
この動画像符号化装置は、基本的には、図５の構成に量子化レベル判定処理部３６を追加したものである。多重化処理部３７は、符号化データの発生符号量を量子化レベル判定処理部３６に通知する機能を有する点が図５とは異なる。
【００６０】
量子化レベル判定処理部３６は、符号化データ発生符号量信号Ｓ３０に基づいてマクロブロックを符号化する際の量子化レベルを判定する。このとき、量子化レベル判定処理部３０は、符号化データ発生符号量信号Ｓ３０により選られた、符号化データ出力端子１４に出力される符号化データの符号発生量があらかじめ規定した目標発生符号量よりも少ない場合は、より発生符号量が大きくなるように量子化レベルを判定し、量子化レベル信号Ｓ３１およびＳ３２によってマクロブロック符号化処理部３２および３５に符号化レベルを設定する。
【００６１】
一方、符号化データ発生符号量信号Ｓ３０により選られた、符号化データ出力端子１４に出力される符号化データの符号発生量があらかじめ規定した目標発生符号量よりも多い場合は、より発生符号量が少なくなるように量子化レベルを判定し、量子化レベル信号Ｓ３１およびＳ３２によってマクロブロック符号化処理部３２および３５に量子化レベルを設定する。
【００６２】
マクロブロック符号化処理部３２およびマクロブロック符号化処理部３５は、量子化レベル信号Ｓ３１およびＳ３２で指示された量子化レベルを用いてマクロブロックの符号化処理を行なう。
【００６３】
本実施形態における量子化レベル判定処理部３６における量子化レベル判定処理を図１０のフーチャートに従って説明する。
まず、量子化レベル判定処理部３６は、現在の量子化レベルを取得する（ステップＳＴ３１）。次に、多重化処理部３７から符号化データの実際の発生符号量を符号化データ発生符号量信号Ｓ３０により取得する（ステップＳＴ３２）。そして、現時点での目標発生符号量を算出する（ステップＳＴ３３）。
【００６４】
実際の発生符号量と目標発生符号量を比較し（ステップＳＴ３４）、実際の発生符号量が目標発生符号量よりも大きい場合はステップＳＴ３５に移り、また、実際の発生符号量が目標発生符号量を越えない場合はステップＳＴ３６に移る。
ステップＳＴ３５では、発生符号量と目標発生符号量との差が、予め設定した閾値以上か否かを判定する。この差が、予め設定した閾値以上であれば量子化レベルの値を１だけ増加させ（ステップＳＴ３７）、ステップＳＴ３９に移る。また、この差が、予め設定した閾値以上でなければ、直ちにステップステップＳＴ３９に移る。
【００６５】
ステップＳＴ３６では、目標発生符号量と発生符号量との差が、予め設定した閾値以上か否かを判定する。この差が、予め設定した閾値以上であれば量子化レベルの値を１だけ減少させ（ステップＳＴ３８）、ステップＳＴ３９に移る。また、この差が、予め設定した閾値以上でなければ、直ちにステップステップＳＴ３９に移る。
【００６６】
ステップＳＴ３９では、上記の処理によって得られた量子化レベル値を量子化レベル信号Ｓ３１，Ｓ３２として、マクロブロック符号化処理部３２，３５に通知する。
なお、マクロブロック符号化処理部３２，３５は、前記通知された量子化レベル値に従って、これ以降のマクロブロックの符号化処理を行なう。
【００６７】
この実施形態によれば、量子化レベル判定処理部３６により、符号化データの符号発生量と予め規定した目標発生符号量との差に基づいて量子化レベルを決定し、マクロブロック符号化処理部３２，３５は、この決定された量子化レベルに基づいて、マクロブロックの符号化を行うので、符号化データの符号発生量を予め規定した目標発生符号量に近づけることができる効果がある。
【００６８】
〔第４の実施形態〕
図１１は、本発明の第４の実施形態に係る動画像符号化装置の全体構成を示すブロック図である。ここで、図５と同じ構成要素には同符号を付す。
【００６９】
本実施形態は、符号化処理部の前段に位置する入力バッファに格納されるデータ量の変化に基づいてマクロブロックタイプを決定し、符号化処理量を制御することによって、入力バッファのオーバーフローを回避することを目的としている。
この動画像符号化装置は、基本的には図５の構成にマクロブロックタイプ制限処理部４２を追加したものである。入力バッファ４０および４１は、バッファ内のデータ占有量をマクロブロックタイプ制限処理部４２に通知する機能を有する点が図５とは異なる。
【００７０】
マクロブロックタイプ制限処理部４２は、バッファ占有量信号Ｓ４０およびＳ４１に基づいてマクロブロックタイプを判定する。このとき、マクロブロックタイプ制限処理部４２は、入力バッファ４０または４１のバッファ占有量があらかじめ規定した上限バッファ占有量を上回った場合は、符号化処理量が大きいマクロブロックタイプの選択処理を制限するようマクロブロックタイプ信号Ｓ４２およびＳ４３によってマクロブロック符号化処理部４４および４７に制限する符号化タイプを設定する。
符号化処理量が大きいマクロブロックタイプの選択処理を制限することによって、より符号化速度が速くなるため入力バッファのオーバーフローを回避することができる。
【００７１】
一方、入力バッファ４０および４１のバッファ占有量があらかじめ規定した下限バッファ占有量を下回った場合は、符号化処理量が少ないマクロブロックタイプの選択処理を制限するようマクロブロックタイプ信号Ｓ４２およびＳ４３によってマクロブロック符号化処理部４４および４７に制限する符号化タイプを設定する。
符号化処理量が少ないマクロブロックタイプの選択処理を制限することによって、より符号加速度が遅くなるため、入力バッファのアンダーフローを回避することができる。
【００７２】
本実施形態におけるマクロブロックタイプ制限処理部４２におけるマクロブロックタイプ制限処理を図１２のフローチャートに従って説明する。
まず、マクロブロックタイプ制限処理部４２は、第１の入力バッファ４０内のデータによるバッファ占有量（以下、「第１のバッファ占有量」と呼称する）を取得する（ステップＳＴ４１）。また、第２の入力バッファ４１内のデータによるバッファ占有量（以下、「第２のバッファ占有量」と呼称する）を取得する（ステップＳＴ４２）。
【００７３】
次に、第１のバッファ占有量または第２のバッファ占有量が、予め設定した閾値を超えたか否か（即ち、バッファオーバーフローが発生する可能性があるか否か）を判断し（ステップＳＴ４３）、上記バッファ占有量が、予め設定した閾値を超えている場合はステップＳＴ４５に移り、また、上記バッファ占有量が、予め設定した閾値を超えていない場合はステップＳＴ４４に移る。
ステップＳＴ４５では、符号化処理量が小さい符号化タイプを選択するようにマクロブロックタイプ選択処理部４４，４７に通知し、処理を終了する。
【００７４】
ステップＳＴ４４では、第１のバッファ占有量または第２のバッファ占有量が、予め設定した閾値を下回ったか否か（即ち、バッファアンダーフローが発生する可能性があるか否か）を判断し、上記バッファ占有量が、予め設定した閾値を下回っている場合はステップＳＴ４６に移り、また、上記バッファ占有量が、予め設定した閾値を下回っていない場合はステップＳＴ４７に移る。
【００７５】
ステップＳＴ４６では、符号化処理量が大きい符号化タイプを選択するようにマクロブロックタイプ選択処理部４４，４７に通知し、処理を終了する。
ステップＳＴ４７では、通常どおりに符号化タイプを選択するようにマクロブロックタイプ選択処理部４４，４７に通知し、処理を終了する。
【００７６】
なお、マクロブロックタイプ選択処理部４４，４７は、マクロブロックタイプ制限処理部４２によって、符号化処理量が小さい符号化タイプを選択するように通知された場合、後述する図１３に例示する選択基準によってマクロブロックタイプの選択処理を行なうものとする。
【００７７】
図１３は、本発明の第４の実施形態に係る動画像符号化装置において符号化処理量が小さい符号化タイプを選択する場合のマクロブロックタイプの選択基準の１例を示すテーブルである。
図１３に示すマクロブロックタイプの選択基準では、符号化ピクチャタイプがＩピクチャの場合はイントラ符号化タイプを選択し、Ｐピクチャの場合は、前方向予測を行なわず、イントラ符号化タイプを選択するようにすることで、動き補償のための処理量を減少させる。
【００７８】
また、符号化ピクチャタイプがＢピクチャの場合は、両方向予測を行なわず、イントラ符号化タイプまたは前方向予測符号化タイプを選択することで、動き補償のための処理量を減少させる。これにより、符号化すべき処理量が減少するので、第１の入力バッファ４０及び第２の入力バッファ４１から単位時間当たりに出力されるデータ量が増加し、よって、バッファオーバーフローを回避することができる。
【００７９】
一方、マクロブロックタイプ選択処理部４４，４７は、マクロブロックタイプ制限処理部４２によって、符号化処理量が大きい符号化タイプを選択するように通知された場合、後述する図１４に例示する選択基準によってマクロブロックタイプの選択処理を行なうものとする。
【００８０】
図１４は、本発明の第４の実施形態に係る動画像符号化装置において、符号化処理量が大きい符号化タイプを選択する場合のマクロブロックタイプの選択基準の１例を示すテーブルである。
図１４に示す選択基準は、符号化ピクチャタイプがＩピクチャの場合は、イントラ符号化タイプを選択する。また、符号化ピクチャタイプがＰピクチャの場合は、イントラ符号化を行なわず、前方向予測符号化タイプのみを選択するようにすることで、動き補償のための処理量を増加させる。さらに、符号化ピクチャタイプがＢピクチャの場合は、イントラ符号化を行なわず、前方向予測符号化タイプまたは両方向予測符号化タイプを選択することで、動き補償のための処理量を増加させる。
【００８１】
これにより、符号化すべき処理量が増加するので、第１の入力バッファ４０及び第２の入力バッファ４１から単位時間当たりに出力されるデータ量が減少し、よって、バッファアンダーフローを回避することができる。
この実施形態によれば、マクロブロックタイプ制限処理部４２が、バッファ占有量信号Ｓ４０，Ｓ４１に基づいて符号化処理量が適正なマクロブロックタイプを決定するので、各入力バッファ（即ち、第１の入力バッファ４０及び第２の入力バッファ４１）におけるオーバーフローやアンダーフローを回避することができる。
【００８２】
〔第５の実施形態〕
本発明の第５の実施形態に係る動画像符号化装置は、前述の第４の実施形態に係る動画像符号化装置のブロック構成（図１１）に対して、前述の第３の実施形態に係る動画像符号化装置のブロック構成（図９）における量子化レベル判定処理部３６を追加的に接続した構成をとる（構成を示すブロック図、及び動作を示すフローチャートは省略する）。
【００８３】
この実施形態によれば、前述の第４の実施形態と同様に前述の第１及び第２のバッファ占有量信号に基づいてマクロブロックタイプ制限処理部がマクロブロックタイプを判定すると共に、前述の第３の実施形態と同様に量子化レベル判定処理部が符号化データ発生符号量に基づいてマクロブロックを符号化する際の量子化レベルを判定するので、前述の第３に係る動画像符号化装置の効果に加えて、前述の第４の実施形態に係る動画像符号化装置の効果が得られる。
【００８４】
即ち、本実施形態によれば、入力バッファのオーバーフローやアンダーフローを回避することができると共に、出力される符号化データの発生符号量を予め設定した目標発生符号量に近づけるように制御することが可能となる。
【図面の簡単な説明】
【００８５】
【図１】本発明の第１の実施形態に係る動画像符号化装置の全体構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る動画像符号化装置のマクロブロックタイプの選択動作を説明するためのフローチャートである。
【図３】本発明の第１の実施形態に係る動画像符号化装置の多重化処理の１例を示す説明図である。
【図４】本発明の第１の実施形態に係る動画像符号化装置においてマクロブロックタイプを符号化処理する際に選択可能なマクロブロックタイプを示す説明図である。
【図５】本発明の第２の実施形態に係る動画像符号化装置の全体構成を示すブロック図である。
【図６】本発明の第２の実施形態に係る動画像符号化装置のマクロブロックタイプの判定処理動作を説明するためのフローチャートである。
【図７】本発明の第２の実施形態に係る動画像符号化装置のマクロブロックタイプ判定処理におけるマクロブロックタイプ判定基準の１例を示すテーブルである。
【図８】本発明の第２の実施形態に係る動画像符号化装置のマクロブロックタイプ判定処理におけるマクロブロックタイプ判定基準の１例を示すテーブルである。
【図９】本発明の第３の実施形態に係る動画像符号化装置の全体構成を示すブロック図である。
【図１０】本発明の第３の実施形態に係る動画像符号化装置の量子化レベル判定処理の動作を示すフローチャートである。
【図１１】本発明の第４の実施形態に係る動画像符号化装置の全体構成を示すブロック図である。
【図１２】本発明の第４の実施形態に係る動画像符号化装置のマクロブロックタイプ制限処理の動作を示すフローチャートである。
【図１３】本発明の第４の実施形態に係る動画像符号化装置において符号化処理量が小さい符号化タイプを選択する場合のマクロブロックタイプの選択基準の１例を示すテーブルである。
【図１４】本発明の第４の実施形態に係る動画像符号化装置において、符号化処理量が大きい符号化タイプを選択する場合のマクロブロックタイプの選択基準の１例を示すテーブルである。
【図１５】特許文献１に開示されている動画像符号化装置の構成を示すブロック図である。
【図１６】従来の動画像符号化装置の場合の画質劣化を説明するための説明図である。
【符号の説明】
【００８６】
１  動画像データ信号入力端子
２  フィールド画像分割処理部
３  第１の入力バッファ
４  第２の入力バッファ
５  第１の符号化処理部
６，９  マクロブロックタイプ選択処理部
７，１０  マクロブロック符号化処理部
８  第２の符号化処理部
１１  第１の出力バッファ
１２  第２の出力バッファ
１３  多重化処理部
１４  符号化データ出力端子
２６  マクロブロックタイプ判定処理部
３６  量子化レベル判定処理部
４２  マクロブロックタイプ制限処理部
【図１】
2005143025.tif 000003
【図２】
2005143025.tif 000004
【図３】
2005143025.tif 000005
【図４】
2005143025.tif 000006
【図５】
2005143025.tif 000007
【図６】
2005143025.tif 000008
【図７】
2005143025.tif 000009
【図８】
2005143025.tif 000010
【図９】
2005143025.tif 000011
【図１０】
2005143025.tif 000012
【図１１】
2005143025.tif 000013
【図１２】
2005143025.tif 000014
【図１３】
2005143025.tif 000015
【図１４】
2005143025.tif 000016
【図１５】
2005143025.tif 000017
【図１６】
2005143025.tif 000018