(57)【要約】【課題】符号化処理速度を向上し、符号化に伴う画質劣化を抑え、半導体集積回路に実装可能な回路規模によるＨ．２６４準拠の動画像符号化装置を提供する。【解決手段】１フレームの画像を複数のマクロブロックから構成されるスライスに分割し、さらに該マクロブロック分割した小ブロック単位で、Ｈ．２６４に準拠したイントラ予測符号化を行う。このとき、スライスごとのパイプライン処理を行うように制御することによって、回路規模を大きくすることなく、かつ画質劣化を発生させることなく、処理速度を上げることができる。【選択図】  図４
2010034802.tif 000002
【特許請求の範囲】
【請求項１】
動画像のフレーム単位でイントラ予測符号化処理を行って符号ストリームを出力する動画像符号化装置であって、
１フレームの画像を、複数のマクロブロックから構成されるスライスに分割し、さらに該マクロブロックを小ブロックに分割し、前記スライス毎に１つずつ、前記小ブロック単位のブロック画像を時分割で出力する画像分割手段と、
前記画像分割手段から出力されたブロック画像について、対応するスライス内において当該ブロック画像に隣接する、符号化済みの隣接ブロックの画像に基づく予測符号化を行って符号化係数を作成する予測符号化手段と、
前記予測符号化手段で作成された符号化係数をデコードして、前記予測符号化手段において前記隣接ブロックの画像として参照される再構成画像を作成する再構成画像の作成手段と、
前記予測符号化手段で作成された符号化係数に対し、スライスごとに可変長符号化を施して符号ストリームを出力する可変長符号化手段と、を有し、
前記画像分割手段は、出力対象となるブロック画像について、その予測符号化の際に参照すべき前記再構成画像が前記再構成画像の作成手段において作成された後に、該ブロック画像を前記予測符号化手段へ出力し、
前記予測符号化手段および前記再構成画像の作成手段はそれぞれ、スライスごとのパイプライン処理によって、前記符号化係数の作成及び前記再構成画像の作成を行うことを特徴とする動画像符号化装置。
【請求項２】
前記可変長符号化手段は、
前記予測符号化手段で作成された符号化係数に対し、その属するスライスごとに、それぞれの符号化係数テーブルを参照して可変長符号化を施す複数の符号化手段、
を有することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記可変長符号化手段は、
前記予測符号化手段から出力された符号化係数を、その属するスライスに応じて保持する複数の保持手段と、
前記複数の保持手段のそれぞれに対応する、複数の符号化係数テーブルと、
前記複数の保持手段のそれぞれに保持された前記符号化係数を、対応する符号化係数テーブルを参照して可変長符号化を施す符号化手段と、
を有することを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記画像分割手段における前記１フレームの画像に対する最大スライス数は、前記予測符号化手段に前記ブロック画像が入力され、前記再構成画像の作成手段において該ブロック画像の前記再構成画像が作成されるまでに要するクロック・サイクル数に基づいて決定されることを特徴とする請求項１に記載の動画像符号化装置。
【請求項５】
前記予測符号化手段は、
前記画像分割手段から出力されたブロック画像について、対応するスライス内において当該ブロック画像に隣接する、符号化済みの隣接ブロックの画像に基づく予測符号化を行ってイントラ予測結果を出力するイントラ予測手段と、
該イントラ予測結果と前記ブロック画像との差分である予測残差を算出する予測残差算出手段と、
該算出された予測残差を整数に変換する整数変換手段と、
前記整数を量子化した量子化係数を前記符号化係数として出力する量子化手段と、
を有することを特徴とする請求項１乃至４のいずれか１項に記載の動画像符号化装置。
【請求項６】
前記再構成画像の作成手段は、
前記量子化手段から出力された量子化係数に対して逆量子化を施す逆量子化手段と、
該逆量子化結果に対して逆整数変換を施す逆整数変換手段と、
該逆整数変換結果と、前記イントラ予測手段から出力された前記イントラ予測結果に基づいて逆イントラ予測を行うことにより、前記再構成画像を算出する再構成画像の算出手段と、
該算出された再構成画像の１フレーム分を保持するフレーム保持手段と、
を有することを特徴とする請求項５に記載の動画像符号化装置。
【請求項７】
前記再構成画像の作成手段はさらに、
前記フレーム保持手段に保持された１フレーム分の再構成画像に対し、ブロック境界付近のノイズを除去するデブロッキング処理を施すデブロッキング手段と、
該デブロッキング処理後の１フレーム分の再構成画像を、複数フレーム間におけるインター予測の際に参照される参照画像として保持する参照画像の保持手段と、
を有することを特徴とする請求項６に記載の動画像符号化装置。
【請求項８】
前記ブロック画像に隣接する符号化済みの隣接ブロックは、対応するスライス内において当該ブロック画像の左、上、左上、及び右上に隣接する、該ブロックと同サイズの符号化済みブロックであることを特徴とする請求項１乃至７のいずれか１項に記載の動画像符号化装置。
【請求項９】
前記マクロブロックは１６画素×１６画素の矩形領域であり、
前記小ブロックは４画素×４画素の矩形領域である
ことを特徴とする請求項１乃至８のいずれか１項に記載の動画像符号化装置。
【請求項１０】
動画像のフレーム単位でイントラ予測符号化処理を行って符号ストリームを出力する動画像符号化装置の制御方法であって、
１フレームの画像を、複数のマクロブロックから構成されるスライスに分割し、さらに該マクロブロックを小ブロックに分割し、前記スライス毎に１つずつ、前記小ブロック単位のブロック画像を時分割で出力する画像分割ステップと、
前記画像分割ステップにおいて出力されたブロック画像について、対応するスライス内において当該ブロック画像に隣接する、符号化済みの隣接ブロックの画像に基づく予測符号化を行って符号化係数を作成する予測符号化ステップと、
前記予測符号化ステップにおいて作成された符号化係数をデコードして、前記予測符号化ステップにおいて前記隣接ブロックとして参照される再構成画像を作成する再構成画像の作成ステップと、
前記予測符号化ステップにおいて出力された符号化係数に対し、スライスごとに可変長符号化を施して符号ストリームを出力する可変長符号化ステップと、を有し、
前記画像分割ステップにおいては、出力対象となるブロック画像について、その予測符号化の際に参照すべき前記再構成画像が、前記再構成画像の作成ステップにおいて作成された後に、該ブロック画像を出力し、
前記予測符号化ステップおよび前記再構成画像の作成ステップはそれぞれ、スライスごとのパイプライン処理によって、前記符号化係数の作成及び前記再構成画像の作成を行うことを特徴とする動画像符号化装置の制御方法。
【請求項１１】
コンピュータを請求項１乃至９のいずれか１項に記載の動画像符号化装置として機能させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録したコンピュータ可読な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画符号化装置およびその制御方法に関し、特にＨ．２６４規格に準拠した動画像符号化を行う動画符号化装置およびその制御方法に関する。
【背景技術】
【０００２】
近年のデジタル信号処理技術の飛躍的な進歩により、従来ならば困難であった動画像の蓄積メディアへの記録や伝送路を介した動画像の伝送が行われている。この場合に、動画像を構成する各々のピクチャに圧縮符号化処理が施されることによって、データ量を大幅に削減した符号ストリームが作成される。このような動画圧縮符号化方式としてＨ．２６４という規格の標準化がなされている。
【０００３】
Ｈ．２６４準拠の予測符号化回路に限らず、一般に動画像符号化装置を高詳細テレビションにおけるＨＤＴＶ信号等、情報量の多い信号に適用する場合には、非常に高速な動作が要求される。このような要求に応じて、以下のような構成からなる動画像符号化装置が提案されている。
【０００４】
以下、従来の動画像符号化装置における符号化処理について、そのブロック構成を図６に示し、第１の従来技術として説明する。同図に示されるように従来の動画符号化装置は、画像分割部３０１、Ｎ個の符号化部３００−１〜３００Ｎ、該Ｎ個の符号化部のそれぞれに対応するバッファ３０６−１〜３０６−Ｎ、および出力選択部３０５、から構成される。
【０００５】
画像分割部３０１は、入力された動画像の１フレーム相当の画像を、所定形状でスライスに分割し、該スライスを水平方向１６画素×垂直方向１６画素の矩形領域から構成されるマクロブロックの単位に分割し、各スライスのマクロブロックを同時に出力する。符号化部３００−１〜３００−Ｎは、画像分割部３０１で分割されたスライスに対応した割り当てがなされており、画像分割部３０１は、各符号化部３００−１〜３００−Ｎと対応する、Ｎ個のスライスに属するマクロブロック単位の画像を出力する。
【０００６】
符号化部３００−１〜３００−Ｎのそれぞれは、マクロブロック単位の画像が入力されると符号化を開始し、符号ストリームを生成して出力する。各符号化部３００−１〜３００−Ｎから出力された、Ｎ個のマクロブロック単位の符号ストリームはそれぞれ、各バッファ３０６−１〜３０６−Ｎに記憶保持される。出力選択部３０５は、該Ｎ個のバッファ３０６−１〜３０６−Ｎから読み出される符号ストリームを、任意の順番で出力する。
【０００７】
このように第１の従来技術によれば、符号化対象画像をＮ個のスライスに分割し、Ｎ個の符号化部で並列に符号化することで、処理速度をＮ倍にすることが可能である。しかしながら、それに伴って符号化部の回路規模もＮ倍となり、１つの半導体集積回路において符号化部の占有する割合が非常に高くなってしまう。このような問題を鑑み、制約されたサイズの半導体集積回路において、より小さな範囲に動画符号化装置を実装するために、信号処理速度を落とす方法がある。以下、この方法を第２の従来技術として、詳細に説明する。
【０００８】
まず図７に示すように、入力ピクチャの色成分がＲＧＢで構成されている場合、これを輝度と色差から構成されるＹＣｂＣｒに色変換する。そして色差のサンプルに対し、４：２：０または４：２：２のサンプリングを施してデータ数を間引くことにより、総データ数を削減する。図７では、４：２：２へのサンプリング例を示す。この場合、サンプリング後のデータ数は入力ピクチャに対して０．５倍となるため、変換前のＲＧＢデータに対して半分の処理速度で、符号化を実現することが可能となる。
【０００９】
また、この符号化方法は静止画像にも適応可能である。例えば、色成分がシアン、マゼンタ、イエロー、ブロック（ＣＭＹＫ）から構成される画像を符号化する場合は、Ｃ，Ｍの画像をサンプリングして、総データ数を入力ピクチャに対して０．６５倍にすることが可能である。
【００１０】
このように第２の従来技術によれば、入力画像をサンプリングして符号化対象となるデータ数を削減することにより、符号化部の回路規模を縮小し、半導体集積回路上で占有する割合を抑えることができる。したがって、半導体集積回路の価格を抑え、経済性と符号化の処理速度を考慮した実装が可能となる。
【特許文献１】特開平06-253289号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上記従来の動画像符号化装置においては、上述した第１の従来技術による符号化回路を用いた場合、処理速度は向上するものの、回路規模が大きいために半導体集積回路への実装コストがかかるため、処理性能と価格との折り合いがつかない。
【００１２】
また、上述した第２の従来技術による符号化回路を用いた場合、実装可能な符号化部の処理速度に応じて入力画像をサンプリングし、符号化対象となる総データ数を削減しているため、価格を考慮した符号化部の実装を実現できる。しかしながら、画像に含まれるデータの質や状態に関わらず、一律にデータをサンプリングしているため、高解像度で撮影された画像が符号化によって劣化してしまう。
【００１３】
本発明は上述した問題を解決するためになされたものであり、以下のような機能を実現する動画像符号化装置及びその制御方法を提供することを目的とする。すなわち、動画像符号化をパイプライン処理によって行うことにより、回路規模を拡大することなく、符号化に伴う画質劣化を抑えつつ、符号化速度を向上可能とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するための一手段として、本発明の動画像符号化装置は以下の構成を備える。
【００１５】
すなわち、動画像のフレーム単位でイントラ予測符号化処理を行って符号ストリームを出力する動画像符号化装置であって、１フレームの画像を、複数のマクロブロックから構成されるスライスに分割し、さらに該マクロブロックを小ブロックに分割し、前記スライス毎に１つずつ、前記小ブロック単位のブロック画像を時分割で出力する画像分割手段と、前記画像分割手段から出力されたブロック画像について、対応するスライス内において当該ブロック画像に隣接する、符号化済みの隣接ブロックの画像に基づく予測符号化を行って符号化係数を作成する予測符号化手段と、前記予測符号化手段で作成された符号化係数をデコードして、前記予測符号化手段において前記隣接ブロックの画像として参照される再構成画像を作成する再構成画像の作成手段と、前記予測符号化手段で作成された符号化係数に対し、スライスごとに可変長符号化を施して符号ストリームを出力する可変長符号化手段と、を有し、前記画像分割手段は、出力対象となるブロック画像について、その予測符号化の際に参照すべき前記再構成画像が前記再構成画像の作成手段において作成された後に、該ブロック画像を前記予測符号化手段へ出力し、前記予測符号化手段および前記再構成画像の作成手段はそれぞれ、スライスごとのパイプライン処理によって、前記符号化係数の作成及び前記再構成画像の作成を行うことを特徴とする。
【発明の効果】
【００１６】
上記構成からなる本発明によれば、動画像符号化をパイプライン処理によって行うことにより、回路規模を拡大することなく、画質劣化を抑えつつ、符号化速度を向上させることが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１８】
＜第１実施形態＞
【００１９】
●Ｈ．２６４概要
本実施形態においては、Ｈ．２６４規格に準拠した動画像符号化装置を示す。本実施形態における特徴的な構成を明確にするために、まず、一般的なＨ．２６４準拠の予測符号化回路における符号化処理の概要を説明する。
【００２０】
Ｈ．２６４においては、動画像の１フレームの画像を所定形状のスライスに分割し、該スライスごとに、水平方向１６画素×垂直方向１６画素の矩形領域から構成されるマクロブロックを符号化単位とた予測符号化を行う。この予測符号化方式としては、イントラ予測とインター予測の２つの予測方式を用いる。
【００２１】
イントラ予測方式において、輝度サンプルは、マクロブロックを４画素×４画素に分割した最小ブロックまたはマクロブロックを単位として、予測値及び予測残差を算出する。また色差サンプルは、マクロブロックを８画素×８画素に分割したサブブロックを単位として、予測残差を算出する。
【００２２】
ここで、輝度サンプルの予測符号化を最小ブロック単位とした際の処理順序について説明する。図８に示すように、１６画素×１６画素であるマクロブロックは、４画素×４画素からなる１６個の最小ブロックで構成される。図８に示すマクロブロックにおいて、最小ブロックを単位とした垂直方向，水平方向の座標をそれぞれｘ，ｙとすると、図中矢印で示される順序で、イントラ予測が実行される。すなわち、（０，０）→（１，０）→（０，１）→（１，１）→（２，０）→（３，０）→（２，１）→（３，１）→（０，２）→（１，２）→（０，３）→（１，３）→（２，２）→（３，２）→（２，３）→（３，３）の順となる。
【００２３】
また、イントラ予測において、最小ブロック単位の予測値は、最小ブロックの左、上、左上、及び右上、に隣接する符号化済み最小ブロック（隣接ブロック）の再構成データを参照することにより、算出される。そのため、最小ブロック単位のイントラ予測は、同一スライス内の左、上、左上、及び右上、に隣接する最小ブロック単位の再構成画像を構築した後に開始される。したがって、一般的なＨ．２６４準拠の予測符号化回路においては、隣接する最小ブロック単位の再構成画像を構築するまで処理データを待つため、空きスロットが発生する。
【００２４】
ここでＨ．２６４規格においては、スライス間には相互依存性がなく、それぞれが独立に符号化される。また、異なるスライスの符号ストリームは、１つのビットストリームに連結していなくても構わない。本実施形態においては、このようなＨ．２６４規格に基づき、符号化処理において発生する空きスロットを有効に活用する。すなわち、あるスライスの最小ブロック単位（４ｘ４）の画素を予測符号化して再構成画像を構築するまでの期間、空きスロットとなっている処理回路を利用して別スライスの最小符号化単位の符号化を開始し、マルチストリームを生成する。
【００２５】
●本実施形態のシステム構成
本実施形態は、動画像のフレーム単位でイントラ予測符号化処理を行って符号ストリームを出力する、Ｈ．２６４規格に準拠した動画像符号化装置において、回路規模を大きくすることなく、処理速度を向上させたことを特徴とする。
【００２６】
図１に、本実施形態における動画像符号化装置の基本的なブロック構成例を示す。同図において、１０１は画像分割部、１０２は予測符号化部、１０３−１，１０３−２は可変長符号化部、１０４は入力選択部、１０５は出力選択部、である。
【００２７】
画像分割部１０１は、入力された１フレームの動画像をスライスに分割し、４画素×４画素の矩形領域で構成された最小ブロックを単位として、逐次出力する。
【００２８】
ここで図２を用いて、画像分割部１０１における画像の分割方法について説明する。図２では説明の簡便のため、３２画素×３２画素の画像における分割例を示している。
【００２９】
まず、画像を予め定められた形状でスライスに分割する。ここでスライスは、１６画素×１６画素の矩形領域で構成されるマクロブロックの集合でなければならない。
【００３０】
図２では説明を簡単にするために、１フレームの画像を３２画素×１６画素の２つのスライス（スライス０，スライス１）に分割し、更に各スライスが２つのマクロブロックから構成されている例を示す。各スライスのマクロブロックを４画素×４画素からなる１６個の矩形領域に分割し、この矩形領域が、予測符号化部１０２において符号化対象となる最小ブロックとなる。
【００３１】
画像分割部１０１においては、上述した最小ブロックを単位として、各スライスから交互にブロックデータを時分割で出力する。ここで、図２における最小ブロック単位を座標（Ｓ，Ｘ，Ｙ）（Ｓ:スライス番号、Ｘ:垂直方向、Ｙ:水平方向）で表すと、画像分割部１０１は、最小ブロック単位の画像を各スライス交互に、以下のような順序で出力する。すなわち、（０，０，０）→（１，０，０）→（０，１，０）→（１，１，０）→（０，０，１）→（１，０，１）→（０，１，１）→（１，１，１）→（０，２，０）→（１，２，０）．．．、という順である。このスライスごとの最小ブロック単位での処理順を、図３に示す。
【００３２】
画像分割部１０１から出力された最小ブロック単位の画像は、予測符号化部１０２に入力される。
【００３３】
予測符号化部１０２は、イントラ予測部１０２１、インター予測部１０２２、整数変換部１０２５、量子化部１０２６、デブロッキングフィルタ１０３１、等によって構成される。
【００３４】
予測符号化部１０２において、画像分割部１０１からの最小ブロック単位の画像は、イントラ予測部１０２１、インター予測部１０２２、及び予測残差算出部１０２４に入力される。
【００３５】
イントラ予測部１０２１では、入力された最小ブロック画像について、対応するスライス内において当該ブロックと同サイズの隣接ブロックの再構成データを参照することにより、予測値を算出する。ここでスライス内における隣接ブロックとは上述したように、最小ブロックの左、上、左上、及び右上、に隣接する符号化済み最小ブロックである。
【００３６】
イントラ予測部１０２１におけるイントラ予測結果と、インター予測部１０２２におけるインター予測結果は、セレクタ１０２３において、該入力された画像が属するマクロブロックの属性（マクロブロックタイプ）に従っていずれかが選択される。該選択結果は予測残差算出部１０２４に入力され、入力画像に対する差分である予測残差が算出される。そして、該予測残差は整数変換部１０２５で整数に変換され、さらに量子化部１０２６で量子化が施される。ここで得られた量子化係数が、符号化係数として出力される。
【００３７】
予測符号化部１０２はまた、量子化部１０２６より算出された量子化係数に対し、逆量子化部１０２７で逆量子化を施し、該逆量子化結果に対して逆整数変換部１０２８で逆整数変換を施すことによってローカルデコードする。そして、再構成画素算出部１０２９では、該逆整数変換結果（デコード結果）とセレクタ１０２３で選択された予測画像を入力し、互いに加算して逆イントラ予測を行うことによって、再構成画像を算出する。この再構成画像は、フレーム保持手段として機能するフレームバッファ１０３０に記憶される。フレームバッファ１０３０には、予測符号化の際に参照される隣接ブロックの参照画像データとして、１フレーム分の参照画像データが蓄積される。
【００３８】
フレームバッファ１０３０に保持された１フレーム分の参照画像データは、デブロッキングフィルタ１０３１において、ブロック境界付近のノイズを除去するデブロッキング処理が施される。該デブロッキング処理後の参照画像データは、フレーム単位の参照画像１０６として保持され、インター予測部１０２２における複数フレーム間のインター予測の際に参照される。
【００３９】
ここで図４に、予測符号化部１０２における最小ブロック単位の処理順序（パイプライン処理）を示す。同図によれば、例えば最小ブロック単位の画像（０，０，０），（１，０，０）が順次入力され、イントラ予測、整数変換、量子化を施した量子化係数をローカルデコードし、それぞれ最小ブロック単位の再構成画像を順次構築していく。そして、最小ブロック画像（０，０，０）の再構成画像の構築が終了し、（１，０，０）の再構成画像は未構築であるタイミングで、該（０，０，０）の再構成画像を参照画像として用いる最小ブロック画像（０，１，０）の処理が開始される。すなわち、画像分割部１０１においては、出力対象となる最小ブロック画像について、その予測符号化の際に参照すべき再構成画像が作成された後に、該最小ブロック画像を予測符号化部１０２へ出力することになる。図４によればさらに、最小ブロック画像（０，１，０）のイントラ予測処理の実行中に、最小ブロック画像（１，０，０）の逆イントラ予測処理も並行して実行されることが分かる。
【００４０】
以上のように予測符号化部１０２においては、図１に示す構成によって、スライスごとの処理のパイプライン化を実現し、高速な符号化を実現する。
【００４１】
尚、予測符号化部１０２における符号化処理速度は、イントラ予測、整数変換、量子化を施した量子化係数をローカルデコードし、再構成画像を構築するまでに要するクロック・サイクル数（図４の期間ｔに相当）によって制限される。言い換えれば、最小ブロック画像の入力から再構成画像の構築までに要するクロック・サイクル数に基づいて、本実施形態で処理可能な最大スライス数が決定されることになる。
【００４２】
予測符号化部１０２から出力された量子化係数は、入力選択部１０４を介して可変長符号化部１０３−１または１０３−２へ出力される。なお、図１においては説明を簡単にするために、２つのスライスを符号化する場合を想定しているため、２つの可変長符号化部が並列に配置されている例を示す。なお、並列に配置すべき可変長符号化部の数は、符号化対象となるフレーム画像におけるスライス数によって予め決定される。
【００４３】
可変長符号化部１０３−１，１０３−２は、入力された最小ブロック単位の量子化係数をＣＡＶＬＣ（Context Adaptive Variable Length Coding）方式で可変長符号化する。該符号化によって生成された符号ストリームは、内部バッファに記憶保持される。なお、可変長符号化部１０３−１，１０３−２は、可変長符号化を行う際に符号化係数テーブル（不図示）を参照するが、該テーブルにはスライス間の依存性がないため、同一のテーブルを参照することはできない。そのため、最小ブロック単位の量子化係数は、最小ブロック単位が属するスライスに対応する可変長符号化部において、それぞれ符号化される。
【００４４】
入力選択部１０４は、予測符号化部１０２から入力された最小ブロック単位の量子化係数が属するスライスが、図２に示すスライス０またはスライス１のいずれに属するのかを判断する。該係数がスライス０に属するのであれば可変長符号化部１０３−１へ、スライス１に属するのであれば可変長符号化部１０３−２へ、それぞれ出力する。尚、このスライスによる可変長符号化部への出力関係は逆であっても良い。すなわち、最小ブロック単位の量子化係数がスライス１に属するのであれば可変長符号化部１０３−１へ、スライス０に属するのであれば可変長符号化部１０３−２へ、出力しても構わない。
【００４５】
そして出力選択部１０５は、可変長符号化部１０３−１または１０３−２の出力を選択することにより、所望のスライスにおける最小ブロック単位の符号ストリームを読み出す。
【００４６】
以上説明したように第１実施形態によれば、あるスライスの最小ブロック単位の画素を予測符号化して再構成画像を構築するまでの期間、空きスロットとなっている処理回路を利用して別スライスの最小符号化単位の符号化を開始する。これにより、Ｈ．２６４規格に基づくマルチストリームが生成される。具体的には、１つの予測符号化部１０２においてパイプライン処理を施し、２個の可変長符号化部１０３−１，１０３−２で並列処理を行うことにより、処理速度を２倍にしたＨ．２６４準拠の動画像符号化装置が実現される。また、本実施形態の動画像符号化装置においては、符号化対象画像に対するサンプリングを行わないため、符号化による画質劣化は発生しない。
【００４７】
このような動画像符号化装置によれば、一般的なデジタル製品に要求される符号化処理速度を満たしつつ、符号化に伴う画質劣化を抑制する。また、回路規模が大きくならないため、半導体集積回路としての実装もコスト的に見合うものとなる。
【００４８】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。
【００４９】
図５に、第２実施形態における動画像符号化装置の基本的なブロック構成例を示す。同図において、上述した第１実施形態の図１と同様の構成には同一の参照番号を付し、説明を省略する。
【００５０】
図５に示す特徴的な構成として、２０３は可変長符号化部、２０６−１，２０６−２はバッファ、２０４は入力選択部、２０５は出力選択部である。
【００５１】
予測符号化部１０２から出力された最小ブロック単位の量子化係数は、入力選択部２０４を介してバッファ２０６−１または２０６−２へ出力される。なお、第２実施形態において並列に実装可能なバッファの数は、１フレーム画像を分割するスライス数に応じて決定される。
【００５２】
入力選択部２０４は、予測符号化部１０２から入力された最小ブロック単位の量子化係数が属するスライスが、図２に示すスライス０またはスライス１のいずれに属するのかを判断する。該係数がスライス０に属するのであればバッファ２０６−１へ、スライス１に属するのであればバッファ２０６−２へ、それぞれ出力する。尚、このスライスによるバッファへの出力関係は逆であっても良い。すなわち、最小ブロック単位の量子化係数がスライス１に属するのであればバッファ２０６−１へ、スライス０に属するのであればバッファ２０６−２へ、出力しても構わない。
【００５３】
バッファ２０６−１，２０６−２は、入力された最小ブロック単位の量子化係数を記憶保持する。
【００５４】
そして出力選択部２０５は、バッファ２０６−１または２０６−２の出力を選択することにより、所望のスライスにおける最小ブロック単位の量子化係数を読み出し、可変長符号化部２０３へ出力する。
【００５５】
可変長符号化部２０３は、入力された最小ブロック単位の量子化係数をＣＡＶＬＣ方式で可変長符号化し、生成された符号ストリームを内部バッファに記憶保持する。なお、可変長符号化部２０３は、可変長符号化を行う際に符号化係数テーブル（不図示）を参照するが、該テーブルにはスライス間の依存性がないため、同一のテーブルを参照することはできない。そこで第２実施形態においては、複数の符号化係数テーブルを予め備え、最小ブロック単位の量子化係数を可変長符号化する際に、最小ブロックが属するスライス毎にテーブルを切り替えて参照することで、パイプライン処理を実現する。
【００５６】
以上説明したように第２実施形態によれば、１つの予測符号化部１０２と１つの可変長符号化部２０３においてパイプライン処理を施し、２個のバッファ２０６−１，２０６−２を並列に実装する。このように第２実施形態においては、上述した第１実施形態とは異なる構成によって、処理速度を２倍にしたＨ．２６４準拠の動画像符号化装置が実現される。
【００５７】
＜他の実施形態＞
本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮影装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００５８】
本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、実施形態において図に示したフローチャートに対応したコンピュータ可読のプログラムである。
【００５９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００６０】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【００６１】
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などである。
【００６２】
プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【００６３】
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。
【００６４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００６５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。
【図面の簡単な説明】
【００６６】
【図１】本発明に係る一実施形態における動画像符号化装置の構成を示すブロック図である。
【図２】本実施形態における画像の分割例を示す図である。
【図３】本実施形態におけるスライスごとの最小ブロック単位の処理順序を示す図である。
【図４】本実施形態の予測符号化部におけるパイプライン処理を示す図である。
【図５】第２実施形態における動画像符号化装置の構成を示すブロック図である。
【図６】従来の動画像符号化装置の構成を示すブロック図である。
【図７】従来の動画像符号化装置におけるデータの間引き例を示す図である。
【図８】Ｈ．２６４における最小ブロック単位の処理順序を示す図である。
【図１】
2010034802.tif 000003
【図２】
2010034802.tif 000004
【図３】
2010034802.tif 000005
【図４】
2010034802.tif 000006
【図５】
2010034802.tif 000007
【図６】
2010034802.tif 000008
【図７】
2010034802.tif 000009
【図８】
2010034802.tif 000010