(57)【要約】【課題】Ｉピクチャから遠ざかった場合にも、すなわちＰピクチャのみを参照画像として用いてＰ，Ｂピクチャを符号化したときに、画質の低下を抑えることが可能な符号化処理を行う画像符号装置を提供する。【解決手段】本発明の画像処理装置は、Ｉ，Ｐ，Ｂピクチャを用いて画像の符号化を行う画像処理装置であり、時系列に入力される原画像をＩ，Ｐ，Ｂピクチャ各々のピクチャタイプに各々振り分け、このピクチャタイプに応じて符号化する順に並べ換えて、順次出力するピクチャ並べ換え部と、符号化対象の画像がＩピクチャであれば、イントラ符号化を行うＩピクチャ符号部と、符号化対象の画像がＰピクチャであれば、過去の２枚のピクチャを用い、フレーム間順方向予測を行い、Ｂピクチャであれば過去及び未来各々１枚ずつのピクチャを用い双方向予測を行う動き推定部とを有する。【選択図】  図１
2005072655.tif 000002
【特許請求の範囲】
【請求項１】
Ｉ，Ｐ，Ｂピクチャを用いて画像の符号化を行う画像処理装置であり、
時系列に入力される原画像をＩ，Ｐ，Ｂピクチャ各々のピクチャタイプに各々振り分け、このピクチャタイプに応じて符号化する順に並べ換えて、順次出力するピクチャ並べ換え部と、
符号化対象の画像がＩピクチャであれば、イントラ符号化を行うＩピクチャ符号部と、
符号化対象の画像がＰピクチャであれば、過去の２枚のピクチャを用い、フレーム間順方向予測を行い、Ｂピクチャであれば過去及び未来各々１枚ずつのピクチャを用い双方向予測を行う動き予測部と
を有することを特徴とする画像処理装置。
【請求項２】
前記動き予測部が、符号化対象の画像であるＰ及びＢピクチャを、所定の画素数のマクロブロックに分割し、Ｐピクチャの場合、直前及びその１つ前の過去の２枚のピクチャから、前記マクロブロックに対して相関の高い参照ブロックを検索し、Ｂピクチャの場合、直前の過去及び直後の未来各々１枚ずつのピクチャから相関の高い参照ブロックを検索することを特徴とする請求項１記載の画像処理装置。
【請求項３】
動き予測部が、前記マクロブロックと参照ブロックとの予測残差信号を求め、この予測残差信号が基準値の範囲内であれば、この参照ブロックを用いた動き予測符号化を行い、範囲内で無い場合、このマクロブロックをイントラ符号化することを特徴とする請求項１または請求項２記載の画像処理装置。
【請求項４】
動き予測部が、Ｂピクチャの符号化を行うとき、符号化の対象となるＢピクチャを記憶するフレームバッファと、過去及び未来各々１枚ずつのピクチャを記憶させる他の２つのフレームバッファとを有しており、Ｐピクチャの符号化を行うとき、符号化対象となるＰピクチャを前記フレームバッファに記憶させ、過去の２枚のピクチャ各々を、前記他の２つのフレームバッファに記憶させ、各々の符号化処理を行うことを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、Ｉピクチャ，Ｐピクチャ及びＢピクチャの構成を用いる画像の符号化処理を行う画像処理装置に関するものである。
【０００２】
【従来の技術】
従来の画像圧縮方法として、Ｉピクチャ（イントラ符号化画像），Ｐピクチャ（フレーム間順方向予測符号画像）及びＢピクチャ（双方向予測符号化画像）の３つのピクチャタイプを規定して用いるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等が良く知られている。
また、ＭＰＥＧにおいては、特許文献１に見られるように、高性能ハードウェアへの実装を前提として処理系を大規模・複雑化して画品質や符号化効率を向上させている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００３−１０２０１４号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の画像符号化の処理においては、以下に示す問題点がある。
すでに述べたように、符号化に用いるピクチャタイプにはＩピクチャ，Ｐピクチャ及びＢピクチャの３つのタイプが規定されている。
Ｉピクチャはイントラ符号化のため、他の画像を参照しない画像であり、符号化の基準画像として周期的に設けられている。
また、Ｉピクチャは他の画像から参照されるため、画質が高くなるよう、Ｂ及びＰピクチャに比較して多くの情報量を保持して符号化されている。
【０００５】
そして、Ｐ，Ｂピクチャの場合、動き補償により、Ｐピクチャが直前の過去のＩピクチャまたはＰピクチャを参照して符号化され、Ｂピクチャが直前の過去のピクチャと、直後の未来のピクチャと、例えば直後のＩピクチャ及び直前のＰピクチャを参照して符号化されている。
このため、Ｉピクチャを参照する場合には、残差ベクトルを小さくすることが可能なため、再生画質自体が高くなるが、Ｉピクチャから遠ざかるほど（すなわち、Ｉピクチャを参照せず、Ｐピクチャを参照画像として用いる場合）画質が低下していくことになる。
【０００６】
本発明はこのような事情に鑑みてなされたもので、Ｉピクチャから遠ざかった場合にも、すなわちＰピクチャのみを参照画像として用いてＰ，Ｂピクチャを符号化したときに、画質の低下を抑えることが可能な符号化処理を行う画像符号装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理装置は、Ｉ，Ｐ，Ｂピクチャを用いて画像の符号化を行う画像処理装置であり、時系列に入力される原画像をＩ，Ｐ，Ｂピクチャ各々のピクチャタイプに各々振り分け、このピクチャタイプに応じて符号化する順に並べ換えて、順次出力するピクチャ並べ換え部と、符号化対象の画像がＩピクチャであれば、イントラ符号化を行うＩピクチャ符号部と、符号化対象の画像がＰピクチャであれば、過去の２枚のピクチャを用い、フレーム間順方向予測を行い、Ｂピクチャであれば過去及び未来各々１枚ずつのピクチャを用い双方向予測を行う動き予測部とを有することを特徴とする。
【０００８】
本発明の画像処理装置は、前記動き予測部が、符号化対象の画像であるＰ及びＢピクチャを、所定の画素数のマクロブロックに分割し、Ｐピクチャの場合、符号化対象のピクチャに対して、直前及びその１つ前の過去の２枚のピクチャから、前記マクロブロックに対して相関の高い参照ブロックを検索し、Ｂピクチャの場合、符号化対象のピクチャに対して、直前の過去及び直後の未来各々１枚ずつのピクチャから相関の高い参照ブロックを検索することを特徴とする。
【０００９】
本発明の画像処理装置は、動き予測部が、前記マクロブロックと参照ブロックとの予測残差信号を求め、この予測残差信号が基準値の範囲内であれば、この参照ブロックを用いた動き予測符号化を行い、範囲内で無い場合、このマクロブロックをイントラ符号化することを特徴とする。
【００１０】
本発明の画像処理装置は、動き予測部が、Ｂピクチャの符号化を行うとき、符号化の対象となるＢピクチャを記憶するフレームバッファと、過去及び未来各々１枚ずつのピクチャを記憶させる他の２つのフレームバッファとを有しており、Ｐピクチャの符号化を行うとき、符号化対象となるＰピクチャを前記フレームバッファに記憶させ、過去の２枚のピクチャ各々を、前記他の２つのフレームバッファに記憶させ、各々の符号化処理を行うことを特徴とする。
【００１１】
【発明の実施の形態】
本発明の一実施形態による画像処理装置を図面を参照して説明する。
以下、本発明はＭＰＥＧ１を例にとり説明するが、Ｉピクチャ，Ｐピクチャ及びＢピクチャを用いた符号化処理を行う構成については同様に適用することが可能である。
【００１２】
＜符号化部＞
図１は、本発明の画像処理装置の符号化部の構成例を示すブロック図である。本発明の画像処理装置は、ピクチャ並べ換え部１、ピクチャ記憶部２、バッファ部３、Ｉピクチャ符号化部４、可変長符号化部５、インター符号化部６及びイントラ符号化部７、動き予測部８から構成されている。
また、バッファ部３は、フレームバッファ９，１０，１１から構成されている。このフレームバッファ部３の各フレームバッファには、符号化において、符号化対象のピクチャが変更される時点で、対応するピクチャの書き込みが行われる。
【００１３】
ピクチャ並べ換え部１は、外部装置から時系列にフレーム単位で入力される原画像（フレーム画像）を、３種類のＩ，Ｐ及びＢピクチャに振り分け、各画像にＩ，Ｐ及びＢピクチャのいずれかであるかを示す識別子を付し、一時ピクチャ記憶部２へ記憶させる。
また、ピクチャ並べ換え部１は、図２に示すように、この識別子に応じて符号化する順番に並び替え（エンコード処理）てピクチャ記憶部２から読み出し、順次、ＩピクチャであればＩピクチャ符号化部４へ、ＰまたはＢピクチャであれば、動き予測部８へ出力する。
【００１４】
すなわち、図２の構成において、ピクチャ並べ換え部１は、原画像の入力順列［０（Ｉ），１（Ｂ），２（Ｂ），３（Ｐ），４（Ｂ），５（Ｂ），６（Ｐ），７（Ｂ），８（Ｂ），９（Ｉ），１０（Ｂ），１１（Ｂ），１２（Ｐ）］を、上記識別に応じて、符号化する順番である符号化順列［０（Ｉ），３（Ｐ），１（Ｂ），２（Ｂ），６（Ｐ），４（Ｂ），５（Ｂ），９（Ｉ），７（Ｂ），８（Ｂ），１２（Ｐ），１０（Ｂ），１１（Ｂ）］の順番へ並べ替え、識別子によりピクチャの種類を判定し、原画像がＩピクチャ（Ｉ）であると判定した場合、このＩピクチャとされた原画像をＩピクチャ符号化部４へ出力し、原画像がＢピクチャ（Ｂ）またはＰピクチャ（Ｐ）であると判定した場合、このＢまたはＰピクチャとされた原画像を動き予測部８へ出力する。
【００１５】
ここで、本実施形態においては、説明のフレーム構成として、例えば、図２に記載したように、原画像のＩ，Ｐ及びＢピクチャへの分類規則として、Ｉピクチャの周期Ｎを９フレーム毎、Ｐピクチャの周期Ｍを３フレーム毎とした（周期Ｎ及びＭはこの図２の構成である必要はなく、使用目的に対応して任意に変更することができる）。
ここで、例えば、周期Ｍは通常「３」に設定され、周期Ｎは周期Ｍの倍数の必要があり、３０ｆｐｓ（ｆｒａｍｅｓ／ｓｅｃ）の場合、周期Ｎは「１５」であり、２５ｆｐｓの場合、周期Ｎは「１２」である。
【００１６】
Ｉピクチャ符号化部４は、入力されるＩピクチャをマクロブロックに分割し、さらにユニットブロックに分割し、一般的に用いられるＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）等の直交変換により、Ｉピクチャの各マクロブロックをイントラ符号化し、この符号化された符号化データを、順次、時系列に可変長部号化部５へ出力する。
【００１７】
ここで、イントラ符号化とは、フレーム画像内の情報のみを使用して画像の符号化を行うフレーム内符号化を指し、他のフレーム画像、すなわち他のピクチャを参照せずに符号化を行うものである。
そして、可変長符号化部５は、入力される上記符号化データを可変長符号化することでデータ圧縮して、符号出力として、時系列に出力する。
また、Ｉピクチャ符号化部４は、一旦符号化した符号化データに基づいて復号処理を行い、復号結果を復号画像データとして、ピクチャ記憶部２に、ピクチャ（フレーム画像）単位で時系列（符号化された順番）に記憶される。
【００１８】
一方、動き予測部８は、Ｉピクチャ符号化部４と同様に、Ｐ，Ｂピクチャをマクロブロックに分解し、分解されたマクロブロック単位各々に対して動きベクトルが計算される。
ここで、動き予測部８は、符号化対象のＰピクチャに対して、参照画像として過去のＩピクチャまたはＰピクチャを用い、このＰピクチャにおける符号化対象のマクロブロック（以下、符号化対象ブロック）と空間的相関の高い参照領域を、過去のＩピクチャまたはＰピクチャの計２枚のピクチャから検索し、最も空間的相関の高い参照領域を参照ブロックとして抽出する。
【００１９】
また、動き予測部８は、Ｂピクチャに対して参照画像として、過去及び未来のＩ及びＰピクチャを用い、Ｂピクチャにおける符号化対象ブロックと、空間的相関の高い参照領域（以下、参照ブロック）をＩ及びＰピクチャから検索し、ＩまたはＰピクチャのいずれかより最も空間的相関の高い参照領域を、参照ブロックとして抽出する。
上述の参照ブロックの検索方法としては、一般的な方法と同様に、所定の画素範囲内で水平方向及び垂直方向にずらして、予測残差信号の最小値を有する参照ブロックを検索する。
【００２０】
このとき、動き予測部８は、抽出した参照ブロックと、符号化対象ブロックとの予測残差信号を最小（絶対値和や２乗和の数値が最小）にする動きベクトルの計算を行い、この予測残差信号が基準値の範囲内であるか否か、例えば、この求められた最小の予測残差信号が予め決められた所定の残差閾値以下であるかの判定を行う。また、ここで、動き予測部８は、所定の残差閾値以下であるかの判定を行う代わりに、予測残差信号が所定のデータ容量範囲内であるか否かの判定を行うように構成してもよい。
そして、動き予測部８は、予測残差信号が上記残差閾値以下である否かの判定結果（または所定のデータ容量範囲内であるか否かの判定結果）に基づいて、以下に示す符号化方法のいずれかを用いるかの選択を行い、各符号化対象ブロックに対して、いずれの符号化方法（インター符号化またはイントラ符号化）で処理されるかを示す符号化種別を添付する。
ここで、インター符号化とは、フレーム間予測符号化であり、Ｐピクチャの場合、順方向のフレーム間予測、すなわち過去のフレームを参照画像として参照して符号化を行い、Ｂピクチャの場合、双方向のフレーム間予測、すなわち過去または未来のフレームを参照画像として参照して符号化を行う。
【００２１】
このとき、動き予測部８は、予測残差信号が上記残差閾値以下（または所定のデータ容量範囲内である）である場合、動きベクトルを用いた動き補償ブロックとして符号化したほうが効率が高い符号化ができる、すなわち、静止画として符号化したものより、符号化されたデータ量が少なくなると判定し、この符号化対象ブロックをインターブロックとし、インター符号化部６へ出力するとともに、インターブロックであることを示す符号種別を付加し、可変長符号化部５へ出力する。
【００２２】
一方、動き予測部８は、予測残差信号が上記残差閾値（または所定のデータ容量範囲）を超える場合、静止画として符号化したほうが効率が高い符号化ができる、すなわち、インター符号化した場合、静止画として符号化したものより、符号化されたデータ量が多くなると判定し、この符号化対象ブロックをイントラブロックとし、イントラ符号化部７へ出力するとともに、イントラブロックであることを示す符号種別を付加し、可変長符号化部５へ出力する。
【００２３】
ここで、符号化種別は、イントラブロックである（イントラ符号化された）か、インターブロックである（インター符号化された）かを示し、またインターブロックの場合、参照したピクチャを表す情報である。
後述する復号部は、この符号化種別に基づいて、イントラ符号化されたものか、またはインター符号化されたものかを判定して、インター符号化であれば参照画像及び参照ブロックを特定して、インター復号の処理を行う。
【００２４】
そして、動き予測部８は、識別子から、符号化対象がＢピクチャであることを検出すると、このＢピクチャをマクロブロックとして分割し、ピクチャ内の各々のマクロブロックを符号化する際に、フレームバッファ９または１０に記憶されているＩピクチャ，Ｐピクチャの画像データから、上記マクロブロックと最も空間的相関の高い参照ブロックを抽出する。
すなわち、動き予測部８は、動き予測を行い、参照ブロックを検索し、予測残差信号を求めるとき、Ｂピクチャの場合、符号化対象ブロックに対して、時系列な並びにおいて、バッファ部３の各フレームバッファに記憶された、直前のＩピクチャ（またはＰピクチャ）と、直後のＰピクチャ（またはＩピクチャ）との２枚のピクチャから、空間的相関の高い参照ブロックを検索する。
【００２５】
このとき、動き予測部８は、識別子により、符号化対象がＢピクチャであることを検出し、このＢピクチャを分割したマクロブロックの動き予測を行う場合、ピクチャ記憶部２からフレームバッファ９へ、直前のＩピクチャの復号画像データ（一旦、符号化した画像データを復号した画像データ）を書き込み、フレームバッファ１０に符号化対象のＢピクチャの画像データを書き込み、また、ピクチャ記憶部２からフレームバッファ１１に直後のＰピクチャの復号画像データ（一旦、符号化した画像データを復号した画像データ）を書き込む。
【００２６】
すなわち、動き予測部８は、Ｂピクチャの符号化を行うとき、符号化対象のピクチャを記憶するフレームバッファ１０と、過去及び未来各々１枚ずつ、または過去の２枚のピクチャを記憶させる他の２つのフレームバッファ９，１１とを有しており、Ｐピクチャの符号化を行うとき、符号化対象のマクロブロックを、例えば、フレームバッファ１０に記憶させ、直前及びその１つ前の過去の２枚のピクチャ各々を、他の２つのフレームバッファ９，１１に記憶させ、各々の符号化処理を行う。
【００２７】
一方、動き予測部８は、識別子により、符号化対象がＰピクチャであることを検出し、Ｐピクチャの符号化対象のマクロブロックの動き予測を行う場合、Ｐピクチャをマクロブロックとして分割し、各マクロブロック毎に、このＰピクチャに対して、時系列な並びにおいて、直前のＩピクチャ（またはＰピクチャ）と、この直前より前の（過去の）Ｉピクチャ（またはＰピクチャ）との、過去の２枚のピクチャのマクロブロックから空間的相関の高い参照ブロックを検索する。
すなわち、動き予測部８は、動き予測を行い、参照ブロックを検索し、予測残差信号を求めるとき、Ｐピクチャの場合、符号化対象ブロックに対して、時系列な並びにおいて、直前のＩピクチャ（またはＰピクチャ）と、このＩピクチャの一つ前のＰピクチャ（またはＩピクチャ）との２枚のピクチャから、空間的相関の高い参照ブロックを検索する。
【００２８】
このとき、動き予測部８は、識別子により、符号化対象がＰピクチャであることを検出すると、ピクチャ記憶部２からフレームバッファ９へ、直前のＩピクチャの復号画像データ（一旦、符号化した画像データを復号した画像データ）を書き込み、フレームバッファ１０に符号化対象のＢピクチャの画像データを書き込み、また、ピクチャ記憶部２からフレームバッファ１１に、上記直前のＩピクチャの一つ前のＰピクチャの復号画像データ（一旦、符号化した画像データを復号した画像データ）を書き込む。
【００２９】
ここで、符号化対象ブロックに対して、インター符号化が行われた場合、参照ブロックの含まれるピクチャを識別する情報（いずれのフレーム画像）が符号化種別に付加される。
インター符号化部６は、動き予測部３から入力されるインターブロックの予測残差信号及び参照ブロックの情報を含む符号化データと、符号化ブロックの符号化種別とを可変長符号化部５へ出力する。
【００３０】
そして、可変長符号化部５は、入力されるインターブロックの予測残差信号と、符号化種別と、動きベクトル情報とを、可変長符号化によりデータ圧縮して、符号出力として出力する。
また、インター符号化部６は、一旦符号化した符号化データに基づいて復号処理を行い、復号結果を復号画像データとして、ピクチャ記憶部２にピクチャ単位で時系列に記憶する。
【００３１】
イントラ符号化部７は、動き予測部３から入力されるイントラブロックを、すでに述べたＩピクチャ符号化部４におけるマクロブロックの符号化処理と同様な符号化を行い、イントラ符号化された符号化データと符号化種別とを、可変長符号化部５へ出力する。
また、イントラ符号化部７は、一旦符号化した符号化データに基づいて復号処理を行い、復号結果を復号画像データとして、ピクチャ記憶部２に、ピクチャ単位で時系列に記憶する。
そして、可変長符号化部５は、入力される符号化データと符号化種別とを可変長符号化し、固定長符号としてデータ圧縮して、符号出力として出力する。
【００３２】
＜復号部＞
図３は、本発明の画像処理装置の復号部の構成例を示すブロック図である。
本発明の画像処理装置は、可変長復号部１２，Ｉピクチャ復号部１５，インター復号部１６，イントラ符号部１７，ピクチャ記憶部１８及びピクチャ並べ換え部１９から構成されている。
可変長復号部１２は、すでに述べた符号化部から符号化されたデータを入力し、この入力された符号出力がＩピクチャまたはＰ，Ｂピクチャのいずれかであるかの判定を行う。
【００３３】
そして、可変長復号部１２は、入力される上記符号出力を可変長復号し、符号化データをＩピクチャと判定すれば、この符号化データをＩピクチャ復号部１５へ出力する。
【００３４】
また、可変長復号部１２は、入力される符号化データがイントラまたはインター符号化されていると判定したとき、符号化データ各々が、符号化種別により、イントラ符号化されているか、またはインター符号化されているかを判定して、インター符号化されていると判定した場合、符号化データをインター復号部１６へ出力する。
一方、可変長復号部１２は、符号化種別により、入力される符号化データが、イントラ符号化されていると判定した場合、この符号化データをイントラ復号部１７へ出力する。
【００３５】
Ｉピクチャ復号部１５は、Ｉピクチャの符号化に対応した逆ＤＣＴ変換等による復号を行い、復号された符号化データ、すなわちマクロブロックを、順次、時系列に、対応するピクチャ毎に、ピクチャ記憶部１８へ書き込む。
ピクチャ記憶部１８は、Ｉピクチャ復号部１５により復号されたＩピクチャが書き込まれ、インター復号部１６及びイントラ復号部１７各々により、復号されたＰ及びＢピクチャが書き込まれて、各々のピクチャを記憶している。
【００３６】
インター復号部１６は、符号化データ（参照ブロックの情報及び動きベクトル情報等）及び参照ブロック等に基づき、インター符号化されたＰ及びＢピクチャの各マクロブロックの復号を行い、復号された上記マクロブロックを、順次、時系列に、対応するピクチャ毎に、ピクチャ記憶部１８へ記憶する（書き込む）。このとき、インター復号部１６は、識別子を判定し、復号対象がＢピクチャのマクロブロックの場合、直前または直後のＩ，Ｐピクチャの参照ブロックと、動きベクトル情報とにより符号化データの復号を行い、復号対象がＰピクチャのマクロブロックの場合、直前またはそれより前の過去のＩ，Ｐピクチャ（２つのピクチャを参照画像として）の参照ブロックと、動きベクトル情報とにより符号化データの復号を行う。
同様に、イントラ復号部１７は、符号化データ，符号化種別及び識別子等に基づき、イントラ符号化されたＰ及びＢピクチャの各マクロブロックを、符号化に対応した逆ＤＣＴ変換等による復号処理を行い、復号された上記マクロブロックを、順次、時系列に、対応するピクチャ毎に、ピクチャ記憶部１８に記憶する。
【００３７】
ピクチャ並べ換え部１９は、ピクチャ並べ換え部１により図２に示すように変換された符号化順列［０（Ｉ），３（Ｐ），１（Ｂ），２（Ｂ），６（Ｐ），４（Ｂ），５（Ｂ），９（Ｉ），７（Ｂ），８（Ｂ），１２（Ｐ），１０（Ｂ），１１（Ｂ）］を、ピクチャ蓄積用メモリ１６から読み出し、原画像の入力順列［０（Ｉ），１（Ｂ），２（Ｂ），３（Ｐ），４（Ｂ），５（Ｂ），６（Ｐ），７（Ｂ），８（Ｂ），９（Ｉ），１０（Ｂ），１１（Ｂ），１２（Ｐ）］へ並べ換え（デコード処理し）、順次、時系列に出力することで動画像の再生を行う。
【００３８】
上述したように、本発明の画像処理装置は、Ｐピクチャにおいても、Ｂピクチャと同様に複数、すなわち、時系列において、自身より過去の２つのピクチャを参照画像とするため、符号化を対象とするマクロブロックに対して、１枚のピクチャを参照画像とする従来の手法に比較して、より高い空間相関の参照ブロックを抽出することが可能となり、マクロブロックの符号化効率を上げ、かつ、復号時の画質の劣化を抑止する効果がある。
また、本発明の画像処理装置は、Ｐピクチャにおいて、２枚の参照画像を用いるが、フレーム間順方向予測（過去のフレーム、すなわち過去のピクチャによる予測）による符号化を行い、かつＢピクチャにより使用するフレームバッファを用いているので、従来のハードウェアにおける装置の変更を行う必要が無く、処理のプログラムの変更のみで対応可能である。
【００３９】
これにより、本発明によれば、符号化対象ピクチャが高画質の圧縮が行われるＩピクチャから時間的に遠ざかった場合にも、すなわち、直前の過去と、直後の未来のＰピクチャのみを参照画像として用いて、Ｂピクチャを符号化したときにも、Ｐピクチャの画質の低下を防止させて、画質を向上させることができるので、Ｐ，Ｂピクチャの画質の低下を抑えることが可能な符号化処理が行える。
【００４０】
また、図１における図１に示す動き推定部３を含む符号化部、及び図３に示す復号部の各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより施工管理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機部等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可般媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００４１】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００４２】
【発明の効果】
以上説明したように、本発明による画像処理装置によれば、ＭＰＥＧのようなＩＰＢピクチャを用いて動画像の符号化を行う画像処理装置において、Ｐピクチャに対しても、Ｂピクチャと同様に複数、すなわち、時系列において、自身より過去の２つのピクチャを参照画像とするため、符号化を対象とするマクロブロックに対して、１枚のピクチャを参照画像とする従来の手法に比較して、より高い空間相関の参照ブロックを抽出することが可能となり、マクロブロックの符号化効率を上げ、かつ、復号時の画質の劣化を抑止する効果がある。
【００４３】
これにより、本発明によれば、時系列の間隔において、符号化対象ピクチャがＩピクチャから遠ざかった場合にも、すなわちＰピクチャのみを参照画像として用いてＰ，Ｂピクチャを符号化したときにも、Ｐピクチャの画質の低下を防止させて、画質を向上させることができるので、Ｐ，Ｂピクチャの画質の低下を抑えることが可能な符号化処理が行える。
【図面の簡単な説明】
【図１】本発明の一実施形態による画像処理装置（符号化部）の一構成例を示すブロック図である。
【図２】図１におけるピクチャ並べ換え部１の動作を説明するための概念図である。
【図３】本発明の一実施形態による画像処理装置（復号部）の一構成例を示すブロック図である。
【符号の説明】
１，１９  ピクチャ並べ換え部
２，１８  ピクチャ記憶部
３  動き推定部
４  Ｉピクチャ符号化部
５  可変長符号化部
６  インター符号化部
７  イントラ符号化部
８  動き予測部
９，１０，１１  フレームバッファ
１２  可変長復号部
１５  Ｉピクチャ復号部
１６  インター復号部
１７  イントラ復号部
【図１】
2005072655.tif 000003
【図２】
2005072655.tif 000004
【図３】
2005072655.tif 000005