(57)【要約】【課題】  インターモード及びイントラモードで予測し、符号化効率の高い方のモードで予測して行う符号化をソフトウエアにより実時間で実行可能な画像符号化装置を実現する。【解決手段】  イントラ符号化部２は、インター符号化部１による画像信号のインターモード予測の開始に合わせて画像信号の直交変換を行う符号化部２３１と、符号化部で直交変換して得られた直交変換符号化データの復号の終了に合わせて画像信号のイントラモード予測の開始を行い、インター符号化部１による画像信号のアダマール変換の終了に合わせてイントラ予測演算を終了させるイントラ部２とを備えて画像符号化装置１０を構成した。【選択図】      図２
2007208802.tif 000002
【特許請求の範囲】
【請求項１】
動ベクトルを探索しつつ行うインター予測モードによる仮符号化及びイントラ予測モードによる仮符号化の結果を用いて、順次供給される画像の本符号化を行う画像符号化装置において、
現在本符号化対象となっている現符号化対象画像の本符号化を行って符号化データを生成する符号化部と、
前記順次供給される画像に対する前記インター予測モードによる仮符号化を連続して行うインター予測部と、
前記符号化データの復号を行って前記現符号化対象画像の次に符号化対象となる次符号化対象画像の前記イントラ予測モードによる仮符号化で用いる参照画像を生成する復号部と、
前記参照画像を用いて前記次符号化対象画像の前記イントラ予測モードによる仮符号化を行うイントラ予測部と、
前記次符号化対象画像に対する前記インター予測モードによる仮符号化での発生符号量と、同画像に対する前記イントラ予測モードによる仮符号化での発生符号量とを比較して、前記発生符号量の少ない方の予測モードを選択する選択部と、
前記選択部で前記インター予測モードが選択された場合は前記インター予測モードによる仮符号化で探索して得られた前記動ベクトルを用いて前記インター予測モードによる前記次符号化対象画像の本符号化を前記符号化部に行わせ、前記選択部で前記イントラ予測モードが選択された場合は前記イントラ予測モードによる前記次符号化対象画像の本符号化を前記符号化部に行わせる第１の制御部と、
前記インター予測部が前記次符号化対象画像に対する仮符号化を行っている期間に、前記符号化部に前記現符号化対象画像に対する前記符号化データの生成を行わせ、前記復号部に生成された前記符号化データに対する前記参照画像の生成を行わせ、前記イントラ予測部に生成された前記参照画像を用いた前記次符号化対象画像に対する仮符号化を行わせるよう制御し、前記順次供給される画像に対する前記符号化部での本符号化動作と前記イントラ予測部による仮符号化動作と前記復号部による参照画像生成動作とを順次行わせる第２の制御部と、
を備えたことを特徴とする画像符号化装置。
【請求項２】
動ベクトルを探索しつつ行うインター予測モードによる仮符号化及びイントラ予測モードによる仮符号化の結果を用いて、順次供給される画像の本符号化を行う画像符号化方法において、
現在符号化対象となっている現符号化対象画像の本符号化を行って符号化データを生成する符号化ステップと、
前記順次供給される画像に対する前記インター予測モードによる仮符号化を連続して行うインター予測ステップと、
前記符号化データの復号を行って前記現符号化対象画像の次に符号化対象となる次符号化対象画像の前記イントラ予測モードによる仮符号化で用いる参照画像を生成する復号ステップと、
前記参照画像を用いて前記次符号化対象画像の前記イントラ予測モードによる仮符号化を行うイントラ予測ステップと、
前記次符号化対象画像に対する前記インター予測モードによる仮符号化での発生符号量と、同画像に対する前記イントラ予測モードによる仮符号化での発生符号量とを比較して、前記発生符号量の少ない方の予測モードを選択する選択ステップと、
前記選択ステップで前記インター予測モードが選択された場合は前記符号化ステップでの前記次符号化対象画像の本符号化を前記インター予測モードによる仮符号化で探索して得られた前記動ベクトルを用いて行う符号化とし、前記選択ステップで前記イントラ予測モードが選択された場合は前記符号化ステップでの前記次符号化対象画像の本符号化を前記イントラ予測モードにより行う符号化とするよう制御する第１の制御ステップと、
前記インター予測ステップで前記次符号化対象画像に対する仮符号化を行っている期間に、前記現符号化対象画像に対する前記符号化データの生成を行わせる前記符号化ステップと、前記次符号化対象画像の前記イントラ予測モードによる仮符号化で用いる参照画像の生成を行わせる前記復号ステップと、前記次符号化対象画像の前記イントラ予測モードによる仮符号化を行わせる前記イントラ予測ステップとを行わせるよう制御する第２の制御ステップと、
を有して前記画像の本符号化を行うことを特徴とする画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インター予測モード及びイントラ予測モードのうち、符号化効率の良い方の符号化モードを選択して符号化を行う画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
最近になり、ＭＰＥＧ−２の符号化を用いるデジタル地上波放送の送信電力もフルパワーとされるなど、本格的なデジタル映像時代が到来してきた。
一方、通信の分野ではさらに符号化効率の良い、Ｈ．２６４と称されるＭＰＥＧ４−ＡＶＣを採用する開発もなされている。Ｈ．２６４符号化方式を実時間で実行可能な経済的なＬＳＩができることは好ましい。
【０００３】
特許文献１には、実時間符号化を行うため、並列処理のために隣接ブロックの必要なベクトル情報等が得られない場合でも、高速な符号化処理を実現可能な画像情報符号化装置が開示されている。即ち、ＭＰＥＧ４／ＡＶＣ等の画像符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置で、所定のブロックがスキップモードや、スペーシャルダイレクトモードであるか否かのモード判定を行う際に、所定の隣接ブロックの全てについて動きベクトル情報等が計算されている必要がある。全体の処理を高速化するために各ブロックについて並列処理を行っている場合は、所定の隣接ブロックの動きベクトル情報等が全て得られるとは限らない。この場合に、隣接ブロックの動きベクトル情報等の計算を待つことなくモード判定が行えるよう、隣接ブロックの代わりに、他の近傍ブロックの動きベクトル情報等を擬似的に用いてモード判定を行うようにした画像情報符号化装置が開示されている。
【特許文献１】特開２００５−７０９３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている画像情報符号化装置では、エンコード時に処理量の多い動きベクトル検出、動き補償、可変長符号化及びデブロックフィルタなどの処理を専用のハードウエアを用いて並列処理することにより実時間の符号化を行っている。専用ハードウエアを用いる場合では処理の全てをソフトウエアにより行うのに比し、低価格なエンコーダとして実現することは困難であった。
【０００５】
そこで、本発明は、上記のような問題点を解消するためになされたもので、インターモード及びイントラモードで予測し、符号化効率の高い方のモードにより予測して行う画像信号の符号化をソフトウエアにより実時間で実行可能とする画像符号化装置及び画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願発明における第１の発明は、動ベクトルを探索しつつ行うインター予測モードによる仮符号化及びイントラ予測モードによる仮符号化の結果を用いて、順次供給される画像の本符号化を行う画像符号化装置において、現在本符号化対象となっている現符号化対象画像の本符号化を行って符号化データを生成する符号化部と、前記順次供給される画像に対する前記インター予測モードによる仮符号化を連続して行うインター予測部と、前記符号化データの復号を行って前記現符号化対象画像の次に符号化対象となる次符号化対象画像の前記イントラ予測モードによる仮符号化で用いる参照画像を生成する復号部と、前記参照画像を用いて前記次符号化対象画像の前記イントラ予測モードによる仮符号化を行うイントラ予測部と、前記次符号化対象画像に対する前記インター予測モードによる仮符号化での発生符号量と、同画像に対する前記イントラ予測モードによる仮符号化での発生符号量とを比較して、前記発生符号量の少ない方の予測モードを選択する選択部と、前記選択部で前記インター予測モードが選択された場合は前記インター予測モードによる仮符号化で探索して得られた前記動ベクトルを用いて前記インター予測モードによる前記次符号化対象画像の本符号化を前記符号化部に行わせ、前記選択部で前記イントラ予測モードが選択された場合は前記イントラ予測モードによる前記次符号化対象画像の本符号化を前記符号化部に行わせる第１の制御部と、前記インター予測部が前記次符号化対象画像に対する仮符号化を行っている期間に、前記符号化部に前記現符号化対象画像に対する前記符号化データの生成を行わせ、前記復号部に生成された前記符号化データに対する前記参照画像の生成を行わせ、前記イントラ予測部に生成された前記参照画像を用いた前記次符号化対象画像に対する仮符号化を行わせるよう制御し、前記順次供給される画像に対する前記符号化部での本符号化動作と前記イントラ予測部による仮符号化動作と前記復号部による参照画像生成動作とを順次行わせる第２の制御部と、を備えたことを特徴とする画像符号化装置を提供する。
第２の発明は、動ベクトルを探索しつつ行うインター予測モードによる仮符号化及びイントラ予測モードによる仮符号化の結果を用いて、順次供給される画像の本符号化を行う画像符号化方法において、現在符号化対象となっている現符号化対象画像の本符号化を行って符号化データを生成する符号化ステップと、前記順次供給される画像に対する前記インター予測モードによる仮符号化を連続して行うインター予測ステップと、前記符号化データの復号を行って前記現符号化対象画像の次に符号化対象となる次符号化対象画像の前記イントラ予測モードによる仮符号化で用いる参照画像を生成する復号ステップと、前記参照画像を用いて前記次符号化対象画像の前記イントラ予測モードによる仮符号化を行うイントラ予測ステップと、前記次符号化対象画像に対する前記インター予測モードによる仮符号化での発生符号量と、同画像に対する前記イントラ予測モードによる仮符号化での発生符号量とを比較して、前記発生符号量の少ない方の予測モードを選択する選択ステップと、前記選択ステップで前記インター予測モードが選択された場合は前記符号化ステップでの前記次符号化対象画像の本符号化を前記インター予測モードによる仮符号化で探索して得られた前記動ベクトルを用いて行う符号化とし、前記選択ステップで前記イントラ予測モードが選択された場合は前記符号化ステップでの前記次符号化対象画像の本符号化を前記イントラ予測モードにより行う符号化とするよう制御する第１の制御ステップと、前記インター予測ステップで前記次符号化対象画像に対する仮符号化を行っている期間に、前記現符号化対象画像に対する前記符号化データの生成を行わせる前記符号化ステップと、前記次符号化対象画像の前記イントラ予測モードによる仮符号化で用いる参照画像の生成を行わせる前記復号ステップと、前記次符号化対象画像の前記イントラ予測モードによる仮符号化を行わせる前記イントラ予測ステップとを行わせるよう制御する第２の制御ステップと、を有して前記画像の本符号化を行うことを特徴とする画像符号化方法を提供する。
【発明の効果】
【０００７】
本発明によれば、現在本符号化対象となっている現符号化対象画像の本符号化を行って符号化データを生成する符号化部と、順次供給される画像に対するインター予測モードによる仮符号化を連続して行うインター予測部と、前記符号化データの復号を行って前記現符号化対象画像の次に符号化対象となる次符号化対象画像のイントラ予測モードによる仮符号化で用いる参照画像を生成する復号部と、前記参照画像を用いて前記次符号化対象画像の前記イントラ予測モードによる仮符号化を行うイントラ予測部と、前記次符号化対象画像に対する前記インター予測モードによる仮符号化での発生符号量と、同画像に対する前記イントラ予測モードによる仮符号化での発生符号量とを比較して、前記発生符号量の少ない方の予測モードを選択する選択部と、前記選択部で前記インター予測モードが選択された場合は前記インター予測モードによる仮符号化で探索して得られた動ベクトルを用いて前記インター予測モードによる前記次符号化対象画像の本符号化を前記符号化部に行わせ、前記選択部で前記イントラ予測モードが選択された場合は前記イントラ予測モードによる前記次符号化対象画像の本符号化を前記符号化部に行わせる第１の制御部と、前記インター予測部が前記次符号化対象画像に対する仮符号化を行っている期間に、前記符号化部に前記現符号化対象画像に対する前記符号化データの生成を行わせ、前記復号部に生成された前記符号化データに対する前記参照画像の生成を行わせ、前記イントラ予測部に生成された前記参照画像を用いた前記次符号化対象画像に対する仮符号化を行わせるよう制御し、前記順次供給される画像に対する前記符号化部での本符号化動作と前記イントラ予測部による仮符号化動作と前記復号部による参照画像生成動作とを順次行わせる第２の制御部とを備えた格別な構成があるので、インターモード及びイントラモードで予測し、符号化効率の高い方のモードにより予測して行う画像信号の符号化をソフトウエアにより実時間で実行可能とする画像符号化装置及び画像符号化方法を実現できる。
【発明を実施するための最良の形態】
【０００８】
以下に本発明の実施例に係る画像符号化装置について図１〜図５を用いて説明する。
図１は、本発明の実施に係る画像符号化装置の構成例を示すブロック図である。図２は、本発明の実施に係る画像符号化装置の動作例を示す図である。図３は、本発明の実施に係る画像符号化装置の要部の構成例を示す図である。図４は、本発明の実施に係る画像符号化装置の動作例を説明するための図（その１）である。図５は、本発明の実施に係る画像符号化装置の動作例を説明するための図（その２）である。
【０００９】
その画像符号化装置はインターモード及びイントラモードで予測し、符号化効率の高い方のモードにより予測して行う画像信号の実時間符号化をソフトウエア実行により実現するという目的を、現在本符号化対象となっている現符号化対象画像の本符号化を行って符号化データを生成する符号化部と、順次供給される画像に対するインター予測モードによる仮符号化を連続して行うインター予測部と、前記符号化データの復号を行って前記現符号化対象画像の次に符号化対象となる次符号化対象画像のイントラ予測モードによる仮符号化で用いる参照画像を生成する復号部と、前記参照画像を用いて前記次符号化対象画像の前記イントラ予測モードによる仮符号化を行うイントラ予測部と、前記次符号化対象画像に対する前記インター予測モードによる仮符号化での発生符号量と、同画像に対する前記イントラ予測モードによる仮符号化での発生符号量とを比較して、前記発生符号量の少ない方の予測モードを選択する選択部と、前記選択部で前記インター予測モードが選択された場合は前記インター予測モードによる仮符号化で探索して得られた動ベクトルを用いて前記インター予測モードによる前記次符号化対象画像の本符号化を前記符号化部に行わせ、前記選択部で前記イントラ予測モードが選択された場合は前記イントラ予測モードによる前記次符号化対象画像の本符号化を前記符号化部に行わせる第１の制御部と、前記インター予測部が前記次符号化対象画像に対する仮符号化を行っている期間に、前記符号化部に前記現符号化対象画像に対する前記符号化データの生成を行わせ、前記復号部に生成された前記符号化データに対する前記参照画像の生成を行わせ、前記イントラ予測部に生成された前記参照画像を用いた前記次符号化対象画像に対する仮符号化を行わせるよう制御し、前記順次供給される画像に対する前記符号化部での本符号化動作と前記イントラ予測部による仮符号化動作と前記復号部による参照画像生成動作とを順次行わせる第２の制御部とを備えるようにして実現した。
【００１０】
画像符号化装置の構成について述べる。
図１に示す画像符号化装置１０はインター符号化部１と、イントラ予測処理部２１、モード判定部２２、及び符号化・復号化部２３よりなるイントラ符号化部２と、制御部３とより構成される。制御部３は図示しないＣＰＵを格納し、回路部各部の動作を制御する。
図３に示す画像符号化装置１０のイントラ予測処理部２１は、予測画像生成器２１１、選択器２１２、残差演算器２１３、アダマール変換器２１４、絶対値総和器２１５、ＳＡＴＤ（Sum of Absolute Transform Differences）評価器２１６、及び予測モード指示器２１７より構成される。符号化・復号化部２３は直交変換器２３１、量子化器２３２、逆量子化器２３３、逆直交変換器２３４、及び画像メモリ部２３５より構成される。画像メモリ部２３５は復号画像を記憶する。
【００１１】
画像符号化装置１０の動作について述べる。
まず、第１フレーム目の処理について述べる。
水平及び垂直が１６画素×１６画素に分割されたマクロブロック画像がインター符号化部１及びイントラ符号化部２のイントラ予測処理部２１に入力される。インター符号化部１は入力画像を次のフレームで入力される入力画像の動き予測を行うため、入力画像を図示しない画像メモリ（フレームメモリ）に記憶する。イントラ予測処理部２１はマクロブロック画像を１６個の４×４画素ブロックに分割し、そのマクロブロック画像の左側及び上側に隣接される画素ブロックから予測しつつ４×４画素のイントラ予測仮符号化を行う。同様に４個の８×８画素ブロックに分割した画像のイントラ予測仮符号化、及び１６×１６画素ブロックの画像のイントラ予測仮符号化を行う。イントラ予測仮符号化は、それぞれの画素ブロックの直交変換を、ＤＣＴ（discrete cosine transform）で行う代わりに演算が簡易なアダマール変換で行う。アダマール変換の変換時間はＤＣＴによる直交変換に比し短時間で演算できる。符号化方法を評価するための評価結果を簡易に得ることが出来る。
【００１２】
モード判定部２２は、４×４画素ブロック画像のイントラ予測仮符号化、８×８画素ブロックの分割画像のイントラ予測仮符号化、及び１６×１６画素ブロック画像のイントラ予測仮符号化のそれぞれで得られた発生符号量を比較する。最も小さな発生符号量を与えるイントラ予測仮符号化を判定する。符号化・復号化部２３は、モード判定されたイントラ予測仮符号化の結果を用い、入力されたマクロブロック画像を画素ブロックに分割してイントラ予測符号化を行う。そのイントラ予測符号化はＤＣＴで直交変換を行う正規のイントラ予測符号化（以降、正規の符号化のことを本符号化と述べることもある。）である。本符号化して得られた予測符号化データは図示しないエントロピー符号化部に供給されて可変長符号化がなされる。また、符号化・復号化部２３は予測符号化データを復号化し、得られらマクロブロックの復号化画像はイントラ予測用参照画像としてイントラ予測処理部２１に供給される。復号化画像は図示しないデブロックフィルタに供給される。さらに、復号化画像は次フレーム以降での動ベクトル探索用に用いる参照画像としてフレームメモリの所定のマクロブロックの位置に記憶される。
【００１３】
次に、第２フレーム目以降について述べる。
インター符号化部１は、符号化及び復号化されて記憶されているフレーム画像データを参照して動き予測を行う。動き予測は入力されるブロック画像に類似する参照画像の位置を探索により求める。動ベクトルは最も小さな平均自乗誤差を与える参照画像の位置の関係からを求める。演算量が多い工程である。求められた動ベクトルを用い入力画像の仮符号化を行う。仮符号化は入力画像と参照画像との差分をアダマール変換して求める。イントラ符号化部２は、上記と同様に４×４画素ブロック画像のイントラ予測仮符号化、８×８画素ブロックの分割画像のイントラ予測仮符号化、及び１６×１６画素ブロック画像の画素ブロックのイントラ予測仮符号化をそれぞれについて行う。
モード判定部２２はインター符号化部１でなされた仮符号化により得られた発生符号量と、イントラ符号化部２でなされた仮符号化により得られた４×４画素、８×８画素、及び１６×１６画素ブロックのそれぞれに分割した場合での発生符号量とを比較し、最も小さな発生符号量を与える符号化モードが判定される。符号化・復号化部２３は、判定された符号化モードにより入力画像を正規な方法で、本符号化、及び復号化を行う。インター予測による符号化が判定された場合には仮符号化で探索して求められた動ベクトルが用いられて本符号化される。イントラ予測による符号化が判定された場合には、４×４画素、８×８画素、及び１６×１６画素のブロック分割のうち、最も小さな発生符号量を与えたブロック分割による本符号化がなされる。
【００１４】
図２を参照してさらに説明する。
同図（Ａ）はインター予測符号化が行われる時間を示し、（Ｂ）はイントラ予測符号化及び、符号化・復号化のなされる時間を示す。（ｎ）は予測符号化を行うマクロブロックの順序が第ｎ回目であることを示している。
（Ａ）でのインター予測は、インター予測（ｎ−１）、インター予測（ｎ）、インター予測（ｎ＋１）が続けて行われる。それらのインター予測では上記の仮符号化のみを行う。（Ｂ）での処理はイントラ予測（ｎ−１）、符号化復号化（ｎ−１）、イントラ予測（ｎ）、符号化復号化（ｎ）、イントラ予測（ｎ＋１）、符号化復号化（ｎ＋１）の順に行われる。仮符号化と、本符号化及び復号化とが繰り返し行われる。即ち、時刻ｔ１から開始されたインター予測（ｎ−１）は時刻ｔ３で終了し、その直後からインター予測（ｎ）が行われる。イントラ予測（ｎ−１）はｔ２から開始されｔ３で終了する。ｔ３〜ｔ４では符号化復号化（ｎ−１）が行われる。
【００１５】
ｎ回目の処理に関しては、インター予測はｔ３から開始され、イントラ予測はｔ４から開始される。ｔ５において終了したインター予測及びイントラ予測での両者の仮符号化が終了する。その時点でモード判定部はいずれの仮符号化で得られた発生符号量が小さいかを判定する。ｔ５〜ｔ６の期間に本符号化及び復号化を行う。インター予測で符号化するとして判定された場合でも正規のインター予測符号化及び復号化は（Ｂ）のｔ５〜ｔ６の期間に実行される。フレーム単位で過去に本符号化及び復号化がなされて生成されたフレーム画像を参照画像として、マクロブロック画像に対する動ベクトルの探索を行うインター符号化（ｎ＋１）は、インター符号化（ｎ）の直後のｔ５から開始できる。
インター符号化をハードウエアで行う場合は、そのハードウエアのインター符号化を行う回路部にインター予測仮符号化、正規のインター予測符号化、及び復号化を行う回路が配置される。従ってインター予測（ｎ）はｔ４〜ｔ５の期間に行われる。それに比し本画像符号化装置１０の場合では正規のインター予測符号化、及び復号化はイントラ符号化部の機能を用いて実行するため、（ｎ）のインター予測仮符号化をｔ３〜ｔ５の期間に実行させることができる。
【００１６】
次に、詳細に説明する。
図３を参照し、イントラ予測処理部２１及び符号化・復号化部２３について述べる。
最初に、イントラ予測処理について説明する。
まず、予測画像生成器２１１は、符号化・復号化部２３の画像メモリ部２３５に記憶される過去に符号化及び復号化のなされた画像データを基にイントラ予測に用いる予測画像を生成する。選択器２１２は、イントラ予測処理時に、同図中のａ側に入力される信号を選択して出力する。残差演算器２１３は入力画像と予測画像とを比較し、残差を演算する。アダマール変換器２１４は残差を簡易的に直交変換する。絶対値総和器２１５はアダマール変換して得られた係数値の絶対値の総和を求める。ＳＡＴＤ評価器２１６は４×４画素、８×８画素、及び１６×１６画素のそれぞれのブロック分割で求められた係数値の絶対値の総和を評価し、最も小さな絶対値の総和を与える場合のブロック分割数と係数値の絶対値の総和を出力する。
【００１７】
符号化・復号化部２３について述べる。
符号化・復号化部２３はイントラ予測時にはイントラ予測に用いる参照画像を符号化及び復号化して生成すると共に、モード判定部２２で判定されたモードに従って本符号化及び復号化を行う。
イントラ予測時の処理について述べる。
直交変換器２３１は残差演算器２１３で生成された残差データの正規の直交変換、即ちＤＣＴを行い、係数データを得る。量子化器２３２は係数データを所定の量子化幅（量子化ステップ）で量子化し、量子化データを生成する。逆量子化器２３３は量子化データを逆量子化して係数データを得る。逆直交変換器２３４は係数データの逆ＤＣＴ変換を行い、復号化残差データを得る。画像メモリ部２３５は、選択器２１２を介して予測画像生成器２１１で生成された予測画像（参照画像）を取得し、その予測画像と復号化残差データとより復号化画像データを生成する。復号化画像データは予測画像生成器２１１に供給され、そこで以降の符号化に用いるための予測画像として用いられる。
【００１８】
モード判定部２２でイントラ符号化を行うとして判定された場合の処理について述べる。
イントラ予測処理部２１の残差演算器２１３は、本符号化を行うための入力画像と、予測画像生成器２１１で生成される本符号化用の予測画像とを比較し残差データを得る。符号化・復号化部２３の直交変換器２３１は残差データのＤＣＴ変換を行う。量子化器２３２は残差データの量子化を行い、得られた量子化データを予測符号化データとして図示しないエントロピー符号器に出力する。
【００１９】
モード判定部２２でインター符号化を行うとして判定された場合の処理について述べる。
インター符号化部１で仮符号化時に得られた動ベクトルが用いられて生成された予測画像（参照画像）は選択器２１２のｂ側に入力される。選択器２１２は、予測モード指示器２１７を介して供給されるモード判定部２２の判定結果を基にｂ側に入力されるデータを選択する。残差演算器２１３は入力画像と予測画像とを比較し残差データを生成する。直交変換器２３１は残差データをＤＣＴ変換して係数データを得、量子化器２３２はその係数データを量子化し、得られる量子化データを予測符号化データとして出力する。逆量子化器２３３及び逆直交変換器２３４で予測符号化データを逆量子化及び逆ＤＣＴして復号残差データを得る。画像メモリ部２３５は、選択器２１２を介して入力される予測画像と復号残差データとを基に復号化画像データを生成し、その復号化画像データを内部に設けられる画像メモリに記憶する。復号化画像データは符号化、復号化時に生じるブロックノイズを減衰させるための図示しないデブロックフィルタに供給される。予測画像生成器２１１は、復号化画像データを用いて次回以降に符号化する入力画像の予測画像データ（参照画像データ）を生成する。
【００２０】
図４を参照して予測画像について述べる。
同図において、（ｎ）は符号化を行う１６×１６画素のマクロブロック画像である。（ｎ−１）は直前に符号化したマクロブロック画像であり、（ｎ＋１）は次に符号化するマクロブロック画像である。（ｍ−１）〜（ｍ＋１）は（ｎ−１）〜（ｎ＋１）のマクロブロックの上側に隣接して配置される過去に本符号化及び復号化されたマクロブロック画像である。
マクロブロック画像（ｎ）を符号化する時に用いる画像データは（ｎ−１）の右側の１６個の画素、（ｍ−１）の右下の１画素、（ｍ）の下側の１６個の画素、及び（ｍ＋１）の下側の１６個の画素である。予測画像生成器２１１は、過去に符号化・復号化部２３で得られた復号化画像データを用いてこれらの予測画像としての画素のデータを生成しておく。
【００２１】
図５を参照してイントラ予測符号化時に用いる予測画像について述べる。
同図において、（ｎ）は図４に示したと同様、符号化するマクロブロックである。イントラ予測符号化は１６個の４×４画素ブロック、４個の８×８画素ブロック又は１個の１６×１６画素ブロックで予測符号化される。同図の斜線で示す４×４画素ブロックは、その左側及び上側に示す９個の網点を付した画素のデータが用いられて予測符号化がなされる。符号化・復号化部２３は、（ｎ）のマクロブロックの仮符号化時に本符号化及び復号化を行って予測画像生成用の復号化画像データを生成する。
符号化・復号化部２３で行われる本符号化及び復号化は、イントラ予測符号化時の予測画像生成用、イントラ予測符号化と判定された場合の本符号化及び復号化、さらにはインター予測符号化と判定された場合の本符号化及び復号化を実行する。そのため、インター符号化部１はモード判定のためのインター仮符号化のみを行えばよい。直交変換もアダマール変換を用いる。イントラ符号化部２はインター符号化時の後半の演算を行う。インター符号化部１は前半の演算に係る動ベクトル演算を主に行えばよいため、ソフトウエア処理による実時間の符号化演算が可能となる。
【００２２】
以上のように、本実施例で示した画像符号化装置１０によれば、現在本符号化対象となっている現符号化対象画像の本符号化を行って符号化データを生成する符号化部２３１、２３２と、順次供給される画像に対するインター予測モードによる仮符号化を連続して行うインター予測部１と、前記符号化データの復号を行って前記現符号化対象画像の次に符号化対象となる次符号化対象画像のイントラ予測モードによる仮符号化で用いる参照画像を生成する復号部２３３、２３４と、前記参照画像を用いて前記次符号化対象画像の前記イントラ予測モードによる仮符号化を行うイントラ予測部２１と、前記次符号化対象画像に対する前記インター予測モードによる仮符号化での発生符号量と、同画像に対する前記イントラ予測モードによる仮符号化での発生符号量とを比較して、前記発生符号量の少ない方の予測モードを選択する選択部２２と、前記選択部で前記インター予測モードが選択された場合は前記インター予測モードによる仮符号化で探索して得られた動ベクトルを用いて前記インター予測モードによる前記次符号化対象画像の本符号化を前記符号化部に行わせ、前記選択部で前記イントラ予測モードが選択された場合は前記イントラ予測モードによる前記次符号化対象画像の本符号化を前記符号化部に行わせる第１の制御部３と、前記インター予測部１が前記次符号化対象画像に対する仮符号化を行っている期間に、前記符号化部２３１、２３２に前記現符号化対象画像に対する前記符号化データの生成を行わせ、前記復号部２３３、２３４に生成された前記符号化データに対する前記参照画像の生成を行わせ、前記イントラ予測部２１に生成された前記参照画像を用いた前記次符号化対象画像に対する仮符号化を行わせるよう制御し、前記順次供給される画像に対する前記符号化部２３１、２３２での本符号化動作と前記イントラ予測部２１による仮符号化動作と前記復号部２３１、２３２による参照画像生成動作とを順次行わせる第２の制御部３とを備えた格別な構成があるので、インターモード及びイントラモードで予測し、符号化効率の高い方のモードにより予測して行う画像信号の符号化をソフトウエアにより実時間で実行可能とする画像符号化装置を実現できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施に係る画像符号化装置の構成例を示すブロック図である。
【図２】本発明の実施に係る画像符号化装置の動作例を示す図である。
【図３】本発明の実施に係る画像符号化装置の要部の構成例を示す図である。
【図４】本発明の実施に係る画像符号化装置の動作例を説明するための図（その１）である。
【図５】本発明の実施に係る画像符号化装置の動作例を説明するための図（その２）である。
【符号の説明】
【００２４】
１    インター符号化部
２    イントラ符号化部
２１    イントラ予測処理部
２２    モード判定部
２３    符号化・復号化部
２１１    予測画像生成器
２１２    選択器
２１３    残差演算器
２１４    アダマール変換器
２１５    絶対値総和器
２１６    ＳＡＴＤ評価器
２１７    予測モード指示器
２３１    直交変換器
２３２    量子化器
２３３    逆量子化器
２３４    逆直交変換器
２３５    画像メモリ部
【図１】
2007208802.tif 000003
【図２】
2007208802.tif 000004
【図３】
2007208802.tif 000005
【図４】
2007208802.tif 000006
【図５】
2007208802.tif 000007