(57)【特許請求の範囲】
【請求項１】
順次入力する複数のフレームからなる動画像の圧縮符号化方法であって、
（ａ）前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化して記憶するステップと、
（ｂ）前記キーフレームの後に入力するフレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定するステップと、
（ｃ）前記特定領域に対してフレーム内の情報のみで圧縮符号化するフレーム内符号化を実行すると共に、圧縮符号化した特定領域を復号化して記憶するステップと、
（ｄ）前記ステップ（ａ）で記憶した前記キーフレームと前記ステップ（ｂ）で分割した前記特定領域を除く前記各ブロック領域との間で差分信号を算出し該差分信号に基づいて前記キーフレームと前記各ブロック領域との差の大小を判別して、前記差が所定より大きい場合は当該ブロック領域に対してフレーム内の情報のみで圧縮符号化するフレーム内符号化を実行し、前記差が所定より小さい場合は前記差分信号を圧縮符号化するフレーム間符号化を実行するステップと、
（ｅ）前記ステップ（ａ）で新たなキーフレームが指定される迄、前記ステップ（ｂ）〜（ｄ）を繰り返し実行するステップと、
を備え、更に、
（ｃ−１）前記ステップ（ｅ）において前記ステップ（ｂ）〜（ｄ）を繰り返し実行する間、前記ステップ（ｃ）において記憶した前記特定領域をフレーム１枚分蓄積して前記特定領域からなる参照フレームを生成するステップと、
（ａ−１）前記ステップ（ａ）の圧縮符号化において、指定した前記キーフレームと前記参照フレームとの間で差分信号を算出し、該差分信号に基づいて前記キーフレームと前記参照フレームとの差の大小を判別し、前記差が所定より大きい場合は前記キーフレームに対してフレーム内の情報のみで圧縮符号化するフレーム内符号化を実行し、前記差が所定より小さい場合は前記差分信号を圧縮符号化するフレーム間符号化を実行するステップと、
を備えることを特徴とする動画像の圧縮符号化方法。
【請求項２】
請求項１記載の圧縮符号化方法で符号化された圧縮画像データを復号化する復号化方法であって、
（ｆ）請求項１記載のキーフレームの圧縮画像データを復号化して記憶するステップと、
（ｇ）請求項１記載の特定領域の圧縮画像データを復号化すると共に記憶するステップと、
（ｈ）請求項１記載の特定領域を除く各ブロック領域の圧縮画像データに対して、当該圧縮画像データが請求項１記載のフレーム内符号化を施されていた場合は当該フレーム内符号化に対応する復号化を実行し、当該圧縮画像データが請求項１記載のキーフレームを用いたフレーム間符号化を施されていた場合は前記ステップ（ｆ）で記憶したキーフレームを参照して当該フレーム間符号化に対応する復号化を実行するステップと、
を備え、更に、
（ｇ−１）前記ステップ（ｇ）において記憶した特定領域をフレーム１枚分蓄積して前記特定領域からなる参照フレームを合成するステップと、
（ｆ−１）前記ステップ（ｆ）において、前記キーフレームの圧縮画像データに対して、当該圧縮画像データが請求項１記載のフレーム内符号化を施されていた場合は当該フレーム内符号化に対応する復号化を実行し、当該圧縮画像データが請求項１記載の参照フレームを用いたフレーム間符号化を施されていた場合は前記ステップ（ｇ−１）で合成した参照フレームを参照して当該フレーム間符号化に対応する復号化を実行するステップと、
を備えることを特徴とする復号化方法。
【請求項３】
請求項２記載の復号化方法であって、
（ｉ）前記ステップ（ｇ）で復号化した特定領域と前記ステップ（ｆ）で記憶したキーフレームとの間で差分信号を算出し、該差分信号に基づいて前記特定領域と前記キーフレームとの差の大小を判別して、前記差が所定より小さい場合は当該特定領域に対して請求項１記載のフレーム間符号化およびその復号化を実行するステップ、を備える復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の圧縮符号化方法とその復号化方法に関し、特に監視映像などの時間的変化が少ない動画像に適した圧縮符号化方法とその復号化方法に関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方法には、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内符号化に適用される。また動き補償予測符号化（フレーム間符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００３】
しかしながら、監視映像などの時間的な変化が圧倒的に少ない動画像では、入力フレームを周期的に参照画像（以下、キーフレームと呼ぶ。）に設定し、このキーフレームと入力フレームとの間の差分信号をとる差分符号化方式を用いても、両フレーム間の差分量は小さいと考えられる。この方式は、前述の隣接フレームを用いた動き補償予測符号化と比べると、計算負荷の軽減や、フレームの欠落によるエラーに対する耐性などの利点をもつ。図９を参照しつつ従来の差分符号化方式の概略を説明する。撮像センサから順次出力される複数のフレームｆ１，ｆ２，…が符号化器に順次入力するとする。図９に示すようにフレームｆｎ（ｎ＝１，２，…）が入力すると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。すなわち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３でその量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成されビットストリームにされて出力される。また前記ステップＳＴ１０２で算出された量子化係数は、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００４】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定され、フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップＳＴ１０７でフレーム間符号化、すなわちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後、出力される。
【０００５】
このようなビットストリームの復号化処理の例を図１０を参照しつつ以下に説明する。上記ビットストリームが入力すると（ＳＴ１１０）、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されてキーフレームメモリ１０１に蓄積され、その量子化係数が上記ステップＳＴ１０８でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される（ＳＴ１１２）。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記差分符号化方式では、キーフレームと時間的に離間したフレームとの差分符号化を行うため、キーフレームの画質が動画像全体の画質に直接関係することから、キーフレームは高画質のものでなければならず、キーフレームに対してはフレーム内の情報のみで圧縮符号化を行うフレーム内符号化が施される。この結果、動画像の符号化処理量はキーフレームの符号化時に急激に増大し、キーフレームの圧縮符号化データの伝送が遅延したり間欠したりする問題が生じていた。特に動画像をネットワークを通じてリアルタイムに伝送し再生（ストリーミング）する場合は、復号化した動画像の再生速度の変化や画像の間欠が著しく生じることがあった。
【０００７】
このような問題に鑑みて本発明が解決しようとするところは、キーフレームの符号化処理量の急激な増大を抑制し、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にし得る動画像の圧縮符号化方法およびその復号化方法を提供する点にある。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、順次入力する複数のフレームからなる動画像の圧縮符号化方法であって、（ａ）前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化して記憶するステップと、（ｂ）前記キーフレームの後に入力するフレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定するステップと、（ｃ）前記特定領域に対してフレーム内の情報のみで圧縮符号化するフレーム内符号化を実行すると共に、圧縮符号化した特定領域を復号化して記憶するステップと、（ｄ）前記ステップ（ａ）で記憶した前記キーフレームと前記ステップ（ｂ）で分割した前記特定領域を除く前記各ブロック領域との間で差分信号を算出し該差分信号に基づいて前記キーフレームと前記各ブロック領域との差の大小を判別して、前記差が所定より大きい場合は当該ブロック領域に対してフレーム内の情報のみで圧縮符号化するフレーム内符号化を実行し、前記差が所定より小さい場合は前記差分信号を圧縮符号化するフレーム間符号化を実行するステップと、（ｅ）前記ステップ（ａ）で新たなキーフレームが指定される迄、前記ステップ（ｂ）〜（ｄ）を繰り返し実行するステップと、を備え、更に、（ｃ−１）前記ステップ（ｅ）において記憶した前記ステップ（ｂ）〜（ｄ）を繰り返し実行する間、前記ステップ（ｃ）において前記特定領域をフレーム１枚分蓄積して前記特定領域からなる参照フレームを生成するステップと、（ａ−１）前記ステップ（ａ）の圧縮符号化において、指定した前記キーフレームと前記参照フレームとの間で差分信号を算出し、該差分信号に基づいて前記キーフレームと前記参照フレームとの差の大小を判別し、前記差が所定より大きい場合は前記キーフレームに対してフレーム内の情報のみで圧縮符号化するフレーム内符号化を実行し、前記差が所定より小さい場合は前記差分信号を圧縮符号化するフレーム間符号化を実行するステップと、を備えることを特徴とするものである。
【０００９】
また請求項２に係る発明は、請求項１記載の圧縮符号化方法で符号化された圧縮画像データを復号化する復号化方法であって、（ｆ）請求項１記載のキーフレームの圧縮画像データを復号化して記憶するステップと、（ｇ）請求項１記載の特定領域の圧縮画像データを復号化すると共に記憶するステップと、（ｈ）請求項１記載の特定領域を除く各ブロック領域の圧縮画像データに対して、当該圧縮画像データが請求項１記載のフレーム内符号化を施されていた場合は当該フレーム内符号化に対応する復号化を実行し、当該圧縮画像データが請求項１記載のキーフレームを用いたフレーム間符号化を施されていた場合は前記ステップ（ｆ）で記憶したキーフレームを参照して当該フレーム間符号化に対応する復号化を実行するステップと、を備え、更に、（ｇ−１）前記ステップ（ｇ）において記憶した特定領域をフレーム１枚分蓄積して前記特定領域からなる参照フレームを合成するステップと、（ｆ−１）前記ステップ（ｆ）において、前記キーフレームの圧縮画像データに対して、当該圧縮画像データが請求項１記載のフレーム内符号化を施されていた場合は当該フレーム内符号化に対応する復号化を実行し、当該圧縮画像データが請求項１記載の参照フレームを用いたフレーム間符号化を施されていた場合は前記ステップ（ｇ−１）で合成した参照フレームを参照して当該フレーム間符号化に対応する復号化を実行するステップと、を備えることを特徴とするものである。
【００１０】
そして請求項３に係る発明は、請求項２記載の復号化方法であって、（ｉ）前記ステップ（ｇ）で復号化した特定領域と前記ステップ（ｆ）で記憶したキーフレームとの間で差分信号を算出し、該差分信号に基づいて前記特定領域と前記キーフレームとの差の大小を判別して、前記差が所定より小さい場合は当該特定領域に対して請求項１記載のフレーム間符号化およびその復号化を実行するステップ、を備えるものである。
【００１１】
【発明の実施の形態】
実施の形態１．
図１〜図３は、本発明の実施の形態１に係る圧縮符号化方法を実現するためのフローチャートである。このフローチャートを参照しつつ本実施の形態１に係る圧縮符号化方法を以下に詳説する。
【００１２】
ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像センサで時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が本実施の形態１に係る符号化器に入力する（ＳＴ１）。尚、キーブロックメモリ２にはフレームｆ１が入力する前に、後に詳述するフレーム１枚分のキーＧＯＢからなる参照フレームｆ０が格納されており、この参照フレームｆ０は後述する実施の形態２に係る復号化器のキーブロックメモリ１１に圧縮伝送後、復号化されて格納されている。本実施の形態１の符号化器は入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定しており、入力フレームｆ１がキーフレームである。
【００１３】
先ずステップＳＴ２でそのフレームｆ１はキーフレームか否かを条件判定される。フレームｆ１はキーフレームであるからステップＳＴ３に処理が移行し、図２に示すようにステップＳＴ４でキーブロックメモリ２に格納した参照フレームｆ０と入力フレームｆ１との間で画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓが算出され、次いでステップＳＴ５で差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔＰi（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ1｜＋｜ΔＰ2｜＋…＋｜ΔＰn｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつブロック単位で実行される。これ以後の処理も同様である。尚、本実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００１４】
他方、ステップＳＴ５において上記ステップＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合はステップＳＴ７に処理が移行し、入力フレームｆ１はフレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００１５】
尚、フレームの圧縮率を高める観点から、上記フレーム内符号化（ＳＴ７）またはフレーム間符号化（ＳＴ６）を実行する前に入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣbＣr座標系などを使用すればよい。例えば、ＹＣbＣr座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃb，ＣrとからなるＹＣbＣr成分の座標系へと変換される。ＹＣbＣr成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００１６】
次に図１に示すようにステップＳＴ１９に処理が移行し、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）され、キーフレームメモリ１に格納される。よって、キーフレームメモリ１には符号化（ＳＴ６，ＳＴ７）と復号化（ＳＴ８）を通じて量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は後述する復号化器で復号化（フレーム間復号化）の際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００１７】
次に、上記フレームｆ１に続いてフレームｆ２が符号化器に入力すると、ステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。フレームｆ２はキーフレームでは無いからステップＳＴ９に処理が移行し、フレームｆ２は複数のブロック領域（以下、ＧＯＢと呼ぶ。）に分割され、次いでステップＳＴ９でこれらブロック領域（ＧＯＢ）の中から単数または複数の特定領域（以下、キーＧＯＢと呼ぶ。）が指定される。図４（ａ）に４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢに指定されている。図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割され、フレームｆ３の第２段目ＧＯＢ、フレームｆ４の第３段目ＧＯＢ、フレームｆ５の第４段目ＧＯＢがそれぞれキーＧＯＢに指定される。図５に示すようにこのようなフレームｆ１〜ｆ５は時間軸に沿って配列している。
【００１８】
次にステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割したブロック毎に順次処理される。ステップＳＴ１１では処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２で当該ブロックは上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後にキーブロックメモリ２に蓄積される。
【００１９】
他方、上記ステップＳＴ１１でブロックがキーＧＯＢに属しない場合はステップＳＴ１４のサブルーチンに処理が移行し、図３に示すようにステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１に格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いでステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ１に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図１に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００２０】
次に上記フレームｆ２に続いて符号化器に入力するフレームｆ３，ｆ４，…も、キーフレームが入力する迄はフレームｆ２の場合と同様に処理される。よって、上記ステップＳＴ１３で復号化されたキーＧＯＢ１〜４がキーブロックメモリ２にフレーム１枚分蓄積され、図５に模式的に図示するようにキーＧＯＢ１〜４はキーブロックメモリ２で参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００２１】
このように本実施の形態１に係る圧縮符号化方法では、上記ステップＳＴ３でキーブロックメモリ２に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できるという効果が得られる。特にインターネットなどの帯域幅が制限された伝送路ではその効果が発揮される。
【００２２】
またキーブロックメモリ２では複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。本実施の形態１ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００２３】
実施の形態２．
次に、本発明の実施の形態２に係る復号化方法を以下に詳説する。図６は、本実施の形態２に係る復号化方法を実現するためのフローチャートである。
【００２４】
上記実施の形態１で符号化した圧縮画像データはビットストリームとなって本実施の形態２に係る復号化器に入力する（ＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。すなわち、上記符号化器から本実施の形態２に係る復号化器に上記フレームｆ１，ｆ２，…の圧縮データが順次入力するから、ステップＳＴ２１でキーフレームｆ１の圧縮データに対して、上記実施の形態１のステップＳＴ３のフレーム内符号化あるいはフレーム間符号化の復号化処理が８×８画素や１６×１６画素程度のブロック単位で施される。キーフレームｆ１の圧縮データを復号化する際、予めキーブロックメモリ１１に格納した参照フレームｆ０が利用される。また復号化したキーフレームｆ１は、キーフレームメモリ１０に格納される。
【００２５】
また、キーフレームの圧縮データに続いて復号化器に入力するフレームｆ２，ｆ３，…の圧縮データに対して、上記実施の形態１のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理が上記ブロック単位で施される。フレーム間符号化の復号化処理を行う際は、キーフレームメモリ１０に格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位であるブロックがキーＧＯＢに属する場合は当該ブロックはキーブロックメモリ１１に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡが合成され、後に復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図４（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データが復号化器に入力する場合、各キーＧＯＢを構成するブロックの圧縮データはフレーム内復号化を施された後にキーブロックメモリ１１に順次蓄積され、参照フレームＡを再構成する。
【００２６】
このようにステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像表示した場合、上記符号化器でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。かかる場合を防ぐべく、本実施の形態２は図６に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を備えることが特徴である。
【００２７】
図７は、キーＧＯＢ再量子化処理を示すフローチャートである。図７に示すように、先ず８×８画素または１６×１６画素程度のブロックが入力する（ＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定され、当該ブロックがキーＧＯＢに属しない場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。他方、当該ブロックがキーＧＯＢに属する場合はステップＳＴ３２に処理が移行し、キーフレームメモリ１０に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。
【００２８】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合はステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。次に、ステップＳＴ３８でキーフレームメモリ１０に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００２９】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図６に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。以上のキーＧＯＢ再量子化工程を図４に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図８に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格納したキーフレームとの差分をとられる。次に上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、すなわちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００３０】
このように本実施の形態２によれば、上記実施の形態１に係る圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００３１】
【発明の効果】
以上の如く、本発明の請求項１に係る動画像の圧縮符号化方法によれば、上記キーフレームの後に入力するフレームを複数のブロック領域に分割しこれらブロック領域の中から特定領域（キーＧＯＢ）を指定し、フレーム内符号化されるその特定領域を時刻が異なる複数のフレームに分散できる。このためフレーム内符号化処理量を時間的に分散でき、圧縮符号化処理量の急激な増大が抑えられて符号化処理量を時間的に平坦化できる。また、上記ステップ（ｃ−１）でその特定領域をフレーム１枚分蓄積した参照フレームを用いることに起因するブロック領域（ＧＯＢ）間の画質の差は、上記ステップ（ａ−１）でキーフレームに対してフレーム内符号化とフレーム間符号化とを選択的に実行することで緩和することができる。従って、伝送先においては動画像の再生速度が変化せず良質の動画像を圧縮伝送できるという効果が得られる。
【００３２】
また請求項２に係る動画像の復号化方法によれば、請求項１記載の圧縮符号化方法で符号化された圧縮画像データを復号化することが可能となる。
【００３３】
そして請求項３によれば、請求項１記載のステップ（ｄ）でキーブロック以外のブロック領域にフレーム間符号化を施したのと同様に特定領域にフレーム間符号化を施し、その後その復号化を行うから、復号化した動画像を表示する際に特定領域が動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る符号化方法を実現するフローチャートである。
【図２】実施の形態１に係る符号化方法を実現するフローチャートである。
【図３】実施の形態１に係る符号化方法を実現するフローチャートである。
【図４】４つのブロック領域に分割された各フレームを示す説明図である。
【図５】実施の形態１に係る符号化方法を説明するための模式図である。
【図６】本発明の実施の形態２に係る復号化方法を実現するフローチャートである。
【図７】実施の形態２に係る再量子化処理を説明するためのフローチャートである。
【図８】実施の形態２に係る復号化方法を説明するための模式図である。
【図９】従来の符号化方法を説明するためのフローチャートである。
【図１０】従来の復号化方法を説明するためのフローチャートである。
【符号の説明】
１  キーフレームメモリ
２  キーブロックメモリ
１０  キーフレームメモリ
１１  キーブロックメモリ
【図１】
0004364422.tif 000002
【図２】
0004364422.tif 000003
【図３】
0004364422.tif 000004
【図４】
0004364422.tif 000005
【図５】
0004364422.tif 000006
【図６】
0004364422.tif 000007
【図７】
0004364422.tif 000008
【図８】
0004364422.tif 000009
【図９】
0004364422.tif 000010
【図１０】
0004364422.tif 000011