(57)【要約】【課題】 静止画像を簡単な構成で、高精細を保ちつつ高い圧縮効率で符号化する。【解決手段】デジタルデータの静止画像を符号化する画像符号化方法において、静止画像を動画像符号化方式で符号化する。符号化では、同一の静止画像を原画像として、フレーム内／間予測符号化を用いて符号化する。その際にフレーム毎に量子化スケールを大きな値から段階的に小さくしながら符号化を行うことで、エントロピー符号化の原理より、圧縮効率を高める。さらに、符号化ストリームからＤＣＴ係数のみを抽出して記録することで、さらに圧縮率を高める。【選択図】 図１
2011055023.tif 000002
【特許請求の範囲】
【請求項１】
デジタル静止画像を動画像符号化方式で符号化する画像符号化装置であって、
デジタル静止画像を記憶する記憶手段と、
該記憶手段から該デジタル静止画像を原画像のフレームとして複数回読み出し、先頭フレームの符号化ではフレーム内符号化を行い、それ以降のフレームの符号化では全てのマクロブロックにおいてフレーム間符号化を行なって、符号化ストリームを生成する符号化手段と、
を備えることを特徴とする画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置であって、
前記符号化手段は、フレーム間符号化を用いて静止画像の符号化を行なう際の、マクロブロック単位に値を決定する量子化スケールは、そのマクロブロックがフレーム間符号化により参照する参照フレーム内の同位置のマクロブロックの量子化スケールよりも小さい値とする事
を特徴とする画像符号化装置。
【請求項３】
請求項２に記載の画像符号化装置であって、
前記符号化手段は、動きベクトルと量子化スケールを、各フレームのマクロブロック毎に予め決めておいた固定値に設定して、動画像符号化のシンタックスで規定されている一部の情報を省略した符号化ストリームを生成すること
を特徴とする画像符号化装置。
【請求項４】
静止画像が動画像符号化方式で符号化された符号化ストリームを復号化する画像復号化装置であって、
符号化ストリームが入力される入力手段と、
該入力手段から入力された符号化ストリームに含まれるすべてのフレーム、または、そのうちユーザが指定する所定枚数のフレームのみ復号化する復号化手段と、
該復号化手段で復号化したフレームのうち最後に復号化されたフレームのみを出力する出力手段と、
を備えることを特徴とする画像復号化装置。
【請求項５】
動画像符号化方式で符号化された動画像符号化ストリームを復号化する画像復号化装置であって、
そのストリームに動画像符号化のシンタックスで規定されている情報が欠落している場合には、その欠落情報を予測して復号化を行うことを特徴とする画像復号化装置。
【請求項６】
デジタル静止画像を動画像符号化方式で符号化する画像符号化方法であって、
同一のデジタル静止画像を原画像とし、先頭フレームの符号化ではフレーム内符号化を行い、それ以降のフレームの符号化では全てのマクロブロックにおいてフレーム間符号化を行なって、符号化ストリームを生成すること
を特徴とする画像符号化方法。
【請求項７】
請求項６に記載の画像符号化方法であって、
フレーム間符号化を用いて静止画像の符号化を行なう際の、マクロブロック単位に値を決定する量子化スケールは、そのマクロブロックがフレーム間符号化により参照する参照フレーム内の同位置のマクロブロックの量子化スケールよりも小さい事
を特徴とする画像符号化方法。
【請求項８】
請求項６に記載の画像符号化方法であって、
量子化スケールを、各フレームのマクロブロック毎に予め決めておいた固定値に設定して、動画像符号化ストリームにシンタックスで規定されたヘッダもしくはパラメータのうち、ＤＣＴ係数以外の情報について、一部または全部を省略した符号化ストリームを生成すること
を特徴とする画像符号化方法。
【請求項９】
動画像符号化方式で符号化された動画像符号化ストリームを復号化する画像復号化方法であって、
その動画像符号化ストリームにシンタックスで規定されている情報が欠落している場合には、その欠落情報を予測して復号化を行うことを特徴とする画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置及び画像復号化装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００４−１２０４９９号公報（特許文献１）がある。該公報には「［課題］ＨＤＴＶ画像より多い画素数を有する高解像度動画像であっても良好な画質を効率的に得ることのできる動画像符号化及び復号化装置装置を提供する。［解決手段］ＨＤＴＶ画像より多い（ＱＨＤＴＶ）画素数を有する画像入力部１５から供給された元画像を必要な数のＨＤＴＶ画像に画面分割部１２において、元画像の近傍画素に必要なＨＤＴＶ画像の数と同じ数でマスクをかけサンプリングし圧縮するためのＨＤＴＶ画像１３ａ，１３ｂ，１３ｃ，１３ｄを得た後、ＭＰＥＧエンコーダ１４及びＭＰＥＧデコーダ２４にて符号化及び復号化を行うことにより画面分割により生じる画面内の境界線の影響を無くし、ＨＤＴＶ画像より多い画素数を有する高解像度動画像であっても良好な画質を効率的に得ることができる。」（要約）と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１２０４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、動画像と静止画像の両方を記録できるビデオカメラ等が普及している。このようなビデオカメラでは、動画像を圧縮して記録するときには動画像符号化方式を使用し、静止画像を圧縮して記録する時には静止画像符号化方式を使用するのが一般的である。しかし、両方の圧縮符号化方式を同時に実現するためには、圧縮符号化を行うための構成や、符号化ストリームを記録・管理するための装置の構成が複雑になるという欠点があった。そこで、静止画像符号化を簡単な構成で実現するとともに、高精細を保ちつつ高い圧縮率で符号化できる装置が望まれる。
【０００５】
静止画像の検索性と画質の向上を目的に動画像圧縮符号化方式を用いて静止画像を符号化する方法がある。しかし、動画像符号化と静止画像符号化が混在するシステムでの構成簡略化と、静止画像の高圧縮化手法については記載されていない。
【０００６】
本発明の課題は、静止画像の高圧縮化手法を提供することである。
【課題を解決するための手段】
【０００７】
本願発明は、上記課題に鑑み、例えば特許請求に記載の構成を備える。
【発明の効果】
【０００８】
本発明によれば、静止画像の高圧縮化手法を提供することができる。
【０００９】
例えば、動画像符号化方式を適用して符号化することで、静止画像圧縮符号化を簡単な構成で実現するとともに、高精細を保ちつつ高い圧縮率で符号化できる。
【００１０】
例えば、量子化ステップを段階的に小さくしながら予測符号化を行うことで、動画像符号化におけるエントロピー符号化の出力データ量を低く抑えることができ、圧縮効率を向上できる。
【００１１】
例えば、ＤＣＴ係数のみを符号化ストリームとして符号化することで、圧縮効率を向上できる。
【００１２】
例えば、ＤＣＴ係数のみが符号化された符号化ストリームを一般的な動画像復号化装置で復号化できる。
【図面の簡単な説明】
【００１３】
【図１】画像符号化装置の構成を示した説明図である。（実施例１）
【図２】符号化部の構成を示した説明図である。（実施例１）
【図３】画像復号化装置の構成を示した説明図である。（実施例１）
【図４】量子化スケール制御の効果を示した説明図である。（実施例１）
【図５】復号化画像の選定方法を示した説明図である。（実施例１）
【図６】画像符号化装置の構成を示した説明図である。（実施例２）
【図７】画像復号化装置の構成を示した説明図である。（実施例２）
【図８】ＤＣＴ係数の制御の方法と効果を示した説明図である。（実施例２）
【図９】動画像を高圧縮率で符号化する方法を示した説明図である。（実施例３）
【図１０】量子化スケール制御の方法を示した説明図である。（実施例１）
【発明を実施するための形態】
【００１４】
以下、図面を用いて本発明の実施形態を説明する。
【実施例１】
【００１５】
図１は、本実施例の画像符号化装置の構成を示す図である。撮像部１００で撮像された１枚の静止画像であるデジタルデータは、フレームバッファ１０１で一時的に保持され、後段の符号化部１０２の原画像として所定の枚数フレームバッファから出力され、符号化部でフレーム間符号化を用いた動画像符号化方式で符号化され、記録部１０３で記録媒体に符号化ストリームとして記録される。
【００１６】
フレームバッファ部は、後段の符号化部において、静止画像と動画像のどちらの入力画像であっても動画像符号化ができるように、静止画像の入力画像を保持して、同一画像を繰り返し出力するモードと、動画像の入力画像フレームを、その通りの順番で出力できるモードを有す。本フレームバッファを有すことで、汎用の動画像符号化部を用いた場合でも、動画、静止画両方の符号化が可能となる。本発明では、静止画像を符号化する場合を前提に説明する。
【００１７】
符号化制御部１０４は、フレームバッファが符号化部の原画像として必要な静止画像を出力する期間、静止画像の保持を行うための制御信号をフレームバッファに出力すると共に、動画像符号化方式で符号化する際の量子化スケールを指定する信号を符号化部に出力するように制御を行う。量子化スケールの制御方法については、後で詳しく説明する。
【００１８】
撮像部は、デジタルの動画像データを撮影して出力することもできる。その場合には撮像された動画像は、フレームバッファを通じて符号化部に出力され、符号化部において動画像符号化方式で符号化され、記録部で符号化ストリームとして記録される。
【００１９】
撮像部の構成は、ビデオカメラのように撮影した画像を出力する装置以外にも、画像が格納されている記憶媒体、あるいはネットワークに接続された別の装置、あるいはプログラムなどでも良い。
【００２０】
図２は、符号化部の詳細な構成を示す図である。本発明では、動画像符号化方式としてMPEG2を例として説明を行なうが、実際にはMPEG4、H.264等、任意の動画像符号化方式に対しても本発明の手法を適用可能である。図２の符号化部２０９は、図１の符号化部１０２と同一である。符号化部２０９は、原画像が動画像・静止画像のどちらであっても動画像符号化方式で符号化を行い、符号化ストリームを出力することができる。以下、図２では、フレームを分割した矩形の符号化最小単位（ブロック）ごとに符号化を行う。フレーム内予測部２００では、フレーム内で既に符号化されたブロックの画素値から、符号化対象ブロックの画素値を予測する。ＤＣＴ部２０１は、原画像上のブロックと、フレーム間符号化もしくはフレーム内符号化画像により算出された矩形領域との画素値の差分（予測誤差）を算出し、その値をＤＣＴ変換する。量子化部では、ＤＣＴ変換した値を量子化し、データ量を小さくした係数（以下、ＤＣＴ係数）を出力する。逆量子化部２０３および逆ＤＣＴ部２０４において量子化・ＤＣＴの逆変換を行ない、さらにフレーム内またはフレーム間予測で予測した画素値を足しこんで、ブロックの画素値を復元し、フレームバッファ２０５に格納する。動きベクトル検出部２０６では、既に符号化されてフレームバッファに保持されているフレーム（符号化済みフレーム）上を探索して、符号化しようとするブロックに似ている矩形領域を検出し、その矩形領域が属するフレームを参照フレーム、矩形領域の位置を動きベクトルとして出力する。動き補償部２０７では、参照フレーム及び動きベクトルを用いてブロックの画素値を予測（フレーム間予測）して出力する。エントロピー符号化部２０８では、ＤＣＴ係数、動きベクトル、その他符号化に必要なパラメータやヘッダを符号化して、動画像符号化形式の符号化ストリームとして出力する。
【００２１】
量子化部で量子化を行う際には、ブロックを１つ以上集めた矩形領域であるマクロブロック（ＭＢ）ごとに量子化スケールを指定し、各ＭＢを構成するブロックの予測誤差を符号化する精度をコントロールする。量子化スケールは、値が小さいほど、符号化ストリームに出力される画像の画質が良くなるが、その代わりに量子化部から出力されるＤＣＴ係数の値（レベル）が大きくなり、可変長符号化の圧縮効率が落ちる。
【００２２】
図３は、本実施例の画像復号化装置の構成を示す図である。記録部３００から出力された符号化ストリームは、復号化部３０１で復号化され、フレームバッファ３０２で一時的に保持され、表示部３０３に出力されて表示される。
【００２３】
復号化制御部３０４は、復号化の実行を制御すると共に、フレームバッファに一時的に記録する復号化画像の選択を制御する。
【００２４】
表示部は、動画像を表示することもできる。その場合には、記録部から出力された動画像の符号化ストリームは、復号化部で、動画像のデジタルデータに復号化され、表示部で表示される。
【００２５】
表示部の構成は、ディスプレイのように画像を出力する装置以外にも、画像を保存できる記憶媒体、あるいはネットワークに接続された別の装置、あるいはプログラムなどでも良い。
【００２６】
本発明では、静止画像の符号化・復号化を行なうために、静止画像符号化形式の符号化・復号化装置を使用せず、動画像符号化装置・動画像復号化装置を使用する。そうすることによって、両方の圧縮符号化方式を同時に実現するための、静止画像圧縮符号化を行うための構成や、符号化ストリームを記録・管理するための装置の構成を不要とし、静止画像符号化を簡単な構成で実現可能とするとともに、高精細を保ちつつ高い圧縮率で符号化できる装置を提供する。
【００２７】
本発明では、符号化部において、同一の静止画像を連続する複数のフレームに渡って入力し、動画像符号化方式で符号化する。本発明で符号化を行なう際には、１枚目のフレームではフレーム内予測符号化を用いて符号化を行う。また、２枚目以降のフレームでは、全てのＭＢでフレーム間予測符号化を用い、１枚前のフレームを参照して、動きベクトルと、予測誤差をＤＣＴ符号化して量子化した係数を符号化する。２枚目以降では、全てのＭＢでフレーム間符号化を用いることで、前のフレームで量子化できなかった静止画像の細かな情報のみを符号化することができ、高精細な画像情報を、高い圧縮効率で符号化することができる。
【００２８】
静止画像を動画像符号化する際には、静止画像符号化を用いる場合よりも圧縮効率が悪くなってしまう場合がある。そこで、本実施例では、静止画像符号化よりも良い圧縮効率で動画像符号化を行なうための手法について説明する。
【００２９】
動画像符号化方式において、ＤＣＴ係数の圧縮には、ジグザグスキャンとエントロピー符号化が用いられており、エントロピー符号化では、小さなレベルのＤＣＴ係数や、０レベルが長く続く場合に短い符号量で効率よく圧縮できるようになっている。
【００３０】
画像符号化を行なう際の、従来の一般的な量子化の制御では、IフレームとPフレームで量子化スケールを同じ値にする制御方法や、動画像の画質を向上させることを目的として、Iフレームの量子化スケールをPフレームの量子化スケールよりも小さくする制御方法が用いられていた。しかし、高精細に静止画像圧縮をする場合には、従来ではIフレームの量子化スケールを小さな値とする必要があり、大きなレベルのＤＣＴ係数が残ってしまうので圧縮効率が低下していた。
【００３１】
一方、本発明では、２枚目以降のフレームを符号化する際の量子化スケールの値は、前のフレームの量子化スケールよりも小さい値とする制御方法をとる。本発明のように、フレーム毎に量子化スケールを大きな値から徐々に下げてゆく制御を行えば、ＤＣＴ係数のレベルは常に低くなり、エントロピー符号化の効率を改善する事が可能となる。
【００３２】
図１０は、本発明における量子化スケールの制御方法を示す図である。図１０では、符号化しようとするフレーム１００１に含まれるマクロブロック１００３をフレーム間符号化により符号化しようとする場合を示している。図１０では、マクロブロックが１つのブロックから構成される場合を示しているが、実際には、マクロブロックが複数のブロックで構成されていても良い。動きベクトル検出では、一つ前のフレームを参照フレーム１００２として、動きベクトルを０などの固定値とする。本発明の手法では、マクロブロック１００３に割り当てる量子化スケールを、マクロブロック１００３がフレーム間符号化で参照しているマクロブロック１００４に割り当てられている量子化スケールよりも小さくする。そうすることによって、符号化しようとするフレームでは、参照フレームを符号化した際に量子化できなかった画像の細かな信号のみを符号化することができるようになる。また、もし、参照フレーム上のマクロブロック１００４が動画像符号化のMPEG4のマクロブロック・スキップ・モードなどのように、ＤＣＴ係数を送らないモードで符号化されている場合には、参照フレーム上のマクロブロック１００４が参照するマクロブロックの量子化スケールよりも小さい値を割り当てるようにする。
【００３３】
図４は、本発明の量子化スケール制御の効果を示す図である。図４の４００、４０１、４０２は、動画像符号化において一般的な、Iフレームの量子化スケールをPフレームの量子化スケールよりも小さく設定する制御手法を使用した場合の符号量の例を示している。図４の４０３、４０４、４０５は、本発明の手法により、２枚目以降のフレームを符号化する際には、量子化スケールを徐々に下げる制御を行った場合の符号量の例である。図４の例では、従来の手法で符号化した１枚目のフレーム４０２と、本発明の手法で符号化した３枚目のフレーム４０５では、量子化スケールが同じであるため、画質はほぼ変わらないにもかかわらず、１枚目から３枚目の符号量を合算した総符号量は、本発明の手法を用いて符号化した場合の方が小さくなる。
【００３４】
JPEG方式では、動画像符号化方式の予測誤差の圧縮と原理的に同じＤＣＴ・量子化・エントロピー符号化を用いており、エントロピー符号化の圧縮効率はJPEGとほとんど変わらない。また、JPEG方式の場合にも、従来の動画像符号化の場合と同様に、エントロピー符号化の原理から圧縮効率が低くなっている。すなわち、本発明の手法を用いれば、JPEGを用いる場合よりも高画質かつ圧縮率の高い符号化を、動画像符号化を用いて行うことができる。
【００３５】
また、ＭＰＥＧ２などの動画像符号化方式では、量子化ステップは、量子化スケールと量子化行列との積で表される。そこで、量子化スケールを徐々に減らしていく手法の代わりに、量子化行列の数値を制御して徐々に小さくしてゆく手法、あるいは量子化スケールと量子化ステップの両方を同時に制御する手法でも、エントロピー符号化の圧縮効率化を実現することができる。
【００３６】
図５は、本実施例の復号化画像の選定方法を示す図である。本発明の符号化方法では、量子化スケールをフレーム毎に大きな値から徐々に小さくしてゆくので、図３の復号部から出力される復号化画像の画質は、フレーム毎に徐々に高画質となる。図３のフレームバッファは、１枚目、２枚目に復号化されたフレームについては保持せず、最後に復号化された復号化画像５０２を保持し、表示部に出力する。
【００３７】
また、もしサムネイルの表示などで複数の画像を高速に表示したい場合や、バッテリー駆動型の端末での再生などで、復号化の演算量を抑える必要がある場合には、１枚目もしくは２枚目の復号化画像５００、５０１の復号化が完了した時点で、フレームバッファに保持を行い、表示部で画像を高速かつ低演算量で表示することもできる。
【実施例２】
【００３８】
動画像符号化のシンタックスに現れるヘッダ情報やパラメータの中には、動きベクトルなど、静止画像を符号化する際には冗長となる情報が含まれており、そのために符号量が大きくなっていた。そこで、その冗長度を低減することで、圧縮効率を高めるための手法を本実施例に示す。
【００３９】
本実施例の手法では、符号化ストリームに符号化されている情報のうち、ＤＣＴ係数以外の情報については、静止画像を圧縮する上で冗長となるため、画像符号化装置と画像復号化装置で予め共通に決めておき、符号化ストリームから削除する。具体的には、シーケンスヘッダ・GOPヘッダ・ピクチャヘッダ・スライスヘッダ・ＭＢヘッダ・動きベクトルを共通に決めておき、符号化ストリームから削除する。本実施例の方法によれば、復号化される画像の画質を変化させずに、圧縮効率を実施例１の場合よりもさらに向上させることができる。
【００４０】
図６は、本実施例の画像符号化装置の構成を示す図である。６００〜６０３は、図１の１００〜１０３と同一である。符号化制御部６０４は、符号化部６０２でフレーム間予測符号化を行う際の量子化スケールをフレーム毎に大きな値から徐々に小さくしてゆく制御と、動きベクトルをゼロに固定する制御を行う機能を有する。選別部６０５は、符号化部から出力された符号化ストリームから、ＤＣＴ係数を量子化してエントロピー符号化したデータのみから構成される符号化ストリームを出力する。
【００４１】
図６では、一度符号化部から符号化ストリームを出力してから、選別部でＤＣＴ係数のみを抽出する変換を行なっているが、選別部を使わずに、符号化部から出力する際にＤＣＴ係数のみが含まれた符号化ストリームを出力しても良い。その場合には、例えば、図２のエントロピー符号化部を、ＤＣＴ係数のみを出力するように制御すれば良い。
【００４２】
図７は、本実施例の画像復号化装置の構成を示す図である。図７の７００〜７０４は、図３の３００〜３０４と同一である。付加部７０５では、ＤＣＴ係数以外の情報については、予め決めておいた情報を使用して予測を行い、動画像符号化方式の符号化ストリームを生成する。
【００４３】
図７では、入力された符号化ストリームに付加部で情報を加えて元の符号化ストリームを復元してから復号化部に入力しているが、付加部を使わずに、ＤＣＴ係数のみが記録されたストリームを直接、復号化部に入力して、ＤＣＴ係数以外の情報については、復号化部で予測を行なって、入力されたストリームを復号化部で直接復号化しても良い。
【００４４】
図８は、本実施例のＤＣＴ係数の制御の方法と効果を示す図である。図の上段は、静止画像を実施例１の方法で出力した符号化ストリームの例で、動画像符号化方式としてＭＰＥＧ２の場合の符号化ストリームの概要を示している。図の下段は、図６の選別部６０５において、符号化ストリームからＤＣＴ係数のみを抽出した例である。ＭＰＥＧ２の符号化ストリームには、動画像を符号化するためのヘッダ情報が格納されており、静止画像の圧縮においては冗長である。また、動きベクトル情報についても、符号化の際にゼロまたは所定の値に指定しておくことで、符号化ストリームに書き込む必要がなくなる。このように、ＤＣＴ係数以外の全ての情報を画像符号化装置と復号化装置で共通に決めておき、符号化ストリームから削除することが可能となる。
【００４５】
選別部において、ＤＣＴ係数のみを抽出して符号化した新たな符号化ストリームを作成することで、符号量を削減して圧縮効率を実施例１の場合よりも向上することができる。画像復号化装置では、図７の付加部で、予め決めておいたデータか、もしくは符号化ストリームのユーザデータに記述されている値から予測を行なった値を付加して、符号化ストリームを復元する。
【００４６】
選別部で符号化ストリームから抽出した後のストリームに含まれる情報は、ＤＣＴ係数のみでなくても良く、動画像符号化方式のシンタックスで記述された符号化ストリームの中から、任意のヘッダ情報やパラメータの一部のみを取り除いたり、ユーザデータを追加した符号化ストリームを生成してもよい。その場合には、符号化ストリームから取り除くヘッダやパラメータの値もしくは値の予測方法を動画像符号化装置と動画像復号化装置で予め共通に決めておき、画像復号化装置において復号化する際には、その値や予測方法に基づいて復号化動画像符号化方式のシンタックスを復元する。符号化ストリームにＤＣＴ係数以外のデータが含まれる場合であっても、選択部で取り除いたヘッダ情報やパラメータの分だけデータ量が小さくなり、圧縮効率が向上する。
【００４７】
符号化装置の符号化制御部では、動画像符号化方式のシンタックスに含まれる情報のうち、どの情報が欠けているかを示す識別フラグを生成する。識別フラグはMPEG2で規定されているユーザデータに書き込まれるか、もしくはストリームとは別の信号として復号化装置の復号化制御部に出力される。例えば、DCT係数のみを含むストリームのように、ユーザデータが存在しないストリームを生成する場合には、識別フラグは、ストリームとは別の信号として出力される。
【００４８】
復号化装置の付加部では、符号化ストリームを解析して、ユーザデータが含まれているかを調査し、ユーザデータが含まれている場合には、ユーザデータを復号化制御部に出力する。復号化制御部では、ユーザデータを解析して、識別フラグが含まれているか判断する。
【００４９】
識別フラグがストリームに含まれている場合、もしくは符号化制御部から復号化制御部に直接識別フラグ信号が入力される場合には、動画像符号化方式のシンタックスとして、どの情報が欠けているかを復号化制御部で判断することができる。また、予め決めておいた値か、残りのユーザデータから、欠けている情報をどのような値にすべきか予測する。どの情報が欠けていて、それを補うためにどのような予測値を使用するかを示す信号を復号化制御部から付加部に出力し、その情報に基づいて付加部で、動画像符号化方式の符号化ストリームを生成する。
【実施例３】
【００５０】
本実施例では、動画像の各フレームを静止画像とみなして、実施例１と同じ方法で複数のフレームに渡って符号化し、それをつなげて動画像を高圧縮に符号化する方法について示す。
【００５１】
本実施例では、実施例１の場合と同じ図６及び図７に示す構成を使用する。
【００５２】
本実施例の符号化方法について説明する。図９は、本実施例による符号化の方法を示す図である。原画像となる動画像の各フレーム９０１〜９０３を静止画像とみなし、それぞれを連続する３フレームに渡って符号化する。本実施例では、フレームバッファから出力される原画像を、３フレームごとに別の原画像に切り替える。最初の原画像９０１の符号化では、実施例１の場合と同様にＩフレーム９０４、Ｐフレーム９０５、Ｐフレーム９０６の順に符号化を行う。この際、量子化スケールはフレーム毎に大きな値から徐々に小さくしてゆく。また、動きベクトルはゼロまたは所定の値に固定する。２枚目の原画像９０２の符号化を行う際には、全てＰフレームで符号化を行う。この際、量子化スケールは、実施例１の場合と同様に、フレーム毎に大きな値から徐々に小さくしてゆく。また、４枚目のＰフレーム９０７の動きベクトルとして、３枚目のＰフレーム９０６を参照してフレーム間予測符号化を行い求めたベクトルを用いる。５枚目のＰフレーム９０８及び６枚目のＰフレーム９０９の動きベクトルは、実施例１の場合と同様にゼロまたは所定の値に固定する。７枚目のＰフレーム９１０、８枚目のＰフレーム９１１、９枚目のＰフレーム９１２の符号化方法については、９０７、９０８、９０９と同様とする。符号化フレーム９０４〜９１２は、一続きの符号化ストリームとして符号化する。
【００５３】
本実施例の方法により符号化した符号化ストリームを復号化する際には、各原画像を最も精細に符号化したフレームである９０６、９０９、９１２を順にフレームバッファに出力する。
【００５４】
本実施例の効果について説明する。原画像を切り替えた直後のフレーム９０７、９１０では、動きベクトルを求めて符号化することで、動きベクトルを使わない場合よりも高い圧縮率で符号化を行うことができる。一方、それ以外のフレーム９０４、９０５、９０６、９０８、９０９、９１１、９１２に関しては、同じ原画像に対してフレーム間予測符号化を用いた符号化を行い、さらに段階的に量子化スケールを小さくしてゆくことで、実施例１の場合と同じように高い圧縮率で符号化を行うことができる。本実施例の方法は、量子化スケールを一定にして符号化を行う場合に比べて、動画像符号化におけるエントロピー符号化の出力データ量を低く抑えることができ、圧縮効率が高い。
【００５５】
本実施例では、原画像となる動画像の３フレーム目までしか符号化の方法を示さなかったが、実際には、４フレーム目以降についても同様に符号化が可能である。また、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）の先頭などのタイミングで９０４のようなＩフレームを挿入することで、動画像の画質を改善することができる。
【００５６】
本実施例では、１枚の原画像を符号化するのに３枚のフレームを用いたが、実際には何枚使用しても良い。また、原画像の最初のフレームは４枚、２枚目は２枚、３枚目は３枚で符号化するなど、途中で枚数を変えても良い。
【００５７】
本実施例において、フレームバッファに入力される原画像が切り替わるタイミングと、フレームバッファの出力が切り替わるタイミングは、同じでも良いし、異なっていても良い。例えば、原画像が２０フレーム／秒の間隔で入力されたとして、フレームバッファの出力が切り替わるタイミングが６０フレーム／秒であっても良い。また、例えばフレームバッファの入力と出力の切り替わるタイミングがどちらも６０フレーム／秒など一致していても良い。
【００５８】
本実施例においても、実施例２のように、動画像符号化装置と動画像復号化装置で共通に決めた情報を、選別部において符号化ストリームから削除することで、データ量を削減することができる。その場合、動きベクトルは常に抽出するようにしても良いし、９０７や９１０のように動きベクトルがゼロや所定の値に固定されていないフレームのみ抽出しても良い。
【符号の説明】
【００５９】
１００    撮像部
１０１    フレームバッファ
１０２    符号化部
１０３    記録部
１０４    符号化制御部
２００    フレーム内予測部
２０１    ＤＣＴ部
２０２    量子化部
２０３    逆量子化部
２０４    逆ＤＣＴ部
２０５    フレームバッファ
２０６    動きベクトル検出部
２０７    動き補償部
２０８    エントロピー符号化
２０９    符号化部
３００    記録部
３０１    符号化部
３０２    フレームバッファ
３０３    表示部
３０４    復号化制御部
４００    量子化スケールを一定値にする場合の１フレーム目の符号量
４０１    量子化スケールを一定値にする場合の２フレーム目の符号量
４０２    量子化スケールを一定値にする場合の３フレーム目の符号量
４０３    量子化スケールを段階的に下げる場合の１フレーム目の符号量
４０４    量子化スケールを段階的に下げる場合の２フレーム目の符号量
４０５    量子化スケールを段階的に下げる場合の３フレーム目の符号量
５００    量子化スケールを段階的に下げる場合の１フレーム目の復号化画像
５０１    量子化スケールを段階的に下げる場合の２フレーム目の復号化画像
５０２    量子化スケールを段階的に下げる場合の３フレーム目の復号化画像
６００    撮像部
６０１    フレームバッファ
６０２    符号化部
６０３    記録部
６０４    符号化制御部
６０５    選別部
７００    記録部
７０１    復号化部
７０２    フレームバッファ
７０３    表示部
７０４    復号化制御部
７０５    付加部
８００    １フレーム目の最初のＭＢのＤＣＴ係数
８０１    １フレーム目の２番目のＭＢのＤＣＴ係数
８０２    ２フレーム目の最初のＭＢのＤＣＴ係数
８０３    ２フレーム目の２番目のＭＢのＤＣＴ係数
８０４    ３フレーム目の最初のＭＢのＤＣＴ係数
８０５    ３フレーム目の２番目のＭＢのＤＣＴ係数
９０１    原画像となる動画像の１フレーム目
９０２    原画像となる動画像の２フレーム目
９０３    原画像となる動画像の３フレーム目
９０４    １フレーム目の符号化フレーム（Ｉフレーム）（９０１を原画像とする）
９０５    ２フレーム目の符号化フレーム（Ｐフレーム）（９０１を原画像とする）
９０６    ３フレーム目の符号化フレーム（Ｐフレーム）（９０１を原画像とする）
９０７    ４フレーム目の符号化フレーム（Ｐフレーム）（９０２を原画像とする）
９０８    ５フレーム目の符号化フレーム（Ｐフレーム）（９０２を原画像とする）
９０９    ６フレーム目の符号化フレーム（Ｐフレーム）（９０２を原画像とする）
９１０    ７フレーム目の符号化フレーム（Ｐフレーム）（９０３を原画像とする）
９１１    ８フレーム目の符号化フレーム（Ｐフレーム）（９０３を原画像とする）
９１２    ９フレーム目の符号化フレーム（Ｐフレーム）（９０３を原画像とする）
１００１  符号化しようとするフレーム
１００２  参照フレーム
１００３  マクロブロック
１００４  参照フレーム上の同位置のマクロブロック
【図１】
2011055023.tif 000003
【図２】
2011055023.tif 000004
【図３】
2011055023.tif 000005
【図４】
2011055023.tif 000006
【図５】
2011055023.tif 000007
【図６】
2011055023.tif 000008
【図７】
2011055023.tif 000009
【図８】
2011055023.tif 000010
【図９】
2011055023.tif 000011
【図１０】
2011055023.tif 000012