(57)【特許請求の範囲】
【請求項１】
複数のフレーム群の各々がキーフレームとこれに後続する複数の通常フレームとを含んでおり、前記複数の通常フレームには、全体で１フレームを構成可能でフレーム内符号化された複数の特定領域が、互いに異なる位置に配分されており、１フレーム分の前記複数の特定領域を参照フレームとしてフレーム間符号化することにより、前記複数のフレーム群のうち、つぎのフレーム群に属する前記キーフレームが得られており、前記複数の通常フレームの各々は、前記複数の特定領域のうちの自身に配分された特定領域を除く部分である非特定領域については、前記複数のフレーム群のうち自身と同一のフレーム群に属する前記キーフレームを参照フレームとしてフレーム間符号化されており、前記複数のフレーム群の時間に沿った集合である圧縮符号化画像信号を受信しかつ復号化する動画像復号化方法であって、
(a)前記圧縮符号化画像信号を少なくとも一部の期間にわたって受信する工程と、
(b)前記複数のフレーム群のうち、前記工程(a)で最初に受信されるキーフレームが属するフレーム群である初期フレーム群に対して、当該初期フレーム群に含まれる１フレーム分の前記複数の特定領域のみを復号化し、かつ記憶する工程と、
(c)前記複数のフレーム群のうち、前記工程(a)で前記初期フレーム群より後に受信されるフレーム群ごとに復号化を行う工程と、を備え、
前記工程(c)は、
(c-1)復号化されかつ記憶されている１フレーム分の最新の前記複数の特定領域を参照フレームとして、復号化の対象とされる前記フレーム群に属する前記キーフレームをフレーム間復号化しかつ記憶する工程と、
(c-2)復号化されかつ記憶されている最新のキーフレームを参照フレームとして、復号化の対象とされる前記フレーム群に属する前記複数の通常フレームの各々の前記非特定領域をフレーム間復号化する工程と、
(c-3)復号化の対象とされる前記フレーム群に含まれる１フレーム分の前記複数の特定領域を復号化しかつ記憶する工程と、を備える動画像復号化方法。
【請求項２】
請求項１に記載の動画像復号化方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、圧縮符号化された動画像を復号化する動画像復号化方法およびそのプログラムに関し、特に監視映像などの時間的変化が少ない動画像に適した動画像復号化方法およびそのプログラムに関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方法には、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内符号化に適用される。また動き補償予測符号化（フレーム間符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００３】
しかしながら、監視映像などの時間的な変化が圧倒的に少ない動画像では、入力フレームを周期的に参照画像（以下、キーフレームと呼ぶ。）に設定し、このキーフレームと入力フレームとの間の差分信号をとる差分符号化方式を用いても、両フレーム間の差分量は小さいと考えられる。この方式は、前述の隣接フレームを用いた動き補償予測符号化と比べると、計算負荷の軽減や、フレームの欠落によるエラーに対する耐性などの利点をもつ。図１５を参照しつつ従来の差分符号化方式の概略を説明する。撮像センサから順次出力される複数のフレームｆ１，ｆ２，…が符号化器に順次入力するとする。図１５に示すようにフレームｆｎ（ｎ＝１，２，…）が入力すると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。すなわち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３でその量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成されビットストリームにされて出力される。また前記ステップＳＴ１０２で算出された量子化係数は、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００４】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定され、フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップＳＴ１０７でフレーム間符号化、すなわちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後、出力される。
【０００５】
このようなビットストリームの復号化処理の例を図１６を参照しつつ以下に説明する。上記ビットストリームが入力すると（ＳＴ１１０）、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されてキーフレームメモリ１０１に蓄積され、その量子化係数が上記ステップＳＴ１０８でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される（ＳＴ１１２）。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記差分符号化方式では、キーフレームと時間的に離間したフレームとの差分符号化を行うため、キーフレームの画質が動画像全体の画質に直接関係することから、キーフレームは高画質のものでなければならず、キーフレームに対してはフレーム内の情報のみで圧縮符号化を行うフレーム内符号化が施される。この結果、動画像の符号化処理量はキーフレームの符号化時に急激に増大し、キーフレームの圧縮符号化データの伝送が遅延したり間欠したりする問題が生じていた。特に動画像をネットワークを通じてリアルタイムに伝送し再生（ストリーミング）する場合は、復号化した動画像の再生速度の変化や画像の間欠が著しく生じることがあった。
【０００７】
このような問題に鑑みて本発明が解決しようとするところは、キーフレームの符号化処理量の急激な増大を抑制し、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にし得る動画像の圧縮符号化方法を想定し、当該圧縮符号化方法にもとづいて時間に沿って配信される圧縮符号化画像信号を、任意の時点から受信しかつ復号化することを可能にする動画像復号化方法およびそのプログラムを提供する点にある。
【０００８】
【課題を解決するための手段】
本発明のうち第１の態様にかかるものは、複数のフレーム群の各々がキーフレームとこれに後続する複数の通常フレームとを含んでおり、前記複数の通常フレームには、全体で１フレームを構成可能でフレーム内符号化された複数の特定領域が、互いに異なる位置に配分されており、１フレーム分の前記複数の特定領域を参照フレームとしてフレーム間符号化することにより、前記複数のフレーム群のうち、つぎのフレーム群に属する前記キーフレームが得られており、前記複数の通常フレームの各々は、前記複数の特定領域のうちの自身に配分された特定領域を除く部分である非特定領域については、前記複数のフレーム群のうち自身と同一のフレーム群に属する前記キーフレームを参照フレームとしてフレーム間符号化されており、前記複数のフレーム群の時間に沿った集合である圧縮符号化画像信号を受信しかつ復号化する動画像復号化方法であって、(a)前記圧縮符号化画像信号を少なくとも一部の期間にわたって受信する工程と、(b)前記複数のフレーム群のうち、前記工程(a)で最初に受信されるキーフレームが属するフレーム群である初期フレーム群に対して、当該初期フレーム群に含まれる１フレーム分の前記複数の特定領域のみを復号化し、かつ記憶する工程と、(c)前記複数のフレーム群のうち、前記工程(a)で前記初期フレーム群より後に受信されるフレーム群ごとに復号化を行う工程と、を備えている。
【０００９】
そして、前記工程(c)は、(c-1)復号化されかつ記憶されている１フレーム分の最新の前記複数の特定領域を参照フレームとして、復号化の対象とされる前記フレーム群に属する前記キーフレームをフレーム間復号化しかつ記憶する工程と、(c-2)復号化されかつ記憶されている最新のキーフレームを参照フレームとして、復号化の対象とされる前記フレーム群に属する前記複数の通常フレームの各々の前記非特定領域をフレーム間復号化する工程と、(c-3)復号化の対象とされる前記フレーム群に含まれる１フレーム分の前記複数の特定領域を復号化しかつ記憶する工程と、を備えている。
【００１０】
本発明のうち第２の態様にかかるものは、第１の態様にかかる動画像復号化方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラムである。
【００１１】
【発明の実施の形態】
Ａ．本発明が前提とする基本発明．
はじめに、本発明の前提として想定される基本発明の二つの実施の形態について説明する。これらの実施の形態は、それぞれ実施の形態１および２として記載する。
【００１２】
実施の形態１．
図１〜図３は、基本発明の実施の形態１に係る圧縮符号化方法を実現するためのフローチャートである。このフローチャートを参照しつつ本実施の形態１に係る圧縮符号化方法を以下に詳説する。
【００１３】
ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像センサで時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が本実施の形態１に係る符号化器に入力する（ＳＴ１）。尚、特定領域メモリ２にはフレームｆ１が入力する前に、後に詳述するフレーム１枚分のキーＧＯＢからなる参照フレームｆ０が格納されており、この参照フレームｆ０は後述する実施の形態２に係る復号化器の特定領域メモリ１１に圧縮伝送後、復号化されて格納されている。本実施の形態１の符号化器は入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定しており、入力フレームｆ１がキーフレームである。
【００１４】
先ずステップＳＴ２でそのフレームｆ１はキーフレームか否かを条件判定される。フレームｆ１はキーフレームであるからステップＳＴ３に処理が移行し、図２に示すようにステップＳＴ４で特定領域メモリ２に格納した参照フレームｆ０と入力フレームｆ１との間で画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓが算出され、次いでステップＳＴ５で差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔＰi（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ1｜＋｜ΔＰ2｜＋…＋｜ΔＰn｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつブロック単位で実行される。これ以後の処理も同様である。尚、本実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００１５】
他方、ステップＳＴ５において上記ステップＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合はステップＳＴ７に処理が移行し、入力フレームｆ１はフレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００１６】
尚、フレームの圧縮率を高める観点から、上記フレーム内符号化（ＳＴ７）またはフレーム間符号化（ＳＴ６）を実行する前に入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣbＣr座標系などを使用すればよい。例えば、ＹＣbＣr座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃb，ＣrとからなるＹＣbＣr成分の座標系へと変換される。ＹＣbＣr成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００１７】
次に図１に示すようにステップＳＴ１９に処理が移行し、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）され、キーフレームメモリ１に格納される。よって、キーフレームメモリ１には符号化（ＳＴ６，ＳＴ７）と復号化（ＳＴ８）を通じて量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は後述する復号化器で復号化（フレーム間復号化）の際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００１８】
次に、上記フレームｆ１に続いてフレームｆ２が符号化器に入力すると、ステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。フレームｆ２はキーフレームでは無いからステップＳＴ９に処理が移行し、フレームｆ２は複数のブロック領域（以下、ＧＯＢと呼ぶ。）に分割され、次いでステップＳＴ９でこれらブロック領域（ＧＯＢ）の中から単数または複数の特定領域（以下、キーＧＯＢと呼ぶ。）が指定される。図４（ａ）に４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢに指定されている。図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割され、フレームｆ３の第２段目ＧＯＢ、フレームｆ４の第３段目ＧＯＢ、フレームｆ５の第４段目ＧＯＢがそれぞれキーＧＯＢに指定される。図５に示すようにこのようなフレームｆ１〜ｆ５は時間軸に沿って配列している。
【００１９】
次にステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割したブロック毎に順次処理される。ステップＳＴ１１では処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２で当該ブロックは上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後に特定領域メモリ２に蓄積される。
【００２０】
他方、上記ステップＳＴ１１でブロックがキーＧＯＢに属しない場合はステップＳＴ１４のサブルーチンに処理が移行し、図３に示すようにステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１に格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いでステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ１に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図１に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００２１】
次に上記フレームｆ２に続いて符号化器に入力するフレームｆ３，ｆ４，…も、キーフレームが入力する迄はフレームｆ２の場合と同様に処理される。よって、上記ステップＳＴ１３で復号化されたキーＧＯＢ１〜４が特定領域メモリ２にフレーム１枚分蓄積され、図５に模式的に図示するようにキーＧＯＢ１〜４は特定領域メモリ２で参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００２２】
このように本実施の形態１に係る圧縮符号化方法では、上記ステップＳＴ３で特定領域メモリ２に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できるという効果が得られる。特にインターネットなどの帯域幅が制限された伝送路ではその効果が発揮される。
【００２３】
また特定領域メモリ２では複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。本実施の形態１ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００２４】
実施の形態２．
次に、基本発明の実施の形態２に係る復号化方法を以下に詳説する。図６は、本実施の形態２に係る復号化方法を実現するためのフローチャートである。
【００２５】
上記実施の形態１で符号化した圧縮画像データはビットストリームとなって本実施の形態２に係る復号化器に入力する（ＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。すなわち、上記符号化器から本実施の形態２に係る復号化器に上記フレームｆ１，ｆ２，…の圧縮データが順次入力するから、ステップＳＴ２１でキーフレームｆ１の圧縮データに対して、上記実施の形態１のステップＳＴ３のフレーム内符号化あるいはフレーム間符号化の復号化処理が８×８画素や１６×１６画素程度のブロック単位で施される。キーフレームｆ１の圧縮データを復号化する際、予め特定領域メモリ１１に格納した参照フレームｆ０が利用される。また復号化したキーフレームｆ１は、キーフレームメモリ１０に格納される。
【００２６】
また、キーフレームの圧縮データに続いて復号化器に入力するフレームｆ２，ｆ３，…の圧縮データに対して、上記実施の形態１のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理が上記ブロック単位で施される。フレーム間符号化の復号化処理を行う際は、キーフレームメモリ１０に格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位であるブロックがキーＧＯＢに属する場合は当該ブロックは特定領域メモリ１１に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡが合成され、後に復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図４（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データが復号化器に入力する場合、各キーＧＯＢを構成するブロックの圧縮データはフレーム内復号化を施された後に特定領域メモリ１１に順次蓄積され、参照フレームＡを再構成する。
【００２７】
このようにステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像表示した場合、上記符号化器でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。かかる場合を防ぐべく、本実施の形態２は図６に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を備えることが特徴である。
【００２８】
図７は、キーＧＯＢ再量子化処理を示すフローチャートである。図７に示すように、先ず８×８画素または１６×１６画素程度のブロックが入力する（ＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定され、当該ブロックがキーＧＯＢに属しない場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。他方、当該ブロックがキーＧＯＢに属する場合はステップＳＴ３２に処理が移行し、キーフレームメモリ１０に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。
【００２９】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合はステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。次に、ステップＳＴ３８でキーフレームメモリ１０に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００３０】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図６に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。以上のキーＧＯＢ再量子化工程を図４に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図８に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格納したキーフレームとの差分をとられる。次に上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、すなわちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００３１】
このように本実施の形態２によれば、上記実施の形態１に係る圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００３２】
Ｂ．本発明の実施の形態．
つぎに、上記した基本発明を前提とする本発明の実施の形態について説明する。図９は、本発明の実施の形態による画像配信システムの構成を示すブロック図である。この画像配信システム１２０は、画像配信装置２０、通信回線４０、および端末装置３０を備えている。画像配信装置２０は、図１に示した実施の形態１による圧縮符号化方法を実行し、ビットストリームの形式で圧縮符号化画像信号を通信回線４０へ出力する。通信回線４０の一例は、ＬＡＮあるいはインタネット等のネットワークである。端末装置３０は、通信回線４０へ接続されることにより、画像配信装置２０が時間に沿って出力する圧縮符号化画像信号を、端末装置３０のユーザが指定する任意の時点から受信し、かつ復号化するように構成されている。なお本明細書では、基本発明による符号化方法および復号化方法を、「ＳＲＶＣ(Super Real Video Codec)方式」と仮称する。
【００３３】
図１０が示すように、画像配信装置２０が出力するＳＲＶＣ方式にもとづく圧縮符号化画像信号では、一つのキーフレームからつぎのキーフレームの直前のフレームまでが、一つのフレーム群を構成する。一つのフレーム群には、キーフレームおよびこれに後続する複数のフレームP-GOBが含まれる。フレームP-GOBとは、図４に例示したように、フレーム内の特定領域であるキーＧＯＢを有するフレームであり、「キーＧＯＢありＰピクチャ」あるいは「通常フレーム」とも仮称する。フレームP-GOBのうち、キーＧＯＢ（特定領域）を除いた領域である非特定領域（例えば、図４においてＧＯＢと記載される領域）は、同一のフレーム群に属するキーフレームを参照フレームとしてフレーム間符号化されている。
【００３４】
図１０が示すように、フレーム群の中には、フレームＰを挿入することも可能である。フレームＰは、キーＧＯＢを含まず、同一のフレーム群に属するキーフレームを参照フレームとして、フレーム全体にわたってフレーム間符号化されたフレームである。フレームＰは、「キーＧＯＢなしＰピクチャ」とも仮称する。したがって、フレーム群のうちのキーフレームを除いたフレームP-GOBおよびフレームＰのいずれも、同一のフレーム群に属するキーフレームとの差分画像であり、当該キーフレームに依存している。また、フレームP-GOBに含まれるキーＧＯＢは、つぎのフレーム群に属するキーフレームのフレーム間符号化のために参照フレームとして用いられ、当該キーフレームは、これらキーＧＯＢの１フレーム分の集合との差分画像となっている。すなわち、キーフレームは前のフレーム群に属するフレームP-GOBに依存している。
【００３５】
以上のように、ＳＲＶＣ方式にもとづく圧縮符号化画像信号では、すべてのフレームは互いに補完関係にある。ＳＲＶＣ方式にもとづく圧縮符号化画像信号では、先頭のフレームについてはフレーム内符号化されるので、時間に沿って出力される圧縮符号化画像信号を端末装置３０が先頭から受信し復号化する上では、何らの問題を生じない。しかしながら、端末装置３０が圧縮符号化画像信号を中途から受信する場合には、受信開始後の各フレームが他のフレームに依存しているので、受信した各フレームを単独で復号化することはできない。このために、端末装置３０は、受信を開始した後に、フレームの復号化が可能となるまで、各フレームに含まれる必要なデータを保存することにより、その後の復号化を可能にしている。以下に、端末装置３０の構成および動作手順について詳細に説明する。
【００３６】
図１１は、端末装置３０の内部構成を示すブロック図である。端末装置３０は、端末装置本体部３１およびモニタ３２を備えている。端末装置本体部３１は、インタフェース３３、伸張部３４、画像記憶部３５、ビデオエンコーダ３６、制御部３７、および、これらを互いに接続するバスライン３８を備えている。インタフェース３３は、通信回線４０に接続されることにより、通信回線４０を媒介して画像配信装置２０との通信を行う。伸張部３４は、インタフェース３３が受信する圧縮符号化画像信号を復号化する。ビデオエンコーダ３６は、伸張部３４で復号化された画像信号を、デジタル形式からアナログ形式へ変換する。ビデオエンコーダ３６が出力するアナログ画像信号は、モニタ３２へ入力される。モニタ３２は、入力されたアナログ画像信号を画面に表示する。
【００３７】
制御部３７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵで構成され、各要素３３〜３７を制御する機能を果たしている。制御部３７は、ＣＰＵに代えて、ハードウェアのみで構成されるＬＳＩで構成されても良い。画像記憶部３５は、伸張部３４による処理の過程で一時的に画像信号を保持するためのワークメモリであり、図６に示したキーブロックメモリ１１およびキーフレームメモリ１０を含んでいる。制御部３７がＣＰＵで形成される場合には、画像記憶部３５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。端末装置本体部３１に含まれる要素３３〜３７は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００３８】
図１２は、端末装置３０の動作手順を示すフローチャートである。端末装置３０に対してユーザが所定の指示操作を行うと、インタフェース３３が通信回線４０を通じて画像配信装置２０へ接続され、図１２の処理が開始される。図１２が示すステップＳＴ２０〜ＳＴ２３の処理は、図６に示した同一符号の処理と同等である。すなわち、図１２の処理は、ステップＳＴ２０とステップＳＴ２１との間に、ステップＳＴ４０，ＳＴ４１が挿入され、さらにステップＳＴ４１から分岐するステップＳＴ４２，ＳＴ４３が付加されている点において、図６の処理とは特徴的に異なっている。
【００３９】
端末装置３０は、図１２の処理を、各フレームに対して連続的に行うものであり、例えばステップＳＴ２２の処理が一つのフレームに対して行われているときに、つぎのフレームに対してステップＳＴ２０の処理が同時に行われることも有り得る。すなわち好ましくは、端末装置３０は圧縮符号化画像信号に対する処理を、パイプライン処理の形式で実行する。このことは、図１および図６に示した処理においても同様である。図１、図６、および図１２は、画像信号に対して行われるパイプライン処理について、任意の１フレームに着目して、当該フレームに対する処理の流れを示したものである。一つのフレームに対する処理の終了時点とつぎのフレームに対する開始時点との間の時間的前後関係を無視すれば、図１、図６、および図１２の処理は、１フレーム毎に反復的に実行される。
【００４０】
処理が開始されると、インタフェース３３は、画像配信装置２０が出力するビットストリーム形式の圧縮符号化画像信号を受信する（ステップＳＴ２０）。画像配信装置２０は、ユーザのアクセスの有無に関わりなく、圧縮符号化画像信号を出力する一方、受信を開始するタイミングはユーザの操作に規定されるため、圧縮符号化画像信号の先頭から受信が開始されるとは限らない。
【００４１】
つぎに、現在受信しているフレームが、受信開始後に最初に受信されるキーフレームに後続する最初のフレームP-GOBより前のフレームであるか否かが判定される（ステップＳＴ４０）。図１３に例示する圧縮符号化画像信号において、左端に位置するキーフレームが最初に受信されるキーフレームであるとすると、その直後のフレーム（図１３において、ハッチが付されたフレーム）が、最初に受信されるキーフレームに後続する最初のフレームP-GOBに相当する。したがって、受信が開始された後、このフレームP-GOBが受信されるまでの期間は、ステップＳＴ４０の判定は肯定的（Ｙｅｓ）であり続ける。このとき、受信したフレームの信号は破棄され、当該フレームに対する処理は終了し、つぎのフレームに対する処理が開始される。
【００４２】
現在受信しているフレームが、最初に受信されるキーフレームに後続する最初のフレームP-GOBまたはそれ以後のフレームであるときには、ステップＳＴ４０の判定は否定的（Ｎｏ）となる。このとき、現在受信しているフレームが、最初に受信したキーフレームが属するフレーム群（「初期フレーム群」と称する）に属するか否かが判定される（ステップＳＴ４１）。言い換えると、キーフレームを第２回目に受信する前であるか否かが判定される。ステップＳＴ４１の判定がＹｅｓであれば、伸張部３４はキーＧＯＢのみを復号化し（ステップＳＴ４２）、キーブロックメモリ１１へストアする（ステップＳＴ４３）。ステップＳＴ４２，ＳＴ４３では、フレームP-GOBを処理対象とするときには、その中に含まれるキーＧＯＢのみが復号化およびストアの対象とされ、残りのＧＯＢについては破棄される。また、フレームＰが処理対象であるときには、そのすべてのデータが破棄される。ステップＳＴ４３が終了すると、一つのフレームに対する図１２の処理は終了する。
【００４３】
ステップＳＴ４３の判定がＮｏであるとき、すなわち処理対象とするフレームが初期フレーム群に後続するフレーム群に属するようになったとき（例えば図１３の例で、右側のキーフレーム以降のフレームであるとき）には、ステップＳＴ２１の処理が行われる。ステップＳＴ２１では、処理対象とされるフレームがキーフレームであれば、キーブロックメモリ１１にストアされている１フレーム分のキーＧＯＢを用いて、フレーム間復号化が行われ、復号化されたキーフレームはキーフレームメモリ１０へストアされる。
【００４４】
処理対象とされるフレームがフレームP-GOBであれば、これに含まれるキーＧＯＢについてはフレーム内復号化が行われ、キーブロックメモリ１１へ、すでにストアされているキーＧＯＢを更新する形式でストアされる。フレームP-GOBの中のキーＧＯＢ以外の部分については、キーフレームメモリ１０にストアされるキーフレームを参照フレームとして、フレーム間復号化が行われる。また、処理対象とされるフレームがフレームＰであれば、キーフレームメモリ１０にストアされるキーフレームを参照フレームとして、フレーム間復号化が行われる。各フレームのうちキーＧＯＢを除く部分についてステップＳＴ２１で実行される復号化処理では、図６を引用しつつ既に説明したように、処理対象とされる部分にフレーム内圧縮符号化とフレーム間圧縮符号化とが選択的に施されているときには、これらの圧縮符号化の形態に対応して、フレーム内復号化とフレーム間復号化とが選択的に行われる。
【００４５】
ステップＳＴ２１における復号化処理が終了すると、望ましくはステップＳＴ２２の処理を経た上で、さらにステップＳＴ２３の処理を経た後に、１つのフレームに対する図１２の処理は終了し、つぎのフレームに対する処理が開始される。ステップＳＴ２２の処理を実現するには、図１１に示した端末装置本体部３１に、制御部３７の指示にもとづいてステップＳＴ２２の処理を実行する再量子化処理部を、バスライン３８に接続する形態で追加的に設けると良い。ステップＳＴ２３の処理は、ビデオエンコーダ３６によって実行される。
【００４６】
端末装置３０は以上のように動作するので、図１４の動作説明図が示すように、初期フレーム群に後続するフレーム群に対しては、図６に示した復号化処理と同一の処理が行われる。すなわち、圧縮画像信号の受信がどの時点で開始されても、初期フレーム群の受信が完了した後、すなわち受信開始から最長２フレーム群の受信が完了した後には、圧縮画像信号を復号化することが可能となる。すなわち、任意の時点からの受信および復号化が可能であり、かつ受信開始から復号化開始までの待ち時間を短く抑えることができる。
【００４７】
【発明の効果】
本発明のうち第１の態様にかかる方法では、最初に受信されるキーフレームに後続する複数の通常フレームに配分されている１フレーム分の複数の特定領域を復号化するとともに記憶し、これにもとづいて、その後に受信されるキーフレームの復号化が行われ、さらに復号化されたキーフレームにもとづいて、後続する通常フレームの復号化が行われる。また、受信される各フレーム群ごとに１フレーム分の複数の特定領域が復号化され、過去のデータを更新した最新のデータとして記憶される。このため、圧縮画像信号の受信をどの時点で開始しても、最長２フレーム群の受信が完了した後には、復号化を実行することが可能である。すなわち、任意の時点からの受信および復号化が可能であり、かつ受信開始から復号化開始までの待ち時間を短く抑えることができる。
【００４８】
本発明のうち第２の態様にかかるプログラムでは、コンピュータに搭載することにより、第１の態様にかかる方法を実行することができる。
【図面の簡単な説明】
【図１】本発明の前提となる基本発明の実施の形態１に係る符号化方法を実現するフローチャートである。
【図２】実施の形態１に係る符号化方法を実現するフローチャートである。
【図３】実施の形態１に係る符号化方法を実現するフローチャートである。
【図４】４つのブロック領域に分割された各フレームを示す説明図である。
【図５】実施の形態１に係る符号化方法を説明するための模式図である。
【図６】本発明の前提となる基本発明の実施の形態２に係る復号化方法を実現するフローチャートである。
【図７】実施の形態２に係る再量子化処理を説明するためのフローチャートである。
【図８】実施の形態２に係る復号化方法を説明するための模式図である。
【図９】本発明の実施の形態に係る画像配信システムの構成を示すブロック図である。
【図１０】図９の画像配信装置が出力する圧縮符号化画像信号の一例を示すデータ構造図である。
【図１１】図９の端末装置の構成を示すブロック図である。
【図１２】図１１の端末装置の動作手順を示すフローチャートである。
【図１３】図１１の端末装置が受信する圧縮符号化画像信号の一例を示すデータ構造図である。
【図１４】図１１の端末装置の動作を示す動作説明図である。
【図１５】従来の符号化方法を説明するためのフローチャートである。
【図１６】従来の復号化方法を説明するためのフローチャートである。
【符号の説明】
１  キーフレームメモリ
２  特定領域メモリ
１０  キーフレームメモリ
１１  特定領域メモリ
Ｋ  キーフレーム
Ｋｅｙ−ＧＯＢ  特定領域
Ｐ−ＧＯＢ  通常フレーム
【図１】
0004451023.tif 000002
【図２】
0004451023.tif 000003
【図３】
0004451023.tif 000004
【図４】
0004451023.tif 000005
【図５】
0004451023.tif 000006
【図６】
0004451023.tif 000007
【図７】
0004451023.tif 000008
【図８】
0004451023.tif 000009
【図９】
0004451023.tif 000010
【図１０】
0004451023.tif 000011
【図１１】
0004451023.tif 000012
【図１２】
0004451023.tif 000013
【図１３】
0004451023.tif 000014
【図１４】
0004451023.tif 000015
【図１５】
0004451023.tif 000016
【図１６】
0004451023.tif 000017