(57)【特許請求の範囲】
【請求項１】
順次入力される複数のフレームからなる画像信号を圧縮符号化することにより圧縮符号化画像信号を得るとともに、外部から入力される配信要求信号に応じて前記圧縮符号化画像信号を配信する画像配信方法であって、
(a)前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化することにより第１の参照フレームとして記憶する工程と、
(b)前記キーフレームの後に入力するフレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定する工程と、
(c)前記特定領域に対してフレーム内符号化を実行すると共に、当該フレーム内符号化がなされた前記特定領域を復号化して記憶する工程と、
(d)記憶している前記第１の参照フレームを参照することにより、前記工程(b)で分割した前記特定領域を除く前記各ブロック領域に対してフレーム間符号化を実行する工程と、
(e)前記工程(b)〜(d)を繰り返し実行するとともに、前記工程(c)を実行するごとに記憶した前記特定領域を、第２の参照フレームとして１フレーム分蓄積する工程と、
(f)前記工程(a)〜(e)を繰り返し実行するとともに、前記工程(a)で前記第１の参照フレームを記憶するごとに、すでに記憶している前記第１の参照フレームを更新し、かつ前記工程(e)で前記第２の参照フレームとしての蓄積を行うごとに、すでに記憶している前記第２の参照フレームを更新する工程と、
を備え、
前記工程(a)が、
(a-1)指定した前記キーフレームに対して、記憶している前記第２の参照フレームを参照することにより、フレーム間符号化を実行する工程、を備え、
前記画像配信方法が、
(g)前記配信要求信号に応答して、記憶している前記第１および第２の参照フレームを配信し、その後、前記工程(a),(c),および(d)の各々で圧縮符号化された信号が得られるごとに、当該信号を前記圧縮符号化画像信号として配信する工程、をさらに備える画像配信方法。
【請求項２】
請求項１に記載の画像配信方法によって配信される圧縮符号化画像信号を受信しかつ復号化する画像復号化方法であって、
(A)前記配信要求信号を送出する工程と、
(B)前記配信要求信号に応答して配信される前記第１および第２の参照フレームを記憶する工程と、
(C)前記工程(A)および(B)の後に、前記工程(a),(c),および(d)の各々で圧縮符号化された信号が配信されるごとに、
(C-1)前記工程(a)で前記キーフレームを圧縮符号化して得られた信号に対して、記憶している前記第２の参照フレームを参照してフレーム間復号化を実行すると共に、当該復号化によって得られた信号によって、すでに記憶している前記第１の参照フレームを更新する工程と、
(C-2)前記工程(c)で前記特定領域を圧縮符号化して得られた信号に対して、前記特定領域に対してフレーム内復号化を実行すると共に、当該復号化がなされた前記特定領域を記憶する工程と、
(C-3)前記工程(d)で前記特定領域を除く前記各ブロック領域を圧縮符号化して得られた信号に対して、記憶している前記第１の参照フレームを参照してフレーム間復号化を実行する工程と、のうちのいずれかを選択的に実行する工程と、
(D)前記工程(C-1)からつぎに実行される前記工程(C-1)までの間に、前記工程(C-2)が繰り返されるごとに記憶された前記特定領域を１フレーム分蓄積することにより、すでに記憶している前記第２の参照フレームを更新する工程と、を備える画像復号化方法。
【請求項３】
請求項１または請求項２に記載の方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を圧縮符号化して配信する画像配信方法、配信された動画像を復号化する画像復号化方法、およびそれらのプログラムに関し、特に監視映像などの時間的変化が少ない動画像に適した画像配信方法、画像復号化方法、およびそれらのプログラムに関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方法には、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内符号化に適用される。また動き補償予測符号化（フレーム間符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００３】
しかしながら、監視映像などの時間的な変化が圧倒的に少ない動画像では、入力フレームを周期的に参照画像（以下、キーフレームと呼ぶ。）に設定し、このキーフレームと入力フレームとの間の差分信号をとる差分符号化方式を用いても、両フレーム間の差分量は小さいと考えられる。この方式は、前述の隣接フレームを用いた動き補償予測符号化と比べると、計算負荷の軽減や、フレームの欠落によるエラーに対する耐性などの利点をもつ。図１４を参照しつつ従来の差分符号化方式の概略を説明する。撮像センサから順次出力される複数のフレームｆ１，ｆ２，…が符号化器に順次入力するとする。図１４に示すようにフレームｆｎ（ｎ＝１，２，…）が入力すると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。すなわち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３でその量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成されビットストリームにされて出力される。また前記ステップＳＴ１０２で算出された量子化係数は、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００４】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定され、フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップＳＴ１０７でフレーム間符号化、すなわちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後、出力される。
【０００５】
このようなビットストリームの復号化処理の例を図１５を参照しつつ以下に説明する。上記ビットストリームが入力すると（ＳＴ１１０）、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されてキーフレームメモリ１０１に蓄積され、その量子化係数が上記ステップＳＴ１０８でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される（ＳＴ１１２）。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記差分符号化方式では、キーフレームと時間的に離間したフレームとの差分符号化を行うため、キーフレームの画質が動画像全体の画質に直接関係することから、キーフレームは高画質のものでなければならず、キーフレームに対してはフレーム内の情報のみで圧縮符号化を行うフレーム内符号化が施される。この結果、動画像の符号化処理量はキーフレームの符号化時に急激に増大し、キーフレームの圧縮符号化データの伝送が遅延したり間欠したりする問題が生じていた。特に動画像をネットワークを通じてリアルタイムに伝送し再生（ストリーミング）する場合は、復号化した動画像の再生速度の変化や画像の間欠が著しく生じることがあった。
【０００７】
このような問題に鑑みて本発明が解決しようとするところは、キーフレームの符号化処理量の急激な増大を抑制し、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にし得る動画像の圧縮符号化方法を想定し、当該圧縮符号化方法にもとづいて時間に沿って生成される圧縮符号化画像信号を、任意の時点から受信し、かつ即時に復号化を開始することを可能にする画像配信方法、画像復号化方法、およびそれらのプログラムを提供する点にある。
【０００８】
【課題を解決するための手段】
本発明のうち第１の態様にかかるものは、順次入力される複数のフレームからなる画像信号を圧縮符号化することにより圧縮符号化画像信号を得るとともに、外部から入力される配信要求信号に応じて前記圧縮符号化画像信号を配信する画像配信方法であって、(a)前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化することにより第１の参照フレームとして記憶する工程と、(b)前記キーフレームの後に入力するフレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定する工程と、(c)前記特定領域に対してフレーム内符号化を実行すると共に、当該フレーム内符号化がなされた前記特定領域を復号化して記憶する工程と、(d)記憶している前記第１の参照フレームを参照することにより、前記工程(b)で分割した前記特定領域を除く前記各ブロック領域に対してフレーム間符号化を実行する工程と、(e)前記工程(b)〜(d)を繰り返し実行するとともに、前記工程(c)を実行するごとに記憶した前記特定領域を、第２の参照フレームとして１フレーム分蓄積する工程と、(f)前記工程(a)〜(e)を繰り返し実行するとともに、前記工程(a)で前記第１の参照フレームを記憶するごとに、すでに記憶している前記第１の参照フレームを更新し、かつ前記工程(e)で前記第２の参照フレームとしての蓄積を行うごとに、すでに記憶している前記第２の参照フレームを更新する工程と、を備えている。
【０００９】
ここで、前記工程(a)は、(a-1)指定した前記キーフレームに対して、記憶している前記第２の参照フレームを参照することにより、フレーム間符号化を実行する工程、を備えており、前記画像配信方法はさらに、(g)前記配信要求信号に応答して、記憶している前記第１および第２の参照フレームを配信し、その後、前記工程(a),(c),および(d)の各々で圧縮符号化された信号が得られるごとに、当該信号を前記圧縮符号化画像信号として配信する工程をさらに備えている。
【００１０】
本発明のうち第２の態様にかかるものは、第１の態様にかかる画像配信方法によって配信される圧縮符号化画像信号を受信しかつ復号化する画像復号化方法であって、(A)前記配信要求信号を送出する工程と、(B)前記配信要求信号に応答して配信される前記第１および第２の参照フレームを記憶する工程と、(C)前記工程(A)および(B)の後に、前記工程(a),(c),および(d)の各々で圧縮符号化された信号が配信されるごとに、(C-1)前記工程(a)で前記キーフレームを圧縮符号化して得られた信号に対して、記憶している前記第２の参照フレームを参照してフレーム間復号化を実行すると共に、当該復号化によって得られた信号によって、すでに記憶している前記第１の参照フレームを更新する工程と、(C-2)前記工程(c)で前記特定領域を圧縮符号化して得られた信号に対して、前記特定領域に対してフレーム内復号化を実行すると共に、当該復号化がなされた前記特定領域を記憶する工程と、(C-3)前記工程(d)で前記特定領域を除く前記各ブロック領域を圧縮符号化して得られた信号に対して、記憶している前記第１の参照フレームを参照してフレーム間復号化を実行する工程と、のうちのいずれかを選択的に実行する工程と、(D)前記工程(C-1)からつぎに実行される前記工程(C-1)までの間に、前記工程(C-2)が繰り返されるごとに記憶された前記特定領域を１フレーム分蓄積することにより、すでに記憶している前記第２の参照フレームを更新する工程と、を備えている。
【００１１】
本発明のうち第３の態様にかかるものは、第１または第２の態様にかかる方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラムである。
【００１２】
【発明の実施の形態】
Ａ．本発明が前提とする基本発明．
はじめに、本発明の前提として想定される基本発明の二つの実施の形態について説明する。これらの実施の形態は、それぞれ実施の形態１および２として記載する。
【００１３】
実施の形態１．
図１〜図３は、基本発明の実施の形態１に係る圧縮符号化方法を実現するためのフローチャートである。このフローチャートを参照しつつ本実施の形態１に係る圧縮符号化方法を以下に詳説する。
【００１４】
ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像センサで時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が本実施の形態１に係る符号化器に入力する（ＳＴ１）。尚、特定領域メモリ２にはフレームｆ１が入力する前に、後に詳述するフレーム１枚分のキーＧＯＢからなる参照フレームｆ０が格納されており、この参照フレームｆ０は後述する実施の形態２に係る復号化器の特定領域メモリ１１に圧縮伝送後、復号化されて格納されている。本実施の形態１の符号化器は入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定しており、入力フレームｆ１がキーフレームである。
【００１５】
先ずステップＳＴ２でそのフレームｆ１はキーフレームか否かを条件判定される。フレームｆ１はキーフレームであるからステップＳＴ３に処理が移行し、図２に示すようにステップＳＴ４で特定領域メモリ２に格納した参照フレームｆ０と入力フレームｆ１との間で画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓが算出され、次いでステップＳＴ５で差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔＰi（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ1｜＋｜ΔＰ2｜＋…＋｜ΔＰn｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつブロック単位で実行される。これ以後の処理も同様である。尚、本実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００１６】
他方、ステップＳＴ５において上記ステップＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合はステップＳＴ７に処理が移行し、入力フレームｆ１はフレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００１７】
尚、フレームの圧縮率を高める観点から、上記フレーム内符号化（ＳＴ７）またはフレーム間符号化（ＳＴ６）を実行する前に入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣbＣr座標系などを使用すればよい。例えば、ＹＣbＣr座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃb，ＣrとからなるＹＣbＣr成分の座標系へと変換される。ＹＣbＣr成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００１８】
次に図１に示すようにステップＳＴ１９に処理が移行し、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）され、キーフレームメモリ１に格納される。よって、キーフレームメモリ１には符号化（ＳＴ６，ＳＴ７）と復号化（ＳＴ８）を通じて量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は後述する復号化器で復号化（フレーム間復号化）の際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００１９】
次に、上記フレームｆ１に続いてフレームｆ２が符号化器に入力すると、ステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。フレームｆ２はキーフレームでは無いからステップＳＴ９に処理が移行し、フレームｆ２は複数のブロック領域（以下、ＧＯＢと呼ぶ。）に分割され、次いでステップＳＴ９でこれらブロック領域（ＧＯＢ）の中から単数または複数の特定領域（以下、キーＧＯＢと呼ぶ。）が指定される。図４（ａ）に４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢに指定されている。図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割され、フレームｆ３の第２段目ＧＯＢ、フレームｆ４の第３段目ＧＯＢ、フレームｆ５の第４段目ＧＯＢがそれぞれキーＧＯＢに指定される。図５に示すようにこのようなフレームｆ１〜ｆ５は時間軸に沿って配列している。
【００２０】
次にステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割したブロック毎に順次処理される。ステップＳＴ１１では処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２で当該ブロックは上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後に特定領域メモリ２に蓄積される。
【００２１】
他方、上記ステップＳＴ１１でブロックがキーＧＯＢに属しない場合はステップＳＴ１４のサブルーチンに処理が移行し、図３に示すようにステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１に格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いでステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ１に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図１に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００２２】
次に上記フレームｆ２に続いて符号化器に入力するフレームｆ３，ｆ４，…も、キーフレームが入力する迄はフレームｆ２の場合と同様に処理される。よって、上記ステップＳＴ１３で復号化されたキーＧＯＢ１〜４が特定領域メモリ２にフレーム１枚分蓄積され、図５に模式的に図示するようにキーＧＯＢ１〜４は特定領域メモリ２で参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００２３】
このように本実施の形態１に係る圧縮符号化方法では、上記ステップＳＴ３で特定領域メモリ２に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できるという効果が得られる。特にインターネットなどの帯域幅が制限された伝送路ではその効果が発揮される。
【００２４】
また特定領域メモリ２では複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。本実施の形態１ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００２５】
実施の形態２．
次に、基本発明の実施の形態２に係る復号化方法を以下に詳説する。図６は、本実施の形態２に係る復号化方法を実現するためのフローチャートである。
【００２６】
上記実施の形態１で符号化した圧縮画像データはビットストリームとなって本実施の形態２に係る復号化器に入力する（ＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。すなわち、上記符号化器から本実施の形態２に係る復号化器に上記フレームｆ１，ｆ２，…の圧縮データが順次入力するから、ステップＳＴ２１でキーフレームｆ１の圧縮データに対して、上記実施の形態１のステップＳＴ３のフレーム内符号化あるいはフレーム間符号化の復号化処理が８×８画素や１６×１６画素程度のブロック単位で施される。キーフレームｆ１の圧縮データを復号化する際、予め特定領域メモリ１１に格納した参照フレームｆ０が利用される。また復号化したキーフレームｆ１は、キーフレームメモリ１０に格納される。
【００２７】
また、キーフレームの圧縮データに続いて復号化器に入力するフレームｆ２，ｆ３，…の圧縮データに対して、上記実施の形態１のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理が上記ブロック単位で施される。フレーム間符号化の復号化処理を行う際は、キーフレームメモリ１０に格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位であるブロックがキーＧＯＢに属する場合は当該ブロックは特定領域メモリ１１に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡが合成され、後に復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図４（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データが復号化器に入力する場合、各キーＧＯＢを構成するブロックの圧縮データはフレーム内復号化を施された後に特定領域メモリ１１に順次蓄積され、参照フレームＡを再構成する。
【００２８】
このようにステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像表示した場合、上記符号化器でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。かかる場合を防ぐべく、本実施の形態２は図６に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を備えることが特徴である。
【００２９】
図７は、キーＧＯＢ再量子化処理を示すフローチャートである。図７に示すように、先ず８×８画素または１６×１６画素程度のブロックが入力する（ＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定され、当該ブロックがキーＧＯＢに属しない場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。他方、当該ブロックがキーＧＯＢに属する場合はステップＳＴ３２に処理が移行し、キーフレームメモリ１０に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。
【００３０】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合はステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。次に、ステップＳＴ３８でキーフレームメモリ１０に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００３１】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図６に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。以上のキーＧＯＢ再量子化工程を図４に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図８に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格納したキーフレームとの差分をとられる。次に上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、すなわちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００３２】
このように本実施の形態２によれば、上記実施の形態１に係る圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００３３】
Ｂ．本発明の実施の形態．
つぎに、上記した基本発明を前提とする本発明の実施の形態について説明する。
【００３４】
（画像配信システムの概略）
図９は、本発明の実施の形態による画像配信システムの構成を示すブロック図である。この画像配信システム１２０は、画像配信装置２０、通信回線４０、および端末装置３０を備えている。画像配信装置２０は、図１に示した実施の形態１による圧縮符号化方法を実行し、ビットストリームの形式で圧縮符号化画像信号を生成し通信回線４０へ出力する。端末装置３０は、通信回線４０を通じて画像配信装置２０へ接続されることにより、画像配信装置２０が時間に沿って出力する圧縮符号化画像信号を、図６に示した実施の形態２による画像復号化方法にもとづいて復号化する。画像配信装置２０および端末装置３０はさらに、端末装置３０のユーザが指定する任意の時点から、圧縮符号化画像信号が端末装置３０へ受信開始され、かつ即時に復号化が開始可能となるように構成されている。通信回線４０の一例は、ＬＡＮあるいはインタネット等のネットワークである。なお本明細書では、基本発明による符号化方法および復号化方法を、「ＳＲＶＣ(Super Real Video Codec)方式」と仮称する。
【００３５】
図５が示したように、画像配信装置２０が出力するＳＲＶＣ方式にもとづく圧縮符号化画像信号では、一つのキーフレームからつぎのキーフレームの直前のフレームまでが、一つのフレーム群を構成する。一つのフレーム群には、キーフレームおよびこれに後続する複数の非キーフレームが含まれる。非キーフレームは、図４に例示したように、フレーム内の特定領域であるキーＧＯＢを有している。非キーフレームのうち、キーＧＯＢ（特定領域）を除いた領域である非特定領域（例えば、図４においてＧＯＢと記載される領域）は、同一のフレーム群に属するキーフレームを参照フレーム（「第１の参照フレーム」とも称する）としてフレーム間符号化されている。したがって非キーフレームは、同一のフレーム群に属するキーフレームとの差分画像であり、当該キーフレームに依存している。また、非キーフレームに含まれるキーＧＯＢは、つぎのフレーム群に属するキーフレームのフレーム間符号化のために参照フレーム（「第２の参照フレーム」とも称する）として用いられ、当該キーフレームは、これらキーＧＯＢの１フレーム分の集合との差分画像となっている。すなわち、キーフレームは前のフレーム群に属する非キーフレームに依存している。
【００３６】
以上のように、ＳＲＶＣ方式にもとづく圧縮符号化画像信号では、すべてのフレームは互いに補完関係にある。時間に沿って出力される圧縮符号化画像信号を端末装置３０が先頭から受信する場合には、先頭のキーフレームについてのみフレーム内符号化を行うことにより、何らの問題をも生じることなく復号化を達成することができる。しかしながら、端末装置３０が圧縮符号化画像信号を中途から受信する場合には、受信開始後の各フレームがいずれも他のフレームに依存しているために、受信した各フレームの復号化を単独で行うことはできない。
【００３７】
例えば複数枚のキーフレームごとに１枚の比率で、キーフレームに対してフレーム内符号化を行うならば、端末装置３０は、圧縮符号化画像信号を中途から受信し、かつ復号化することが可能となる。しかしながらこの場合には、受信を開始した後、フレーム内符号化された最初のキーフレームを受信するまでは、復号化の開始を待つ必要がある。このような応答性の問題を解消するために、画像配信装置２０は、要求に応じて端末装置３０への配信を開始すると、復号化に必要なデータを最初に配信する。端末装置３０は、最初に受信したデータにもとづいて、その後に受信する圧縮符号化画像信号の復号化を直ちに開始する。以下に、画像配信装置２０および端末装置３０について、それらの構成および動作手順について詳細に説明する。
【００３８】
（画像配信システムの構成）
図１０は、画像配信装置２０の構成を示すブロック図である。この画像配信装置２０は、画像配信装置本体部２１およびカメラ２２を備えている。画像配信装置本体部２１は、ビデオデコーダ２３、圧縮部２４、画像記録部２５、インタフェース２６、制御部２７、ワークメモリ２９、およびこれらを互いに接続するバスライン２８を備えている。
【００３９】
カメラ２２で撮像することにより得られる画像信号は、ビデオデコーダ２３によって、アナログ形式からデジタル形式へ変換される。ビデオデコーダ２３が出力するデジタル形式の画像信号は、圧縮部２４によって圧縮符号化される。
【００４０】
ワークメモリ２９は、圧縮符号化処理の過程で一時的に画像信号を保持するためのメモリであり、図１に示したキーブロックメモリ（特定領域メモリ）２およびキーフレームメモリ１を含んでいる。圧縮部２４が出力する圧縮符号化画像信号は、画像記録部２５へストアされるとともにインタフェース２６へ送られる。インタフェース２６は、外部の通信回線４０へ接続されることにより、圧縮部２４が出力する圧縮符号化画像信号を通信回線４０へ送出する。
【００４１】
制御部２７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵで構成され、各要素２３〜２６，２９を制御する機能を果たしている。制御部２７がＣＰＵで形成される場合には、画像記録部２５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。圧縮部２４は、例えば画像信号の圧縮をハードウェアのみで実行する半導体チップ（ＬＳＩ）で構成される。画像配信装置本体部２１に含まれる要素２３〜２７，２９は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００４２】
以上のように、画像配信装置２０では、カメラ１から入力される画像信号に同期して、すなわちリアルタイムで、圧縮符号化画像信号を通信回線４０へ出力することが可能なように構成されている。また、圧縮符号化画像信号をストアする記録部５が備わるので、目的および条件に応じて、圧縮符号化画像信号の配信だけでなく記録をも行うことができる。
【００４３】
図１１は、端末装置３０の内部構成を示すブロック図である。端末装置３０は、端末装置本体部３１およびモニタ３２を備えている。端末装置本体部３１は、インタフェース３３、伸張部３４、画像記憶部３５、ビデオエンコーダ３６、制御部３７、および、これらを互いに接続するバスライン３８を備えている。インタフェース３３は、通信回線４０に接続されることにより、通信回線４０を媒介して画像配信装置２０との通信を行う。伸張部３４は、インタフェース３３が受信する圧縮符号化画像信号を復号化する。ビデオエンコーダ３６は、伸張部３４で復号化された画像信号を、デジタル形式からアナログ形式へ変換する。ビデオエンコーダ３６が出力するアナログ画像信号は、モニタ３２へ入力される。モニタ３２は、入力されたアナログ画像信号を画面に表示する。
【００４４】
制御部３７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵで構成され、各要素３３〜３６，３９を制御する機能を果たしている。制御部３７は、ＣＰＵに代えて、ハードウェアのみで構成されるＬＳＩで構成されても良い。画像記憶部３５は、伸張部３４による処理の過程で一時的に画像信号を保持するためのワークメモリであり、図６に示したキーブロックメモリ（特定領域メモリ）１１およびキーフレームメモリ１０を含んでいる。制御部３７がＣＰＵで形成される場合には、画像記憶部３５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。伸張部３４は、例えば圧縮符号化画像信号の復号化をハードウェアのみで実行する半導体チップ（ＬＳＩ）で構成される。端末装置本体部３１に含まれる要素３３〜３７，３９は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００４５】
（画像配信システムの動作）
図１２は画像配信装置２０の動作手順を示すフローチャートであり、図１３は、端末装置３０の動作手順を示すフローチャートである。端末装置３０に対してユーザが所定の接続指示を行うと、端末装置３０のインタフェース３３が通信回線４０を通じて画像配信装置２０のインタフェース２６へ接続され、図１２および図１３の処理が開始される。通常においては、画像配信装置２０は図１２の処理に先立って図１に示す処理をすでに開始しており、図１に示す処理にもとづいて、例えば他の端末装置（顧客）へ配信が行われつつある中で、新たな顧客である端末装置３０との間で図１２の処理が並行して開始される。
【００４６】
図１２および図１３の処理が開始されると、まず端末装置３０から画像配信装置２０へ配信要求信号が送られる（ステップＳＴ５０；図１３）。この配信要求信号は画像配信装置２０によって受信される（ステップＳＴ４０；図１２）。すると、画像配信装置２０は、キーブロックメモリ２（図１）に蓄積されている１フレーム分のキーＧＯＢ、すなわち第２の参照フレームと、キーフレームメモリ１（図１）に記憶されるキーフレーム、すなわち第１の参照フレームとを読出し、端末装置３０へ配信する（ステップＳＴ４１；図１２）。ステップＳＴ４１の処理が終了すると、図１２の処理は完了する。
【００４７】
ステップＳＴ４１の処理によって配信された第１および第２の参照フレームは、端末装置３０によって受信される（ステップＳＴ５１；図１３）。つづいて端末装置３０は、受信した第１および第２の参照フレームを、それぞれキーフレームメモリ１０およびキーブロックメモリ１１へ記憶する（ステップＳＴ５２；図１３）。ステップＳＴ５２の処理が終了すると、図１３の処理は完了する。
【００４８】
図１２および図１３の処理が完了すると、画像配信装置２０は、すでに実行しつつある図１の手順に沿った処理の中で生成される圧縮符号化画像信号を、端末装置３０へ配信する。配信される圧縮符号化画像信号は、端末装置３０によって受信され、図６の手順に沿って処理される。
【００４９】
以上のように、画像配信装置２０は、端末装置３０からの配信要求信号に応答して、記憶している第１および第２の参照フレームを配信し、端末装置３０はこれらを記憶することにより、その後に配信される圧縮符号化画像信号の復号化を直ちに開始することができる。すなわち、端末装置３０は、画像配信装置２０が生成する圧縮符号化画像信号を、任意の時点から受信することが可能であり、かつ受信開始後に待ち時間なしで即時に復号化を開始することができる。
【００５０】
なお、端末装置３０は、好ましくは図６の処理を、各フレームに対して連続的に行うものであり、例えばステップＳＴ２２の処理が一つのフレームに対して行われているときに、つぎのフレームに対してステップＳＴ２０の処理が同時に行われることも有り得る。すなわち望ましくは、端末装置３０は圧縮符号化画像信号に対する処理を、パイプライン処理の形式で実行する。このことは、画像配信装置２０が実行する図１の処理についても同様である。図１および図６は、画像信号に対して行われるパイプライン処理について、任意の１フレームに着目して、当該フレームに対する処理の流れを示したものである。一つのフレームに対する処理の終了時点とつぎのフレームに対する開始時点との間の時間的前後関係を無視すれば、図１および図６の処理は、１フレーム毎に反復的に実行される。
【００５１】
【発明の効果】
本発明のうち第１の態様にかかる方法では、外部からの配信要求信号に応答して、記憶している第１および第２の参照フレームを配信し、圧縮符号化された信号がその後に得られるごとに、当該信号を配信するので、配信要求を行った外部の端末装置等は、最初に配信される第１および第２の参照フレームにもとづいて、その後に配信される信号を直ちに復号化することができる。すなわち、端末装置等は本態様にかかる方法によって生成される圧縮符号化画像信号を、任意の時点から受信することが可能であり、かつ受信開始後に待ち時間なしで即時に復号化を開始することができる。
【００５２】
本発明のうち第２の態様にかかる方法では、配信要求信号を送出した後に最初に配信される第１および第２の参照フレームを記憶し、これらの第１および第２の参照フレームにもとづいて、その後に配信される信号を復号化する。したがって、第１の態様にかかる画像配信方法によって生成される圧縮符号化画像信号を、任意の時点から受信することが可能であり、かつ受信開始後に待ち時間なしで即時に復号化を開始することができる。
【００５３】
本発明のうち第３の態様にかかるプログラムでは、コンピュータに搭載することにより、第１または第２の態様にかかる方法を実行することができる。
【図面の簡単な説明】
【図１】本発明の前提となる基本発明の実施の形態１に係る符号化方法を実現するフローチャートである。
【図２】実施の形態１に係る符号化方法を実現するフローチャートである。
【図３】実施の形態１に係る符号化方法を実現するフローチャートである。
【図４】４つのブロック領域に分割された各フレームを示す説明図である。
【図５】実施の形態１に係る符号化方法を説明するための模式図である。
【図６】本発明の前提となる基本発明の実施の形態２に係る復号化方法を実現するフローチャートである。
【図７】実施の形態２に係る再量子化処理を説明するためのフローチャートである。
【図８】実施の形態２に係る復号化方法を説明するための模式図である。
【図９】本発明の実施の形態に係る画像配信システムの構成を示すブロック図である。
【図１０】図９の画像配信装置の構成を示すブロック図である。
【図１１】図９の端末装置の構成を示すブロック図である。
【図１２】図１０の画像配信装置の動作手順を示すフローチャートである。
【図１３】図１１の端末装置の動作手順を示すフローチャートである。
【図１４】従来の符号化方法を説明するためのフローチャートである。
【図１５】従来の復号化方法を説明するためのフローチャートである。
【符号の説明】
１  キーフレームメモリ
２  特定領域メモリ
１０  キーフレームメモリ
１１  特定領域メモリ
Ａ  参照フレーム
ｆ１  キーフレーム
【図１】
0004451022.tif 000002
【図２】
0004451022.tif 000003
【図３】
0004451022.tif 000004
【図４】
0004451022.tif 000005
【図５】
0004451022.tif 000006
【図６】
0004451022.tif 000007
【図７】
0004451022.tif 000008
【図８】
0004451022.tif 000009
【図９】
0004451022.tif 000010
【図１０】
0004451022.tif 000011
【図１１】
0004451022.tif 000012
【図１２】
0004451022.tif 000013
【図１３】
0004451022.tif 000014
【図１４】
0004451022.tif 000015
【図１５】
0004451022.tif 000016