(57)【要約】【課題】映像中の影領域に起因する予測残差の増大を抑制することにより、符号化効率を向上させる。【解決手段】一連の入力画像ＩＮ１からなる映像を符号化する映像符号化装置であって、入力画像ＩＮ１中の前景領域、背景画像、及び前景領域によって背景画像上に投影されている影領域を検出する検出部１０ａと、影領域の情報量を圧縮するための圧縮処理を実行する影情報圧縮部２ａと、前景領域、背景画像、及び圧縮処理された影領域の情報を符号化する符号化部４ａとを備える。【選択図】図１
2007180808.tif 000002
【特許請求の範囲】
【請求項１】
一連の入力画像からなる映像を符号化する映像符号化装置であって、
前記入力画像中の前景領域、背景画像、及び前記前景領域によって前記背景画像上に投影されている影領域を検出する検出部と、
前記影領域の情報量を圧縮するための圧縮処理を実行する影情報圧縮部と、
前記前景領域、前記背景画像、及び前記圧縮処理された前記影領域の情報を符号化する符号化部
とを備えることを特徴とする映像符号化装置。
【請求項２】
前記検出部が、前記前景領域の形状情報を作成する形状情報作成部を備え、
前記影情報圧縮部が、
前記前景領域及び前記影領域の相対位置関係を特定する特定部と、
前記背景画像に対する前記影領域の輝度減衰率を算出する算出部
とを備え、前記符号化部が、前記形状情報、前記相対位置関係の情報、及び前記輝度減衰率の情報を符号化することを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
前記影情報圧縮部が、前記影領域の消去、前記影領域の色の変更、前記影領域の形状の変更、及び前記影領域の更新タイミングの変更のうちの少なくとも１つを前記圧縮処理として実行することを特徴とする請求項１に記載の映像符号化装置。
【請求項４】
前景領域、背景画像、前記前景領域によって前記背景画像上に投影されている影領域とを含む各画像が符号化された符号化ビットストリームを入力として、映像を復号化する映像復号化装置であって、
前記符号化ビットストリームから、前記背景画像、前記前景領域の形状情報、前記前景領域及び前記影領域の相対位置関係の情報、及び前記背景画像に対する前記影領域の輝度減衰率の情報を復号化する復号化部と、
前記形状情報及び前記相対位置関係の情報から前記影領域の形状情報を復元し、前記背景画像及び前記輝度減衰率の情報から前記影領域の絵柄情報を復元する復元部
とを備えることを特徴とする映像復号化装置。
【請求項５】
一連の入力画像からなる映像を符号化する映像符号化方法であって、
前記入力画像中の前景領域、背景画像、及び前記前景領域によって前記背景画像上に投影されている影領域を検出するステップと、
前記影領域の情報量を圧縮するための圧縮処理を実行するステップと、
前記前景領域、前記背景画像、及び前記圧縮処理された前記影領域の情報を符号化するステップ
とを含むことを特徴とする映像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像符号化技術に関し、特にＭＰＥＧ等のフレーム間予測を用いる映像符号化方式に適用可能な映像符号化装置、映像復号化装置、及び映像符号化方法に関する。
【背景技術】
【０００２】
ＭＰＥＧ方式等の映像符号化技術では、空間的情報量削減にＤＣＴ等の直交変換を利用し、時間的情報量削減には動き補償（ＭＣ）を利用する。一般的なＭＣは、動きベクトルを用いたフレーム間予測、即ち現画像と予測画像の差分（予測残差）を符号化することで実行される（例えば、非特許文献１参照。）。よって、予測残差が大きくなるほど、ＤＣＴ係数等の符号量が増大して符号化効率が低下する。更に、ＭＰＥＧ４では、画像中の被写体となる物体（オブジェクト）を認識し、物体毎の形状情報を符号化する「形状符号化技術」が採用されている（例えば、非特許文献２参照。）。ＭＰＥＧ４においては、１つのシーンを構成する物体と背景を分離して、前景及び背景に異なる符号化処理を実行可能である。背景については、ＭＰＥＧ２と同様に輝度及び色合いを示す絵柄（画素値）情報のみに対する符号化が行われるが、前景については絵柄情報に加えて形状情報が符号化される。
【０００３】
しかしながら、映像中で背景画像上を移動する前景物体の領域（以下、「前景領域」という。）に応じて、前景領域の影の領域（以下、「影領域」という。）も背景画像上を移動する。この結果、影領域が新たに投影される領域と影領域が投影されなくなった領域の予測残差が大きくなる。よって、予測残差の増大により、映像の符号化効率が低下する。前景領域及び影領域が平行移動する場合に限らず、前景領域が背景画像に近づいたり、カメラ位置が移動したりする場合も同様の問題が発生する。
【非特許文献１】Peter Pirsch，“VLSI architectures for Video Compression-A Survey”，PROCEEDINGS OF THE IEEE，（米国），ＩＥＥＥ，１９９５年２月，Ｖｏｌ．８３，Ｎｏ．２，ｐ．２２０−２４６
【非特許文献２】Po-chih Tseng 他，“Advances in Hardware Architectures for Image and Video Coding-A Survey”，PROCEEDINGS OF THE IEEE，（米国），ＩＥＥＥ，２００５年１月，Ｖｏｌ．９３，Ｎｏ．１，ｐ．１８４−１９７
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、映像中の影領域に起因する予測残差の増大を抑制することにより、符号化効率を向上させることが可能な映像符号化装置、映像復号化装置、及び映像符号化方法を提供する。
【課題を解決するための手段】
【０００５】
本発明の一態様によれば、一連の入力画像からなる映像を符号化する映像符号化装置であって、入力画像中の前景領域、背景画像、及び前景領域によって背景画像上に投影されている影領域を検出する検出部と、影領域の情報量を圧縮するための圧縮処理を実行する影情報圧縮部と、前景領域、背景画像、及び圧縮処理された影領域の情報を符号化する符号化部とを備える映像符号化装置が提供される。
【０００６】
本発明の他の態様によれば、前景領域、背景画像、前景領域によって背景画像上に投影されている影領域とを含む各画像が符号化された符号化ビットストリームを入力として、映像を復号化する映像復号化装置であって、符号化ビットストリームから、背景画像、前景領域の形状情報、前景領域及び影領域の相対位置関係の情報、及び背景画像に対する影領域の輝度減衰率の情報を復号化する復号化部と、形状情報及び相対位置関係の情報から影領域の形状情報を復元し、背景画像及び輝度減衰率の情報から影領域の絵柄情報を復元する復元部とを備える映像復号化装置が提供される。
【０００７】
本発明の更に他の態様によれば、一連の入力画像からなる映像を符号化する映像符号化方法であって、入力画像中の前景領域、背景画像、及び前景領域によって背景画像上に投影されている影領域を検出するステップと、影領域の情報量を圧縮するための圧縮処理を実行するステップと、前景領域、背景画像、及び圧縮処理された影領域の情報を符号化するステップとを含む映像符号化方法が提供される。
【発明の効果】
【０００８】
本発明によれば、映像中の影領域に起因する予測残差の増大を抑制することにより、符号化効率を向上させることが可能な映像符号化装置、映像復号化装置、及び映像符号化方法を提供できる。
【発明を実施するための最良の形態】
【０００９】
次に、図面を参照して、本発明の第１〜第３実施形態を説明する。以下の第１〜第３実施形態における図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【００１０】
（第１実施形態）
本発明の第１実施形態に係る映像符号化装置は、図１に示すように、一連の入力画像ＩＮ１からなる映像を符号化する映像符号化装置であって、入力画像ＩＮ１中の前景領域、背景画像、及び前景領域によって背景画像上に投影されている影領域を検出する検出部１０ａと、影領域の情報量を圧縮するための圧縮処理を実行する影情報圧縮部２ａと、前景領域、背景画像、及び圧縮処理された影領域の情報を符号化する符号化部４ａとを備える。ここで「前景領域」とは、入力画像ＩＮ１における撮影対象である物体の領域を意味する。「背景画像」とは、入力画像ＩＮ１において前景領域及び影領域を除く背景の画像を意味する。「影領域」とは、入力画像ＩＮ１において前景領域によって照明光が遮られることで背景画像上に投影される影の領域を意味する。
【００１１】
図２（ａ）及び（ｂ）に示すように、前景領域の移動に応じて影領域も移動する。尚、図２（ｂ）に示すフレーム２は、図２（ａ）に示すフレーム１よりも時間的に後のフレームであり、図面上で右上方から照明光が照射されている場合を想定している。一般的に影領域は、前景領域と同様の形状を有し、背景画像の輝度を低下させた絵柄を有する。よって、影情報圧縮部２ａは、影領域が前景領域と同様の形状を有し、背景画像の輝度を低下させた絵柄を有することを利用した圧縮処理を実行する。
【００１２】
検出部１０ａは、背景画像推定部３ａ、形状情報作成部１ａ、及び物体抽出部５ａを備える。背景画像推定部３ａは入力画像ＩＮ１の背景画像を推定する。物体抽出部５ａは、背景画像推定部３ａが推定した背景画像に基づいて、入力画像ＩＮ１中の物体、即ち前景領域及び影領域を抽出する。形状情報作成部１ａは、前景領域及び影領域の形状情報を作成する。「形状情報」とは、物体の形状を表す情報であり、例えば１画素当たり１ビットである。背景画像推定部３ａ、形状情報作成部１ａ、及び物体抽出部５ａの各動作の詳細については後述する。
【００１３】
また、影情報圧縮部２ａは、形状情報作成部１ａが作成した形状情報に基づき、前景領域及び影領域の相対位置関係を特定する特定部２１と、背景画像に対する影領域の輝度減衰率を算出する算出部２２とを備える。この結果、影領域の情報を高精度に得ることができる。相対位置関係及び輝度減衰率の情報は符号化部４ａによって符号化される。特定部２１が特定する相対位置関係には、拡大又は縮小率、回転の中心、回転角度、及び回転方向等の情報が含まれていても良い。
【００１４】
更に、前景領域の形状情報と相対位置関係を符号化することで、復号化側では、前景領域の形状情報から影領域の形状情報を得ることが可能となる。更に、背景画像及び輝度減衰率の情報を符号化することで、復号化側では、背景画像から影領域の絵柄情報を得ることが可能となる。したがって、影領域についての符号量を大幅に削減できる。
【００１５】
符号化部４ａは、形状符号化技術を用いる映像符号化方式、例えばＭＰＥＧ４等に準拠した構成を有する。具体的には符号化部４ａは、合成部１１ｂ、減算器４１ａ、離散コサイン変換（ＤＣＴ）部４２ａ、量子化部４３ａ、逆量子化部４４ａ、逆離散コサイン変換（ＩＤＣＴ）部４５ａ、加算器４６ａ、フレームメモリ４７ａ、動き補償部４８ａ、動き検出部４９ａ、動きベクトル予測部５０ａ、及び可変長符号化部５１ａを備える。可変長符号化部５１ａは、形状符号化部５１１及び多重化部５１２を備える。
【００１６】
符号化部４ａに入力された入力画像ＩＮ１は、複数のブロックに分割された後、ブロック位置順に減算器４１ａに供給される。ここで「ブロック」とは、例えば１６×１６画素の正方領域であるマクロブロック、又はマクロブロックを更に分割したサブマクロブロック等を意味する。
【００１７】
合成部１１ａは、背景画像推定部３ａが推定した背景画像の情報と、物体抽出部５ａが抽出した前景領域の情報と、影情報圧縮部２ａが作成した影領域の情報を合成する。合成部１１ａの合成処理によって得られた画像は予測画像として、減算器４１ａにて入力画像ＩＮ１との差分値（予測残差）が算出される。
【００１８】
ＤＣＴ部４２ａは、形状情報に応じて、差分値をＤＣＴ係数に変換した後、量子化部４３ａに供給する。量子化部４３ａは、ＤＣＴ係数を量子化して変換係数を出力する。量子化部４３ａにて量子化されて得られた変換係数は、可変長符号化部５１ａにおいて可変長符号化されると共に、逆量子化部４４ａに供給される。
【００１９】
逆量子化部４４ａに供給された変換係数は、逆量子化された後、ＩＤＣＴ部４５ａにおいて逆変換される。そして、加算器４６ａにおいて動き補償部４８ａより供給される予測画像と加算され、ローカルデコード画像として出力されて、再び動き補償部４８ａに入力される。動き補償部４８ａでは、形状情報に応じて、動き補償した画像を合成部１１ａに供給する。また、動きベクトル予測部５０ａは、動きベクトルについての符号量を削減するため、ブロック毎の動きベクトル間の差分ベクトルを算出する。
【００２０】
また、形状符号化部５１１は、形状情報を符号化し、符号化された形状情報を多重化部５１２に供給する。尚、形状符号化部５１１は、形状情報を符号化する際に、形状情報の倍率等の情報を多重化部５１２に出力する機能を有する。多重化部５１２は、符号化された形状情報及び変換係数を、差分ベクトル等の情報と共に多重化して、符号化ビットストリームＯＵＴ１を出力する。
【００２１】
このように、影情報圧縮部２ａが影領域の情報を高精度に作成するので、予測画像も高精度に作成可能となる。この結果、入力画像ＩＮ１と予測画像との差分である予測残差を削減できる。
【００２２】
次に、図３に示すフローチャートを参照して、図１に示す映像符号化装置の動作を説明する。尚、一連の入力画像ＩＮ１（１つのシーン）においては各入力画像ＩＮ１が同様な背景画像を有することを前提としている。映像符号化装置は、例えば、
（１）背景画像を推定する処理（ステップＳ１０１〜Ｓ１０４）
（２）背景画像を符号化する処理（ステップＳ１０５）
（３）形状情報を作成する処理（ステップＳ１０６〜Ｓ１０８）
（４）影領域の情報量を圧縮するための圧縮処理を実行する処理（ステップＳ１０９，Ｓ１１０）
（５）背景画像、前景領域、及び影領域の各情報を合成する処理（ステップＳ１１１）
（６）予測残差及び圧縮処理された影領域の情報を符号化する処理（ステップＳ１１２）
の各処理を実行する。
【００２３】
先ず、ステップＳ１０１において、動き検出部４９ａが、図４（ａ）に示すように、フレームメモリ４７ａに予め格納されている画像を参照してブロック単位で動き検出を行う。更に、動き検出部４９ａは、動きベクトルの近似する複数のブロックを１つのグループとし、例えばグループ内の各ブロックの動きベクトルを平均化することで、グループ毎の動きベクトルを計算する。一例として、図５に示すように、あるブロックの動きベクトルを基準ベクトルＶｒｅｆとして、基準ベクトルＶｒｅｆと比較対象の動きベクトルＶ１＿１，Ｖ１＿２，及びＶ１＿３との差分ベクトルＶｄｉｆ＿１，Ｖｄｉｆ＿２，及びＶｄｉｆ＿３が算出される。各差分ベクトルＶｄｉｆ＿１，Ｖｄｉｆ＿２，及びＶｄｉｆ＿３が判定領域内であるか否かが判定され、差分ベクトルが判定領域内である動きベクトル、即ち動きベクトルＶ１＿１及びＶ１＿２がグループ化及び平均化される。
【００２４】
ステップＳ１０２において、物体抽出部５ａが、ステップＳ１０１で得られたグループ毎の動きベクトルを用いて予測画像を作成し、作成した予測画像と、入力画像ＩＮ１の差分値を画素毎に計算する。更に、物体抽出部５ａは、算出された差分値を閾値と比較する。ブロック内に前景領域と背景画像の境界が存在し、且つ前景領域と背景画像の動きが異なるとき、前景領域と背景画像のうち、適切な動きベクトルを使っている方の領域の差分値は小さく、適切な動きベクトルを使っていない方の差分値は大きくなる。そこで、画素毎の差分値が閾値以下の領域と以上の領域に分けることで物体の形状を検出する。尚、背景画像と前景領域が同じ動きをしている場合は、この方法では物体抽出できないが、もともと予測残差が非常に小さいため、本方式を適用するまでもなく符号化効率が高いので問題ない。
【００２５】
ステップＳ１０３において、物体抽出部５ａが、ステップＳ１０４で検出された物体の形状に基づいて物体の移動を検知する。物体の移動が検知された場合、ステップＳ１０４に進む。物体の移動が検知されない場合、ステップＳ１０１に処理が戻る。
【００２６】
ステップＳ１０４において、背景画像推定部３ａが、物体の移動を追跡し、物体の絵柄の変化しない領域を前景領域、現れたり隠れたりする絵柄のある領域を背景画像と推定する。更に、物体の絵柄が変化し、且つ背景に囲まれている領域があるときはこれを影領域と仮定し、現れたり隠れたりしている領域の画素値を元に影領域の輝度の減衰率を計算し、影領域の画素に対してこの減衰率で割ることにより背景画像の画素値を得る。このようにして得られた画素値と、現れたり隠れたりしている領域の画素値との差分値が閾値以上のときは、影領域ではなく、前景領域の絵柄が変化していると判定する。また、背景画像推定部３ａは、各入力画像ＩＮ１中の背景画像の画素を元に前景領域に隠された部分を推定して、得られる画素を元々の背景画像の画素と合成することで、背景画像を得る。一例として、図４（ａ）に示すフレーム１における前景領域が図４（ｂ）に示すように移動した場合、図４（ｂ）で新たに現れた背景画像をフレーム１の背景画像に合成すると、図４（ｃ）に示す背景画像を得ることができる。尚、図４（ｃ）に示すように、背景画像の絵柄が検出されない領域が残ることがあるが、この部分はここまでに入力された入力画像ＩＮ１に出現していないことを意味し、入力画像ＩＮ１の符号化で参照する必要がないので適当な値で問題ない。但し、後の処理で、前景領域との画素の差分値が大きいことが必要になるので、これが保証される適当な色で埋めておく。
【００２７】
ステップＳ１０５において、符号化部４ａが、ステップＳ１０４で得られた背景画像を符号化し、符号化ビットストリームＯＵＴ１として出力する。符号化方法としてはフレーム内符号化が使用できる。
【００２８】
ステップＳ１０６において、動き検出部４９ａが、ステップＳ１０４で得られた背景画像を参照画像として、入力画像ＩＮ１のブロック単位で動き検出を行う。ステップＳ１０６の詳細な処理はステップＳ１０１と同様である。
【００２９】
ステップＳ１０７において、物体抽出部５ａが、ステップＳ１０６での動き検出の結果を元に前景領域と影領域を抽出する。ステップＳ１０７の詳細な処理はステップＳ１０２と同様である。
【００３０】
ステップＳ１０８において、形状情報作成部１ａが、前景領域と影領域の形状情報を作成する。具体的には、予測残差が大きいブロックに対して、前景領域又は影領域の一部又は全部を含むと仮定し、画素単位で背景画像と入力画像ＩＮ１の差分を計算し、差分が閾値以上の領域を前景領域又は影領域の画素として、前景領域と影領域の形状情報を作成する。物体と影領域の判別は、過去の推定結果、例えばステップＳ１０４の結果を元に判断する。
【００３１】
ステップＳ１０９において、特定部２１が、前景領域と影領域の形状情報の間でマッチング処理を実行し、前景領域及び影領域の相対位置関係等を特定する。即ち、形状情報間で動き検出と同様の処理を行い、差の絶対値の総和（ＳＡＤ）が最小となる位置を計算することにより、物体とその影領域の相対位置関係を特定する。この総和が予め決めた閾値よりも大きい場合は、平行移動の関係ではないと判断し、物体の形状情報に対して、拡大、縮小、回転等を行ったビットマップで差の絶対の総和を計算し、これが最小となる場合に基づいて、位置、拡大縮小率、回転の中心、回転角度、及び回転方向等を特定する。
【００３２】
ステップＳ１１０において、算出部２２が、背景画像に対する影領域の輝度減衰率を算出する。尚、輝度減衰率は、ステップＳ１０４の結果を用いても良い。また、ステップＳ１１０は、ステップＳ１０９よりも前又はステップＳ１０９と同時であっても構わない。
【００３３】
ステップＳ１１１において、合成部１１ａが、ステップＳ１０４で得られた背景画像の情報と、ステップＳ１０７で得られた前景領域の情報と、ステップＳ１０９及びＳ１１０で得られた影領域の情報を合成する。合成処理によって得られた画像は予測画像として減算器４１ａに供給され、入力画像ＩＮ１との差分（予測残差）が算出される。
【００３４】
ステップＳ１１２において、符号化部４ａのＤＣＴ部４２ａ、量子化部４３ａ、及び可変長符号化部５１ａは、ステップＳ１１１で算出された予測残差を符号化する。  ステップＳ１０９で得られた相対位置関係の情報及びステップＳ１１０で得られた輝度減衰率の情報は、可変長符号化部５１ａで符号化される。ステップＳ１０８で得られた前景領域の形状情報は、形状符号化部５１１によって符号化される。このようにして符号化された各種情報は、多重化部５１２で多重化されて、符号化ビットストリームＯＵＴ１として出力される。尚、背景画像も時間を追って徐々に変化するので、変化に応じた差分画像を符号化することが好ましい。
【００３５】
ステップＳ１１３において、符号化処理を終了するか否かが判定される。入力画像ＩＮ１の符号化処理を終了すると判定された場合、符号化処理が終了する。符号化処理を終了しないと判定された場合、ステップＳ１１３に進む。
【００３６】
ステップＳ１１４において、入力画像ＩＮ１におけるシーンの切り替わりが検出される。シーンの切り替わりが検出された場合、ステップＳ１０１に処理が戻る。シーンの切り替わりが検出されない場合、ステップＳ１０６に処理が戻る。
【００３７】
このように、前景領域に関しては、前景領域の形状情報及び絵柄情報が特定される。影領域に関しては、影領域が前景領域と相関を有することを利用して、上述した相対位置関係及び輝度減衰率の情報が作成される。これらの情報を予測画像の作成に利用することで、予測画像を高精度に得ることが可能となる。したがって、予測残差の削減が実現できる。以上詳細に述べたように、本発明の第１実施形態によれば、影領域に起因する符号量の増大を抑制可能となり、符号化効率を向上させることができる。
【００３８】
（第２実施形態）
本発明の第２実施形態においては、図１に示した映像符号化装置が符号化した映像を復号化可能な映像復号化装置について説明する。第２実施形態に係る映像復号化装置は、図６に示すように、前景領域、背景画像、前景領域によって背景画像上に投影されている影領域とを含む各画像が符号化された符号化ビットストリームＩＮ２を入力として、映像を復号化する映像復号化装置であって、符号化ビットストリームから、背景画像、前景領域の形状情報、前景領域及び影領域の相対位置関係の情報、及び背景画像に対する影領域の輝度減衰率の情報を復号化する復号化部６０と、形状情報及び相対位置関係の情報から影領域の形状情報を復元し、背景画像及び輝度減衰率の情報から影領域の絵柄情報を復元する復元部６５と、復号化された背景画像と復元された前景領域及び影領域とを合成する合成部６７とを備える。
【００３９】
更に、復号化部６０は、形状符号化技術を用いる映像符号化方式、例えばＭＰＥＧ４等に準拠した構成を有する。具体的には復号化部６０は、可変長復号化部６１、逆量子化部６２、ＩＤＣＴ部６３、加算器６４、動きベクトル再構成部６６、動き補償部６８、及びフレームメモリ６９を備える。可変長復号化部６１は、図示を省略する分離部及び形状復号化部を備える。
【００４０】
また、映像復号化装置に入力される符号化ビットストリームＩＮ２には、上述した前景領域の形状情報、相対位置関係の情報、及び輝度減衰率の情報に加えて、前景領域の絵柄情報、及び動きベクトルの情報等の各種の情報が多重化されている。
【００４１】
分離部は、符号化ビットストリームＩＮ２から、前景領域の形状情報を分離して形状復号化部に伝達し、相対位置関係の情報及び輝度減衰率の情報を分離して復元部６５に伝達し、動きベクトルの情報を分離して動きベクトル再構成部６６に伝達する。形状復号化部で復号化された前景領域の形状情報は復元部６５に伝達される。
【００４２】
また、可変長復号化部６１は、背景画像等の符号化データを復号化する。逆量子化部６２は復号化されたデータを逆量子化して元のＤＣＴ係数に戻す。ＩＤＣＴ部６３は、ＤＣＴ係数を形状情報にしたがって逆直交変換して予測画像に戻す。
【００４３】
動きベクトル再構成部６６は、差分ベクトルとして伝達される動きベクトルの情報からブロック毎の動きベクトルを再構成する。動き補償部６８は、加算器６４から出力された再生画像ＯＵＴ２を形状情報にしたがってフレームメモリ６９に蓄積する。加算器６４では、ＩＤＣＴ部６３からの逆直交変換されたデータと、動き補償部６８により供給される予測画像とを加算し、再生画像ＯＵＴ２を得る。
【００４４】
以下に、図７に示すフローチャートを参照して、第２実施形態に係る映像復号化装置の概略動作例を説明する。
【００４５】
ステップＳ４０１において、可変長復号化部６１、逆量子化部６２、ＩＤＣＴ部６３が、フレーム内符号化された符号化ビットストリームＩＮ２から背景画像を復号化する。背景画像はフレームメモリ６９に格納される。
【００４６】
ステップＳ４０２において、復元部６５が、前景領域及び影領域を復元する。
【００４７】
ステップＳ４０３において、合成部６７が、ステップＳ４０１で得られた背景画像と、ステップＳ４０２で得られた前景領域及び影領域とを合成する。
【００４８】
このように、第２実施形態に係る映像復号化装置によれば、図１に示した映像符号化装置が符号化した映像を復号化可能な映像復号化装置を提供できる。よって、符号化効率を向上させることが可能な映像復号化装置を提供できる。
【００４９】
（第３実施形態）
本発明の第３実施形態に係る映像符号化装置においては、形状符号化技術を用いない符号化方式、例えばＭＰＥＧ２又はＨ．２６４（ＭＰＥＧ４ ＡＶＣ）等に準拠した映像符号化装置について説明する。第３実施形態に係る映像符号化装置は、図８に示すように、影情報圧縮部２ｂが、入力画像ＩＮ１中の影領域に対して圧縮処理を施し、影領域の圧縮処理された入力画像を減算器４１ｂに出力する。符号化部４ｂは、形状符号化に関する処理を実行しない。また、検出部１０ｂが、図１に示した形状情報作成部１ａを具備しない。その他の構成については図１に示した映像符号化装置と同様である。
【００５０】
図８に示す映像符号化装置は、影領域に関する情報を変更することで、符号化効率を向上させる構成である。影情報圧縮部２ｂは、影領域に対する圧縮処理として、（ａ）影領域の消去、（ｂ）影領域の色の変更、（ｃ）影領域の形状の変更、及び（ｄ）影領域の更新タイミングの変更のうちの少なくとも１つを実行する。
【００５１】
（ａ）「影領域の消去」とは、入力画像ＩＮ１中の影領域を消去する処理である。影領域を消去することで、影領域に起因する予測残差の増大を回避可能となる。
【００５２】
（ｂ）「影領域の色の変更」とは、影領域を特定の色に変更する処理である。影領域は背景画像に対して輝度を落とした絵柄になっているため、発生符号量が多くなりやすい。例えば影領域の絵柄を黒に変更することで圧縮率の向上を図る。
【００５３】
（ｃ）「影領域の形状の変更」とは、符号化ブロック内に影領域の境界があると発生符号量が多くなりやすいので、影領域の境界を符号化ブロックの境界に合わせるようにする処理である。（ｂ）の処理と組み合わせると効果的である。
【００５４】
（ｄ）「影領域の更新タイミングの変更」とは、背景画像に対して相対的に影領域が移動していると、予測残差が大きくなり、これに伴って発生符号量が多くなりやすい。そこで、背景画像に対して影領域が移動するタイミングをフレーム内符号化される画像のみに限定することで、予測残差を大幅に減らし符号化効率の向上を図る。上記（ｂ）及び（ｃ）の各処理と組み合わせることもできる。
【００５５】
次に、図９に示すフローチャートを参照して、第３実施形態に係る映像符号化装置の動作例について説明する。但し、第１実施形態に係る映像符号化装置と異なる動作についてのみ説明し、重複する説明を省略する。
【００５６】
図９のステップＳ２０１において、影情報圧縮部２ｂが、上述した（ａ）〜（ｄ）のうちの少なくとも１つの処理を圧縮処理として実行する。
【００５７】
ステップＳ２０２において、合成部１１ｂが、ステップＳ１０４で得られた背景画像の情報と、ステップＳ１０７で得られた前景領域の情報と、ステップＳ２０１で圧縮処理された影領域の情報を合成する。合成処理によって得られた画像は予測画像として減算器４１ａに供給され、圧縮処理された影領域を含む入力画像ＩＮ１との差分（予測残差）が算出される。
【００５８】
ステップＳ２０３において、符号化部４ｂが、ステップＳ２０２で算出された予測画像を符号化する。この結果、符号化ビットストリームＯＵＴ１が生成される。
【００５９】
このように、第３実施形態に係る映像符号化装置によれば、形状符号化技術に対応しない符号化方式において、符号化効率を向上させることができる。尚、図８に示す映像符号化装置が生成した符号化ビットストリームは、通常の映像復号化装置によって復号化可能である。
【００６０】
（その他の実施形態）
上記のように、本発明は第１〜第３実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなる。
【００６１】
上述した実施形態においては、影領域が背景画像の輝度を低下させた領域であることを前提として説明した。しかしながら、影領域が黒一色である場合、影領域に起因した予測残差の増大は発生しないため、通常の符号化及び復号化処理を実行しても良い。
【００６２】
また、前景領域及び影領域が１組である場合について説明したが、複数組の前景領域及び影領域が存在する入力画像ＩＮ１に対しても適用可能である。
【００６３】
更に、既に述べた各種の映像符号化・復号化処理手順をプログラムとして実装し、コンピュータに実行させることができる。更に、図１及び図８に示す映像符号化装置、図６に示す映像復号化装置のそれぞれは、単一の半導体チップ上にモノリシックに集積化し、半導体集積回路として構成可能である。
【００６４】
このように本発明は、ここでは記載していない様々な実施形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明検出事項によってのみ限定されるものである。
【図面の簡単な説明】
【００６５】
【図１】本発明の第１実施形態に係る映像符号化装置の構成例を示すブロック図である。
【図２】図２（ａ）は、本発明の第１実施形態に係る映像符号化装置が符号化する画像（フレーム）を説明するための模式図であり、図２（ｂ）は、図２（ａ）に示す画像（フレーム）の時間的に後の画像（フレーム）を示す模式図である。
【図３】本発明の第１実施形態に係る映像符号化装置の動作例を示すフローチャートである。
【図４】図４（ａ）〜（ｃ）は、本発明の第１実施形態に係る映像符号化装置の動作を説明するための模式図である。
【図５】本発明の第１実施形態に係る物体抽出部の動作を説明するための模式図である。
【図６】本発明の第２実施形態に係る映像復号化装置の構成例を示すブロック図である。
【図７】本発明の第２実施形態に係る映像復号化装置の動作例を示すフローチャートである。
【図８】本発明の第３実施形態に係る映像符号化装置の構成例を示すブロック図である。
【図９】本発明の第３実施形態に係る映像符号化装置の動作例を示すフローチャートである。
【符号の説明】
【００６６】
２ａ，２ｂ…影情報圧縮部
４ａ，４ｂ…符号化部
１０ａ，１０ｂ…検出部
６０…復号化部
６５…復元部
６７…合成部
【図１】
2007180808.tif 000003
【図２】
2007180808.tif 000004
【図３】
2007180808.tif 000005
【図４】
2007180808.tif 000006
【図５】
2007180808.tif 000007
【図６】
2007180808.tif 000008
【図７】
2007180808.tif 000009
【図８】
2007180808.tif 000010
【図９】
2007180808.tif 000011