(57)【要約】    【課題】      ドリフトノイズを発生させることなく、処理負荷を抑制しつつ符号化効率を向上させること。    【解決手段】  背景分離部１２０は、過去にイントラ符号化された背景画像と入力画像とを差分比較し、背景領域と非背景領域を決定する。基本レイヤ符号化部１３０は、入力画像を用いて基本レイヤの映像ストリームを生成する。拡張レイヤ符号化部１４０は、実質的に非背景領域の画像のみを符号化する。映像送信部１６０は、基本レイヤ符号化部１３０によって生成された基本レイヤの映像ストリームを送信する。映像送信部１７０は、拡張レイヤ符号化部１４０によって生成された拡張レイヤの映像ストリームを送信する。  【選択図】      図１
2005260912.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を背景領域と非背景領域とに分離する分離手段と、
分離された非背景領域を符号化する符号化手段と、
符号化されて得られた非背景領域の映像ストリームを送信する送信手段と、
を有する映像通信装置。
【請求項２】
前記符号化手段は、
入力画像の全領域を基本レイヤにて符号化する基本レイヤ符号化手段と、
入力画像に含まれる非背景領域を拡張レイヤにて符号化する非背景領域符号化手段と、を有し、
前記送信手段は、
符号化された基本レイヤの映像ストリームと符号化された拡張レイヤの映像ストリームとを送信する、請求項１記載の映像通信装置。
【請求項３】
前記分離手段は、
前の入力画像として記憶されている背景画像と今回の入力画像との差分処理により求められる差分値が、所定の閾値以下の領域を背景領域とし、前記背景領域以外の領域を非背景領域とする、請求項１記載の映像通信装置。
【請求項４】
前記分離手段は、
前の入力画像を符号化および復号化して記憶されている背景画像と今回の入力画像との差分処理により求められる差分値が、所定の閾値以下の領域を背景領域とし、前記背景領域以外の領域を非背景領域とする、請求項１記載の映像通信装置。
【請求項５】
前記分離手段は、
前の入力画像の全領域を基本レイヤにて符号化および復号化して記憶されている背景画像と今回の入力画像の全領域を基本レイヤにて符号化および復号化した基本レイヤ復号化画像との差分処理により求められる差分値が、所定の閾値以下の領域を背景領域とし、前記背景領域以外の領域を非背景領域とする、請求項２記載の映像通信装置。
【請求項６】
前記分離手段は、
入力画像を符号化および復号化して記憶されている複数の背景画像のうち、今回の入力画像との相関が、最も高い背景画像を用いて入力画像を、背景領域と非背景領域とに分離する請求項１記載の映像通信装置。
【請求項７】
前記分離手段は、
入力画像の全領域を基本レイヤにて符号化および復号化して記憶されている複数の背景画像のうち、今回の入力画像の全領域を基本レイヤにて符号化および復号化した基本レイヤ復号化画像との相関が、最も高い背景画像を用いて、入力画像を背景領域と非背景領域とに分離する、請求項１記載の映像通信装置。
【請求項８】
前記分離手段は、
入力画像を予め定めた画素数で構成されるマクロブロックを単位として、背景領域と非背景領域とに分離する、請求項１または請求項６記載の映像通信装置。
【請求項９】
前記分離手段は、
入力画像中に非背景領域が占める割合が所定の閾値以上である場合に、入力画像の他のフレームとの相関を用いないイントラ符号化を行う旨の符号化モード情報を生成し、生成した符号化モード情報を前記符号化手段へ出力し、
前記符号化手段は、
前記符号化モード情報に従って入力画像の全領域を前記イントラ符号化すると共に前記入力画像を背景画像として記憶し、
前記送信手段は、
前記イントラ符号化後の入力画像と前記符号化モード情報とを送信する、請求項１記載の映像通信装置。
【請求項１０】
前記分離手段は、
入力画像中に非背景領域が占める割合が所定の閾値以上である場合に、入力画像の他のフレームとの相関を用いないイントラ符号化を行う旨の符号化モード情報を生成し、生成した符号化モード情報を前記符号化手段へ出力し、
前記符号化手段は、
前記符号化モード情報に従って入力画像の全領域を前記イントラ符号化すると共にイントラ復号化して、イントラ復号化した入力画像を背景画像として記憶し、
前記送信手段は、
前記イントラ符号化後の入力画像と前記符号化モード情報とを送信する、請求項１記載の映像通信装置。
【請求項１１】
前記分離手段は、
入力画像中に非背景領域が占める割合が所定の閾値以上である場合に、入力画像の他のフレームとの相関を用いないイントラ符号化を行う旨の符号化モード情報を生成し、生成した符号化モード情報を符号化手段へ出力し、
前記基本レイヤ符号化手段は、
前記符号化モード情報に従って入力画像の全領域を基本レイヤにて前記イントラ符号化すると共にイントラ復号化して、イントラ復号化した入力画像を背景画像として記憶し、
前記送信手段は、
前記イントラ符号化後の入力画像と前記符号化モード情報とを送信する、請求項２記載の映像通信装置。
【請求項１２】
前記分離手段は、
入力画像中に非背景領域が占める割合が所定の閾値以上である場合に、入力画像の他のフレームとの相関を用いないイントラ符号化を行う旨の符号化モード情報を生成し、生成した符号化モード情報を前記符号化手段へ出力し、
前記符号化手段は、さらに、
前記符号化モード情報に従って入力画像の全領域を前記イントラ符号化し、前記イントラ符号化後入力画像のイントラ復号化により生成された復号化画像を、背景画像として記憶し、
前記送信手段は、
前記イントラ符号化後の入力画像と前記符号化モード情報とを送信する、請求項１記載の映像通信装置。
【請求項１３】
前記分離手段は、
入力画像中に非背景領域が占める割合が所定の閾値以上である場合に、入力画像の他のフレームとの相関を用いないイントラ符号化を行う旨の符号化モード情報を生成し、生成した符号化モード情報を前記符号化手段へ出力し、
前記基本レイヤ符号化手段は、さらに、
前記符号化モード情報に従って入力画像の全領域を基本レイヤにて前記イントラ符号化し、前記イントラ符号化後入力画像のイントラ復号化により生成された復号化画像を、背景画像として記憶し、
前記送信手段は、
前記イントラ符号化後の入力画像と前記符号化モード情報とを送信する、請求項２記載の映像通信装置。
【請求項１４】
前記分離手段は、入力画像中の背景領域および非背景領域の位置を示す背景情報を生成し、
前記送信手段は、
前記映像ストリームとともに前記背景情報を送信する請求項１記載の映像通信装置。
【請求項１５】
入力画像における画像全体の移動を検出する移動検出手段、をさらに有し、
前記分離手段は、
あらかじめ記憶されている背景画像を、前記画像全体の移動分だけ移動させた後に、入力画像との差分処理を行う請求項３または請求項４記載の映像通信装置。
【請求項１６】
前記移動検出手段は、
前記符号化手段が算出した画像全体の動きベクトルの分散が、所定の閾値以下である場合は、画像全体が移動していると判断する請求項１５記載の映像通信装置。
【請求項１７】
前記移動検出手段は、
前記動きベクトルの平均値を累積した値である背景動きベクトルを求め、
前記分離手段は、
あらかじめ記憶されている背景画像を、前記背景動きベクトルに応じて移動させた後に、入力画像との差分処理を行う請求項１６記載の映像通信装置。
【請求項１８】
非背景領域の映像ストリームを受信する受信手段と、
受信された映像ストリームを復号化する復号化手段と、
受信された映像ストリームから復号化されて得られた非背景領域の画像とあらかじめ記憶されている背景画像とを合成する合成手段と、
を有する映像通信装置。
【請求項１９】
非背景領域の映像ストリームを受信する受信手段と、
受信された映像ストリームを復号化する復号化手段と、
受信された映像ストリームから復号化されて得られた基本レイヤ復号化画像と受信された映像ストリームから復号化されてあらかじめ記憶されている背景画像とに基づいて、背景領域と非背景領域とを判別し、その判別結果に基づき復号化されて得られた非背景領域の画像とあらかじめ記憶されている背景画像の背景領域とを合成する合成手段と、
を有する映像通信装置。
【請求項２０】
前記受信手段は、
画像の全領域に関する基本レイヤの映像ストリームと画像の非背景領域のみに関する拡張レイヤの映像ストリームとを受信し、
前記復号化手段は、
基本レイヤの映像ストリームを復号化する基本レイヤ復号化部と、
拡張レイヤの映像ストリームを復号化する拡張レイヤ復号化部と、
を有する請求項１８または請求項１９記載の映像通信装置。
【請求項２１】
前記受信手段は、
前記映像ストリームがイントラ符号化されたものである旨の符号化モード情報を受信し、
前記合成手段は、
イントラ符号化された映像ストリームの復号化画像を背景画像として記憶する、請求項１８または請求項１９記載の映像通信装置。
【請求項２２】
前記受信手段は、
前記映像ストリームに対応する背景領域および非背景領域の位置を示す背景情報を受信し、
前記合成手段は、
受信された背景情報に従って非背景領域の画像とあらかじめ記憶されている背景画像とを合成する請求項１８記載の映像通信装置。
【請求項２３】
前記合成手段は、
受信された映像ストリームから復号化されて得られた基本レイヤ復号化画像と受信された映像ストリームから復号化されてあらかじめ記憶されている背景画像との差分処理により求められる差分値が、所定の閾値以下の領域を背景領域とし、前記背景領域以外の領域を非背景領域と判別し、非背景領域の復号化により得られた非背景領域復号化画像とあらかじめ記憶されている背景画像とを合成する、請求項１９記載の映像通信装置。
【請求項２４】
前記受信手段は、
前記映像ストリームに対応し、動きベクトルの平均値を累積した値である背景動きベクトルの情報を受信し、
前記合成手段は、
あらかじめ記憶されている背景画像を、前記背景動きベクトルに応じて移動させた後に、非背景領域の画像と合成する、請求項１８または請求項１９記載の映像通信装置。
【請求項２５】
入力画像の背景領域と非背景領域とを分離するステップと、
分離された非背景領域のみを符号化するステップと、
符号化されて得られた非背景領域の映像ストリームを送信するステップと、
を有する映像通信方法。
【請求項２６】
非背景領域の映像ストリームを受信するステップと、
受信された映像ストリームを復号化するステップと、
復号化されて得られた非背景領域の画像とあらかじめ記憶されている背景画像とを合成するステップと、
を有する映像通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像通信装置および映像通信方法に関する。
【背景技術】
【０００２】
従来、例えば、符号化された映像を配信する際の映像データは、一定の伝送帯域で伝送可能なように、ＪＰＥＧ（Joint Picture Experts Group）方式、Ｈ.２６１方式、またはＭＰＥＧ（Moving Picture Experts Group）方式などによって、一定帯域以下に圧縮符号化されている。このように圧縮符号化された映像ストリームは、符号化後にビットレート、解像度、およびフレームレートなどのパラメータを変更することができず、ネットワークの帯域に応じて複数回の符号化処理を行う必要があった。
【０００３】
これに対して、近年、ネットワークの帯域変動に対応するためのスケーラブル符号化技術の規格化が行われている。スケーラブル符号化技術によれば、伝送帯域が変動するインターネットなどのネットワークを用いて映像ストリームを伝送する場合でも、複数回の符号化処理を行うことなく自在に帯域調整を行うことが可能となる。
【０００４】
特に、２００２年に規格化されたＭＰＥＧ−４ ＦＧＳ（Fine Granularity Scalability, ISO/IEC 14496-2 Amendment 2）のスケーラブル符号化方式では、基本レイヤと拡張レイヤに階層化された２種類の映像ストリームに対する階層符号化を行い、拡張レイヤのデータ量を制御することにより、ネットワークの帯域に応じた品質（例えばＰＳＮＲ、フレームレートなど）の映像再生を行うことができる。拡張レイヤは、任意のデータ量ずつのデータに細かく分割しても映像再生が可能であるため、ＭＰＥＧ−４ ＦＧＳによれば、ネットワークのあらゆる伝送帯域に適応することができるのが特徴である。このような特徴は、細粒度スケーラビリティ（Fine Granularity Scalability：ＦＧＳ）と呼ばれる。
【０００５】
ＭＰＥＧ−４ ＦＧＳなどの細粒度スケーラブル符号化方式では、伝送帯域の変動に迅速に対応するために、フレームごとのデータ量が可変な構造となっている。したがって、拡張レイヤは、フレーム間のデータに相関がないフレーム内符号化方式によって符号化されている。一般に、フレーム内符号化方式は符号化効率の向上に限界があるため、細流度スケーラブル符号化方式では、拡張レイヤの符号化効率が悪く、映像全体についての符号化効率が低下してしまう。
【０００６】
そこで、符号化効率を向上させるために、拡張レイヤにおいてフレーム間予測符号化を適用することが検討されている。すなわち、例えば、非特許文献１では、拡張レイヤにおいて、前の拡張レイヤ復号化画像を参照画像としてフレーム間予測符号化を行い、符号化効率を向上させることが開示されている。
【０００７】
具体的には、非特許文献１では、入力画像を階層符号化する際に、前の拡張レイヤの復号化画像である参照画像と入力画像との相関が高い領域を探索し、両画像の差分処理を行うフレーム間予測符号化を適用することにより拡張レイヤを符号化して、符号化効率を向上している。
【０００８】
しかし、フレーム間予測符号化を行うためには、拡張レイヤの復号化処理および動きベクトル探索処理が必要となるため、フレーム内符号化方式に比べて処理負荷が増大し、遅延が発生してしまう。
【０００９】
この点を改善するために、特許文献１には、拡張レイヤの符号化の際に、基本レイヤの動きベクトルを利用して動き予測を行い、拡張レイヤのフレーム間予測符号化に必要となる動きベクトル探索の処理量を軽減することが開示されている。
【非特許文献１】ISO/IEC/SC29/WG11 MPEG99/m5583
【特許文献１】特開平１０−２２４７９９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記従来の技術においては、データの送信側が拡張レイヤのデータ量を変動させる場合に、データの受信側は、符号化時に用いられた参照画像を正常に復号化することができず、フレーム間予測における復号化誤差が発生してしまうという問題がある。
【００１１】
すなわち、上述したように、細粒度スケーラブル符号化方式では、フレームごとのデータ量が可変な構造となっており、データの送信側が帯域変動に応じて拡張レイヤのデータ量を変動させると、データの受信側に受信される拡張レイヤのデータ量は一定とならない。そして、データの受信側において拡張レイヤの復号化を行う際に、データ量が一定でないと、符号化時に用いられた前の拡張レイヤの復号化画像である参照画像を正常に復号化することができない。
【００１２】
したがって、フレーム間予測が正確に行われず、受信されたデータから拡張レイヤの復号化画像を得ることができない。このような状況は、ネットワーク上でパケットロスなどが生じて、受信される拡張レイヤのデータ量が変動した場合にも同様に生じる。
【００１３】
さらに、フレーム間予測符号化においては、あるフレームに復号化誤差が生じると、後続するフレームにも復号化誤差が蓄積して伝播する（ドリフトノイズ）ため、一度復号化誤差が生じてしまうと、以降の復号化が正常に行われなくなってしまう。
【００１４】
本発明はかかる点に鑑みてなされたものであり、ドリフトノイズを発生させることなく、処理負荷を抑制しつつ符号化効率を向上させることができる映像通信装置および映像通信方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の映像通信装置は、入力画像を背景領域と非背景領域とに分離する分離手段と、分離された非背景領域を符号化する符号化手段と、符号化されて得られた非背景領域の映像ストリームを送信する送信手段と、を有する構成を採る。
【００１６】
この構成によれば、入力画像を背景領域と非背景領域とに分離して、非背景領域を符号化して送信するため、符号化対象となるデータ量を削減して、処理負荷を抑制しつつ符号化効率を向上させることができる。また、映像ストリームの受信側においては、あらかじめ記憶されている背景画像に非背景領域の画像を合成することで正しい復号化画像を得ることができ、受信されるデータ量の変動の影響を受けることなく、ドリフトノイズの発生を防止することができる。
【００１７】
本発明の映像通信装置は、前記符号化手段は、入力画像の全領域を基本レイヤにて符号化する基本レイヤ符号化手段と、入力画像に含まれる非背景領域を拡張レイヤにて符号化する非背景領域符号化手段と、を有し、前記送信手段は、符号化された基本レイヤの映像ストリームと符号化された拡張レイヤの映像ストリームとを送信する構成を採る。
【００１８】
この構成によれば、入力画像の全体を基本レイヤにて符号化し、非背景領域を拡張レイヤにて符号化してそれぞれ送信するため、例えばＭＰＥＧ−４ ＦＧＳなどの階層符号化が行われる場合に、符号化対象となるデータ量を削減して、処理負荷を抑制しつつ符号化効率を向上させるとともに、ドリフトノイズが発生しやすい拡張レイヤにおけるドリフトノイズの発生を防止することができる。
【００１９】
本発明の映像通信装置は、前記分離手段は、前の入力画像として記憶されている背景画像と今回の入力画像との差分処理により求められる差分値が、所定の閾値以下の領域を背景領域とし、前記背景領域以外の領域を非背景領域とする構成を採る。
【００２０】
この構成によれば、背景画像と入力画像との差分値が所定の閾値以下の領域を背景領域とするため、背景領域と非背景領域とを正確に分離することができる。
【００２１】
本発明の映像通信装置は、前記分離手段は、前の入力画像を符号化および復号化して記憶されている背景画像と今回の入力画像との差分処理により求められる差分値が所定の閾値以下の領域を背景領域とし、前記背景領域以外の領域を非背景領域とする構成を採る。
【００２２】
この構成によれば、背景画像と入力画像との差分値が所定の閾値以下の領域を背景領域とするため、背景領域と非背景領域とを正確に分離することができる。
【００２３】
本発明の映像通信装置は、前記分離手段は、前の入力画像の全領域を基本レイヤにて符号化および復号化して記憶されている背景画像と今回の入力画像の全領域を基本レイヤにて符号化および復号化した基本レイヤ復号化画像との差分処理により求められる差分値が所定の閾値以下の領域を背景領域とし、前記背景領域以外の領域を非背景領域とする構成を採る。
【００２４】
この構成によれば、背景画像と基本レイヤ復号化画像との差分値が所定の閾値以下の領域を背景領域とするため、背景領域と非背景領域とを正確に分離することができる。
【００２５】
本発明の映像通信装置は、前記分離手段は、入力画像を符号化および復号化して記憶されている複数の背景画像のうち、今回の入力画像との相関が最も高い背景画像を用いて入力画像を背景領域と非背景領域とに分離する構成を採る。
【００２６】
この構成によれば、複数の背景画像のうち、入力画像との相関が最も高い背景画像を用いて背景領域と非背景領域とを分離するため、入力画像中の非背景領域を小さくすることができ、符号化対象となるデータ量をさらに削減して、処理負荷を抑制しつつ符号化効率を向上させることができる。
【００２７】
本発明の映像通信装置は、前記分離手段は、入力画像の全領域を基本レイヤにて符号化および復号化して記憶されている複数の背景画像のうち、今回の入力画像の全領域を基本レイヤにて符号化および復号化した基本レイヤ復号化画像との相関が最も高い背景画像を用いて入力画像を背景領域と非背景領域とに分離する構成を採る。
【００２８】
この構成によれば、複数の背景画像のうち、今回の入力画像の全領域を基本レイヤにて符号化および復号化した基本レイヤ復号化画像との相関が最も高い背景画像を用いて背景領域と非背景領域とを分離するため、入力画像中の非背景領域を小さくすることができ、符号化対象となるデータ量をさらに削減して、処理負荷を抑制しつつ符号化効率を向上させることができる。
【００２９】
本発明の映像通信装置は、前記分離手段は、入力画像を予め定めた画素数で構成されるマクロブロックを単位として背景領域と非背景領域とに分離する構成を採る。
【００３０】
この構成によれば、入力画像のマクロブロックを単位として背景領域と非背景領域とを分離するため、効率良く背景領域と非背景領域とを分離することができる。
【００３１】
本発明の映像通信装置は、前記分離手段は、入力画像中に非背景領域が占める割合が所定の閾値以上である場合に、入力画像の他のフレームとの相関を用いないイントラ符号化を行う旨の符号化モード情報を生成し、生成した符号化モード情報を前記符号化手段へ出力し、前記符号化手段は、前記符号化モード情報に従って入力画像の全領域を前記イントラ符号化すると共に前記入力画像を背景画像として記憶し、前記送信手段は、前記イントラ符号化後の入力画像と前記符号化モード情報とを送信する構成を採る。
【００３２】
この構成によれば、非背景領域が大きい場合には、入力画像を背景画像として記憶するとともに、入力画像の全領域をイントラ符号化するため、以降の入力画像における非背景領域を小さくすることができ、符号化効率をさらに向上することができる。
【００３３】
本発明の映像通信装置は、前記分離手段は、入力画像中に非背景領域が占める割合が所定の閾値以上である場合に、入力画像の他のフレームとの相関を用いないイントラ符号化を行う旨の符号化モード情報を生成し、生成した符号化モード情報を前記符号化手段へ出力し、前記符号化手段は、前記符号化モード情報に従って入力画像の全領域を前記イントラ符号化すると共にイントラ復号化して、イントラ復号化した入力画像を背景画像として記憶し、前記送信手段は、前記イントラ符号化後の入力画像と前記符号化モード情報とを送信する構成を採る。
【００３４】
この構成によれば、非背景領域が大きい場合には、入力画像を符号化および復号した画像を背景画像として記憶するとともに、入力画像の全領域をイントラ符号化するため、以降の入力画像における非背景領域を小さくすることができ、符号化効率をさらに向上することができる。
【００３５】
本発明の映像通信装置は、前記分離手段は、入力画像中に非背景領域が占める割合が所定の閾値以上である場合に、入力画像の他のフレームとの相関を用いないイントラ符号化を行う旨の符号化モード情報を生成し、生成した符号化モード情報を符号化手段へ出力し、前記基本レイヤ符号化手段は、前記符号化モード情報に従って入力画像の全領域を基本レイヤにて前記イントラ符号化すると共にイントラ復号化して、イントラ復号化した入力画像を背景画像として記憶し、前記送信手段は、前記イントラ符号化後の入力画像と前記符号化モード情報とを送信する構成を採る。
【００３６】
この構成によれば、非背景領域が大きい場合には、入力画像の全領域を基本レイヤにてイントラ符号化すると共にイントラ復号化して、イントラ復号化した画像を背景画像として記憶するとともに、入力画像の全領域を基本レイヤにてイントラ符号化するため、以降の入力画像における非背景領域を小さくすることができ、符号化効率をさらに向上することができる。
【００３７】
本発明の映像通信装置は、前記分離手段は、入力画像中に非背景領域が占める割合が所定の閾値以上である場合に、入力画像の他のフレームとの相関を用いないイントラ符号化を行う旨の符号化モード情報を生成し、生成した符号化モード情報を前記符号化手段へ出力し、前記符号化手段は、さらに、前記符号化モード情報に従って入力画像の全領域を前記イントラ符号化し、前記イントラ符号化後入力画像のイントラ復号化により生成された復号化画像を、背景画像として記憶し、前記送信手段は、前記イントラ符号化後の入力画像と前記符号化モード情報とを送信する構成を採る。
【００３８】
この構成によれば、非背景領域が大きい場合には、入力画像をイントラ符号化すると共に、イントラ復号化した復号化画像を背景画像として記憶するため、以降の入力画像における非背景領域を小さくすることができ、符号化効率をさらに向上することができる。
【００３９】
本発明の映像通信装置は、前記分離手段は、入力画像中に非背景領域が占める割合が所定の閾値以上である場合に、入力画像の他のフレームとの相関を用いないイントラ符号化を行う旨の符号化モード情報を生成し、生成した符号化モード情報を前記符号化手段へ出力し、前記基本レイヤ符号化手段は、さらに、前記符号化モード情報に従って入力画像の全領域を基本レイヤにて前記イントラ符号化し、前記イントラ符号化後入力画像のイントラ復号化により生成された復号化画像を、背景画像として記憶し、前記送信手段は、前記イントラ符号化後の入力画像と前記符号化モード情報とを送信する構成を採る。
【００４０】
この構成によれば、非背景領域が大きい場合には、入力画像の全領域を基本レイヤにてイントラ符号化すると共に、イントラ復号化した復号化画像を背景画像として記憶するため、以降の入力画像における非背景領域を小さくすることができ、符号化効率をさらに向上することができる。
【００４１】
本発明の映像通信装置は、前記分離手段は、入力画像中の背景領域および非背景領域の位置を示す背景情報を生成し、前記送信手段は、前記映像ストリームとともに前記背景情報を送信する構成を採る。
【００４２】
この構成によれば、背景情報を送信するため、映像ストリームの受信側は、あらかじめ記憶している背景画像と非背景領域の画像とを正確に合成することができる。
【００４３】
本発明の映像通信装置は、入力画像における画像全体の移動を検出する移動検出手段、をさらに有し、前記分離手段は、あらかじめ記憶されている背景画像を前記画像全体の移動分だけ移動させた後に入力画像との差分処理を行う構成を採る。
【００４４】
この構成によれば、画像全体の移動を検出し、背景画像を画像全体の移動分だけ移動させた後に差分処理を行うため、実際は静止している背景領域を正確に抽出して、非背景領域のみを符号化して送信することができ、例えば映像送信装置がパン動作しているような場合でも符号化効率を向上することができる。
【００４５】
本発明の映像通信装置は、前記移動検出手段は、前記符号化手段が算出した画像全体の動きベクトルの分散が所定の閾値以下である場合は、画像全体が移動していると判断する構成を採る。
【００４６】
この構成によれば、動きベクトルを算出し、画像全体の動きベクトルの分散が小さい場合に、画像全体が移動していると判断するため、画像全体の移動を正確に検出することができる。
【００４７】
本発明の映像通信装置は、前記移動検出手段は、前記動きベクトルの平均値を累積した値である背景動きベクトルを求め、前記分離手段は、あらかじめ記憶されている背景画像を前記背景動きベクトルに応じて移動させた後に入力画像との差分処理を行う構成を採る。
【００４８】
この構成によれば、背景動きベクトルを求め、背景画像を背景動きベクトルに応じて移動させるため、正確に画像全体の移動分だけ背景画像を移動させることができる。
【００４９】
本発明の映像通信装置は、非背景領域の映像ストリームを受信する受信手段と、受信された映像ストリームを復号化する復号化手段と、受信された映像ストリームから復号化されて得られた非背景領域の画像とあらかじめ記憶されている背景画像とを合成する合成手段と、を有する構成を採る。
【００５０】
この構成によれば、受信された非背景領域の映像ストリームを復号化し、あらかじめ記憶されている背景画像と合成するため、正しい復号化画像を得ることができ、受信されるデータ量の変動の影響を受けることなく、ドリフトノイズの発生を防止することができる。
【００５１】
本発明の映像通信装置は、非背景領域の映像ストリームを受信する受信手段と、受信された映像ストリームを復号化する復号化手段と、受信された映像ストリームから復号化されて得られた基本レイヤ復号化画像と受信された映像ストリームから復号化されてあらかじめ記憶されている背景画像とに基づいて背景領域と非背景領域とを判別し、その判別結果に基づき復号化されて得られた非背景領域の画像とあらかじめ記憶されている背景画像の背景領域とを合成する合成手段と、を有する構成を採る。
【００５２】
この構成によれば、符号化側から背景領域や非背景領域の位置を示す背景情報が送られて来なくても、背景画像と基本レイヤ復号化画像とに基づいて背景領域と非背景領域とを判別して受信された非背景領域の映像ストリームを復号化し、背景画像と合成するため、正しい復号化画像を得ることができ、背景情報を送受信しない分だけデータ量の削減をして符号化効率をより向上させることができると共に、ドリフトノイズの発生を防止することができる。
【００５３】
本発明の映像通信装置は、前記受信手段は、画像の全領域に関する基本レイヤの映像ストリームと画像の非背景領域のみに関する拡張レイヤの映像ストリームとを受信し、前記復号化手段は、基本レイヤの映像ストリームを復号化する基本レイヤ復号化部と、拡張レイヤの映像ストリームを復号化する拡張レイヤ復号化部と、を有する構成を採る。
【００５４】
この構成によれば、画像全体に関する基本レイヤの映像ストリームを復号化し、非背景領域のみに関する拡張レイヤの映像ストリームを復号化するため、例えばＭＰＥＧ−４ ＦＧＳなどの階層符号化が行われる場合に、ドリフトノイズが発生しやすい拡張レイヤにおけるドリフトノイズの発生を防止することができる。
【００５５】
本発明の映像通信装置は、前記受信手段は、前記映像ストリームがイントラ符号化されたものである旨の符号化モード情報を受信し、前記合成手段は、イントラ符号化された映像ストリームの復号化画像を背景画像として記憶する構成を採る。
【００５６】
この構成によれば、映像ストリームがイントラ符号化されたものである場合に、イントラ符号化された映像ストリームの復号化画像を背景画像とするため、背景画像の更新を効率良く行うことができる。
【００５７】
本発明の映像通信装置は、前記受信手段は、前記映像ストリームに対応する背景領域および非背景領域の位置を示す背景情報を受信し、前記合成手段は、受信された背景情報に従って非背景領域の画像とあらかじめ記憶されている背景画像とを合成する構成を採る。
【００５８】
この構成によれば、受信された背景情報に従って合成を行うため、あらかじめ記憶している背景画像と非背景領域の画像とを正確に合成することができる。
【００５９】
本発明の映像通信装置は、前記合成手段は、受信された映像ストリームから復号化されて得られた基本レイヤ復号化画像と受信された映像ストリームから復号化されてあらかじめ記憶されている背景画像との差分処理により求められる差分値が所定の閾値以下の領域を背景領域とし、前記背景領域以外の領域を非背景領域と判別し、非背景領域の復号化により得られた非背景領域復号化画像とあらかじめ記憶されている背景画像とを合成する構成を採る。
【００６０】
この構成によれば、符号化側から背景領域および非背景領域の位置を示す背景情報が送られて来なくても、あらかじめ記憶されている背景画像と基本レイヤ復号化画像とに基づいて背景領域と非背景領域とを判別することができ、背景情報の分だけ符号化側から復号側への送信データ量を削減することができ、符号化効率を向上させることができる。
【００６１】
本発明の映像通信装置は、前記受信手段は、前記映像ストリームに対応し、動きベクトルの平均値を累積した値である背景動きベクトルの情報を受信し、前記合成手段は、あらかじめ記憶されている背景画像を前記背景動きベクトルに応じて移動させた後に非背景領域の画像と合成する構成を採る。
【００６２】
この構成によれば、背景動きベクトルの情報を受信し、背景画像を背景動きベクトルに応じて移動させた後に合成を行うため、映像ストリームの送信側が例えばパン動作しているような場合でも、正確に画像全体の移動分だけ背景画像を移動させることができる。
【００６３】
本発明の映像通信方法は、入力画像の背景領域と非背景領域とを分離するステップと、分離された非背景領域のみを符号化するステップと、符号化されて得られた非背景領域の映像ストリームを送信するステップと、を有するようにした。
【００６４】
この方法によれば、入力画像を背景領域と非背景領域とに分離して、非背景領域のみを符号化して送信するため、符号化対象となるデータ量を削減して、処理負荷を抑制しつつ符号化効率を向上させることができる。また、映像ストリームの受信側においては、あらかじめ記憶されている背景画像に非背景領域の画像を合成することで正しい復号化画像を得ることができ、受信されるデータ量の変動の影響を受けることなく、ドリフトノイズの発生を防止することができる。
【００６５】
本発明の映像通信方法は、非背景領域の映像ストリームを受信するステップと、受信された映像ストリームを復号化するステップと、復号化されて得られた非背景領域の画像とあらかじめ記憶されている背景画像とを合成するステップと、を有するようにした。
【００６６】
この方法によれば、受信された非背景領域の映像ストリームを復号化し、あらかじめ記憶されている背景画像と合成するため、正しい復号化画像を得ることができ、受信されるデータ量の変動の影響を受けることなく、ドリフトノイズの発生を防止することができる。
【発明の効果】
【００６７】
本発明によれば、ドリフトノイズを発生させることなく、処理負荷を抑制しつつ符号化効率を向上させることができる。
【発明を実施するための最良の形態】
【００６８】
本発明の実施の形態は、映像の送信側は、入力映像を、背景画像として記憶されている前の入力映像と比較し、変動した領域のみを符号化して送信し、映像の受信側は、変動した領域のみを受信し、送信側と同一の背景画像に合成するものである。
【００６９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。以下の実施の形態では、入力映像の符号化方式として、ＭＰＥＧ−４ ＦＧＳが用いられる場合について説明する。ＭＰＥＧ−４ ＦＧＳにより符号化された映像ストリームは、単体で復号化が可能な基本レイヤと、基本レイヤの復号化動画像品質を向上させるための拡張レイヤとで構成される。基本レイヤ単体では、伝送帯域を小さく抑えられるものの低画質の映像データしか得られないが、使用可能帯域に応じて拡張レイヤを伝送して足し合わせることにより、自由度の高い高画質化を図ることが可能である。
【００７０】
なお、本発明を適用する映像符号化方式は、ＭＰＥＧ−４ ＦＧＳに限定されるわけではなく、例えばＪＰＥＧ２０００などの細粒度スケーラブル符号化方式であれば、各種の符号化方式に適用することができる。
【００７１】
（実施の形態１）
図１は、本発明の実施の形態１に係る映像送信装置の構成を示すブロック図である。図１に示す映像送信装置１００は、映像入力部１１０、背景分離部１２０、基本レイヤ符号化部１３０、拡張レイヤ符号化部１４０、基本レイヤ復号化部１５０、映像送信部１６０、および映像送信部１７０を有している。
【００７２】
映像入力部１１０は、例えば監視カメラなどの撮像素子によって映像を入力し、入力映像を構成する画像を、１画像ごとに基本レイヤ符号化部１３０および背景分離部１２０へ出力する。
【００７３】
背景分離部１２０は、過去に前後のフレームとの相関を用いずにフレーム内で符号化された（以下「イントラ符号化」という）背景画像と入力画像とを差分比較し、１６×１６画素から構成されるマクロブロックごとに、画素値に変動がない領域である背景領域とそれ以外の非背景領域を決定する。したがって、背景領域とは、過去にイントラ符号化された背景画像と同一の画素値を有する領域であり、非背景領域とは、過去にイントラ符号化された背景画像と異なる画素値を有する領域である。
【００７４】
なお、イントラ符号化された画像は、フレーム間の相関が用いずに符号化される画像であるため、フレーム間の相関を用いて符号化するイントラ符号化である非イントラ符号化される画像に比べて符号化効率は劣るが、他のフレームを参照してなく、単体の画像（フレーム）で復号化可能なため、エラー耐性を向上し、ランダムアクセス性を向上することができる。
【００７５】
また、背景分離部１２０は、入力画像および基本レイヤ復号化部１５０によって生成される基本レイヤの復号化画像（以下「参照画像」という）において、背景領域の画素値をゼロに置き換えた上で、拡張レイヤ符号化部１４０内の差分処理部１４１へ出力する。
【００７６】
さらに、背景分離部１２０は、各マクロブロックが背景領域であるか否かを示す背景情報を生成し、拡張レイヤ符号化部１４０内の可変長符号化部１４３へ出力する。また、背景分離部１２０は、イントラ符号化を行うか否かの符号化モードを判定し、符号化モード情報を基本レイヤ符号化部１３０内の動き補償部１３１へ出力するとともに、符号化モードがイントラ符号化である場合には、入力画像を背景画像として記憶する。
【００７７】
基本レイヤ符号化部１３０は、入力画像の全領域を用いて基本レイヤの映像ストリームを生成する。具体的には、基本レイヤ符号化部１３０は、動き補償部１３１、量子化部１３２、および可変長符号化部１３３を有しており、これらの各処理部は、以下のような動作を行う。
【００７８】
動き補償部１３１は、映像入力部１１０からの入力画像と、基本レイヤ復号化部１５０から出力される参照画像とを用いて、これらの画像間の相関が最も高くなる位置をマクロブロック単位で求める動き予測処理を行なう。また、動き補償部１３１は、相関が最も高い位置の相対位置を示すベクトル（以下「動きベクトル」という）を算出し、動きベクトルを可変長符号化部１３３および基本レイヤ復号化部１５０へ出力するとともに、相関が最も高い位置で画素単位の差分を求めることにより誤差画像を生成する動き補償処理を行い、量子化部１３２へ出力する。さらに、動き補償部１３１は、背景分離部１２０からの符号化モード情報を可変長符号化部１３３および基本レイヤ復号化部１５０へ通知する。
【００７９】
なお、符号化処理開始時の最初の入力画像、あらかじめ決められた画像間隔ごとの入力画像、および符号化モードがイントラ符号化である場合の入力画像に対しては上記の動き予測処理を行わず、入力画像そのものを量子化部１３２へ出力する。
【００８０】
量子化部１３２は、動き補償部１３１から出力された誤差画像または入力画像そのものを直交変換の１種であるＤＣＴ（Discrete Cosine Transform）変換し、得られた係数を所定の量子化値で除算した商（以下「直交変換係数」という）に置換する。このとき、量子化部１３２は、誤差画像（または入力画像そのもの）を８×８画素から構成されるブロック単位でＤＣＴ変換する。なお、量子化部１３２は、ＤＣＴ変換の代わりに、ＪＰＥＧ２０００等で使われているウェーブレット（Wavelet）変換などを用いて誤差画像の直交変換を行うようにしても良い。
【００８１】
可変長符号化部１３３は、動き補償部１３１から出力された動きベクトルおよび符号化モード情報と、量子化部１３２から出力された量子化された直交変換係数とに対して、可変長符号テーブルを用いて可変長符号化処理を施し、得られた基本レイヤの映像ストリームを映像送信部１６０へ出力する。このとき、可変長符号化部１３３は、符号化モードがイントラ符号化である場合は、動き補償予測処理を行なっていないので、符号化モード情報および直交変換係数のみに対して可変長符号化処理を施す。なお、可変長符号化部１３３による可変長符号化処理の方法は、可変長符号テーブルを用いる方法に限定されず、直交変換係数を２値の符号列に変換する方法であれば良い。
【００８２】
拡張レイヤ符号化部１４０は、背景分離部１２０から出力された、背景領域の画素値がゼロに置き換えられた画像を用いて拡張レイヤの映像ストリームを生成する。すなわち、拡張レイヤ符号化部１４０は、実質的に非背景領域の画像のみを符号化する。具体的には、拡張レイヤ符号化部１４０は、差分処理部１４１、直交変換部１４２、および可変長符号化部１４３を有しており、これらの各処理部は、以下のような動作を行う。
【００８３】
差分処理部１４１は、背景分離部１２０から出力された、背景領域の画素値がゼロに置き換えられた入力画像と参照画像との間で差分処理を行って誤差画像を生成し、直交変換部１４２へ出力する。
【００８４】
直交変換部１４２は、差分処理部１４１から出力された誤差画像をブロック単位でＤＣＴ変換し、変換された直交変換係数を可変長符号化部１４３へ出力する。
【００８５】
可変長符号化部１４３は、直交変換係数に対して、可変長符号テーブルを用いてビットプレーンごとに可変長符号化処理を施し、得られた拡張レイヤの映像ストリームを映像送信部１７０へ出力する。また、可変長符号化部１４３は、背景分離部１２０から出力された、各マクロブロックが背景領域であるか否かを示す背景情報を可変長符号化処理し、映像送信部１７０へ出力する。
【００８６】
基本レイヤ復号化部１５０は、量子化部１３２から出力された直交変換係数を逆量子化および逆直交変換処理して誤差画像を復号化する。さらに、基本レイヤ復号化部１５０は、前回の復号化画像と動き補償部１３１から出力された動きベクトルとを用いて、動き補償部１３１において使用された参照画像と誤差画像との加算処理を行うことにより新たな復号化画像である参照画像を生成する。
【００８７】
映像送信部１６０は、基本レイヤ符号化部１３０によって生成された基本レイヤの映像ストリームおよび符号化モード情報を、ネットワーク２００を介してユーザへ送信する。
【００８８】
映像送信部１７０は、拡張レイヤ符号化部１４０によって生成された拡張レイヤの映像ストリームおよび背景情報を、ネットワーク２００を介してユーザへ送信する。
【００８９】
図２は、実施の形態１に係る映像受信装置の構成を示すブロック図である。図２に示す映像受信装置３００は、映像受信部３１０、映像受信部３２０、基本レイヤ復号化部３３０、拡張レイヤ復号化部３４０、背景合成部３５０、および映像表示部３６０を有している。
【００９０】
映像受信部３１０は、ネットワーク２００から基本レイヤの映像ストリームおよび符号化モード情報を受信し、基本レイヤ復号化部３３０へ出力する。
【００９１】
映像受信部３２０は、ネットワーク２００から拡張レイヤの映像ストリームおよび背景情報を受信し、拡張レイヤ復号化部３４０へ出力する。
【００９２】
基本レイヤ復号化部３３０は、映像受信部３１０から出力される基本レイヤの映像ストリームから基本レイヤの復号化画像を生成する。具体的には、基本レイヤ復号化部３３０は、可変長復号化部３３１、逆量子化部３３２、および動き補償部３３３を有しており、これらの各処理部は、以下のような動作を行う。
【００９３】
可変長復号化部３３１は、映像受信部３１０からの出力を可変長復号化することにより、直交変換係数、動きベクトル、および符号化モード情報を復号化し、直交変換係数を逆量子化部３３２へ出力し、動きベクトルを動き補償部３３３へ出力し、符号化モード情報を背景合成部３５０へ出力する。
【００９４】
逆量子化部３３２は、可変長復号化部３３１から出力された直交変換係数に対して逆量子化処理および逆直交変換処理を行い、誤差画像を復号化する。
【００９５】
動き補償部３３３は、逆量子化部３３２から出力された誤差画像と、可変長復号化部３３１から出力された動きベクトルと、記憶しておいた復号化画像とを用いて、新たな復号化画像を生成する。
【００９６】
拡張レイヤ復号化部３４０は、映像受信部３２０から出力される拡張レイヤの映像ストリームから拡張レイヤの復号化画像を生成する。具体的には、拡張レイヤ復号化部３４０は、可変長復号化部３４１、直交変換部３４２、および加算処理部３４３を有しており、これらの各処理部は、以下のような動作を行う。
【００９７】
可変長復号化部３４１は、映像受信部３２０からの出力を可変長復号化処理することにより、ビットプレーンごとにブロック単位で走査された直交変換係数および背景情報を復号化し、直交変換係数を直交変換部３４２へ出力するとともに、背景情報を背景合成部３５０へ出力する。
【００９８】
直交変換部３４２は、可変長復号化部３４１から出力された直交変換係数に対して逆ＤＣＴ変換を行い、誤差画像を復号化する。
【００９９】
加算処理部３４３は、動き補償部３３３から出力された基本レイヤの復号化画像と直交変換部３４２から出力された誤差画像とを加算処理し、得られた復号化画像を背景合成部３５０へ出力する。
【０１００】
背景合成部３５０は、加算処理部３４３によって得られた復号化画像とあらかじめ記憶されている背景画像とを用いて、符号化モード情報または背景情報に従った画像を生成する。すなわち、背景合成部３５０は、背景情報に従って背景画像の背景領域と復号化画像の非背景領域とを合成して合成画像を映像表示部３６０へ出力する一方、符号化モードがイントラ符号化である場合は、復号化画像を新たな背景画像として記憶する。
【０１０１】
映像表示部３６０は、合成画像または復号化画像を例えばディスプレイデバイスなどに表示する。
【０１０２】
次いで、上記構成を有する映像送信装置１００の動作について、図３に示すフローチャートを用いて説明する。なお、図３に示すフローチャートの動作は、映像送信装置１００の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。
【０１０３】
まず、映像入力部１１０によって、映像入力が行われる（ＳＴ１０００）。具体的には、監視カメラなどの撮像素子を持つ映像入力部１１０によって、映像が入力され、入力映像を構成する画像が１画像ごとに動き補償部１３１および背景分離部１２０へ出力される。
【０１０４】
そして、背景分離部１２０によって、入力画像の符号化モードがイントラ符号化であるか否かが判定され（ＳＴ１０５０）、イントラ符号化か否か示す符号化モード情報が動き補償部１３１へ出力される。符号化モードは、前回イントラ符号化が行われてから所定の閾値ＴＨ１を超える数の画像の符号化が行われた場合か、入力画像中に占める非背景領域の割合が所定の閾値ＴＨ２を越えている場合にイントラ符号化と判定され、それ以外の場合に非イントラ符号化と判定される。所定の閾値ＴＨ１、ＴＨ２は、あらかじめ設定された値であり、例えばＴＨ１＝３０、ＴＨ２＝０．５などのように設定されている。
【０１０５】
符号化モード情報が動き補償部１３１へ出力されると、動き補償部１３１の動き予測処理によって、入力画像と基本レイヤ復号化部１５０から出力される参照画像とが用いられ、入力画像と参照画像間の相関が最も高い位置が求められる。さらに、動き補償処理によって、この位置を示す動きベクトルに基づく参照画像と、入力画像との間の画素単位の差分処理により誤差画像が求められる（ＳＴ１１００）。ＳＴ１１００において求められた誤差画像は、量子化部１３２へ出力され、動きベクトルおよび背景分離部１２０から出力された符号化モード情報は、可変長符号化部１３３および基本レイヤ復号化部１５０へ出力される。
【０１０６】
そして、量子化部１３２によって、誤差画像がブロック単位でＤＣＴ変換され、量子化される（ＳＴ１１５０）。量子化処理後の直交変換係数は、可変長符号化部１３３および基本レイヤ復号化部１５０へ出力される。なお、上述したように、量子化部１３２における直交変換は、ＤＣＴ変換に限らず、ウェーブレット変換などでも良い。
【０１０７】
そして、可変長符号化部１３３によって、動き補償部１３１から出力された動きベクトルおよび符号化モード情報と、量子化部１３２から出力された直交変換係数とに対して可変長符号化が行われ（ＳＴ１２００）、得られた基本レイヤの映像ストリームおよび符号化モード情報が映像送信部１６０へ出力される。
【０１０８】
このように基本レイヤ符号化部１３０によって基本レイヤの映像ストリームが生成される一方、基本レイヤ復号化部１５０によって、基本レイヤの復号化画像が生成される（ＳＴ１２５０）。すなわち、基本レイヤ復号化部１５０によって、量子化部１３２から出力された直交変換係数が逆量子化および逆直交変換され、誤差画像が復号化される。さらに、動き補償部１３１によって使用された参照画像と動きベクトルが用いられて、参照画像と誤差画像との加算処理が行われて、新たな復号化画像が生成される。この復号化画像は、動き補償部１３１および背景分離部１２０へ出力される。
【０１０９】
なお、動き補償部１３１から出力された符号化モード情報によって、符号化モードがイントラ符号化であると判定された場合には、参照画像と誤差画像との加算処理は行われない。換言すれば、量子化部１３２から出力された直行変換係数の逆量子化および逆直交変換結果が新たな復号化画像となる。
【０１１０】
そして、背景分離部１２０によって、背景判別処理が行われる（ＳＴ１３００）。具体的には、背景分離部１２０によって、入力画像中の背景領域と非背景領域がマクロブロック単位で分離され、各マクロブロックが背景領域であるか否かを示す背景情報が生成される。生成された背景情報は、可変長符号化部１４３へ出力される。また、背景分離部１２０によって、入力画像および参照画像の背景領域の画素値がゼロに置換された上で差分処理部１４１へ出力される。なお、背景分離部１２０の背景判別処理については、後に詳述する。
【０１１１】
背景領域がゼロに置換された画像が出力されると、差分処理部１４１によって、入力画像と参照画像との差分処理が行われ（ＳＴ１３５０）、得られた誤差画像が直交変換部１４２へ出力される。ここで、入力画像および参照画像の背景領域の画素値はゼロに置換されているため、差分処理部１４１によって得られる誤差画像は、非背景領域のみに有意な画素値を有する画像である。
【０１１２】
そして、直交変換部１４２によって、誤差画像がブロック単位でＤＣＴ変換され（ＳＴ１４００）、得られた直交変換係数が可変長符号化部１４３へ出力される。
【０１１３】
そして、可変長符号化部１４３によって、直交変換部１４２から出力されたビットプレーンごとの直交変換係数および背景情報に対して可変長符号化が行われ（ＳＴ１４５０）、得られた拡張レイヤの映像ストリームおよび背景情報が映像送信部１７０へ出力される。
【０１１４】
基本レイヤの映像ストリームおよび符号化モード情報が映像送信部１６０へ出力され、拡張レイヤの映像ストリームおよび背景情報が映像送信部１７０へ出力されると、映像送信部１６０および映像送信部１７０からネットワーク２００へ、映像ストリーム、符号化モード情報、および背景情報が送信される（ＳＴ１５００）。送信後、処理の終了条件を満たしているか否かが判定され（ＳＴ１５５０）、満たしている場合は処理を終了し、満たしていない場合は再びＳＴ１０００から処理が繰り返される。
【０１１５】
次に、上述した映像送信装置１００の背景判別処理について、具体的に例を挙げながら図４のフローチャートを用いて説明する。
【０１１６】
まず、背景分離部１２０によって、図３のＳＴ１０５０の符号化モード判定の結果、符号化モードがイントラ符号化であったか否かが判定される（ＳＴ１３０２）。
【０１１７】
この判定の結果、符号化モードがイントラ符号化であった場合は（ＳＴ１３０２“ＹＥＳ”）、背景画像が更新される（ＳＴ１３０８）。すなわち、背景分離部１２０によって、入力画像が新たな背景画像として記憶される。上述したように、前回背景画像が更新されてから、すなわちイントラ符号化が行われてから、所定数の画像が入力されるか、あるいは入力画像における非背景領域の割合が大きい場合には、符号化モードがイントラ符号化となるため、このときに背景画像を更新することにより、以後の非背景領域を極力小さくすることができる。結果として、以後に符号化される誤差画像において画素値がゼロとなる背景領域を大きくすることができ、実質的に符号化する領域を小さくして符号化効率を向上することができる。
【０１１８】
また、符号化モードがイントラ符号化と判定された場合は（ＳＴ１３０２“ＹＥＳ”）、背景分離部１２０によって、マクロブロックごとに背景領域が「１」で示され非背景領域が「０」で示される非背景マップが作成される際に、すべてのマクロブロックが「１」（すなわち背景領域）で初期化される。
【０１１９】
一方、ＳＴ１３０２の判定の結果、符号化モードがイントラ符号化ではない、すなわち他のフレームとの時間的予測を用いるインター符号化等の非イントラ符号化と判定された場合は（ＳＴ１３０２“ＮＯ”）、背景分離部１２０によって、入力画像と前の背景画像との差分処理がマクロブロックごとに行われ、マクロブロック内の画素の差分値の絶対和が所定の閾値以下のマクロブロックを背景領域とし、それ以外のマクロブロックを非背景領域とする（ＳＴ１３０４）。なお、前の背景画像とは、前回符号化モードがイントラ符号化であった場合に、背景分離部１２０に記憶された背景画像である。
【０１２０】
また、符号化モードが非イントラ符号化と判定された場合は（ＳＴ１３０２“ＮＯ”）、背景分離部１２０によって、非背景マップ中の非背景領域のマクロブロックが「０」に更新される（ＳＴ１３０６）。
【０１２１】
そして、背景分離部１２０によって、入力画像および参照画像における背景領域と非背景領域とが分離され（ＳＴ１３１０）、両画像における背景領域の画素値がゼロに置換された上で、差分処理部１４１へ出力される。
【０１２２】
また、ＳＴ１３０６にて更新された非背景マップに、画像番号などの所定のヘッダが付加されて背景情報が生成され（ＳＴ１３１２）、可変長符号化部１４３へ出力される。
【０１２３】
以下に、図５から図７を用いて背景判別処理の具体例を示す。
【０１２４】
図５（ａ）は、時刻ｔにおける入力画像を示し、図５（ｂ）は、時刻（ｔ＋１）における入力画像を示しているものとする。これらの図から明らかなように、時刻ｔから時刻（ｔ＋１）では、物体４００は移動せずに静止しているのに対し、物体４１０は移動している。このような場合、時刻（ｔ＋１）においては、図５（ａ）に示す画像が参照画像として背景分離部１２０へ出力される。したがって、背景分離部１２０によって、時刻（ｔ＋１）の入力画像（図５（ｂ））と参照画像（図５（ａ））との差分処理が行われた結果、物体４００を含む領域は背景領域となり、図５（ｃ）に示す、物体４１０の時刻ｔおよび時刻（ｔ＋１）における位置を含む領域４２０は非背景領域となる。
【０１２５】
そして、図６（ａ）に示す領域４２０以外の画素値はゼロに置換され、図６（ｂ）に示すように、領域４２０が非背景領域を示す「０」に更新された非背景マップが作成される。
【０１２６】
さらに、時刻（ｔ＋２）において、図７（ａ）に示すように、領域４２０に加えて領域４３０が非背景領域となった場合は、図７（ｂ）に示すような非背景マップが作成される。このように、時間が経過して入力画像数が多くなっていくにつれ、背景画像との差分値が大きい非背景領域が増えていくため、この割合が多くなった場合に符号化モードをイントラ符号化として、背景画像を更新する。
【０１２７】
なお、図６（ｂ）および図７（ｂ）に示した非背景マップは、画像番号などの所定のヘッダが付加されて、背景情報となる。
【０１２８】
次に、本実施の形態に係る映像受信装置３００の動作について、図８に示すフローチャートを用いて説明する。なお、図８に示すフローチャートの動作は、映像受信装置３００の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。
【０１２９】
まず、映像受信部３１０によって、ネットワーク２００から基本レイヤの映像ストリームおよび符号化モード情報が受信され、基本レイヤ復号化部３３０へ出力されるとともに、映像受信部３２０によって、ネットワーク２００から拡張レイヤの映像ストリームおよび背景情報が受信され、拡張レイヤ復号化部３４０へ出力される（ＳＴ２０００）。
【０１３０】
基本レイヤ復号化部３３０へ出力された基本レイヤの映像ストリームおよび符号化モード情報は、まず可変長復号化部３３１に入力される。そして、可変長復号化部３３１によって、基本レイヤの映像ストリームおよび符号化モード情報に対して可変長復号化が行われ（ＳＴ２０５０）、直交変換係数が逆量子化部３３２へ出力され、動きベクトルが動き補償部３３３へ出力され、符号化モード情報が背景合成部３５０へ出力される。
【０１３１】
直交変換係数が逆量子化部３３２へ出力されると、逆量子化部３３２によって、逆量子化処理および逆直交変換処理が施され、誤差画像の復号化が行われる（ＳＴ２１００）。そして、動き補償部３３３によって、誤差画像と動きベクトルに基づく前回の復号化画像（参照画像）とが用いられて、映像送信装置１００の基本レイヤ復号化部１５０と同様の動作により基本レイヤの復号化画像が生成される（ＳＴ２１５０）。
【０１３２】
このように基本レイヤ復号化部３３０によって基本レイヤの復号化画像が生成される一方、拡張レイヤ復号化部３４０によって、拡張レイヤの復号化画像が生成される。
【０１３３】
具体的には、拡張レイヤ復号化部３４０へ出力された拡張レイヤの映像ストリームおよび背景情報は、まず可変長復号化部３４１に入力される。そして、可変長復号化部３４１によって、拡張レイヤの映像ストリームおよび背景情報に対して可変長復号化が行われ（ＳＴ２２００）、ビットプレーンごとの直交変換係数が直交変換部３４２へ出力され、背景情報が背景合成部３５０へ出力される。
【０１３４】
直交変換係数が直交変換部３４２へ出力されると、直交変換部３４２によって、逆ＤＣＴ変換が行われ（ＳＴ２２５０）、誤差画像の復号化が行われる。なお、この誤差画像は、符号化モードがイントラ符号化である場合は、画像全体の領域が非背景領域であるが、符号化モードが非イントラ符号化である場合は、画像の一部の領域が非背景領域となっており、背景領域の画素値はすべてゼロとなっている。そして、加算処理部３４３によって、基本レイヤの復号化画像と直交変換部３４２から出力された誤差画像とが加算処理され、復号化画像が生成される（ＳＴ２３００）。生成された復号化画像は、背景合成部３５０へ出力される。
【０１３５】
なお、ＳＴ２３００の加算処理において、基本レイヤまたは拡張レイヤのいずれかが正しく復号化されていない場合には、加算処理をスキップし、正しく復号化されたレイヤのみ、あるいはブルーバック画像を背景合成部３５０へ出力するようにしても良い。
【０１３６】
上記のような復号化画像が得られると、背景合成部３５０によって、背景領域と復号化された非背景領域とが用いられて背景合成処理が行われ（ＳＴ２３５０）、合成画像が生成される。具体的には、図９のフローチャートに示すような処理が行われる。
【０１３７】
すなわち、まず可変長復号化部３３１から出力された符号化モード情報が参照され、符号化モードがイントラ符号化であるか否かが判定される（ＳＴ２３５２）。
【０１３８】
この判定の結果、符号化モードがイントラ符号化である場合は（ＳＴ２３５２“ＹＥＳ”）、背景画像が記憶される（ＳＴ２３５６）。すなわち、背景合成部３５０によって、復号化画像が新たな背景画像として記憶される。上述したように、符号化モードがイントラ符号化である場合は、画像全体が非背景領域であるため、復号化画像そのものが新たな背景画像となる。
【０１３９】
一方、ＳＴ２３５２の判定の結果、符号化モードが非イントラ符号化と判定された場合は（ＳＴ２３５２“ＮＯ”）、背景合成部３５０によって、拡張レイヤ復号化部３４０から出力された復号化画像と背景合成部３５０に記憶されている背景画像とが合成される（ＳＴ２３５４）。このとき、背景情報に含まれる非背景マップが参照され、背景画像の、非背景マップ中に「０」で示される非背景領域のマクロブロックに、復号化画像が合成される。
【０１４０】
具体的に例を挙げると、例えば図１０（ａ）は、背景画像から非背景マップ中に「１」で示される背景領域を抽出した画像を示しており、図１０（ｂ）は、拡張レイヤ復号化部３４０から出力される復号化画像から非背景マップ中に「０」で示される非背景領域を抽出した画像を示している。背景合成部３５０は、非背景マップを参照することにより、図１０（ａ）および図１０（ｂ）に示す図を抽出し、これらを合成することにより図１０（ｃ）に示すような合成画像を生成する。
【０１４１】
このように、非背景マップに従って、背景合成部３５０が背景画像の背景領域と復号化画像の非背景領域とを合成することにより、処理負荷を抑制しつつ画像の復号化を行うことができる。
【０１４２】
また、背景画像は常にイントラ符号化された画像を復号化した復号化画像であり、他の画像（フレーム）との間の時間的予測を用いず、前の復号化画像の影響を受けない画像であるため、拡張レイヤがネットワーク上で損失した場合でも、ドリフトノイズが発生することはない。
【０１４３】
再び図８を参照して、合成画像が生成されると、映像表示部３６０によって合成画像がディスプレイデバイスなどに表示される（ＳＴ２４００）。
【０１４４】
このように、本実施の形態によれば、映像送信装置は、入力画像とイントラ復号化画像である背景画像とを比較し、非背景領域のみを符号化して送信するため、符号化対象のデータ量を削減して処理量を軽減し、符号化効率を向上することができる。
【０１４５】
また、本実施の形態によれば、映像受信装置は、非背景領域のみの復号化画像とイントラ符号化画像を復号化した背景画像とを合成するため、仮に拡張レイヤのデータがネットワーク上で損失した場合でも、イントラ符号化画像である背景画像に対して次の拡張レイヤの復号化画像を合成して、後続の復号化画像へのドリフトノイズの発生を防止することができる。
【０１４６】
なお、本実施の形態においては、映像送信装置および映像受信装置のいずれも背景画像を１つのみ記憶する構成としたが、複数の背景画像を記憶し、背景分離を行うようにしても良い。この場合には、複数の背景画像のうち、入力画像との相関が最も高い背景画像を用いるようにすれば良い。
【０１４７】
さらに、マクロブロックごとに異なる背景画像を用いることも可能である。この場合には、同一の背景画像を用いるマクロブロック群ごとに背景情報を生成し、背景情報のヘッダに、対応する背景画像の番号を記述すれば良い。このようにマクロブロックごとに相関の高い背景画像を用いることで、より符号化効率を向上することが可能である。
【０１４８】
また、本実施の形態においては、映像符号化処理、送信処理、受信処理、および映像復号化処理を同期させて行っているが、本発明はこれに限定されず、これらの処理を非同期に行っても良い。すなわち、例えば、映像符号化処理を事前に行い、後から送信処理、受信処理、および復号化処理を行ったり、映像符号化処理、送信処理、および受信処理を事前に行い、後から映像復号化処理を行ったりしても良い。
【０１４９】
（実施の形態２）
本発明の実施の形態２の特徴は、基本レイヤを符号化する際に得られる動きベクトルの分散値を用いて、この分散値が一定値以下である場合には、平均動きベクトルを累積した方向に背景画像を移動してから背景分離することにより、例えば監視カメラなどが所定の範囲を回動しながら撮影する場合でも、非背景領域となる領域の割合を小さくして、符号化効率を向上することである。
【０１５０】
図１１は、本発明の実施の形態２に係る映像送信装置の構成を示すブロック図である。なお、同図に示す映像送信装置において、図１に示す映像送信装置と同じ部分には同じ符号を付し、その説明を省略する。図１１に示す映像送信装置５００は、映像入力部１１０、背景分離部１２０ａ、基本レイヤ符号化部１３０、拡張レイヤ符号化部１４０、基本レイヤ復号化部１５０、映像送信部１６０、映像送信部１７０、および移動検出部５１０を有している。
【０１５１】
移動検出部５１０は、動き補償部１３１によって求められた画像全体の動きベクトルの平均値および分散値をＸ軸Ｙ軸それぞれについて求め、分散値が所定の閾値以下である場合には、背景全体が移動していると判断する。すなわち、画像全体の動きベクトルが類似している傾向にあれば、移動検出部５１０は、画像全体が移動している（例えば監視カメラなどがパン動作している）と判断し、動きベクトルの平均値を累積した値を背景動きベクトルとして算出し、背景分離部１２０ａへ出力する。また、移動検出部５１０は、動きベクトルの分散値が所定の閾値以上である場合には、背景は静止している旨の情報を背景分離部１２０ａへ出力する。
【０１５２】
背景分離部１２０ａは、映像入力部１１０から入力された入力画像全体を背景動きベクトル方向に平行移動し、その後、背景画像と差分比較し、マクロブロックごとに背景領域および非背景領域を決定する。また、背景分離部１２０ａは、入力画像および基本レイヤ復号化部１５０によって生成される参照画像において、背景領域の画素値をゼロに置き換えた上で、差分処理部１４１へ出力する。
【０１５３】
さらに、背景分離部１２０ａは、各マクロブロックが背景領域であるか否かを示す情報および背景動きベクトルの情報を含む背景情報を生成し、可変長符号化部１４３へ出力する。また、背景分離部１２０ａは、符号化モード情報を基本レイヤ符号化部１３０内の動き補償部１３１へ出力するとともに、符号化モードがイントラ符号化である場合には、入力画像を背景画像として記憶する。
【０１５４】
図１２は、実施の形態２に係る映像受信装置の構成を示すブロック図である。なお、同図に示す映像受信装置において、図２に示す映像受信装置と同じ部分には同じ符号を付し、その説明を省略する。図１２に示す映像受信装置６００は、映像受信部３１０、映像受信部３２０、基本レイヤ復号化部３３０、拡張レイヤ復号化部３４０、背景合成部３５０ａ、および映像表示部３６０を有している。
【０１５５】
背景合成部３５０ａは、あらかじめ記憶されている背景画像を、可変長復号化部３４１から出力された背景情報に含まれる背景動きベクトルの方向に移動する。さらに、背景合成部３５０ａは、背景情報に含まれる非背景マップに従って移動後の背景画像の背景領域と加算処理部３４３によって得られた復号化画像とを合成する。すなわち、背景合成部３５０ａは、移動後の背景画像の背景領域と復号化画像の非背景領域値を合成して合成画像を映像表示部３６０へ出力する一方、符号化モードがイントラ符号化である場合は、復号化画像を新たな背景画像として記憶する。
【０１５６】
次いで、上記構成を有する映像送信装置５００の動作について説明するが、装置全体の動作は図３と同様であるため、ここでは図３のＳＴ１３００における背景判別処理について、具体的に例を挙げながら、図１３のフローチャートを用いて説明する。なお、同図に示すフローチャートにおいて、図４に示すフローチャートと同じステップについては同じ番号を付し、その説明を省略する。
【０１５７】
ＳＴ１３０２の判定の結果、符号化モードがイントラ符号化ではない、すなわち非イントラ符号化であると判定された場合は（Ｓ１３０２“ＮＯ”）、移動検出部５１０によって、動き補償部１３１からの画像全体の動きベクトル入力が待機される（ＳＴ３０００）。なお、所定時間待機しても動きベクトルが入力されない場合は、移動検出部５１０によって、背景は静止している旨の情報が背景分離部１２０ａへ出力される。
【０１５８】
そして、移動検出部５１０へ画像全体の動きベクトルが入力されると、これらの動きベクトルの分散値および平均値がＸ軸Ｙ軸それぞれについて求められ、分散値が所定の閾値以下であるか否かが判定されることにより、背景全体が移動しているか否かが判断される（ＳＴ３００２）。すなわち、動きベクトルの分散値が所定の閾値以下であれば、背景全体が移動していると判断され、動きベクトルの分散値が所定の閾値以上であれば、背景全体は静止していると判断される。
【０１５９】
背景全体が移動していると判断された場合は、移動検出部５１０によって、以下のように背景動きベクトルが算出され、背景分離部１２０ａへ出力される。すなわち、背景動きベクトル（ＭＶＸ，ＭＶＹ）は、以下の（式１）に示すように、動きベクトルの平均値のＸ軸成分ＡＶＲ＿ＸおよびＹ軸成分ＡＶＲ＿Ｙがそれぞれ時間Ｔに関して累積されることにより求められる。
【０１６０】
ＭＶＸ（Ｔ＋１）＝ＭＶＸ（Ｔ）＋ＡＶＲ＿Ｘ（Ｔ）
ＭＶＹ（Ｔ＋１）＝ＭＶＹ（Ｔ）＋ＡＶＲ＿Ｙ（Ｔ）      ・・・（式１）
また、背景全体は静止していると判断された場合は、移動検出部５１０によって、背景が静止している旨の情報が背景分離部１２０ａへ出力される。
【０１６１】
そして、背景分離部１２０ａによって、背景動きベクトルが用いられて背景画像の移動処理が行われる（ＳＴ３００４）。すなわち、記憶されている背景画像、すなわち前回のイントラ符号化画像が、背景動きベクトルに従って移動される。
【０１６２】
さらに、好ましくは、入力画像と移動後の背景画像とが比較され、両画像において最も相関の高い位置へのベクトル、すなわち補正背景動きベクトルが画素単位で算出され、背景画像が補正背景動きベクトル方向に移動される。なお、処理負荷軽減のため、補正背景動きベクトルの算出は行われないようにしても良い。
【０１６３】
以降、実施の形態１と同様に背景領域と非背景領域とが分離されるが、本実施の形態においては、移動後の背景画像が用いられて背景領域と非背景領域とが分離される。また、本実施の形態における背景情報には、背景動きベクトルの情報が含まれる。
【０１６４】
以下に、図１４および図１５を用いて背景判別処理の具体例を示す。
【０１６５】
図１４（ａ）は、背景画像を示し、図１４（ｂ）は、入力画像を示しているものとする。これらの図において、物体４００は静止しているのに対し、物体４１０は移動しているとともに、背景動きベクトル７００だけ背景全体が移動している。このような場合、背景分離部１２０ａによって、背景画像が背景動きベクトル７００だけ移動されて、図１４（ｃ）に示すような画像が得られる。そして、背景分離部１２０ａによって、入力画像（図１４（ｂ））と移動後の背景画像（図１４（ｃ））との差分処理が行われた結果、物体４００を含む領域は背景領域となり、図１４（ｄ）に示す、領域７１０および領域７２０のみが非背景領域となる。
【０１６６】
ここで、移動検出部５１０において背景全体の移動の検出を行わないと、図１４（ａ）を背景画像として差分処理が行われるため、物体４００は静止しているにも拘わらず、画像全体が非背景領域となってしまう。しかし、本実施の形態においては、背景全体の移動を検出し、背景画像を移動させてから差分処理を行うため、非背景領域の割合を小さくすることができ、符号化効率を向上することができる。
【０１６７】
そして、図１５（ａ）に示す領域７１０および領域７２０以外の画素値はゼロに置換され、図１５（ｂ）に示す背景情報が生成される。図１５（ｂ）に示す背景情報は、背景動きベクトルの情報を有するヘッダ７３０と、上記の領域７１０および領域７２０が非背景領域を示す「０」に更新された非背景マップ７４０とから構成されている。
【０１６８】
次に、本実施の形態に係る映像受信装置６００の動作について説明するが、装置全体の動作は図８と同様であるため、ここでは図８のＳＴ２３５０における背景合成処理について、具体的に例を挙げながら、図１６のフローチャートを用いて説明する。なお、同図に示すフローチャートにおいて、図９に示すフローチャートと同じステップについては同じ番号を付し、その説明を省略する。
【０１６９】
ＳＴ２３５２の判定の結果、符号化モードが非イントラ符号化と判定された場合は（ＳＴ２３５２“ＮＯ”）、背景合成部３５０ａによって、可変長復号化部３４１から出力された背景情報のうち、背景動きベクトルが参照され、背景全体が移動しているか否かが判断される（ＳＴ４０００）。すなわち、背景合成部３５０ａによって、背景動きベクトルが０であるか否かが判定され、背景動きベクトルが０であれば背景全体は静止していると判断され、背景動きベクトルが０でなければ背景全体が移動していると判断される。
【０１７０】
そして、背景全体が移動していると判断された場合は、背景合成部３５０ａによって、あらかじめ記憶されている背景画像が背景動きベクトルの方向へ移動される（ＳＴ４００２）。以降は、実施の形態１と同様に背景領域と非背景領域とが合成されるが、背景画像としては、移動後の背景画像が用いられる。
【０１７１】
具体的に例を挙げると、例えば図１７（ａ）は、背景画像を背景動きベクトル方向に移動した後に、非背景マップ中に「１」で示される背景領域を抽出した画像を示しており、図１７（ｂ）は、拡張レイヤ復号化部３４０から出力される復号化画像から非背景マップ中に「０」で示される非背景領域を抽出した画像を示している。背景合成部３５０ａは、背景動きベクトルおよび非背景マップを参照することにより、図１７（ａ）および図１７（ｂ）に示す図を抽出し、これらを合成することにより図１７（ｃ）に示すような合成画像を生成する。
【０１７２】
このように、本実施の形態によれば、映像送信装置は、背景全体が移動している場合には、背景動きベクトルを求め、背景画像を背景動きベクトル分だけ移動させた上で入力画像との差分処理を行うため、実際は静止している背景領域を正確に抽出して、非背景領域のみを符号化して送信することができ、例えば映像送信装置がパン動作しているような場合でも符号化効率を向上することができる。
【０１７３】
（実施の形態３）
図１８は、本発明の実施の形態３に係る映像送信装置の構成を示すブロック図である。
【０１７４】
図１８に示す映像送信装置８００は、映像入力部１１０、背景分離部８２０、基本レイヤ符号化部１３０、拡張レイヤ符号化部１４０、基本レイヤ復号化部８５０、映像送信部１６０、および映像送信部１７０を有しており、実施の形態１と動作が同じ機能ブロックは、図１と同一の番号を付与し、その動作説明は省略する。
【０１７５】
背景分離部８２０は、前後のフレームとの相関を用いずにフレーム内で符号化された（以下「イントラ符号化」という）基本レイヤ復号化画像である過去の背景画像と現在のフレームの基本レイヤ復号化画像とを差分比較し、１６×１６画素から構成されるマクロブロックごとに、画素値に変動がない領域である背景領域とそれ以外の非背景領域を決定する。したがって、背景領域とは、基本レイヤ復号化画像において過去にイントラ符号化された背景画像と同一の画素値を有する領域であり、非背景領域とは、過去にイントラ符号化された背景画像と異なる画素値を有する領域である。
【０１７６】
また、背景分離部８２０は、入力画像および基本レイヤ復号化部８５０によって生成される基本レイヤの復号化画像（以下「参照画像」という）において、背景領域の画素値をゼロに置き換えた上で、拡張レイヤ符号化部１４０内の差分処理部１４１へ出力する。
【０１７７】
また、背景分離部８２０は、イントラ符号化を行うか否かの符号化モードを判定し、符号化モード情報を基本レイヤ符号化部１３０内の動き補償部１３１へ出力するとともに、符号化モードがイントラ符号化である場合には、基本レイヤ復号化画像を背景画像として記憶する。
【０１７８】
可変長符号化部８４３は、直交変換係数に対して、可変長符号テーブルを用いてビットプレーンごとに可変長符号化処理を施し、得られた拡張レイヤの映像ストリームを映像送信部１７０へ出力する。
【０１７９】
基本レイヤ復号化部８５０は、量子化部１３２から出力された直交変換係数を逆量子化および逆直交変換処理して誤差画像を復元する。さらに、基本レイヤ復号化部８５０は、前回の復号化画像と動き補償部１３１から出力された動きベクトルとを用いて、動き補償部１３１において使用された参照画像と誤差画像との加算処理を行うことにより新たな復号化画像（参照画像）を生成し、背景分離部８２０に出力する。
【０１８０】
図１９は、実施の形態３に係る映像受信装置の構成を示すブロック図である。
【０１８１】
図１９に示す映像受信装置９００は、映像受信部３１０、映像受信部３２０、基本レイヤ復号化部３３０、拡張レイヤ復号化部３４０、背景合成部９５０、および映像表示部３６０を有しており、図２と同一の番号を付与したブロックは、実施の形態１と動作が同一であるため動作説明は省略する。
【０１８２】
動き補償部９３３は、逆量子化部３３２から出力された誤差画像と、可変長復号化部３３１から出力された動きベクトルと、前回の復号化画像とを用いて、新たな復号化画像を生成し、基本レイヤ復号化画像を加算処理部３４３と、背景合成部９５０へ出力する。
【０１８３】
背景合成部９５０は、動き補償部９３３によって得られた基本レイヤ復号化画像と、あらかじめ記憶されている基本レイヤ復号化画像である背景画像とを用いて、背景判別を行い、加算処理部３４３によって得られた復号化画像と背景画像との背景合成を行う。すなわち、背景合成部９５０は、前の基本レイヤ復号化画像である背景画像と現在のフレームの基本レイヤ復号化画像とを差分比較し、１６×１６画素から構成されるマクロブロックごとに、画素値に変動がない領域である背景領域とそれ以外の非背景領域を決定する。決定した背景情報に従って背景画像の背景領域と復号化画像の非背景領域とを合成して合成画像を映像表示部３６０へ出力する一方、符号化モードがイントラ符号化である場合は、現在の基本レイヤ復号化画像を新たな背景画像として記憶する。
【０１８４】
次いで、上記構成を有する映像送信装置８００の動作について、図２０に示すフローチャートを用いて説明する。
【０１８５】
図２０は、本実施の形態３の映像送信装置８００の動作を示すフローチャートである。
【０１８６】
なお、図２０に示すフローチャートの動作は、図１８に示す映像送信装置８００の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。また、図２０において、図３と同一のステップ番号を付与した処理ステップは実施の形態１と同一の動作を示すものであり、その動作説明は省略する。
【０１８７】
図１８に示すように、映像入力部１１０に映像が入力されると、その映像信号は基本レイヤ符号化部１３０へ出力されると共に、背景分離部８２０へ出力される。
【０１８８】
背景分離部８２０では、背景判別処理を行う（ＳＴ１２５５）。具体的には、背景分離部８２０は、基本レイヤ符号化およびローカルデコードした基本レイヤ復号化画像を用いて、入力画像中の背景領域と非背景領域とをマクロブロック単位で分離して、各マクロブロックが背景領域であるか否かを示す背景情報を生成する。また、背景分離部８２０は、入力画像および参照画像の背景領域の画素値をゼロに置換した上で差分処理部１４１へ出力する。なお、背景分離部８２０の背景判別処理については、後に詳述する。
【０１８９】
次に、上述した映像送信装置８００の背景判別処理について、具体的に例を挙げながら図２１のフローチャートを用いて説明する。
【０１９０】
図２１は、本実施の形態３の背景分離部８２０における背景判別処理を示すフローチャートである。
【０１９１】
図２１において、図４と同一の番号を付与した処理ステップは実施の形態１と同一の処理を示すものであり、処理説明は省略する。
【０１９２】
まず、背景分離部８２０は、図２０のＳＴ１０５０の符号化モード判定の結果、符号化モードがイントラ符号化であったか否かを判定する（ＳＴ１３０２）。
【０１９３】
この判定の結果、符号化モードがイントラ符号化であった場合は（ＳＴ１３０２“ＹＥＳ”）、背景画像が更新される（ＳＴ１３０８）。すなわち、背景分離部８２０によって、基本レイヤ復号化画像が新たな背景画像として記憶される。上述したように、前回背景画像が更新されてから、すなわちイントラ符号化が行われてから所定数の画像が入力されるか、非背景領域の割合が大きい場合には、符号化モードがイントラ符号化となるため、このときに背景画像を更新することにより、以後の非背景領域を極力小さくすることができる。結果として、以後に符号化される誤差画像において画素値がゼロとなる背景領域を大きくすることができ、実質的に符号化する領域を小さくして符号化効率を向上することができる。
【０１９４】
また、符号化モードがイントラ符号化と判定された場合は、背景分離部８２０によって、マクロブロックごとに背景領域が「１」で示され、非背景領域が「０」で示される非背景マップが作成される際に、すべてのマクロブロックが「１」、すなわち背景領域で初期化される。
【０１９５】
一方、ＳＴ１３０２の判定の結果、符号化モードがイントラ符号化ではない、すなわち、他のフレームとの相関を用いて符号化するインター符号化等の非イントラ符号化と判定された場合は（ＳＴ１３０２“ＮＯ”）、背景分離部８２０によって、現在のフレームの基本レイヤ復号化像と、前の基本レイヤ復号化画像である背景画像との差分処理がマクロブロックごとに行われ、マクロブロック内の画素の差分値の絶対和が所定の閾値以下のマクロブロックを背景領域とし、それ以外のマクロブロックを非背景領域とする（ＳＴ１３０５）。なお、前の背景画像とは、前回符号化モードがイントラ符号化であった場合に、背景分離部８２０に記憶された基本レイヤ復号化画像である。
【０１９６】
そして、実施の形態１の場合と同様に、図４に示す非背景マップ更新処理（ＳＴ１３０６）および背景分離処理（ＳＴ１３１０）を行なうが、本実施の形態３の場合、実施の形態１の場合と異なり、図４に示す背景情報生成処理（ＳＴ１３１２）は行わない。
【０１９７】
このように、本実施の形態３では、実施の形態１で生成していた背景情報を生成して受信側に送信することを行なわない。これは、後に述べる映像受信装置９００において、映像送信装置８００における背景分離部８２０と同様に、基本レイヤ復号化画像を用いた背景判別を行うことにより、背景情報を送受信することなく背景領域を一意に識別できるためである。これにより、背景情報のオーバヘッドを削減でき、送受信するデータ量を削減できるので、結果的に符号化効率を向上することが可能である。
【０１９８】
次に、本実施の形態３に係る映像受信装置９００の動作について、図２２に示すフローチャートを用いて説明する。
【０１９９】
図２２は、実施の形態３に係る映像受信装置９００の動作を示すフローチャートである。
【０２００】
なお、図２２に示すフローチャートの動作は、映像受信装置９００の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。なお、図２２において図８と同一の処理ステップ番号を付与した処理ステップは実施の形態１と同一の処理を示すものであり、その処理ステップの説明は省略する。
【０２０１】
実施の形態３に係る映像受信装置９００では、映像送信装置８００から送信された圧縮符号化された映像信号を受信して復号化画像が得られると、背景合成部９５０によって、実施の形態１の場合とは異なり、背景情報を用いることなく、その背景画像の背景領域と復号化された非背景領域とを用いて背景合成処理を行ない（ＳＴ２３５５）、合成画像が生成される。具体的には、図２３のフローチャートに示すような処理が行われる。
【０２０２】
図２３は、本実施の形態３の背景合成部９５０の背景合成処理を示すフローチャートである。
【０２０３】
すなわち、背景合成部９５０は、まず、可変長復号化部３３１から出力された符号化モード情報を参照して、符号化モードがイントラ符号化であるか否かを判定する（ＳＴ２３５２）。
【０２０４】
この判定の結果、符号化モードがイントラ符号化である場合は（ＳＴ２３５２“ＹＥＳ”）、背景画像が記憶される（ＳＴ２３５９）。すなわち、背景合成部９５０によって、基本レイヤ復号化画像が新たな背景画像として記憶される。上述したように、符号化モードがイントラ符号化である場合は、画像全体が非背景領域であるため、基本レイヤ復号化画像そのものが新たな背景画像となる。
【０２０５】
一方、ＳＴ２３５２の判定の結果、符号化モードがイントラ符号化でない、すなわち非イントラ符号化と判定された場合は（ＳＴ２３５２“ＮＯ”）、背景合成部９５０は、背景判別を行い、判別の結果、拡張レイヤ復号化部３４０から出力された復号化画像と背景合成部３５０に記憶されている背景画像とを合成する（ＳＴ２３５７）。
【０２０６】
具体的には、背景合成部９５０は、動き補償部９３３より得られた現在の基本レイヤ復号化画像と、受信した映像ストリームから復号して記憶した前の基本レイヤ復号化画像である背景画像との差分処理をマクロブロックごとに行い、マクロブロック内の画素の差分値の絶対和が所定の閾値以下のマクロブロックを背景領域とし、それ以外のマクロブロックを非背景領域と判定する。
【０２０７】
次に、背景合成部９５０は、その判定結果を元に、背景領域の背景画像と、非背景領域の復号化画像を合成する。
【０２０８】
このように、本実施の形態３では、実施の形態１の場合とは異なり、背景情報を用いることなく、映像受信装置９００でも、映像送信装置８００と同様に、基本レイヤ復号化画像と背景画像との差分処理により背景領域と非背景領域とを判定し、背景画像の背景領域と復号化画像の非背景領域とを合成することにより、受信するデータ量を抑制しつつ画像の復号化を行うことができる。
【０２０９】
従って、本実施の形態３によれば、映像送信装置８００は、入力画像とイントラ符号化画像である背景画像とを比較し、非背景領域のみを符号化して送信するため、符号化対象のデータ量を削減して処理量を軽減し、符号化効率を向上することができる。
【０２１０】
さらに、本実施の形態３によれば、映像送信装置８００と映像受信装置９００の双方で、同一の基本レイヤ復号化画像を用いた背景判定を行うことにより、映像送信装置８００は背景情報を符号化し送受信する必要がなく、映像受信装置９００では、背景情報を利用しなくても背景領域を一意に決定できるため、背景情報の符号量を削減することができ、この点でも、符号化効率を向上することができる。
【０２１１】
なお、本実施の形態３では、実施の形態２のように背景全体が移動している場合を前提としていないが、上記実施の形態２と同様に、映像送信装置側にて、基本レイヤを符号化する際に得られる動きベクトルの分散値を用いて、この分散値が一定値以下である場合には、平均動きベクトルを累積した方向に背景画像を移動させた上で基本レイヤ復号化画像との差分処理を行ってから背景分離するようにしても勿論良い。このようにすれば、上記実施の形態２と同様に、実際は静止している背景領域を正確に抽出して、非背景領域のみを符号化して送信することができ、例えば映像送信装置がパン動作しているような場合でも符号化効率を向上することができ、例えば監視カメラなどが所定の範囲を回動しながら撮影する場合でも、非背景領域となる領域の割合を小さくし、かつ、背景情報を送受信しない点で、符号化効率を向上させることができる。
【産業上の利用可能性】
【０２１２】
本発明に係る映像通信装置および映像通信方法は、ドリフトノイズを発生させることなく、処理負荷を抑制しつつ符号化効率を向上させることができ、例えば低遅延かつ高画質な画像伝送を必要とする監視カメラシステムなどにおいて有用である。
【図面の簡単な説明】
【０２１３】
【図１】本発明の実施の形態１に係る映像送信装置の構成を示すブロック図
【図２】実施の形態１に係る映像受信装置の構成を示すブロック図
【図３】実施の形態１に係る映像送信装置の動作を示すフローチャート
【図４】実施の形態１に係る映像送信装置の背景判別処理を示すフローチャート
【図５】（ａ）は時刻ｔにおける入力画像の一例を示す図、（ｂ）は時刻（ｔ＋１）における入力画像の一例を示す図、（ｃ）は時刻（ｔ＋１）における非背景領域を示す図
【図６】（ａ）は非背景領域の一例を示す図（ｂ）は非背景マップの一例を示す図
【図７】（ａ）は非背景領域の他の一例を示す図（ｂ）は非背景マップの他の一例を示す図
【図８】実施の形態１に係る映像受信装置の動作を示すフローチャート
【図９】実施の形態１に係る映像受信装置の背景合成処理を示すフローチャート
【図１０】（ａ）は背景領域の一例を示す図、（ｂ）は非背景領域の一例を示す図、（ｃ）は合成画像を示す図
【図１１】本発明の実施の形態２に係る映像送信装置の構成を示すブロック図
【図１２】実施の形態２に係る映像受信装置の構成を示すブロック図
【図１３】実施の形態２に係る映像送信装置の背景判別処理を示すフローチャート
【図１４】（ａ）は背景画像の一例を示す図、（ｂ）は入力画像の一例を示す図、（ｃ）は移動後の背景画像の一例を示す図、（ｄ）は非背景領域を示す図
【図１５】（ａ）は非背景領域の一例を示す図、（ｂ）は背景情報の一例を示す図
【図１６】実施の形態２に係る映像受信装置の背景合成処理を示すフローチャート
【図１７】（ａ）は背景領域の一例を示す図、（ｂ）は非背景領域の一例を示す図、（ｃ）は合成画像を示す図
【図１８】本発明の実施の形態３に係る映像送信装置の構成を示すブロック図
【図１９】実施の形態３に係る映像受信装置の構成を示すブロック図
【図２０】本実施の形態３の映像送信装置の動作を示すフローチャート
【図２１】本実施の形態３の背景分離部における背景判別処理を示すフローチャート
【図２２】実施の形態３に係る映像受信装置の動作を示すフローチャート
【図２３】実施の形態３の背景合成部の背景合成処理を示すフローチャート
【符号の説明】
【０２１４】
１００、５００、８００  映像送信装置（映像通信装置）
１１０  映像入力部
１２０、１２０ａ、８２０  背景分離部
１３０、８５０  基本レイヤ符号化部
１３１、３３３、９３３  動き補償部
１３２  量子化部
１３３、１４３、８４３  可変長符号化部
１４０  拡張レイヤ符号化部
１４１  差分処理部
１４２、３４２  直交変換部
１５０  基本レイヤ復号化部
１６０、１７０  映像送信部
３００、６００、９００  映像受信装置（映像通信装置）
３１０、３２０  映像受信部
３３０  基本レイヤ復号化部
３３１、３４１  可変長復号化部
３３２  逆量子化部
３４０  拡張レイヤ復号化部
３４３  加算処理部
３５０、３５０ａ、９５０  背景合成部
３６０  映像表示部
５１０  移動検出部
【図１】
2005260912.tif 000003
【図２】
2005260912.tif 000004
【図３】
2005260912.tif 000005
【図４】
2005260912.tif 000006
【図５】
2005260912.tif 000007
【図６】
2005260912.tif 000008
【図７】
2005260912.tif 000009
【図８】
2005260912.tif 000010
【図９】
2005260912.tif 000011
【図１０】
2005260912.tif 000012
【図１１】
2005260912.tif 000013
【図１２】
2005260912.tif 000014
【図１３】
2005260912.tif 000015
【図１４】
2005260912.tif 000016
【図１５】
2005260912.tif 000017
【図１６】
2005260912.tif 000018
【図１７】
2005260912.tif 000019
【図１８】
2005260912.tif 000020
【図１９】
2005260912.tif 000021
【図２０】
2005260912.tif 000022
【図２１】
2005260912.tif 000023
【図２２】
2005260912.tif 000024
【図２３】
2005260912.tif 000025