(57)【要約】  【課題】ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、かつ、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減できるカメラを提供する。  【解決手段】領域分割部１１２が画像データを注目領域と非注目領域に分割し、符号化部１１３が注目領域及び非注目領域の画像データを符号化し、通信部１１５が符号化データをネットワークへ送出する。制御部１１６は、ネットワークの通信状態を監視して符号化部１１３を制御する。制御部１１６は、通信状態に応じて、非注目領域の更新を抑制し、非注目領域にフェードアウトが生じるように符号化部１１３を制御する。【選択図】  図１
2010258724.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像部と、
前記撮像部により撮像された画像データを注目領域と非注目領域に分割する領域分割部と、
前記注目領域及び前非注目領域の画像データを符号化する符号化部と、
前記符号化部により符号化された符号化データをネットワークへ送出する通信部と、
前記ネットワークの通信状態を監視して前記符号化部を制御する制御部と、
を有し、前記制御部は、前記通信状態に応じて、前記非注目領域の更新を抑制し、前記非注目領域にフェードアウトが生じるように前記符号化部を制御することを特徴とするカメラ。
【請求項２】
前記制御部は、前記通信状態として前記ネットワークの通信速度を監視し、通信速度が所定レベル以下に低下したと判断される場合に前記非注目領域の更新を抑制することを特徴とする請求項１に記載のカメラ。
【請求項３】
前記符号化部は、重み付けした参照画像を用いる重み付け予測符号化を前記非注目領域に対して行い、該重み付け予測符号化における予測誤差を抑制することによりフェードアウト効果を生じさせることを特徴とする請求項１に記載のカメラ。
【請求項４】
前記制御部は、前記非注目領域の画像中に動きが無い場合に、前記非注目領域のフェードアウトを抑制することを特徴とする請求項１に記載のカメラ。
【請求項５】
前記制御部は、前記非注目領域における動きの大きさに応じて、前記フェードアウトの透過度を制御することを特徴とする請求項１に記載のカメラ。
【請求項６】
前記制御部は、前記非注目領域を構成するスライス単位で前記フェードアウトの透過度を制御することを特徴とする請求項５に記載のカメラ。
【請求項７】
画像データを注目領域と非注目領域に分割する領域分割部と、
前記注目領域及び前非注目領域の画像データを符号化する符号化部と、
前記符号化部により符号化された符号化データをネットワークへ送出する通信部と、
前記ネットワークの通信状態を監視して前記符号化部を制御する制御部と、
を有し、前記制御部は、前記通信状態に応じて、前記非注目領域の更新を抑制し、前記非注目領域にフェードアウトが生じるように前記符号化部を制御することを特徴とする映像送信装置。
【請求項８】
注目領域及び非注目領域を含む画像の符号化データを受信する通信部と、
前記符号化データを復号する復号化部と、
復号された画像データにて前記非注目領域が更新されていない場合に、前記非注目領域のフェードアウト処理を行うフェードアウト部と、
前記注目領域及び前記非注目領域の合成画像を表示する表示部と、
を有することを特徴とする映像受信装置。
【請求項９】
注目領域と非注目領域に分割された画像データを送信する映像送信装置と、
ネットワークを介して前記映像送信装置から受信した前記注目領域及び前記非注目領域を合成した画像を表示する映像受信装置とを有する映像通信システムであって、
前記ネットワークの通信状態を監視して、前記通信状態に応じて、前記非注目領域の更新を抑制する手段と、
前記非注目領域の更新が抑制されているときに、前記非注目領域の画像をフェードアウトさせる手段とを有することを特徴とする映像通信システム。
【請求項１０】
画像データを注目領域と非注目領域に分割し、
前記注目領域及び前記非注目領域の画像データを符号化し、
符号化データをネットワークへ送出する映像送信方法であって、
前記ネットワークの通信状態に応じて、前記非注目領域の更新を抑制するとともに、フェードアウトが生じるように前記非注目領域を符号化することを特徴とする映像送信方法。
【請求項１１】
注目領域及び非注目領域を含む画像の符号化データを受信し、
前記符号化データを復号して前記注目領域及び前記非注目領域の画像を取得し、
前記注目領域及び前記非注目領域の画像を合成する映像受信方法であって、
前記非注目領域が更新されていない場合に、前記非注目領域のフェードアウト処理を行うことを特徴とする映像受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像を注目領域と非注目領域に分割し、それら領域の画像データを符号化して送信する映像送信装置を備えたカメラに関し、また、カメラと映像受信装置で構成される映像通信システムに関する。
【背景技術】
【０００２】
従来、映像をネットワーク経由で送信するカメラが提供されており、例えば、監視映像が送信される。この種の技術では、通信データ量を極力削減することが求められる。このような要求に応えるため、従来、撮像画像を注目領域と背景領域に分割し、背景領域の圧縮率を高めることが提案されている。例えば、被写体が動く領域が注目領域に設定され、被写体が静止した領域が背景領域に設定される。以下の説明では、注目領域、背景領域等の領域の画像（又は画像データ）のことを、適宜、単に領域という。
【０００３】
図１０は、従来提案されている領域分割を使った圧縮技術の例を示している。図１０では、データ量削減のために、領域の注目度合いに基づき、空間的な画像品質だけでなく、時間的な画像品質をも変化させている。具体的には、図示のように、注目領域の画像データは、高画質、高フレームレートで伝送され、背景領域の画像データは、低画質、低フレームレートで伝送される。これにより、主観的な画像品質を維持しつつ、データの圧縮率を高めている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−８０８３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のカメラやその映像通信システムにおいては、ネットワーク状況をフィードバックして符号化を制御する場合に、以下のような問題が生じる。
【０００６】
注目領域と背景領域では、注目領域の送信が優先される。ネットワークの通信状況が悪化し、帯域が狭い状態が続き、注目領域のデータのためにしか帯域を確保できず、背景領域が更新されなかったとする。この場合、映像受信側では、古い背景画像が表示され続ける。ところが、背景領域は元々変化の少ない領域であることが多い。そのため、ユーザが映像受信側の表示を見ても、実際の背景に変化が無いのか、ネットワーク状況が原因で背景情報を更新できていないのかを判別できないという問題がある。
【０００７】
例えば、監視カメラの映像をユーザに送信する場合、ユーザは、背景領域内の動きもある程度は知る必要がある。それ故、実際の背景が変化していないのか、背景情報が更新されていないのかを判断できないと不便である。そこで、ネットワーク状況が原因で背景領域を更新できていないことをユーザが把握可能にすることが望まれる。
【０００８】
また、従来は、上記のようにネットワーク状況が原因で背景領域が更新されない状態が続くと、注目領域と背景領域の境界部分のずれが大きくなり、画像が不自然になるという問題もある。
【０００９】
ここでは、注目領域と背景領域への領域分割について説明した。背景領域は非注目領域に相当する。本明細書において、非注目領域とは、注目領域以外の領域である。
【００１０】
本発明は、従来の問題を解決するためになされたものであり、その目的は、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、かつ、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減できるカメラや映像通信システムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明のカメラは、被写体を撮像する撮像部と、前記撮像部により撮像された画像データを注目領域と非注目領域に分割する領域分割部と、前記注目領域及び前非注目領域の画像データを符号化する符号化部と、前記符号化部により符号化された符号化データをネットワークへ送出する通信部と、前記ネットワークの通信状態を監視して前記符号化部を制御する制御部と、を有し、前記制御部は、前記通信状態に応じて、前記非注目領域の更新を抑制し、前記非注目領域にフェードアウトが生じるように前記符号化部を制御する。
【００１２】
この構成により、ネットワークの通信状態が悪化し、帯域が狭くなると、非注目領域の更新が抑制されるとともに、非注目領域がフェードアウトする。非注目領域の更新を抑制するので、注目領域のための帯域を確保でき、注目領域の映像データを効率よく伝送し、復号できる。そして、非注目領域のフェードアウトにより、非注目領域が更新されていないことを把握可能である。また、注目領域と非注目領域の境界にずれが生じた場合でも、非注目領域をフェードアウトすることにより、ずれを目立たなくできる。このように、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、かつ、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減できる。
【００１３】
また、本発明のカメラにおいて、前記制御部は、前記通信状態として前記ネットワークの通信速度を監視し、通信速度が所定レベル以下に低下したと判断される場合に前記非注目領域の更新を抑制する。
【００１４】
この構成により、ネットワーク状況に応じて符号化を好適に制御できる。通信速度は、例えば、通信部における送信バッファの空き容量で表される。帯域が小さくなり、通信速度が下がると、送信バッファの空き容量が低減する。空き容量が所定値以下になったことを通信部が制御部に通知してよく、これにより制御部は通信速度が所定レベル以下であると判断できる。
【００１５】
本発明のカメラにおいて、前記符号化部は、重み付けした参照画像を用いる重み付け予測符号化を前記非注目領域に対して行い、該重み付け予測符号化における予測誤差を抑制することによりフェードアウト効果を生じさせる。
【００１６】
この構成により、重み付け予測符号化を活用することにより、フェードアウト効果を得られる。したがって、標準のデコーダで通常のデコード処理を行うと、フェードアウト効果が得られる。フェードアウトを実現するためにフィルタ等を用いる必要がない。さらに、フェードアウトのために専用の情報を送信する必要もなく、符号化効率を下げずに済む。こうして、簡単な構成でもって、符号化効率の低下を避けつつ、非注目領域のフェードアウト効果を得ることができる。
【００１７】
また、本発明のカメラにおいて、前記制御部は、前記非注目領域の画像中に動きが無い場合に、前記非注目領域のフェードアウトを抑制する。
【００１８】
この構成により、非注目領域に動きがあればフェードアウトが行われ、非注目領域に動きが無ければフェードアウトが行われない。したがって、フェードアウトするか否かによって非注目領域の動きの有無を把握できる。この構成は、フェードアウトを符号化側で行っていることを利用している。符号化側でフェードアウトを制御するので、上記のように非注目領域内の動きの有無に応じてフェードアウトを切り換えることができ、復号側に非注目領域内の動きの有無を把握させることができる。
【００１９】
また、本発明のカメラにおいて、前記制御部は、前記非注目領域における動きの大きさに応じて、前記フェードアウトの透過度を制御する。
【００２０】
この構成により、非注目領域内の動きが大きいほど、より速く非注目領域がフェードアウトする。したがって、非注目領域の動きの程度も把握可能になる。上記の重み付け予測符号化を適用する場合、重み係数の変更により透過度を制御できる。
【００２１】
また、本発明のカメラにおいて、前記制御部は、前記非注目領域を構成するスライス単位で前記フェードアウトの透過度を制御する。
【００２２】
この構成により、非注目領域を構成するスライス毎に、動きの大きさに応じてフェードアウトの速さが制御される。したがって、非注目領域中で動きのある場所と動きの大きさを把握可能になる。
【００２３】
また、本発明の別の態様は映像送信装置であり、画像データを注目領域と非注目領域に分割する領域分割部と、前記注目領域及び前非注目領域の画像データを符号化する符号化部と、前記符号化部により符号化された符号化データをネットワークへ送出する通信部と、前記ネットワークの通信状態を監視して前記符号化部を制御する制御部と、を有し、前記制御部は、前記通信状態に応じて、前記非注目領域の更新を抑制し、前記非注目領域にフェードアウトが生じるように前記符号化部を制御する。この態様でも上述した本発明の利点が好適に得られる。映像送信装置はカメラに内蔵されてもよい。また、映像送信装置はカメラに接続されてもよい。また、映像送信装置は、記録された映像を送信してもよい。
【００２４】
また、本発明の別の態様は映像受信装置であり、注目領域及び非注目領域を含む画像の符号化データを受信する通信部と、前記符号化データを復号する復号化部と、復号された画像データにて前記非注目領域が更新されていない場合に、前記非注目領域のフェードアウト処理を行うフェードアウト部と、前記注目領域及び前記非注目領域の合成画像を表示する表示部と、を有する。
【００２５】
この態様では、映像受信装置にてフェードアウトが行われる。この態様でも、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減でき、本発明の利点が得られる。
【００２６】
また、本発明の別の態様は、注目領域と非注目領域に分割された画像データを送信する映像送信装置と、ネットワークを介して前記映像送信装置から受信した前記注目領域及び前記非注目領域を合成した画像を表示する映像受信装置とを有する映像通信システムであって、前記ネットワークの通信状態を監視して、前記通信状態に応じて、前記非注目領域の更新を抑制する手段と、前記非注目領域の更新が抑制されているときに、前記非注目領域の画像をフェードアウトさせる手段とを有する。
【００２７】
この態様では、フェードアウトが送信側で行われてもよく、受信側で行われてもよい。この態様でも、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減でき、本発明の利点が得られる。
【００２８】
また、本発明の別の態様は、画像データを注目領域と非注目領域に分割し、前記注目領域及び前記非注目領域の画像データを符号化し、符号化データをネットワークへ送出する映像送信方法であって、前記ネットワークの通信状態に応じて、前記非注目領域の更新を抑制するとともに、フェードアウトが生じるように前記非注目領域を符号化する。この態様でも、本発明の利点が好適に得られる。
【００２９】
また、本発明の別の態様は、注目領域及び非注目領域を含む画像の符号化データを受信し、前記符号化データを復号して前記注目領域及び前記非注目領域の画像を取得し、前記注目領域及び前記非注目領域の画像を合成する映像受信方法であって、前記非注目領域が更新されていない場合に、前記非注目領域のフェードアウト処理を行う。この態様でも、本発明の利点が好適に得られる。
【発明の効果】
【００３０】
本発明は、ネットワークの通信状態に応じて非注目領域の更新を抑制すると共に、非注目領域をフェードアウトさせる構成を設けることにより、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減できるという効果を有するカメラを提供できる。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１の実施の形態におけるカメラを備えた映像通信システムのブロック図
【図２】重み付け予測符号化を示す図
【図３】重み付け予測を利用したフェードアウト処理を示す図
【図４】カメラの動作を示すフロー図
【図５】表示画像の例であって、背景領域がフェードアウトする様子を示す図
【図６】１フレームの表示画像の例を示す図
【図７】スライス毎のフェードアウト制御を示す図
【図８】第２の実施の形態における映像通信システムを示す図
【図９】第２の実施の形態における映像受信装置の動作を示すフロー図
【図１０】従来の領域分割を用いた符号化処理を示す図
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態のカメラとそれを備えた映像通信システムについて、図面を用いて説明する。
【００３３】
本発明の第１の実施の形態のカメラを備えた映像通信システムを図１に示す。図１に示すように、映像通信システム１においては、カメラ１０１がネットワーク１０２を介して映像受信装置１０３と接続されている。
【００３４】
カメラ１０１は、撮像部１１０、動き検出部１１１、領域分割部１１２、符号化部１１３、記憶部１１４、通信部１１５及び制御部１１６を有する。カメラ１０１には映像送信装置が組み込まれている。領域分割部１１２、符号化部１１３、記憶部１１４、通信部１１５及び制御部１１６が映像送信装置を構成してよい。
【００３５】
撮像部１１０は固体撮像素子を備え、被写体を撮像し、電気的な画像信号を生成する。動き検出部１１１は、撮像部１１０によって生成された画像データを処理して、画像中の動きを検出する。
【００３６】
領域分割部１１２は、撮像部１１０により生成された画像データを注目領域と背景領域に分割する。背景領域は、注目領域以外の領域であり、本発明の非注目領域に相当する。
【００３７】
注目領域は、ユーザにより指定されてよい。例えば、注目領域の位置が映像受信装置１０３に入力される。注目領域の位置情報は、映像受信装置１０３からカメラ１０１へと送信され、通信部１１５から制御部１１６を介して領域分割部１１２に供給される。領域分割部１１２は、指定された位置の画像を撮像画像から切り出して注目領域とし、残りの部分を背景領域とする。
【００３８】
また、注目領域は、動き検出結果に基づいて決定されてよい。この場合、動き検出部１１１から制御部１１６へ動き検出結果が供給されてよい。制御部１１６は、移動物体の領域を注目領域に設定し、静止物体の領域を背景領域に設定する。注目領域及び背景領域が制御部１１６から領域分割部１１２へ指示され、領域分割部１１２は制御部１１６の指示に従って領域分割を行う。
【００３９】
符号化部１１３は、領域分割部１１２により生成された注目領域及び背景領域の画像データを符号化し、符号化データを生成する。本実施の形態では、符号化部１１３は、ＩＴＵ−Ｔ勧告のＨ．２６４（ＩＳＯ／ＩＥＣのＭＰＥＧ４  Ｐａｒｔ１０  ＡＶＣ）に準拠している。符号化部１１３は制御部１１６により制御される。記憶部１１４は、画像データ及び符号化データを記憶する。これらデータは、符号化部１１３における予測符号化に用いられる。
【００４０】
通信部１１５は、ネットワーク１０２を介して映像受信装置１０３と通信する構成である。通信部１１５は、符号化部１１３により生成された符号化データを送信する。また、通信部１１５は、映像受信装置１０３から制御関連のデータを受信する。
【００４１】
制御部１１６は、カメラ１０１とその映像送信装置の全体を制御する構成であり、符号化部１１３の符号化も制御する。制御部１１６は、注目領域と背景領域とで符号量の割り当てを異ならせるために、符号化パラメータを制御する。符号化パラメータは例えば量子化ステップである。注目領域の量子化ステップが背景領域の量子化ステップよりも小さく設定される。これにより、背景領域と比べて、注目領域の圧縮率が小さくなり、画質が良くなる。
【００４２】
また、制御部１１６は、ネットワークの通信状態を監視し、通信状態に応じて符号化部１１３を制御する。制御部１１６は、通信状態としてネットワークの通信速度を監視し、通信速度が所定レベル以下に低下したか否かを判断する。
【００４３】
通信速度の情報は、通信部１１５から制御部１１６へと通知される。通信部１１５は、通信速度のパラメータとして送信バッファの空き容量を用いる。送信バッファの空き容量は通信速度を間接的に表す。通信状況が悪化し、通信速度が低下すると、空き容量が少なくなる。そこで、通信部１１５は、送信バッファの空き容量を監視し、空き容量が所定値以下になると、制御部１１６に通知する。制御部１１６は、通信部１１５からの通知により、通信速度が所定レベル以下になったことを判断できる。
【００４４】
制御部１１６は、通信速度が所定レベル以下になると、符号化部１１３を制御し、背景領域の更新を抑制し、更に、背景領域にフェードアウトを生じさせるように符号化部１１３を制御する。本実施の形態では、実際にフェードアウト画像を生成する代わりに、ＩＴＵ−Ｔ勧告のＨ．２６４における重み付け予測符号化を利用して擬似的にフェードアウト効果を実現する。この点については後述にて詳細に説明する。
【００４５】
次に、映像受信装置１０３の構成を説明する。映像受信装置１０３は、通信部１３０、復号化部１３１、記憶部１３２、表示部１３３、操作部１３４及び制御部１３５を有する。
【００４６】
通信部１３０は、カメラ１０１と通信する構成であり、カメラ１０１から符号化データを受信し、また、カメラ１０１へ制御関連のデータを送信する。復号化部１３１は、通信部１３０により受信された符号化データを復号し、注目領域と背景領域の画像を得る。記憶部１３２は、復号された画像を記憶する。記憶された画像は、復号化部１３１における復号処理に用いられる。本実施の形態では、フェードアウトのために、背景領域が重み付け予測によって符号化されている。この符号化データの復号においても、記憶部１３２の画像データが用いられる。
【００４７】
復号化部１３１は注目領域と背景領域の合成画像を表示部１３３に出力し、表示部１３３は、復号化部１３１から入力された合成画像を表示する。操作部１３４は、キーボードやポインティングデバイス等で構成されてよく、ユーザによる各種の指示を入力する。注目領域の指定も、操作部１３４から入力されてよい。
【００４８】
制御部１３５は、映像受信装置１０３全体を制御する構成である。操作部１３４へ入力されたユーザの指示は、制御部１３５へ供給され、制御部１３５から通信部１３０を介してカメラ１０１へ送信され、カメラ１０１の制御部１１６へと伝達される。
【００４９】
次に、本実施の形態におけるＨ．２６４の重み付け予測を利用したフェードアウト処理について説明する。まず、重み付け予測符号化について説明し、それから、本実施の形態のフェードアウト処理について説明する。
【００５０】
図２は、Ｈ．２６４の重み付け予測を示している。重み付け予測は、明るさについて重み付けした参照画像を用いたフレーム間予測である。図示のように、符号化側では、記憶された前フレームの画像が重み付けされて、参照画像が作成される。ここでは、輝度値に重み係数（１未満）が掛けられる。入力画像と参照画像の差分が、予測誤差として求められる。復号処理では、重み係数と予測誤差が用いられる。前フレームの画像と重み係数から参照画像が得られ、参照画像に予測誤差値が加算され、元の入力画像が得られる。
【００５１】
図３は、上記の重み付け予測を利用した本実施の形態のフェードアウト処理を示す。図示のように、本実施の形態では、重み付け予測の予測誤差が抑制される。本明細書において、予測誤差の抑制とは、誤差を実質的に無くす処理をいい、具体的な処理としては予測誤差が０に置き換えられる。
【００５２】
予測誤差が０なので、復号処理では参照画像のみが得られる。参照画像では、過去のフレームのデータの輝度が重み付けにより低減されている。重み係数は徐々に小さくなるように設定される。したがって、復号に用いる画像は過去の画像と同様でありつつ、輝度が徐々に小さくなり、フェードアウト効果が得られる。
【００５３】
制御部１１６は、上記のフェードアウト処理を背景領域に対して行うように符号化部１１３に指示する。すなわち、制御部１１６は、背景領域と重み係数を符号化部１１３に指示して、背景領域の重み付け予測を行わせる。また、制御部１１６は、予測誤差を０に置き換えるように符号化部１１３に指示する。符号化部１１３は、制御部１１６の制御下で、記憶部１１４に記憶された背景領域の画像に対して輝度の重み付けを行って参照画像を作成し、通常の重み付け予測を行う。ただし、符号化部１１３は、予測誤差を０に置き換える。こうして作成された符号化データが、通信部１１５から映像受信装置１０３へ送信される。
【００５４】
映像受信装置１０３では、復号化部１３１が、背景領域の画像に対して通常の重み付け予測の復号処理を行う。予測誤差が０なので、復号画像は参照画像のみになり、かつ、重み係数が徐々に小さくなる。したがって、表示部１３３では、同じ背景領域の画像（通信速度が低下する直前の背景領域の画像）が徐々に輝度を下げることになり、フェードアウトが好適に実現される。
【００５５】
以上に本実施の形態に係る映像通信システム１の構成を説明した。次に、本実施の形態の動作を説明する。
【００５６】
図４は、カメラ１０１による背景領域に関する処理を示している。制御部１１６は、ネットワーク１０２の通信速度が低下したか否かを判定する（Ｓ１）。前述のように、送信バッファの空き容量が所定値以下になると、通信部１１５が制御部１１６に容量低下を通知する。この通知を受けると、ステップＳ１の判断がＹＥＳになる。
【００５７】
ステップＳ１がＹＥＳの場合、制御部１１６は、符号化部１１３を制御し、背景領域の更新を抑制し（Ｓ２）、タイマを更新する（Ｓ３）。新たな画像から切り出した背景領域の符号化を行わないことにより、背景領域の更新が抑制される。タイマは、通信速度低下によって背景領域更新の抑制を開始してから経過した時間を計るために用いられる。
【００５８】
制御部１１６は、タイマの計測時間が所定時間に到達したか否かを判定する（Ｓ４）。所定時間は、フェードアウト開始の閾時間である。ステップＳ４がＮＯであれば、制御部１１６はステップＳ６に進む。ステップＳ６では、符号化部１１３により符号化が行われる。
【００５９】
ステップＳ４がＹＥＳであれば、制御部１１６は、フェードアウト開始を符号化部１１３に指示して（Ｓ５）、ステップＳ６に進む。本実施の形態では、重み付け予測の指示が、フェードアウトの指示に相当する。制御部１１６は、符号化部１１３に対し、重み付け係数を指示し、また、予測誤差を０に置き換えるように指示する。この指示に従い、ステップＳ６では、符号化部１１３が重み付け予測を行う。
【００６０】
一方、ステップＳ１がＮＯの場合、制御部１１６は、フェードアウト中であるか否かを判定する（Ｓ７）。ステップＳ７がＮＯであれば、制御部１１６は、タイマを初期化して（Ｓ９）、ステップＳ６に進む。
【００６１】
また、ステップＳ７がＹＥＳであれば、制御部１１６は、フェードアウト解除を指示し（Ｓ８）、タイマを初期化して（Ｓ９）、ステップＳ６に進む。フェードアウト解除の指示は、本実施の形態では、重み付け予測を中止する指示である。これにより、フェードアウトが解除され、ステップＳ６では、符号化部１１３が、領域分割部１１２により新たな撮像画像から切り出された背景領域に対して符号化処理を行う。
【００６２】
次に、映像通信システム１の全体の動作を説明する。まず、ネットワークの通信状態が良好であり、十分な通信速度が確保されていたとする。この場合、撮像部１１０が画像データを生成し、領域分割部１１２が画像データを注目領域と背景領域に分割し、符号化部１１３が注目領域と背景領域の画像データを符号化して、符号化データを生成する。符号化部１１３は、制御部１１６の制御下で、注目領域と背景領域への符号量の割り当てを異ならせる。通信状況が良好なので、図４のステップＳ１はＮＯであり、ステップＳ７もＮＯであり、フェードアウトのための重み付け予測は行われない。
【００６３】
通信部１１５はネットワーク１０２を介して映像受信装置１０３へと符号化データを送信する。映像受信装置１０３では、符号化データが通信部１３０に受信され、復号化部１３１で復号される。復号化部１３１は、注目領域と背景領域の復号データを生成し、それらの合成画像を表示部１３３に出力し、表示部１３３が合成画像を表示する。
【００６４】
次に、ネットワークの通信状態が悪化し、通信速度が低下したとする。この場合、図４のステップＳ１がＹＥＳになり、制御部１１６は、背景領域の更新を抑制する。ここでは、新たな画像から得られた背景領域の符号化が抑制される。背景領域内のマクロブロックがスキップマクロブロックに設定されて、最低量の符号が割り当てられてよい。注目領域は、通信速度が低下する前と同様に符号化される。そして、符号化データが映像受信装置１０３へ送信される。
【００６５】
映像受信装置１０３では、復号化部１３１が符号化データを復号することにより、注目領域のデータが得られる。復号化部１３１は、復号された注目領域の画像と、記憶部１３２に記憶された過去のフレームの背景領域の画像との合成画像を出力する。ここでは、背景領域にスキップマクロブロックが設定されているので、フレーム間差分が０になり、結果的に過去の背景領域が使用される。したがって、表示される画像においては、注目領域の画像のみが変化する。背景領域の画像は変化しなくなり、通信速度が低下する直前の画像と同じままになる。
【００６６】
図４のステップＳ１がＹＥＳになってから所定時間が経過すると、ステップＳ４がＹＥＳになり、フェードアウトが開始する。符号化部１１３は、背景領域に対して重み付け予測を行い、更に予測誤差を０に置き換える。注目領域は、通信速度が低下する前と同様に符号化される。そして、符号化データが映像受信装置１０３へ送信される。
【００６７】
映像受信装置１０３では、復号化部１３１が符号化データを復号する。復号化部１３１は、背景領域については重み付け予測の復号処理を行う。復号化部１３１は、注目領域と背景領域の合成画像を表示部１３３に供給し、表示部１３３が合成画像を表示する。合成画像において、注目領域の画像は、通信速度の低下前と同様であるが、背景領域の画像は、図３を参照して説明したようにフェードアウトする。
【００６８】
制御部１１６は、フェードアウトが開始してから所定時間が経過すると、フェードアウトを終了するように符号化部１１３を制御してよい。この所定時間は、フェードアウトで画像が十分な程度に消えるのに要する時間に予め設定される。この場合、制御部１１６は、重み付け予測の終了を符号化部１１３に指示する。符号化部１１３は、重み付け予測を行わず、背景領域の更新抑制のみを行う。すなわち、背景領域は、スキップマクロブロックに設定される。映像受信装置１０３では、背景領域の画像が表示されず、注目領域の画像のみが表示される。
【００６９】
また、通信状態が回復すると、背景領域の更新抑制及びフェードアウトは解除され、背景領域の符号化が再開し、注目領域と背景領域が映像受信装置１０３に送信され、表示される。
【００７０】
図５は、本実施の形態のフェードアウトの効果を示している。図では、ハッチングの密度（濃さ）がフェードアウトの程度を示しており、密度が高いほど、フェードアウト前の画像に近く、密度が低いほど、フェードアウトが進んで画像が消える（以下同様）。ユーザは、背景領域がフェードアウトするのを見て、ネットワーク状況により背景領域が更新されていないことを把握できる。ユーザは、背景領域の更新が必要と考えた場合には、操作部１３４を操作して、注目領域（サイズ、数等）を変更したり、圧縮率を変更して、符号化データ量を削減できる。ユーザの指示が操作部１３４から入力され、制御部１３５から通信部１３０を介してカメラ１０１に伝達され、カメラ１０１の処理に反映され、符号化データ量が低減する。これにより、通信部１１５の送信バッファの空き容量が増え、背景領域の更新が再開される。
【００７１】
図６は、本実施の形態におけるフェードアウトのもう一つの利点を示している。背景領域が更新されず、注目領域の被写体に動きがあると、図５に示されるように、注目領域と背景領域の境界部分にずれが生じる。過去の背景領域を使い続けると、注目領域と背景領域のずれが大きくなり、このずれは、注目領域と背景領域の合成画像を不自然にする。しかし、本実施の形態では、背景領域がフェードアウトするので、背景領域と注目領域のずれが目立たない。したがって、注目領域と背景領域のずれによる違和感を軽減できる。
【００７２】
次に、上記の実施の形態の変形例について説明する。上記の実施の形態において、符号化部１１３は、重み付け予測のために実際に参照画像を作成し、入力画像と参照画像の誤差を求め、それから誤差を０に置き換えてよい。しかし、符号化部１１３は、入力画像と参照画像の差分を求めなくてもよい。符号化部１１３は参照画像の作成さえも行わなくてもよい。符号化部１１３は、差分計算や参照画像作成を行うことなく、単に重み係数と予測誤差（＝０）を出力するように構成されてよい。
【００７３】
また、本実施の形態では、通信速度が低下すると背景領域の更新が抑制される。具体的な処理としては、送信バッファが閾値以下になると、背景領域の更新が抑制される。この閾値は、映像通信システム１の用途等に応じて適当に設定されてよい。閾値を大きくすれば、注目領域をより確実に送信し続けられる。閾値を小さくすれば、背景領域の更新を極力続けられる。本発明の範囲で、閾値が相当に小さく設定され、輻輳の発生が判断され、輻輳が生じたときに背景領域の更新が抑制されてもよい。
【００７４】
また、本実施の形態では、通信速度が低下したときに、まず、背景領域の更新が抑制され、さらに所定時間が経ってからフェードアウトが開始した。背景領域の更新抑制とフェードアウト開始は、同時であってもよい。この点に関し、背景領域の更新抑制のため、上述の実施の形態では、背景領域にスキップマクロブロックが設定された。背景領域の更新抑制とフェードアウト開始が同時であれば、このような処理は行われなくてよい。重み付け予測の予測誤差を抑制することにより（予測誤差を０にすることにより）、背景領域の更新抑制効果が得られる。
【００７５】
また、本実施の形態では、注目領域と背景領域で符号量の割り当てが異なって設定された。さらに、注目領域と背景領域のフレームレートも異なって設定されてよい。
【００７６】
また、本実施の形態では、カメラ１０１に映像送信装置が内蔵されていた。しかし、映像送信装置がカメラと別体であり、カメラに接続されてよい。この場合、カメラは図１の撮像部１１０を有してよい。映像送信装置は、動き検出部１１１、領域分割部１１２、符号化部１１３、記憶部１１４、通信部１１５及び制御部１１６を有してよい。映像送信装置は、カメラから供給された画像を処理し、映像受信装置へ送信してよい。
【００７７】
以上に説明したように、本実施の形態によれば、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による背景領域の更新状況を把握可能であり、背景領域の画像が更新されない場合でも注目領域と背景領域の境界部分のずれによる違和感を低減できる。
【００７８】
また、本実施の形態によれば、上記のように、重み付け予測符号化を活用することにより、擬似的にフェードアウト効果を得られる。具体的には、Ｈ．２６４の重み付け予測を適用し、予測誤差を制限することで、フェードアウトを実現できる。したがって、標準のデコーダで通常のデコード処理を行うと、フェードアウト効果が得られる。フェードアウトを実現するためにフィルタ等を用いる必要もない。さらに、フェードアウトのために専用の情報を送信する必要もなく、符号化効率を下げずに済む。こうして、簡単な構成でもって、符号化効率の低下を避けつつ、背景領域のフェードアウト効果を得ることができる。
【００７９】
また、本実施の形態によれば、通信速度に基づいて符号化が制御され、これにより、ネットワーク状況に応じて符号化を好適に制御できる。
【００８０】
次に、上記の実施の形態を更に改良した構成について説明する。
【００８１】
「背景領域内の動きに応じたフェードアウトの切換え」
上記の実施の形態では、制御部１１６は、通信状況に基づいて背景領域のフェードアウトを符号化部１１３に指示した。ここでは、制御部１１６が、通信状況に加えて、背景領域内の動きの有無に応じてフェードアウトを符号化部１１３に指示する。制御部１１６は、背景領域に動きが有れば、フェードアウトを符号化部１１３に指示する。しかし、背景領域に動きが無ければ、制御部１１６はフェードアウトを符号化部１１３に指示しない。映像受信装置１０３では、同じ背景領域が、更新されることなく、フェードアウトすることもなく表示され続ける。
【００８２】
制御部１１６は、背景領域の動きの有無を、フレーム間の背景領域の差分を用いて判断してよい。この場合、差分データが符号化部１１３から制御部１１６に供給されてよい。そして、制御部１１６は、背景領域の差分が所定値以上であれば、背景領域に動きがあると判定してよい。
【００８３】
また、制御部１１６は、動き検出部１１１の動き検出結果に基づいて背景領域内の動きを判定してよい。この場合、制御部１１６は、動き検出部１１１から動き検出結果を取得する。制御部１１６は、動き検出結果から、背景領域に動きが無いと判断すると、フェードアウトを行わないように符号化部１１３を制御する。
【００８４】
上記構成によれば、背景領域に動きがあった場合のみ背景領域がフェードアウトする。背景領域がフェードアウトしないということは、背景領域に動きが無いことを意味する。したがって、ユーザは、映像受信装置１０３での映像を見て、背景領域内の動きの有無を判断できる。そして、ユーザは必要に応じて注目領域を切り換えことができ、画像中の動く領域を注目領域とすることができる。
【００８５】
このように、本実施の形態によれば、背景領域のフェードアウトの有無によってユーザが背景領域内の動きの有無を把握できる。この構成は、符号化側で擬似的にフェードアウトを行っていることを活用している。符号化側でフェードアウトを制御するので、上記のように背景領域内の動きの有無に応じてフェードアウトを切り換えることができ、復号側に背景領域内の動きの有無を把握させることができる。
【００８６】
「背景領域内の動きに応じた透過度の制御」
本実施の形態では、符号化部１１３が、背景領域内の動きの大きさに応じてフェードアウトの透過度を制御してよく、特に、スライス単位でフェードアウトを制御してよい。以下、この点について説明する。
【００８７】
本実施の形態では、背景領域が複数のスライスで構成される。制御部１１６は、各スライスの動き量を検出する。動き量のパラメータとしては、フレーム間差分が用いられてよい。この場合、制御部１１６は、スライス毎の差分値を符号化部１１３から取得してよい。差分値が大きいほど、スライスの変化が大きく、動き量が大きいと判断される。また、制御部１１６は、動き検出部１１１から動き検出結果を取得し、動き検出結果からスライス毎の動き量を求めてよい。
【００８８】
制御部１１６は、フェードアウトの透過度を制御するために、重み付け予測の重み係数を変更する。フェードアウトにおいて、透過度は、ＲＧＢや色差の透明度である。透過度は、重み付け予測の重み係数と対応し、重み係数が小さいほど、重み付け予測の参照画像の輝度が小さくなり、透過度が大きくなる。そこで、制御部１１６は、重み付け係数を制御することで、透過度を制御できる。
【００８９】
図７は、本実施の形態によるスライス毎の動き量に応じた透過度の制御を示している。図示のように、制御部１１６は、スライス画像の動きが大きいほど、該当スライスの重み係数を小さくし（０に近くし）、透過度を大きくする。逆に、動きが小さいほど、重み係数を大きくして、透過度を小さくする。動きが無い領域（変化無し）では、重み係数が１でもよく、この場合には、フェードアウト効果が現れず、同じ輝度のスライス画像が表示され続ける。
【００９０】
上記構成によれば、背景領域内の動きが大きいほど、より速く背景領域がフェードアウトする。したがって、背景領域内の動きの程度も把握可能になる。
【００９１】
また、上記構成によれば、背景領域のスライス毎に、動きの大きさに応じてフェードアウトの速さが制御される。したがって、背景領域中で動きのある場所と動きの大きさを把握可能になる。
【００９２】
次に、本発明の第２の実施の形態について説明する。図８は、第２の実施の形態に係る映像通信システム１１の構成を示している。第２の実施の形態では、フェードアウト処理が映像受信装置１０３側で行われる。以下の説明において、第１の実施の形態と共通する事項の説明は省略する。
【００９３】
図８に示されるように、第２の実施の形態では、映像受信装置１０３がフェードアウト部１３６及び合成部１３７を備えている。フェードアウト部１３６は、フェードアウト用のフィルタで構成されており、記憶部１３２に記憶された背景領域の画像からフェードアウト画像を生成する。合成部１３７は、復号化部１３１により復号された注目領域の画像を、フェードアウト部１３６で処理された背景領域のフェードアウト画像と合成する。
【００９４】
次に、本実施の形態の動作を説明する。本実施の形態では、カメラ１０１は、通信状況に応じて背景領域の更新を抑制するが、フェードアウトのための処理は行わない。すなわち、制御部１１６は、通信部１１５からの通知によって通信速度が低下したと判断すると、背景領域の更新を抑制するように符号化部１１３を制御する。これにより、背景領域のマクロブロックがスキップマクロブロックに設定され、最低量の符号が割り当てられる。
【００９５】
図９は、第２の実施の形態における映像受信装置１０３の動作を示している。復号化部１３１が符号化データを複合化すると（Ｓ３１）、制御部１３５は、復号データにおいて背景領域が更新されているか否かを判定する（Ｓ３２）。ステップＳ３２がＮＯであれば、制御部１３５はタイマを更新する（Ｓ３３）。タイマは、通信速度低下によって背景領域更新の抑制を開始してから経過した時間を計るために用いられる。
【００９６】
制御部１３５は、タイマの計測時間が所定時間に到達したか否かを判定する（Ｓ３４）。所定時間は、フェードアウト開始の閾時間である。ステップＳ３４がＮＯであれば、制御部１３５はステップＳ３１に進む。背景領域が更新されないので、復号化部１３１は、復号した注目領域と、記憶部１３２に記憶された過去の背景領域との合成画像を表示部１３３に出力し、合成画像が表示部１３３に表示される。
【００９７】
ステップＳ３４がＹＥＳであれば、制御部１３５は、フェードアウト開始をフェードアウト部１３６及び合成部１３７に指示する（Ｓ３５）。これにより、フェードアウト部１３６は、記憶部１３２に記憶された背景領域（更新されていない過去の背景領域）に対してフェードアウト処理を行い、背景領域のフェードアウト画像を生成する。ここでは、フィルタ処理により、記憶された背景領域の輝度が低減されて、フェードアウト画像が生成される。合成部１３７は、復号化部１３１により復号された注目領域の画像を、フェードアウト部１３６により生成された背景領域のフェードアウト画像と合成し、合成画像が表示部１３３に表示される。
【００９８】
一方、ステップＳ３２がＹＥＳの場合、制御部１３５は、フェードアウト中であるか否かを判定する（Ｓ３６）。ステップＳ３６がＮＯであれば、制御部１３５は、タイマを初期化して（Ｓ３８）、ステップＳ３１に進む。また、ステップＳ３６がＹＥＳであれば、制御部１３５は、フェードアウト解除をフェードアウト部１３６に指示し（Ｓ３７）、タイマを初期化して（Ｓ３８）、ステップＳ３１に進む。したがって、フェードアウト部１３６は、フェードアウト処理を中止する。表示部１３３は、復号化部１３１から供給される注目領域と背景領域の合成画像を表示する。
【００９９】
以上に本実施の形態の映像通信システム１１について説明した。本実施の形態では、フェードアウトが受信側で行われる。本実施の形態でも、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減でき、本発明の利点が得られる。
【０１００】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【０１０１】
以上のように、本発明にかかるカメラは、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減できるという効果を有し、監視カメラ等として有用である。
【符号の説明】
【０１０２】
１  映像通信システム
１０１  カメラ
１０２  ネットワーク
１０３  映像受信装置
１１０  撮像部
１１１  動き検出部
１１２  領域分割部
１１３  符号化部
１１４  記憶部
１１５  通信部
１１６  制御部
１３０  通信部
１３１  復号化部
１３２  記憶部
１３３  表示部
１３４  操作部
１３５  制御部
１３６  フェードアウト部
１３７  合成部
【図１】
2010258724.tif 000003
【図２】
2010258724.tif 000004
【図３】
2010258724.tif 000005
【図４】
2010258724.tif 000006
【図５】
2010258724.tif 000007
【図６】
2010258724.tif 000008
【図７】
2010258724.tif 000009
【図８】
2010258724.tif 000010
【図９】
2010258724.tif 000011
【図１０】
2010258724.tif 000012