(57)【特許請求の範囲】
【請求項１】
オブジェクトベース符号化方法に基づいて符号化されたデジタルデータを復号化する復号化装置において、
スプライト符号化方法により符号化された背景用の大画像であるスプライトを表すデジタルデータ、背景画像領域を規定するパラメータを表すデジタルデータ、及び、符号化側で制御され、背景画像をぼかすための単一のパラメータであるデフォーカス量を表すデジタルデータを受け取る入力手段と、
前記入力した各デジタルデータをそれぞれ復号化し、復号化されたスプライトから復号化された背景画像領域を規定するパラメータにより切り出した背景画像を表す背景画像復号信号及び背景画像のデフォーカス量を規定するデフォーカス量復号信号をそれぞれ出力する復号化手段と、
前記デフォーカス量復号信号を用いて前記背景画像復号信号についてデフォーカス処理を実行して、デフォーカス処理された背景画像信号を出力するデフォーカス手段とを具えることを特徴とする復号化装置。
【請求項２】
請求項１に記載の復号化装置において、前記入力手段は、前記スプライトを表すデジタルデータと共に前景画像を表すデジタルデータも受け取り、前記復号化手段は、入力した前景画像を表すデジタルデータを前記背景画像を表すデジタルデータと共に復号化することを特徴とする復号化装置。
【請求項３】
請求項１又は２に記載の復号化装置において、前記復号化すべきデジタルデータは、ＭＰＥＧ−４により規定されたオブジェクトベース符号化方法に基づいて符号化されていることを特徴とする復号化装置。
【請求項４】
オブジェクトベース符号化方法に基づいて符号化されたデジタルデータを復号化する復号化方法において、
スプライト符号化方法により符号化された背景用の大画像であるスプライトを表すデジタルデータ、背景画像領域を規定するパラメータを表すデジタルデータ、及び符号化側で制御され、背景画像をぼかすための単一のパラメータであるデフォーカス量を表すデジタルデータを受け取る入力工程と、
前記入力したデジタルデータをそれぞれ復号化し、復号化されたスプライトから復号化された背景画像領域を規定するパラメータにより切り出した背景画像を表す背景画像復号信号及び背景画像のデフォーカス量を規定するデフォーカス量復号信号をそれぞれ出力する復号化工程と、
前記デフォーカス量復号信号を用いて前記背景画像復号信号についてデフォーカス処理を実行して、デフォーカス処理された背景画像を出力するデフォーカス処理工程とを具えることを特徴とする復号化方法。
【請求項５】
請求項４に記載の復号化方法において、前記復号化すべきデジタルデータは、ＭＰＥＧ−４により規定されたオブジェクトベース符号化方法に基づいて符号化されていることを特徴とする復号化方法。
【請求項６】
オブジェクトベース符号化方法に基づいて動画像の符号化を行う符号化装置において、
背景用の大画像であるスプライトを表す信号、背景画像領域を規定するパラメータを表す信号、及び背景画像をぼかすための単一のパラメータであるデフォーカス量を表す信号を受け取る入力手段と、
前記入力した信号をそれぞれ符号化し、スプライト符号化方法により符号化した背景用の大画像であるスプライトを表すデジタルデータ、背景画像領域を規定するパラメータを表すデジタルデータ、及び背景画像をぼかすための単一のパラメータであるデフォーカス量を表すデジタルデータを出力することを特徴とする符号化装置。
【請求項７】
請求項６に記載の符号化装置において、前記入力手段は、前記スプライトを表す信号と共に前景画像を表す信号を受け取り、前記符号化回路は、受け取った前景画像を表す信号を符号化し、スプライトを表すデジタルデータと共に前景画像を表す前記デジタルデータを出力することを特徴とする符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、動画像の別々に用意された前景画像と背景画像を効率よく符号化復号化する方法と、それを達成するための符号化装置および復号化装置に関するものである。
【０００２】
【従来の技術】
画像をデジタルデータに符号化して伝送や蓄積をする技術は、デジタル放送やデジタルＶＴＲに利用されている。現在広く使われているＭＰＥＧ−２規格の次規格として標準化されたＭＰＥＧ−４規格は、画像を前景や背景に分離して符号化するオブジェクトベース符号化と呼ばれている。オブジェクトベース符号化は、画像を前景や背景に分離することにより符号化の効率を上げる特長を具えている。特にＭＰＥＧ−４規格には、スプライト符号化という手法が取入れられている。
【０００３】
スプライトとは、背景用の大きな画像のことで、これを符号化し、復号化側ではこの画像の一部分を任意の位置から切り出して復号画像の背景とする手法である。このスプライト手法では符号化するものは背景用の大きな画像と、復号化側で切り出すための位置パラメータのみであるため、毎フレームの画像を符号化する必要がなく、画像の符号化効率を上げることができる。
【０００４】
もし、背景の画像全体の輝度が一様に変化した場合には、その変化を表すパラメータを符号化し、背景用の画像をそのパラメータにより変化させる。また、背景の画像が全体の輝度変化以外の変化をした場合には、変化した部分に対応した画像を符号化し直して背景用の画像を更新する。
【０００５】
一方、前景画像と背景画像を合成して１つの画像とする技術が放送番組の制作などにおいて従来から行われており、現在では背景画像にコンピュータグラフィックスを利用するバーチャルスタジオ技術も盛んに使われている。この合成画像を自然に見せるための技術の１つにデフォーカスがある。これは前景、背景双方にピントが合って不自然な画像に対し背景をぼかす（デフォーカス）ことで距離感や奥行き感を増すことにより、自然な画像に見せるものである。この技術は多くの画像の合成装置に取り入れられてる（例えば、文献、林，下田，金次：“背景合成用デフォーカス装置”，電子情報通信学会技術研究報告，ＩＥ８８−１０，pp. ６９−７５，１９８８）。
【０００６】
【発明が解決しようとする課題】
前述の、動画像の前景と背景を分離して符号化する装置において、符号化する動画像の背景画像がぼけることにより変化した場合、従来は変化した背景用の画像を再度符号化し直すことにより対応していた。しかしこの方法では背景画像が変化するたびに符号化する必要があるため大変効率が悪い。
【０００７】
そこで本発明の目的は、背景画像がぼけた際には、背景画像を符号化しなおすことなく、ぼけ量を表すデフォーカス量だけを符号化したり、撮影条件を表すカメラパラメータおよび複数の背景画像の奥行き情報だけを符号化し、復号化側でこれらのデータによって前もって符号化側で符号化された背景用の画像をぼかすことによって、符号化効率の改善された画像のデフォーカス量符号化復号化方法および符号化装置と復号化装置を提供せんとするものである。
【０００８】
【課題を解決するための手段】
この目的を達成するため、本発明のデフォーカス量符号化復号化方法は、符号化側にあっては、動画像の前景画像と動画像の背景画像のうちの、動画像の前景画像と動画像の背景用の大画像とを符号化するとともに、動画像の背景画像を前記大画像から切り出すためのパラメータと該切りだされた背景画像をぼかすためのデフォーカス量とを符号化し、前記符号化されたすべてのデータを復号化側に伝送し、復号化側にあっては、符号化された前記前景画像と符号化された前記背景用の大画像とを復号化し、符号化された前記背景画像を前記大画像から切り出すためのパラメータと符号化された前記背景画像をぼかすためのデフォーカス量とを復号化するとともに、復号化された前記パラメータを使用して復号化された前記大画像から背景画像を切りだし、復号化された前記デフォーカス量によって前記切りだされた背景画像をぼかし、該ぼかされた背景画像と復号化された前記前景画像とを合成し、符号化側で前記デフォーカス量を制御し、復号化側で前記背景画像のデフォーカス量が変化する時でも、復号化された前記パラメータを使用して前記大画像から切りだされた背景画像を、符号化側で前記制御したデフォーカス量を用いて復号化側でぼかすことにより、常に復号化された前記大画像を利用できるよう構成する。
【０００９】
また、本発明による符号化装置は、オブジェクトベース符号化方法に基づいて動画像の符号化を行う符号化装置において、
背景用の大画像であるスプライトを表す信号、背景画像領域を規定するパラメータを表す信号、及び背景画像をぼかすための単一のパラメータであるデフォーカス量を表す信号を受け取る入力手段と、
前記入力した信号をそれぞれ符号化し、スプライト符号化方法により符号化した背景用の大画像であるスプライトを表すデジタルデータ、背景画像領域を規定するパラメータを表すデジタルデータ、及び背景画像をぼかすための単一のパラメータであるデフォーカス量を表すデジタルデータを出力することを特徴とする符号化装置。
請求項６に記載の符号化装置において、前記入力手段は、前記スプライトを表す信号と共に前景画像を表す信号を受け取り、前記符号化回路は、受け取った前景画像を表す信号を符号化し、スプライトを表すデジタルデータと共に前景画像を表す前記デジタルデータを出力することを特徴とする。
【００１０】
さらにまた、本発明による復号化装置は、オブジェクトベース符号化方法に基づいて符号化されたデジタルデータを復号化する復号化装置において、
スプライト符号化方法により符号化された背景用の大画像であるスプライトを表すデジタルデータ、背景画像領域を規定するパラメータを表すデジタルデータ、及び、符号化側で制御され、背景画像をぼかすための単一のパラメータであるデフォーカス量を表すデジタルデータを受け取る入力手段と、
前記入力した各デジタルデータをそれぞれ復号化し、復号化されたスプライトから復号化された背景画像領域を規定するパラメータにより切り出した背景画像を表す背景画像復号信号及び背景画像のデフォーカス量を規定するデフォーカス量復号信号をそれぞれ出力する復号化手段と、
前記デフォーカス量復号信号を用いて前記背景画像復号信号についてデフォーカス処理を実行して、デフォーカス処理された背景画像信号を出力するデフォーカス手段とを具えることを特徴とする。
【００１１】
【発明の実施の形態】
本発明によれば、動画像の前景と背景を分離して符号化復号化する場合に、符号化する動画像の背景画像がぼけて変化をした時、ぼけ量を表すデフォーカス量や撮影条件を表すカメラパラメータと複数の背景画像の奥行き情報だけを符号化し、復号化側でこれらのデータによって前もって符号化された背景用の画像をぼかすことができるので、符号化の効率を改善することができる。
【００１２】
【実施例】
以下添付図面を参照し実施例により本発明の実施の形態を詳細に説明する。
図１は本発明符号化装置および復号化装置実施例に係る略構成ブロック線図である。
符号化回路１の入力側では、動画像の背景用の大画像と動画像の背景画像を前記大画像から切りだすためのパラメータとが入力Ａより、前記切りだされた背景画像をぼかすためのデフォーカス量が入力Ｂより、動画像の前景画像が入力Ｃよりそれぞれ入力される。入力された前記大画像、前記パラメータ、前記デフォーカス量および前記前景画像は符号化回路１内でそれぞれ符号化されデジタルデータＤが生成されて復号化回路２に向って伝送される。
【００１３】
復号化回路２では、符号化され伝送されてきたデジタルデータＤがすべて復号化され、復号化回路の出力側では、背景画像復号信号が出力Ｅより、デフォーカス量復号信号が出力Ｆより、前景画像復号信号が出力Ｇよりそれぞれ出力される。
【００１４】
デフォーカス回路３では、復号化された背景画像復号信号Ｅに復号化されたデフォーカス量Ｆに応じたデフォーカス処理が施される。ここでＦがデフォーカス量復号信号である場合には前記文献に開示されている技術によって処理がなされる。
【００１５】
デフォーカス回路３の出力Ｈからはデフォーカス処理を施された背景画像信号が出力され、合成回路４でこの背景画像信号Ｈと前景画像復号信号Ｇとが合成される。
【００１６】
本発明の別の実施例では前記デフォーカス量に代えて符号化側の映像撮影時のカメラパラメータおよびカメラから背景までの奥行き情報を使用してもよい。ここでカメラパラメータとはカメラのパン量、チルト量、ズーム量、トラック量、ドリー量、ロール量、フォーカス量、アイリス量などであってよい。前記Ｆがカメラパラメータおよび奥行き情報復号信号である場合には、背景画像の奥行きに応じてカメラの焦点距離とズーム信号によって変化する被写界深度に応じたデフォーカス量を計算してデフォーカス処理を施せばよい。
【００１７】
以上いくつかの実施例により本願発明の実施の形態を説明してきたが、本願発明はこれらに限定されることなく、特許請求の範囲に記載された発明の要旨内で各種の変形変更の可能なことは自明であろう。
【００１８】
【発明の効果】
以上説明してきたように、本発明によれば、動画像の前景と背景を分離して符号化復号化する場合に、符号化する動画像の背景画像がぼけて変化をした場合、ぼけ量を表すデフォーカス量や、撮影条件を表すカメラパラメータと複数の背景画像の奥行き情報だけを符号化し、復号化側でこれらのデータによって前もって符号化された背景用の画像をぼかすことによって、符号化の効率を改善することができる。
【図面の簡単な説明】
【図１】  本発明符号化復号化方法を実施するための実施例構成ブロック線図。
【符号の説明】
１  符号化回路
２  復号化回路
３  デフォーカス回路
４  合成回路
【図１】
0003648121.tif 000002