(57)【特許請求の範囲】
【請求項１】
入力画像を、該画像中で共通の２次元運動を示す領域毎に分割し、該分割された各領域を特定する領域情報を抽出する領域抽出部と、
前記領域情報から領域の属性を判断し、各属性に応じて、２次元動きパラメータを適用するか３次元動きパラメータを適用するかを前記各分割領域毎に選択する２次元／３次元選択部と、
前記２次元／３次元選択部で選択されて３次元動きパラメータを適用する領域毎に、３次元構造情報と３次元運動情報とからなる前記３次元動きパラメータを推定する３次元動きパラメータ推定部と、
前記３次元動きパラメータ推定部の出力する３次元動きパラメータを入力し、該各３次元動きパラメータのうちの３次元運動情報に基づき、類似した３次元運動をする前記領域を抽出し、該抽出した領域の３次元運動情報は統合して１つの３次元運動情報として記述する３次元運動情報統合部と、
前記３次元運動情報統合部の出力する３次元動きパラメータによる推定誤差を参照して、２次元動きパラメータを用いた方が記述効率がよい領域を判定すると共に、該３次元運動情報統合部の出力する３次元動きパラメータからその判定した領域の３次元動きパラメータを除去する２次元／３次元判定部と、
前記２次元／３次元判定部で２次元動きパラメータを用いた方が記述効率がよいと判定した領域、及び前記２次元／３次元選択部で２次元動きパラメータを適用すると判定した領域の各領域情報を入力し、該各領域の２次元動きパラメータを推定する２次元動きパラメータ推定部と、
前記２次元／３次元判定部を介して与えられた前記３次元動きパラメータと前記２次元動きパラメータ推定部から与えられた２次元動きパラメータとを用いて動画像の時間冗長を除去する時間冗長除去部と、
前記時間冗長が除去されたデータと前記各動きパラメータとを符号化する符号化部とを、
備えたことを特徴とする動画像符号化装置。
【請求項２】
前記３次元運動情報統合部は、
前記３次元動きパラメータ推定部から入力された前記３次元動きパラメータを順に適用して、基準になる領域を選択する領域選択部と、
前記領域選択部で選択した領域における前記３次元運動情報を用いて他の領域の３次元構造情報を推定する３次元構造情報再推定部と、
前記３次元構造情報再推定部の推定した３次元構造情報のうち推定誤差が小さい安定した３次元構造情報が得られる領域を判定して抽出する統合判定部と、
前記統合判定部の判定で抽出された領域の３次元運動情報と、前記基準の領域における３次元運動情報を統合する統合処理部とを、
備えたことを特徴とする請求項１記載の動画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像伝送を行う際に、入力された動画像を２次元の動き情報ばかりでなく、３次元の動き情報も利用して効率的に符号化する動画像符号化装置に関するものである。
【０００２】
【従来の技術】
従来、このような分野の技術としては、例えば次の文献に記載されるものがあった。
文献；電子情報通信学会春期大会論文Ｄ−３２８（１９９４）、横山，宮本著“逐次更新領域分割を用いた超低レート動画像符号化方式”P.61
上記文献に示される動画像符号化方式では、入力された動画像に対して領域分割処理を施し、それらの動きパラメータを用いて分割された領域の統合処理を行い、動領域を抽出する。そして、抽出された動領域毎に対して３次元空間内の平面の運動モデルを用い、３次元空間の動きパラメータを推定する。推定された３次元空間の動きパラメータに基づき動き補償を行うことで予測画像を生成し、予測誤差を符号化している。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の動画像符号化方式を適用した動画像符号化装置では、次のような課題があった。
従来の動画像符号化装置では、平面の運動モデルで３次元空間の動きパラメータを推定し、推定結果に基づいた符号化を行う。この場合の動きパラメータは、３次元空間における平面運動モデルの位置及び傾き等を表す３次元構造情報と、その運動の情報である３次元運動情報の両方に関するパラメータを合わせて記載したものである。そのため、分割した領域において、隣接する領域間の動きパラメータが類似していればその隣接する領域同士は統合できるが、領域が隣接していない場合や、３次元空間における剛体の運動は類似していてもその運動に伴って変化する３次元構造情報が違う場合には、領域を統合できなかった。よって、前記文献に示された統合処理を行って得られた画像データを符号化しても、十分な符号化効率が得られなかった。
本発明は、従来技術が持っていた課題として、十分な符号化効率が得られないという点を解決した動画像符号化装置を提供するものである。
【０００４】
【課題を解決するための手段】
前記課題を解決するために、本発明のうちの第１の発明は、動画像符号化装置において、次のような領域抽出部、２次元／３次元選択部、３次元動きパラメータ推定部、３次元運動情報統合部、２次元／３次元判定部、２次元動きパラメータ推定部、時間冗長除去部及び符号化部を設けている。
領域抽出部は、入力画像を、該画像中で共通の２次元運動を示す領域毎に分割し、該分割された各領域を特定する領域情報を抽出する機能を有している。２次元／３次元選択部は、前記領域情報から領域の属性を判断し、各属性に応じて、２次元動きパラメータを適用するか３次元動きパラメータを適用するかを前記各分割領域毎に選択するものである。３次元動きパラメータ推定部は、２次元／３次元選択部で選択されて３次元動きパラメータを適用する領域毎に、３次元構造情報と３次元運動情報とからなる３次元動きパラメータを推定する構成にしている。
３次元運動情報統合部は、３次元動きパラメータ推定部の出力する３次元動きパラメータを入力し、該３次元動きパラメータのうちの３次元運動情報に基づき、類似した３次元運動をする前記領域を抽出し、この抽出した領域の３次元運動情報は統合して１つの３次元運動情報として記述する構成である。２次元／３次元判定部は、３次元運動情報統合部の出力する３次元動きパラメータによる推定誤差を参照して、２次元動きパラメータを用いた方が記述効率がよい領域を判定すると共に、該３次元運動情報統合部の出力する３次元動きパラメータからその判定した領域の３次元動きパラメータを除去するものである。２次元動きパラメータ推定部は、２次元／３次元判定部で２次元動きパラメータを用いた方が記述効率がよいと判定した領域、及び前記２次元／３次元選択部で２次元動きパラメータを適用すると判定した領域の領域情報を入力し、該各領域の２次元動きパラメータを推定するものである。時間冗長除去部は、２次元／３次元判定部を介して与えられた３次元動きパラメータと２次元動きパラメータ推定部から与えられた２次元動きパラメータとを用いて動画像の時間冗長を除去する機能を有している。符号化部は、時間冗長が除去されたデータと各動きパラメータとを符号化する構成にしている。
【０００５】
第２の発明は、第１の発明の３次元運動情報統合部に、次のような領域選択部、３次元構造情報再推定部、統合判定部及び統合処理部を設けている。
領域選択部は、前記３次元動きパラメータ推定部から入力された３次元動きパラメータを順に適用して、基準になる領域を選択する機能を有している。３次元構造情報再推定部は、領域選択部で選択した領域における３次元運動情報を用いて他の領域の３次元構造情報を推定するようになっている。統合判定部は、３次元構造情報再推定部の推定した３次元構造情報のうち推定誤差が小さい安定した３次元構造情報が得られる領域を判定して抽出する機能を有している。統合処理部は、統合判定部の判定で抽出された領域の３次元運動情報と、基準の領域における３次元運動情報を統合する構成になっている。
【０００６】
第１の本発明によれば、以上のように動画像符号化装置を構成したので、領域抽出部により、入力画像が運動の属性に応じた領域に分割される。２次元／３次元選択部によって各分割領域に対する判定が行われ、２次元動きパラメータを適用するか３次元動きパラメータを適用するか選択される。
３次元動きパラメータ推定部は、３次元動きパラメータを適用する領域毎に、３次元構造情報と３次元運動情報とからなる３次元動きパラメータを推定する。３次元運動情報統合部により、類似した３次元運動をする領域が抽出され、それら領域の３次元運動情報は統合される。ここでの統合は、３次元構造情報を含まない３次元運動情報のみであり、３次元構造情報は統合されず保持される。
２次元／３次元判定部により、３次元運動情報統合部の出力する３次元動きパラメータのうち、２次元動きパラメータを用いた方が記述効率がよい領域が判定され、３次元運動情報統合部の出力する３次元動きパラメータから、その２次元動きパラメータを用いた方が記述効率がよいと判定された領域の３次元動きパラメータが、除去される。
２次元／３次元判定部で２次元動きパラメータを用いた方が記述効率がよいと判定された領域、及び２次元／３次元選択部で２次元動きパラメータを適用すると判定された領域の２次元動きパラメータが、２次元動きパラメータ推定部によって求められる。時間冗長除去部により、３次元動きパラメータと２次元動きパラメータとが用いられ、動画像における時間冗長が除去され、時間冗長が除去されたデータと各動きパラメータとが、符号化部によって符号化される。
第２の発明によれば、領域選択部によって基準になる領域が選択される。３次元構造情報再推定部により、基準領域の３次元運動情報が用いられ、他の領域の３次元構造情報が推定される。３次元構造情報再推定部で推定された３次元構造情報のうち安定した３次元構造情報が得られる領域が、統合判定部で抽出される。この抽出された領域は基準領域と同様の運動をするものであり、統合処理部で３次元運動情報が統合される。従って、前記課題を解決できるのである。
【０００７】
【発明の実施の形態】
図１は、本発明の実施形態を示す動画像符号化装置の構成ブロック図である。
この動画像符号化装置は、例えばプログラム制御されるプロセッサやメモリ等で構成されており、動画像を入力する画像入力部１０を有している。画像入力部１０は、例えばビデオカメラ等で構成され、画像入力部１０の出力する動画像データが領域抽出部２０に入力されるようになっている。領域抽出部２０の出力側は、２次元／３次元選択部３０に接続されている。
領域抽出部２０は、画像入力部１０から入力された動画像データを同一の動きをする領域に分割し、その領域情報を抽出する機能を有している。２次元／３次元選択部３０は分割された各領域の属性に応じ、以降の処理で使用する動き情報に、２次元の動き情報である２次元動きパラメータを用いるか、３次元の動き情報である３次元動きパラメータを用いるかを領域毎に選択する機能を有している。
２次元／３次元選択部３０の出力側は、３次元動きパラメータ推定部４０と２次元動きパラメータ推定部５０とに接続されている。３次元動きパラメータ推定部４０は３次元動きパラメータを推定する機能を有し、２次元動きパラメータ推定部５０は２次元動きパラメータを推定する機能を有している。３次元動きパラメータ推定部４０の推定する３次元動きパラメータは、領域の３次元空間中での位置や形状を表現する３次元構造情報と、３次元空間中における運動を表現する３次元運動情報とである。
３次元動きパラメータ推定部４０の出力側には、３次元運動情報統合部６０が接続され、この３次元運動情報統合部６０の出力側が２次元／３次元判定部７０に接続されている。２次元／３次元判定部７０の出力側は、２次元動きパラメータ推定部５０と時間冗長除去部８０とに接続されている。２次元動きパラメータ推定部５０の出力側も、時間冗長除去部８０に接続されている。時間冗長除去部８０の出力側が、符号化部９０に接続されている。
【０００８】
図２は、図１中の３次元運動情報統合部を示す構成ブロック図である。
３次元運動情報統合部６０は、推定された各領域の３次元運動情報に基づいて、領域間の３次元運動情報を統合するかどうかを判定し、統合可能な領域がある場合に、それらの３次元運動情報を統合するものであり、３次元動きパラメータ推定部４０から３次元動きパラメータを入力する３次元動きパラメータ入力部６１を有している。３次元動きパラメータ入力部６１には、領域選択部６２が接続され、該領域選択部６２には、３次元構造情報再推定部６３が接続されている。
３次元構造情報再推定部６３の出力側には、統合判定部６４が接続され、該統合判定部６４の出力側が、統合処理部６５に接続されている。統合処理部６５の出力側は、動き情報出力部６６に接続されている。
領域選択部６２は、３次元動きパラメータ推定部４０から入力された３次元動きパラメータに基づき、基準になる領域を選択する機能を有し、該選択すべき領域が無い場合には、その３次元動きパラメータを動き情報出力部６６へ渡すようになっている。また、領域選択部６２と３次元構造情報再推定部６３と統合判定部６４での処理は、繰り返されて行われるようになっている。動き情報出力部６６の出力するデータが、図１の２次元／３次元判定部７０に供給される構成である。
２次元／３次元判定部７０は、３次元運動情報統合部６０の出力する３次元動きパラメータから、２次元動きパラメータを用いた方が記述効率がよい領域を判定してその領域情報を２次元動きパラメータ推定部５０に与える共に、その３次元運動情報統合部６０の出力する３次元動きパラメータからその領域の３次元動きパラメータを除去する機能を有している。時間冗長除去部８０は、与えられた３次元動きパラメータと２次元動きパラメータを用いて、動画像の時間冗長を除去するものである。符号化部９０は、時間冗長が除去された動画像のデータと各動きパラメータとを符号化するものである。
【０００９】
次に、図１の動画像符号化装置の動作を説明する。
カメラ等の画像入力部１０から入力された動画像に対して、領域抽出部２０は、一般的に良く知られた例えば画像の輝度情報やフレーム画像間の動き情報を用いた領域分割法により、共通の２次元運動を示す領域に分割する。分割された各領域を特定する領域情報が、２次元／３次元選択部３０に与えられる。２次元／３次元選択部３０は与えられた領域情報から、領域の属性（例えば領域の大きさや、領域が背景の領域であるかどうか等）を判断し、各属性に応じて、分割領域毎に２次元動きパラメータを適用するか、３次元動きパラメータを適用するかを選択する。つまり、動画像中において、分割領域が極小さい場合には、一般的に、精度のよい３次元動きパラメータを推定することが難しいので、２次元動きパラメータを適用すると選択される。また、背景等に相当して奥行き方向の変化がほとんどない分割領域についても、２次元動きパラメータを適用すると選択される。
【００１０】
２次元／３次元選択部３０で選択されて３次元動きパラメータを適用することになった領域に対して、３次元動きパラメータ推定部４０は、例えば複数枚のフレーム画像のデータの輝度情報等から、３次元動きパラメータを推定する。この際推定される３次元動きパラメータは、対象物体の３次元空間における構造を表す３次元構造情報と、並進や回転等の運動を表す３次元運動情報とである。例えば、一般的に対象物体を表すために用いられる平面の運動モデルを利用したパラメータ推定方法では、平面モデルの位置や傾き等を記述する平面パラメータと、該平面モデルの３次元空間における平行移動量や回転量等を記述する剛体運動パラメータとが、推定される。
３次元動きパラメータ推定部４０で推定された３次元動きパラメータが、３次元運動情報統合部６０中の３次元動きパラメータ入力部６１に与えられる。３次元運動情報統合部６０は、類似した運動をする領域の３次元運動情報を統合して１つの３次元運動情報として記述する。この統合には、各３次元運動情報の類似度を判定して統合することも可能であるが、３次元動きパラメータ推定部４０における推定誤差によっては、例えば同じ運動を行っている領域であって、類似度が大きくずれる可能性がある。そのため、３次元運動情報統合部６０では、次のようにして３次元運動情報を統合する。
【００１１】
まず、領域選択部６２は、３次元動きパラメータ入力部６１から３次元動きパラメータを受取り、該３次元動きパラメータを順に適用して、３次元運動情報を統合して１つの３次元運動情報として記述する際の基準になる領域を選択する。ここで、もし選択すべき領域がない場合には、領域選択部６２は統合処理を終了し、３次元動きパラメータを動き情報出力部６６に送出する。
３次元構造情報再推定部６３は、領域選択部６２で選択されて基準になる領域の３次元運動情報を利用して、他の領域の３次元構造情報の再推定を行う。基準の領域と同じ３次元運動をしている領域は、基準の領域の３次元運動情報を用いて動きを記述することができる。そこで、統合判定部６４は、３次元構造情報の再推定を行った結果、推定誤差が小さい安定した３次元構造情報が得られる領域を、統合する領域と判定する。この判定結果が統合処理部６５に送られる。なお、基準領域に対して安定した３次元構造情報が得られなかった領域については統合を行わないが、他の領域との統合が可能な場合もあるので、領域選択部６２〜統合判定部６４における一連の処理が、基準領域を変更して繰り返される。
【００１２】
統合処理部６５は、統合判定部６４で３次元運動情報を統合すると判定された領域に対し、３次元運動情報として、基準領域の３次元運動情報に統合されたことを示す統合情報を設定すると共に、該３次元運動情報を統合すると判定された領域に対し、３次元構造情報再推定部６３で推定された３次元構造情報を新たな３次元構造情報として設定する。統合された領域の新たな３次元運動パラメータと、統合されなかった領域の３次元動きパラメータとが、動き情報出力部６６を介して２次元／３次元判定部７０へ与えられる。
２次元／３次元判定部７０は、３次元運動情報統合部６０の出力する３次元動きパラメータによる推定誤差を参照して、２次元動きパラメータを用いた方が記述効率がよい領域を判定してその領域情報を２次元動きパラメータ推定部５０に与える。即ち、ノイズ等の影響により、３次元パラメータの推定は２次元パラメータの推定と比較して難しく、３次元パラメータの推定精度が低いと、パラメータ推定誤差が大きくなって、推定誤差が小さい安定した推定が難しく、記述効率が低下する。そこで、２次元／３次元判定部７０は、３次元運動情報統合部６０から与えられた３次元動きパラメータに対して、パラメータ推定誤差等を参照して安定した３次元動きパラメータが得られなかった領域を判定し、その領域の領域情報を２次元動きパラメータ推定部５０に出力する。また、単純な２次元の平行移動のように、３次元動きパラメータよりも２次元動きパラメータを用いたほうが記述効率がよい領域も抽出し、該領域の領域情報を２次元動きパラメータ推定部５０へ出力する。２次元／３次元判定部７０は、２次元動きパラメータ推定部５０に領域情報を出力した以外の領域の３次元動きパラメータを、時間冗長除去部８０に送る。
【００１３】
２次元動きパラメータ推定部５０は、２次元／３次元選択部３０及び２次元／３次元判定部７０で、２次元動きパラメータを用いるものと判定された領域に対し、２次元の平行移動モデルや、アフィン動きモデル等を適用して、２次元動きパラメータを推定する。推定された２次元動きパラメータは、時間冗長除去部８０に送られる。
時間冗長除去部８０は、２次元動きパラメータ推定部５０から入力された２次元動きパラメータあるいは２次元／３次元判定部７０を介して入力された３次元動きパラメータを用い、例えば動き補償を行うことで動画像の時間方向の冗長を除去する。動画像の時間方向の冗長を除去する方法には、動き補償ばかりでなく、動きパラメータを用いて複数枚のフレームから時間統合画像を作成することでも、時間方向の冗長を除去したデータを作成することができる。時間方向の冗長が除去された動画像のデータは、符号化部９０に出力される。
符号化部９０は、時間冗長が除去されたデータに対して一般的に知られた直交変換による空間冗長除去手法や、統計的冗長除去手法として良く知られている可変長符号化手法を用いて、符号化を行う。これと同時に、符号化部９０は、動きパラメータについても、可変長符号化手法等で符号化する。
【００１４】
以上のように、本実施形態では、３次元動きパラメータ推定部４０と２次元動きパラメータ推定部５０と２次元／３次元選択部３０と２次元／３次元判定部７０とを備え、分割領域の特徴に応じて、２次元動きパラメータと３次元動きパラメータを選択的に利用するようにしている。そのため、効率よく動画像の動きを記述でき、符号化の際のデータ伝送量を削減できる。さらに、従来のように、単に３次元動きパラメータを用いて領域統合を行うのでなく、３次元運動情報統合部６０では、３次元動きパラメータを３次元運動情報と３次元構造情報に分離し、その３次元運動情報のみを統合するようにしているので、例えば同じ剛体の運動であるが見掛上動く方向が異なるために従来では統合できなかった領域でも、統合が可能になり、統合記述できる領域が増加する。よって、符号化データ量をいっそう削減できる。また、動画像符号化を行うために３次元動きパラメータを抽出しているが、この際に使用する３次元構造情報を抽出する手段は、動画像符号化装置だけでなくロボットビジョン等にも適用できるので、３次元形状認識装置の一部としても利用できる。
なお、本発明は、上記実施形態に限定されず種々の変形が可能である。例えば、３次元動きパラメータを推定する場合、平面の運動モデルばかりでなく球体等の他の運動モデルを用いてパラメータを推定することも可能である。一方、図１に示された動画像符号化装置の各部２０〜９０は、個別回路で構成することも可能である。
【００１５】
【発明の効果】
以上詳細に説明したように、第１の発明によれば、入力画像を領域に分割する領域抽出部と、２次元／３次元選択部と、３次元構造情報と３次元運動情報とからなる３次元動きパラメータを推定する３次元動きパラメータ推定部と、３次元運動情報に基づき、領域の３次元運動情報を統合する３次元運動情報統合部と、
２次元／３次元判定部と、２次元動きパラメータ推定部と、動画像の時間冗長を除去する時間冗長除去部と、時間冗長が除去されたデータを符号化する符号化部とを設け、分割領域の特徴に応じて、２次元動きパラメータと３次元動きパラメータを選択的に利用するようにしているので、効率よく動画像の動きを記述でき、符号化の際のデータ伝送量を削減できる。さらに、単に３次元動きパラメータを用いて領域統合を行うのでなく、３次元動きパラメータを３次元運動情報と３次元構造情報に分離し、その３次元運動情報のみで統合するようにしているので、統合記述できる領域が増加し、符号化データ量をいっそう削減できる。
第２の発明によれば、領域選択部と３次元構造情報再推定部と統合判定部と統合処理部とを第１の発明の３次元運動情報統合部に設け、基準になる領域の３次元運動情報を用いて他の領域の３次元構造情報を推定し、安定した３次元構造情報の得られる領域に対して３次元運動情報を統合するようにしている。そのため、３次元動きパラメータ推定部で推定した３次元運動情報がずれた場合でも、その領域の運動が基準領域と同じであれば、統合される。即ち、符号化データ量をいっそう削減できる。
【図面の簡単な説明】
【図１】本発明の実施形態を示す動画像符号化装置の構成ブロック図である。
【図２】図１中の３次元運動情報統合部を示す構成ブロック図である。
【符号の説明】
１０              画像入力部
２０              領域抽出部
３０              ２次元／３次元選択部
４０              ３次元動きパラメータ推定部
５０              ２次元動きパラメータ推定部
６０              ３次元運動情報統合部
６１              ３次元動きパラメータ入力部
６２              領域選択部
６３              ３次元構造情報再推定部
６４              統合判定部
６５              統合処理部
６６              動き情報出力部
７０              ２次元／３次元判定部
８０              時間冗長除去部
９０              符号化部
【図１】
0003911535.tif 000002
【図２】
0003911535.tif 000003