(57)【特許請求の範囲】
【請求項１】
客体内部及び外部を構成する客体内部の画素及び客体外部の画素を全て含む物体境界ブロックの合併／分割を利用して物体境界ブロックのテクスチャ情報を符号化するための映像情報符号化方法において、
マクロブロック内の複数の物体境界ブロックの中から互いに近接した第１物体境界ブロック及び第２物体境界ブロックのうち、前記第２物体境界ブロックの画素を１８０度回転する回転ステップと、
前記第１物体境界ブロックの画素及び回転された第２物体境界ブロックの画素を合併し、前記第１物体境界ブロックと前記回転された第２物体境界ブロックを合併する合併ステップと、
前記第１物体境界ブロックの画素の形状情報及び前記回転された第２物体境界ブロックの画素の形状情報を比較し、前記第１物体境界ブロック及び前記回転された第２物体境界ブロック間に重畳される客体内部の画素があるのか否かを判断する判断ステップと、
前記判断結果、重畳された客体内部の画素がない場合に、合併されたブロックのテクスチャ情報を符号化する符号化ステップと
を含むことを特徴とする映像情報符号化方法。
【請求項２】
前記合併ステップは、第２物体境界ブロックの垂直中心線を中心としてブロック内画素を対称に移動させた後、第１物体境界ブロックと合併することを特徴とする請求項１に記載の映像情報符号化方法。
【請求項３】
前記合併ステップは、第２物体境界ブロックの水平中心線を中心としてブロック内画素を対称に移動させた後、第１物体境界ブロックと合併することを特徴とする請求項１に記載の映像情報符号化方法。
【請求項４】
前記合併ステップは、第２物体境界ブロックの対角線を中心としてブロック内画素を対称に移動させた後、第１物体境界ブロックと合併することを特徴とする請求項１に記載の映像情報符号化方法。
【請求項５】
前記合併ステップを行う前に物体境界ブロックの客体外部の画素値を所定の値にパッディングするステップをさらに含むことを特徴とする請求項１に記載の映像情報符号化方法。
【請求項６】
合併されたブロックの客体外部の画素値を所定の値に再パッディングするステップをさらに含むことを特徴とする請求項５に記載の映像情報符号化方法。
【請求項７】
前記合併ステップを行った後に物体境界ブロックの客体外部の画素値を所定の値にパッディングするステップをさらに備えることを特徴とする請求項１に記載の映像情報符号化方法。
【請求項８】
前記パッディングする所定の値は、二つの物体境界ブロックＡ及びＢが合併される場合に、下式に示す値
（ａ×ｎｕｍ＿ａ＋ｂ×ｎｕｍ＿ｂ）／（ｎｕｍ＿ａ＋ｎｕｍ＿ｂ）
ここで、ａは合併前のブロックＡの客体外部の画素の値、
ｂは合併前のブロックＢの客体外部の画素の値、
ｎｕｍ＿ａはブロックＡの客体画素の数、
ｎｕｍ＿ｂはブロックＢの客体画素の数
であることを特徴とする請求項７に記載の映像情報符号化方法。
【請求項９】
前記パッディングする所定の値は、二つの物体境界ブロックＡ及びＢが合併される場合に、下式に示す値
（ａ＋ｂ）／２
ここで、ａは合併前のブロックＡの客体外部の画素の値、
ｂは合併前のブロックＢの客体外部の画素の値
であることを特徴とする請求項７に記載の映像情報符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像信号の動画像符号化に関するもので、特にブロック内およびブロック間に存在する映像内および映像間の空間の剰余性を利用して物体境界ブロックを合併した後に符号化し、復元映像の再構成およびディスプレイのための物体ブロックの分割技術を合併過程と同じ過程をへて分割する物体境界ブロックの合併／分割を利用した映像情報符号化方法に関するものである。
【０００２】
【従来の技術】
最近、映像および音響符号化の技術およびシステム構成に関する国際標準案ＭＰＥＧ−１，ＭＰＥＧ−２を開発し議決したＭＰＥＧグループが現在は１９９８年１１月に国際標準として採択される予定の次世代映像および音響符号化の技術とシステム構成に関する国際標準案であるＭＰＥＧ４を研究・開発中にある。
【０００３】
ＭＰＥＧ−４の開発は既存の知られた標準案としては支援することができない次世代映像および音響応用物を支援する必要性から出発した。
ＭＰＥＧ−４は映像および音響データの通信と接続、そして操作のための新たな方法、例えば特性が異なるネットワークを通じた物体中心の対話的機能および接続等を提供する。
また、エラーが容易に発生する通信環境と低伝送率の通信環境においても有用に動作する特性を提供する。
その上に、コンピュータグラフィック技術を統合して自然映像および音響と人工映像および音響をともに符号化し操作することができる機能を提供する。
要するに、ＭＰＥＧ−４は各種応用分野から要求され予想されるすべての機能を支援しなければならない。
【０００４】
したがって、マルチメディア情報の急膨脹と技術向上によって新たに開発されたとか、開発される低価格、高機能のすべての可能な応用分野に要求される機能を支援することができるように拡張可能であり、開放的な構造をもつようになる。その中には伝送および貯蔵機能と費用節減に必要な符号化効果の向上機能がある。
【０００５】
現在、ＭＰＥＧ−４の技術が応用されるものと期待される応用物としてはインタネットマルチメディア（ＩＭＭ：Intenet Multi Media）、対話形ビデオゲーム（ＩＶＧ：Interactive Video Games）、映像会議および映像電話等の相互通信（ＩＰＣ：Interpersonal Communications）、双方向貯蔵媒体（ＩＳＭ：Interactive Storage Media）、マルチメディア電子郵便（ＭＭＭ：Multimedia Mai1ing）、無線マルチメディア（ＷＭＭ：Wireless Multimedia）、ＡＴＭ網等を利用したネットワークデータベースサービス（ＮＤＢ：Networked Database Service）、遠隔応急システム（ＲＥＳ：Remote Emergency System）、遠隔映像監視（ＲＶＳ：Remote Video Survei11ance）等がある。
【０００６】
既存の応用物や今後期待される応用物を支援するためには使用者が映像内の願う客体のみを通信することができ、探し読むことができるように接近することができ、絶断・付着することができるように編集することができる映像符号化技術が必要である。
１９９９年１月の完成に向けて、現在、世界標準化作業が進行中である新たな映像および音響符号化技術であるＭＰＥＧ−４はこのような必要を充足きせるためのものである。
【０００７】
図９はＭＰＥＧ−４の映像符号化器の構造を図示しているものである。これは既存の映像符号化世界標準であるＨ．２６１，Ｈ．２６３、ＭＰＥＧ−１，ＭＰＥＧ−２の映像符号化器構造とは他の構造をもっている。
即ち、このようなＭＰＥＧ−４の映像符号化器は、ＶＯＰ（Video Object Plane）形成部１０で形成されたそれぞれの対象物映像に対するＶＯＰが動き推定部１１に入力きれてマクロブロックの単位に動きが推定される。
そして、前記動き推定部１１で推定された動き情報は動き補償部１２に入力されて動きが補償される。
【０００８】
また、前記動き補償部１２で動きが補償されたＶＯＰはＶＯＰ形成部１０で形成されたＶＯＰとともに減算器１３に入力されて差の値が検出され、前記減算器１３で検出された差の値は映像信号符号化部１４に入力されてマクロブロックのサブブロック単位に対象物の映像信号が符号化される。
例えば、映像信号符号化部１４は、マクロブロックのＸ軸およびＹ軸をそれぞれ８個の画素を有する８×８のサブブロックに細分化した後に対象物の映像信号を符号化する。
【０００９】
そして、前記動き補償部１２で動きが補償されたＶＯＰと映像信号符号化部１４で符号化された対象物の内部情報が加算機１５に入力されて加算され、前記加算機１５の出力信号は以前ＶＯＰ検出部１６に入力されて以前画面のＶＯＰが検出される。
以前ＶＯＰ検出部１６で検出された前記以前画面のＶＯＰは動き推定部１１および動き補償部１２に入力されて動き推定および動き補償に使用するようにしている。
そして、ＶＯＰ形成部１０で形成されたＶＯＰは形状情報符号化部１７に入力されて形状情報が符号化される。
【００１０】
ここで、形状情報符号化部１７の出力信号はＶＯＰ符号化部が適用される分野により使用可否が決定されるもので、形状情報符号化部１７の出力信号は点線で表示のように動き推定部１１と動き補償部１２および映像信号符号化部１４に入力されて動き推定、動き補償および対象物の内部情報を符号化するのに使用することができる。
また、前記動き推定部１１で推定された動き情報、映像信号符号化部１４で符号化された対象物の内部情報および形状情報符号化部１７で符号化された形状情報はマルチプレクサ１８において多重化きれ、バッファ１９を通じてビットストリームに伝送される。
【００１１】
このように構成されて動作するＭＰＥＧ−４の映像符号化器においては、特に形状情報符号化部とＶＯＰという概念の導入が最も頭著な差異を見せている。
ＶＯＰは使用者が接近および編集することができる任意形状の内容物の時間軸上の一つの始点が客体を意味し、内容物基盤の機能性を支援するためにはＶＯＰ別に符号化されなければならない。
【００１２】
図１０は任意の映像において全体映像やその映像を成す意味ある物体のみで構成された映像を示したもので、映像符号化のため１６×１６画素で構成されたマクロブロックに再構成される。
このようにマクロブロックに再構成されると、図１１のように三つの種類のマクロブロックが存在するようになるが、客体内の情報のみで構成される客体内のマクロブロックと客体内の情報を一つも持たない客体外のマクロブロックと客体内の情報を部分的にもつ物体境界マクロブロックがそれである。
【００１３】
各マクロブロック内の輝度ブロックと色彩ブロックの配列は図１２のとおりである。
客体内のマクロブロックは客体内のブロックのみで構成され、客体外のマクロブロックは客体外のブロックのみで構成される。
しかし、物体境界マクロブロック内には図１３のようにマクロブロックの種類と同一の特性を有する８×８画素に構成された三つの種類のブロックが存在することができるが、客体内のサブブロック、客体外のサブブロック、物体境界サブブロックがそれである。
【００１４】
図１４は前記図９における映像信号符号化部１４（ＶＭ５．０）の従来構成を示したもので、図９における動き補償部１２とＶＯＰ形成部１０からの映像間の情報または原映像の情報そして形状情報符号化部１７からのパッディング形状情報（例えば、原映像形状情報、復元された形状情報）の入力を受けて客体外の領域をパッディングする客体外の領域パッディング部１４ａと、前記客体外の領域パッディング部１４ａの信号をＤＣＴおよび符号化させて信号情報を出力させるＤＣＴおよび符号化部１４ｂと、前記ＤＣＴおよび符号化部１４ｂの信号をＩＤＣＴおよび復号化させて、復号化された情報を以前ＶＯＰ検出部１６に出力させるＩＤＣＴおよび復号化部１４ｃを包含して構成された。
【００１５】
物体境界ブロックの映像内および映像間情報を符号化するためには、客体外の領域にある画素の画素値がまず決定されなければならなく、このような映像内信号と誤差信号をテクスチャ情報と指称する。
最近まで考慮された技術としてはブロック内の客体内映像情報の平均値を満たす平均値代替技術、ゼロ値を満たすゼロパッディンク技術、客体境界情報を利用した反復パッディング技術、客体外の情報に対してDon't Careした形状適応形ＤＣＴ（Shape Adaptitve ＤＣＴ）技術等がある。
【００１６】
しかし、映像内および映像間情報は空間内から相関度が高い空間の剰余性をもっているが、最近まで提起された技術はブロック内の空間の剰余性をＤＣＴと量子化を通じて適切に利用しているが、ブロック間に存在する空間の剰余性は利用していない。
もし、ブロック間に存在する空間の剰余性を利用するようになると符号化効率を向上させることができるであろうし、このため、本発明においては物体境界ブロック内の映像情報および予測誤差情報を合併して符号化する物体境界ブロックの合併技術（ＢＢＭ：Boundary Block Merging Technique）を提供する。
その上、上述のように従来の各種のパッディング技法によってパッディングされた互いに他の映像ブロックを合併する場合、映像境界部分から高周波成分が発生することができるので、符号化効率を高めることができる適切なパッディング技法が必要になる。
【００１７】
以下、このような従来の映像信号符号化部１４（ＶＭ５．０）を参考として上述した従来のパッディング技術の例を説明すると次のとおりである。
まず、平均値代替技術は物体境界マクロブロック内の物体境界ブロック内から映像内および映像間情報を符号化するために、客体外の画素値をそのブロック内の客体内の画素値の平均値に満たした後にＤＣＴ（Discrete Cosine Transfom）を利用して符号化する技術である。
【００１８】
平均値代替技術は図１５（ａ）のように遂行されるが、図面において、２０は分離器、２１は平均値計算機、２２は選択器を図示している。
物体境界ブロック内の客体内画素の平均値‘ａ’を求め、客体外の画素値を‘ａ’に代替した後にＤＣＴを利用して符号化する。
【００１９】
次に、ゼロパッディング技術は、物体境界マクロブロック内の物体境界ブロックから映像情報および予測誤差情報を符号化するために、客体外の画素値をゼロ値に満たした後にＤＣＴを利用して符号化する技術である。
ゼロバッディング技術は図１５（ａ）から物体境界ブロック内の客体外の画素である白色画素にゼロ値に代替した後にＤＣＴを利用して符号化する技術として、ＭＰＥＧ−４ＶＭビジョン２．０〜７．０まで映像間の符号化時に適用されている。
【００２０】
一方、反復パッディング技術は再生された形状情報を利用し、５段階に構成されたもので、図１５（ｂ）を通じて各段階を説明すると次のとおりである。
（１）物体境界ブロック内の客体外の画素値をゼロとして見る。
（２）物体境界ブロックを水平方向にスキャンする。このとき、各水平ラインに二種類の線が存在することができるようになる。
ゼロ値で構成された線であるゼロセグメントとゼロではない値で構成された線であるノンゼロセグメントがそれである。
【００２１】
もし、スキャンされる水平ラインにノンゼロセグメントだけがあるとか、ノンゼロセグメントだけあると、如何なる遂行もせずに、次の水平ラインをスキャンし、ゼロセグメントがブロックとノンゼロセグメントとの間にあると、ゼロセグメントと当接するノンゼロセグメントの終りの画素値にゼロセグメント内に画素を満たし、ゼロセグメントがノンゼロセグメントとの間に置いた場合には、そのゼロセグメントと当接するノンゼロセグメントの終りの画素値の平均値に満たす。
【００２２】
（３）垂直方向に物体境界ブロックをスキャンし、（２）で説明した過程を遂行する。
（４）もし客体外の画素が（２）と（３）ですべて満たされると、二つの値の平均値に満たす。
（５）（１）〜（４）まで遂行した後にも満たされなかった客体外の画素は水平方向にスキャンしてゼロではない最も近い画素を探し、もし距離が同じであると、左側にあるゼロではない画素値に定めて置いて、垂直方向に同一に遂行し、距離が同じであれば、上側にあるゼロではない画素値に定めて、その定められた二つの値の平均値に代替する。
上述の各段階の結果を図示したのが、図１５（ｂ）であり、ＭＰＥＧ−４ＶＭ１．０においては映像内および映像間の符号化に、ＶＭ２．０〜４．０まで映像内の符号化に適用されている。
【００２３】
一方、ＬＰＥ（Low Pass Extrapolation）技術は図１５（ｃ）のように分離器２０と平均計算機２１そして選択器２２とフィルタ部２３とからなり、符号化するブロックが物体境界ブロックであるとき、平均計算機２８を通じてそのブロック内の映像情報の平均値を求めてその値ｍに客体外の領域の画素を満たした後にその状態から客体外の領域の画素、即ち客体内の平均値に満たされた各画素に対して上・下・左・右の画素の中で客体内に属する画素値を加えた後に客体内に属する画素数で分けた値に画素値を代替する。
【００２４】
例えば、図１５（ｃ）において、ｆ１は下の客体内画素値に代替され、ｆ２は右の客体内の画素値に代替きれ、ｆ４は下と右の物体値の平均値に代替される。  ＬＰＥ技術は物体境界マクロブロック内の物体境界ブロックの映像情報を符号化するために、客体外の画素をそのブロック内の客体内の画素値の平均値に満たした後にＤＣＴを遂行する前に物体境界外の各画素を４方向隣接する画素値の平均値に再び代替する技術である。
【００２５】
ただし、４方向の隣接する画素中に客体外の画素があると、その画素値を除外した後に客体内の画素のみの平均値を求める。
図１５（ｃ）において、ｆ１〜ｆ９間の画素のみが４方向隣接する客体内の画素値のみの平均値に代替される画素になる。
ＤＣＴはその以後に適用され、そのブロックを符号化する。現在ＬＰＥ技術はＭＰＥＧ−４ＶＭ５．０から映像内の符号化時に適用されている。
また、形状適応形ＤＣＴ技術（ＳＡＤＣＴ：Shape Adaptive Discrete CosineTransfom Technique）は任意形状のＶＯＰの物体境界ブロックに適用される。
【００２６】
任意形状のＶＯＰ基盤の映像符号化時、客体外に画素に対して定義されてない画素値を適切な値に代替する方法とは異なり、客体内の情報のみを利用して符号化し量子化して符号化する。
図１５（ｄ）において、（Ａ）のような客体内情報が存在するとき、（Ｂ）のようにまず上側に映像内および映像間情報を移動させた後に垂直方向の１次元ＤＣＴを遂行し、（Ｃ）のように形成されたＤＣＴ計数を再び（Ｄ）のように左側に移動させた後に（Ｅ）のように水平方向の１次元ＤＣＴを遂行する。
【００２７】
そして（Ｅ）の遂行後に（Ｆ）のようにＳＡＤＣＴ計数が形成され、ＳＡＤＣＴ後のＤＣＴ計数は量子化が遂行され、ジグザグスキャンが適用されが、計数が存在していない領域に対してはスキップする適応形スキャンが実行される。
適応形スキャンによりスキャンされた計数値は既存のＶＬＣテーブルを利用して符号化され、ＭＰＥＧ−４ＶＭ５．０〜ＶＭ７．０まで映像内および映像間符号化の選択技術として適用されている。
【００２８】
【発明が解決しようとする課題】
上述したように、最近まで提起された技術はブロック内の空間の剰余性をＤＣＴと量子化を通じて適切に利用しているが、ブロック間に存在する空間の剰余性は利用していないので、符号化効率が低下していた。
【００２９】
本発明はこのような従来の問題点を解決するために案出したもので、ＢＢＭを通じて合併させて符号化／伝送することによってブロック内ばかりではなく、近接したブロック間に存在する映像内および映像間情報の空間の剰余性を利用して符号化の効率を向上させることができる物体境界ブロックの合併とその合併の逆過程として合併／分割を利用した映像情報符号化方法を提供することにその目的がある。
【００３０】
また、本発明の目的は符号化のため物体境界ブロックを水平、垂直、対角線方向合併の三つのモードを置いて合併符号化する合併技術を適用し、合併過程と逆過程を通じて合併された物体境界ブロックを分割することによって先行過程により後行過程をスキップして処理時間を減少させ、システム構成時に複雑度を高めなくとも符号化の効率を向上させることができる物体境界ブロックの合併／分割を利用した映像情報符号化方法を提供することにある。
【００３１】
また、本発明の目的は互いに他の物体境界ブロックを合併した場合、客体外の画素に対する新たなパッディング技法を提示してＤＣＴ等の符号化の効率を増大させることができるパッディング技法を提供することにある。
【００３２】
【課題を解決するための手段】
本発明に係る物体境界ブロックの合併を利用した映像情報符号化方法は、客体内部及び外部を構成する客体内部の画素及び客体外部の画素を全て含む物体境界ブロックの合併／分割を利用して物体境界ブロックのテクスチャ情報を符号化するための映像情報符号化方法において、マクロブロック内の複数の物体境界ブロックの中から互いに近接した第１物体境界ブロック及び第２物体境界ブロックのうち、前記第２物体境界ブロックの画素を１８０度回転する回転ステップと、前記第１物体境界ブロックの画素及び回転された第２物体境界ブロックの画素を合併し、前記第１物体境界ブロックと前記回転された第２物体境界ブロックを合併する合併ステップと、前記第１物体境界ブロックの画素の形状情報及び前記回転された第２物体境界ブロックの画素の形状情報を比較し、前記第１物体境界ブロック及び前記回転された第２物体境界ブロック間に重畳される客体内部の画素があるのか否かを判断する判断ステップと、前記判断結果、重畳された客体内部の画素がない場合に、合併されたブロックのテクスチャ情報を符号化する符号化ステップとを含むことを特徴とする。
【００６８】
【発明の実施の形態】
以下、本発明が形状情報の１８０°回転と三つのモードを利用して輝度ブロックにのみ適用された実施の形態を添附の図面を参考として詳細に説明すると次のとおりである。
まず、図１は本発明による映像情報符号化部３０の構成図で、図９での動き補償部１２とＶＯＰ形成部１０から映像間の情報または原映像情報の入力を受け、形状情報符号化部１７からパッディング形状情報の入力を受けて客体外の領域をパッディングする客体外の領域パッディング部３１と、前記客体外の領域パッディング部３１の信号と合併形状情報から物体境界ブロックを合併する物体境界ブロック合併部３２と、前記物体境界ブロック合併部３２の信号をＤＣＴおよび符号化させて信号情報をマルチプレクサに出力させるＤＣＴおよび符号化部３３と、前記ＤＣＴおよび符号化部３３の信号をＩＤＣＴおよび復号化させるＩＤＣＴおよび復号化部３４と、前記復元された形状情報とＩＤＣＴおよび復号化部３４の信号から合併されたブロックを分離させて復号化された情報を以前ＶＯＰ検出部に出力させる合併されたブロック分離部３５とから構成される。
ここで、前記合併されたブロックとは、合併結果一つは信号があり、他の一つは信号のない２個ブロックを指称しており、客体とは保護しなければならない背景映像ではない意味ある映像を指称する。
【００６９】
このように構成された本発明において、物体境界ブロック合併（ＢＢＭ：Boundary Block Merge）技術と物体境界ブロック分割（ＢＢＳ：Boundary Block Split）技術は図９における映像信号符号化部１４に適用され、映像情報および映像間情報のブロック内および近接したブロック間の空間の剰余性を利用する。特に、物体境界ブロックの分割技術は復号化後に再構成された映像が正確に構成およびディスプレイされるようにするための技術として、このとき二つの技術すべて形状情報の復号化後に再構成された形状情報を利用し輝度情報にのみ適用される。
【００７０】
また、本発明は図２（Ａ）〜（Ｃ）に図示のようにＢＢＭ部以前のパッディング部とＢＢＭ部そしてＢＢＳ部とからなり、ＢＢＭ部以前のパッディング部は、形状情報符号化部から符号化された後に復号化された再現された形状情報（ＶＭ．７ｘ）或いは原映像形状情報（ＶＭ７．０）が入力され、原映像形状情報或いは復元された形状情報入力を基準として映像情報をブロック単位に映像内情報はＬＰＥパッディングを、映像間情報はゼロバッディングを遂行する。
そして、ＢＢＭ部は、形状情報符号化部から符号化された後に復号化された再現された形状情報と原映像情報を入力とし、形状情報を利用して図２（Ｂ）のように形状情報と映像情報に対して合併過程を遂行する。
【００７１】
以後、図２（Ｂ）のブロックＣのように合併されるブロックは客体外のブロックに変更しブロックＡのように合併されたブロックは合併された形状情報外の客体外の領域の画素に対して見ると、ブロックＡとブロックＣのパッディング値に代替された客体外の領域の画素値を利用してその平均値に映像情報を代替し、以後映像情報に対してＤＣＴ符号化する。
そしてＢＢＳ部は、入力形状情報符号化部から符号化された再現された形状情報とＢＢＭ以後符号化された後に復号化された復元された映像情報を入力とし、形状情報を利用して復元されたブロック中に合併されたままに符号化されたブロックを探し出して合併される前の形状情報の入力情報を利用して復元された映像情報を図２（Ｃ）のように分離する。
【００７２】
まず、物体境界ブロック合併ＢＢＭ技術には図３（ａ）に図示のような水平合併技術、図３（ｂ）に図示のような垂直合併技術、図３（ｃ）に図示のような対角線方向合併技術があり、図４（ａ）はこのような物体境界ブロック合併技術の流れを示したものであり、図５はＢＢＭの一例を示したものである。
ここで、形状情報は重畳可否判断のため合併するが、ＢＢＭ，ＢＢＳ両者すべて合併して伝送するものではなく、単にテクスチャ情報合併のために利用されるだけである。
また、送信端においてはＢＢＭ，ＢＢＳをすべて遂行することができるが、受信端においてはＢＢＳのみ遂行することができるだけである。
【００７３】
まず、図４（ａ）を通じてその流れを観察して見ると、水平合併を遂行（Ｓ１）した後にマクロブロック内に少なくとも一つの合併ブロックがあるかを判断（Ｓ２）してない場合、垂直合併を遂行（Ｓ３）した後に再びマクロブロック内に少なくとも一つの合併ブロックがあるかを判断（Ｓ４）してない場合、対角線合併を遂行（Ｓ５）する。
ここで、水平合併→垂直合併→対角線合併順に合併過程を遂行したが、本発明はこれに制限されず、水平→対角線→垂直、垂直→水平→対角線、垂直→対角線→水平、対角線→垂直→水平、対角線→水卒→垂直に合併過程を遂行することができる。
【００７４】
このような垂直、水平、対角線合併の中で、まず図３（ａ）を参考として水平合併に対して説明すると次のとおりである。
第１段階として、ブロックＡとブロックＢが物体境界ブロックであり、ブロックＢを１８０°回転したものとブロックＡ間に重畳された客体画素がなければ、ブロックＢを１８０°回転させた客体および形状情報をブロックＡに合併し、ブロックＢを客体外のブロックに変換させる。
このとき、客体外のブロックに変換されたブロックは合併結果信号が移動してテクスチャ情報がなくなったブロックを指称する。
【００７５】
第２段階として、ブロックＣとブロックＤが物体境界ブロックであり、ブロックＤを１８０°回軸したものとブロックＣ間に重畳された客体画素がなければ、ブロックＤを１８０°回転させた客体および形状情報をブロックＣに合併し、ブロックＤを客体外のブロックに変換させる。水平合併から合併された物体境界ブロックが一つ以上であれば、垂直合併と対角線方向合併はスキップし、水平合併から合併された物体境界ブロックが一つもないと、垂直合併を遂行する。
【００７６】
次に図３（ｂ）を参考として垂直合併に対して説明すると次のとおりである。  第１段階として、ブロックＡとブロックＣが物体境界ブロックであり、ブロックＣを１８０°回転したものとブロックＡ間に重畳された客体画素がなければ、ブロックＣを１８０°回転させた客体および形状情報をブロックＡに合併し、ブロックＣを客体外のブロックに変換させる。
【００７７】
第２段階として、ブロックＢとブロックＤが物体境界ブロックであり、ブロックＤを１８０°回転したものとブロックＢ間に重畳された客体画素がなければ、ブロックＤを１８０°回転させた客体および形状情報をブロックＢに合併し、ブロックＤを客体外のブロックに変換させる。
垂直合併から合併された物体境界ブロックが一つ以上であれば、対角線方向合併はスキップし、垂直合併から合併された物体境界ブロックが一つもなければ、対角線方向合併を遂行する。
【００７８】
一方、図３（ｃ）を参考として対角線合併に対して説明すると次のとおりである。
第１段階として、ブロックＡとブロックＤが物体境界ブロックであり、ブロックＤを１８０°回軸したものとブロックＡ間に重畳された客体画素がなければ、ブロックＤを１８０°回転させた客体および形状情報をブロックＡに合併し、ブロックＤを客体外のブロックに変換させる。
【００７９】
第２段階として、ブロックＢとブロックＣが物体境界ブロックであり、ブロックＣが１８０°回転したものとブロックＢ間に重畳された客体画素がなければ、ブロックＣを１８０°回転させた客体および形状情報をブロックＢに合併し、ブロックＣを客体外のブロックと定義する。
【００８０】
前記物体境界ブロック合併技術で合併されたブロックが発生した場合、その合併されたブロック内の客体外の画素に対する画素値を合併されたブロックを構成するブロックで決定された画素値を利用して決定する。
このとき、利用される形状情報は原映像の形状情報や復元された形状情報の中での一つを選択して利用することができる。
【００８１】
図３（ａ）のように合併されたブロックを構成するブロックＡの合併前の客体外の画素値をａとし、ブロックＢを合併前の客体外の画素値をｂとし、ブロックＡ内の客体内画素の数をｎｕｍ＿ａとし、ブロックＢ内の客体内画素の数をｎｕｍ＿ｂとすると、２個の物体境界ブロックＡ，Ｂが合併された場合、再パッディングのための任意の値を（ａ×ｎｕｍ＿ａ＋ｂ×ｎｕｍ＿ｂ）／（ｎｕｍ＿ａ＋ｎｕｍ＿ｂ）に決定してパッディングする。
また、２個の物体境界ブロックＡ，Ｂが合併された場合、再パッディングのための任意の平均値を（ａ＋ｂ）／２に決定した後に客体外の画素をパッディングする。
【００８２】
物体境界サブブロックの合併を利用して符号化する過程を一例として図５、図６および図７の図面のように合併条件を符号化されなかった一番目の物体境界サブブロックには適用せずに、二番目から適用して説明する。
図５の図面で、物体境界マクロブロック内の４個の輝度ブロックと２個の色彩ブロックに対して輝度ブロックは輝度ブロック同士、色彩ブロックは色彩ブロック同士、輝度ブロックにのみまたは輝度ブロックと色彩ブロックを区分せずに合併して符号化する。
図５において、一番目の輝度ブロック、四番目の輝度ブロック、一番目の色彩ブロックおよび二番目の色彩ブロックが物体境界サブブロックである。
【００８３】
図５の図面は、輝度ブロックは輝度ブロック同士、色彩ブロックは色彩ブロック同士合併条件を適用した一例であり、図６のサブブロックが輝度ブロックにのみ区分される場合に輝度ブロックにのみ適用され、輝度ブロックと色彩ブロックを区分せずに合併条件を適用した一例である。
前記の二つの場合に対してすべて合併条件は符号化されなかった物体境界サブブロックの中で二番目の以後の物体境界サブブロックに適用した一例である。
【００８４】
合併条件が適用された物体境界サブブロックが符号化されなかった一番目の物体境界サブブロックと重なる画素が一つもなければ、符号化されなかった一番目の物体境界サブブロックと合併条件が適用されたブロックの情報を集合して一つの符号化ブロックを形成させる。
【００８５】
即ち、図６の（Ａ）および（Ｂ）に図示のように２個のサブブロックがあると仮定する場合に、（Ｂ）に図示の二番目のサブブロックを（Ｃ）に図示のように１８０°回転させた後に（Ａ）に図示のサブブロックに（Ｄ）に図示のように合併するとか、（Ｂ）に図示されたサブブロックを（Ｅ）に図示のように対角線方向に対称されるようにした後に（Ａ）に図示のサブブロックに（Ｆ）に図示のように合併する。
【００８６】
また、図６の（Ｇ）に図示のようにサブブロックを時計の方向に９０°回転させるとか、（Ｈ）に図示のように時計の反射方向に回転させるとか、（１）に図示のように中心線を基準として対称されるようにするとか、または図面には図示されていないが、水平中心線を基準として対称されるようにした後にサブブロックにそれぞれ存在する形状情報が互いに重畳されない合併条件を満足する場合に合併することができる。
【００８７】
そして、図６とは異なり符号化きれなかった物体境界サブブロックがその後にも存在すれば再びそのサブブロックに合併条件を適用して既に合併された符号化ブロックに前記のような過程を反復する。
このとき、合併する余地が残存していなければ合併を通じて形成された符号化ブロックをＤＣＴする。
合併された符号化ブロックを構成せずに残存している物体境界サブブロックに前記の過程を再次反復する。
合併された符号化ブロックを形成すればその符号化ブロックを符号化し、合併条件を充足しないでそのまま残存している物体境界サブブロックのみ一つの符号化ブロックと見做してＤＣＴする。
上述のように合併され符号化されて伝送されるものは結局、映像内、映像間データを有するテクスチャ情報である。
【００８８】
一方、物体境界ブロック分割ＢＢＳ技術としては図３に図示のように水平分割技術（ａ）、垂直分割技術（ｂ）、対角線分割技術（ｃ）があり、図４（ｂ）はその動作流れを示したものであり、図５はＢＢＭの一例を示したもので、分割過程においてもこのようなＢＢＭと同じ形状情報、即ち形状情報復号化以後再構成された形状情報を利用する。
まず、図４（ｂ）を参考としてその動作を観察して見ると、水平分割を遂行（Ｓ６）した後にマクロブロック内に少なくとも一つの分割ブロックがあるかを判断（Ｓ７）してない場合、垂直分割を遂行（Ｓ８）した後に再びマクロブロック内に少なくとも一つの分割ブロックがあるかを判断（Ｓ９）してない場合、対角線分割を遂行（Ｓ１０）するもので、ここでは、水平分割→垂直分割→対角線分割順に分割過程を遂行したが、本発明はこれに制限されず、水平→対角線→垂直、垂直→水平→対角線、垂直→対角線→水平、対角線→垂直→水平、対角線→水平→垂直に分割過程を遂行することができる。
【００８９】
このような垂直、水平、対角線分割中、まず図３（ａ）を参考として水平分割に対して説明すると、次のとおりである。
即ち、水平分割は、第１段階として、ブロックＡとブロックＢが物体境界ブロックであり、ブロックＢを１８０°回転したものとブロックＡ間に重畳された物体画素がなければ、ブロックＡから１８０°回転させたブロックＢの映像内および映像間情報を分割し、その分割した情報を再び１８０°回転させてブロックＢを構成する。
【００９０】
第２段階として、ブロックＣとブロックＤが物体境界ブロックであり、ブロックＤを１８０°回転したものとブロックＡ間に重畳された物体画素がなければ、ブロックＡから１８０°回転させたブロックＤの映像および予測誤差情報を分割し、その分割した情報を再び１８０°回転させてブロックＤを構成する。
水平分割で分割された物体境界ブロックが一つ以上であれば、垂直分割と対角線方向分割はスキップし、水平分割から分割された物体境界ブロックが一つもなければ、垂直分割を遂行する。
また、垂直分割は図３（ｂ）に図示のように、第１段階としてブロックＡとブロックＣが物体境界ブロックであり、ブロックＣを１８０°回転したものとブロックＡ間に重畳された物体画素がなければ、ブロックＡから１８０°回転させたブロックＣの映像内および映像間情報を分割し、その分割した情報を再び１８０°回転させてブロックＣを構成する。
【００９１】
第２段階として、ブロックＢとブロックＤが物体境界ブロックであり、ブロックＤを１８０°回転したものとブロックＢ間に重畳された物体画素がなければ、ブロックＢから１８０°回転させたブロックＤの映像および予測誤差情報を分割し、その分割した情報を再び１８０°回転させてブロックＤを構成する。
垂直分割で分割された物体境界ブロックが一つ以上であれば、対角線方向分割はスキップし、垂直分割で分割された物体境界ブロックが一つもなければ、対角線方向分割を遂行する。
【００９２】
そして、対角線分割は図３（ｃ）に図示のように、第１段階として、ブロックＡとブロックＤが物体境界ブロックであり、ブロックＤを１８０°回転したものとブロックＡ間に重畳された物体画素がなければ、ブロックＡから１８０°回転させたブロックＤの映像内および映像間情報を分割し、その分割した情報を再び１８０°回転させてブロックＤを構成する。
第２段階として、ブロックＢとブロックＣが物体境界ブロックであり、ブロックＣを１８０°回転したものとブロックＢ間に重畳された物体画素がなければ、ブロックＢから１８０°回転させたブロックＣの映像内および映像間情報を分割し、その分割した情報を再び１８０°回転させてブロックＣを構成する。
【００９３】
一方、図７は本発明がマクロブロック単位においてのみ適用される実施の形態の構成を示した図面であって、マクロブロック単位に信号を映像合併部にブロックするマクロブロックスキャン部２１と、合併過程を遂行する合併部２２と、合併されたブロックを符号化してマルチプレクサ１８に出力する映像情報符号化部２３とから構成される。
【００９４】
そして、図８は本発明が全体映像からマクロブロック単位に制限されずに適用される実施の形態の構成を示した図面であって、ＶＯＰを形成する全体対象物の映像に対して合併を遂行する全体映像合併部２４と、合併されなかったマクロブロックおよび前記全体映像合併部２４から合併されたブロックを符号化する映像情報符号化部２３とから構成される。
【００９５】
図８のように構成された本発明の他の実施の形態はＶＯＰを形成したマクロブロック内のブロックにのみ制限させるとか、或いは制限を置かないで全体の映像に対して符号化されなかった物体境界ブロックと上・下・左・右の４方向にまたは上・下・左・右と４５°方向の８方向のブロックとの合併可否を考慮して符号化する場合に適用されることができる。
このときはマクロブロック内からのみならず、マクロブロックに制限を受けずに、周囲の物体境界ブロックに置いている符号化単位（Ｍ×Ｎ領域、例８×８ブロック）に対しても適用することができる。
一方、本発明の他の実施の形態であって、前記図１２のマクロブロック内のブロックの配列を参照して本発明に順次合併方法が適用された実施の形態は各種方法によって適用可能である。
【００９６】
この実施の形態は輝度ブロックにのみ適用されることができ。色彩ブロックにのみ適用されることができ、また輝度ブロックと色彩ブロックの制限なしに適用されることもできる。
また、合併されるブロックの数を２個の物体境界ブロックによって制限することもでき、Ｎ（Ｎ＝２，３、・・・Ｎ）に制限することもでき、制限のなしに適用することもできる。
【００９７】
輝度ブロックにのみ適用され合併されるブロック個数を制限せずに順次合併方法に対して説明すると、次のとおりである。
即ち、ブロックＡからＤまで物体境界ブロックに限定して順次物体境界ブロック合併過程を遂行しブロックＡと合併されたブロックは除外し、もしブロックＢが合併されていないとブロックＢとブロックＣ以下の合併過程を遂行し、もしブロックＣが合併されていないとブロックＣのブロックを利用してブロックＤとの合併過程を遂行する。
このとき、合併されることができる場合は（Ａ，Ｂ）（Ａ，Ｃ）（Ａ，Ｄ）（Ｂ，Ｃ）（Ｂ，Ｄ）（Ｃ，Ｄ）（Ａ，Ｂ，Ｃ）（Ａ，Ｂ，Ｄ）（Ｂ，Ｃ，Ｄ）（Ａ，Ｂ，Ｃ，Ｄ）である。
【００９８】
【発明の効果】
以上のように、本発明は、ブロック内およびブロック間に存在する映像内および映像間情報の空間剰余性を利用して映像品質を維持しながらも符号化ビットを減少させることができる物体境界ブロックを合併する技術を遂行し、先行過程により不必要な後行過程をスキップして所要時間を減少させ、復元映像の再構成およびディスプレイのための物体境界ブロック分割技術が簡単に適用されることができるので、システムの複雑度を高めることなく符号化効率と時間遅延面で向上された特性を得ることができるので、システム構築時に改善された性能を得ることができる効果がある。
【図面の簡単な説明】
【図１】  本発明による映像情報符号化器の構成図である。
【図２】  本発明によるＢＢＭ以前のパッディング、ＢＢＭ，ＢＢＳを説明するための図面である。
【図３】  本発明によるマクロブロック内の輝度ブロックの配列とＢＢＭ／ＢＢＳの三つのモデルを適用した一例に対する図面である。
【図４】  本発明に三つのモデルを適用した一例に対する図面であって、（ａ）はＢＢＭの動作流れ図、（ｂ）はＢＢＳの動作流れ図である。
【図５】  本発明のＢＢＭ／ＢＢＳを輝度ブロックにのみ適用した実施の形態の例示図である。
【図６】  ブロック内の形状情報を調節して合併する過程を説明するための図面である。
【図７】  本発明がマクロブロック単位にのみ適用される実施の形態の構成を示した図面である。
【図８】  本発明が全体映像からマクロブロック単位に制限されず適用される実施の形態の構成を示した図面である。
【図９】  ＭＰＥＧ−４ＶＯＰ符号化器の構成を示したブロック図である。
【図１０】  任意の符号化しようとするＶＯＰを示した図面である。
【図１１】  ＶＯＰ映像内のマクロブロックの魯須を示した図面である。
【図１２】  マクロブロック内のブロックの配列図である。
【図１３】  ＶＯＰ映像内のブロックの種類を示した図面である。
【図１４】  従来の映像情報符号化器の構成図である。
【図１５】  従来のパッディング技術の説明図で、（ａ）は平均値代替方法に対するブロック図、（ｂ）は反復パッディング技法の段階別結果を示した図面、（ｃ）は物体外の領域パッディング部の詳細ブロック図、（ｄ）は任意形状のＶＯＰに対するＳＡＤＣＴ遂行段階を説明するための図面である。
【符号の説明】
１０  ＶＯＰ形成部、１１  動き推定部、１２  動き補償部、１３  減算器、１４，３０  映像信号符号化部、１５  加算機、１６  以前ＶＯＰ検出部、１７  形状情報符号化部、１８  マルチプレクサ、１９  バッファ、３１  物体外の領域パッディング部、３２  物体境界ブロック合併部、３３  ＤＣＴおよび符号化部、３４  ＩＤＣＴおよび復号化部、３５  合併されたブロック分離部。
【図１】
0003895431.tif 000002
【図２】
0003895431.tif 000003
【図３】
0003895431.tif 000004
【図４】
0003895431.tif 000005
【図５】
0003895431.tif 000006
【図６】
0003895431.tif 000007
【図７】
0003895431.tif 000008
【図８】
0003895431.tif 000009
【図９】
0003895431.tif 000010
【図１０】
0003895431.tif 000011
【図１１】
0003895431.tif 000012
【図１２】
0003895431.tif 000013
【図１３】
0003895431.tif 000014
【図１４】
0003895431.tif 000015
【図１５】
0003895431.tif 000016