(57)【特許請求の範囲】
【請求項１】
Ｎを正の整数としたとき、物体画素及び背景画素を各々含む物体領域及び背景画素に分割された同じ大きさのＮ×Ｎ画素の複数の映像ブロックを含む入力映像信号を形状適応離散的コサイン変換（ＳＡ−ＤＣＴ）するための映像信号のパディング方法であって、
前記物体画素及び前記背景画素を含む映像ブロックを走査して、前記映像ブロック内の同一の行または列上の物体画素の間に位置する背景画素を表すパディング画素を検出する過程と、
前記物体画素の画素値を用いて、代替画素値を計算する過程と、
前記代替画素値をパディング画素に供給して、物体画素値と代替画素値とを有する補償された物体領域を有するパディングされた映像ブロックを生成する過程とを含むことを特徴とする映像信号のパディング方法。
【請求項２】
前記パディング画素を検出する過程が、
前記映像ブロック内の物体領域の各行を水平に走査して、パディング画素を検出する過程と、
前記映像ブロック内の物体領域の各列を垂直に走査して、パディング画素を検出する過程とを含むことを特徴とする請求項１に記載の映像信号のパディング方法。
【請求項３】
前記代替画素値を計算する過程において、前記代替画素値が、前記パディング画素を取り囲む物体画素の画素値の平均値を用いて決定されることを特徴とする請求項１に記載の映像信号のパディング方法。
【請求項４】
前記代替画素値を計算する過程が、
前記パディング画素に初期値を割り当てる過程と、
ｆｋ（ｉ，ｊ）が映像ブロック内の画素位置（ｉ，ｊ）に位置するパディング画素のｋ番目の繰り返し値を表すものとし、Ｐが前記式の右辺の計算を行うに用いられる画素値を有する関数の数を表すものとし、ｉを１からＮまでの整数としたとき、
ｆ(k+1)（ｉ，ｊ）＝１／Ｐ｛ｆk（ｉ，ｊ−１）＋ｆk（ｉ−１，ｊ）＋ｆk（ｉ，ｊ＋１）＋ｆk（ｉ＋１，ｊ）｝
なる式により計算される繰り返し値の変化量が予め定められた値以下になるまで、前記式の計算を反復的に行って固定された繰り返し値を生成する過程であって、０番目の繰り返し値ｆ0は元の物体画素値またはパディング画素の初期値を表し、物体画素とパディング画素に対応する画素値のみが前記式において用いられる、該過程と、
前記パディング画素に対応する前記固定された繰り返し値を代替画素値として決定する過程とを含むことを特徴とする請求項１に記載の映像信号のパディング方法。
【請求項５】
前記パディング画素の初期値が、前記パディング画素を取り囲む物体画素の画素値の平均値であることを特徴とする請求項４に記載の映像信号のパディング方法。
【請求項６】
Ｎを正の整数としたとき、物体画素及び背景画素を各々含む物体領域及び背景画素に分割された同じ大きさのＮ×Ｎ画素の複数の映像ブロックを含む力映像信号を形状適応離散的コサイン変換（ＳＡ−ＤＣＴ）するための映像信号のパディング装置において、
前記物体画素及び前記背景画素を含む映像ブロックを走査して、映像ブロック内の同一の行または列上の物体画素の間に位置する背景画素を表すパディング画素を検出する検出手段と、
前記物体画素の画素値を用いて、代替画素値を計算する計算手段と、
前記代替画素値をパディング画素に供給して、物体画素値及び代替画素値を有する補償された物体領域を有するパディングされた映像ブロックを生成する補償手段とを含むことを特徴とする映像信号のパディング装置。
【請求項７】
前記検出手段が、
前記映像ブロック内の物体領域の各行を水平に走査してパディング画素を検出する手段と、
前記映像ブロック内の物体領域の各列を垂直に走査してパディング画素を検出する手段とを含むことを特徴とする請求項６に記載の映像信号のパディング装置。
【請求項８】
前記計算手段が、前記パディング画素を取り囲む物体画素の画素値の平均値を用いて、前記代替画素値を決定することを特徴とする請求項６に記載の映像信号のパディング装置。
【請求項９】
前記計算手段が、前記パディング画素に初期値を割り当てた後、ｆｋ（ｉ，ｊ）が映像ブロック内の画素位置（ｉ，ｊ）に位置するパディング画素のｋ番目の繰り返し値を表すものとし、Ｐが前記式の右辺の計算を行うに用いられる画素値を有する関数の数を表すものとし、ｉを１からＮまでの整数としたとき、
ｆ(k+1)（ｉ，ｊ）＝１／Ｐ｛ｆk（ｉ，ｊ−１）＋ｆk（ｉ−１，ｊ）＋ｆk（ｉ，ｊ＋１）＋ｆk（ｉ＋１，ｊ）｝
なる式により計算される繰り返し値の変化量が予め定められた値以下になるまで、前記式の計算を反復的に行って前記代替画素値を計算することを特徴とし、
０番目の繰り返し値ｆ0は元の物体画素値またはパディング画素の初期値を表し、物体画素とパディング画素に対応する画素値のみが前記式において用いられることを特徴とする請求項６に記載の映像信号のパディング装置。
【請求項１０】
前記式により計算された繰り返し値の変化量が予め定められた値以下になるまで、前記式をパディング画素に対して反復的に行うことによって、固定された繰り返し値を生成し、前記パディング画素に対応する前記固定された繰り返し値を代替画素値として決定することを特徴とする請求項９に記載の映像信号のパディング装置。
【請求項１１】
前記パディング画素の初期値が、前記パディング画素を取り囲む物体画素の画素値の平均値であることを特徴とする請求項９に記載の映像信号のパディング装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像信号を符号化する方法及び装置に関し、特に、形状適応離散的コサイン変換（ＳＡーＤＣＴ）を備える映像符号化器に用いられる映像信号のパディング方法及びその装置に関する。
【０００２】
【従来の技術】
通常、テレビ電話及び高精細度テレビジョンシステムのようなディジタルビデオシステムにおいて、映像フレームの各ラインの映像信号は画素値と呼ばれる一連のディジタルデータからなっているので、各ビデオフレーム信号を規定するのに大量のディジタルデータが必要である。
【０００３】
しかし、通常の伝送チャネル上の使用可能な周波数帯域幅は制限されているため、特に、テレビ電話のような低ビットレートのビデオ信号符号化／復号化システムにおいては、多様なデータ圧縮技法を用いて大量のデータを減らすか圧縮する必要がある。
【０００４】
このような多様な映像圧縮技法のうち、いわゆる、物体指向分析−合成符号化技法が最も効率的なものとして知られている（Ｍｉｃａｅｌ  Ｈｏｔｔｅｒ，“Ｏｂｊｅｃｔ−Ｏｒｉｅｎａｔｅｄ  Ａｎａｌｙｓｉｓ−Ｓｙｎｔｈｅｓｉｓ  Ｃｏｄｉｎｇ  Ｂａｓｅｄ  ｏｎ  Ｍｏｖｉｎｇ  Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ  Ｏｂｊｅｃｔｓ”，Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｉｍａｇｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ，２，４０９−４２８（１９９０）参照）。
【０００５】
物体指向分析−合成符号化技法によれば、動く物体を有する入力映像信号は物体に基づいて分割され、物体内に位置した映像データや画素の処理においては、映像データ内に含まれた空間的冗長性を減らすための変換符号化技法が主に用いられる。映像データ圧縮に最もよく用いられる変換技法の１つは、ディジタル映像データブロック、例えば、８×８画素を有するブロックを変換係数の組に変換する離散的コサイン変換（ＤＣＴ）に基づくブロック変換係数符号化である。このブロックベースのＤＣＴは、物体指向分析に直接適用され得ないため、任意の形状を有する映像物体内の画素を符号化する方法が提案されてきた。形状適応離散的コサイン変換（ＳＡ−ＤＣＴ）アルゴリズムは、広い範囲のビットレートにわたって、任意の形状を有する物体を符号化する手段を与える方法の１つであって、Ｎを正の整数とすると、Ｎ×Ｎ映像ブロック内の任意の形状を有する物体を符号化し得る。
【０００６】
入力映像信号はＮ×Ｎ画素を有する隣接するブロックに分離され、物体または分割された領域内に含まれた全てのブロックのみが、標準Ｎ×Ｎ  ＤＣＴを用いて符号化され、分割された領域の境界を含むブロックはＳＡ−ＤＣＴを用いて各々符号化される。
【０００７】
ＳＡ−ＤＣＴは予め定められた直交するＤＣＴに基づく関数セットを用いる。図１Ａは、物体領域及び背景領域からなる分離された映像ブロックを例示している。物体領域と背景領域とは各々物体画素及び背景画素を含んでいる。物体領域に垂直にＳＡ−ＤＣＴを施すために、物体領域の各列ｊ（０＜ｊ＜９）の長さは定められており、物体領域の各列の上の物体画素は図１Ｂに示したように、８×８ブロックの上段境界線の方へ詰めるように移動して配置される。各列の長さＭに応じて、Ｍ  ＤＣＴに基づくベクトルセットを備える各列に対するＤＣＴマトリックスＤM（ｐ，ｋ）が選択され、ＤM（ｐ，ｋ）は次の式（１）で表される。
【０００８】
ＤM（ｐ，ｋ）＝Ｃ0・ｃｏｓ｛ｐ（ｋ＋１／２）・π／Ｍ｝  （１）
この式において、ｋ及びｐは０からＭ−１の間の整数であり、Ｃ0は、
（１／２）1/2  （ｐ＝０の場合）
１                （他の場合）
なる値をとる。
【０００９】
また、Ｍ垂直ＤＣＴ係数は、例えば、Ｆ（１）＋Ｆ（２）＋・・＋Ｆ（ｎ）＝Σ［ｔ＝１，ｎ］Ｆ（ｔ）と表すものとすると、次の式（２）により求められる。
【００１０】
Ｃjh＝−２／ＭΣ［ｑ＝０，Ｍ−１］ＤM（ｈ，ｑ）・ｘjq  （２）
ここで、 Ｃjhはｊ番目の列に対するｈ番目のＤＣＴ係数を、 ｘjqはｊ番目の列のｑ番目の画素値を表す。
【００１１】
例えば、図１Ｂにおいて、最も右側の列は３点ＤＣＴに基づくベクトルを用いて変換される。垂直方向へのＳＡ−ＤＣＴを行う場合、物体領域の列に対する最低ＤＣＴ係数（ＤＣ値）は、図１Ｃに示されたように、８×８ブロックの上段境界に位置する。物体領域の水平ＤＣＴを行うために、物体領域の各行が決定され、図１Ｄに示されたように、８×８ブロックの左側境界の方に詰めるように移動される。その後、各行の大きさに適応された水平ＤＣＴが前記式（１）及び式（２）を用いて行われる。水平ＳＡ−ＤＣＴは、同一のインデックスを有する垂直ＳＡ−ＤＣＴ係数に沿って行われる（即ち、図１Ｄに示された全ての列に対して、同一ｈ値を有するＤＣＴ係数をグループ化し、それぞれ水平ＳＡ−ＤＣＴを施される）。８×８ブロック内における最終ＳＡ−ＤＣＴ係数の位置が図１Ｅに示されている。
【００１２】
前記方法において、ＳＡ−ＤＣＴ係数の最終的な数は物体領域に含まれた画素数と同一である。また、ＤＣＴ係数は標準８×８  ＤＣＴでと類似な形態で配置される。即ち、ＤＣ係数は８×８ブロックの左側の角に配置される。物体領域の実際の形状に応じて、残りのＡＣ係数もＤＣ係数の周辺に集中的に配置される。
【００１３】
ＳＡ−ＤＣＴ係数は復号化器へ伝送される前に、ＭＰＥＧ−１のような標準ハイブリッド符号化方法によって量子化され、ランレングス符号化される。物体の形状を表し得る輪郭線パラメータもＤＣＴ係数と共に復号化器へ伝送される。
【００１４】
復号化器は式（１）と式（２）の逆演算を用いた逆ＳＡ−ＤＣＴ処理を垂直及び水平方向へ行い得る。
【００１５】
しかし、前記に説明した既存のＳＡ−ＤＣＴ方法においては、図１Ａに示されたように、物体領域内に不連続的な行や列が存在する場合、即ち、同一の行または列上の物体画素の間に背景画素が存在する場合には、各々の行または列が左側または上段の境界に沿って移動するように配置される時、不連続的な行または列上の物体画素の画素値の相関度は低くなっており、この物体画素間の低い相関性のために、高い周波数成分によりＳＡ−ＤＣＴの特性が劣化することになる。
【００１６】
【発明が解決しようとする課題】
従って、本発明の主な目的は、入力映像信号内の物体領域の同一の行または列上に位置した物体画素の間の不連続性を補償し得る方法及びその装置を提供するにある。
【００１７】
【課題を解決するための手段】
上記の目的を達成するために、本発明に基づき、を正の整数としたとき、物体画素及び背景画素を各々含む物体領域及び背景画素に分割された同じ大きさのＮ×Ｎ画素の複数の映像ブロックを含む入力映像信号を形状適応離散的コサイン変換（ＳＡ−ＤＣＴ）するための映像信号のパディング方法であって、
前記物体画素及び前記背景画素を含む映像ブロックを走査して、前記映像ブロック内の同一の行または列上の物体画素の間に位置する背景画素を表すパディング画素を検出する過程と、
前記物体画素の画素値を用いて、代替画素値を計算する過程と、
前記代替画素値をパディング画素に供給して、物体画素値と代替画素値とを有する補償された物体領域を有するパディングされた映像ブロックを生成する過程とを含むことを特徴とする映像信号のパディング方法が提供される。
【００１８】
また、本発明に基づき、を正の整数としたとき、物体画素及び背景画素を各々含む物体領域及び背景画素に分割された同じ大きさのＮ×Ｎ画素の複数の映像ブロックを含む力映像信号を形状適応離散的コサイン変換（ＳＡ−ＤＣＴ）するための映像信号のパディング装置において、
前記物体画素及び前記背景画素を含む映像ブロックを走査して、映像ブロック内の同一の行または列上の物体画素の間に位置する背景画素を表すパディング画素を検出する検出手段と、
前記物体画素の画素値を用いて、代替画素値を計算する計算手段と、
前記代替画素値をパディング画素に供給して、物体画素値及び代替画素値を有する補償された物体領域を有するパディングされた映像ブロックを生成する補償手段とを含むことを特徴とする映像信号のパディング装置が提供される。
【００１９】
【発明の実施の形態】
以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。
【００２０】
図２を参照すると、入力映像信号はブロック単位に境界ブロック検出部１００へ供給され、前記入力映像信号は任意の形態の物体を含み、複数の映像ブロックに分けられ、例えば、Ｎ×Ｎ画素の映像ブロックは物体領域と背景領域とに分割され、Ｎは正の正数である。前記物体領域と背景領域とは各々１から２５５までの値を有する物体画素とゼロ値を有する背景画素を含んでいる。境界ブロック検出部１００は、与えられた入力映像信号内に含まれた映像ブロックが、物体領域及び背景領域の双方を含む境界ブロックであるか否かを検出する。映像ブロックが境界ブロックと判定された場合は、映像ブロックは境界ブロックとしてラインＬ２０を通じてブロック走査部２１０へ供給され、そうでない場合、即ち、映像ブロックが物体領域と背景領域のうちただ１つのみを含む場合は、映像ブロックは平坦ブロックとしてラインＬ１０を通じてＳＡ−ＤＣＴ部３００へ供給される。
【００２１】
境界ブロック検出部１００から供給された平坦ブロックは、ＳＡ−ＤＣＴ部３００で従来技術として既に言及した既存のＳＡ−ＤＣＴを用いてＳＡ−ＤＣＴ係数セットに変換される。平坦ブロックはその内部に物体領域と背景領域のうち１つを含んでいるため、平坦ブロックのＳＡ−ＤＣＴ過程は標準ＤＣＴと類似である。
【００２２】
一方、ブロック走査部２１０は、ラインＬ２０を通じて供給された境界ブロックを走査してパディング画素を検出するが、前記パディング画素は境界ブロック内の物体領域の同一の行や列上の物体画素の間に位置する背景画素を表す。
【００２３】
前記ブロック走査部２１０は、少なくとも１つのパディング画素を有する不連続的な行を発見するために、まず、境界ブロック内の物体領域の各行を水平に走査する。その後、走査部２１０は不連続的な列を検出するために、物体領域の各列を垂直に走査する。図３に示したように、境界ブロック１０の物体領域２０内に不連続的な行や列が存在する場合は、境界ブロックとその内部のパディング画素に対する走査情報はブロック補償部２２０へ供給され、そうでない場合、境界ブロックはラインＬ４０を通じてＳＡ−ＤＣＴ部３００へ供給されて、既存のＳＡ−ＤＣＴ過程を用いてＳＡ−ＤＣＴ係数セットに変換される。
【００２４】
境界ブロックと走査情報とがブロック走査部２１０から供給された場合は、ブロック補償部２２０はブロック走査部２１０から与えられた境界ブロックと走査情報とを用いて、パディング画素を補償するための画素値を計算し補償された境界ブロックを生成する。
【００２５】
図３を参照すれば、境界ブロック１０内の上段第１行上の物体画素Ｍ１とＭ６との間に２つのパディング画素Ｈ１とＨ２が存在し、第１左側列上の物体画素Ｓ１とＳ７との間の３つのパディング画素Ｖ１〜Ｖ３が存在する。ブロック補償部２２は、まずパディング画素Ｈ１、Ｈ２とＶ１〜Ｖ３に初期値を割り当てる。ここで、パディング画素Ｈ１とＨ２に対する初期値は、例えば、パディング画素Ｈ１とＨ２を取り囲む画素、例えば、Ｍ１〜Ｍ６を平均することによって求められ、パディング画素Ｖ１〜Ｖ３に対する初期値も画素Ｓ１〜Ｓ７の画素値から同様に求められる。
【００２６】
その後、前記パディング画素Ｈ１、Ｈ２とＶ１〜Ｖ３の初期値と境界ブロック１０の物体画素に基づいて、ブロック補償部２２０は、各々のパディング画素に対して、次の式（３）により決定される画素値の変化量が予め定められた値以下になるまで、次の式（３）の計算を反復的に行う。
【００２７】
ｆ(k+1)（ｉ，ｊ）＝１／Ｐ｛ｆk（ｉ，ｊ−１）＋ｆk（ｉ−１，ｊ）＋ｆk（ｉ，ｊ＋１）＋ｆk（ｉ＋１，ｊ）｝    （３）
ここで、ｆk（ｉ，ｊ）は境界ブロック内の画素位置（ｉ，ｊ）に位置するパディング画素のｋ番目の繰り返し値を表し、Ｐは前記式（３）の右辺の計算を行うに用いられる画素値を有する関数の数を表し、ｉは１からＮまでの整数である。ここで、０番目の繰り返し値ｆ0は元の物体画素値またはパディング画素の初期値を表し、物体画素とパディング画素に対応する画素値のみが前記式（３）で用いられる。式（３）において、右辺の繰り返し値も同一の形態を有する式を用いて計算される。
【００２８】
前記繰り返し過程において、パディング画素の繰り返し値がｋ番目の繰り返し過程で定められる場合、パディング画素のｋ番目の繰り返し値が初期値の代わりにパディング画素に割り当てられる。
【００２９】
元の物体画素値を有する物体画素と繰り返し過程により補償されたパディング画素を含む補償された境界ブロックはラインＬ３０を通じてＳＡ−ＤＣＴ部３００へ供給された後、既存のＳＡ−ＤＣＴ過程によってＳＡ−ＤＣＴ係数セットに変換され、この際、パディング画素もＳＡ−ＤＣＴ係数に変換される。
【００３０】
ＳＡ−ＤＣＴ部３００におけるＳＡ−ＤＣＴ過程により生成された入力映像信号内の各映像ブロックのＳＡ−ＤＣＴ係数は復号化器へ伝送される前に、ＭＰＥＧ−１のような標準ハイブリッド符号化方法によって量子化され、ランレングス符号化される。
【００３１】
上記において、本発明の特定の実施例について説明したが、本発明に記載した特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である。
【００３２】
【発明の効果】
従って、本発明によれば、入力映像信号内の物体領域の同一の行または列上に位置する物体画素の間の不連続性を補償し得る方法及びその装置を提供することができる。
【図面の簡単な説明】
【図１】Ａ〜Ｅよりなり、それぞれ映像ブロックの形状適応離散的コサイン変換過程における一段階を例示した模式図である。
【図２】映像ブロックの形状適応離散的コサイン変換を行う本発明による装置の概略図である。
【図３】不連続的な行と列とを有する物体領域を保有した映像ブロックの例示図である。
【符号の説明】
１０  境界ブロック
２０  物体領域
１００  境界ブロック検出部
２１０  ブロック走査部
２２０  ブロック補償部
３００  ＳＡ−ＤＣＴ部
【図１】
0003822298.tif 000002
【図２】
0003822298.tif 000003
【図３】
0003822298.tif 000004