(57)【特許請求の範囲】
【請求項１】
予め定められた数の画素を有する一連の映像フレームを有する入力映像信号を符号化する映像信号符号化装置であって、前記画素の各々は輝度レベルとクロミナンスレベルとで表現され、
前記入力映像信号の現映像フレームに含まれる画素に対する前記クロミナンスレベルを取り出し、現クロミナンス映像を発生するクロミナンス取出手段と、
前記現クロミナンス映像を用いて、分割された複数の現クロミナンス領域を取り出すことによって分割された現クロミナンス領域の各々に対する輪郭情報及びテクスチャ情報を発生する分割手段であって、前記輪郭情報は前記分割された現クロミナンス領域の形状及びその位置を表し、前記テクスチャ情報は前記分割された現クロミナンス領域の各々に含まれる全画素の平均クロミナンスレベルを表す、前記分割手段と、
前記分割された複数の現クロミナンス領域に対する前記輪郭情報及び前記テクスチャを格納すると共に、遅延させて、遅延された情報を分割された前クロミナンス領域に対する輪郭情報及びテクスチャ情報として供給するメモリ手段と、
前記分割された各現クロミナンス領域のテクスチャ情報と前記分割された各前クロミナンス領域のテクスチャ情報との間の偏差を計算することによって、最小の偏差をもたらす前記分割された前クロミナンス領域のうちのいずれか一つを選択すると共に、前記分割された各現クロミナンス領域に含まれる全画素の位置を表す探索領域情報、前記選択された分割された前クロミナンス領域を表す動き情報、前記分割された各現クロミナンス領域のテクスチャ情報と前記選択された分割された前クロミナンス領域のテクスチャ情報との間の偏差を表す偏差情報を発生する動き予測手段と、
前記探索領域情報に応じて、前記探索領域情報に対応する輝度レベルを有する分割された輝度領域を前記現映像フレームから取り出すと共に、前記分割された輝度領域の輝度レベルを用いて、複数のサブ分割された輝度領域を求めて、前記サブ分割された各輝度領域に対する輪郭情報及びテクスチャ情報を供給する輝度レベル取出手段であって、前記輪郭情報は前記サブ分割された各輝度領域の形状及びその位置を表し、前記テクスチャ情報は前記サブ分割された各輝度領域に含まれる全画素の平均輝度レベルを表す、前記輝度レベル取出手段と、
前記分割された各現クロミナンス領域に対する前記輪郭情報及び前記テクスチャ情報と、前記動き情報及び前記差分情報と、前記サブ分割された各輝度領域に対する前記輪郭情報及び前記テクスチャ情報とを符号化することによって、符号化された映像信号を発生する符号手段とを含むことを特徴とする映像信号符号化装置。
【請求項２】
請求項１に記載の映像信号符号化装置において、前記分割手段を、Ｋーミーンズアルゴリズム(K-means algorithm) に基づいて動作させることを特徴とする映像信号符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像信号を符号化するための装置に関し、特に、階層的映像分割技法を用いて映像信号を符号化することによって映像の画質を向上させ得る改善された映像信号符号化装置に関する。
【０００２】
【従来の技術】
一般に、従来のテレビ電話、遠隔会議及び高精細度テレビジョン（ＨＤＴＶ）システムのようなディジタルビデオシステムにおいて、映像フレーム信号の映像ライン信号が画素値と呼ばれる一連のディジタルデータを含むために、各映像フレーム信号を規定するためには大量のディジタルデータが必要である。しかし、通常の伝送チャンネルの利用可能な周波数帯域幅は限定されているため、特に、テレビ電話及び遠隔会議のような低ビットレートの映像コーデックシステムの場合に、多量のディジタルデータを伝送するためには、多様なデータ圧縮技法を用いてデータの量を圧縮するか減らさなければならない。
【０００３】
低ビットレートの符号化システムに用いられる映像信号符号化方法のうちの一つに、いわゆる、領域分割に基づく符号化技法がある。
【０００４】
この領域分割に基づく符号化技法において、現映像フレームの入力映像信号は、まず、現映像フレームに含まれる画素の輝度レベルに基づいて複数の分割領域に変換される。通常の映像分割技法のうちでＫーミーンズアルゴリズム(K-means algorithm) が最も広く用いられている。このアルゴリズムでは、各画素は、予め定められた複数の代表輝度レベルのうちで最小のエラー値をもたらす１つの代表輝度レベルに写像されることによって、複数の現分割領域を含む分割現映像が供給される。ここで、各現分割領域は代表輝度レベルの中のいずれか１つを有する。
【０００５】
その後、各現分割領域に含まれる画素の元の輝度レベルに対する平均値が計算される。各現分割領域に写像された予め定められた代表輝度レベルの各々は、それに対応する計算平均値で更新されることによって、更新平均値が発生される。このような写像処理及び更新処理は、新たに更新された各平均値とそれに対応する前に更新された平均値との間の偏差が予め定められた閾値より小さくなるまで、元の入力映像信号に対して順次的に繰り返される。
【０００６】
映像の分割の後に、分割された現在映像の現分割領域の各々は、前に分割された映像に含まれる前分割領域に対して動き予測される。即ち、各現分割領域の最後に更新された平均値と各前分割領域の最後更新された平均値との間の偏差を計算して、最小の偏差をもたらす前分割領域のうちの一つを選択する。その後、各現分割領域に対する動き情報が決定される。この、動き情報は、選択された前領域を表す。
【０００７】
最後に、各現分割領域に対する動き情報は、輪郭及び差分情報と共に符号化される。この輪郭情報は２つの成分（即ち、形状情報と位置情報）で構成される。この形状情報は各輪郭の形態を表し、位置情報は映像に含まれる各輪郭の位置を表す。各現分割領域と選択された前分割領域との間の最後に更新された平均値間の偏差を表す差分情報が符号化される。
【０００８】
しかしながら、通常の分割に基づく符号化技法においては、現分割領域を取り出すために用いられる輝度レベルの変動範囲が現映像と前映像との間のクロミナンスレベルの変動範囲より大きいために、各現分割領域に対する決定された動き情報は正確でなくなり、符号化された映像信号の画質が劣化するという不都合がある。
【０００９】
【発明が解決しようとする課題】
したがって、本発明の主な目的は、映像信号に含まれる画素のクロミナンスレベル及び輝度レベルを階層的に分割する改善された映像分割技法を用いて、映像信号を符号化することによって、符号化された映像信号の画質を向上させ得る映像信号符号化装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、予め定められた数の画素を有する一連の映像フレームを有する入力映像信号を符号化する映像信号符号化装置であって、前記画素の各々は輝度レベルとクロミナンスレベルとで表現され、
前記入力映像信号の現映像フレームに含まれる画素に対する前記クロミナンスレベルを取り出し、現クロミナンス映像を発生するクロミナンス取出手段と、
前記現クロミナンス映像を用いて、分割された複数の現クロミナンス領域を取り出すことによって分割された現クロミナンス領域の各々に対する輪郭情報及びテクスチャ情報を発生する分割手段であって、前記輪郭情報は前記分割された現クロミナンス領域の形状及びその位置を表し、前記テクスチャ情報は前記分割された現クロミナンス領域の各々に含まれる全画素の平均クロミナンスレベルを表す、前記分割手段と、
前記分割された複数の現クロミナンス領域に対する前記輪郭情報及び前記テクスチャを格納すると共に、遅延させて、遅延された情報を分割された前クロミナンス領域に対する輪郭情報及びテクスチャ情報として供給するメモリ手段と、
前記分割された各現クロミナンス領域のテクスチャ情報と前記分割された以各前クロミナンス領域のテクスチャ情報との間の偏差を計算することによって、最小の偏差をもたらす前記分割された前クロミナンス領域のうちのいずれか一つを選択すると共に、前記分割された各現クロミナンス領域に含まれる全画素の位置を表す探索領域情報、前記選択された分割された前クロミナンス領域を表す動き情報、前記分割された各現クロミナンス領域のテクスチャ情報と前記選択された分割された前クロミナンス領域のテクスチャ情報との間の偏差を表す偏差情報を発生する動き予測手段と、
前記探索領域情報に応じて、前記探索領域情報に対応する輝度レベルを有する分割された輝度領域を前記現映像フレームから取り出すと共に、前記分割された輝度領域の輝度レベルを用いて、複数のサブ分割された輝度領域を求めて、前記サブ分割された各輝度領域に対する輪郭情報及びテクスチャ情報を供給する輝度レベル取出手段であって、前記輪郭情報は前記サブ分割された各輝度領域の形状及びその位置を表し、前記テクスチャ情報は前記サブ分割された各輝度領域に含まれる全画素の平均輝度レベルを表す、前記輝度レベル取出手段と、
前記分割された各現クロミナンス領域に対する前記輪郭情報及び前記テクスチャ情報と、前記動き情報及び前記差分情報と、前記サブ分割された各輝度領域に対する前記輪郭情報及び前記テクスチャ情報とを符号化することによって、符号化された映像信号を発生する符号手段とを含む映像信号符号化装置が提供される。
【００１１】
【発明の実施の形態】
以下、本発明の実施例について図面を参照しながらより詳しく説明する。
【００１２】
図１は、本発明による階層的映像分割技法を用いて、映像信号を符号化する新規な映像信号符号化装置１００のブロック図を示す。本発明の映像信号符号化装置１００は、第１フレームメモリ１０と、第２フレームメモリ４０と、第１映像分割処理器２０と、第２映像分割処理器５０と、動き予測器３０と、映像信号符号化器６０とを具える。
【００１３】
図示するように、一連の映像フレームを有する入力映像信号を、フレーム単位で、第１フレームメモリ１０へ供給し、格納する。各映像フレームは、Ｍ×Ｎ個の画素を含む。ここで、各画素を、輝度レベルＬとクロミナンスレベルＣ（ここで、ＭとＮは正数である。）で表現する。本技術分野でよく知られているように、輝度レベルＬは画素の明るさを示し、クロミナンスレベルＣは２つのクロミナンス、即ち、Ｃｒ及びＣｂで示される画素の色情報を表す。
【００１４】
現クロミナンス映像を発生するために、現在映像フレームのクロミナンスデータを、第１映像分割処理器２０のクロミナンス取出回路２１によって第１フレームメモリ１０から取り出す。ここで、クロミナンスデータは、現映像フレームに含まれる画素のクロミナンスレベルを表す。その後、現クロミナンス映像を、第１映像分割処理器２０のクロミナンス分割回路２２へ供給する。
【００１５】
このクロミナンス分割回路２２は、公知のように、通常の映像分割技法のうちの１つ、例えば、Ｋーミンスアルゴリズムを用いて現クロミナンス映像を分割された複数の現クロミナンス領域に変換して、各分割された現クロミナンス領域に対する分割データ（即ち、輪郭情報及びテクスチャ情報）を発生する。ここで、輪郭情報は、分割された現クロミナンス領域の各々に対する形状及びその位置を表し、テクスチャ情報は、分割された現クロミナンス領域の各々に含まれる全画素の最後に更新された平均クロミナンスレベルを表す。
【００１６】
詳述すると、クロミナンス取出回路２１からの現クロミナンス映像に含まれる各クロミナンスレベルを、予め定められた複数の代表クロミナンスレベルと各々比較することによって、これらの間で生じるエラー値が計算される。ここで、代表クロミナンスレベルの数を、映像信号符号化装置の所要のクロミナンス分割効率及び画質に基づいて決定することに注目されたい。その後、各クロミナンスレベルを、最小のエラー値をもたらす代表輝度レベルのうちのいずれか一つに写像するか代替する。
【００１７】
現クロミナンス映像の全画素のクロミナンスレベルに対する写像処理を行うと、写像された代表クロミナンスレベルは、複数の領域に分割される。分割された各領域は、代表クロミナンスの中のいずれか１つに表現された画素を含む。その後、分割された各領域に含まれる画素の元のクロミナンスレベルに対する平均値を計算し、各分割された領域に写像された各代表クロミナンスレベルを対応する平均値で更新することによって、更新された平均値を発生する。
【００１８】
このような写像処理及び更新処理を、新たに更新された各平均値と前に更新された平均値との間の偏差が予め定められた閾値ＴＨより小さくなるまで、画素の元のクロミナンスレベルに対して順次的に繰り返す。
【００１９】
このような写像及び更新処理を完了すると、クロミナンス分割回路２２は、分割された現クロミナンス領域の各々に対する輪郭情報を動き予測器３０に、テクスチャ情報を第２フレームメモリ４０に各々供給する。ここで、輪郭情報及びテクスチャ情報は、前述したような同一の旨を有する。
【００２０】
第２フレームメモリ４０は、クロミナンス分割回路２２から入力された分割された現クロミナンス領域の全体に対する輪郭情報及びテクスチャ情報を格納すると共に、１フレームだけ遅延させる。その後、遅延された輪郭情報及びテクスチャ情報を、分割された複数の前クロミナンス領域に対する輪郭情報及びテクスチャ情報として動き予測器３０へ供給する。
【００２１】
この動き予測器３０は、クロミナンス分割回路２２から直接供給される分割された現クロミナンス領域に対する動き情報を求めるために、まず、各現クロミナンス領域を順次に探索領域に割り当てる。その後、探索領域のテクスチャ情報または最後に更新された平均値と第２フレームメモリ４０から読み取った分割された複数の前クロミナンス領域の最後に更新された平均値との間のエラーを計算すると共に、最小のエラーをもたらす分割された前クロミナンス領域のうちのいずれか一つを選択する。
【００２２】
その後、動き予測器３０は、選択された分割された前クロミナンス領域を探索領域に対する動き情報として決定する。動き予測器３０から映像信号符号化器６０への出力信号は、探索領域の動き情報及び輪郭情報、探索領域のテクスチャ情報及び選択された分割された前クロミナンス領域のテクスチャ情報との間の偏差を表す偏差情報である。また、動き予測器３０から第２映像分割処理器５０への出力信号は、探索領域に含まれる画素の位置を表す探索領域情報である。
【００２３】
図示するように、第２映像分割処理器５０は、輝度取出回路５１と輝度分割回路５２とを含む。動き予測器３０からの探索領域情報に応じて、輝度取出回路５１は、対応する輝度データを第１フレームメモリ１０に格納された現映像フレームから取り出して探索領域に対応する分割された輝度領域を供給する。ここで、輝度データは、分割された輝度領域に含まれる画素の輝度レベルを表す。その後、輝度レベルを含む分割された輝度領域を、輝度分割回路５２へ供給する。
【００２４】
この輝度分割回路５２は、前述したような通常の映像分割技法、即ち、Ｋーミーンズアルゴリズムを用いて分割された輝度領域を更に分割することによって、複数のサブ分割輝度領域を供給する。分割された輝度領域のサブ分割に対して、複数の代表輝度レベルを用いる。ここで、代表輝度レベルの数を、映像信号符号化装置の所要の輝度分割効率及び画質に基づいて決定することに注意されたい。各々のサブ分割された輝度領域に含まれる全画素を、画素の輝度レベルに基づいて求められた最後に更新された平均値で表現する。
【００２５】
輝度分割回路５２から映像信号符号化器６０への出力信号は、各サブ分割された輝度領域に対する輪郭情報及びテクスチャ情報である。ここで、輪郭情報は各サブ分割された輝度領域の形状及びその位置を表し、テクスチャ情報は各サブ分割された輝度領域に含まれる画素の最後に更新された平均値を表す。
【００２６】
映像信号符号化器６０は、動き予測器３０からの探索領域に対する輪郭情報、動き情報及び差分情報と、輝度分割回路５２からの探索領域に対応する各サブ分割された輝度領域に対する輪郭情報及びテクスチャ情報とを符号化する。符号化された映像信号を、その伝送のため伝送器（図示せず）へ送る。
【００２７】
上記に於いて、本発明の特定の実施例について説明したが、本明細書に記載した特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である。
【００２８】
【発明の効果】
従って、本発明によれば、階層的映像分割技法を用いて、入力映像信号に対する分割及び動き予測を効果的に行うことによって、符号化された映像信号の画質を非常に向上させることができる。
【図面の簡単な説明】
【図１】本発明の階層的映像分割技法を用いる映像信号符号化装置のブロック図である。
【符号の説明】
１０  第１フレームメモリ
２０  第１映像分割処理器
３０  動き予測器
４０  第２フレームメモリ
５０  第２映像分割処理器
６０  映像信号符号化器
【図１】
0003794749.tif 000002