(57)【特許請求の範囲】
【請求項１】
複数の映像フレームよりなる入力映像信号を符号化して、符号化された映像信号を発生する符号化装置と、前記符号化された映像信号を復号化して再構成された映像信号を発生する復号化装置とを有する映像信号処理システムであって、
前記符号化装置が、
前記入力映像信号の各々を各画素における輝度勾配に基づき輝度勾配の極値を中心とした各領域を輝度勾配に沿って広げることによって複数の領域に分割し、前記各領域の形状及び位置を表す輪郭情報と、各領域内に含まれる全ての画素の輝度を平均した第１平均値を表すテクスチャ情報とを発生する領域分割手段と、
前記入力映像信号の画素値に基づいて、隣接する領域間の境界線を検出すると共に、隣接する領域の境界線に対して、両領域で共通する境界線から予め定められた幅内に存在する前記入力映像信号の各画素における輝度勾配値を平均した平均輝度勾配値を求め、次に隣接した領域での前記平均輝度勾配値の差の絶対値を求め、次に前記差の絶対値と所定の閾値とを比較して、前記差の絶対値が前記閾値より小さい場合はその境界線を連続領域境界線と判定し、その境界線の位置を表す境界線情報を発生する連続領域境界線検出手段と、
前記輪郭情報、前記テクスチャ情報及び前記境界線情報を符号化して、符号化された映像信号を発生する符号化手段とを含み、
前記復号化装置が、
前記符号化された映像信号を復号化して、前記輪郭情報、前記テクスチャ情報及び前記境界線情報を発生する復号化手段と、
前記各領域に対する前記輪郭情報と、前記輪郭内の領域の画素値の平均値を前記輪郭内の全ての画素の画素値として再構成した映像信号を発生する映像信号再構成手段と、
前記境界線情報に対応する前記連続領域境界線の各々の両側の２つの隣接する領域の前記テクスチャ情報を平均、即ち各領域について求められた前記第１平均値を平均した第２平均値を計算し、前記連続領域境界線の各々から予め定められた距離内に位置する各画素の値を前記第２平均値で更新する平滑化手段とを含むことを特徴とする映像信号処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、領域分割技法を用いる映像信号処理システムに関し、特に、本来連続であるべき分割された領域（分割領域）間の不連続性を除去または最小化して、符号化された映像信号の画質を効果的に向上させ得る改善された映像信号処理システムに関する。
【０００２】
【従来の技術】
テレビ電話、テレビ会議、または高精細度テレビジョンシステムのようなディジタルシステムでは、映像フレ−ム信号における映像ライン信号が、一連の画素値と呼ばれるディジタルデータよりなるため、各映像フレ−ム信号を規定するのに大量のディジタルデ−タが必要である。しかし、通常の伝送チャネルの利用可能な周波数帯域幅は制限されているため、特に、テレビ電話やテレビ会議のような低ビットレートの映像コーデック（符号化／復号化）システムにおいては、そのような大量のディジタルデ−タを伝送するためには、多様なデ−タ圧縮技法を用いてデータ量を圧縮または低減しなければならない。
【０００３】
このような低ビットレートの符号化システムにおいて、映像信号を符号化するための方法の一つが、いわゆる領域分割技法に基づいた符号化方法である。
【０００４】
この領域分割技法に基づいた符号化方法の第１過程では、映像は領域分割がより容易になるように単純化される。次の特徴抽出過程では、単純化された映像中の各均質（homogeneous）エリア（即ち、分割領域）の内部値に対応する代表値が求められる。代表値が求められると、上記の特徴抽出過程にて検出された各分割領域の正確な輪郭が、いわゆる「分水界アルゴリズム（watershed algorithm）」と呼ばれる、領域分割のための非常に効果的な形態学的手段を用いて求められる。即ち、画像における輝度勾配の極値のそれぞれを中心として輝度勾配に沿って各領域を広げて領域分割を行う。
【０００５】
その後、各分割領域の輪郭及びテクスチャ情報が符号化される。輪郭情報は形状情報と位置情報とに分かれる。形状情報は各分割領域の形状を表し、位置情報は各分割領域の映像内における位置を表す。また、各領域のテクスチャ情報は、例えば、各分割領域内に含まれる画素のグレイレベル即ち輝度の平均値を表す。
【０００６】
しかしながら、従来の領域分割に基づく符号化方法においては、分割された各領域がその画素の平均グレイレベルにより表されるため、元の映像信号では連続であった部分が、符号化された映像信号に於いて分割領域間で不連続となることがあり、その結果、符号化された映像信号の画質が劣化するという問題があった。
【０００７】
【発明が解決しようとする課題】
従って、本発明の主な目的は、上記のような輝度勾配に基づく領域分割技法を用いた映像信号処理システムに於いて、本来連続であるべき分割領域の間の不連続性を除去または最小化して、符号化された映像信号の画質を効果的に向上させ得る映像信号処理システムを提供することである。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、複数の映像フレームよりなる入力映像信号を符号化して、符号化された映像信号を発生する符号化装置と、前記符号化された映像信号を復号化して再構成された映像信号を発生する復号化装置とを有する映像信号処理システムであって、
前記符号化装置が、
前記入力映像信号の各々を各画素における輝度勾配に基づき輝度勾配の極値を中心とした各領域を輝度勾配に沿って広げることによって複数の領域に分割し、前記各領域の形状及び位置を表す輪郭情報と、各領域内に含まれる全ての画素の輝度を平均した第１平均値を表すテクスチャ情報とを発生する領域分割手段と、
前記入力映像信号の画素値に基づいて、隣接する領域間の境界線を検出すると共に、隣接する領域の境界線に対して、両領域で共通する境界線から予め定められた幅内に存在する前記入力映像信号の各画素における輝度勾配値を平均した平均輝度勾配値を求め、次に隣接した領域での前記平均輝度勾配値の差の絶対値を求め、次に前記差の絶対値と所定の閾値とを比較して、前記差の絶対値が前記閾値より小さい場合はその境界線を連続領域境界線と判定し、その境界線の位置を表す境界線情報を発生する連続領域境界線検出手段と、
前記輪郭情報、前記テクスチャ情報及び前記境界線情報を符号化して、符号化された映像信号を発生する符号化手段とを含み、
前記復号化装置が、
前記符号化された映像信号を復号化して、前記輪郭情報、前記テクスチャ情報及び前記境界線情報を発生する復号化手段と、
前記各領域に対する前記輪郭情報と、前記輪郭内の領域の画素値の平均値を前記輪郭内の全ての画素の画素値として再構成した映像信号を発生する映像信号再構成手段と、
前記境界線情報に対応する前記連続領域境界線の各々の両側の２つの隣接する領域の前記テクスチャ情報を平均、即ち各領域について求められた前記第１平均値を平均した第２平均値を計算し、前記連続領域境界線の各々から予め定められた距離内に位置する各画素の値を前記第２平均値で更新する平滑化手段とを含むことを特徴とする映像信号処理システムが提供される。
【０００９】
【発明の実施の形態】
以下、本発明の好適な実施例について図面を参照しながらより詳しく説明する。
【００１０】
図１には、本発明による映像信号処理システムのブロック図が示されている。ここで、入力映像信号は複数の映像フレームを含む。この映像信号処理システムは映像信号エンコーダ１０と、映像信号デコーダ３０とからなる。映像信号エンコーダ１０は、領域分割フロップ１００と、グラディエント値計算ブロック１１０と、比較ブロック１５０と、符号化ブロック１８０とを含む。領域分割ブロック１００は、映像フレーム信号の各々を従来の技術の項に記載したような輝度勾配に基づく領域分割法により複数の領域に分割する。
【００１１】
図２には、映像フレーム信号の分割された領域（例えば、Ｒ１乃至Ｒ３）及び、隣接する領域の間の境界線（例えば、Ｂ１２、Ｂ１３、Ｂ２３）が一例として示されている。図示したように、領域Ｒ１、Ｒ２及びＲ３は互いに隣接している。この領域分割ブロック１００は、各領域に対する輪郭及びテクスチャ情報を発生する。ここで、輪郭情報は各領域の形状及び位置を、テクスチャ情報は各領域内に含まれる全ての画素のグレイレベル即ち輝度の平均値を各々表す。
【００１２】
各領域の輪郭情報は、グラディエント値計算ブロック１１０及び符号化ブロック１８０へ、各領域のテクスチャ情報は符号化ブロック１８０へ各々供給される。
【００１３】
グラディエント値計算ブロック１１０は、領域分割ブロック１００から入力された輪郭情報に基づいて、境界線（例えば、Ｂ１２、Ｂ１３、Ｂ２３）を検出すると共に、通常のグラディエントオペレータ（例えば、ソベル（sobel）オペレータ）を用いて各境界線から予め定められた幅Ｗ内にある入力映像信号の画素に於ける輝度勾配値、即ちグラディエント値を計算する。例えば、予め定められた幅Ｗ内の画素位置（ｘ、ｙ）の方向性グラディエント（例えば、水平グラディエントＧｘ（ｘ、ｙ）及び垂直グラディエントＧｙ（ｘ、ｙ））は、水平ソベルオペレータ及び垂直ソベルオペレータを各々用いて計算され、画素位置（ｘ、ｙ）におけるグラディエント値ｇ（ｘ、ｙ）は下記式により求められる。
【００１４】
ｇ（ｘ、ｙ）＝｜Ｇｘ（ｘ、ｙ）｜＋｜Ｇｙ（ｘ、ｙ）｜
【００１５】
その後、グラディエント値計算ブロック１１０は、上記式から求められたグラディエント値ｇ（ｘ、ｙ）を用いて、各境界線から予め定められた幅Ｗ内に位置する画素の平均グラディエント値を計算する。しかる後、各境界線に対する平均グラディエント値及び各境界の位置を表す境界線情報を、比較ブロック１５０へ供給する。
【００１６】
境界線（例えば、Ｂ１２）の平均グラディエント値が予め定められた閾値ＴＨより小さい場合、比較ブロック１５０は例えば、２つの隣接する領域Ｒ１及びＲ２は本来連続するものと判断し、その境界線（例えば、Ｂ１２）を連続領域境界線として選択する。その後、比較ブロック１５０は各連続領域境界線に対する境界線情報を付加情報として、符号化ブロック１８０へ供給する。
【００１７】
この符号化ブロック１８０は、領域分割ブロック１００からの各領域の輪郭情報及びテクスチャ情報と、比較ブロック１５０からの付加情報とを符号化して、符号化された映像フレーム信号を伝送機（図示せず）へ送出する。
【００１８】
伝送機を介して送出された符号化された映像信号は、受信機（図示せず）を通じて映像信号デコーダ３０へ入力される。この映像信号デコーダ３０は、復号化ブロック３００と、再構成ブロック３３０と、平滑化ブロック３６０とを含む。
【００１９】
最初、符号化された映像フレーム信号は、復号化ブロック３００へ入力されて復号化される。
【００２０】
輪郭情報及びテクスチャ情報は再構成ブロック３３０へ、付加情報は平滑化ブロック３６０へ各々供給される。
【００２１】
再構成ブロック３３０は、復号化ブロック３００からの輪郭情報と、上記した従来の領域分割に基づく符号化方法と同様に前記輪郭内の領域の画素値の平均値（即ち平均グレイレベル）を前記輪郭内の全ての画素の画素値として再構成した映像フレーム信号を生成した後、平滑化ブロック３６０へ供給する。
【００２２】
この平滑化ブロック３６０は、復号化ブロック３３０からの付加情報に応じて、連続領域境界線の各々に対して平滑化過程を以下のように行う。
【００２３】
最初に、平滑化ブロック３６０は、復号化ブロック３００からの付加情報及び再構成ブロック３３０からの再構成された映像フレーム信号を受け取って、付加情報に対応する各連続領域境界線（例えば、Ｂ１２）の両側の２つの隣接する領域（例えば、Ｒ１及びＲ２）のテクスチャ情報（即ち、平均グレイレベル）の平均値を計算し、連続領域境界線（例えば、Ｂ１２）から予め定められた距離Ｄ内にある各画素のグレイレベルを計算された平均値で更新する。その結果、２つの隣接する領域（例えば、Ｒ１及びＲ２）内のテクスチャ情報がよりスムーズに変化して概ね連続することになる。こうして、本来連続であるべき分割領域の間の不連続性が除去または最小化されたより改善された再構成された映像フレーム信号が、平滑化ブロック３６０から表示装置（図示せず）へ供給される。
【００２４】
上記において、本発明の特定の実施例について説明したが、本明細書に記載した特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である
【００２５】
【発明の効果】
従って、本発明によれば、本来連続であるべき分割領域の間の不連続性が除去または最小化され、より高い画質を得ることができる。
【図面の簡単な説明】
【図１】本発明の映像信号処理システムを示したブロック図である。
【図２】映像フレーム信号に於ける、分割領域（Ｒ1、Ｒ2及びＲ3）と分割領域間の境界線（Ｂ12、Ｂ13及びＢ23）を例示した模式図である。
【符号の説明】
１０  映像信号エンコーダ
３０  映像信号デコーダ
１００  領域分割ブロック
１１０  グラディエント値計算ブロック
１５０  比較ブロック
１８０  符号化ブロック
３００  復号化ブロック
３３０  再構成ブロック
３６０  平滑化ブロック
【図１】
0003898244.tif 000002
【図２】
0003898244.tif 000003