(57)【特許請求の範囲】
【請求項１】
ビデオ信号符号化器に用いられ、映像フレームに於ける客体の輪郭映像を検知しかつ細線化するための装置であって、前記映像フレームに於ける画素に対する、前記映像フレームに於ける１つの画素とその画素を取り囲む隣接した画素との間の差を表すエッジ値を計算すると共に、前記エッジ値が予め定められたしきい値より大きいような画素位置であるエッジ点を検知する手段と、前記検知されたエッジ点からなり、映像フレームに於ける客体の境界をトレースし、かつ前記映像フレーム内の客体の境界上にある画素の位置データと前記各画素位置に対応するエッジ値とを有する境界情報を与える、輪郭映像を発生する手段と、前記各エッジ点に於けるエッジ値と複数のエッジ値からなる組に含まれた各々のエッジ値とを比較することによって、前記輪郭映像を細線化する手段であって、前記各々のエッジ値からなる組が前記各エッジ点を取り囲む隣接した画素に対応するエッジ値から選択された一連の３つのエッジ値を有する、該手段とを含み、前記予め定められたしきい値は、雑音の影響を除去するのに適正な値として定められ、
前記細線化手段が、
目標エッジ値と該目標エッジ値を取り囲む隣接した８つのエッジ値とを格納するためのレジスタ群であって、前記目標エッジ値は、前記輪郭映像に於けるエッジ点中の１つに対応するエッジ値を表す、該レジスタ群と、
前記隣接した８つのエッジ値を複数のエッジ値からなる組に分ける手段であって、前記各々のエッジ値の組は、前記各エッジ点を取り囲む隣接した画素に対応するエッジ値から選択された一連の３つのエッジ値を有する、該手段と、
前記目標エッジ値と前記各エッジ値の組に含まれた各々のエッジ値とを比較する手段であって、前記目標エッジ値が各々の前記エッジ値の組内の各エッジ値より小さい場合、ローレベルの信号を、そうでない場合にはハイレベルの信号を発生する、該手段と、
前記比較手段が発生する信号が全てハイレベルの信号である場合のみ、所定信号を細線化出力として発生する手段と
を有することを特徴とする客体の輪郭映像検知／細線化装置。
【請求項２】
ビデオ信号符号化器に用いられ、映像フレームに於ける客体の輪郭映像を検知しかつ細線化するための方法であって、
（ａ）前記映像フレームに於ける画素に対する、前記映像フレームに於ける１つの画素とその画素を取り囲む隣接した画素との間の差を表すエッジ値を計算すると共に、前記エッジ値が予め定められたしきい値より大きいような画素位置であるエッジ点を検知する過程と、
（ｂ）前記検知されたエッジ点からなり、映像フレームに於ける客体の境界をトレースし、かつ前記映像フレーム内の客体の境界上にある画素の位置データと前記各画素位置に対応するエッジ値とを有する境界情報を与える、輪郭映像を発生する過程と、
（ｃ）前記各エッジ点に於けるエッジ値と複数のエッジ値からなる組に含まれた各々のエッジ値とを比較することによって、前記輪郭映像を細線化する過程であって、前記各々のエッジ値からなる組が前記各エッジ点を取り囲む隣接した画素に対応するエッジ値から選択された一連の３つのエッジ値を有する、該過程とを含み、前記予め定められたしきい値は、雑音の影響を除去するのに適正な値として定められ、
前記細線化過程（ｃ）が、
（ｃ１）前記輪郭映像に於けるエッジ点中の１つに対応するエッジ値である目標エッジ値と、該目標エッジ値を取り囲む隣接した８つのエッジ値とを格納する過程と、
（ｃ２）前記隣接したエッジ値を前記エッジ値からなる組に分ける過程であって、前記各々のエッジ値の組は、前記各エッジ点を取り囲む隣接した画素に対応するエッジ値から選択された一連の３つのエッジ値を有する、該過程と、
（ｃ３）前記目標エッジ値と前記各エッジ値の組に含まれた各々のエッジ値とを比較する過程であって、前記目標エッジ値が各々の前記エッジ値の組内の各エッジ値より小さい場合、ローレベルの信号を、そうでない場合にはハイレベルの信号を発生する、該過程と、
前記比較過程で発生する信号が全てハイレベルの信号である場合のみ、所定信号を細線化出力として発生する過程と
を有することを特徴とする客体の輪郭映像検知／細線化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像フレームに於ける客体の輪郭映像を検知しかつ細線化（thinning）することによって、低減された量のディジタルデータによる輪郭映像の表現を可能にする方法及び装置に関する。
【０００２】
【従来の技術】
従来のテレビ電話、通信会議及び高精細度テレビシステムのようなディジタルテレビシステムに於いて、映像フレーム信号の映像ライン信号が画素値と呼ばれる一連のディジタルデータからなるため、各映像フレーム信号を画定するのに大量のディジタルデータが必要となる。しかし、テレビ電話と通信会議システムのような低ビットレートのビデオ信号符号化器の場合に於いて、通常の伝送チャンネルの利用可能な周波数帯域が制限されているので、そのような大量のディジタルデータを制限された帯域幅を通じて伝送するためには、様々なデータ圧縮技法を用いてデータを圧縮して、データの量を減らさなければならない。
【０００３】
低ビットレートの符号化システムのビデオ信号を符号化する符号化方法の中には、いわゆる客体指向の分析、合成符号化技法（Michael Hotterの論文、“Object-Oriented Analysis-Synthesis Coding Based on Moving Two-Dimensional Objects”,Signal Processing:Image Communication 2,409-428頁(1990年)参照）がある。
【０００４】
この客体指向の分析、合成符号化技法によると、入力ビデオ映像は複数の客体に分けられる。また、各客体の動き、輪郭及び画素データを規定する３組のパラメータは、異なる符号化チャンネルを通じて処理される。
【０００５】
客体の輪郭映像の処理に於いて、当然に、輪郭情報は客体形態の分析及び合成に重要な要素である。また、特徴点に基づく動き推定技法に於いても、輪郭情報は、特徴点を選定するのに必要である。ここで、フレームに於ける客体の動きを表しうる画素として定義される特徴点は、輪郭情報に基づいて選択される。
【０００６】
輪郭情報を表すための方法の一例としては、グラジエントオペレータ（gradient operator）（例えば、ソベルオペレータ(sobel operator)）を採用するエッジ検知技法がある。このような技法に於いては、ソベルオペレータを用いて映像フレームに於ける全ての画素に対する画素強さ（pixel intensity）の方向性グラジエント大きさが求められる。映像フレームに於けるエッジ点は、映像フレームに於ける各画素に対するグラジエント大きさと予め定められた閾値とを比較することによって検知される（この際、グラジエント大きさが予め定められたしきい値を超える画素点がエッジ点である）。この検知されたエッジ点は輪郭映像を構成する。しかし、通常のエッジ検知技法によって表される輪郭映像は輪郭を表す線の幅がだいたい２つまたはそれ以上の画素からなり、輪郭映像を表すには大量のデータが必要となる。
【０００７】
【発明が解決しようとする課題】
従って、本発明の主な目的は、映像フレームに於ける客体の輪郭映像を検知しかつ細線化（thinning）することによって、輪郭映像をより少ない量のディジタルデータにて表しうる改善された方法及び装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明によると、ビデオ信号符号化器に用いられ、映像フレームに於ける客体の輪郭映像を検知しかつ細線化するための装置は、前記映像フレームに於ける画素に対する、前記映像フレームに於ける１つの画素とその画素を取り囲む隣接した画素との間の差を表すエッジ値を計算すると共に、前記エッジ値が予め定められたしきい値より大きいような画素位置であるエッジ点を検知する手段と、
前記検知されたエッジ点からなり、映像フレームに於ける客体の境界をトレースし、かつ前記映像フレーム内の客体の境界上にある画素の位置データと前記各画素位置に対応するエッジ値とを有する境界情報を与える、輪郭映像を発生する手段と、
前記各エッジ点に於けるエッジ値と複数のエッジ値からなる組に含まれた各々のエッジ値とを比較することによって、前記輪郭映像を細線化する手段であって、前記各々のエッジ値からなる組が前記各エッジ点を取り囲む隣接した画素に対応するエッジ値から選択された一連の３つのエッジ値を有する、該手段とを含む。
【０００９】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、図面を参照しながらより詳しく説明する。
【００１】
図１を参照すると、本発明による、輪郭映像を検知しかつ細線化する装置のブロック図が示されている。図示したように、入力ディジタルビデオ信号は、輪郭検知ユニット２００に接続されている第１フレームメモリ１００内に、現フレームあるいは前フレーム信号として格納される。この第１のフレームメモリ１００からのフレーム信号は、輪郭検知ユニット２００に入力されて映像フレームに於ける客体の境界上のエッジ点を検知すると共に、客体の輪郭映像を発生する。
【００２】
この輪郭検知ユニット２００は、例えば、以降与えられた式（１）を用いて映像フレームに於ける全ての画素に対するエッジ値を計算し、計算されたエッジ値をそれらの各画素位置に割当することによって、輪郭映像を提供する。式（１）は画素位置（ｘ，ｙ）に於けるエッジ値を表し、次のように画定される。
【００３】
【数１】
0004049831.tif 000002
【００４】
ここで、I(x,y)及びI(x+i,y+j)は画素位置(x,y)及び(x+i,y+j)に於ける映像の画素値を表す。
【００５】
より詳しくは、映像フレームに於ける１つの画素（「目標画素」）に対するエッジ値を特定するために、目標画素は第１のフレームメモリ１００から取り出されると共に、最大値検知器２１０へ送られる。その次に、システム制御器（図示せず）の制御下に、目標画素を取り囲む隣接した８つの画素が、第１のフレームメモリ１００から順次取り出されて、最大値検知器２１０へ提供される。この最大値検知器２１０は、目標画素と隣接した８つの画素各々との差を計算して、最も大きい値である最大差分値を比較器２２０へ提供する。
【００６】
比較器２２０にて、エッジ点を検知するため最大値検知器２１０からの最大差分値と予め定められた閾値ＴＨとが比較される。一般に、この予め定められた閾値ＴＨは、雑音の影響を除去するのに適正な値である６として定められる。最大差分値は、ＴＨより大きければ第２のフレームメモリ２３０へ提供され、目標画素に対するエッジ値として格納されて、そうでなければ「ゼロ」が第２フレームメモリ２３０へ提供されて目標画素に対するエッジ値として格納される。画素位置は最大差分値がＴＨを超える場合のエッジ点を表す。このような方式で、映像フレームに於ける全ての画素に対するエッジ値が決定されると共に、第２フレームメモリ２３０に格納される。ここで、検知されたエッジ点の位置は輪郭映像を形成する。この輪郭映像は、映像に於いて客体の境界をトレースする（tracing）境界情報を提供する。この前記境界情報は、映像フレーム内に於ける客体の境界上にある画素の位置データと各々の画素位置に対応するエッジ値とを含む。
【００７】
図２を参照すると、本発明に採用されたエッジ点検知技法を説明するための図面が示されている。２つの一次元画素Ａ及びＢがあり、それらの画素値が各々１５及び５５であることを仮定して、ソベルオペレータを採用する公知のエッジ検知技法を用いる場合、ある画素の位置に於けるグラジエント大きさは、その画素位置の方向性グラジエントの絶対値により定義される。ここで、エッジ点は、そのグラジエント大きさが予め定められたの閾値ＴＨを超過する画素位置を表す。従って、値ＴＨがＡとＢとの間の差の絶対値より小さければ、Ａ、Ｂともにエッジ点として検知される。
【００８】
一方、本発明によれば、Ａ−Ｂの差分値（即ち、−４０）が予め定められたしきい値ＴＨ（即ち、６）より小さいので、画素Ｂのみエッジ点として選定される。
【００９】
図１を再度参照すると、輪郭検知ユニット２００によって発生された輪郭映像データは、輪郭細線化ユニット３００へ供給され、更に処理される。輪郭細線化ユニット３００は、輪郭映像に於けるエッジ点に対する各々のエッジ値と複数のエッジ値の組とを比較することによって、輪郭映像を細線処理する。ここで各エッジ値からなる組の各々は、各々のエッジ点を取り囲む隣接した８つの画素に対応するエッジ値から選択される一連の３つのエッジ値を有する。
【００１０】
本発明によると、システム制御器（図示せず）は、第２のフレームメモリ２３０から１つのエッジ値（目標エッジ値）とそれを取り囲む隣接した８つのエッジ値とを取り出して、レジスタ群３１０へ与える。ここで、前記目標エッジ値は、輪郭映像のエッジ点に対応するエッジ値中の１つを表す。レジスタ群３１０は通常のレジスタからなり、複数の比較器３２０、３３０、３４０及び３５０に接続されている。
【００１１】
詳述すると、目標エッジ値はレジスタＲＥＧ．１に、隣接した８つのエッジ値はレジスタＲＥＧ．２乃至ＲＥＧ．９に各々格納されている。図３には、目標エッジ値ａ１とそれに隣接した８つのエッジ値ａ２乃至ａ９が例示的に示されている。ａ１はＲＥＧ．１に格納されて、ａ２乃至ａ９は各々ＲＥＧ．２乃至ＲＥＧ．９に格納される。
【００１２】
本発明の好適な実施の形態によると、ＲＥＧ．１からの目標エッジ値ａ１は、ライン１０を通じて４つの比較器３２０、３３０、３４０及び３５０に各々入力され、４つのエッジ値からなる組（即ち、（ａ２，ａ３，ａ５）、（ａ３，ａ４，ａ６）、（ａ６，ａ８，ａ９）及び（ａ５，ａ７，ａ８））内の各エッジ値と比較される。ここで、各エッジ値の組は、目標エッジ値ａ１を取り囲む隣接した８つのエッジ値ａ２乃至ａ９から選択される、一連の３つのエッジ値を有する。４つの比較器各々には、４つのエッジ値の組中の何れか１組が入力される。
【００１３】
本発明の他の実施の形態に於いては、目標エッジ値ａ１は、８つのエッジ値よりなる組（即ち、（ａ２，ａ３，ａ４）、（ａ３，ａ４，ａ６）、（ａ４，ａ６，ａ９）、（ａ６，ａ８，ａ９）、（ａ７，ａ８，ａ９）、（ａ５，ａ７，ａ８）、（ａ２，ａ５，ａ７）及び（ａ２，ａ３，ａ５））に於ける各エッジ値と比較するために８つの比較器へ与えられ、また、各８つの比較器には８つのエッジ値の組の中のいずれか１つが入力される。
【００１４】
本発明の好適な実施の形態に於いては、各々の比較器３２０、３３０、３４０及び３５０は、目標エッジ値ａ１が各エッジ値の組の中の全てのエッジ値より小さければ、ローレベルの信号を、そうでなければハイレベルの信号を発生し、ＡＮＤゲート３６０へ与える。即ち、比較器３２０は、ＲＥＧ．１からラインＬ１０上の目標エッジ値ａ１と、ＲＥＧ．２、ＲＥＧ．３及びＲＥＧ．５からラインＬ２０、３０及び５０上のエッジ値ａ２、ａ３及びａ５とを比較すると共に、１がａ２、ａ３及びａ５より小さければローレベルの信号を、そうでなければハイレベル信号を発生し、ＡＮＤゲート３６０へ与える。同様に、比較器３３０、３４０及び３５０はそれらの入力に対して比較器３２０と同一の機能を果たすことによって、ローレベルまたはハイレベルの信号を発生し、ＡＮＤゲート３６０へ与える。このＡＮＤゲート３６０は、その４個の入力に対して論理積の演算を行うと共に、ローレベルまたはハイレベルの信号を発生し、第３フレームメモリ３７０へ与える。ＡＮＤゲート３６０は、入力された全ての入力信号がハイレベルの場合のみ、ハイレベルの信号を発生する。ＡＮＤゲート３６０からの論理信号は、システム制御器（図示せず）によって予め「ゼロ」にセットされている第３フレームメモリ３７０を更新する。このような方式で、輪郭映像に於ける全てのエッジ点に対するエッジ値が、本発明の輪郭細線化ユニット３００を通じて処理される。
【００１５】
図４を参照すると、１０×１０画素のフレームが例示的に示されている。もし、輪郭検知ユニット２００によって検知されたエッジ点とそれらのエッジ値とが、図４に例示されているようになっているならば、Ｘで表示されたエッジ点は輪郭細線化ユニット３００によって除去される。即ち、輪郭映像３５は、輪郭細線化ユニット３００を用いてＸ表示されたエッジ点を除去することによって細線化され、細線化された輪郭映像はフレームメモリ３７０に格納される。従って、第３フレームメモリ３７０からの細線化された輪郭映像は、より低減されたエッジ点にて映像フレームに於ける客体の境界を表すことができる。
【００１６】
上記に於いて、本発明の特定の実施の形態について説明したが、本発明の範囲を逸脱することなく当業者は種々の改変をなし得るであろう。
【００１７】
【発明の効果】
従って、本発明によれば、本発明による細線化過程を通じ、輪郭映像を構成するエッジ点の数を減らすことによって、輪郭映像をより少ない量のディジタルデータにて表すことができる。
【図面の簡単な説明】
【図１】本発明に基づく、輪郭映像を検知しかつ細線化する装置のブロック図である。
【図２】本発明に於いて用いられるエッジ点検知技法を説明するための図である。
【図３】目標エッジ値とその周りに隣接したエッジ値とを例示する図である。
【図４】本発明による輪郭映像の細線化過程を説明するために例示的に示したフレームである。
【符号の説明】
１００  第１フレームメモリ
２００  輪郭検知ユニット
２１０  最大値検知器
２２０、３２０、３３０、３４０、３５０  比較器
２３０  第２フレームメモリ
３００  輪郭細線化ユニット
３１０  レジスタ群
３６０  ＡＮＤゲート
３７０  第３フレームメモリ
【図１】
0004049831.tif 000003
【図２】
0004049831.tif 000004
【図３】
0004049831.tif 000005
【図４】
0004049831.tif 000006