(57)【特許請求の範囲】
【請求項１】
現フレームと前フレームとからなる複数のフレームを有するディジタル映像信号に表したオブジェクトの輪郭を符号化するための輪郭符号化装置であって、
前記前フレーム内のオブジェクトの境界を検知して、その前フレーム内のオブジェクトの境界である前輪郭の画素位置を表す前境界情報を生成する第１輪郭検知手段と、
前記前輪郭に対して多角形近似化を行い、多角形近似した前記前輪郭の頂点の位置を表す頂点情報を生成する頂点情報発生手段と、
前記多角形近似した前輪郭の隣接する２つの頂点を結ぶ複数の第１ラインセグメントの各々において同一の間隔をおいて置かれるＮ個の第１ラインセグメントサンプル点を求めると共に、前記Ｎ個の第１ラインセグメントサンプル点の各々と、各第１ラインセグメントサンプル点における垂線と前記前輪郭との交点との間の距離を表す第１の近似エラーの組を生成する第１エラー生成手段と、
前記第１ラインセグメントの各々に対する前記第１の近似エラーの組を、第１の離散的正弦変換係数の組に変換する第１変換手段と、
前記現フレーム内のオブジェクトの境界を検知して、その現フレーム内のオブジェクトの境界である現輪郭の画素位置を表す現境界情報を発生する第２輪郭検知手段と、
前記頂点情報及び前記現境界情報を用いた現フレームと前フレームとの間の動き推定に基づいて予測された頂点を求めることによって、多角形近似した前記前輪郭の各頂点に対応する予測された頂点の位置を表す予測頂点情報と、多角形近似した前記前輪郭の各頂点とそれに対応する予測された頂点との間の変位を表す動きベクトルとを発生する予測頂点検知手段と、
隣接する２つの予測された頂点を結ぶ複数の第２ラインセグメントの各々において同一の間隔をおいて置かれるＮ個の第２ラインセグメントサンプル点を求めると共に、前記Ｎ個の第２ラインセグメントサンプル点の各々と、各第２ラインセグメントサンプル点における垂線と各前記現輪郭との交点との間の距離を表す第２の近似エラーの組を生成する第２エラー生成手段と、
前記第２ラインセグメントの各々に対する前記第２の近似エラーの組を、第２の離散的正弦変換係数の組に変換する第２変換手段と、
前記第１の離散的正弦変換係数の組からそれに対応する前記第２の離散的正弦変換係数の組を減算して、１組の差値を生成する差値生成手段と、
前記１組の差値を量子化された１組の差値に変換する差値変換手段と、
前記量子化された１組の差値と前記動きベクトルとを符号化する符号化手段とを含むことを特徴とする輪郭符号化装置。
【請求項２】
前記予測頂点検知手段が、
前記頂点情報に基づいて、その中心に頂点を有する所定の大きさの矩形の領域である頂点ブロックを前フレームから形成する頂点ブロック形成手段と、
前記現フレームにおいて、前記頂点ブロックより大きく予め定められた数の画素を含む領域である探索領域を規定すると共に、前記探索領域から、前記頂点ブロックと同一の大きさを有し、その中心画素が前記現輪郭の一部である画素となるように選択される複数の候補ブロックを形成する候補ブロック形成手段と、
前記頂点ブロックと前記複数の各候補ブロックとの間のブロック整合アルゴリズムを実行し予測された頂点を検知すると共に、前記予測された頂点の位置を表す予測頂点情報及び、前記頂点と前記予測された頂点との間の変位を表す動きベクトルを発生する動きベクトル検知手段とを含むことを特徴とする請求項１に記載の輪郭符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はオブジェクトの輪郭を符号化するための装置に関し、特に、輪郭の頂点を動き推定することにより伝送されるデータ量を低減できる改善された輪郭符号化装置に関する。
【０００２】
【従来の技術】
従来のテレビ電話、電子会議及び高精細度テレビジョンシステム（HDTV）のようなディジタルテレビシステムにおいては、映像フレーム信号における映像ライン信号が画素値と称する一連のディジタルデータからなるため、各映像フレーム信号を規定するのに大量のディジタルデータが必要である。しかし、通常の伝送チャネル上の利用可能な周波数帯域幅は制限されているので、そのチャネルを通じて相当な量のディジタルデータを伝送するためには、様々なデータ圧縮技法を用いてデータ量を圧縮するか、或いは減らすことが不可避である。特に、テレビ電話或いは電子会議システムのような低ビットレートの映像信号エンコーダの場合、そのようなデータ圧縮技法が必要となる。
【０００３】
低ビットレート符号化システムの映像信号を符号化するための符号化方法の１つに、いわゆるオブジェクト指向分析−合成符号化技法（Object-oriented analysis coding thchique（Michael Hotterの論文，「Object-Oriented Analysis-Synthesis Coding Based on Moving Two-Dimensional Objects」,Signal Processing:Image communication2,409-428頁(1990年12月)参照））がある。
【０００４】
このオブジェクト指向分析−合成符号化技法によれば、入力映像を複数のオブジェクトに分け、また、各オブジェクトの動き、輪郭及び画素データを規定する３組のパラメータを異なる符号化チャネルを介して処理する。
【０００５】
とりわけ、オブジェクトの輪郭映像の処理において、輪郭情報はオブジェクトの形状の分析及び合成に重要である。この輪郭情報を表すための通常の符号化方法にチェーン符号化（chain coding）法がある。しかし、このチェーン符号化法は、輪郭情報の損失はないが、相当な量のビット数が必要である。
【０００６】
この点に関しては、多角形近似或いはＢ−スプライン近似（Ｂ−Spline approximation）のような輪郭を近似させるための幾つかの方法が提案されてきた。多角形近似における欠点の１つは、輪郭映像が粗く表現されることにある。一方、Ｂ−スプライン近似は輪郭映像をより正確に表現しうるが、近似エラーを減らすのに高次の多項式が必要になって、映像エンコーダにおける全体的な計算の複雑さを増すことになる。
【０００７】
多角形近似におけるオブジェクトの輪郭が粗く表される問題とＢ−スプラインにおける計算の複雑さの欠点を回避するために提案された方法の１つに、離散的正弦変換（ＤＳＴ）法を採用する輪郭近似法がある。
【０００８】
多角形近似及びＤＳＴに基づく輪郭近似技法を採用する装置は、本願発明と出願人を同じくする係属中の米国特許出願第０８／４２３，６０４号明細書に、「A CONTOUR APPROXIMATION APPARATUS FOR REPRESENTING A CONTOUR OF AN OBJECT」という名称で記載されているように、複数の頂点が求められ、輪郭にラインセグメントを合わせる多角近似を用いてオブジェクトの輪郭が近似化される。また、各ラインセグメントに対するＮ個のサンプル点が選択されると共に、各ラインセグメントに対する１組の近似エラーを求めるために、各ラインセグメント上に置かれたＮ個のサンプル点の各々で近似エラーが順次計算される。Ｎ個のサンプル点は各ラインセグメント上に同一の間隔で配置され、各近似エラーはＮ個のサンプル点の各々と輪郭との間の距離を表す。その後、各組の近似エラーを１次元のＤＳＴ処理を行うことによってＤＳＴ係数の組が生成される。
【０００９】
上記の装置は、ＤＳＴを用いた輪郭近似に基づいて、輪郭の粗さ及び計算の複雑さを解決し得るが、フレーム毎にＤＳＴ係数を伝送しなければならないので、伝送データ量が増加する問題点がある。
【００１０】
【発明が解決しようとする課題】
従って、本発明の主な目的は、頂点動き推定法を用いてオブジェクトの輪郭を符号化し、伝送データの量を低減する改善されたオブジェクトの輪郭符号化装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、現フレームと前フレームとからなる複数のフレームを有するディジタル映像信号に表したオブジェクトの輪郭を符号化するための輪郭符号化装置であって、
前記前フレーム内のオブジェクトの境界を検知して、その前フレーム内のオブジェクトの境界である前輪郭の画素位置を表す前境界情報を生成する第１輪郭検知手段と、
前記前輪郭に対して多角形近似化を行い、多角形近似した前記前輪郭の頂点の位置を表す頂点情報を生成する頂点情報発生手段と、
前記多角形近似した前輪郭の隣接する２つの頂点を結ぶ複数の第１ラインセグメントの各々において同一の間隔をおいて置かれるＮ個の第１ラインセグメントサンプル点を求めると共に、前記Ｎ個の第１ラインセグメントサンプル点の各々と、各第１ラインセグメントサンプル点における垂線と前記前輪郭との交点との間の距離を表す第１の近似エラーの組を生成する第１エラー生成手段と、
前記第１ラインセグメントの各々に対する前記第１の近似エラーの組を、第１の離散的正弦変換係数の組に変換する第１変換手段と、
前記現フレーム内のオブジェクトの境界を検知して、その現フレーム内のオブジェクトの境界である現輪郭の画素位置を表す現境界情報を発生する第２輪郭検知手段と、
前記頂点情報及び前記現境界情報を用いた現フレームと前フレームとの間の動き推定に基づいて予測された頂点を求めることによって、多角形近似した前記前輪郭の各頂点に対応する予測された頂点の位置を表す予測頂点情報と、多角形近似した前記前輪郭の各頂点とそれに対応する予測された頂点との間の変位を表す動きベクトルとを発生する予測頂点検知手段と、
隣接する２つの予測された頂点を結ぶ複数の第２ラインセグメントの各々において同一の間隔をおいて置かれるＮ個の第２ラインセグメントサンプル点を求めると共に、前記Ｎ個の第２ラインセグメントサンプル点の各々と、各第２ラインセグメントサンプル点における垂線と各前記現輪郭との交点との間の距離を表す第２の近似エラーの組を生成する第２エラー生成手段と、
前記第２ラインセグメントの各々に対する前記第２の近似エラーの組を、第２の離散的正弦変換係数の組に変換する第２変換手段と、
前記第１の離散的正弦変換係数の組からそれに対応する前記第２の離散的正弦変換係数の組を減算して、１組の差値を生成する差値生成手段と、
前記１組の差値を量子化された１組の差値に変換する差値変換手段と、
前記量子化された１組の差値と前記動きベクトルとを符号化する符号化手段とを含むことを特徴とする輪郭符号化装置が提供される。
【００１２】
【発明の実施の形態】
以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。
【００１３】
図１には、映像信号で表現したオブジェクトの輪郭を符号化するための本発明の輪郭符号化装置のブロック図が示されている。入力ディジタル映像信号は現フレーム信号として、ラインＬ１０を介して第２輪郭検知器１１３と頂点予測ブロック１１５へ入力され、そしてラインＬ２０を通じて第１輪郭検知器１０３及び頂点頂点予測ブロック１１５に接続されているフレームメモリ１００に前フレーム信号として格納される。
【００１４】
第１輪郭検知器１０３は、フレームメモリ１００から取り出された前フレーム内のオブジェクトの境界、即ち輪郭を検知すると共に、前輪郭を生成する。ここで前輪郭は前フレーム内のオブジェクトの境界を表すものであり、即ち前フレームにおけるオブジェクトの境界上の画素の位置データを含むものである。このオブジェクトの輪郭を表す輪郭データは、第１輪郭検知器１０３から多角形近似ブロック１０５及び第１サンプリング／エラー検知器１０７へ各々与えられる。
【００１５】
多角形近似化ブロック１０５においては、前輪郭が多角形近似法によって近似化される。オブジェクトの形状の多角形近似化は、複数のラインセグメントを輪郭に合わせる通常の近似化アルゴリズムを用いて達成される。
【００１６】
図３のａ乃至ｃには、多角形近似法による前輪郭１０の分割過程が例示的に示されている。
【００１７】
最初に、２つの開始頂点を選択する。前輪郭が開ループの場合、両端点（例えば、図３のａに示すＡ及びＢ）が開始頂点として選択される。一方、前輪郭が閉ループの場合、輪郭上で最も遠位の２つの点が開始点として選択される。そののち、ラインセグメントＡＢから最も遠位の点Ｃが求められる。遠位の点ＣとラインセグメントＡＢとの間の距離ＤMAXが予め定められた閾値以上の場合、点Ｃは新しい頂点になる。このような処理手順は、各セグメントに対する距離ＤMAXが予め定められた閾値より小さくなるまで繰り返される。
【００１８】
与えられた輪郭の頂点の個数は、予め定められた閾値によって変わる。図３のａ乃至ｃから分かるように、予め定められた閾値を符号効率を犠牲にして小さく設定すれば、ラインセグメントにより表現された輪郭映像はより正確になる。
【００１９】
図１を再度参照すれば、前輪郭１０の特定された頂点（例えば、Ａ、Ｂ、Ｃ、Ｄ及びＥ）の位置を表す頂点情報は、ラインＬ４０を介して多角形近似ブロック１０５から第１サンプリング／エラー検知器１０７及び頂点予測ブロック１１５へ各々供給される。第１サンプリング／エラー検知器１０７は各ラインセグメントに対するＮ個のサンプル点を選択すると共に、頂点情報及び前輪郭データに基づいて各ラインセグメント上のＮ個のサンプル点の各々での近似エラーを計算し、第１離散的正弦変換（ＤＳＴ）回路１０９へ供給する。ここでＮ個のサンプル点は、２つの頂点間の各ラインセグメント上に同一の間隔をおいて設定される（Ｎは正の整数）。近似エラーは２つの頂点を結ぶラインセグメントの上のサンプル点のそれぞれと、前記サンプル点における垂線と２つの頂点間の輪郭セグメントとの交点との間の距離を表す。各頂点についても近似エラーが求められ、後述するようにその値はゼロとなる。
【００２０】
図４のａ及びｂには、ラインセグメント上の点と対応する輪郭セグメント上の点との間の近似エラーを示すイメージ図が示されている。ここで、図４のａはラインセグメントＡＤ上の点とそれに対応する輪郭セグメント上の点との間の近似エラーを説明したものであり、図４のｂは、ラインセグメントＤＣ上の点とそれに対応する輪郭セグメント上の点との間の近似エラーを示したものである。エラーｄ１乃至ｄ４、またはエラーｄ１′乃至ｄ４′の各々は、ラインセグメントＡＤ上の各サンプル点ｓ１乃至ｓ４、またはラインセグメントＤＣ上のサンプル点ｓ１′乃至ｓ４′の各々から対応する輪郭セグメントまでの距離を表す。図４のａ及びｂから分かるように、あらゆる頂点は輪郭上に配置されているため、それらの頂点に対する近似エラーは全てゼロの値を有する。
【００２１】
第１サンプリング／エラー検知器１０７により計算された近似エラーは、第１ＤＳＴ回路１０９へ加えられる。この第１ＤＳＴ回路１０９は、各組の近似エラーに対して１次元ＤＳＴ処理を行うと共に、第１組のＤＳＴ係数を減算器１２３へ供給する。ここで、各組の近似エラーにはＮ個のサンプル点と共にＬ、各ラインセグメントの２つの頂点に対するエラーが含まれる。
【００２２】
一方、第２輪郭検知器１１３は、第１輪郭映像検知器１０３と同一の動作を実行することによって、現輪郭をラインＬ３０を介して頂点予測ブロック１１５と第２サンプリング／エラー検知器１１７とへ各々加える。即ち、第２輪郭検知器１１３は、現フレーム信号として入力された入力ディジタル映像信号におけるオブジェクトの境界を検知して現輪郭を生成、または規定する。ここで、現輪郭は現フレーム内のオブジェクトの境界を表すものであり、即ち現フレームにおける境界上の画素の位置データを含むものである。
【００２３】
頂点予測ブロック１１５において、ラインＬ１０上の入力ディジタル映像信号（即ち、現フレーム信号）、ラインＬ２０を通じてフレームメモリ１００から取出した前フレーム信号、ラインＬ３０を通じて第２輪郭検知器１１３から供給された現輪郭データ及び多角形近似ブロック１０５からラインＬ４０を通じて供給された頂点情報により表される頂点を処理して、予測された頂点情報をラインＬ５０へ、頂点に対する動きベクトルをラインＬ６０へ各々加える。ここで、予測された頂点情報は予測された頂点の位置を表し、動きベクトルは頂点と予測された頂点との間の変位を表す。頂点予測ブロック１１５に対する詳細は、以降図２を参照して詳しく述べる。
【００２４】
全頂点に対する動きベクトルを求めた後、予測された頂点と動きベクトルとは、ラインＬ６０を介して輪郭符号器１２９へ、ラインＬ５０を介して第２サンプリング／エラー検知器１１７へ各々供給される。
【００２５】
この第２サンプリング／エラー検知器１１７は、第１サンプリング／エラー検知器１０７と同一の動作を行い、予測された頂点の位置を表す予測された頂点情報と第２輪郭検知器１１３からのラインＬ３０上の現輪郭データとに基づいて、予測された１組の近似エラーを第２ＤＳＴ回路１１９へ供給する。即ち、第２サンプリング／エラー検知器１１７は、２つの予測された頂点を結ぶ各ラインセグメントに対してＮ個のサンプル点を選択すると共に、予測された頂点情報と現輪郭データとに基づいて、各ラインセグメント上のＮ個のサンプル点における予測された近似エラーを計算し、その予測された近似エラーを第２ＤＳＴ回路１１９へ供給する。ここで、Ｎ個のサンプル点は予測された２つの頂点間の各ラインセグメント上に同一の間隔をおいて設定される。予予測された近似エラーは、予測された２つの頂点を結ぶラインセグメント上の点と２つの予測された頂点間の現輪郭セグメント上の点との間の距離を表す。第２ＤＳＴ回路１１９は、第１ＤＳＴ回路１０９と同一の動作を実施し、第２組のＤＳＴ係数を減算器１２３へ与える。
【００２６】
この減算器１２３は、対応する第１組のＤＳＴ係数から第２組のＤＳＴ係数を減算すると共に、求められた差値を量子化器（Ｑ）１２５へ加える。このＱ１２５は入力された１組の差値を量子化し、量子化された１組の差値を輪郭符号器１２９へ与えて、以降そのような動作を引き続いて実行する。
【００２７】
輪郭符号化器１２５においては、Ｑ１２５からの量子化された１組の差値と頂点予測ブロック１１５からのラインＬ６０上の動きベクトルとを例えば、ＪＰＥＧ（Joint Photographic Experts Group）の２進算術コードを用いて各々符号化する。量子化された差値及び動きベクトルよりなる符号化されたディジタル信号は、送信機（図示せず）へ送られて受信機へ伝送される。
【００２８】
図２には、図１に示した頂点予測ブロック１１５のブロック図が、頂点予測過程を説明するために詳細に示されている。
【００２９】
本発明の好適な実施例においては、頂点に対する動きベクトルが求められるが、ここで各々の動きベクトルは前フレーム内における頂点と、それに最も類似な現フレームにおける画素（予測された頂点と称する）との間の空間的変位を表す。頂点と予測された頂点との間の動きベクトルを求めるためには、ブロック整合アルゴリズムが用いられる。
【００３０】
図２に示したように、頂点情報は、多角形近似ブロック１０５から頂点ブロック形成部２１０へラインＬ４０を介して供給される。この頂点ブロック形成部２１０においては、前フレームの画素を有する頂点ブロックをフレームメモリ１００からラインＬ２０を介して取り出して、頂点動きベクトル検知器２３０へ供給する。ここで頂点ブロックの各々は、例えば、その中心に頂点を有する前フレームの５×５画素を有するものである。
【００３１】
一方、ラインＬ１０上の入力ディジタル映像信号は、現フレーム信号として候補ブロック発生部２２０へ入力され、ラインＬ３０上の現輪郭もやはり候補ブロック発生部２２０へ入力される。この候補ブロック発生部２２０は現フレームにおけるより大きい探索領域を規定すると共に、探索領域内で複数の同一の大きさを有する候補ブロックを発生し頂点動きベクトル検知器２３０へ与える。
【００３２】
本発明の好適な実施例によれば、現フレーム内における規定された探索領域は現輪郭周辺の予め定められた数の画素を含み、複数の候補ブロックはそれらの中心画素が現輪郭の一部となるように選択されることによって、予測された頂点が現輪郭上に位置することになる。
【００３３】
頂点動きベクトル検知器２３０においては、頂点ブロック形成部２１０からの各頂点ブロックに対する動きベクトルが、頂点ブロックと、候補ブロック形成部２２０からの探索領域内に含まれた複数の候補ブロックの各々との間の類似度計算が行われた後求められる。求められた頂点ブロックに対する動きベクトルは、該頂点ブロックに含まれた頂点の動きベクトルとして割当てられる。その後、頂点に対する動きベクトルと予測された頂点情報は、ラインＬ６０及びＬ５０上に各々生成される。
【００３４】
上記において、本発明の特定の実施例について説明したが、本発明の精神及び範囲を逸脱することなく、当業者は種々の変更をなし得るであろう。
【００３５】
【発明の効果】
従って、本発明によれば、第１のＤＳＴ係数の組と第２のＤＳＴ係数の組との間の１組の差値を伝送することによって、映像信号に現れるオブジェクトの輪郭を表すための伝送データの量を大幅に低減することができる。
【図面の簡単な説明】
【図１】本発明によるオブジェクトの輪郭符号化装置のブロック図である。
【図２】図１の頂点予測ブロック１１５を詳細に示したブロック図である。
【図３】ａ、ｂ及びｃによりなり、ａは前輪郭１０の開始頂点としてＡ、Ｂが選択される過程を示したものであり、ｂは頂点Ａ、Ｂ、予め定められた閾値と距離ＤMAXとによって、新しい頂点Ｃが求められる過程のイメージ図であり、ｃは閾値を小さく設定し輪郭映像をより正確に表す場合のイメージ図である。
【図４】ａ及びｂよりなり、各々はラインセグメントＡＤ、ＤＣとそれに対応する輪郭セグメントとの間のエラーを図解したイメージ図である。
【符号の説明】
１００  フレームメモリ
１０３、１１３  第１及び第２輪郭検知器
１０５  多角形近似ブロック
１０７、１１７  第１及び第２サンプリング／エラー検知器
１０９、１１９  第１及び第２離散的正弦変換（ＤＳＴ）回路
１１５  頂点予測ブロック
１２３  減算器
１２５  量子化器（Ｑ）
１２９  輪郭符号器
【図１】
0003694349.tif 000002
【図２】
0003694349.tif 000003
【図３】
0003694349.tif 000004
【図４】
0003694349.tif 000005