(57)【要約】  【課題】圧縮符号化データを部分的に復号して得られる情報を用いて、高速かつ高精度に分割された領域を形成することができる領域分割装置を提供すること。  【解決手段】部分復号部１は、圧縮符号化データを部分的に復号する。第１〜第３の領域分割処理部２〜４は階層化されている。第１の領域分割処理部２は、変換符号化情報判定部２−１と符号化モード情報判定部２−２と動き予測情報判定部２−３とから構成され、大まかな領域分割を行う。第２の領域分割処理部３は、動き予測誤差情報判定部３−１で構成され、第１の領域分割処理部２の分割結果をより細かく分割する。第３の領域分割処理部４は、エッジ検出部４−１で構成され、第２の領域分割処理部３の分割結果をより細かく分割する。  【選択図】図１
2005135249.tif 000002
【特許請求の範囲】
【請求項１】
圧縮符号化された映像を複数の領域に分割する映像の領域分割装置において、
圧縮符号化データを部分的に復号する部分復号手段と、
前記部分復号手段で部分的に復号された情報を用いて分割され領域を形成する少なくとも１つの領域分割処理手段を含み、互いに異なる分解能で分割された領域を形成する複数の領域分割処理手段とを備えたことを特徴とする映像の領域分割装置。
【請求項２】
前記複数の領域分割処理手段は、領域分割の分解能の低いものから高いものへと階層化され、該階層に従って順次、分割された領域を形成することを特徴とする請求項１に記載の映像の領域分割装置。
【請求項３】
前記複数の領域分割処理手段の各々は、上位階層の領域分割処理手段の分割結果を利用して分割された領域を形成することを特徴とする請求項２に記載の映像の領域分割装置。
【請求項４】
前記複数の領域分割処理手段は、符号化情報の割り当て単位に応じて階層化された領域分割処理手段を含むことを特徴とする請求項２に記載の映像の領域分割装置。
【請求項５】
前記複数の領域分割処理手段は、符号化情報の割り当て単位ごとの符号化情報を用いて分割された領域を形成する領域分割処理手段を含むことを特徴とする請求項４に記載の映像の領域分割装置。
【請求項６】
前記複数の領域分割処理手段は、変換符号化情報と符号化モード情報と動き予測情報を用いて分割された領域を形成する低分解能の領域分割処理手段を含むことを特徴とする請求項５に記載の映像の領域分割装置。
【請求項７】
前記低分解能の領域分割処理手段は、色差信号についての変換符号化情報からブロック間の色信号ＤＣ成分の差が閾値以下かどうかを判別し、この差が閾値以下と判別したブロックを統合して分割された領域を形成する手段を有することを特徴とする請求項６に記載の映像の領域分割装置。
【請求項８】
前記低分解能の領域分割処理手段は、符号化モード情報から一定時間内の最頻符号化モード情報を位置ごとに抽出し、該最頻符号化モードの同一性を利用して分割された領域を形成する手段を有することを特徴とする請求項６または７に記載の映像の領域分割装置。
【請求項９】
前記低分解能の領域分割処理手段は、動き予測情報から得られる動きベクトルの方向および長さの類似性を利用して分割された領域を形成する手段を有することを特徴とする請求項６または７に記載の映像の領域分割装置。
【請求項１０】
前記複数の領域分割処理手段は、変換符号化情報を用いて分割された領域を形成する領域分割処理手段を含むことを特徴とする請求項５に記載の映像の領域分割装置。
【請求項１１】
前記変換符号化情報を用いて分割された領域を形成する領域分割処理手段は、輝度信号についての変換符号化情報からブロック間の輝度信号ＤＣ成分の差が閾値以下かどうかを判別し、この差が閾値以下と判別したブロックを統合して分割された領域を形成する手段を有することを特徴とする請求項１０に記載の映像の領域分割装置。
【請求項１２】
前記変換符号化情報を用いて分割された領域を形成する領域分割処理手段は、輝度信号についての変換符号化情報のＡＣ成分から輝度信号のエッジの有無と方向を推定するエッジ推定手段を有し、この推定結果を利用して分割された領域を形成することを特徴とする請求項１０または１１に記載の映像の領域分割装置。
【請求項１３】
前記エッジ推定手段は、輝度信号についての変換符号化情報の水平方向および垂直方向それぞれのＡＣ成分部分絶対値和を利用して輝度信号のエッジの有無と方向を推定することを特徴とする請求項１２に記載の映像の領域分割装置。
【請求項１４】
前記エッジ推定手段は、前記ＡＣ成分部分絶対値和と閾値の比較および水平方向および垂直方向それぞれのＡＣ成分部分絶対値和の大小関係あるいは両者の比を利用して輝度信号のエッジの有無と方向を推定することを特徴とする請求項１３に記載の映像の領域分割装置。
【請求項１５】
前記変換符号化情報を用いて分割された領域を形成する領域分割処理手段は、ブロック単位以上の分解能で領域分割を行うことを特徴とする請求項１２に記載の映像の領域分割装置。
【請求項１６】
前記複数の領域分割処理手段は、輝度信号と色差信号の画素情報を用いて分割された領域を形成する領域分割処理手段を含むことを特徴とする請求項１に記載の映像の領域分割装置。
【請求項１７】
前記輝度信号と色差信号の画素情報を用いて分割された領域を形成する領域分割処理手段は、輝度信号と色差信号のエッジを個別に検出し、検出されたエッジを利用して分割された領域を形成する特徴とする請求項１６に記載の映像の領域分割装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の領域分割装置に関し、特に、圧縮符号化データを部分的に復号して得られる情報を用いて、高速かつ高精度に分割された領域を形成することができる領域分割装置に関するものである。
【背景技術】
【０００２】
従来、映像の領域分割技術として、Cannyエッジ検出方式、動的輪郭モデルであるスネークに基づく手法が知られている。映像は非常に広い信号帯域を持ち、膨大なデータ量を必要とするので、その伝送や記録は圧縮符号化データの形で行われるのが一般的であり、このような圧縮符号化データの形の映像に、従来の領域分割技術を適用する場合、圧縮符号化データは一旦画素領域まで復号され、画素領域で分割された領域が形成される。
【非特許文献１】J.Canny“A Computational Approach to Edge Detection”IEEE Trans. on Pattern Analysis and Machine Intelligence 8(6),1986.
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の領域分割技術では、処理負荷の大きい復号処理により圧縮符号化データを一旦画素領域まで復号した後、分割された領域を形成するため、本来の領域分割処理に加えて圧縮符号化データの復号処理を必要とし、多大の計算コストがかかるという課題がある。また、処理速度が遅いという課題もある。
【０００４】
動的輪郭モデルであるスネークに基づく手法は、領域分割の精度に優れているが、膨大な計算量の反復演算を必要としており、また、領域分割の精度が初期形状やパラメータ設定に依存しやすいという課題がある。
【０００５】
本発明の目的は、前述した従来技術の課題を解決し、圧縮符号化データを部分的に復号して得られる情報を用いて、高速かつ高精度に分割された領域を形成することができる領域分割装置を提供することにある。
【課題を解決するための手段】
【０００６】
前記した課題を解決するために、本発明は、圧縮符号化された映像を複数の領域に分割する映像の領域分割装置において、圧縮符号化データを部分的に復号する部分復号手段と、前記部分復号手段で部分的に復号された情報を用いて分割された領域を形成する少なくとも１つの領域分割処理手段を含み、互いに異なる分解能で分割された領域を形成する複数の領域分割処理手段とを備えた点に第１の特徴がある。
【０００７】
また、本発明は、前記複数の領域分割処理手段が、領域分割の分解能の低いものから高いものへと階層化され、該階層に従って順次、分割された領域を形成する点に第２の特徴がある。
【０００８】
また、本発明は、前記複数の領域分割処理手段の各々が、上位階層の領域分割処理手段の分割結果を利用して分割された領域を形成する点に第３の特徴がある。
【０００９】
また、本発明は、前記複数の領域分割処理手段が、符号化情報の割り当て単位に応じて階層化された領域分割処理手段を含む点に第４の特徴がある。
【００１０】
また、本発明は、前記複数の領域分割処理手段が、符号化情報の割り当て単位ごとの符号化情報を用いて分割された領域を形成する領域分割処理手段を含む点に第５の特徴がある。
【００１１】
また、本発明は、前記複数の領域分割処理手段が、変換符号化情報と符号化モード情報と動き予測情報を用いて分割された領域を形成する低分解能の領域分割処理手段を含む点に第６の特徴がある。
【００１２】
また、本発明は、前記低分解能の領域分割処理手段が、色差信号についての変換符号化情報からブロック間の色信号ＤＣ成分の差が閾値以下かどうかを判別し、この差が閾値以下と判別したブロックを統合して分割された領域を形成する手段を有する点に第７の特徴がある。
【００１３】
また、本発明は、前記低分解能の領域分割処理手段が、符号化モード情報から一定時間内の最頻符号化モード情報を位置ごとに抽出し、該最頻符号化モードの同一性を利用して分割された領域を形成する手段を有する点に第８の特徴がある。
【００１４】
また、本発明は、前記低分解能の領域分割処理手段が、動き予測情報から得られる動きベクトルの方向および長さの類似性を利用して分割された領域を形成する手段を有する点に第９の特徴がある。
【００１５】
また、本発明は、前記複数の領域分割処理手段が、変換符号化情報を用いて分割された領域を形成する領域分割処理手段を含む点に第１０の特徴がある。
【００１６】
また、本発明は、前記変換符号化情報を用いて分割された領域を形成する領域分割処理手段が、輝度信号についての変換符号化情報からブロック間の輝度信号ＤＣ成分の差が閾値以下かどうかを判別し、この差が閾値以下と判別したブロックを統合して分割された領域を形成する手段を有する点に第１１の特徴がある。
【００１７】
また、本発明は、前記変換符号化情報を用いて分割された領域を形成する領域分割処理手段が、輝度信号についての変換符号化情報のＡＣ成分から輝度信号のエッジの有無と方向を推定するエッジ推定手段を有し、この推定結果を利用して分割された領域を形成する点に第１２の特徴がある。
【００１８】
また、本発明は、前記エッジ推定手段が、輝度信号についての変換符号化情報の水平方向および垂直方向それぞれのＡＣ成分部分絶対値和を利用して輝度信号のエッジの有無と方向を推定する点に第１３の特徴がある。
【００１９】
また、本発明は、前記エッジ推定手段が、前記ＡＣ成分部分絶対値和と閾値の比較および水平方向および垂直方向それぞれのＡＣ成分部分絶対値和の大小関係あるいは両者の比を利用して輝度信号のエッジの有無と方向を推定する点に第１４の特徴がある。
【００２０】
また、本発明は、前記変換符号化情報を用いて分割された領域を形成する領域分割処理手段が、ブロック単位以上の分解能で分割された領域を形成する点に第１５の特徴がある。
【００２１】
また、本発明は、前記複数の領域分割処理手段が、輝度信号と色差信号の画素情報を用いて分割された領域を形成する領域分割処理手段を含む点に第１６の特徴がある。
【００２２】
さらに、本発明は、前記輝度信号と色差信号の画素情報を用いて分割された領域を形成する領域分割処理手段が、輝度信号と色差信号のエッジを個別に検出し、検出されたエッジを利用して分割された領域を形成する点に第１７の特徴がある。
【発明の効果】
【００２３】
本発明では、圧縮符号化データを部分的に復号することにより得られる情報を用いて分割された領域を形成し、また、互いに異なる分解能で分割された領域を形成するので、計算量を少なくして処理コストを大幅に低減させることができ、また、要求される処理速度や分解能を勘案して適当な分解能での領域分割結果を適宜選択して得ることができる。
【００２４】
また、複数の領域分割処理手段を階層化し、上位の分割結果を順次利用して分割された領域を形成することにより、高速かつ効率的に分割された領域を形成することが可能になる。さらに、符号化情報を用いてエッジ推定を行うことにより、符号化情報を用いるにも拘わらず、符号化単位以上の分解能で分割された領域を形成することが可能になる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る映像の領域分割装置の一実施形態を示すブロック図である。以下では、国際標準であるMPEG-1ビデオ（ISO/IEC11172-2）で符号化された動画像に対して分割処理を適用した例について説明するが、本発明は、この符号化方式に限定されず、他の符号化方式にも適用できる。
【００２６】
図１において、システム全体の入力として映像の圧縮符号化データが与えられる。この圧縮符号化データは、部分復号部１に入力される。部分復号部１は、圧縮符号化データを部分的に復号し、輝度信号および色差信号についての変換符号化情報（ＤＣＴ係数）、マクロブロックごとの動き予測（動きベクトル情報）および符号化モード情報を生成する。
【００２７】
なお、ここでの変換符号化情報（ＤＣＴ係数）とは、MPEG方式のＰ，Ｂピクチャのようにフレーム間の誤差が変換符号化されたものではなく、Ｉピクチャのようにフレームそのものが変換符号化されて生成される情報を意味する。したがって、Ｐ，Ｂピクチャの場合には、その情報をここで意味する変換符号化情報に再構成して処理対象にしたり、当該フレームではマクロブロックごとの動き予測（動きベクトル情報）や符号化モード情報処理を用いた領域分割処理のみを行うなどといった配慮を必要とする。
【００２８】
第１の領域分割処理部２は、変換符号化情報判定部２−１と符号化モード情報判定部２−２と動き予測情報判定部２−３とから構成され、色差信号についての情報を用いて大まかな領域分割を行う。
【００２９】
変換符号化情報判定部２−１は、色差信号についての変換符号化情報のＤＣ成分の差を調べ、その差が閾値以下のブロックを統合することにより大まかに分割された領域を形成する。
【００３０】
符号化モード情報判定部２−２は、まず、対象フレームを含む時間的前後のフレームにおける同位置の符号化モード情報を累計し、出現頻度が多い符号化モードを代表値とする。次に、変換符号化情報判定部２−１の分割結果に対して符号化モード代表値ごとの領域分割処理を施すことにより、より細かく分割された領域を形成する。
【００３１】
動き予測情報判定部２−３は、符号化モード情報判定部２−２による分割領域内のマクロブロックの動き予測情報の向きおよび長さの類似性を調べ、その類似性を基に符号化モード情報判定部２−２の分割結果に対して領域分割を施すことにより、さらに細かく分割された領域を形成する。
【００３２】
MPEG方式では動き予測（動きベクトル情報）や符号化モード情報がマクロブロック（１６×１６画素）単位の情報であるので、第１の領域分割処理部２によりマクロブロック単位の精度で分割された領域が形成される。
【００３３】
第１の領域分割処理部２の分割結果は、本装置の第１の領域分割結果として出力される。また、より細かい分割結果が要求される場合、第１の分割結果は第２の領域分割処理部３に与えられる。
【００３４】
なお、ＰピクチャやＢピクチャの場合には、上述したように、変換符号化情報判定部２−１での処理は行わず、符号化モード情報判定部２−２や動き予測情報判定部２−３での処理で分割された領域を分割結果として出力するようにすればよい。
【００３５】
第２の領域分割処理部３は、変換符号化情報判定部３−１で構成され、第１の分割結果および輝度信号についての情報を用いて、さらに細かく分割された領域を形成する。
【００３６】
変換符号化情報判定部３−１は、輝度信号についての変換符号化情報のＤＣ成分の差を調べ、第１の分割結果に対してこのＤＣ成分の差が閾値以下のブロックを分離することで、さらに細かく分割された領域を形成する。MPEG方式では変換符号化情報がブロック（８×８画素）単位の情報であるので、これによりブロック単位の精度で分割された領域が形成される。
【００３７】
さらに、輝度信号についての変換符号化情報のＡＣ成分からブロックごとのエッジ方向を推定し、推定されたエッジ方向を基にブロック単位以上に細かく分割された領域を形成する。
【００３８】
第２の領域分割処理部３による分割結果は、本装置の第２の分割結果として出力される。また、さらに細かい分割結果が要求される場合、第２の分割結果は第３の領域分割処理部４に与えられる。
【００３９】
以下に、第２の領域分割処理部３におけるエッジ方向の推定とそれに基づく領域分割について具体例を上げて説明する。ブロックにおけるエッジ方向を推定するために、まず、下記（１），（２）式により８×８ＤＣＴ係数（変換符号化情報）のブロックの０行目のＡＣ成分の絶対値和Ｈと０列目のＡＣ成分の絶対値和Ｖを求め、閾値と比較する。
【００４０】
【数１】
2005135249.tif 000003
【００４１】
【数２】
2005135249.tif 000004
【００４２】
ここで、ｄｊ，ｉは、ｊ行ｉ列のＤＣＴ係数を表す。
【００４３】
閾値との比較の結果、０行目のＡＣ成分の絶対値和Ｈが閾値以下、かつ０列目のＡＣ成分の絶対値和Ｖも閾値以下のときは、当該ブロック部分にエッジは存在しないと推定する。
【００４４】
また、０行目のＡＣ成分の絶対値和Ｈが閾値以上、かつ０列目のＡＣ成分の絶対値和Ｖが閾値以下のときは、当該ブロック部分に水平エッジが存在すると推定し、０行目のＡＣ成分の絶対値和Ｈが閾値以下、かつ０列目のＡＣ成分の絶対値和Ｖが閾値以上のときは、当該ブロック部分に垂直エッジが存在すると推定する。
【００４５】
０行目のＡＣ成分の絶対値和Ｈが閾値以上、かつ０列目のＡＣ成分の絶対値和Ｖも閾値以上のときは、低域要素の符号（正負）を調べるとともに絶対値Ｈ，Ｖ同士の大小を比較してエッジ方向を推定する。
【００４６】
図２は、右上がり階段状映像のレベルおよびに対するＤＣＴ係数の例を示し、同図（ａ）は右下部分が黒で、左上部分が白の映像の場合であり、同図（ｂ）は、右下部分が白で、左上部分が黒の映像の場合である。
【００４７】
また、図３は、右下がり階段状映像のレベルおよびに対するＤＣＴ係数の例を示し、同図（ａ）は左下部分が黒で、右上部分が白の映像の場合であり、同図（ｂ）は、左下部分が白で、右上部分が黒の映像の場合である。
【００４８】
これらの図から明らかなように、右上がり方向のエッジを持つ場合にはＤＣＴ係数の低域要素（0,1）と（1,0）の正負が一致し、右下がり方向のエッジを持つ場合にはＤＣＴ係数の低域要素（0,1）と（1,0）の正負は一致しない。また、０行目のＡＣ成分の絶対値和Ｈと０列目のＡＣ成分の絶対値和Ｖとの大小関係（あるいはその比（Ｈ／Ｖ））によって右上がり、あるいは右下がりの角度が４５度より大きいか小さいかが推定できる。
【００４９】
以上のことを踏まえると、図２のように、低域要素（0,1）と（1,0）の正負が一致し、０行目のＡＣ成分の絶対値和Ｈが０列目のＡＣ成分の絶対値和Ｖより大きい（比（Ｈ／Ｖ）が１より大きい）とき、エッジ方向は０〜４５度の範囲内にあると推定できる。
【００５０】
また、低域要素（0,1）と（1,0）の正負が一致し、０行目のＡＣ成分の絶対値和Ｈが０列目のＡＣ成分の絶対値和Ｖより小さい（比（Ｈ／Ｖ）が１より小さい）とき、エッジ方向は４５〜９０度の範囲内にあると推定できる。
【００５１】
また、図３のように、低域要素（0,1）と（1,0）の正負が一致せず、０行目のＡＣ成分の絶対値和Ｈが０列目のＡＣ成分の絶対値和Ｖより大きい（比（Ｈ／Ｖ）が１より大きい）とき、エッジ方向は１３５〜１８０度の範囲内にあると推定できる。
【００５２】
また、低域要素（0,1）と（1,0）の正負が一致せず、０行目のＡＣ成分の絶対値和Ｈが０列目のＡＣ成分の絶対値和Ｖより小さい（比（Ｈ／Ｖ）が１より小さい）とき、エッジ方向は９０〜１３５度の範囲内にあると推定できる。
【００５３】
以上のようにして推定されたエッジ方向で、これまでに得られた領域分割結果を滑らかに連結し直すことにより、符号化情報単位（ブロック）以上の高解像度で分割された領域を形成することができる。
【００５４】
第３の領域分割処理部４は、輝度信号および色差信号エッジ検出部４−１で構成され、第２の分割結果および画素情報を用いて、より細かく画素単位で分割された領域を形成する。
【００５５】
輝度信号エッジ検出では、例えばCannyエッジ検出器を用いて輝度信号のエッジを検出し、色差信号エッジ検出では、色差信号を輝度信号と同じサイズにスケーリングした後、Cannyエッジ検出器を用いて色差信号のエッジを検出する。これらのエッジ検出結果を第２の分割結果に重ね合わせて最適化を図ることにより、さらに細かく画素単位で分割された領域を形成することができる。第３の領域分割処理部４による分割結果は、本装置の第３の分割結果として出力される。
【００５６】
上記実施形態では、第１〜第３の領域分割処理部２〜４を階層的に構成し、各領域分割処理部の分割結果をそれぞれ出力させるので、必要な分解能での分割結果を適宜選択して得ることができる。なお、第３の領域分割処理部４は、画素レベルまで復号された情報を必要とするが、第３の領域分割処理部４による処理は必要時のみ行えばよいので、装置全体としての処理負担は軽くすることができる。また、第３の領域分割処理部４による分割結果までは要求されない場合には第３の領域分割処理部４は不要である。
【００５７】
以上の説明から明らかなように、本発明によれば、映像の圧縮符号化データを部分的に復号することにより得られる情報を用いて分割された領域を形成するので、処理コストを大幅に低減させることができる。また、複数の領域分割処理部を階層的に構成して段階的に細かく分割された領域を形成し、各段階の分割結果を得ることができるようにしているので、処理速度や分解能を勘案して適当な分解能での分割結果を適宜選択して出力させることができる。
【図面の簡単な説明】
【００５８】
【図１】本発明に係る映像の領域分割装置の一実施形態を示すブロック図である。
【図２】エッジ方向（右上がり階段状映像の例）の推定処理の説明図である。
【図３】エッジ方向（右下がり階段状映像の例）の推定処理の説明図である。
【符号の説明】
【００５９】
１・・・部分復号部、２・・・第１の領域分割処理部、２−１，３−１・・・変換符号化情報判定部、２−２・・・符号化モード情報判定部、２−３・・・動き予測情報判定部、３・・・第２の領域分割処理部、４・・・第３の領域分割処理部、４−１・・・エッジ検出部
【図１】
2005135249.tif 000005
【図２】
2005135249.tif 000006
【図３】
2005135249.tif 000007