(57)【要約】【課題】動画像に対する人間の視覚特性を高精度に表す視覚優先度情報を得ることができる動画像符号化のための前処理方式を提供すること。【解決手段】入力画像の画面内のオブジェクトを抽出し（Ｓ１）、抽出されたオブジェクトごとの注視度パラメータＶ（ｊ）を算出する（Ｓ２）。また、オブジェクトに含まれる各マクロブロックのテクスチャ属性パラメータｔ（ｋ）を決定する（Ｓ３）。　注視度パラメータＶ（ｊ）とテクスチャ属性パラメータｔ（ｋ）とを用いてマクロブロックごとの視覚優先度パラメータｗ（ｋ）を算出する。このパラメータｗ（ｋ）は、適応量子化器に出力され、量子化パラメータの決定に使用される。【選択図】　　図２
2004023288.tif 000002
【特許請求の範囲】
【請求項１】
動画像符号化のための前処理方式において、
入力される画面単位に解析を行い、マクロブロックごとの視覚優先度情報を算出する視覚優先度情報算出手段を備え、
前記視覚優先度情報算出手段により算出した視覚優先度情報を符号化部へ出力することを特徴とする動画像符号化のための前処理方式。
【請求項２】
前記視覚優先度情報算出手段は、オブジェクトごとの注視度とマクロブロックごとのテクスチャ属性を考慮して視覚優先度情報を算出することを特徴とする請求項１に記載の動画像符号化のための前処理方式。
【請求項３】
前記オブジェクトは、同一の属性を有するマクロブロックのグループ化に基づいて抽出されたものであることを特徴とする請求項２に記載の動画像符号化のための前処理方式。
【請求項４】
前記マクロブロックのグループ化のための分類基準値は、対応する輝度成分、色差成分、動き成分のうちの少なくとも一つの指標を用いて定義されたものであることを特徴とする請求項３に記載の動画像符号化のための前処理方式。
【請求項５】
前記オブジェクトごとの注視度を、該オブジェクトに含まれるマクロブロックの動き量の平均、マクロブロックごとに動きが散乱している度合、該オブジェクトがピクチャ内で目立つ度合いのうちの少なくとも一つの指標を用いて定義することを特徴とする請求項２ないし４のいずれかに記載の動画像符号化のための前処理方式。
【請求項６】
前記マクロブロックごとのテクスチャ属性を、該マクロブロックを構成する輝度ブロックの分散値を考慮して決めることを特徴とする請求項２ないし５のいずれかに記載の動画像符号化のための前処理方式。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化のための前処理方式に関し、特に、動画像に対する人間の視覚特性を高精度に表す視覚優先度情報を得ることができる動画像符号化のための前処理方式に関するものである。
【０００２】
【従来の技術】
動画像符号化の国際標準であるＭＰＥＧ−２の符号化検証モデルＴｅｓｔ　Ｍｏｄｅｌ５［１］においては、図５にその概念を示すよう、マクロブロックごとの発生ビット数を入力し、目標符号化ビット数を出力する仮想バッファを導入し、発生ビット数の目標符号化ビット数に対する過不足をこの仮想バッファに蓄積し、量子化制御にフィードバックする。
【０００３】
ここではマクロブロック（１６×１６画素）ごとの重み係数、すなわち視覚感度ｗ（ｋ）を下記（１）式により算出し、量子化パラメータを、視覚感度ｗ（ｋ）と仮想バッファの占有量ｄとを用いて下記（２）式により算出する。なお、ピクチャの目標ビット数をＴ、ピクチャ内マクロブロック数をＭＢｃｎｔとすると、１マクロブロックあたりの目標符号化ビット数は、Ｔ／ＭＢｃｎｔで表される。
【０００４】
2004023288.tif 000003
量子化パラメータ＝占有量ｄ×視覚感度ｗ（ｋ）　　　　　　　　・・・（２）
【０００５】
【発明が解決しようとする課題】
しかしながら、前記従来技術においては、（１）式から明らかなように、基本的に視覚感度をマクロブロックの輝度分散のみで決定しており、マクロブロックごとの重み付けが動画像に対する人間の視覚感度に対応した最適なものには必ずしもなっていないという問題がある。
【０００６】
また、マクロブロックを構成する８×８画素のブロックの輝度分散ａｘ（ｋ）のうちの最も小さい輝度分散ａｃｔ（ｋ）を用いて当該マクロブロックの視覚感度ｗ（ｋ）を算出しているため、精細領域中に平坦ブロックが単独で存在する場合に、算出した視覚感度は、平坦ブロックを含むマクロブロックとそれを含まないマクロブロックとで大きく異なり、性質がほぼ等しいと考えられる精細領域どうしの視覚感度が大きく変動するという問題がある。また、これにより算出した量子化パラメータを用いて量子化制御を行うと、単独で存在する平坦ブロックを含むマクロブロックは、ノイズがあまり目立たないにもかかわらず量子化が精細に行われ、それに対して多くのビット数が配分されるため、最適なビット配分がなされているとは言えない。
【０００７】
本発明の目的は、動画像に対する人間の視覚特性を高精度に表す視覚優先度情報を得ることができる動画像符号化のための前処理方式を提供することを目的とするものであり、これにより得られる視覚優先度情報を用いて動画像符号化における量子化制御を行えば最適なビット配分で画面全体の主観画質の大幅な向上が可能となる。
【０００８】
【課題を解決するための手段】
前記した課題を解決するために、本発明は、入力される画面単位に解析を行い、マクロブロックごとの視覚優先度情報を算出する視覚優先度情報算出手段を備え、前記視覚優先度情報算出手段により算出した視覚優先度情報を符号化部へ出力する点に第１の特徴がある。
【０００９】
また、本発明は、前記視覚優先度情報算出手段が、オブジェクトごとの注視度とマクロブロックごとのテクスチャ属性を考慮して視覚優先度情報を算出する点に第２の特徴がある。
【００１０】
また、本発明は、前記オブジェクトが、同一の属性を有するマクロブロックのグループ化に基づいて抽出されたものである点に第３の特徴がある。
【００１１】
また、本発明は、前記マクロブロックのグループ化のための分類基準値が、対応する輝度成分、色差成分、動き成分のうちの少なくとも一つの指標を用いて定義されたものである点に第４の特徴がある。
【００１２】
また、本発明は、前記オブジェクトごとの注視度を、該オブジェクトに含まれるマクロブロックの動き量の平均、マクロブロックごとに動きが散乱している度合、該オブジェクトがピクチャ内で目立つ度合いのうちの少なくとも一つの指標を用いて定義する点に第５の特徴がある。
【００１３】
さらに、本発明は、前記マクロブロックごとのテクスチャ属性を、該マクロブロックを構成する輝度ブロックの分散値を考慮して決める点に第６の特徴がある。
【００１４】
第１の特徴によれば、解析を画面単位に行ってマクロブロックごとの視覚優先度情報を算出しているため、マクロブロックの輝度分散のみを基準にして視覚感度を算出するものに比べて人間の視覚特性により適合した情報を得ることができる。
【００１５】
また、第２、第５および第６の特徴によれば、オブジェクトごとの注視度とマクロブロックごとのテクスチャ属性により動画像に対する人間の視覚感度が高精度に反映された視覚優先度情報を算出することができる。
【００１６】
また、第３および第４の特徴によれば、オブジェクトを適切に抽出することができ、オブジェクトごとの注視度の算出に供することができる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る前処理部１と動画像符号化部２を備えた動画像符号化装置の一例のブロック構成図である。同図において、入力画像（動画像）は、動き補償（ＭＣ）フレーム間予測及びＤＣＴ符号化器３に入力され、動き補償フレーム間予測によって得られた予測誤差がＤＣＴ係数に変換される。このＤＣＴ係数は、適応量子化器４で量子化レベルに置き換えられ、さらに可変長符号化部５で可変長符号化されて符号化データとなり、動きベクトル情報とともに多重化された後、バッファメモリに蓄えられる。
【００１８】
前処理装置１は、詳細は後述するが、入力画像に基づいて該入力画像に対する人間の視覚感度を推定し、例えば１６×１６画素のマクロブロックごとの視覚優先度情報を算出し、この視覚優先度情報を適応量子化器４に出力する。
【００１９】
適応量子化器４は、前処理部１から入力される視覚優先度情報に応じて量子化パラメータを算出し、この量子化パラメータに基づいて一画面内における各マクロブロックのビット配分を決定する。
【００２０】
図２は、前処理部１における処理の一実施形態のフロー図である。以下の説明では、各マクロブロックをｋで識別し、画面内に存在する各オブジェクトをｊで識別する。
【００２１】
まず、入力画像から画面単位でオブジェクトを抽出する（Ｓ１）。このオブジェクトの抽出は、マクロブロックをその属性に基づいてグループ化することにより行うことができ、グループ化のための基準とする属性（分類基準値）は、マクロブロックごとの輝度成分、色差成分、動き量のうちの少なくとも一つの指標を用いて定義することができる。この処理により、画面内の、例えば人物、車両、背景、あるいはそれらが画像の特徴によりさらに区分された部分ごとにマクロブロックがグループ化される。以下では、あるオブジェクトを構成するマクロブロック、すなわちグループ化されたマクロブロックを総称しＭＢグループと呼ぶ。
【００２２】
図３は、動き量と２つの色差成分Ｐｂ、Ｐｒ（０〜２５５レベル）とからなる３次元座標を分類基準値とする例を示し、一画面内の各マクロブロックについて動き量および色差成分Ｐｂ、Ｐｒを求めてこの３次元座標上にプロットし、３次元座標位置の近いマクロブロックを同一グループとしてグループ化する。例えば、動き量を２段階に分け、色差成分Ｐｂ、Ｐｒをそれぞれ５段階に分ければ、マクロブロックを最大５０種類の属性にグループ化することができる。
【００２３】
なお、色差成分Ｐｂ、Ｐｒは、マクロブロックにおける各色差成分の平均値とすればよく、マクロブロックの動き量は、まず、再生順における直前のフレームを参照してマクロブロックの動きベクトルＶｆ（ｋ）を求め、次に、この動きベクトルＶｆ（ｋ）に対してパンやズームなどのカメラ操作に起因する成分を除くグローバル動き補正を行ってオブジェクトに特化した動きのみを示す補正ベクトルＶｇ（ｋ）を求め、その絶対値｜Ｖｇ（ｋ）｜を動き量とすることにより求めることができる。
【００２４】
次に、Ｓ１で抽出した各オブジェクトについてその注視度パラメータＶ（ｊ）を算出する（Ｓ２）。オブジェクトごとの注視度パラメータＶ（ｊ）は、該オブジェクトに含まれるマクロブロックの動き量の平均Ｌ（ｊ）、オブジェクト内でマクロブロックごとに動きが散乱している度合Ｒ（ｊ）、当該オブジェクトがピクチャ内で目立つ度合いＫ（ｊ）のうちの少なくとも一つの指標を用いて定義することができる。以下に前記３つの指標Ｌ（ｊ）、Ｒ（ｊ）、Ｋ（ｊ）を用いて注視度パラメータＶ（ｊ）を算出する例について説明する。
【００２５】
まず、オブジェクトに含まれるマクロブロックの動き量の平均Ｌ（ｊ）を、グローバル補正前の動き量Ｖｆ（ｋ）の絶対値｜Ｖｆ（ｋ）｜のＭＢグループ内平均を求めることにより算出する。
【００２６】
また、オブジェクト内でマクロブロックごとに動きが散乱している度合Ｒ（ｊ）を、同一ＭＢグループ内の全マクロブロックについて、同一ＭＢグループに含まれる隣接マクロブロック（これをｋ′で識別する。）に対するＶｇ（ｋ）の散乱度Ｒ（ｊ，ｋ）を下記（３）式に従い算出した上で、ＭＢグループ内平均を求めることにより算出する。
【００２７】
2004023288.tif 000004
ここで、Ｖｇｘ、Ｖｇｙは、Ｖｇのそれぞれｘ軸方向成分、ｙ軸方向成分を表す。
【００２８】
また、当該オブジェクトがピクチャ内で目立つ度合いＫ（ｊ）を、当該オブジェクトの希少性Ｋａ（ｊ）と異質性Ｋｂ（ｊ）とから算出する。希少性Ｋａ（ｊ）は、前記マクロブロックの分類基準と同様に、ＭＢグループ内の平均動き量、平均色差成分により算出したＭＢグループの分類基準値に基づいて、例えば５０種類に分類し、それら分類されたものの画面内での発生頻度を表すヒストグラムを求め、発生頻度が小さいもの大きな値をとるよう定義される。
【００２９】
また、異質性Ｋｂ（ｊ）は、異なるＭＢグループと隣接するポイント（これをｐで識別する。）において、ＭＢグループ間での分類基準値の差Ｋｂ（ｊ，ｐ）を求め、この差Ｋｂ（ｊ，ｐ）のＭＢグループ内平均を求めることにより算出できる。
【００３０】
オブジェクトがピクチャ内で目立つ度合いＫ（ｊ）は、前記のようにして算出した希少性Ｋａ（ｊ）と異質性Ｋｂ（ｊ）とから下記（４）、（５）式により算出できる。ただし、関数Ｓは、引数とする関数の出力を平滑化するために導入するシグモイド関数である。
2004023288.tif 000005
【００３１】
各オブジェクトについての注視度パラメータＶ（ｊ）は、前記のようにして算出した３つの指標Ｌ（ｊ）、Ｒ（ｊ）、Ｋ（ｊ）を用いて下記（６）式により算出できる。
Ｖ（ｊ）＝Ｓ（Ｋ（ｊ））／（Ｓ（Ｌ（ｊ））×Ｓ（Ｒ（ｊ）））・・・（６）
【００３２】
これにより算出した注視度パラメータＶ（ｊ）は、動きが小さく、動きの散乱が小さく、ピクチャ内で目立っているオブジェクトに対して大きな値となり、人間の動視力特性および注視特性に合ったものとなる。
【００３３】
図２に戻って、Ｓ３では、マクロブロック単位でテクスチャ属性パラメータを決定する。マクロブロックごとのテクスチャ属性パラメータは、マクロブロックを構成する輝度ブロックの分散値を考慮して決めることができる。
【００３４】
図４は、このテクスチャ属性パラメータの決定の原理説明図であり、まず、マクロブロック中に存在する、例えば８×８画素のブロックの輝度分散値ｌｖ（ｍ）（ここではブロックをｍで識別する。）としては、当該ブロック及びその上下左右に隣接する４ブロックの計５ブロックの輝度分散値にランク　オーダ　フィルタ（ｒａｎｋ　ｏｒｄｅｒ　ｆｉｌｔｅｒ）を適用し、最低値以外の輝度分散値、例えば２番目に小さな値を抽出したものを補正された輝度分散値ｃｌｖ（ｍ）として適用する。なお、各ブロックについての補正された輝度分散値として最小値を抽出すると、単独の孤立した平坦ブロックの輝度分散値が適用されるケースがあるため、前記のように最低値以外の輝度分散値、例えば２番目に小さな値を適用することが好ましい。
【００３５】
マクロブロック内のブロックについて、以上のようにして抽出した輝度分散のうちの最小値あるいは平均値を当該マクロブロックの補正輝度分散値Ａ（ｋ）とする。
【００３６】
また、飛び越し走査により動画像が再生されるものである場合、図４に示すように、フレームにおけるブロックの輝度分散ａｘ，ｙ以外に、当該フレームを構成する第１フィールドおよび第２フィールドのブロックにおける輝度分散ｂｘ，ｙにもフィルタを適用してそれぞれ、例えば２番目に小さな値ａ′０，０、・・・を抽出し、それらを含めた輝度分散のうちの最小値あるいは平均値を当該マクロブロックの補正輝度分散値Ａ（ｋ）とすることが好ましい。
【００３７】
テクスチャ属性パラメータｔ（ｋ）は、前記のようにして算出した補正輝度分散値Ａ（ｋ）を関数Ｓに適用することにより下記（７）式で求めることができる。
ｔ（ｋ）＝Ｓ（Ａ（ｋ））　　　　　　　　　　　　　　　　　　・・・（７）
【００３８】
また、ＭＢグループどうしの境界に位置するマクロブロックでは、隣接するＭＢグループの属性が混在している可能性が高い。さらに、そのようなマクロブロックは、人間は色の変化が大きい部分あるいはエッジ部を注視する傾向がある、という部分に該当する可能性が高い。そのため、このような領域では、視覚優先度を高くすることにより主観画質の向上が期待できる。そこで、ＭＢグループの境界に位置するマクロブロックＢＭＢに対し、テクスチャ属性パラメータの補正を以下のとおり行うこととする。
【００３９】
まず、ＢＭＢおよびその上下左右に隣接する４つのマクロブロックのオブジェクト注視度パラメータＶ（ｊ０）の最大値をＶｍａｘとする。さらに、ＢＭＢおよびその上下左右に隣接する４つのマクロブロックのテクスチャ属性パラメータｔ（ｋ）の最小値をｔｍｉｎとする。これら最大値および最小値を用いてＢＭＢのテクスチャ属性パラメータｔ（ｋ）を下記（８）式で求める。
ｔ（ｋ）＝（Ｖ（ｊ０）／Ｖｍａｘ）×ｔｍｉｎ　　　　　　　　・・・（８）
【００４０】
次に、Ｓ４（図２）では、前記（６）、（７）あるいは（８）式で求めたＶ（ｊ）およびｔ（ｋ）を用い、下記（９）式により視覚優先度パラメータｗ（ｋ）を算出する。
ｗ（ｋ）＝ｔ（ｋ）／Ｖ（ｊ）　　　　　　　　　　　　　　　　・・・（９）この視覚優先度パラメータｗ（ｋ）は、適応量子化器４（図１）に出力され、量子化パラメータの決定に使用される。
【００４１】
以上、本発明の実施形態について説明したが、本発明は、種々に変更および修正が可能である。例えば、オブジェクトの抽出、すなわちマクロブロックのグループ化に際し、分類基準により分類されたＭＢグループの面積が小さい場合、上下左右方向で隣接する、分類基準値の近い隣接ＭＢグループを、ＭＢグループの面積が予め決められた面積を上回るまで統合して最終的なＭＢグループとすることができ、これによれば算出される視覚優先度の精度を低下させることなく処理を軽減することができる。
【００４２】
また、オブジェクトに含まれるマクロブロックの動き量の平均Ｌ（ｊ）の算出に際し、他のものから極端に異なっている動き量を算出対象から除外するようにすることにより、ノイズなどの影響をなくすことができる。
【００４３】
【発明の効果】
以上に詳細に説明したように、本発明によれば、符号化に先立って画面内のオブジェクトおよびマクロブロックの構成を高精度に解析することができ、符号化部における画面内の局所的ビット配分の最適化に供する解析データを得ることができる。これにより従来の動画像符号化で問題とされていた、狭帯域下でのＨＤＴＶ（ｈｉｇｈ　ｄｅｆｉｎｉｔｉｏｎ　ＴＶ）放送における画質劣化を解消できる。
【００４４】
放送局向け映像サービスに本発明を適用すれば、圧縮伝送用コーディックのさらなる高効率化が見込まれ、高画質のＨＤＴＶ伝送が低レートで実現可能になり、ＳＮＧ（ｓａｔｅｌｌｉｔｅ　ｎｅｗｓ　ｇａｔｈｅｒｉｎｇ）やＦＰＵ（ｆｉｌｅｄ　ｐｉｃｋ　ｕｐ）などの狭帯域下での映像サービスをより一層充実させることができる。
【００４５】
また、ＦＴＴＨ（ｆｉｂｅｒ　ｔｏ　ｔｈｅ　ｈｏｍｅ）などのブロードバンド系の映像提供サービスに本発明を適用すれば、低レート・高画質のＨＤＴＶ符号化技術の活用によりＩＰベースのＨＤＴＶ配信が可能になる。
【００４６】
なお、本発明は、高画質な映像伝送システムを実現するために、ＭＰＥＧ−２やＭｏｔｉｏｎ　ＪＰＥＧ２０００によるＨＤＴＶ／ＳＤＴＶ（ｓｔａｎｄａｒｄ　ｄｅｆｉｎｉｔｉｏｎ　ＴＶ）など動画像圧縮符号化を扱うシステム全般に適用できる。
【図面の簡単な説明】
【図１】本発明に係る前処理部と動画像符号化部を備えた動画像符号化装置の一例のブロック構成図である。
【図２】図１の前処理部における処理の一実施形態のフロー図である。
【図３】オブジェクト抽出のための分類基準の説明図である。
【図４】テクスチャ属性パラメータの決定の原理説明図である。
【図５】ＭＰＥＧ−２の符号化検証モデルＴｅｓｔ　Ｍｏｄｅｌ５［１］の概念図である。
【符号の説明】
１・・・前処理部、２・・・動画像符号化部、３・・・ＭＣ＋ＤＣＴ符号化器、４・・・適応量子化器、５・・・可変長符号化部
【図１】
2004023288.tif 000006
【図２】
2004023288.tif 000007
【図３】
2004023288.tif 000008
【図４】
2004023288.tif 000009
【図５】
2004023288.tif 000010