(57)【要約】【課題】例えば映像信号を構成する、一画像内における情報量の偏在に適切に対応した符号化処理を実現することが可能とする。【解決手段】映像信号符号化装置（１０）は、映像信号を構成する画像が分割された小領域（ＭＢ）の単位で、信号特性のレベルを測定する測定手段（１０４等）と、複数の小領域を、測定された信号特性のレベルに基づいて、大領域（Unit）として、連結する連結手段（１０４等）と、大領域を単位として、画像の符号化処理のための量子化スケールを決定する決定手段（１０４等）と、決定された量子化スケールに基づいて、画像のうち少なくとも大領域の符号化処理を行う符号化手段（１０５）とを備える。【選択図】  図５
2007235705.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を構成する画像が複数の小領域に分割され、分割された前記小領域の単位で、信号特性のレベルを測定する測定手段と、
前記複数の小領域を、測定された前記信号特性のレベルに基づいて、一又は複数の大領域として、連結する連結手段と、
前記大領域を単位として、前記画像の符号化処理のための量子化スケールを決定する決定手段と、
決定された前記量子化スケールに基づいて、前記画像のうち少なくとも前記大領域の符号化処理を行う符号化手段と
を備えることを特徴とする映像信号符号化装置。
【請求項２】
前記連結手段は、前記複数の小領域の全部を、前記一又は複数の大領域として、連結することを特徴とする請求項１に記載の映像信号符号化装置。
【請求項３】
前記連結手段は、前記複数の小領域の一部を、前記一又は複数の大領域として、連結し、
前記決定手段は、連結されていない前記小領域においては、（i）当該小領域を１単位として、前記量子化スケールを決定する、又は、（ii）一定数の当該小領域を１単位として、前記量子化スケールを決定することを特徴とする請求項１又は２に記載の映像信号符号化装置。
【請求項４】
前記連結手段は、一の前記小領域を基準にして、上下左右、又は、斜めに位置する複数の他の前記小領域を連結することを特徴とする請求項１から３のうちいずれか一項に記載の映像信号符号化装置。
【請求項５】
前記決定手段は、前記量子化スケールとして、一定値を決定することを特徴とする請求項１から４のうちいずれか一項に記載の映像信号符号化装置。
【請求項６】
前記決定手段は、前記符号化処理の前に、前記量子化スケールを決定することを特徴とする請求項１から５のうちいずれか一項に記載の映像信号符号化装置。
【請求項７】
前記決定手段は、前記小領域の夫々に対する前記符号化処理の際に、前記量子化スケールを決定することを特徴とする請求項１から６のうちいずれか一項に記載の映像信号符号化装置。
【請求項８】
前記映像信号に対して符号化が行われた符号化信号を記憶する、所定の記憶容量の記憶手段を更に備え、
前記決定手段は、（i）記憶された前記符号化信号の信号量、及び、（ii）前記所定の記憶容量に基づいて、前記量子化スケールを決定することを特徴とする請求項１から７のうちいずれか一項に記載の映像信号符号化装置。
【請求項９】
前記信号特性の分布を示すマップ情報を作成するマップ情報作成手段を更に備え、
前記決定手段は、作成された前記マップ情報に基づいて、前記量子化スケールを決定することを特徴とする請求項１から８のうちいずれか一項に記載の映像信号符号化装置。
【請求項１０】
映像信号を構成する画像が複数の小領域に分割され、分割された前記小領域の単位で、信号特性のレベルを測定する測定工程と、
前記複数の小領域を、測定された前記信号特性のレベルに基づいて、一又は複数の大領域として、連結する連結工程と、
前記大領域を単位として、前記画像の符号化処理のための量子化スケールを決定する決定工程と、
決定された前記量子化スケールに基づいて、前記画像のうち少なくとも前記大領域の符号化処理を行う符号化工程と
を備えることを特徴とする映像信号符号化方法。
【請求項１１】
請求項１から９のうちいずれか一項に記載の映像信号符号化装置に備えられたコンピュータを制御する制御用のコンピュータプログラムであって、該コンピュータを、前記測定手段、前記連結手段、前記決定手段、及び前記符号化手段のうち少なくとも一部として機能させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば光ディスク、磁気ディスク、磁気テープ等の情報記録媒体に動画の映像信号を蓄積用符号化して記録するシステムや、伝送路を介して動画の画像信号を伝送するシステム等において使用される映像信号符号化装置及び方法、並びに、これら映像信号符号化装置において実行されるコンピュータプログラムの技術分野に属する。
【背景技術】
【０００２】
映像信号を構成する一つの画像（一画面、一ピクチャ、一フレーム、又は、一フィールド）を、例えばＭＰＥＧ（Moving Picture Expert）方式に基づいた符号化を行う際には、一般的に、単位時間当たりのビット数、所謂、ビットレート（bps：bit per second：「ビット／秒」）の制御が行なわれている。
【０００３】
特に、H.264ReferenceSofwareについては、JMというモデルが提唱されている。その中で提案されているBasic Unitの概念は、例えばＭＰＥＧ方式に基づいた符号化処理の開始時点で、１つのBasic Unitに対して、固定数のマクロブロック（ＭＢ：Macro Block、本願発明では、以下、適宜「ＭＢ」と称す）が決定される。符号化処理の開始以降は、１つのBasic Unitに対して決定されたＭＢの数は変更されることはなく、固定された一定数のＭＢによって構成される１つのBasic Unitを単位として、符号化処理の際の量子化スケール、所謂、Ｑ値の制御が行われる。
【０００４】
このBasic Unitに基づいた符号化処理の手法は、固定された一定数のＭＢ毎に量子化スケールが決定され、符号化処理が行われる。これによって、一つのピクチャ毎に決定される量子化スケールの制御と比較して、目標となるビットレート、所謂、ターゲットビットレートに合わせやすいという利点がある。加えて、このBasic Unitに基づいた符号化処理の手法は、一つのＭＢ毎に決定される量子化スケールの制御と比較して、例えば符号化差分量の多い絵柄等の情報量の相対的に多い部分（又は、相対的に多くの情報量を必要とする部分）での画質の劣化が少ないという利点がある。ここに、本願発明に係る「情報量」とは、例えば符号化差分量等の、符号化処理における割り当てビット量を決定するための主要な一因子となる、変数のデータ量を意味する。また、「符号化差分量」とは、符号化処理において、（i）予測して得られた、符号化量の予測値と、（ii）実際に得られた、符号化量の実際値と、の差分量を意味する。
【０００５】
尚、ＭＢの量子化スケールの値を制御する方式として、広く知られているものに、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００ Ｔｅｓｔ Ｍｏｄｅｌ ５， ｐｐ．５４−５７ （Ａｐｒｉｌ，１９９３）で開示されている方式もある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したBasic Unitに基づいた符号化処理の手法は、固定された一定数のＭＢ毎に量子化スケールが決定され、符号化処理が行われるため、一画像において、例えば符号化差分量の多い絵柄等の情報量が多い部分と、情報量の少ない部分とを区別することなく、均一的に符号化処理が行われる。よって、一画像内における情報量の偏在に対応した適切な符号化処理を実現することが技術的に困難となってしまう。
【０００７】
具体的には、一画像（又は一画面、一ピクチャ）における絵柄等の情報量が一様でない場合、即ち、例えば一つのピクチャの上側半分と、下側半分とで、画像の情報量が異なり、上側半分は符号化差分量が少なく、情報量が少ない部分であり、下側半分は、情報量が多い部分である場合、次のような技術的な問題点が生じてしまう。即ち、上側半分と、下側半分とで、符号化処理の際に発生するビット量が一様になるようにフィードバック制御が行われるため、上側半分は、符号化差分量が少なくても劣化が目立ちにくい状況であるにも関わらず量子化スケールが相対的に小さくなり、画質のレベルが必要以上に高くなってしまう。ここに、本願発明に係る「量子化スケール」とは、符号化処理における量子化のための割り算の分母の値を意味する。この量子化スケールは、符号化処理における量子化の際に、割り当てられる情報量、所謂、割り当てビット量、又は、この割り当てビット量の逆数を意味するようにしてもよい。
【０００８】
他方、下側半分は、符号化差分量が多量であり、相対的に高いレベルの割り当てビット量が必要であるにも関わらず量子化スケールが相対的に大きくなり、又は割り当てビット量が不足するため、粗く表現してしまう、即ち、画質のレベルが必要よりも低くなり、ひいては画質が大幅に劣化してしまう。このように、Basic Unitに基づいた符号化処理の手法は、一つのピクチャ内において、情報量が異なる部分が偏在するにも関わらず、固定された一定数のＭＢ毎に基づいて、量子化スケールが均一的に決定され、一画像内における情報量の偏在に適切に対応した符号化処理を実現することが技術的に困難となってしまう。
【０００９】
また、ＭＰＥＧ２方式に基づいた符号化処理で採用されている、例えばＴＭ５というビットレートの制御の手法の場合、画像の符号化処理の際に、生成されるビット量、即ち、生成ビット量によるバッファ量（Buffer Amount）を考慮した量子化スケールの決定が行なわれる。この場合においても、上述した技術的な問題点が生じてしまう。
【００１０】
本発明は、例えば、上述した問題を鑑みなされたものであり、例えば映像信号を構成する、一画像内における情報量の偏在に適切に対応した符号化処理を実現することが可能な映像信号符号化装置及び方法、並びに、コンピュータプログラムを提供することを課題とする。
【００１１】
【特許文献１】特開平１０−１６４５８１号公報
【特許文献２】特開平９−２１４９６３号公報
【課題を解決するための手段】
【００１２】
上記課題を解決するために、請求項１に記載の映像信号符号化装置は、映像信号を構成する画像（一ピクチャ、一フレーム、一フィールド）が複数の小領域（MB）に分割され、分割された前記小領域の単位で、信号特性（輝度、色、動き量、動きベクトル、符号化量、符号化困難度）のレベルを測定する測定手段と、前記複数の小領域を、測定された前記信号特性のレベルに基づいて、一又は複数の大領域（Unit）として、連結（グループ化）する連結手段（グループ化手段）と、前記大領域（Unit）を単位として、前記画像の符号化処理のための量子化スケール（Q値）を決定する決定手段（CPU）と、決定された前記量子化スケールに基づいて、前記画像のうち少なくとも前記大領域の符号化処理を行う符号化手段とを備える。
【００１３】
上記課題を解決するために、請求項１０に記載の映像信号符号化方法は、映像信号を構成する画像（一ピクチャ、一フレーム、一フィールド）が複数の小領域（MB）に分割され、分割された前記小領域の単位で、信号特性（輝度、色、動き量、動きベクトル、符号化量、符号化困難度）のレベルを測定する測定工程と、前記複数の小領域を、測定された前記信号特性のレベルに基づいて、一又は複数の大領域（Unit）として、連結（グループ化）する連結工程（グループ化工程）と、前記大領域（Unit）を単位として、前記画像の符号化処理のための量子化スケール（Q値）を決定する決定工程（CPU）と、決定された前記量子化スケールに基づいて、前記画像のうち少なくとも前記大領域の符号化処理を行う符号化工程とを備える。
【００１４】
上記課題を解決するために、請求項１１に記載の制御用のコンピュータプログラムは、請求項１から９のうちいずれか一項に記載の映像信号符号化装置に備えられたコンピュータを制御する制御用のコンピュータプログラムであって、該コンピュータを、前記測定手段、前記連結手段、前記決定手段、及び前記符号化手段のうち少なくとも一部として機能させる。
【００１５】
本発明の作用及び他の利得は次に説明する実施の形態から明らかにされよう。
【発明を実施するための最良の形態】
【００１６】
以下、発明を実施するための最良の形態としての本発明の実施形態に係る映像信号符号化装置及び方法、コンピュータプログラムについて順に説明する。
【００１７】
（映像信号符号化装置の実施形態）
以下、本発明の実施形態に係る映像信号符号化装置について説明する。
【００１８】
本発明の映像信号符号化装置に係る実施形態は、映像信号を構成する画像（一ピクチャ、一フレーム、一フィールド）が複数の小領域（MB）に分割され、分割された前記小領域の単位で、信号特性（輝度、色、動き量、動きベクトル、符号化量、符号化困難度）のレベルを測定する測定手段と、前記複数の小領域を、測定された前記信号特性のレベルに基づいて、一又は複数の大領域（Unit）として、連結（グループ化）する連結手段（グループ化手段）と、前記大領域（Unit）を単位として、前記画像の符号化処理のための量子化スケール（Q値）を決定する決定手段（CPU）と、決定された前記量子化スケールに基づいて、前記画像のうち少なくとも前記大領域の符号化処理を行う符号化手段とを備える。
【００１９】
本発明の映像信号符号化装置に係る実施形態によれば、先ず、測定手段によって、映像信号を構成する画像（例えば、一画面、一ピクチャ、一フレーム、一フィールド）が複数の小領域（MB）に分割され、この分割された小領域の単位で、信号特性のレベルが測定される。ここに、本実施形態に係る「小領域」とは、例えば画像を構成するマクロブロック等の画像の信号処理を行う際に利用される基本単位となる領域を意味する。また、本実施形態に係る「信号特性」とは、例えば、輝度、色、動き量、動きベクトル、複雑度、符号化処理のための情報量、符号化困難度等の映像信号を構成する画像の性質や、信号処理上の特性を意味する。
【００２０】
次に、連結手段（又はグループ化手段）によって、例えば可変数の複数の小領域が、測定された信号特性のレベルに基づいて、一又は複数の大領域（Unit）として、例えば上下左右に連結（グループ化）される。
【００２１】
次に、例えばＣＰＵ（Central Processing Unit）等の決定手段によって、大領域（Unit）を単位として、画像の符号化処理のための量子化スケール（Q値）が決定される。次に、符号化手段によって、決定された量子化スケールに基づいて、画像のうち少なくとも大領域の符号化処理が行われる。
【００２２】
この結果、一画像内において、例えば情報量の相対的に多い部分（又は、相対的に多くの情報量を必要とする部分、即ち、視覚的に重要な部分）が、従来の手法では、量子化スケールが相対的に大きくされ、画質が劣化する傾向にある下側部分に配置されていても、情報量に対応した適切な量子化スケールが決定され、符号化処理の際して適切な情報量、所謂、適切なビット量を割り当てることが可能である。
【００２３】
以上の結果、一画像内において、例えば情報量が多い部分と、例えば情報量の少ない部分とが区別され、一画像内における情報量の偏在に適切に対応した符号化処理によって、一画像内における画質を適切にすることが実現可能である。
【００２４】
具体的には、一画像（又は一つのピクチャ）における絵柄等の情報量が一様でない場合、即ち、例えば一つのピクチャの上側半分と、下側半分とで、画像の情報量が異なり、上側半分は、情報量が少ない部分であり、下側半分は、情報量が多い部分である場合でも、一画像内における画質を適切にすることが実現可能である。即ち、上側半分は、符号化差分量が少ないので、量子化スケールが相対的に大きく設定され、又は割り当てビット量が低減され、相対的に粗く表現でき、情報量の少ない部分の画質を適切な状態にすることができる。他方、下側半分は、符号化差分量が多いので、量子化スケールが相対的に小さく設定され、又は割り当てビット量が適切に（十分に）確保され、相対的に多量な符号化差分量を有する部分に対しても、きめ細かく表現でき、即ち、情報量の相対的に多い部分（又は、相対的に多くの情報量を必要とする部分）の画質を適切な状態にすることができる。
【００２５】
本発明の映像信号符号化装置に係る実施形態の一の態様では、前記連結手段は、前記複数の小領域の全部を、前記一又は複数の大領域として、連結する。
【００２６】
この態様によれば、複数の小領域の全部が有する信号特性のレベルに基づいて、一画像内において、情報量に対応した適切な量子化スケールが、高精度に決定され、符号化処理の際して適切な情報量、所謂、適切なビット量を、高精度に割り当てることが可能である。
【００２７】
本発明の映像信号符号化装置に係る実施形態の他の態様では、前記連結手段は、前記複数の小領域の一部（信号特性が相対的に高いレベル）を、前記一又は複数の大領域として、連結し、前記決定手段は、連結されていない前記小領域においては、（i）当該小領域を１単位として、前記量子化スケールを決定する、又は、（ii）一定数の当該小領域を１単位として、前記量子化スケールを決定する。
【００２８】
この態様によれば、複数の小領域の一部が有する、相対的に高いレベルの信号特性（即ち、相対的に高いレベルの視覚的な重要度）に基づいて、一画像内において、情報量に対応した適切な量子化スケールが、迅速に決定され、符号化処理の際して適切な情報量、所謂、適切なビット量を、迅速に割り当てることが可能である。
【００２９】
本発明の映像信号符号化装置に係る実施形態の他の態様では、前記連結手段は、一の前記小領域を基準にして、上下左右、又は、斜めに位置する複数の他の前記小領域を連結する。
【００３０】
この態様によれば、均一的なＭＢライン等と比較して、例えば情報量の相対的に多い部分（又は、相対的に多くの情報量を必要とする部分）を、より効率的に反映しつつ、小領域を連結することが可能である。
【００３１】
本発明の映像信号符号化装置に係る実施形態の他の態様では、前記決定手段（CPU）は、前記量子化スケール（Q値）として、一定値を決定する。
【００３２】
この態様によれば、一画像内において、情報量に対応した適切な一定値の量子化スケールが、迅速に決定され、符号化処理の際して適切な情報量、所謂、適切なビット量を、迅速に割り当てることが可能である。
【００３３】
本発明の映像信号符号化装置に係る実施形態の他の態様では、前記決定手段は、前記符号化の前に、前記量子化スケールを決定する。
【００３４】
この態様によれば、符号化処理の前に決定された量子化スケールに基づいて、一画像内において、符号化処理の際して適切な情報量、所謂、適切なビット量を割り当てることが可能である。
【００３５】
本発明の映像信号符号化装置に係る実施形態の他の態様では、前記決定手段は、前記小領域の夫々に対する前記符号化処理の際に、前記量子化スケールを決定する。
【００３６】
この態様によれば、小領域の夫々対する符号化処理の際に、決定された量子化スケールに基づいて、一画像内において、符号化処理の際して適切な情報量、所謂、適切なビット量を割り当てることが可能である。
【００３７】
本発明の映像信号符号化装置に係る実施形態の他の態様では、前記映像信号に対して符号化が行われた符号化信号を記憶する、所定の記憶容量の記憶手段を更に備え、前記決定手段は、（i）記憶された前記符号化信号の信号量、及び、（ii）前記所定の記憶容量に基づいて、前記量子化スケールを決定する。
【００３８】
この態様によれば、符号化信号の信号量、及び、所定の記憶容量に基づいて、一画像内において、情報量に対応した適切な量子化スケールが、迅速に決定され、符号化処理の際して適切な情報量、所謂、適切なビット量を、迅速に割り当てることが可能である。
【００３９】
本発明の映像信号符号化装置に係る実施形態の他の態様では、前記信号特性の分布を示すマップ情報を作成するマップ情報作成手段を更に備え、前記決定手段は、作成された前記マップ情報に基づいて、前記量子化スケールを決定する。
【００４０】
この態様によれば、作成されたマップ情報に基づいて、一画像内において、情報量に対応した適切な量子化スケールが、迅速且つ高精度に決定され、符号化処理の際して適切な情報量、所謂、適切なビット量を、迅速且つ高精度に割り当てることが可能である。
【００４１】
（映像信号符号化方法の実施形態）
以下、本発明の実施形態に係る映像信号符号化方法について説明する。
【００４２】
本発明の映像信号符号化方法に係る実施形態は、映像信号を構成する画像（一ピクチャ、一フレーム、一フィールド）が複数の小領域（MB）に分割され、分割された前記小領域の単位で、信号特性（輝度、色、動き量、動きベクトル、符号化量、符号化困難度）のレベルを測定する測定工程と、前記複数の小領域を、測定された前記信号特性のレベルに基づいて、一又は複数の大領域（Unit）として、連結（グループ化）する連結工程（グループ化工程）と、前記大領域（Unit）を単位として、前記画像の符号化処理のための量子化スケール（Q値）を決定する決定工程（CPU）と、決定された前記量子化スケールに基づいて、前記画像のうち少なくとも前記大領域の符号化処理を行う符号化工程とを備える。
【００４３】
本発明の映像信号符号化方法に係る実施形態によれば、上述した本発明の映像信号符号化装置に係る実施形態が有する各種利益を享受することが可能となる。
【００４４】
尚、上述した本発明の映像信号符号化装置に係る実施形態が有する各種態様に対応して、本発明の映像信号符号化方法に係る実施形態も各種態様を採ることが可能である。
【００４５】
（コンピュータプログラムの実施形態）
以下、本発明の実施形態に係るコンピュータプログラムについて説明する。
【００４６】
本発明の制御用のコンピュータプログラムは、上述した本発明の映像信号符号化装置に係る実施形態（但し、その各種態様を含む）に備えられたコンピュータを制御する制御用のコンピュータプログラムであって、該コンピュータを、前記測定手段、前記連結手段、前記決定手段、及び前記符号化手段のうち少なくとも一部として機能させる。
【００４７】
本発明に係るコンピュータプログラムの実施形態によれば、当該コンピュータプログラムを格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体から、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行させれば、上述した本発明の映像信号符号化装置に係る実施形態を比較的簡単に実現できる。
【００４８】
尚、上述した本発明の映像信号符号化装置に係る実施形態における各種態様に対応して、本発明のコンピュータプログラムに係る各実施形態も各種態様を採ることが可能である。
【００４９】
本実施形態のこのような作用及び他の利得は次に説明する実施例から明らかにされる。
【００５０】
以上説明したように、本発明の映像信号符号化装置及び方法に係る実施形態によれば、測定手段、連結手段、決定手段、及び符号化手段を備える。この結果、一画像内において、例えば情報量が多い部分と、例えば情報量の少ない部分とが区別され、一画像内における情報量の偏在に適切に対応した符号化処理によって、一画像内における画質を適切にすることが実現可能である。
【００５１】
また、本発明のコンピュータプログラムに係る実施形態によれば、コンピュータを上述した本発明の映像信号符号化装置に係る実施形態として機能させるので、上述した、映像信号符号化装置をして、一画像内における情報量の偏在に適切に対応した符号化処理を行わせ、一画像内における画質を適切にすることが可能である。
【実施例】
【００５２】
以下、図面を参照しながら、本発明の実施例について説明する。
【００５３】
（１）映像信号と画像との関係の概要
先ず、図１及び図２を参照して、一般的な映像信号の概略について説明する。ここに、図１は、一般的な映像信号と画像との関係の概要を図式的に示した模式図である。図２は、一般的なマクロブロック（ＭＢ）の概要を図式的に示した模式図である。
【００５４】
図１に示されるように、一般に、映像信号、所謂、ディジタルビデオ信号は情報量が極めて多い。このため当該ディジタルビデオ信号を小型で記憶情報量（記憶容量）の少ない記録媒体に長時間記録をしようとする場合、または、当該ディジタルビデオ信号を通信容量が限られた通信路の中で多くのチャネル数にて伝送しようとする場合には、このディジタルビデオ信号を高能率符号化して情報量を低減することが不可欠である。このような要求に応えるべく、ビデオ信号の相関を利用した高能率符号化方式が提案されており、その一つとしていわゆるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式がある。このＭＰＥＧ方式は、先ずビデオ信号のフレーム間の差分を取ることにより時間軸方向の冗長度を落し、その後、離散コサイン変換（ＤＣＴ）等の直交変換手法を用いて空間軸方向の冗長度を落してビデオ信号を能率良く符号化する。
【００５５】
このＭＰＥＧ方式に基づく符号化処理においては、図１に示すように、動画像を構成する各画像（各ピクチャ）をＩピクチャ，Ｐピクチャ又はＢピクチャの３種類のピクチャの何れかのピクチャとし、画像信号を圧縮符号化するようにしている。Ｉピクチャは、イントラ符号化ピクチャであり、他のピクチャとは独立して符号化される。Ｐピクチャは、順方向予測符号化ピクチャであり、時間的に過去に位置するＩまたはＰピクチャから予測符号化を行なう。Ｂピクチャは、双方向予測符号化ピクチャであり、時間的に前後に位置するＩまたはＰピクチャを用いて、順方向，逆方向，または双方向のピクチャから予測符号化を行なう。そして、これらピクチャの集合がいわゆるＧＯＰ（Group Of Pictures）を構成する。
【００５６】
それぞれのピクチャは、マクロブロック（Macro Block、以下、適宜、「ＭＢ」と称す）という小さな単位に分けられる。ここに、本実施例に係る「ＭＢ」は、一つのピクチャの画像を分割する単位であり、このＭＢは、例えば１６画素×１６画素の単位であるようにしてもよい。例えばディジタルビデオの４：２：０フォーマットの場合、ＭＢは４つの輝度（Ｙ）のブロックと空間的に対応したＣｂとＣｒの２つの色差ブロックの６つのブロックで構成される。これらブロックは、８画素×８ラインの６４個の画素からなる。
【００５７】
ここで、ＭＰＥＧ符号化方式においては、性質の異なる３種類のピクチャ（Ｉ，Ｐ，Ｂピクチャ）の性能を生かすため、ピクチャ毎に適応的に割当ビット量を変えたほうが良い。さらに、ＭＰＥＧ符号化方式においては、符号化したピクチャの発生ビット量が、指定された割当ビット量に近づくように、ＭＢのＤＣＴ係数の量子化を行なう際の量子化スケールを、ＭＢ毎に変更してビットレートを制御することができる。具体的には、図１の中央部、又は、図２に示されるように、一画像における９６個（Ｘ軸方向に１２個、Ｙ軸方向に８個）のＭＢにおいて、例えば肌色の度合いやActivity値等の信号特性のレベルが計算され、計算された信号特性のレベルに基づいて、量子化スケールが決定される。ここに、本実施例に係る「Activity値」とは、画像の複雑度を示す値である。
【００５８】
（２）映像信号符号化装置の実施例
（２−１）基本構成
次に、図３を参照して、本実施例に係る映像符号化装置の基本構成について説明する。ここに、図３は、本実施例に係る映像符号化装置の基本構成を図式的に示したブロック図である。
【００５９】
図３に示されるように、本実施例に係る映像符号化装置１０は、端子１００、動きベクトル検出回路１０１、遅延回路１０２、特徴量計算回路１０３、レート制御手段１０４、動画像符号化回路１０５、出力端子１０６、符号化難易度計算回路１０７、誤り訂正エンコーダ７０１、変調回路７０２、記録ヘッド７０３、光ディスク７０４、誤り訂正エンコーダ７１１、インターフェイス回路７１２、端子７１３を備えて構成されている。
【００６０】
図３に示されるように、端子１００から入力されたディジタル動画像信号（又は、映像信号）Ｓ１０は、動きベクトル検出回路１０１と、後述される遅延回路１０２へと出力される。尚、この映像信号Ｓ１０は、これ以降マクロブロックＭＢ単位で処理されるため、入力ＭＢ信号Ｓ１０と言い換えることにする。
【００６１】
動きベクトル検出回路１０１においては、入力ＭＢ信号Ｓ１０からＭＢ（Macro Block：マクロブロック）単位で、動きベクトルＭＶが計算される。この動きベクトルＭＶの検出は、参照となるフレームと、現在のＭＢとのパターンマッチングで行なうようにしてもよい。
【００６２】
次に、入力ＭＢ信号Ｓ１０と、そのＭＢ単位の動きベクトルＭＶは、符号化難易度計算回路１０７へと出力され、ここで、入力ＭＢ信号Ｓ１０に対応される符号化難易度dft_mbが計算される。この符号化難易度dft_mbは、入力ＭＢ信号Ｓ１０のＭＢ毎の情報量の多さを表すパラメータである。符号化難易度dft_mbは、ビットレートコントローラ（レート制御手段）１０４へ供給される。
【００６３】
或いは、また、入力ＭＢ信号Ｓ１０と、そのＭＢ単位の動きベクトルＭＶは、特徴量計算回路１０３へと出力され、ここで、入力ＭＢ信号Ｓ１０の視覚特性を考慮した重み係数weight_mbが計算されるようにしてもよい。この重み係数weight_mbは、符号化による劣化の目立ちやすさを表すパラメータである。重み係数weight_mbは、レート制御手段１０４へ送られる。
【００６４】
他方、入力ＭＢ信号Ｓ１０と、そのＭＢ単位の動きベクトルＭＶは、そのＭＢの量子化スケールｍＱが、レート制御手段１０４から出力されるまで、遅延回路１０２で遅延された後、動画像符号化回路１０５へと出力される。尚、遅延回路１０２において、遅延されたディジタル動画像信号を、上述した入力ＭＢ信号Ｓ１０と区別するため、以下、入力ＭＢ信号Ｓ１１と称す。遅延回路１０２から出力された入力ＭＢ信号Ｓ１１は、動画像符号化回路１０５において、レート制御手段によって決定された量子化スケールに基づいて、符号化される。この符号化された符号化ビットストリームは、出力端子１０６から出力される。また、動画像符号化回路１０５にて計算された符号化発生ビット量bit_mbは、レート制御手段１０４へと出力される。
【００６５】
次に、映像信号符号化装置における符号化処理により得られた符号化ビットストリームは、例えば光ディスク等の情報記録媒体に記録されたり、伝送路を介して伝送されることになる。具体的には、光ディスク７０４に記録される場合、出力端子１０６から出力された符号化ビットストリーム、及び、量子化スケール等の後の復号化に必要な情報から構成されるデータ列は、誤り訂正エンコーダ（ＥＣＣエンコーダ）７０１によってエラーコレクションコードが付加され、変調回路７０２へと出力される。変調回路７０２では、誤り訂正エンコーダ７０１の出力に対して、所定の変調処理、例えばいわゆる８−１４変調（ＥＭＦ：Eight to Fourteen Modulation）或いは８−１６変調等が施される。この変調回路７０２からの出力信号は記録ヘッド７０３に送られ、この記録ヘッド７０３によって、光ディスク７０４に記録される。
【００６６】
他方、伝送路に伝送する場合、上述したデータ列は、誤り訂正エンコーダ７１１にてエラーコレクションコードが付加され、インターフェイス回路７１２及び端子７１３を介して伝送路に出力される。尚、この伝送路としては、通常のケーブルのみならず、電波或いは光による送信も含まれる。
【００６７】
（２−１−１）レート制御手段（ビットレートコントローラ）の基本構成
次に、図４を参照して、本実施例に係る映像符号化装置が備えるレート制御手段の構成について説明する。ここに、図４は、本実施例に係る映像符号化装置が備えるレート制御手段（ビットレートコントローラ）を概念的に示したブロック図である。尚、このレート制御手段の動作原理は、後述される。
【００６８】
図４に示されるように、本実施例に係るレート制御手段は、算出部Ｐ１０ａ、作成部Ｐ１０ｂ、取得部Ｐ１１、作成部Ｐ１２、計算部Ｐ１３、取得部Ｐ２０、決定部Ｐ４０、調整部Ｐ５０、出力部Ｐ７０を備えて構成されている。
【００６９】
図４に示されるように、算出部Ｐ１０ａによって、例えばＩピクチャ等のピクチャｎ映像信号の信号特性のレベルが、複数のＭＢ（即ち、本発明に係る「小領域」の一具体例）毎に算出され、算出された値が出力される。尚、後述されるステップＳ１０に対応される。
【００７０】
次に、作成部Ｐ１０ｂによって、算出されたＭＢ毎の信号特性のレベルに基づいて、複数のＭＢが連結されて、一又は複数のＵｎｉｔ（即ち、本発明に係る「大領域」の一具体例）が作成される。尚、後述されるステップＳ１０に対応される。
【００７１】
次に、取得部Ｐ１１によって、ＭＢ毎に、コスト値、MAD値、符号化生成ビット量、量子化スケール（Q値）等の符号化処理の際の各種のパラメータが取得され、取得された値が出力される。ここに、本実施例に係る「MAD値」とは、符号化前の画像と、符号化後の画像との差分量の絶対値の平均値を意味する。また、本実施例に係る「コスト値」とは、複数の手法によって符号化処理が行われた際の、効率性の度合いを示す指数を意味する。
【００７２】
作成部Ｐ１２によって、符号化処理の際の各種のパラメータによって、後述される学習的な回帰直線等が作成される。
【００７３】
計算部Ｐ１３によって、バッファーメモリの残量に基づいて、ターゲットビット量が、計算される。
【００７４】
取得部Ｐ２０によって、作成されたＵｎｉｔ毎に、コスト値、MAD値、符号化生成ビット量、量子化スケール（Q値）等の符号化処理の際の各種のパラメータが、当該Ｕｎｉｔを構成するＭＢの全体量から、取得され、取得された値が出力される。尚、後述されるステップＳ２０に対応される。
【００７５】
決定部Ｐ４０によって、各Ｕｎｉｔにおける、割当てビット量、又はターゲットビットレートから、量子化スケールが決定される。尚、後述されるステップＳ４０に対応される。
【００７６】
調整部Ｐ５０によって、ＭＢ毎の符号化処理に際して、各種の条件や状態に基づいて量子化スケールの微調整が行なわれる。尚、後述されるステップＳ５０に対応される。
【００７７】
出力部Ｐ７０によって、符号化処理に際して、更新された、各種の条件や状態に関する情報が、保存されると共に、前述した回帰直線又は回帰曲線にフィードバックされる。尚、後述されるステップＳ７０に対応される。
【００７８】
（２−２）動作原理
次に、図５及び図６を参照して、本発明の実施例に係る映像信号符号化装置の動作原理として、符号化処理について、説明する。ここに、図５は、本実施例に係る映像信号符号化装置による、Ｕｎｉｔを単位として、画像の符号化処理のための量子化スケール（Q値）を決定する手法を示したフローチャートである。
【００７９】
図５に示されるように、先ず、ＣＰＵ等の制御手段の制御下で、例えばActivity値等の複雑度などを用いて絵柄の状況を反映させる指標を計算し、その指標に基づいて、複数のＭＢ（即ち、本発明に係る「小領域」の一具体例）が連結されて、一又は複数のＵｎｉｔ（即ち、本発明に係る「大領域」の一具体例）が形成される（ステップＳ１０）。詳細には、一画像において、絵柄を反映させるために、例えばActivity値等の複雑度を用いて、絵柄を、一又は複数のＵｎｉｔに分割する。次に、後述されるように、例えばMAD値等の符号化困難度に基づいて、Ｕｎｉｔの夫々に対して、後述される割当てビット量が決定される。
【００８０】
更に、複数のＭＢから、一又は複数のＵｎｉｔの形成について、具体的には、ＭＢ毎にActivity値（即ち、本発明に係る「信号特性のレベル」の一具体例）が計算され、それらのActivity値が所定範囲に収まるものをまとめて一つのＵｎｉｔとするようにしてもよい。より具体的には、ＭＢ毎にActivity値が全てのＭＢを対象として計算された後、一のＭＢを基準して、上下左右、又は、斜めに位置する複数の他のＭＢが、夫々有する、一のＭＢのActivity値を基準にした差分量が、閾値より小さい場合、一のＭＢと同じＵｎｉｔとするようにしてもよい。そして、同じＵｎｉｔに属するＭＢに対しては、基本的には同じ値の量子化スケールに基づいて、符号化処理が行なわれる。
【００８１】
ここで、図６を参照して、複数のＭＢが連結されて、一又は複数のＵｎｉｔが形成される手法の一具体例について説明する。ここに、図６は、本実施例に係る、一画像内において、情報量の相対的に多い部分（又は、相対的に多くの情報量を必要とする部分）と、Ｕｎｉｔを決定する際の信号特性のレベルとの関係を図式的に示した模式図（図６（ａ））、及び、Ｕｎｉｔと、信号特性のレベルとの関係を図式的に示した模式図（図６（ｂ））である。尚、図６（ａ）及び図６（ｂ）において、Ｘ軸、及び、Ｙ軸は、一画像のＭＢの位置を特定するための座標軸を示す。また、Ｘ軸方向に「１」、Ｙ軸方向に「３」によって特定されるＭＢを、ＭＢ（１、３）と示す。
【００８２】
図６（ａ）に示されるように、一画像における９６個（Ｘ軸方向に１２個、Ｙ軸方向に８個）のＭＢにおいて、例えば肌色の度合いやActivity値等の信号特性のレベルが計算される。詳細には、「人の顔を示す部分（絵柄１又は２）」に対応されるＭＢや、「星の部分（絵柄３）」に対応されるＭＢにおいて、信号特性のレベルが相対的に高くなる。即ち、「人の顔を示す部分（絵柄１）」に対応されるＭＢである、ＭＢ（２、４）、ＭＢ（２、５）、ＭＢ（２、６）、ＭＢ（２、７）、ＭＢ（３、４）、ＭＢ（３、５）、ＭＢ（３、６）、ＭＢ（３、７）、ＭＢ（４、４）、ＭＢ（４、５）、ＭＢ（４、６）、及びＭＢ（４、７）における、信号特性のレベルが「８７」である。また、他の「人の顔を示す部分（絵柄２）」に対応されるＭＢである、ＭＢ（７、３）、ＭＢ（７、４）、ＭＢ（８、３）、及びＭＢ（８、４）における、信号特性のレベルが「９１」である。また、「星の部分（絵柄３）」に対応されるＭＢである、ＭＢ（１０、５）、ＭＢ（１０、６）、ＭＢ（１０、７）、ＭＢ（１１、５）、ＭＢ（１１、６）、ＭＢ（１１、７）における、信号特性のレベルが「５５」である。
【００８３】
従って、図６（ｂ）に示されるように、信号特性のレベルが、概ね同じである、複数のＭＢが連結されて、Ｕｎｉｔが形成される。詳細には、前述した「人の顔を示す部分」に対応される、信号特性のレベルが「８７」であるＭＢ（２、４）、・・・、ＭＢ（４、６）、及びＭＢ（４、７）によって「Ｕｎｉｔ１」が形成される。また、前述した他の「人の顔を示す部分」に対応される、信号特性のレベルが「９１」であるＭＢ（７、３）、・・・、及びＭＢ（８、４）によって「Ｕｎｉｔ２」が形成される。また、「星の部分」に対応される、信号特性のレベルが「５５」であるＭＢ（１０、５）、・・・、ＭＢ（１１、７）によって「Ｕｎｉｔ３」が形成される。また、信号特性のレベルが「４５」であるＭＢ（１、４）、及びＭＢ（１、５）によって「Ｕｎｉｔ４」が形成される。以下、概ね同様にして、・・・、信号特性のレベルが「４」であるＭＢ（１１、４）、・・・、ＭＢ（１２、８）によって「Ｕｎｉｔ１５」が形成される。
【００８４】
次に、ＣＰＵ等の制御手段の制御下で、作成されたＵｎｉｔ毎の信号特性のレベルが計算される（ステップＳ２０）。具体的には、作成された一又は複数のＵｎｉｔにおいて、Ｕｎｉｔを構成するＭＢにおける信号特性のレベルが計算され、Ｕｎｉｔ毎に、信号特性の平均レベルが決定される。その決定された信号特性の平均レベルを比較することによって、各Ｕｎｉｔに対する、視覚的な重要度を相対的に判定することが可能である。尚、信号特性の平均レベルは、例えばMAD値や、コスト計算値や、動きベクトルの方向や大きさや、肌色の度合い、色情報、明るさ、位置等の各種の定量的又は定性的な情報に基づいて、計算されるようにしてもよい。
【００８５】
次に、ＣＰＵ等の制御手段の制御下で、各Ｕｎｉｔに対する、情報量の割り当て量、所謂、割当てビット量が計算される（ステップＳ３０）。具体的には、上述したＵｎｉｔ毎の信号特性の平均レベルに基づいて、例えばＩピクチャ等のピクチャに対する割当てビット量からＵｎｉｔへの割当てビット量が計算される。即ち、視覚的に重要度が高いレベルにあるＵｎｉｔに対しては、割当ビット量が多くされる。
【００８６】
次に、ＣＰＵ等の制御手段の制御下で、各Ｕｎｉｔにおける、割当てビット量、又はターゲットビットレートから、量子化スケールが算出される（ステップＳ４０）。詳細には、後述される符号化処理においては、前述した符号化差分量に基づいて、符号化が困難であるかどうかが決定される。具体的には、一画像内で動きの速い部分は、符号化差分量は相対的に大きくなる。一画像内で予測しにくい動きであれば差分量はやはり大きくなります。より具体的には、（i）先ず、例えばビル群や人ごみを示した画像等の複雑度の高い絵柄の画像について、考察する。この複雑度の高い絵柄の画像において、予測差分量が相対的に小さく、例えばMAD値やコスト計算値等の符号化困難度が、相対的に小さい場合、量子化スケール（Q値）を、相対的に高く設定して、割当てビット量を、相対的に低く抑えることが好ましい。尚、一般的には、複雑度の高い絵柄の画像は、劣化が目立ちにくいので、量子化スケール（Q値）を、相対的に高く設定して、割当てビット量を、相対的に低く抑えることが好ましい。他方、この複雑度の高い絵柄の画像において、予測差分量が、相対的に大きい場合、量子化スケール（Q値）を、相対的に低く設定して、割当てビット量を、相対的に高くすることが好ましい。（ii）次に、例えば、大きな丸い赤色のボール等の複雑度の低い単純な絵柄について考察する。この複雑度の低い絵柄の画像において、例えば単純な絵柄のボールが、ゆっくり一方向に流れ、予測が容易な動きをするので、予測差分量が相対的に小さい場合、量子化スケール（Q値）を、相対的に高く設定して、割当てビット量を、相対的に低く抑えることが好ましい。他方、この複雑度の低い絵柄の画像において、例えば単純な絵柄のボールが、背景とは逆方向に流れたり高速に流れたり、予測が難しい動きをするので、予測差分量が相対的に大きい場合、量子化スケール（Q値）を、相対的に低く設定して、割当てビット量を、相対的に高くすることが好ましい。
【００８７】
更に、具体的には、符号化処理の際に、算出された、例えばコスト値、MAD値等を用いて、学習的な回帰直線、又は回帰曲線を利用して量子化スケールが決定される。これらの学習的な回帰直線や回帰曲線は、ＭＢ毎の量子化スケールや、生成ビット量や、MAD値等によって常に更新されるようにしてもよい。より具体的には、ビット量（割り当てビット量又は生成ビット量）と、量子化スケールとの関係を示す回帰直線の一具体例として、次の式（１）を採用してもよい。
【００８８】
「ビット量」  ＝  α×  （「MAD値」  ／「量子化スケール」）  ＋  β
…  （１）
尚、これらの学習的な回帰直線や回帰曲線は、例えば情報量の相対的に多い部分（又は、相対的に多くの情報量を必要とする部分）の信号特性のレベルや、符号化処理における各種のパラメータを効率的且つ適切に利用できる線形関数又は非線形関数であるようにしてもよい。
【００８９】
或いは、また、対象となる各Ｕｎｉｔにおける量子化スケールは、他の手法として、時間軸上前に位置するピクチャ内において同じ位置にあるＵｎｉｔでの量子化スケールと、符号化される際に生成されたビット量との定量的又は定性的な関係に基づいて、算出されるようにしてもよい。
【００９０】
次に、ＣＰＵ等の制御手段の制御下で、ＭＢ毎の符号化処理に際して、各種の条件や状態に基づいて量子化スケールの微調整が行なわれる（ステップＳ５０）。詳細には、例えば赤色の平坦な絵柄や、真っ白な洋服、真っ黒な洋服等の人の視覚に基づいた観点で特別な画像においては、画質の劣化が人の目に容易に分かり易いので、例えば量子化スケールを、更に、相対的に低く設定して、割当てビット量を、更に、相対的に高くし、微調整することが好ましい。
【００９１】
具体的には、例えばＭＰＥＧ方式に基づく符号化処理の際には、時間軸上前に位置するピクチャの情報に基づいて、対象となるピクチャの量子化スケールの配列が決定される。前述したステップＳ１０から当該ステップＳ５０においては、時間軸上前に位置するピクチャの情報が反映されていない。よって、ＭＢ毎の符号化処理の際に、時間軸上前に位置するピクチャの情報に基づいて、量子化スケールに、微調整を行なうようにしてもよい。
【００９２】
次に、ＣＰＵ等の制御手段の制御下で、上述の量子化スケールに基づいて、動画像符号化回路１０５によって、符号化処理が行われる（ステップＳ６０）。このように、ピクチャにおいて、視覚的に重要な部分に、ビット量を確実に割り当てるために、ピクチャの符号化処理の開始の時点に、全てのＭＢに対する量子化スケールの配列を決定することが望ましい。しかしながら、これでは、ピクチャ内でのバッファメモリの残量、所謂、Buffer残量や状況を確認しながら、量子化スケールの決定を行なう観点が欠落することになる。そこで、ＭＢの開始時に、量子化スケールの微調整を行なうことが好ましい。動き量が大きい場合などは、絵柄を充分に反映されたＵｎｉｔとはならない可能性が高い。よって、動きベクトルが大きい場合は、ピクチャの符号化開始前に決定した量子化スケールの配列を用いるのではなく、Buffer量と重要度の関係、量子化スケールと生成ビット量、特徴量との関係に応じて、量子化スケールの決定を行なうようにしてもよい。また、絵柄を考慮したＵｎｉｔにおいて、符号化処理の開始前に、量子化スケールの配列を決定するという手法のほかに、重要なＵｎｉｔにおいてはビット割当ての優先度を高くしつつ符号監視制御による量子化スケールの決定を行なうという手法を組み合わせるようにしてもよい。
【００９３】
加えて、シーンチェンジの時も同様に、まったく異なる絵柄に対しても、同じ絵柄に対する量子化スケールの配列を用いることになるため、対象となるピクチャでのＭＢ毎の量子化スケールと、生成ビット量とを監視しつつ、レート制御を行なう手法を組み合わせると好ましい。
【００９４】
他方で、ＭＢ単位で、順次に量子化スケールの決定を行なうようにしてもよい。この結果、対象ピクチャにおけるＭＢ毎の生成ビット量をすぐに活用できるので、時間軸上前に位置するピクチャとの整合性がとれていない場合、迅速に対応することが可能である。
【００９５】
次に、ＣＰＵ等の制御手段の制御下で、符号化処理に際して、更新された、各種の条件や状態に関する情報が、保存されると共に、前述した回帰直線又は回帰曲線にフィードバックされる（ステップＳ７０）。
【００９６】
（３）本実施例の作用及び効果の検討
次に図７に加えて、前述した図５及び図６を適宜、参照して、本実施例の作用及び効果の検討を行う。ここに、図７は、本実施例に係る、一画像内において、Ｕｎｉｔと、信号特性のレベルとの関係を図式的に示した模式図（図７（ａ））、及び、比較例に係る、一画像内において、ＭＢラインと、信号特性のレベルとの関係を図式的に示した模式図（図７（ｂ））である。
【００９７】
図７（ｂ）に示されるように、比較例に係る、符号化処理の手法は、固定された一定数のＭＢ毎に量子化スケールが決定され、符号化処理が行われるため、一画像において、例えば情報量が多い部分と、例えば情報量の少ない部分とを区別することなく、均一的に決定された量子化スケールに基づいて、符号化処理が行われる。よって、一画像内における情報量の偏在に対応した適切な符号化処理を実現することが技術的に困難となってしまう。
【００９８】
具体的には、例えば情報量を相対的に多量に必要とする、ＭＢ（２、４）、・・・、ＭＢ（４、６）、及びＭＢ（４、７）は考慮されないで、「ＭＢライン１」、「ＭＢライン２」、・・・、「ＭＢライン８」を単位として、量子化スケールが、一画像内における情報量の偏在を反映することなく、均一的に決定される。よって、比較例においては、例えば、一画像の一部は、符号化処理の際の差分情報量（符号化差分量）が少ない場合であるにも関わらず量子化スケールが相対的に小さくなり、単純な絵柄をきめ細かく表現してしまう、即ち、画質のレベルが必要以上に高くなってしまう。他方、一画像の他部は、符号化処理の際の差分情報量（符号化差分量）が多い場合であるにも関わらず量子化スケールが相対的に大きくなり、又は割り当てビット量が不足するため、符号化困難度が相対的に高い部分を粗く表現してしまう、即ち、画質のレベルが必要よりも低くなり、ひいては画質が大幅に劣化してしまう。
【００９９】
これに対して、本実施例によれば、上述した図６（ｂ）及び図７（ａ）の「Ｕｎｉｔ１」から「Ｕｎｉｔ３」に示されるように、Ｕｎｉｔを単位として、決定された量子化スケールに基づいて、画像の符号化処理が行われる。この結果、一画像内において、例えば情報量の相対的に多い部分（又は、相対的に多くの情報量を必要とする部分、即ち、視覚的に重要な部分）が、従来の手法では、量子化スケールが相対的に大きくされ、画質が劣化する傾向にある下側部分に配置されていても、情報量に対応した適切な量子化スケールが決定され、符号化処理の際して適切な情報量、所謂、適切なビット量を割り当てることが可能である。
【０１００】
特に、一画像内の量子化スケールの制御を、時間軸上前のピクチャの情報などにより、ピクチャのエンコード開始時点で全てのMBにおける量子化スケールの配列の決定を行なう手法を組み合わせることで、視覚的に重要な部分に、より確実に多量のビット量を割り当てることが可能である。
【０１０１】
加えて、ピクチャの符号化処理の開始時点で、量子化スケールの配列を決定することによって、絵柄等の情報量の分布が大きく変化した場合に対応できないということを考慮し、バッファメモリの空き容量の監視の制御を組み合わせることで、絵柄等の情報量の分布の変化にも適切に対応することが可能である。また、ピクチャの符号化処理の開始時点では、上述した信号特性のレベルに基づいて、画像における、重要度マップを作成し、その重要度マップとバッファメモリの空き容量の監視との組み合わせによって、量子化スケールの決定することによって、重要度の高いエリアをより高精度に反映した量子化スケールの決定を実現することが可能である。
【０１０２】
以上の結果、一画像内において、例えば情報量が多い部分と、例えば情報量の少ない部分とが区別され、一画像内における情報量の偏在に適切に対応した符号化処理によって、一画像内における画質を適切にすることが実現可能である。
【０１０３】
（４）他の具体例
（４−１）他の具体例  （その１）
次に、図８を参照して、複数のＭＢが連結されて、一又は複数のＵｎｉｔが形成される手法の他の具体例について説明する。ここに、図８は、他の具体例（その１）に係る、一画像内において、例えば情報量の相対的に多い部分（又は、相対的に多くの情報量を必要とする部分）と、Ｕｎｉｔを決定する際の信号特性のレベルとの関係を図式的に示した模式図（図８（ａ））、及び、Ｕｎｉｔと、信号特性のレベルとの関係を図式的に示した模式図（図８（ｂ））である。
【０１０４】
尚、図８、及び、後述される図９においても、前述の図６と概ね同様にして、Ｘ軸、及び、Ｙ軸は、一画像のＭＢの位置を特定するための座標軸を示す。また、Ｘ軸方向に「１」、Ｙ軸方向に「３」によって特定されるＭＢを、ＭＢ（１、３）と示す。
【０１０５】
図８（ａ）に示されるように、一画像における９６個（Ｘ軸方向に１２個、Ｙ軸方向に８個）のＭＢにおいて、例えば肌色の度合いやActivity値等の信号特性のレベルが計算される。詳細には、「人の顔を示す部分（絵柄１又は２）」に対応されるＭＢや、「星の部分（絵柄３）」に対応されるＭＢにおいて、信号特性のレベルが相対的に高くなる。
【０１０６】
従って、図８（ｂ）に示されるように、信号特性のレベルが、概ね同じである、複数のＭＢが連結されて、Ｕｎｉｔが形成される。詳細には、前述した「人の顔を示す部分」に対応される、信号特性のレベルが「８７」であるＭＢ（２、４）、・・・、ＭＢ（４、６）、及びＭＢ（４、７）によって「Ｕｎｉｔ１」が形成される。また、前述した他の「人の顔を示す部分」に対応される、信号特性のレベルが「９１」であるＭＢ（７、３）、・・・、及びＭＢ（８、４）によって「Ｕｎｉｔ２」が形成される。また、「星の部分」に対応される、信号特性のレベルが「５５」であるＭＢ（１０、５）、・・・、ＭＢ（１１、７）によって「Ｕｎｉｔ３」が形成される。
【０１０７】
特に、他の具体例（その１）においては、例えば信号特性のレベルが「５０」より低いＭＢに対しては、Ｕｎｉｔの形成を省き、従来のＭＢ毎の符号化処理を行うようにしてもよい。
【０１０８】
この結果、複数のＭＢのうち一部が有する、相対的に高いレベルの信号特性（即ち、相対的に高いレベルの視覚的な重要度）に基づいて、一画像内において、情報量に対応した適切な量子化スケールが、迅速に決定され、符号化処理の際して適切な情報量、所謂、適切なビット量を、迅速に割り当てることが可能である。
【０１０９】
（４−２）他の具体例  （その２）
次に、図９を参照して、複数のＭＢが連結されて、一又は複数のＵｎｉｔが形成される手法の他の具体例について説明する。ここに、図９は、他の具体例（その２）に係る、一画像内において、例えば情報量の相対的に多い部分（又は、相対的に多くの情報量を必要とする部分）と、Ｕｎｉｔを決定する際の信号特性のレベルとの関係を図式的に示した模式図（図９（ａ））、及び、Ｕｎｉｔと、信号特性のレベルとの関係を図式的に示した模式図（図９（ｂ））である。
【０１１０】
図９（ａ）に示されるように、一画像における９６個（Ｘ軸方向に１２個、Ｙ軸方向に８個）のＭＢにおいて、例えば肌色の度合いやActivity値等の信号特性のレベルが計算される。詳細には、「星の部分（絵柄３）」に対応されるＭＢにおいて、信号特性のレベルが相対的に高くなると、共に、一画像において相対的に広い面積を占める。
【０１１１】
従って、図９（ｂ）に示されるように、信号特性のレベルが、概ね同じである、複数のＭＢが連結されて、Ｕｎｉｔが形成される。詳細には、「星の部分（絵柄３）」に対応される、信号特性のレベルが「５５」であるＭＢ（７、２）、ＭＢ（７、３）、・・・、ＭＢ（１１、６）、ＭＢ（１１、７）によって「Ｕｎｉｔ３」が形成される。
【０１１２】
特に、Ｕｎｉｔの面積が所定閾値より大きい場合、一つのＵｎｉｔを複数個に分割し、量子化スケールを分割されたＵｎｉｔに対して再度、決定するようにしてもよい。具体的には、「Ｕｎｉｔ３」のうちＭＢライン４及び５に含まれる「Ｕｎｉｔ３ｂ」に対しては、第１の量子化スケールを対応させ、「Ｕｎｉｔ３」のうちＭＢライン２及び３に含まれる「Ｕｎｉｔ３ａ」に対しては、第２の量子化スケールを対応させ、「Ｕｎｉｔ３」のうちＭＢライン６及び７に含まれる「Ｕｎｉｔ３ｃ」に対しては、第３の量子化スケールを対応させるようにしてもよい。
【０１１３】
仮に、このようなＵｎｉｔの分割を行わない場合、視覚的に重要度が相対的に高いと共に、一画像内において、面積のＵｎｉｔは、結局ビット量を多く割当てることが出来ず、相対的に大きな量子化スケールで一定となり、画質の劣化が目立つ可能性がある。
【０１１４】
これに対して、他の具体例（その２）では、分割されたＵｎｉｔの単位で、量子化スケールに若干の変動を加えることを可能とする。具体的には、画像の中心部分など劣化が目立つ部分において、相対的に多量のビットを割り当てる、即ち、量子化スケールを相対的に低くするようにしてもよい。
【０１１５】
この結果、一画像内において、情報量に対応した適切な量子化スケールが、分割されたＵｎｉｔ毎に決定され、符号化処理の際して適切な情報量、所謂、適切なビット量を割り当てることが可能である。
【０１１６】
また、上述の実施例では、映像信号符号化装置の一例として、ＭＰＥＧ２、又は、Ｈ．２６４／ＡＶＣ等の動画像の符号化処理を行う映像信号符号化装置について説明したが、本発明は、ＤＶＤレコーダ（又はプレーヤ）、Blu-Ray Discレコーダ（又はプレーヤ）磁気ディスクのレコーダ（又はプレーヤ）に限られるものではなく、他の各種記録媒体並びにそのレコーダ（又はプレーヤ）にも適用可能である。
【０１１７】
本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴なう映像信号符号化装置及び方法、並びに、コンピュータプログラムもまた本発明の技術的範囲に含まれるものである。
【図面の簡単な説明】
【０１１８】
【図１】一般的な映像信号と画像との関係の概要を図式的に示した模式図である。
【図２】一般的なマクロブロック（ＭＢ）の概要を図式的に示した模式図である。
【図３】本実施例に係る映像符号化装置の基本構成を図式的に示したブロック図である。
【図４】本実施例に係る映像符号化装置が備えるビットレートコントローラーを概念的に示したブロック図である。
【図５】本実施例に係る映像信号符号化装置による、Ｕｎｉｔを単位として、画像の符号化処理のための量子化スケール（Q値）を決定する手法を示したフローチャートである。
【図６】本実施例に係る、一画像内において、例えば情報量の相対的に多い部分と、Ｕｎｉｔを決定する際の信号特性のレベルとの関係を図式的に示した模式図（図６（ａ））、及び、Ｕｎｉｔと、信号特性のレベルとの関係を図式的に示した模式図（図６（ｂ））である。
【図７】本実施例に係る、一画像内において、Ｕｎｉｔと、信号特性のレベルとの関係を図式的に示した模式図（図７（ａ））、及び、比較例に係る、一画像内において、ＭＢラインと、信号特性のレベルとの関係を図式的に示した模式図（図７（ｂ））である。
【図８】他の具体例（その１）に係る、一画像内において、情報量の相対的に多い部分と、Ｕｎｉｔを決定する際の信号特性のレベルとの関係を図式的に示した模式図（図８（ａ））、及び、Ｕｎｉｔと、信号特性のレベルとの関係を図式的に示した模式図（図８（ｂ））である。
【図９】他の具体例（その２）に係る、一画像内において、情報量の相対的に多い部分と、Ｕｎｉｔを決定する際の信号特性のレベルとの関係を図式的に示した模式図（図９（ａ））、及び、Ｕｎｉｔと、信号特性のレベルとの関係を図式的に示した模式図（図９（ｂ））である。
【符号の説明】
【０１１９】
１０    映像信号符号化装置
１０４  レート制御手段
１０５  動画像符号化回路
【図１】
2007235705.tif 000003
【図２】
2007235705.tif 000004
【図３】
2007235705.tif 000005
【図４】
2007235705.tif 000006
【図５】
2007235705.tif 000007
【図６】
2007235705.tif 000008
【図７】
2007235705.tif 000009
【図８】
2007235705.tif 000010
【図９】
2007235705.tif 000011