(57)【特許請求の範囲】
【請求項１】
高能率符号化されたテレビジョン信号の復号画像信号の符号化時の符号化パラメータを推定する画像の属性推定装置であって、
画像の属性としての前記符号化パラメータの推定は、前記復号画像信号の符号化時のピクチャタイプ又は量子化スケールについて推定するものであり、
多数の画像信号に対して固定量子化特性で符号化したときの発生情報量とピクチャタイプ又は量子化スケールとの間の関係式は、トレーニング法により統計処理した結果を解析して予め生成されており、
前記復号画像信号を前記固定量子化特性で符号化する固定量子化符号化手段と、
前記固定量子化符号化手段によって符号化された信号を入力して、前記復号画像信号についての発生情報量を演算する発生情報量演算手段と、
前記発生情報量演算手段によって演算された発生情報量を入力して、前記関係式に基づいて、前記復号画像信号についてのピクチャタイプ又は量子化スケールを推定する符号化パラメータ推定・演算手段と、
を備えることを特徴とする画像の属性推定装置。
【請求項２】
高能率符号化されたテレビジョン信号の復号画像信号の画質に関係する物理量を推定する画像の属性推定装置であって、
画像の属性としての前記画質に関係する物理量の推定は、前記復号画像信号の符号化ＳＮＲ（Ｓｉｇｎａｌ  ｔｏ Ｎｏｉｓｅ  Ｒａｔｉｏ）について推定するものであり、
多数の画像信号に対して固定量子化特性で符号化したときの発生情報量と符号化ＳＮＲとの間の関係式は、トレーニング法により統計処理した結果を解析して予め生成されており、
前記復号画像信号を前記固定量子化特性で符号化する固定量子化符号化手段と、
前記固定量子化符号化手段によって符号化された信号を入力して、前記復号画像信号についての発生情報量を演算する発生情報量演算手段と、
前記発生情報量演算手段によって演算された発生情報量を入力して、前記関係式に基づいて、前記復号画像信号についての符号化ＳＮＲを推定する符号化ＳＮＲ推定・演算手段と、
を備えることを特徴とする画像の属性推定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、高能率符号化されたテレビジョン信号の復号画像信号のみから、符号化時の符号化パラメータや画質に関係する物理量など画像の属性を推定する画像の属性推定装置に係り、特に、参照画像を使用しない客観画質評価において、その真価を発揮するものである。
【０００２】
【従来の技術】
従来、復号画像信号から符号化時の符号化パラメータを測定する測定装置としては、図６に示す構成の装置が知られている（例えば、松下インターテクノ（株）製のストリーム解析装置「ＡＤ９５３−II」など）。
【０００３】
これらの装置では、図６に示すように、符号化器１、符号化パラメータ抽出器２の経路で符号化に使用したパラメータを別途受信側に送信するか、または、符号化器１、復号化器３の経路で、ビットストリームに重畳された符号化パラメータを復号画像信号から分離して取り出すことにより符号化パラメータを測定している。
【０００４】
また、従来、復号画像信号から画質に関係する物理量を測定する測定装置としては、図７に示す構成の装置が知られている（例えば、ソニー・テクトロニクス（株）製の画質評価装置「ＰＱＡ２００」など）。
【０００５】
この装置は、送信側において画質に関係する物理量を測定するもので、図７に示すように、符号化器１、復号化器３の経路で符号化／復号化された画像信号と、入力画像信号の双方を画質に関係する物理量の演算部４に取り込み、画質に関係する物理量、例えば、ＰＳＮＲ（Peak Signal to Noise Ratio）を測定している。
【０００６】
【発明が解決しようとする課題】
上述したように、従来、符号化時の符号化パラメータを測定し、または画質に関係する物理量を測定するなど画像の属性を測定するに際しては、測定場所で符号化時に使用したパラメータや符号化する前の入力画像信号が得られないと、上述した種類の画像の属性を測定することができなかった。従って、受信側において、例えば、放送の受信画像について符号化パラメータや画質に関係する物理量を測定しようとしても、符号化時の符号化パラメータや符号化する前の入力画像信号が得られないため、符号化パラメータや画質に関係する物理量を測定することができなかった。
【０００７】
また、符号化パラメータや画質に関係する物理量を受信側において測定可能にするために、符号化パラメータや入力画像信号を符号化画像信号とともに受信側に伝送する場合であっても、そのために大きな伝送帯域が必要になったり、別途設備が必要になるという欠点があった。
【０００８】
本発明の目的は、上述した欠点を除去するために、測定場所において、符号化時の符号化パラメータや符号化する前の入力画像信号が得られなくても、符号化パラメータや画質に関係する物理量など画像の属性を推定することのできる画像の属性推定装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明画像の属性推定装置は、高能率符号化されたテレビジョン信号の復号画像信号の符号化時の符号化パラメータを推定する画像の属性推定装置であって、画像の属性としての前記符号化パラメータの推定は、前記復号画像信号の符号化時のピクチャタイプ又は量子化スケールについて推定するものであり、多数の画像信号に対して固定量子化特性で符号化したときの発生情報量とピクチャタイプ又は量子化スケールとの間の関係式は、トレーニング法により統計処理した結果を解析して予め生成されており、前記復号画像信号を前記固定量子化特性で符号化する固定量子化符号化手段と、前記固定量子化符号化手段によって符号化された信号を入力して、前記復号画像信号についての発生情報量を演算する発生情報量演算手段と、前記発生情報量演算手段によって演算された発生情報量を入力して、前記関係式に基づいて、前記復号画像信号についてのピクチャタイプ又は量子化スケールを推定する符号化パラメータ推定・演算手段と、を備えることを特徴とするものである。
【００１１】
また、本発明による更に別の画像の属性推定装置は、高能率符号化されたテレビジョン信号の復号画像信号の画質に関係する物理量を推定する画像の属性推定装置であって、画像の属性としての前記画質に関係する物理量の推定は、前記復号画像信号の符号化ＳＮＲ（Ｓｉｇｎａｌ  ｔｏ Ｎｏｉｓｅ  Ｒａｔｉｏ）について推定するものであり、多数の画像信号に対して固定量子化特性で符号化したときの発生情報量と符号化ＳＮＲとの間の関係式は、トレーニング法により統計処理した結果を解析して予め生成されており、前記復号画像信号を前記固定量子化特性で符号化する固定量子化符号化手段と、前記固定量子化符号化手段によって符号化された信号を入力して、前記復号画像信号についての発生情報量を演算する発生情報量演算手段と、前記発生情報量演算手段によって演算された発生情報量を入力して、前記関係式に基づいて、前記復号画像信号についての符号化ＳＮＲを推定する符号化ＳＮＲ推定・演算手段と、を備えることを特徴とするものである。
【００１２】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は、復号画像信号のみから符号化時の符号化パラメータの推定を行う、本発明画像の属性推定装置の第１の実施形態をブロック図にて示している。
図１において、５は再符号化による発生情報量測定器、６は固定量子化符号化部、７は発生情報量演算部、および８は符号化パラメータ推定・演算器である。
【００１３】
動作につき説明する。
図１において、復号画像信号（ベースバンド信号）は、再符号化による発生情報量測定器５中の固定量子化符号化部６に供給され、ＭＰＥＧ−２符号化 ( ISO/IEC 13812-2 )される。符号化出力は、同じ発生情報量測定器５中の発生情報量演算部７に送られ、符号化により発生した発生情報量が演算され、さらに、１画素あたりの情報量に換算されて出力される。この１画素あたりの情報量は符号化パラメータ推定・演算器８に送られ、次に説明する符号化パラメータと発生情報量（１画素あたりの情報量）との関係に基づいて符号化パラメータの演算が行われる。
【００１４】
上記において、ＭＰＥＧ−２符号化を行う固定量子化符号化器６は、周知のように、ＭＣ（動き補償器）９、ＤＣＴ（ Discrete Cosine Transform )１０、Quantizer （量子化器）１１、およびＶＬＣ（可変長符号化器）１２によって構成されている。
また、符号化パラメータと発生情報量演算部７の発生情報量（１画素あたりの情報量）との間の関係は、発生情報量演算部７に符号化パラメータが既知である多数の符号化画像信号を入力し、そのときどきに発生した発生情報量をトレーニング法により統計的に処理した結果から解析的に求めるものとする。
【００１５】
図２は、以上説明した復号画像信号のみから符号化時の符号化パラメータの推定を行う第１の実施形態（図１参照）において、符号化パラメータ推定・演算器８における演算の対象を、符号化パラメータのうちのＭＰＥＧ−２符号化 ( ISO/IEC 13812-2 )により規定されるピクチャタイプとした場合について、特に、発生情報量の算出とピクチャタイプの検出を可能にするとともに、ピクチャタイプと発生情報量との間の関係式を、ピクチャタイプが既知である多数のサンプル画像に対して発生した発生情報量からトレーニング法により求めるときの関係式算出回路の一構成例をブロック図にて示している。
本実施形態を第２の実施形態と言う。
【００１６】
復号画像信号のみから符号化時のピクチャタイプの推定を行う第２の実施形態は、符号化パラメータをピクチャタイプと読み替えるだけで上述した第１の実施形態とその基本的な構成は変わらない。
なお、本実施形態において、発生情報量の算出とピクチャタイプの検出を行い、かつピクチャタイプと発生情報量との間の関係をトレーニング法により求めるときの算出回路の一構成例を示す図２において、１３は符号化器、１４は復号化器、１５は発生情報量算出部、１６はピクチャタイプ検出部、および１６はピクチャタイプと発生情報量の関係式演算部である。
【００１７】
図３も、上記に説明した復号画像信号のみから符号化時の符号化パラメータの推定を行う第１の実施形態（図１参照）において、符号化パラメータ推定・演算器８における演算の対象を、符号化パラメータのうちのＭＰＥＧ−２符号化 ( ISO/IEC 13812-2 )により規定される量子化スケールとした場合について、特に、発生情報量の算出と量子化スケールの検出を可能にするとともに、量子化スケールと発生情報量との間の関係式を、量子化スケールが既知である多数のサンプル画像に対して発生した発生情報量からトレーニング法により求めるときの関係式算出回路の一構成例をブロック図にて示している。
本実施形態を第３の実施形態と言う。
【００１８】
復号画像信号のみから符号化時の量子化スケールの推定を行う第３の実施形態は、符号化パラメータを量子化スケールに読み替えるだけで上述した第１の実施形態とその基本的な構成は変わらない。
なお、本実施形態において、発生情報量の算出と量子化スケールの検出を行い、かつ量子化スケールと発生情報量との間の関係をトレーニング法により求めるときの算出回路の一構成例を示す図３において、符号１３から１５で示す部分は図２におけるのと同一であり、１８は量子化スケール検出部、および１９は量子化スケールと発生情報量の関係式演算部である。
【００１９】
図４は、復号画像信号のみから画質に関係する物理量の推定を行う、本発明画像の属性推定装置の第４の実施形態をブロック図にて示している。
図４においては、符号５，６，７、および符号９から１２で示す部分は図１におけるのと同一であり、また、本実施形態では、再符号化による発生情報量測定器５中の再生情報量演算部７の出力が、画質に関係する物理量推定・演算器２０に供給されることにおいて第１の実施形態と異なっている。
【００２０】
動作につき説明する。
本実施形態においては、上記のように、再符号化による発生情報量測定器５中の発生情報量演算部７で求められた発生情報量（この場合は、１画素あたりの情報量に換算しない）は、画質に関係する物理量推定・演算器２０に送られ、同演算器２０においては、あらかじめ求めておいた発生情報量と画質に関係する物理量との間の関係（関数ｆ）を用い、実際に発生した発生情報量に対応する画質に関係する物理量を演算する。
【００２１】
この関数ｆは、次式で表される。
ｅ＝ｆ（Ｒ）
ここで、ｅは画質に関係する物理量であり、Ｒは発生情報量である。
関数ｆは、多くのサンプルに対して、あらかじめ画質に関係する物理量が分かっている画像に対しての発生情報量を求め、これをトレーニング法により統計的に処理した結果から解析的に求めたものである。
【００２２】
図５は、以上説明した復号画像信号のみから画質に関係する物理量の推定を行う第５の実施形態（図５参照）において、画質に関係する物理量推定・演算器２０における演算の対象を符号化ＳＮＲ（ Signal to Noise Ratio）とした場合について、特に、符号化ＳＮＲと発生情報量Ｒとの間の関係式をトレーニング法により求めるときの関係式算出回路の一構成例をブロック図にて示している。
本実施形態を第５の実施形態と言う。
【００２３】
画質に関係する物理量推定・演算器２０における演算の対象を符号化ＳＮＲとした第５の実施形態は、画質に関する物理量ｅを符号化ＳＮＲに読み替えるだけで上述した第４の実施形態とその基本的な構成は変わらない。
なお、本実施形態において、発生情報量の算出と符号化ＳＮＲの算出を行い、かつ符号化ＳＮＲと発生情報量との間の関係をトレーニング法により求めるときの算出回路の一構成例を示す図５において、符号１３から１５で示す部分は図２および図３おけるのと同一であり、２１は符号化ＳＮＲ算出部、２２はＳＮＲ＝ｆ（Ｒ）をトレーニング法により求める部分である。
また、画質に関する物理量ｅと発生情報量Ｒとの間の関係が求まれば任意の受信画像の発生情報量から符号化ＳＮＲを演算することができる。
【００２４】
【発明の効果】
本発明によれば、任意の画像に対して、高能率符号化されたテレビジョン信号の復号画像信号のみから、符号化時の符号化パラメータや画質に関係する物理量など画像の属性を推定することができる。
これに対し、従来技術においては、符号化時の情報が付加された状態の画像や符号化前の入力画像が別途用意された画像（任意の画像ではない）でのみ、符号化時の符号化パラメータや画質に関係する物理量を推定することが可能であった。
【図面の簡単な説明】
【図１】  復号画像信号のみから符号化時の符号化パラメータの推定を行う、本発明画像の属性推定装置の第１の実施形態をブロック図にて示している。
【図２】  符号化パラメータをピクチャタイプとした場合に、ピクチャタイプと発生情報量との間の関係式を求めるときの関係式算出回路の一構成例（第２の実施形態）をブロック図にて示している。
【図３】  符号化パラメータを量子化スケールとした場合に、量子化スケールと発生情報量との間の関係式を求めるときの関係式算出回路の一構成例（第３の実施形態）をブロック図にて示している。
【図４】  復号画像信号のみから画質に関係する物理量の推定を行う、本発明画像の属性推定装置の第４の実施形態をブロック図にて示している。
【図５】  画質に関係する物理量を符号化ＳＮＲとした場合に、符号化ＳＮＲと発生情報量Ｒとの間の関係式を求めるときの関係式算出回路の一構成例をブロック図にて示している。
【図６】  従来の復号画像信号から符号化時の符号化パラメータを測定する装置の構成例をブロック図にて示している。
【図７】  従来の復号画像信号から画質に関係する物理量を測定する測定装置の構成例をブロック図にて示している。
【符号の説明】
１  符号化器
２  符号化パラメータ抽出器
３  復号化器
４  画質に関係する物理量の演算部
５  再符号化による発生情報量測定器
６  固定量子化符号化部
７  発生情報量演算部
８  符号化パラメータ推定・演算器
９  ＭＣ（動き補償器）
１０  ＤＣＴ（ Discrete Cosine Transform )
１１  Quantizer （量子化器）
１２  ＶＬＣ（可変長符号化器）
１３  符号化器
１４  復号化器
１５  発生情報量算出部
１６  ピクチャタイプ検出部
１７  ピクチャタイプと発生情報量の関係式演算部
１８  量子化スケール検出部
１９  量子化スケールと発生情報量の関係式演算部
２０  画質に関係する物理量推定・演算器
２１  符号化ＳＮＲ算出部
２２  ＳＮＲ＝ｆ（Ｒ）をトレーニング法により求める部分
【図１】
0004149120.tif 000002
【図２】
0004149120.tif 000003
【図３】
0004149120.tif 000004
【図４】
0004149120.tif 000005
【図５】
0004149120.tif 000006
【図６】
0004149120.tif 000007
【図７】
0004149120.tif 000008