(57)【要約】【課題】画質の劣化度を高精度で推定する。【解決手段】正しく復号できなかった際のエラーコンシールメント処理により画質劣化を抑えることができたか否かを復号処理の過程で得られる情報から判定して画質劣化度を推定する。エラーコンシールメントが効果的に働いていると判断した場合には、正しく復号できなかった画像領域に対しても画質の劣化が小さいと推定する。エラーコンシールメントが効果的に働いていないと判断した場合には、画質劣化が大きいと推定する。
2008093714.tif 000002
【特許請求の範囲】
【請求項１】
圧縮された画像データを復号する復号処理を行うとともに、画像データの誤りを修復するエラーコンシールメント処理を実行する画質評価方法であって、
圧縮された画像データを復号する復号処理において実行されたエラーコンシールメント処理の有効性を判定し、
判定された有効性にもとづいて画質劣化度を推定する
ことを特徴とする画質評価方法。
【請求項２】
エラーコンシールメント処理で、復号される前の画像データに含まれる誤りを隠蔽する請求項１記載の画質評価方法。
【請求項３】
圧縮された画像データが、伝送路を介して受信された画像データである場合、
エラーコンシールメント処理で、伝送エラーに起因する誤りを隠蔽する
ことを特徴とする請求項２記載の画質評価方法。
【請求項４】
圧縮された画像データが、あらかじめ定められた符号化方式で符号化された画像データである場合、
エラーコンシールメント処理で、前記符号化方式にもとづく復号処理で正常な復号がなされなかった画像領域の誤りを修復する
ことを特徴とする請求項１記載の画質評価方法。
【請求項５】
エラーコンシールメント処理の有効性がないと判定された画素の数を用いて画質劣化度を推定する
ことを特徴とする請求項１から請求項４のうちのいずれか１項に記載の画質評価方法。
【請求項６】
エラーコンシールメント処理の有効性を数値化し、数値の大小にもとづいて画質劣化度を推定する
ことを特徴とする請求項１から請求項４のうちのいずれか１項に記載の画質評価方法。
【請求項７】
エラーコンシールメント処理で、エラーが生じたフレームよりも時間的過去の正常復号されたフレームにおける画素で、エラーが生じている画素を置き換え、
前記エラーコンシールメント処理の有効性を、映像における動きの大きさの情報から判定する
ことを特徴とする請求項１から請求項６のうちのいずれか１項に記載の画質評価方法。
【請求項８】
圧縮された画像データが、動きベクトルにもとづく動き補償フレーム間予測を含む符号化方式で符号化された画像データである場合、
動きの大きさを、ビットストリーム中の動きベクトルから求める
ことを特徴とする請求項７記載の画質評価方法。
【請求項９】
動きの大きさを、復号が完了したフレームの動きベクトルの値から、現在のフレームにおける動きの大きさを推定することによって求める
ことを特徴とする請求項８記載の画質評価方法。
【請求項１０】
動きの大きさを、動きベクトルの水平成分と垂直成分の絶対値和、二乗和または二乗和の平方根の値を用いて求める
ことを特徴とする請求項９記載の画質評価方法。
【請求項１１】
動きの大きさを、エラーがあるフレームの近傍の正常に復号された１つまたは複数のフレームから求める
ことを特徴とする請求項７から請求項１０のうちのいずれか１項に記載の画質評価方法。
【請求項１２】
動きの大きさを、複数のフレームは、エラーがあるフレームの前後、前のフレームのみ、後のフレームのみのいずれかから求める
ことを特徴とする請求項１１記載の画質評価方法。
【請求項１３】
エラーコンシールメント処理の有効性を、映像に含まれるシーンの変化の有無から判定する
ことを特徴とする請求項１から請求項６のうちのいずれか１項に記載の画質評価方法。
【請求項１４】
エラーコンシールメント処理の有効性を、エラーコンシールメント処理を行った領域の画素値と、エラーコンシールメント処理を行わなかった領域の画素値との連続性から判定する
ことを特徴とする請求項１から請求項６のうちのいずれか１項に記載の画質評価方法。
【請求項１５】
圧縮された画像データを復号する復号処理を行う復号処理部と、画像データの誤りを修復するエラーコンシールメント処理を実行するエラーコンシールメント処理部とを備えた画像復号システムで用いられる画質評価装置であって、
圧縮された画像データを復号する復号処理において前記エラーコンシールメント処理部によって実行されたエラーコンシールメント処理の有効性を判定するエラーコンシールメント有効性判定処理部と、
前記エラーコンシールメント有効性判定処理部が判定した有効性にもとづいて画質劣化度を推定する画質劣化推定処理部と
を備えたことを特徴とする画質評価装置。
【請求項１６】
画質劣化推定処理部は、エラーコンシールメント処理の有効性がないとエラーコンシールメント有効性判定処理部によって判定された画素の数を用いて画質劣化度を推定する
ことを特徴とする請求項１５記載の画質評価装置。
【請求項１７】
画質劣化推定処理部は、エラーコンシールメント処理の有効性を数値化し、数値の大小にもとづいて画質劣化度を推定する
ことを特徴とする請求項１５記載の画質評価装置。
【請求項１８】
映像の動きの大きさに関する情報を計算する動き情報処理部を備え、
エラーコンシールメント処理部は、エラーコンシールメント処理で、エラーが生じたフレームよりも時間的過去の正常復号されたフレームにおける画素で、エラーが生じている画素を置き換え、
エラーコンシールメント有効性判定処理部は、エラーコンシールメント処理の有効性を、前記動き情報処理部が計算した映像の動きの大きさの情報から判定する
ことを特徴とする請求項１５から請求項１７のうちのいずれか１項に記載の画質評価装置。
【請求項１９】
圧縮された画像が動きベクトルにもとづく動き補償フレーム間予測を含む符号化方式で符号化された画像データである場合、
動き情報処理部は、動きの大きさを、ビットストリーム中の動きベクトルから求める
ことを特徴とする請求項１８記載の画質評価装置。
【請求項２０】
動き情報処理部は、動きの大きさを、復号が完了したフレームの動きベクトルの値から、現在のフレームにおける動きの大きさを推定することによって求める
ことを特徴とする請求項１９記載の画質評価装置。
【請求項２１】
映像に含まれるシーンの変化の有無を検出するシーンチェンジ検出処理部を備え、
エラーコンシールメント有効性判定処理部は、エラーコンシールメント処理の有効性を、シーンチェンジ検出処理部の検出結果から判定する
ことを特徴とする請求項１５から請求項１７のうちのいずれか１項に記載の画質評価装置。
【請求項２２】
エラーコンシールメント有効性判定処理部は、エラーコンシールメント処理の有効性を、エラーコンシールメント処理部がエラーコンシールメント処理を行った領域の画素値と、エラーコンシールメント処理を行わなかった領域の画素値との連続性から判定する
ことを特徴とする請求項１５から請求項１７のうちのいずれか１項に記載の画質評価装置。
【請求項２３】
圧縮された画像データを復号する復号処理を行うとともに、画像データの誤りを修復するエラーコンシールメント処理を実行する画像復号システムに適用されるコンピュータに、
圧縮された画像データを復号する復号処理において実行されたエラーコンシールメント処理の有効性を判定する処理と、
判定された有効性にもとづいて画質劣化度を推定する処理と
を実行させるための画質評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画質評価方法、画質評価装置および画質評価プログラムに関し、特に、伝送された画像データにもとづく画像の受信時点の画質を評価する画質評価方法、画質評価装置および画質評価プログラムに関する。
【背景技術】
【０００２】
映像の画質を客観的に評価する方法は大きく３種類に分類される。第１の方法は、原画像と劣化画像とを直接比較して画質を評価する方法である。第２の方法は、原画像の特徴量のみを抽出して、抽出された特徴量と劣化画像とから画質を評価する方法である。第３の方法は、劣化画像のみから画質を評価する方法である。【０００３】
第１の方法は、非特許文献１に記載されているように、具体的な方法がＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector ）によって勧告されている。しかし、送信装置から受信装置に映像の伝送を行うアプリケーションでは伝送路帯域に上限があり、原画像の伝送は困難である。原画像が伝送されなければ、受信装置において、第１の方法を用いて画質を評価することができない。【０００４】
また、第２の方法では、本来の送信画像データに原画像の特徴量を多重化して伝送するか、または別の伝送路経由で原画像の特徴量を伝送する必要がある。原画像の特徴量を多重化して伝送する場合には、送信装置を既存装置から置換する必要があり、別の伝送路経由で原画像の特徴量を伝送する場合には、送信装置を含む通信システムを既存システムから置換する必要がある。すなわち、既存のシステム上での新規運用が難しいという問題がある。【０００５】
第３の方法では、原画像の情報を全く必要としないので、受信装置の置換のみが必要になるだけである。従って、新規運用が容易であるという利点がある。このように原画像を用いずに受信データのみから画質を推定する画質評価装置が特許文献１や特許文献２に記載されている。特許文献１に記載されている画質評価装置は、データ量圧縮のために符号化された画像データを伝送する伝送路において伝送エラーが発生したことなどに起因して受信データが正しく復号できなかった場合に、エラー（画像データの誤り）が生じた領域の数を計測して画質劣化度としている。【０００６】
また、特許文献１に記載されているように、一般に、復号装置は、画像データを正しく復号できなかった場合には、正しく復号できなかった領域を目立たなくするような処理を映像フレームに対して行うエラーコンシールメント処理（エラー隠蔽処理）を実行する。エンドユーザは、エラーコンシールメント処理が行われた後の画像を見ることになる。【０００７】
【特許文献１】特開２０００−３４１５８８号公報（段落００４４，００７２，００９５）
【特許文献２】特開２００１−２５０１４号公報
【非特許文献１】ＩＴＵ−Ｔ勧告  Ｊ．１４４，２００４年３月
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１や特許文献２に記載されている画質評価装置では、エラーコンシールメントの有効性を考慮せず正しく復号できなかったサンプル数（特許文献１では領域数）のみによって画質劣化度が決められてしまう。その結果、評価された画質と実際の主観画質との相関が低くなるという問題がある。【０００９】
そこで、本発明は、エラーコンシールメントの有効性を判定し、画質の劣化度にエラーコンシールメントの有効性を反映させて、高精度で画質劣化を推定できる画質評価方法、画質評価装置および画質評価プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
すなわち、本発明による画質評価方法は、圧縮された画像データを復号する復号処理を行うとともに、画像データの誤りを修復するエラーコンシールメント処理を実行する画像復号システムに適用される画質評価方法であって、圧縮された画像データを復号する復号処理において実行されたエラーコンシールメント処理の有効性を判定し、判定された有効性にもとづいて画質劣化度を推定することを特徴とする。【００１１】
本発明による画質評価装置は、圧縮された画像データを復号する復号処理を行う復号処理部と、画像データの誤りを修復するエラーコンシールメント処理を実行するエラーコンシールメント処理部とを備えた画像復号システムで用いられる画質評価装置であって、圧縮された画像データを復号する復号処理においてエラーコンシールメント処理部によって実行されたエラーコンシールメント処理の有効性を判定するエラーコンシールメント有効性判定処理部と、エラーコンシールメント有効性判定処理部が判定した有効性にもとづいて画質劣化度を推定する画質劣化推定処理部とを備えたことを特徴とする。【００１２】
本発明による画質評価プログラムは、圧縮された画像データを復号する復号処理を行うとともに、画像データの誤りを修復するエラーコンシールメント処理を実行する画像復号システムに適用されるコンピュータに、圧縮された画像データを復号する復号処理において実行されたエラーコンシールメント処理の有効性を判定する処理と、判定された有効性にもとづいて画質劣化度を推定する処理とを実行させることを特徴とする。
【発明の効果】
【００１３】
本発明の効果は、復号時に発生した画質劣化の程度を示す画質劣化度を精度よく推定できることにある。その理由は、正しく復号できなかった画素を目立たなくするエラーコンシールメント処理の有効性を調べ、有効性を元に画質を推定するためである。
【図面の簡単な説明】
【００１４】
【図１】本発明による画質評価装置の構成例を示すブロック図である。
【図２】動きの大きさによるエラーコンシールメントの有効性の違いを説明するための説明図である。
【図３】シーンチェンジの有無によるエラーコンシールメントの有効性の違いを説明するための説明図である。
【図４】第１の実施の形態の画質評価装置における要部の動作を示すフローチャートである。
【図５】第２の実施の形態の画質評価装置における要部の動作を示すフローチャートである。
【図６】第３の実施の形態の画質評価装置における要部の動作を示すフローチャートである。
【図７】本発明の第４の実施の形態であるコンピュータシステムを示すブロック図である。
【符号の説明】
【００１５】
１２    エラーコンシールメント処理部
１３    動き情報取得処理部
１４    シーンチェンジ検出処理部
１５    エラーコンシールメント有効性判定処理部
１６    画質劣化推定処理部
１７    表示処理部
２１    動きのない領域
２２    動きの大きい領域
４１    プログラム制御プロセッサ
４２    入力データバッファ
４３    出力データバッファ
４４    プログラムメモリ
４４１  復号処理
４４２  エラーコンシールメント処理
４４３  動き情報取得処理
４４４  シーンチェンジ検出処理
４４５  エラーコンシールメント有効性判定処理
４４６  画質劣化推定処理
４４７  表示処理
【発明を実施するための最良の形態】
【００１６】
本発明は、正しく復号できなかった際のエラーコンシールメント処理により画質劣化を抑えることができたか否かを復号処理の過程で得られる情報から判定して画質劣化度を推定する。例えば、エラーコンシールメントが効果的に働いていると判断した場合には、正しく復号できなかった画像領域に対しても画質の劣化が小さいと推定する。一方、エラーコンシールメントが効果的に働いていないと判断した場合には、画質劣化が大きいと推定する。このようにエラーコンシールメント処理後の最終的に視聴者が視聴する画像の状態で画質を推定することにより、精度よく画質劣化度を推定できる。【００１７】
本発明の詳細を、図１を参照して説明する。図１は、本発明による画質評価装置の構成例を示すブロック図である。図１に示す画質評価装置は、復号処理部１１、エラーコンシールメント処理部１２、動き情報取得処理部（動き情報処理部）１３、シーンチェンジ検出部１４、エラーコンシールメント有効性判定処理部１５、画質劣化推定処理部１６、および表示処理部１７を含む。【００１８】
復号処理部１１は、伝送路で伝送された符号化された画像データ（符号化データ）を復号して画像を得る処理を行う。符号化方式は、ＭＰＥＧ−２などの動きベクトルにもとづく動き補償フレーム間予測を含む符号化方式である。エラーコンシールメント処理部１２は、エラーが生じている画像領域に対して、復号される前の画像データに含まれる誤りを隠蔽する処理であるエラーコンシールメント処理を行う。動き情報取得処理部１３は、復号処理部１１から、ビットストリーム中の動きベクトルを取得し、映像の動きの大きさに関する情報を計算する。シーンチェンジ検出部１４は、復号処理部１１から入力される情報にもとづいてシーンチェンジ（場面の変化）が発生したか否か判定する処理を行う。【００１９】
エラーコンシールメント有効性判定処理部１５は、復号処理においてエラーコンシールメント処理部によって実行されたエラーコンシールメント処理で画質の劣化を防ぐことができたか否か判定する処理を行う。画質劣化推定処理部１６は、画質劣化度を推定し、推定した画質劣化度を出力する処理を行う。表示処理部１７は、復号処理部１１が復号処理によって得た画像による映像を表示する処理を行う。【００２０】
なお、図１には、画質評価を行うブロックの他に、受信装置における画像の復号処理を行う部分（復号処理部１１）や、伝送路を介して受信した画像データにもとづく画像を表示する部分（表示処理部１７）も含まれている。【００２１】
実施の形態１．
図１、図２、図３および図４を参照して第１の実施の形態の全体の動作を説明する。図２は、動きの大きさによるエラーコンシールメントの有効性の違いを説明するための説明図である。図３は、シーンチェンジの有無によるエラーコンシールメントの有効性の違いを説明するための説明図である。図４は、画質評価装置における要部の動作を示すフローチャートである。【００２２】
図１に示す画質評価装置において、入力された符号化データは復号処理部１１で復号され、復号によって得られた画素情報は、表示処理部１７に送られる。表示処理部１７は、画素情報にもとづく映像を表示装置（図示せず）に表示させる。【００２３】
伝送路においてエラーがあったことや復号処理が表示タイミングに間に合わないことなどに起因して、復号処理部１１が正しく復号処理を行えなかった場合には、不完全な復号画素情報（正しく復号されなかった画素情報）はエラーコンシールメント処理部１２に出力される。エラーコンシールメント処理部１２は、伝送エラーなどに起因する画像データの誤りを隠蔽するために、正しく復号できなかった画像領域に対して画質劣化を目立たなくする処理を施して、表示処理部１７に画素情報を出力する。この場合、表示処理部１７は、エラーコンシールメント処理が施された画素情報にもとづく映像を表示装置に表示させる。【００２４】
エラーコンシールメント処理は、すでに復号が完了しているフレームの同位置の画素を繰り返し表示したり、復号が完了している複数のフレームの同位置の画素を平均するなどして実現される。しかし、エラーコンシールメント処理の方法はそれらに限られず、エラーコンシールメント処理に公知の種々の方法を適用することができる。エラーコンシールメント処理が発生したという情報（エラーコンシールメント処理発生情報）は、エラーコンシールメント処理部１２からエラーコンシールメント有効性判定処理部１５に出力される。【００２５】
エラーコンシールメント有効性判定処理部１５は、エラーコンシールメント処理発生情報が入力されると、エラーコンシールメント処理により画質の劣化を防ぐことができたか否かの判定を開始する（ステップＳ１１）。エラーコンシールメント有効性判定処理部１５は、エラーコンシールメント処理の有効性を、映像の動きの大きさやシーンチェンジの有無などから判断する。例えば、図２には映像フレームをＭＰＥＧ−２などの符号化処理単位であるマクロブロックに分割した様子が示されているが、マクロブロックごとに動きの大きさの判別を行うことができる。【００２６】
図２に示す領域（動きのない領域）２１は、映像の動きがなかった領域であったとする。動きのない領域２１については、エラーコンシールメント処理部１２がエラーコンシールメント処理で直前のフレームの同位置の画素をコピーすれば、その領域の画質劣化は目立たなくなる。なお、「動きのない領域」には、全く動きがない領域の他に、動きが小さい領域も含まれる。図２に示す領域（動きの大きい領域）２２は映像の動きが大きかった領域であったとする。その場合には、正しく復号できた直前のフレームの同位置の画素データをエラーコンシールメント処理でコピーしたとしても、周辺領域との差異が大きいため画質劣化が容易に検知されてしまう。よって、エラーコンシールメント有効性判定処理部１５は、動きの大きさが、あらかじめ決められているしきい値よりも大きい場合には、エラーコンシールメントの有効性が得られないと判断することができる。【００２７】
また、シーンチェンジ発生時に伝送エラーが発生した場合には、エラーコンシールメント処理において用いられる画素データがシーンチェンジ前のフレームの画素データであると、やはり周辺領域との差異が大きくなり画質劣化が目立つようになる。すなわち、エラーコンシールメントの有効性は小さくなる。例えば、図３には、エラー発生箇所とシーンチェンジ発生箇所が一致した場合が示されている。シーンＢの先頭フレームでエラーが発生した場合には、エラーコンシールメント処理部１２によって、シーンＡに属する直前のフレームの画素データを用いてエラーコンシールメント処理が実行される。この場合、エラーコンシールメントの有効性は得られず画質劣化は大きくなる。よって、エラーコンシールメント有効性判定処理部１５は、シーンチェンジが発生している場合にはエラーコンシールメントの有効性が得られないと判断し、エラーコンシールメント処理が行われた画像領域で画質が劣化したと判断できる。【００２８】
従って、本実施の形態では、エラーコンシールメント有効性判定処理部１５は、エラーコンシールメント処理の有効性を判断するために、映像の動きの大きさに関する情報、およびシーンチェンジが発生したか否かの情報を用いる。【００２９】
具体的には、復号時に動きベクトルの値が、復号処理部１１から動き情報取得処理部１３に出力される。動き情報取得処理部１３は、映像の動きの大きさに関する情報を計算する。動きの大きさに関する情報は、直前に正しく復号されたフレームにおいて同位置の画素ブロックにおける動き補償フレーム間予測の動きベクトルの大きさとして算出される（ステップＳ１２）。動きベクトルの大きさは、例えば、ベクトルのｘ成分（水平成分）の絶対値とｙ成分（垂直成分）の絶対値との和で求められる。また、動きベクトルの大きさを、動きベクトルのｘ成分とｙ成分の二乗和または二乗和の平方根の値で求めてもよい。【００３０】
なお、符号化モードによっては動き補償フレーム間予測を用いずにフレーム内の情報のみで符号化されている場合もある。その場合には、動きベクトルがないので、動き情報取得処理部１３は、動きの大きさを判断できない。その場合には、動き補償フレーム間予測で効果が得られないほど映像の動きが大きいと判断するか、さらに過去のフレームにおける動きベクトルを用いて動きの大きさを判断する。【００３１】
また、復号時の画素情報が、復号処理部１１からシーンチェンジ検出部１４に出力される。シーンチェンジ検出処理部１４は、入力された画素情報にもとづいて、シーンチェンジが発生したか否か判定する。シーンチェンジの有無は、例えば、直前に正しく復号されたフレームとの現在復号中のフレームにおいて既に復号か完了している画素値の平均値の違いの大きさを調べる方法で判定される（ステップＳ１５，Ｓ１６）。すなわち、画素値の平均値の違いがあらかじめ決められている所定値（しきい値）よりも大きければシーンチェンジが発生したと判定される。しかし、シーンチェンジの有無の判定方法については、そのような方法に限定されない。【００３２】
動きの大きさに関する情報は、動き情報取得処理部１３からエラーコンシールメント有効性判定処理部１５に出力される。シーンチェンジの有無に関する情報は、シーンチェンジ検出処理部１４からエラーコンシールメント有効性判定処理部１５に出力される。【００３３】
エラーコンシールメント有効性判定処理部１５は、動きの大きさがしきい値よりも大きい場合、またはシーンチェンジが発生している場合には、エラーコンシールメントの有効性が得られないと判断し、エラーコンシールメント処理が行われた画像領域で画質が劣化したと判定する（ステップＳ１３，Ｓ１６，Ｓ１４）。【００３４】
画質劣化推定処理部１６は、画質が劣化したと判定された画像領域における画素数もしくはブロック数を集計するか、またはエラーコンシールメント処理の有効性を数値化して、その数値の１フレーム分の合計を集計する。そして、集計した値の大小によって画質劣化度を評価する（ステップＳ１７）。画質劣化推定処理部１６によって算出された画質劣化度が、画質評価装置から出力される。画質劣化推定処理部１６は、例えば、集計した値を画質劣化度として出力したり、集計した値が所定のしきい値を越えている場合に画質が劣化していることを示すデータを画質劣化度として出力する。【００３５】
実施の形態２．
次に、本発明の第２の実施の形態を説明する。第２の実施の形態では、動きの大きさの算出方法が第１の実施の形態とは異なる。図５は、画質評価装置における要部の動作を示すフローチャートである。なお、動きの大きさの算出方法以外については、第１の実施の形態の場合と同じである。【００３６】
第２の実施の形態では、動き情報取得処理部１３は、動きの大きさに関する情報を、復号中のフレームまたは既に復号された複数のフレームにおいて、動きの大きさを求めようとしている画素位置の近傍において正しく復号された１つ以上の動きベクトルをもとに算出する（ステップＳ２２）。例えば、時間的に過去のフレームを参照している動きベクトルおよび時間的に未来のフレームを参照している動きベクトルの平均ベクトルのｘ成分の絶対値とｙ成分の絶対値の和などの方法で、動きの大きさに関する情報を求める。すなわち、動きの大きさを、エラーがあるフレームの近傍の正常に復号され１つまたは複数のフレームから求める。具体的には、動きの大きさを、正常に復号されたフレームであって、エラーがあるフレームの前後のフレーム（エラーがあるフレームよりも時間的に前および後に位置する画像のフレーム）、または前のフレームのみ、もしくは後のフレームのみを用いて求める。【００３７】
このように１つまたは複数の動きベクトルから動きの大きさを算出することによって、動き情報取得処理部１３は、精度良く画質劣化度を推定することできる。【００３８】
実施の形態３．
次に、本発明の第３の実施の形態を説明する。第３の実施の形態では、エラーコンシールメント有効性判定処理部１５は、エラーコンシールメントの有効性を判断するために、動きの大きさ、およびシーンチェンジの有無以外の情報を用いる。図６は、画質評価装置における要部の動作を示すフローチャートである。なお、エラーコンシールメント有効性判定処理部１５の処理以外については、第１の実施の形態または第２の実施の形態の場合と同じである。【００３９】
図１に示すように、入力された符号化データは、復号処理部１１で復号され、表示処理部１７で復号された映像が表示される。伝送路においてエラーがあった場合など正しく復号ができなかった場合には、エラーコンシールメント処理部１２によって、正しく復号できなかった画像領域に対して画質劣化を目立たなくする処理が施された上で、表示処理部１７で映像が表示される。このとき、エラーコンシールメント処理が行われた全ての領域を示す情報と、それらの領域におけるエラーコンシールメント後の画素の値とが、エラーコンシールメント処理部１２からエラーコンシールメント有効性判定処理部１５に出力される。また、復号処理部１１から正しく復号できた画素の値がエラーコンシールメント有効性判定処理部１５に出力される。【００４０】
エラーコンシールメント有効性判定処理部１５は、エラーコンシールメント処理が行われた領域におけるエラーコンシールメント処理後の画素の値と、エラーコンシールメント処理が行われなかった領域の間の画素の値との差を算出し、差の大きさの一画素あたりの平均値をしきい値と比較する（ステップＳ３５，Ｓ１６）。そして、差の大きさの一画素あたりの平均値としきい値とにもとづいて、その領域におけるエラーコンシールメント処理の有効性を判断する。具体的には、しきい値よりも大きくなる領域は正しく復号できた領域との連続性が損なわれていることになるのでエラーコンシールメント処理の有効性が小さいと判定する。しきい値以下になる場合には、正しく復号できた領域との連続性が保たれ、エラーコンシールメントにより画質劣化が防げている可能性が高いと判定する。【００４１】
エラーコンシールメント処理の有効性の有無の情報は、エラーコンシールメント有効性判定処理部１５から画質劣化推定処理部１６に出力される。画質劣化推定処理部１６は、エラーコンシールメント処理の有効性が無く画質が劣化したと判定された画素数またはブロック数を集計する。そして、集計した値の大小によって画質劣化度を評価する。【００４２】
実施の形態４．
次に、本発明の第４の実施の形態を図７を参照して説明する。第４の実施の形態では、第１の実施の形態の画質評価装置が、コンピュータシステムで実現される。【００４３】
図７は、第４の実施の形態のコンピュータシステムにおける画質評価システムを示すブロック図である。図７に示すように、画質評価システムには、プログラム制御プロセッサ４１が装備されている。プログラム制御プロセッサ４１には、入力データバッファ４２および出力データバッファ４３の他に、必要なプログラムを格納したプログラムメモリ４４が接続されている。プログラムメモリ４４に格納されるプログラムモジュールは、メインプログラムの他に、復号処理モジュール４４１、エラーコンシールメント処理モジュール４４２、動き情報取得処理モジュール４４３、シーンチェンジ検出処理モジュール４４４、エラーコンシールメント有効性判定処理モジュール４４５、画質劣化推定処理モジュール４４６、および表示処理モジュール４４７を含む。メインプログラムは、画質評価処理を実行する主プログラムである。【００４４】
復号処理モジュール４４１、エラーコンシールメント処理モジュール４４２、動き情報取得処理モジュール４４３、シーンチェンジ検出処理モジュール４４４、エラーコンシールメント有効性判定処理モジュール４４５、画質劣化推定処理モジュール４４６、表示処理モジュール４４７のプログラムモジュールは、上述した復号処理部１１、エラーコンシールメント処理部１２、動き情報取得処理部１３、シーンチェンジ検出部１４、エラーコンシールメント有効性判定処理部１５、画質劣化推定処理部１６、および表示処理部１７のそれぞれの機能を実現するためのプログラムである。画質評価システムにおけるメインプログラムおよび各機能モジュールに従ってプログラム制御プロセッサ４１が処理を実行することによって、第１の実施の形態の画質評価装置による画質評価処理が実行される。なお、上記の第２の実施の形態および第３の実施形態についても同様に、各部の機能を実現するためのプログラムモジュールをコンピュータシステムに実装することによって、コンピュータシステム上で実現可能になる。【００４５】
次に、本発明による画質評価装置の具体的な実施例を説明する。【００４６】
ＭＰＥＧ−２方式で符号化されたＳＤＴＶサイズ（水平７２０画素、垂直４８０画素、１秒あたり２９．９７フレーム）の画像データが送信装置からインターネットプロトコル（ＩＰ）で伝送され、本発明による画質評価装置が受信したとする。画像データが伝送された伝送路は１％の確率でデータのロスを生ずるとする。受信した画像データは、図１に示された画質評価装置に入力される。【００４７】
図１に示された復号処理部１１は、ＭＰＥＧ−２符号化方式で符号化された画像データを復号する。復号された画像データにもとづく画像が、表示処理部１７によって表示される。伝送路においてデータのロスが生ずるため、正しく復号できない場合が発生する。この場合、エラーコンシールメント処理部１２で正しく復号できなかった画像領域を目立たなくする処理が実行される。エラーコンシールメント処理は、直前のフレームにおける、正しく復号できなかった画像領域と同じ位置の画素を繰り返し表示することにより実行される。【００４８】
例えば、画像フレームのうち右下の４８画素×１６画素の領域（ＭＰＥＧ−２符号化における３マクロブロック分の領域）で正しく復号できなかったとする。この３つのマクロブロックをＭ１、Ｍ２、Ｍ３とする。このとき、直前の画像フレームにおけるマクロブロックＭ１、Ｍ２、Ｍ３と同じ位置の４８画素×１６画素の領域を正しく復号できなかった復号中の画像フレームにコピーすることによって画質劣化を目立たなくする。【００４９】
エラーコンシールメント処理が発生したという情報は、エラーコンシールメント処理部１２からエラーコンシールメント有効性判定処理部１５に出力され、エラーコンシールメント処理によって画質の劣化を防ぐことができたか否かが判定される。エラーコンシールメント有効性判定処理部１５は、判定のために、動き情報取得処理部１３から動きの大きさに関する情報を取得する。動き情報取得処理部１３は、直前の画像フレームのマクロブロックＭ１、Ｍ２、Ｍ３の位置のマクロブロックにおける動きベクトルから動きの大きさを求める。【００５０】
直前の画像フレームにおけるマクロブロックＭ１の動きベクトルが（１０、５）、マクロブロックＭ２の動きベクトルが（１２、５）、マクロブロックＭ３の動きベクトルが（１、０）であったとする。動き情報取得処理部１３は、動きの大きさを、動きベクトルのｘ成分の絶対値とｙ成分の絶対値との和として算出するとする。すると、マクロブロックＭ１における動きの大きさは｜１０｜＋｜５｜＝１５、マクロブロックＭ２における動きの大きさは｜１２｜＋｜５｜＝１７、マクロブロックＭ３における動きの大きさは｜１｜＋｜０｜＝１になる。動きの大きさを判定するためのしきい値は１０であるとする。Ｍ１、Ｍ２の動きの大きさはしきい値より大きいので、動き情報取得処理部１３は、マクロブロックＭ１、Ｍ２では動きが大きいと判定する。【００５１】
マクロブロックＭ３では動きの大きさがしきい値よりも小さいので、動き情報取得処理部１３は、マクロブロックＭ３では動きが小さいと判定する。次に、シーンチェンジの有無について判定が行われる。シーンチェンジ検出処理部１４は、復号中の画像フレームにおいて、左上の画素からマクロブロックＭ１よりも前に復号された画素までの全ての画素と、直前のフレームにおける、同位置の画素とを比較することによって、シーンチェンジの有無を判定する。ここでは、シーンチェンジが無かったと判定されたとする。【００５２】
エラーコンシールメント処理が行われた画素領域における動きの大きさの情報と、シーンチェンジの有無に関する情報はエラーコンシールメント有効性判定処理部１５に入力される。エラーコンシールメント有効性判定処理部１５は、動きが大きいと判定されたマクロブロック、またはシーンチェンジがあったと判定されたフレームにおけるエラーコンシールメント処理がなされた全領域がエラーコンシールメントの有効性がなかったと判定される。【００５３】
本実施例では、マクロブロックＭ１、Ｍ２において動きが大きいと判定されているので、これらのマクロブロックでエラーコンシールメントの有効性がなかったと判定されることになる。この判定の結果を示す情報が画質劣化推定処理部１６に出力される。画質劣化推定処理部１６は、エラーコンシールメントの有効性がなかったと判定されたマクロブロック数２を、この画像フレームにおける画質劣化度とする。この処理は各フレームにおいて行われる。次のフレームで、エラーコンシールメントの有効性がなかったと判定されたマクロブロックが１０あったとすると、画質劣化度が１０になり、次のフレームのほうが画質が大きく劣化していることになる。【００５４】
本出願は、２００７年１月３１日に出願された日本出願特願２００７−０２１３１０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【００５５】
本発明は、圧縮された画像データを復号する復号処理を行うとともに、画像データの誤りを修復するエラーコンシールメント処理を実行する画像復号システムに好適に適用される。
【図１】
2008093714.tif 000003
【図２】
2008093714.tif 000004
【図３】
2008093714.tif 000005
【図４】
2008093714.tif 000006
【図５】
2008093714.tif 000007
【図６】
2008093714.tif 000008
【図７】
2008093714.tif 000009
【国際調査報告】
2008093714.tif 000010
2008093714.tif 000011