(57)【要約】【課題】受信した映像符号化データのみから主観評価により近い画質劣化度を算出する。【解決手段】劣化領域検出部１７２は、復号処理されたデータが不連続点を含むと判定した場合に、この不連続点から次の復号処理同期位置までの間の入力データを特定し、復号処理の結果、この不連続点の影響により画質が劣化した画像領域に関する情報を劣化領域情報として生成し、劣化領域重要度算出部１７３に出力する。劣化領域重要度算出部１７３は、劣化領域検出部１７２から受け取った劣化領域情報から劣化領域の画像フレーム上での主観に応じた重要度を算出し、劣化領域情報及び重要度を画質劣化度算出部１７４に通知する。画質劣化度算出部１７４は、劣化領域検出部１７２で検出された各劣化領域に対して、劣化領域情報及び劣化領域重要度算出部１７３で算出された劣化領域の重要度をもとに画質劣化度を算出し、画質劣化度を外部に出力する。【選択図】図１
2009171023.tif 000002
【特許請求の範囲】
【請求項１】
画質の評価対象の画像符号化データを、データ欠落又はデータ誤りによる不連続位置を示す不連続位置情報と共に入力として受け、前記画像符号化データを復号して画像データを生成する際に、前記不連続位置情報に基づいて、前記画像符号化データ中の不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定し、その特定した画像符号化データの影響を受ける画像領域を劣化領域として検出する劣化領域検出手段と、
少なくとも前記劣化領域検出手段により検出された前記劣化領域の特徴を示す劣化領域の情報に基づいて、その劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する画質劣化度算出手段と、
を有することを特徴とする画質評価装置。
【請求項２】
画質の評価対象の画像符号化データを復号処理し、画像フレームを生成する復号処理部と、
前記画像符号化データのデータ欠落又はデータ誤りによる不連続位置を示す不連続位置情報に基づいて、復号処理される前記画像符号化データが不連続点を含むと判定した場合に、この不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定し、その特定した画像符号化データ部分の影響を受ける画像領域を劣化領域として検出し、前記劣化領域の特徴を示す劣化領域の情報を生成する劣化領域検出部と、
前記劣化領域の情報から前記劣化領域の重要度を算出する劣化領域重要度算出部と、
前記劣化領域の情報及び前記重要度に基づいて、前記劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する画質劣化度算出部と、
を有することを特徴とする画質評価装置。
【請求項３】
画質の評価対象の画像符号化データを復号処理し、画像フレームを生成する復号処理部と、
前記画像符号化データのデータ欠落又はデータ誤りによる不連続位置を示す不連続位置情報に基づいて、復号処理される前記画像符号化データが不連続点を含むと判定した場合に、この不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定し、その特定した画像符号化データ部分の影響を受ける画像領域を劣化領域として検出し、前記劣化領域の特徴を示す劣化領域の情報を生成する劣化領域検出部と、
前記復号処理部において復号された画像フレームから視聴者が関心を持って注視している可能性が高い領域を示す関心領域を検出し、その関心領域の特徴を示す関心領域情報を生成する関心領域検出部と、
前記劣化領域の情報及び前記関心領域情報から前記劣化領域の重要度を算出する劣化領域重要度算出部と、
前記劣化領域の情報及び前記重要度に基づいて、前記劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する画質劣化度算出部と、
を有することを特徴とする画質評価装置。
【請求項４】
前記劣化領域の情報は、（１）正しく復号できなかった画素もしくは複数の画素により構成されるブロックの個数、（２）前記画素もしくは複数の画素により構成されるブロックの画像フレーム上の座標位置、（３）前記画素もしくは複数の画素により構成されるブロックの色情報、（４）前記画素もしくは複数の画素により構成されるブロックの動きベクトルの大きさ、のうち１つ以上を含むことを特徴とする請求項１乃至３のうちいずれか一項記載の画質評価装置。
【請求項５】
前記劣化領域重要度算出部は、前記劣化領域の情報に含まれる、正しく復号できなかった画素もしくは複数の画素により構成ブロックの画像フレーム上の座標位置を基に、復号した画像フレームの中央から前記劣化領域までの距離を算出し、この距離を基に重要度を算出することを特徴とする請求項２記載の画質評価装置。
【請求項６】
前記関心領域検出部は、（１）特定の色情報をもつ画素が密集している画像領域、（２）周囲の画像領域と比較して動きベクトルの大きさが大きく異なる画素もしくは複数の画素により構成されるブロックが密集している画像領域、（３）他の画像領域と比較して高い周波数成分を持つ画像領域、のいずれか１つ以上を関心領域として検出することを特徴とする請求項３記載の画質評価装置。
【請求項７】
前記関心領域検出部は、予め前記画像符号化データに付与された関心領域情報をもとに関心領域を検出することを特徴とする請求項３記載の画質評価装置。
【請求項８】
前記関心領域情報は、（１）前記関心領域に含まれる画素もしくは複数の画素から構成されるブロックの座標、（２）前記関心領域を囲む多角形の頂点の座標のリスト、（３）前記関心領域に含まれる画素の色情報、（４）前記関心領域に含まれる画素もしくは複数の画素から構成されるブロックの動きベクトルの大きさ、（５）前記関心領域の種別を示す識別子、のうち１つ以上を含むことを特徴とする請求項３記載の画質評価装置。
【請求項９】
前記劣化領域重要度算出部は、前記劣化領域と前記関心領域とが画像フレーム内で重なっている度合いを基に前記重要度を算出することを特徴とする請求項３記載の画質評価装置。
【請求項１０】
前記関心領域情報を保存する関心領域記憶部を更に備え、
前記関心領域検出部は、前記関心領域の検出に成功した場合には、生成した関心領域情報を前記関心領域情報記憶部に保存し、前記関心領域の検出に失敗した場合には、前記関心領域記憶部に保存されている前記関心領域情報を基に前記復号された画像フレームの関心領域情報を生成することを特徴とする請求項３記載の画質評価装置。
【請求項１１】
前記関心領域情報検出部は、前記関心領域の検出に失敗した場合には、前記関心領域情報記憶部に保存されている、前記関心領域の検出に失敗した画像フレームの直前に復号された画像フレームの関心領域情報を基に前記復号された画像フレームの関心領域情報を生成することを特徴とする請求項１０記載の画質評価装置。
【請求項１２】
前記関心領域情報検出部は、
前記関心領域の検出に失敗した場合には、前記関心領域情報記憶部に保存されている、前記関心領域の検出に失敗した画像フレームの直前に復号された画像フレームの関心領域情報が前記関心領域の検出に失敗した画像フレームの関心領域情報として代替可能かどうかを判定する判定手段と、
前記判定手段により代替可能であると判定したときのみ、代替可能と判定した前記関心領域の検出に失敗した画像フレームの直前に復号された画像フレームの関心領域情報を前記劣化領域重要度算出部へ通知し、代替可能でないと判定したときは、関心領域情報が得られなかったことを前記劣化領域重要度算出部へ通知する通知手段とを有し、
前記劣化領域重要度算出部は、前記関心領域情報が通知されるときは前記劣化領域の情報及び前記関心領域情報から前記劣化領域の重要度を算出し、前記関心領域情報が通知されないときは前記劣化領域の情報から前記劣化領域の重要度を算出することを特徴とする請求項１０記載の画質評価装置。
【請求項１３】
画質の評価対象の画像符号化データを、データ欠落又はデータ誤りによる不連続位置を示す不連続位置情報と共に入力として受け、前記画像符号化データを復号して画像データを生成する際に、前記不連続位置情報に基づいて、前記画像符号化データ中の不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定する第１のステップと、
前記特定した画像符号化データの影響を受ける画像領域を劣化領域として検出する第２のステップと、
少なくとも前記第２のステップにより検出された前記劣化領域の特徴を示す劣化領域の情報に基づいて、その劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する第３のステップと、
を含むことを特徴とする画質評価方法。
【請求項１４】
画質の評価対象の画像符号化データを復号処理し、画像フレームを生成する第１のステップと、
前記画像符号化データのデータ欠落又はデータ誤りによる不連続位置を示す不連続位置情報に基づいて、復号処理される前記画像符号化データが不連続点を含むと判定した場合に、この不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定する第２のステップと、
前記特定した画像符号化データ部分の影響を受ける画像領域を劣化領域として検出し、前記劣化領域の特徴を示す劣化領域の情報を生成する第３のステップと、
前記劣化領域の情報から前記劣化領域の重要度を算出する第４のステップと、
前記劣化領域の情報及び前記重要度に基づいて、前記劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する第５のステップと、
を含むことを特徴とする画質評価方法。
【請求項１５】
画質の評価対象の画像符号化データを復号処理し、画像フレームを生成する第１のステップと、
前記画像符号化データのデータ欠落又はデータ誤りによる不連続位置を示す不連続位置情報に基づいて、復号処理される前記画像符号化データが不連続点を含むと判定した場合に、この不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定する第２のステップと、
前記特定した画像符号化データ部分の影響を受ける画像領域を劣化領域として検出し、前記劣化領域の特徴を示す劣化領域の情報を生成する第３のステップと、
前記第１のステップで復号された画像フレームから視聴者が関心を持って注視している可能性が高い領域を示す関心領域を検出し、その関心領域の特徴を示す関心領域情報を生成する第４のステップと、
前記劣化領域の情報及び前記関心領域情報から前記劣化領域の重要度を算出する第５のステップと、
前記劣化領域の情報及び前記重要度に基づいて、前記劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する第６のステップと、
を含むことを特徴とする画質評価方法。
【請求項１６】
前記劣化領域の情報は、（１）正しく復号できなかった画素もしくは複数の画素により構成されるブロックの個数、（２）前記画素もしくは複数の画素により構成されるブロックの画像フレーム上の座標位置、（３）前記画素もしくは複数の画素により構成されるブロックの色情報、（４）前記画素もしくは複数の画素により構成されるブロックの動きベクトルの大きさ、のうち１つ以上を含むことを特徴とする請求項１３乃至１５のうちいずれか一項記載の画質評価方法。
【請求項１７】
前記第４のステップは、前記劣化領域の情報に含まれる、正しく復号できなかった画素もしくは複数の画素により構成ブロックの画像フレーム上の座標位置を基に、復号した画像フレームの中央から前記劣化領域までの距離を算出し、この距離を基に重要度を算出することを特徴とする請求項１４記載の画質評価方法。
【請求項１８】
前記第４のステップは、（１）特定の色情報をもつ画素が密集している画像領域、（２）周囲の画像領域と比較して動きベクトルの大きさが大きく異なる画素もしくは複数の画素により構成されるブロックが密集している画像領域、（３）他の画像領域と比較して高い周波数成分を持つ画像領域、のいずれか１つ以上を関心領域として検出することを特徴とする請求項１５記載の画質評価方法。
【請求項１９】
前記第４のステップは、予め前記画像符号化データに付与された関心領域情報をもとに関心領域を検出することを特徴とする請求項１５記載の画質評価方法。
【請求項２０】
前記関心領域情報は、（１）前記関心領域に含まれる画素もしくは複数の画素から構成されるブロックの座標、（２）前記関心領域を囲む多角形の頂点の座標のリスト、（３）前記関心領域に含まれる画素の色情報、（４）前記関心領域に含まれる画素もしくは複数の画素から構成されるブロックの動きベクトルの大きさ、（５）前記関心領域の種別を示す識別子、のうち１つ以上を含むことを特徴とする請求項１５記載の画質評価方法。
【請求項２１】
前記第４のステップは、前記劣化領域と前記関心領域とが画像フレーム内で重なっている度合いを基に前記重要度を算出することを特徴とする請求項１５記載の画質評価方法。
【請求項２２】
前記第４のステップにおいて生成した前記関心領域情報を関心領域情報記憶部に保存する第７のステップと、
前記第４のステップにおいて前記関心領域の検出に失敗した場合には、前記関心領域記憶部に保存されている前記関心領域情報を基に前記復号された画像フレームの関心領域情報を生成する第８のステップと
を更に含むことを特徴とする請求項１５記載の画質評価方法。
【請求項２３】
前記第８のステップは、前記関心領域情報記憶部に保存されている、前記関心領域の検出に失敗した画像フレームの直前に復号された画像フレームの関心領域情報を基に前記復号された画像フレームの関心領域情報を生成することを特徴とする請求項２２記載の画質評価方法。
【請求項２４】
前記第８のステップは、
前記関心領域情報記憶部に保存されている、前記関心領域の検出に失敗した画像フレームの直前に復号された画像フレームの関心領域情報が前記関心領域の検出に失敗した画像フレームの関心領域情報として代替可能かどうかを判定する判定ステップと、
前記判定ステップにより代替可能であると判定したときのみ、代替可能と判定した前記関心領域の検出に失敗した画像フレームの直前に復号された画像フレームの関心領域情報を前記劣化領域重要度算出部へ通知し、代替可能でないと判定したときは、関心領域情報が得られなかったことを前記劣化領域重要度算出部へ通知する通知ステップとを含み、
前記第５のステップは、前記関心領域情報が通知されるときは前記劣化領域の情報及び前記関心領域情報から前記劣化領域の重要度を算出し、前記関心領域情報が通知されないときは前記劣化領域の情報から前記劣化領域の重要度を算出することを特徴とする請求項２３記載の画質評価方法。
【請求項２５】
コンピュータにより画像符号化データを復号して得た画像フレームの画質を評価させる画質評価用プログラムであって、
前記コンピュータに、
前記画像符号化データを、データ欠落又はデータ誤りによる不連続位置を示す不連続位置情報と共に入力として受け、前記画像符号化データを復号して画像データを生成する際に、前記不連続位置情報に基づいて、前記画像符号化データ中の不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定する第１のステップと、
前記特定した画像符号化データの影響を受ける画像領域を劣化領域として検出する第２のステップと、
少なくとも前記第２のステップにより検出された前記劣化領域の特徴を示す劣化領域の情報に基づいて、その劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する第３のステップと、
を実行させることを特徴とする画質評価用プログラム。
【請求項２６】
コンピュータにより画像符号化データを復号して得た画像フレームの画質を評価させる画質評価用プログラムであって、
前記コンピュータに、
画質の評価対象の画像符号化データを復号処理し、画像フレームを生成する第１のステップと、
前記画像符号化データのデータ欠落又はデータ誤りによる不連続位置を示す不連続位置情報に基づいて、復号処理される前記画像符号化データが不連続点を含むと判定した場合に、この不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定する第２のステップと、
前記特定した画像符号化データ部分の影響を受ける画像領域を劣化領域として検出し、前記劣化領域の特徴を示す劣化領域の情報を生成する第３のステップと、
前記劣化領域の情報から前記劣化領域の重要度を算出する第４のステップと、
前記劣化領域の情報及び前記重要度に基づいて、前記劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する第５のステップと、
を実行させることを特徴とする画質評価用プログラム。
【請求項２７】
コンピュータにより画像符号化データを復号して得た画像フレームの画質を評価させる画質評価用プログラムであって、
前記コンピュータに、
画質の評価対象の画像符号化データを復号処理し、画像フレームを生成する第１のステップと、
前記画像符号化データのデータ欠落又はデータ誤りによる不連続位置を示す不連続位置情報に基づいて、復号処理される前記画像符号化データが不連続点を含むと判定した場合に、この不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定する第２のステップと、
前記特定した画像符号化データ部分の影響を受ける画像領域を劣化領域として検出し、前記劣化領域の特徴を示す劣化領域の情報を生成する第３のステップと、
前記第１のステップで復号された画像フレームから視聴者が関心を持って注視している可能性が高い領域を示す関心領域を検出し、その関心領域の特徴を示す関心領域情報を生成する第４のステップと、
前記劣化領域の情報及び前記関心領域情報から前記劣化領域の重要度を算出する第５のステップと、
前記劣化領域の情報及び前記重要度に基づいて、前記劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する第６のステップと、
を実行させることを特徴とする画質評価用プログラム。
【請求項２８】
前記劣化領域の情報は、（１）正しく復号できなかった画素もしくは複数の画素により構成されるブロックの個数、（２）前記画素もしくは複数の画素により構成されるブロックの画像フレーム上の座標位置、（３）前記画素もしくは複数の画素により構成されるブロックの色情報、（４）前記画素もしくは複数の画素により構成されるブロックの動きベクトルの大きさ、のうち１つ以上を含むことを特徴とする請求項２５乃至２７のうちいずれか一項記載の画質評価用プログラム。
【請求項２９】
前記第４のステップは、前記劣化領域の情報に含まれる、正しく復号できなかった画素もしくは複数の画素により構成ブロックの画像フレーム上の座標位置を基に、復号した画像フレームの中央から前記劣化領域までの距離を算出し、この距離を基に重要度を算出することを特徴とする請求項２６記載の画質評価用プログラム。
【請求項３０】
前記第４のステップは、（１）特定の色情報をもつ画素が密集している画像領域、（２）周囲の画像領域と比較して動きベクトルの大きさが大きく異なる画素もしくは複数の画素により構成されるブロックが密集している画像領域、（３）他の画像領域と比較して高い周波数成分を持つ画像領域、のいずれか１つ以上を関心領域として検出することを特徴とする請求項２７記載の画質評価用プログラム。
【請求項３１】
前記関心領域情報は、（１）前記関心領域に含まれる画素もしくは複数の画素から構成されるブロックの座標、（２）前記関心領域を囲む多角形の頂点の座標のリスト、（３）前記関心領域に含まれる画素の色情報、（４）前記関心領域に含まれる画素もしくは複数の画素から構成されるブロックの動きベクトルの大きさ、（５）前記関心領域の種別を示す識別子、のうち１つ以上を含むことを特徴とする請求項２７記載の画質評価用プログラム。
【請求項３２】
前記第４のステップにおいて生成した前記関心領域情報を関心領域情報記憶部に保存する第７のステップと、
前記第４のステップにおいて前記関心領域の検出に失敗した場合には、前記関心領域記憶部に保存されている前記関心領域情報を基に前記復号された画像フレームの関心領域情報を生成する第８のステップと、
を更に実行することを特徴とする請求項２７記載の画質評価用プログラム。
【請求項３３】
映像配信サーバから伝送路を介して画質の評価対象の画像符号化データを含むデータを入力として受けて受信処理を行う映像受信端末であって、
前記伝送路を介して入力された前記データを受信して前記画像符号化データを生成する入力データ生成部と、
前記画像符号化データにおけるデータ欠落又はデータ誤りによる不連続点を検出し、その不連続点の前記画像符号化データ中の位置を表す不連続位置情報を生成する不連続情報生成部と、
前記画像符号化データと前記不連続位置情報とを入力として受け、前記画像符号化データを復号して得られる画像フレームの画質劣化度を算出する画質評価部と、
を有し、前記画質評価部は、
前記画像符号化データを復号して画像データを生成する際に、前記不連続位置情報に基づいて、前記画像符号化データ中の不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定し、その特定した画像符号化データの影響を受ける画像領域を劣化領域として検出する劣化領域検出手段と、
少なくとも前記劣化領域検出手段により検出された前記劣化領域の特徴を示す劣化領域の情報に基づいて、その劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する画質劣化度算出手段と、
を備えた構成であることを特徴とする映像受信端末。
【請求項３４】
映像配信サーバから伝送路を介して画質の評価対象の画像符号化データを含むデータを入力として受けて受信処理を行う映像受信端末であって、
前記伝送路を介して入力された前記データを受信して前記画像符号化データを生成する入力データ生成部と、
前記画像符号化データにおけるデータ欠落又はデータ誤りによる不連続点を検出し、その不連続点の前記画像符号化データ中の位置を表す不連続位置情報を生成する不連続情報生成部と、
前記画像符号化データと前記不連続位置情報とを入力として受け、前記画像符号化データを復号して得られる画像フレームの画質劣化度を算出する画質評価部と、
を有し、前記画質評価部は、
前記画像符号化データを復号処理し、画像フレームを生成する復号処理部と、
前記不連続位置情報に基づいて、復号処理される前記画像符号化データが不連続点を含むと判定した場合に、この不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定し、その特定した画像符号化データ部分の影響を受ける画像領域を劣化領域として検出し、前記劣化領域の特徴を示す劣化領域の情報を生成する劣化領域検出部と、
前記劣化領域の情報から前記劣化領域の重要度を算出する劣化領域重要度算出部と、
前記劣化領域の情報及び前記重要度に基づいて、前記劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する画質劣化度算出部と、
を備えた構成であることを特徴とする映像受信端末。
【請求項３５】
映像配信サーバから伝送路を介して画質の評価対象の画像符号化データを含むデータを入力として受けて受信処理を行う映像受信端末であって、
前記伝送路を介して入力された前記データを受信して前記画像符号化データを生成する入力データ生成部と、
前記画像符号化データにおけるデータ欠落又はデータ誤りによる不連続点を検出し、その不連続点の前記画像符号化データ中の位置を表す不連続位置情報を生成する不連続情報生成部と、
前記画像符号化データと前記不連続位置情報とを入力として受け、前記画像符号化データを復号して得られる画像フレームの画質劣化度を算出する画質評価部と、
を有し、前記画質評価部は、
前記画像符号化データを復号処理し、画像フレームを生成する復号処理部と、
前記画像符号化データの不連続位置を示す不連続位置情報に基づいて、復号処理される前記画像符号化データが不連続点を含むと判定した場合に、この不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定し、その特定した画像符号化データ部分の影響を受ける画像領域を劣化領域として検出し、前記劣化領域の特徴を示す劣化領域の情報を生成する劣化領域検出部と、
前記復号処理部において復号された画像フレームから視聴者が関心を持って注視している可能性が高い領域を示す関心領域を検出し、その関心領域の特徴を示す関心領域情報を生成する関心領域検出部と、
前記劣化領域の情報及び前記関心領域情報から前記劣化領域の重要度を算出する劣化領域重要度算出部と、
前記劣化領域の情報及び前記重要度に基づいて、前記劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する画質劣化度算出部と、
を備えた構成であることを特徴とする映像受信端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画質評価装置、画質評価方法、画質評価用プログラム、及び映像受信端末に係り、特に伝送した映像の受信時点の画質を客観的に評価する画質評価装置、画質評価方法、画質評価用プログラム、及び映像受信端末に関する。
【背景技術】
【０００２】
映像の画質を客観的に評価する方法は、大きく３種類に分類される（例えば、非特許文献１参照）。一つ目の方法は、原画像と劣化画像とを直接比較し画質を評価する方法（Full Reference法）である。二つ目の方法は、原画像の特徴量のみを伝送し、この特徴量と劣化画像から画質を評価する方法（Reduced Reference法）である。三つ目の方法は、劣化画像のみから画質を評価する方法（No Reference法）である。
【０００３】
映像の伝送を伴うアプリケーションでは、伝送路帯域に上限があり、原画像の伝送が困難であるため、受信端末上でFull Reference法を用いることは適当でない。また、Reduced Reference法では、原画像の特徴量を多重化もしくは別の伝送路経由で伝送する必要がある。従って、Reduced Reference法を導入するためには、送信装置や伝送路を含むすべてのシステムを置換する必要が生じるので、新規運用が難しいという問題がある。一方、No Reference法では、原画像の情報を一切必要とせず、導入のために受信装置の置換のみが必要となるだけであるので、新規運用が容易であるという利点がある。
【０００４】
No Reference法により画質を評価する画質評価装置が開示されている（例えば、特許文献１参照）。この特許文献１に記載された画質評価装置では、伝送路からデータを受信した受信装置が、この入力データをデコーダに送信すると同時に、この入力データにエラーが含まれているか否かを示す信号も併せてデコーダに送信し、そのデコーダが復号処理の過程でデータの不正を検知できるようにしている。
【０００５】
この特許文献１に記載された画質評価装置では、パケットロスやビットエラー、遅延などの伝送エラーが発生した場合は、入力データを破棄すると同時に、次の復号処理同期位置までデータを読み飛ばす。そして、この画質評価装置では、前記入力データの破棄により正しく復号できなかったサンプル数（画素数や複数画素から構成されるブロック数）を集計し、画質劣化度として出力する。
【０００６】
【非特許文献１】ITU-T Recommendation J.143,「User requirements for objective perceptual video quality measurements in digital cable television」,2000
【特許文献１】特開２００１−２５０１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の画質評価装置では、画質を評価する基準である画質劣化度を、単純に正しく復号できなかったサンプル数を集計して算出するのみの構成であるため、ユーザの主観評価に近い画質劣化度を算出することができないという問題がある。
【０００８】
その理由は、例えば、画面の中央部に画質劣化が発生した場合と、画面の周辺部に画質劣化が発生した場合とを比較すると、正しく復号できなかったサンプル数が同数であっても、実際にユーザが映像を見た場合、画面中央部に画質劣化が発生した場合のほうがより画質が悪く感じられるなど、画面上のユーザが注目する部分に画質劣化が発生した場合の方がより画質が悪く感じられるにも拘らず、そのユーザの主観評価を画質劣化に反映できないためである。
【０００９】
本発明は上記の点に鑑みなされたもので、受信した映像のみから主観評価により近い画質劣化度を算出し得る画質評価装置、画質評価方法、画質評価用プログラム、及び映像受信端末を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、第１の発明に係る画質評価装置は、画質の評価対象の画像符号化データを、データ欠落又はデータ誤りによる不連続位置を示す不連続位置情報と共に入力として受け、画像符号化データを復号して画像データを生成する際に、不連続位置情報に基づいて、画像符号化データ中の不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定し、その特定した画像符号化データの影響を受ける画像領域を劣化領域として検出する劣化領域検出手段と、少なくとも劣化領域検出手段により検出された劣化領域の情報に基づいて、その劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する画質劣化度算出手段と、を有することを特徴とする。
【００１１】
また、上記の目的を達成するため、第２の発明に係る画質評価方法は、画質の評価対象の画像符号化データを、データ欠落又はデータ誤りによる不連続位置を示す不連続位置情報と共に入力として受け、画像符号化データを復号して画像データを生成する際に、不連続位置情報に基づいて、画像符号化データ中の不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定する第１のステップと、特定した画像符号化データの影響を受ける画像領域を劣化領域として検出する第２のステップと、少なくとも第２のステップにより検出された劣化領域の情報に基づいて、その劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する第３のステップと、を含むことを特徴とする。
【００１２】
また、上記の目的を達成するため、第３の発明に係る画質評価用プログラムは、コンピュータにより画像符号化データを復号して得た画像フレームの画質を評価させる画質評価用プログラムであって、上記コンピュータに、
画像符号化データを、データ欠落又はデータ誤りによる不連続位置を示す不連続位置情報と共に入力として受け、画像符号化データを復号して画像データを生成する際に、不連続位置情報に基づいて、画像符号化データ中の不連続点から正しく復号可能な位置である復号処理同期位置までの間の画像符号化データ部分を特定する第１のステップと、特定した画像符号化データの影響を受ける画像領域を劣化領域として検出する第２のステップと、少なくとも第２のステップにより検出された劣化領域の情報に基づいて、その劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出する第３のステップと、を実行させることを特徴とする。
【００１３】
更に、上記の目的を達成するため、第４の発明に係る映像受信端末は、映像配信サーバから伝送路を介して画質の評価対象の画像符号化データを含むデータを入力として受けて受信処理を行う映像受信端末であって、伝送路を介して入力されたデータを受信して画像符号化データを生成する入力データ生成部と、画像符号化データにおけるデータ欠落又はデータ誤りによる不連続点を検出し、その不連続点の画像符号化データ中の位置を表す不連続位置情報を生成する不連続情報生成部と、画像符号化データと不連続位置情報とを入力として受け、画像符号化データを復号して得られる画像フレームの画質劣化度を算出する画質評価部とを有し、上記画質評価部を上記第１の発明の構成としたことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、正しく復号できなかったデータサンプル数を単純に加算し劣化領域の大きさのみから画質劣化度を算出する場合と比較して、より主観評価に近い画質劣化度を算出して、より主観評価に近い画質評価ができる。
【発明を実施するための最良の形態】
【００１５】
次に、本発明を実施するための最良の形態の各例について図面を参照して詳細に説明する。
【００１６】
（第１の実施形態）
図１は、本発明の画質評価装置の第１の実施形態を備えた映像受信端末のブロック図を示す。図１に示すように、映像受信端末１００は、伝送路１１０から圧縮された画像符号化データを受信する受信部１２０と、入力データ生成部１３０と、入力データバッファ１４０と、不連続位置情報バッファ１６０と、画質評価部１７０Ａとを有する。入力データ生成部１３０は、不連続位置情報生成部１５０を有する。画質評価部１７０Ａは、本発明の画質評価装置の第一の実施形態を構成しており、復号処理部１７１と、劣化領域重要度算出部１７３と、画質劣化度算出部１７４とを有する。復号処理部１７１は、劣化領域検出部１７２を有する。
【００１７】
受信部１２０は、伝送路１１０から受信データを受信し入力データ生成部１３０へ引き渡す。受信データには映像データを圧縮した画像符号化データが含まれている。入力データ生成部１３０は、受信部１２０から受け取った受信データから画像符号化データを取り出し、つなぎ合わせたビット列を入力データとして生成し、その入力データを入力データバッファ１４０に供給する。
【００１８】
具体的には、図２を参照すると、伝送路１１０がＩＰ(Internet Protocol)ネットワークであり、受信データがＩＰヘッダｈｉ（ｉは受信順序を示す番号）と画像符号化データｄｉとからなるＩＰパケット２００である場合、入力データ生成部１３０は、予め定められた規則により、順次に受信される受信データのＩＰパケット２００からＩＰヘッダｈｉを取り除き、ＩＰパケット２００内の画像符号化データｄｉをつなぎ合わせた上で入力データバッファ１４０に入力する。
【００１９】
このとき、伝送エラーや遅延により例えば、図２に２０３で示すパケットが欠落した場合、入力データ生成部１３０は、この欠落したパケットの前後のパケットの画像符号化データｄ３、ｄ５をつなげたデータを生成して入力データバッファ１４０に供給するため、入力データバッファ１４０に格納されたデータには、欠落したパケット２０３の画像符号化データｄ４が存在せず、データの不連続点２０４が存在する。同様に、受信したデータのうち、あるビットが伝送の途中で誤った値となった場合には、その誤った値の画像符号化データ部分は不連続点となる。
【００２０】
図１に示す不連続位置情報生成部１５０は、入力データ生成部１３０において受信データから入力データを生成する過程で、データの不連続点がないか検査を行い、不連続点が存在する場合、その不連続点の位置を示す不連続位置情報を生成して、この不連続位置情報を不連続位置情報バッファ１６０に供給する。
【００２１】
不連続位置情報生成部１５０は、例えば、受信データがＲＴＰ（Real-time Transport Protocol）パケット化されたデータである場合は、ＲＴＰヘッダ中のＲＴＰ番号を検査することでパケットの欠落を検出し、データの不連続位置を把握できる。また、ビット列中のエラーについては、巡回冗長検査やチェックサムのようなビット列の検査を行うことで検出することができ、エラーが存在するパケットを欠落パケットとすることで、データの不連続位置を把握できる。
【００２２】
データの不連続位置の表現方法としては、例えば直前に入力データバッファ１４０に入力されたデータの先頭からのビット数で不連続位置を表してもよいし、最初に入力されたデータからのビット数で不連続位置を表してもよい。また、ここに記載した方法以外の方法を用いて不連続位置を表現してもよい。
【００２３】
また、不連続位置情報生成部１５０は、受信データに不連続点が存在しない場合は、不連続位置情報バッファ１６０に情報を出力しないか、あるいは、入力データに不連続が存在しないことを示す情報を不連続位置情報バッファ１６０に供給するようにしてもよい。
【００２４】
復号処理部１７１は、入力データバッファ１４０に格納された入力データを復号する。復号処理部１７１は、一度に１映像フレーム分のデータを復号するのではなく、より細かい単位毎、すなわちマクロブロックやスライスといった１画像フレームよりも小さなデータの集まり毎に復号処理を行う。復号処理された画像データは映像受信端末１００に接続された図示しない表示装置などに出力する。ここで、上記のマクロブロックは、符号化・復号化処理を行う際の基本単位で、横方向１６画素と縦方向１６画素とからなる矩形の画像領域の画像圧縮データを含む。複数のマクロブロックを纏めたものをスライスと呼ぶ。
【００２５】
劣化領域検出部１７２は、復号処理されたデータが不連続点を含むと判定した場合に、この不連続点から次の復号処理同期位置までの間の入力データを特定し、復号処理の結果、この不連続点の影響により画質が劣化した画像領域に関する情報を劣化領域情報として生成し、劣化領域重要度算出部１７３に出力する。
【００２６】
ここで、上記の劣化領域情報は、具体的には正しく復号できなかった画素やマクロブロックなどの個数などにより表現される劣化領域サイズ、前記画素やマクロブロックの画像フレーム上の座標位置などにより表現される位置情報、前記画素やマクロブロックの色情報、前記マクロブロックに対応する動きベクトルの大きさなどの情報から構成される情報である。
【００２７】
また、復号処理部１７１は、データの不連続点の影響により正しく復号できなかった画素やマクロブロックを予測信号として後続の画像フレームの復号処理を行うことがある。このとき、正しく復号できなかった画素やマクロブロックを予測信号として復号された画像領域も画質が劣化する。劣化領域検出部１７２は、さらに、このような画像領域も劣化領域とみなしてもよい。
【００２８】
劣化領域重要度算出部１７３は、劣化領域検出部１７２から受け取った劣化領域情報から劣化領域の画像フレーム上での重要度を算出し、劣化領域情報及び重要度を画質劣化度算出部１７４に通知する。この重要度は、劣化領域のある画像フレーム上で、その劣化領域がどの程度目立ち易いかの割合を示す。
【００２９】
一例として、劣化領域の位置をもとに劣化領域の重要度を算出する方法を以下に説明する。
【００３０】
劣化領域重要度算出部１７３は、データの不連続により正しく復号できなかったマクロブロックの数及び各マクロブロックの画像フレーム上の座標情報を劣化領域情報として劣化領域検出部１７２から受け取る。劣化領域重要度算出部１７３は、各マクロブロックの位置情報から劣化領域の重心の座標位置を算出し、その重心の座標位置が画面中央からの距離が近いほど重要度が高く、画面中央からの距離が遠いほど重要度が低くなるよう重要度の重み付けを行う。これは、画面中央部に劣化があった場合、画面の周辺部に劣化があった場合よりも画質の劣化が目立つことから、劣化領域の重要度を高くするためである。
【００３１】
より具体的には、画面中央から劣化領域の重心までの距離の逆数によって当該劣化領域の重要度を算出する。例えば、図３において、画像フレーム３０１の劣化領域Ａの画像の中心からの距離はｓである。このとき、劣化領域Ａの重要度を１／ｓとする。同様に、画像フレーム３０２の劣化領域Ｂの重要度を１／ｔ、画像フレーム３０３の劣化領域Ｃの重要度を１／ｕ、劣化領域Ｄの重要度を１／ｖとする。
【００３２】
ただし、劣化領域重要度算出部１７３における重要度の算出方法として、具体例では、画像フレームの中央から劣化領域の重心までの距離の逆数を重要度としたが、劣化領域情報に含まれる位置情報をパラメータとしたその他の関数により重要度を算出することも可能である。
【００３３】
また、劣化領域の位置のほかに、肌色部分や目立つ色の特定の色の画素やマクロブロックが劣化領域に含まれる場合、動きベクトルの大きさがより大きい値をもつマクロブロックが劣化領域に含まれる場合、周辺の画素やマクロブロックと比較して色が大きく色が異なる画素やマクロブロックが劣化領域に含まれる場合、重要度をより高い値で算出することも可能である。
【００３４】
図１に示す画質劣化度算出部１７４は、劣化領域検出部１７２で検出された各劣化領域に対して、劣化領域情報及び劣化領域重要度算出部１７３で算出された劣化領域の重要度をもとに劣化領域による画質劣化の目立ち易さの指標を示す画質劣化度を算出し、その画質劣化度を外部に出力する。
【００３５】
例えば、劣化領域重要度算出部１７３で説明した劣化領域の位置をもとに劣化領域の重要度を算出する方法の場合、画質劣化度算出部１７４は、劣化領域検出部１７２で検出された各劣化領域について、劣化領域情報に含まれる劣化領域サイズと、劣化領域重要度算出部１７３により算出された重要度を積算し、この積算結果を全て足し合わせたものを画質劣化度として算出する。
【００３６】
前記の図３に示される具体例では、劣化領域Ａの領域の大きさはａ、劣化領域重要度は１／ｓであるため、画像フレーム３０１の画質劣化度はａ／ｓと算出される。同様にして、劣化領域Ｂの領域の大きさはａ、重要度は１／ｔであることからこのフレームの画像劣化度はａ／ｔと算出される。
【００３７】
画質劣化度算出部１７４は、劣化領域重要度算出部１７３で算出した重要度を積算することにより、画像フレーム３０１の画質劣化度はａ／ｓ、画像フレーム３０２の画質劣化度はａ／ｔと算出する。ここで、画像フレーム３０１と画像フレーム３０２の劣化領域の大きさは共にａで同じであるが、劣化領域が視聴者の目につきやすい画面中央部にある画像フレーム３０１の劣化領域Ａの画面中心からの距離ｓの方が、劣化領域が視聴者の目につきにくい画面の周辺部にある画像フレーム３０２の劣化領域Ｂの画面中心からの距離ｔよりも小さいので、画像フレーム３０１の画質劣化度ａ／ｓは、画像フレーム３０２の画質劣化度ａ／ｔよりも高くなる。
【００３８】
また、図３の画像フレーム３０３のように複数の劣化領域Ｃ、Ｄが１画像フレームに存在する場合は、劣化領域Ｃの領域の大きさはｃ、重要度は１／ｕ、劣化領域Ｄの領域の大きさはｄ、重要度は１／ｖであるから、画質劣化度算出部１７４は、画像フレーム３０３の画質劣化度を（ｃ／ｕ）＋（ｄ／ｖ）と算出する。
【００３９】
なお、画質劣化度の算出方法は、本実施形態に記載した方法に限定されるものではない。劣化領域情報に含まれる値及び重要度をパラメータとした任意の関数としてよい。一例として、画質劣化度算出部１７４は、算出した画質劣化度を最終的に５段階程度の評価値に丸めて出力するものとしてもよい。
【００４０】
次に、本実施形態の動作について図１、図４を参照し、詳細に説明する。
【００４１】
図１において、映像受信端末１００は、受信データの受信を開始すると、受信データを順次、入力データ生成部１３０に引き渡す。入力データ生成部１３０は、受信部１２０から受信データを受け取ると、順次、入力データを生成し入力データバッファ１４０に格納していく。また、不連続位置情報生成部１５０は、入力データを検査し、不連続点があった場合は、不連続位置情報を生成し、不連続位置情報バッファ１６０に格納する。
【００４２】
映像受信端末１００は、画像符号化データを全て受信するまで、上記の動作を継続する。以下、入力データバッファ１４０及び不連続位置情報バッファ１６０に、それぞれ入力データ、不連続位置情報が格納された状態であるとして、図１のブロック図及び図４のフローチャートを併せ参照して本実施形態の画質評価部１７０Ａの動作について詳細に説明する。
【００４３】
まず、復号処理部１７１は、入力データバッファ１４０に格納されている入力データのうち、１フレーム分ずつ、もしくは、予め決められた一定量ずつなど、入力データの一部を取得する（ステップＳ１１）。
【００４４】
次に、劣化領域検出部１７２は、不連続位置情報バッファ１６０から、ステップＳ１１で取得した入力データ内に存在する不連続位置情報を、例えばステップＳ１１で取得したデータの先頭からのアドレス（ビット数）などで表現される値として取得する（ステップＳ１２）。
【００４５】
続いて、復号処理部１７１は、ステップＳ１１で取得した入力データを、マクロブロック単位で復号を開始する（ステップＳ１３）。このとき、劣化領域検出部１７２は、ステップＳ１２で取得した不連続情報を基に、復号処理しているデータが不連続点を含むか否かを判定する（ステップＳ１４）。
【００４６】
劣化領域検出部１７２により、復号処理部１７１で復号処理しているデータが不連続点を含むと判定された場合（ステップＳ１４においてＹｅｓ）、復号処理部１７１は取得した入力データを次の復号処理同期位置まで破棄して読み飛ばす（ステップＳ１５）。そして、劣化領域検出部１７２は、入力データを読み飛ばしたことによって正しく復号できなかった画像領域の情報から劣化領域情報を生成し、劣化領域重要度算出部１７３に通知する（ステップＳ１６）。
【００４７】
次に、復号処理部１７１は、ステップＳ１６の処理が終了した場合、あるいはステップＳ１４において復号処理したデータが不連続点を含まないと判定された場合（ステップＳ１４においてＮｏ）、１画像フレームの復号が完了したか否かを判定する（ステップＳ１７）。
【００４８】
復号処理部１７１は、１画像フレームの復号が完了した場合、復号が完了した画像フレームを表示装置などに出力する（ステップＳ１８）。また、劣化領域重要度算出部１７３は、劣化領域検出部１７２からの劣化領域情報を利用して各劣化領域に対する重要度を算出し、劣化領域情報と前記重要度とを画質劣化度算出部１７４へ通知する（ステップＳ１９）。続いて、画質劣化度算出部１７４は、ステップＳ１９で通知された劣化領域情報と重要度とに基づいて、当該フレームの画質劣化度を算出し、算出した画質劣化度を外部に出力する（ステップＳ２０）。
【００４９】
一方、復号処理部１７１は、ステップＳ２０の処理が終了した場合、あるいはステップＳ１７において１フレームの復号が完了していないと判定した場合、未処理の入力データが残っているかどうかを判定する（ステップＳ２１）。復号処理部１７１は、未処理の入力データが残っている場合、ステップＳ１３に進んで復号処理を継続する。
【００５０】
復号処理部１７１は、未処理の入力データが残っていない場合、入力データの末尾かどうかを判定する（ステップＳ２２）。入力データの末尾ではない場合には、ステップＳ１１に戻る。また、入力データの末尾の場合は、画質評価部１７０Ａの処理が終了となる。
【００５１】
以上のように、本実施形態の画質評価部１７０Ａでは、正しく復号できなかった劣化領域に対し、それぞれの劣化領域の重要度を算出し、これを基に画質劣化度を算出するため、正しく復号できなかったデータサンプル数を単純に加算し劣化領域の大きさのみから画質劣化度を算出する場合と比較してより主観評価に近い画質劣化度を算出することができる。
【００５２】
（第２の実施形態）
次に、本発明の第２の発明を実施するための第２の実施形態について図面を参照して詳細に説明する。
【００５３】
図５は本発明になる画質評価装置の第２の実施形態のブロック図を示す。本実施形態の画質評価装置は、図１に示した第１の実施形態の画質評価部１７０Ａを画質評価部１７０Ｂで置き換えることにより構成される。
【００５４】
画質評価部１７０Ｂは、復号処理部３１０と、劣化領域重要度算出部３２０と、画質劣化度算出部３３０とから構成される。画質劣化度算出部３３０は、図１の画質劣化度算出部１７４と同一である。
【００５５】
復号処理部３１０は、劣化領域検出部３１１及び関心領域検出部３１２を備えている。復号処理部３１０は、図１の復号処理部１７１と比較すると、図１の劣化領域検出部１７２と同一構成の劣化領域検出部３１１を有するが、これに加えて、関心領域検出部３１２を有する点で異なる。この関心領域検出部３１２は、復号処理部３１０が入力データを復号して生成した画像フレーム上の関心領域を検出し、検出した領域の情報を関心領域情報として、劣化領域重要度算出部３２０へ通知する。
【００５６】
関心領域とは、例えば、人物の顔や、スポーツの映像において動くボールやスポーツ選手など画像フレーム内で視聴者が関心を持って注視している可能性が高い領域のことである。このような領域に画質劣化が発生した場合、映像の背景部分など視聴者があまり関心をもたない領域に画質劣化が発生した場合よりも画質はより悪く感じられる。
【００５７】
関心領域の検出方法としては、特定の色が密集している画像領域を関心領域として検出してもよい。例えば、肌色と思われる色情報を持つ画素が密集している領域を人物の顔部分であると推定し、関心領域として検出することができる。
【００５８】
また、他の画像領域と比較して、動きベクトルの大きさが大きい、もしくは逆に動きベクトルの大きさが小さいマクロブロックが密集している画像領域を関心領域として検出してもよい。例えば、静止した背景に対して、ボールなどのオブジェクトが横切るような映像では、背景部分のマクロブロックの動きベクトルの大きさはほぼ０なのに対して、オブジェクト部分のマクロブロックの動きベクトルの大きさは大きくなるため、動きベクトルの大きなマクロブロックが密集している領域を検出することで、関心領域を検出することができる。
【００５９】
また、他の画像と比較して、高い周波数成分を持つ画像領域を関心領域として検出してもよい。また、予め圧縮画像データを作成する際に、関心領域情報を生成し、画像データに付与しておき、この情報をもとに関心領域を検出してもよい。
【００６０】
なお、上記の関心領域の検出方法は一例であり、任意の関心領域の検出方法を用いてもよい。
【００６１】
また、関心領域情報には、
（１）関心領域を構成する画素やマクロブロックの座標のリスト、関心領域を囲む多角形の頂点の座標のリスト、などで表現される関心領域の位置情報、
（２）関心領域内の画素の色の平均値、関心領域内のマクロブロックの動きベクトルの大きさの平均値、などで表現される関心領域の映像特性を表す情報、
（３）人物・物体・文字など関心領域の種別を示す識別子
のような関心領域の特徴を表す情報が含まれる。
【００６２】
具体的な例としては、図６に示される例において、関心領域検出部３１２は図６（Ａ）に示す画像フレーム６０１から肌色の画素が密集している領域を、同図（Ｂ）に示すように関心領域６０２として検出し、関心領域６０２を構成するマクロブロックの座標位置のリストを関心領域情報として劣化領域重要度算出部３２０に通知する。
【００６３】
劣化領域重要度算出部３２０は、劣化領域検出部３１１から通知された劣化領域情報及び関心領域検出部３１２から通知された関心領域情報とから劣化領域の画像上での重要度を算出し、劣化領域情報及び重要度を画質劣化度算出部３３０に通知する。
【００６４】
一例として、劣化領域と関心領域の位置関係から重要度を算出する方法を示す。
【００６５】
劣化領域重要度算出部３２０は、データの不連続により正しく復号できなかったマクロブロックの数及び各マクロブロックの画像フレームでの座標位置のリストを劣化領域情報として劣化領域検出部３１１から受け取ると共に、関心領域検出部３１２から関心領域を構成する各マクロブロックの画像フレーム上での座標位置のリストを関心領域情報として受け取る。劣化領域重要度算出部３２０は、これら劣化領域情報と関心領域情報がそれぞれ示す各座標位置が重複している度合いを重要度として算出する。これは、関心領域上に画質劣化が発生した場合、関心領域以外の部分に画質の劣化があった場合よりも画質の劣化が目立つことから重要度を高くするためである。
【００６６】
より具体的に図６に示される例を用いて説明する。劣化領域重要度算出部３２０は、劣化領域検出部３１１から通知された画像フレーム６０１中の劣化領域Ｅ及び劣化領域Ｆのそれぞれに含まれるマクロブロックの座標位置リストから構成される劣化領域情報と、関心領域検出部３１２から通知された関心領域６０２を構成するマクロブロックの座標のリストから構成される関心領域情報とを比較し、重複するマクロブロックの数を集計する。そして、集計したマクロブロックの数を各劣化領域に含まれるマクロブロックの総数で正規化することで重複度を算出し、これを重要度とする。図６（Ａ）、（Ｂ）に示すように、劣化領域Ｅは、関心領域６０２と重複するマクロブロックがないため重要度は「０」となる。劣化領域Ｆは、関心領域６０２と全てのマクロブロックが重複するため重要度は「１」となる。ただし、重要度の算出方法は上記の説明に示したものに限らない。
【００６７】
次に、図５のブロック図及び図７のフローチャートを参照して本実施形態の動作について詳細に説明する。図７のフローチャート中、図４のフローチャートと同一処理ステップには同一符号を付し、その説明を省略する。
【００６８】
図５及び図７において、復号処理部３１０による１画像フレームの復号が完了した場合（ステップＳ１７でＹｅｓ）、関心領域検出部３１２は、復号が完了した画像フレーム中の関心領域を検出し、関心領域情報を生成して劣化領域重要度算出部３２０へ通知する（ステップＳ３１）。また、復号処理部３１０は、復号が完了した画像フレームを表示装置などに出力する（ステップＳ３２）。
【００６９】
劣化領域重要度算出部３２０は、劣化領域検出部３１１から通知された劣化領域情報及びステップＳ３１で検出された関心領域情報をもとに各劣化領域に対する重要度を算出し、劣化領域情報と算出した重要度を画質劣化度算出部３３０へ通知する（ステップＳ３３）。
【００７０】
画質劣化度算出部３３０は、ステップＳ３３で劣化領域重要度算出部３２０から通知された劣化領域情報と重要度とを利用して当該フレームの画質劣化度を算出し、算出した画質劣化度の情報を外部に出力する（ステップＳ３４）。
【００７１】
以上のように、本実施形態では、関心領域を検出し、関心領域情報と劣化領域情報とをもとに重要度を算出することにより、劣化領域情報のみから重要度を算出していた第１の実施形態と比較して、より主観評価に近い画質劣化度を算出することができる。
【００７２】
（第３の実施形態）
次に、本発明の第３の発明を実施するための第３の実施形態について図面を参照して詳細に説明する。
【００７３】
図８は本発明になる画質評価装置の第３の実施形態のブロック図を示す。本実施形態の画質評価装置は、図１に示した第１の実施形態の画質評価部１７０Ａを画質評価部１７０Ｃで置き換えることにより構成される。図８中、図１、図５と同一構成部分には同一符号を付し、その説明を省略する。図８に示す本実施の形態の画質評価部１７０Ｃは、復号処理部１７１と、劣化領域重要度算出部３２０と、画質劣化度算出部３３０と、関心領域検出部３４０とから構成される。
【００７４】
図８に示す画像評価部１７０Ｃは、図５に示した画像評価部１７０Ｂと比較した場合、関心領域検出部３４０を復号処理部の外部に設けた点に特徴がある。これにより、復号処理部１７１は、図１に示した復号処理部１７１と同一構成になる。また、関心領域検出部３４０は、図５に示した画像評価部１７０Ｂ中の復号処理部３１０内の関心領域検出部３１２と同一動作を行う。
【００７５】
この関心領域検出部３４０は、復号処理部１７１から１画像フレーム分のデータが出力された際に、この画像フレームのデータを解析することにより関心領域を検出し、劣化領域重要度算出部３２０へ通知する。
【００７６】
（第４の実施形態）
次に、本発明の第４の発明を実施するための実施形態について図面を参照して詳細に説明する。
【００７７】
図９は本発明になる画質評価装置の第４の実施形態のブロック図を示す。本実施形態の画質評価装置は、図１に示した第１の実施形態の画質評価部１７０Ａを画質評価部１７０Ｄで置き換えることにより構成される。図９中、図５と同一構成部分には同一符号を付してある。
【００７８】
図９に示すように、本実施の形態の画質評価部１７０Ｄは、復号処理部３５０と、劣化領域重要度算出部３２０と、画質劣化度算出部３３０と、関心領域記憶部３６０とから構成される。関心領域情報記憶部３６０は、現在復号している画像フレームの直前に復号が完了した１フレームもしくは数フレーム分の画像フレームにおける関心領域情報を記憶する。復号処理部３５０は、第２の実施形態の復号処理部３１０の構成と同様であるが、第２の実施形態の関心領域検出部３１２と動作が若干相違する関心領域検出部３５１を備えている。
【００７９】
関心領域検出部３５１は、第２の実施形態における関心領域検出部３１２と同様に、画像フレーム上の関心領域を検出し劣化領域重要度算出部３２０へ通知するが、本実施形態においては、更に、関心領域検出部３５１は、関心領域の検出に成功したかどうかの判定、及び関心領域情報の保存、関心領域情報の読み出しを行う。
【００８０】
関心領域検出部３５１は、関心領域の検出が成功した場合、検出された関心領域に関する関心領域情報を関心領域記憶部３６０に保存し、関心領域情報を劣化領域重要度算出部３２０へ通知する。
【００８１】
関心領域検出部３５１は、データの不連続により、大量の画像符号化データが欠損し、大きく画像が乱れた場合や、画像符号化データに含まれている関心領域情報の部分のデータが欠損した場合には、正常に関心領域の検出ができない場合がある。
【００８２】
関心領域検出部３５１は、関心領域の検出が正常にできなかった場合、関心領域記憶部３６０から直前に復号した画像フレームにおける関心領域情報を読み出し、当該フレームの関心領域情報の代替として、劣化領域重要度算出部３２０に通知する。一般に映像においては隣接した画像フレームの内容は非常に似ているため、ここでは隣接した画像フレームにおける関心領域の情報を代替として利用している。
【００８３】
この際、関心領域検出部３５１は関心領域の検出が正常にできず代替の関心領域情報であることを劣化領域重要度算出部３２０へ通知してもよい。
【００８４】
また、直前のフレームからシーンチェンジなどにより、大きく映像の内容が変わってしまった場合、直前の画像フレームの関心領域情報を当該フレーム上の関心領域情報の代替として利用することができない場合がある。そこで、関心領域検出部３５１は、関心領域情報記憶部３６０に保存されている関心領域情報が当該画像フレームの関心領域情報として代替可能であるかを判定し、代替可能であると判定した場合のみ、関心領域記憶部３６０に保存されている関心領域情報を劣化領域重要度算出部３２０へ通知し、代替可能ではない場合は、関心領域が検出できなかったことを劣化領域重要度算出部３２０へ通知するものとしてもよい。
【００８５】
図１０を参照して具体例を示す。復号処理部３５０において、図１０（Ａ）に示す画像フレーム１００１と、同図（Ｃ）に示す画像フレーム１００２が順に復号されたものとする。図９の関心領域検出部３５１は、画像フレーム１００１の復号が完了すると、画像フレーム１００１の関心領域の検出を行い、検出の成否を判定する。画像フレーム１００１の関心領域の検出に成功した場合、図１０（Ｃ）に示す検出された関心領域１００３の関心領域情報を、劣化領域重要度算出部３２０へ通知すると共に、関心領域情報記憶部３６０へ保存する。
【００８６】
次に、関心領域検出部３５１は、画像フレーム１００２の復号が完了すると、画像フレーム１００２の関心領域の検出を行い、同様に検出の成否を判定する。図１０（Ｃ）に示す画像フレーム１００２の劣化領域Ｇの劣化がひどく、同図（Ｄ）に示すように関心領域１００４の検出が正常にできなかった場合、関心領域検出部３５１は保存されている直前の画像フレーム１００１で検出された関心領域１００３の関心領域情報を関心領域記憶部３６０から読み出し、これを劣化領域重要度算出部３２０へ通知する。劣化領域重要度算出部３２０は、画像フレーム１００２の劣化領域Ｇの重要度を劣化領域Ｇの劣化領域情報及び画像フレーム１００１の関心領域情報を基に算出する。
【００８７】
次に、図９のブロック図及び図１１のフローチャートを併せ参照して本実施形態の動作について詳細に説明する。図１１中、図７と同一処理ステップには同一符号を付し、その説明を省略する。
【００８８】
図９の復号処理部３５０は、復号が完了した画像フレームを表示装置などに出力した後（ステップＳ３２）、関心領域検出部３５１において関心領域が正常に検出できたかどうか判定する（ステップＳ４１）。関心領域が正常に検出できた場合（ステップＳ４１でＹｅｓ）は、検出した関心領域情報を劣化領域重要度算出部３２０へ通知すると共に、関心領域記憶部３６０に保存し（ステップＳ４３）、ステップＳ４４へ進む。
【００８９】
一方、関心領域の検出が正常にできなかった場合（ステップＳ４１でＮｏ）、関心領域記憶部３６０に保存されている直前の画像フレームにおいて検出された関心領域の関心領域情報を読み出し、復号が完了した画像フレームの関心領域情報の代替として劣化領域重要度算出部３２０へ通知する（ステップＳ４２）。
【００９０】
劣化領域重要度算出部３２０は、劣化領域検出部３１１から通知された劣化領域情報と、ステップＳ３１で正常に検出された関心領域情報、又はステップＳ４２で読み出された関心領域記憶部３６０に保存されている直前の画像フレームにおいて検出された関心領域の関心領域情報とに基づいて、各劣化領域に対する重要度を算出し、劣化領域情報と算出した重要度を画質劣化度算出部３３０へ通知する（ステップＳ４４）。
【００９１】
以上のように、本実施形態では、直前に復号された画像フレームの関心領域情報を記憶しておくことにより、画像の劣化がひどく関心領域を検出できなかった場合においても画質劣化度を算出することができる。
【００９２】
なお、本発明は以上の実施形態に限定されるものではなく、例えば、第１乃至第４の実施形態の画質評価部１７０Ａ〜１７０Ｄのいずれか一の画質評価部の動作をコンピュータにより実行させる画質評価用プログラムも本発明に包含するものであり、また、画質評価部１７０Ａ〜１７０Ｄのいずれか一の画質評価部を含む図１と同様の構成の映像受信端末と、その映像受信端末に対して伝送路を介して映像データを配信する映像配信サーバとからなる映像処理システムにおける画質配信システムも本発明に包含するものである。
【産業上の利用可能性】
【００９３】
本発明は、映像配信サービスにおいて、受信端末上での映像品質を測定することで、サービス品質の管理・監視などに利用可能である。
【図面の簡単な説明】
【００９４】
【図１】本発明の画質評価装置の第１の実施形態を備えた映像受信端末のブロック図である。
【図２】図１の入力データ生成部１３０の動作の一例を説明する図である。
【図３】本発明の画質評価装置の第１の実施形態における劣化領域重要度算出部と画質劣化度算出部の動作を説明する図である。
【図４】図１の実施形態の動作説明用フローチャートである。
【図５】本発明の画質評価装置の第２の実施形態のブロック図である。
【図６】本発明の画質評価装置の第２の実施形態における関心領域検出部の動作を説明する図である。
【図７】図５の実施形態の動作説明用フローチャートである。
【図８】本発明の画質評価装置の第３の実施形態のブロック図である。
【図９】本発明の画質評価装置の第４の実施形態のブロック図である。
【図１０】本発明の画質評価装置の第４の実施形態における関心領域検出部の動作を説明する図である。
【図１１】図１０の実施形態の動作説明用フローチャートである。
【符号の説明】
【００９５】
１００  映像受信端末
１１０  伝送路
１２０  受信部
１３０  入力データ生成部
１４０  入力データバッファ
１５０  不連続位置情報生成部
１６０  不連続位置情報バッファ
１７０Ａ、１７０Ｂ、１７０Ｃ、１７０Ｄ  画質評価部
１７１、３１０、３５０  復号処理部
１７２、３１１  劣化領域検出部
１７３、３２０  劣化領域重要度算出部
１７４、３３０  画質劣化度算出部
３１２、３４０、３５１  関心領域検出部
３６０  関心領域情報記憶部
【図１】
2009171023.tif 000003
【図２】
2009171023.tif 000004
【図３】
2009171023.tif 000005
【図４】
2009171023.tif 000006
【図５】
2009171023.tif 000007
【図７】
2009171023.tif 000008
【図８】
2009171023.tif 000009
【図９】
2009171023.tif 000010
【図１１】
2009171023.tif 000011
【図６】
2009171023.tif 000012
【図１０】
2009171023.tif 000013